Posudek oponenta diplomové práce
Studijní program:Aplikovaná informatika Studijní obor:Znalostní a webové technologie Akademický rok:2021/2022
Název práce:Vizualizace konvolučních neuronových sítí Řešitel:Bc. Anna Švejdová
Vedoucí práce:Ing. David Chudán, Ph.D.
Oponent:Ing. Ondřej Vadinský, Ph.D.
Hlediska Stupeň
hodnocení
1. Jasnost a srozumitelnost formulace tématu a cíle práce 2
2. Rozsah a relevance popisu současného poznání 3
3. Náročnost řešeného tématu práce 1
4. Adekvátnost metod k řešení stanoveného problému, správnost jejich výběru a použití 2
5. Rozsah, hloubka a preciznost popisu výsledku 4
6. Relevance a správnost diskuse výsledku 2
7. Věcný přínos výsledku dosaženého v práci 3
8. Relevance informačních zdrojů a korektnost jejich citování 4
9. Logická stavba práce a vzájemná konzistence jednotlivých částí 2 10. Gramatika, jazykový styl, terminologie a celková úprava práce 2
Konkrétní připomínky a dotazy k práci:
Téma a cíl práce
Téma a cíl práce, tj. porovnání dvou metod vizualizace konvolučních sítí na zvolené kategorii obrázků datové sady „ImageNet“ za účelem vysvětlení naučeného modelu, je formulováno poměrně jasně a srozumitelně.
Popis současného stavu
Chválím hezky zpracovaný a vysvětlený přehled vizualizačních metod v kapitole 4. Předchozí vymezení problému interpretovatelnosti v kapitole 3 je však slabší. Konvoluční sítě v kapitole 2 by si zasloužily důkladnější výklad (np. přesnější rozlišení ztrátové „cross-entropy“ funkce od aktivační „soft-max“, či bližší popis architektur konvolučních sítí v sekci 2.3 a to zejména později použité architektury „Inception“). Úvod do klasifikace obrazu v kapitole 1 je jen letmý (postrádám zde mj. vymezení základních pojmů strojového učení).
Náročnost tématu
Téma považuji za náročné. Kromě problematiky interpretovatelnosti neuronových sítí, která je sama o sobě komplikovaná, totiž vyžaduje i důkladné porozumění neuronovým sítím (zvláště pak konvolučním), strojovému učení obecně, ale i počítačovému zpracování obrazu. Oceňuji, že si autorka takto náročné a navíc velmi aktuální téma vybrala.
Adekvátnost metod
Teoretická část práce se opírá o rešerši literatury, což je přiměřené, uvítal bych její přesnější specifikaci.
V praktické části se autorka opírá o metodu představenou v Seifert et al, 2017, byť to není úplně explicitně uvedené. Volba metody mi přijde přiměřená, postrádám ale zdůvodnění volby této metody. Pro samotné vyhodnocení lokálních interpretačních metod pak autorka přichází s vlastní metodou založenou na porovnání s třídními prototypy vytvořenými pomocí maximální aktivace. Oceňuji návrh vlastní metody, uvítal bych však diskuzi: - potřeby vlastního návrhu (tj. zda existují jiné způsoby vyhodnocení a v čem jsou případně nedostatečné), - validnosti návrhu (proč by právě tento způsob vyhodnocení měl být správný).
V práci totiž dochází k určité „kruhovosti“, kdy autorka navrhuje pro porovnání Grad-CAM a SHAP novou metodu a tu vyhodnocuje na těchto porovnávaných metodách.
Popis a diskuze výsledku
Autorka pro své porovnání předkládá vizualizace 3 klasifikovaných obrázků zkoumanými metodami a vytvořené třídní prototypy a jejich srovnání pak přiměřeně popisuje. Výběr pouze 3 obrázků mi přijde značně limitující, byť z textu práce nelze příliš posoudit, jak náročné bylo vytvoření jejich vizualizací.
Oceňuji, že kromě jasně klasifikovaného „true positive“ případu, byl zahrnut i případ s méně jasnou klasifikací. Podobné rozlišení však chybí u „false positive“ případu. Pro srovnání metod by pak mohlo být zajímavé i prozkoumání případů „false negative“ a „true negative“.
Zcela však postrádám takový popis výsledku, který by umožnil jeho replikaci, o možnosti adaptace na jinou síť či data ani nemluvě. Autorka pouze konstatovala, že použila jazyk Python a jeho knihovny, zdrojové kódy však práci nepřiložila.
Prvky diskuze vykazuje sekce 5.5, uvítal bych samostatnou sekci s diskuzí a hlubší diskuzi limitů.
Věcný přínos
Jelikož je cílem práce porovnání vizualizačních metod, očekával bych hlavní přínos práce právě v jejich důkladném porovnání, avšak porovnání prezentované v kapitole 5 za těmito očekáváními značně zaostává. Naopak vyzdvihnout musím hezký popis a přehled vizualizačních metod v kapitole 4.
Zdroje
Práce se opírá o 67 zdrojů. Pokud mohu posoudit, jde o vhodnou kombinaci odborných knih a článků v teoretické části a dokumentace použitých nástrojů v praktické části. Bibliografické citace klasických zdrojů jsou zpracovány korektně, u elektronických zdrojů (np. [1, 8, 56, 64] lze nalézt některé nedostatky, zejména chybějící původce.
Kontrola systémem Validátor proběhla, avšak vzhledem k chybě systému ji v době psaní posudku nelze blíže analyzovat. Odkazování na zdroje v textu práce považuji za nevyhovující: řada sekcí teoretické části zcela postrádá odkazy na zdroje (np. 1.1.1, 1.1.2, 2.1.2, 2.1.3, 2.2.2, 3.2.4) případně je odkaz uveden jen v jednom z mnoha odstavců. Ocenil bych také uvádění odkazů u použitých metod v úvodu a závěru.
Logická stavba práce
Na nejvyšší úrovni je struktura práce logická, nižší členění je však někdy málo jemné, resp. názvy podsekcí nejsou vždy voleny tak, aby korespondovaly s jejich obsahem (np. 1.2.1, 1.2.2, 2.2, 3.1).
Jazyk, terminologie a formální stránka
Vlastní práce je napsaná srozumitelně a čtivě. Více pozornosti by si zasloužil úvod a závěr práce a některé překlady (interpretabilita). Formální stránka práce je nedotažená: prázdný seznam tabulek, prázdné listy příloh, v seznamu zkratek je jediná zkratka, či chybný popisek u Obr. 3.1.
Závěr
S hodnocením práce váhám: Náročnost tématu a kvalita kapitoly 4 hovoří spíše pro známku 3, ovšem nedostatečně popsaný výsledek či nevyhovující práce se zdroji spíše pro známku 4. Jako oponent se přikláním ke známce 4.
Otázky pro obhajobu
Jak vyhodnotit správnost vizualizačních metod interpretujících modely konvolučních neuronových sítí?
Jak jsou vámi použité vizualizační metody citlivé na změnu datové sady a architektury sítě? Lze je uplatit i mimo oblast počítačového vidění?
Závěr: Diplomovou práci doporučuji k obhajobě.
Navrhovaná výsledná klasifikace práce: 4
Datum: 10. 1. 2022 Ing. Ondřej Vadinský, Ph.D.
oponent práce
