• Nebyly nalezeny žádné výsledky

Oponentura72755_xvado00.pdf, 61.2 kB Stáhnout

N/A
N/A
Protected

Academic year: 2022

Podíl "Oponentura72755_xvado00.pdf, 61.2 kB Stáhnout"

Copied!
2
0
0

Načítání.... (zobrazit plný text nyní)

Fulltext

(1)

Posudek oponenta diplomové práce

Studijní program:Aplikovaná informatika Studijní obor:Znalostní a webové technologie Akademický rok:2021/2022

Název práce:Vizualizace konvolučních neuronových sítí Řešitel:Bc. Anna Švejdová

Vedoucí práce:Ing. David Chudán, Ph.D.

Oponent:Ing. Ondřej Vadinský, Ph.D.

Hlediska Stupeň

hodnocení

1. Jasnost a srozumitelnost formulace tématu a cíle práce 2

2. Rozsah a relevance popisu současného poznání 3

3. Náročnost řešeného tématu práce 1

4. Adekvátnost metod k řešení stanoveného problému, správnost jejich výběru a použití 2

5. Rozsah, hloubka a preciznost popisu výsledku 4

6. Relevance a správnost diskuse výsledku 2

7. Věcný přínos výsledku dosaženého v práci 3

8. Relevance informačních zdrojů a korektnost jejich citování 4

9. Logická stavba práce a vzájemná konzistence jednotlivých částí 2 10. Gramatika, jazykový styl, terminologie a celková úprava práce 2

Konkrétní připomínky a dotazy k práci:

Téma a cíl práce

Téma a cíl práce, tj. porovnání dvou metod vizualizace konvolučních sítí na zvolené kategorii obrázků datové sady „ImageNet“ za účelem vysvětlení naučeného modelu, je formulováno poměrně jasně a srozumitelně.

Popis současného stavu

Chválím hezky zpracovaný a vysvětlený přehled vizualizačních metod v kapitole 4. Předchozí vymezení problému interpretovatelnosti v kapitole 3 je však slabší. Konvoluční sítě v kapitole 2 by si zasloužily důkladnější výklad (np. přesnější rozlišení ztrátové „cross-entropy“ funkce od aktivační „soft-max“, či bližší popis architektur konvolučních sítí v sekci 2.3 a to zejména později použité architektury „Inception“). Úvod do klasifikace obrazu v kapitole 1 je jen letmý (postrádám zde mj. vymezení základních pojmů strojového učení).

Náročnost tématu

Téma považuji za náročné. Kromě problematiky interpretovatelnosti neuronových sítí, která je sama o sobě komplikovaná, totiž vyžaduje i důkladné porozumění neuronovým sítím (zvláště pak konvolučním), strojovému učení obecně, ale i počítačovému zpracování obrazu. Oceňuji, že si autorka takto náročné a navíc velmi aktuální téma vybrala.

Adekvátnost metod

Teoretická část práce se opírá o rešerši literatury, což je přiměřené, uvítal bych její přesnější specifikaci.

V praktické části se autorka opírá o metodu představenou v Seifert et al, 2017, byť to není úplně explicitně uvedené. Volba metody mi přijde přiměřená, postrádám ale zdůvodnění volby této metody. Pro samotné vyhodnocení lokálních interpretačních metod pak autorka přichází s vlastní metodou založenou na porovnání s třídními prototypy vytvořenými pomocí maximální aktivace. Oceňuji návrh vlastní metody, uvítal bych však diskuzi: - potřeby vlastního návrhu (tj. zda existují jiné způsoby vyhodnocení a v čem jsou případně nedostatečné), - validnosti návrhu (proč by právě tento způsob vyhodnocení měl být správný).

V práci totiž dochází k určité „kruhovosti“, kdy autorka navrhuje pro porovnání Grad-CAM a SHAP novou metodu a tu vyhodnocuje na těchto porovnávaných metodách.

(2)

Popis a diskuze výsledku

Autorka pro své porovnání předkládá vizualizace 3 klasifikovaných obrázků zkoumanými metodami a vytvořené třídní prototypy a jejich srovnání pak přiměřeně popisuje. Výběr pouze 3 obrázků mi přijde značně limitující, byť z textu práce nelze příliš posoudit, jak náročné bylo vytvoření jejich vizualizací.

Oceňuji, že kromě jasně klasifikovaného „true positive“ případu, byl zahrnut i případ s méně jasnou klasifikací. Podobné rozlišení však chybí u „false positive“ případu. Pro srovnání metod by pak mohlo být zajímavé i prozkoumání případů „false negative“ a „true negative“.

Zcela však postrádám takový popis výsledku, který by umožnil jeho replikaci, o možnosti adaptace na jinou síť či data ani nemluvě. Autorka pouze konstatovala, že použila jazyk Python a jeho knihovny, zdrojové kódy však práci nepřiložila.

Prvky diskuze vykazuje sekce 5.5, uvítal bych samostatnou sekci s diskuzí a hlubší diskuzi limitů.

Věcný přínos

Jelikož je cílem práce porovnání vizualizačních metod, očekával bych hlavní přínos práce právě v jejich důkladném porovnání, avšak porovnání prezentované v kapitole 5 za těmito očekáváními značně zaostává. Naopak vyzdvihnout musím hezký popis a přehled vizualizačních metod v kapitole 4.

Zdroje

Práce se opírá o 67 zdrojů. Pokud mohu posoudit, jde o vhodnou kombinaci odborných knih a článků v teoretické části a dokumentace použitých nástrojů v praktické části. Bibliografické citace klasických zdrojů jsou zpracovány korektně, u elektronických zdrojů (np. [1, 8, 56, 64] lze nalézt některé nedostatky, zejména chybějící původce.

Kontrola systémem Validátor proběhla, avšak vzhledem k chybě systému ji v době psaní posudku nelze blíže analyzovat. Odkazování na zdroje v textu práce považuji za nevyhovující: řada sekcí teoretické části zcela postrádá odkazy na zdroje (np. 1.1.1, 1.1.2, 2.1.2, 2.1.3, 2.2.2, 3.2.4) případně je odkaz uveden jen v jednom z mnoha odstavců. Ocenil bych také uvádění odkazů u použitých metod v úvodu a závěru.

Logická stavba práce

Na nejvyšší úrovni je struktura práce logická, nižší členění je však někdy málo jemné, resp. názvy podsekcí nejsou vždy voleny tak, aby korespondovaly s jejich obsahem (np. 1.2.1, 1.2.2, 2.2, 3.1).

Jazyk, terminologie a formální stránka

Vlastní práce je napsaná srozumitelně a čtivě. Více pozornosti by si zasloužil úvod a závěr práce a některé překlady (interpretabilita). Formální stránka práce je nedotažená: prázdný seznam tabulek, prázdné listy příloh, v seznamu zkratek je jediná zkratka, či chybný popisek u Obr. 3.1.

Závěr

S hodnocením práce váhám: Náročnost tématu a kvalita kapitoly 4 hovoří spíše pro známku 3, ovšem nedostatečně popsaný výsledek či nevyhovující práce se zdroji spíše pro známku 4. Jako oponent se přikláním ke známce 4.

Otázky pro obhajobu

Jak vyhodnotit správnost vizualizačních metod interpretujících modely konvolučních neuronových sítí?

Jak jsou vámi použité vizualizační metody citlivé na změnu datové sady a architektury sítě? Lze je uplatit i mimo oblast počítačového vidění?

Závěr: Diplomovou práci doporučuji k obhajobě.

Navrhovaná výsledná klasifikace práce: 4

Datum: 10. 1. 2022 Ing. Ondřej Vadinský, Ph.D.

oponent práce

Odkazy

Související dokumenty

Cílem této práce bylo testování a porovnání dvou imunoanalytických metod – enzymové imunoanalýzy (ELISA) a voltametrické imunoanalýzy – pro detekci pro- tilátek

This Bachelor’s thesis analyses the insurance market in the Czech Republic as a whole and then also analyses and compares two selected insurance companies operating on the

• Příčiny úmrtí tak poskytují vysvětlující rámec pro změny úmrtnosti.. • Historicky panuje souhlas s

V kapitole 7 Analýza a zhodnocení reportingu na příkladu konkrétní organizace bych očekával porovnání výsledků zjištěných za společnost Kaufland s výsledky zjištěnými

Cíl práce: Aplikace metod a pravide| marketingu ve vyhledávačích na projekt www.archcich.cz a měňení jejich efektu v porovnání

Cílem práce je především jejich porovnání z hlediska kvality získaného řešení a z hlediska výpo- četního času.. Ve druhé kapitole autorka seznamuje čtenáře s

Teplotu na jednotlivých či- dlech jsem odečítal na zařízení umístěném na stěně (Obr.. Teploty se ustá- lily přibližně za 2 hodiny a 15 minut. Jeden rozdíl oproti

Vyzdvihnout je nutno praktický přínos práce a to zejména v oblasti porovnání provozních nákladů jednotlivých druhů kanalizací.. Toto porovnání studentka provedla z