Vysoké učení technické v Brně Fakulta informačních technologií
Posudek oponenta bakalářské práce
Student: Labaš Dominik
Téma: Akcelerace neuronové sítě pro jazykové modelování (id 20644) Oponent: Černocký Jan, doc. Dr. Ing., UPGM FIT VUT
1. Náročnost zadání průměrně obtížné zadání
Zadání vyžaduje nastudování základních znalostí o jazykovém modelování (LM) a LM pomocí neuronových sítí, v základní variantě ale nejsou tyto techniky příliš náročné.
2. Splnění požadavků zadání zadání splněno s drobnými výhradami Zadání bylo splněno, u některých bodů poněkud neprakticky (prohledáváním v cyklu u využití historie), naopak u modelů s největším zrychlením (modely bez normalizace pomocí softmax) postrádám důkladné studium vlivu na perplexitu.
3. Rozsah technické zprávy splňuje pouze minimální požadavky Minimální, alespoň základní pozornost měla být věnována trénování NN a postrádám také přehled publikovaných technik zrychlujících běh NN-LM.
4. Prezentační úroveň předložené práce 75 b. (C)
Zpráva je čitelná, ale (jak je výše uvedeno) poměrně strohá, je patrné, že se jedná o první studentskou práci a že autor by toho měl mít více načteno.
5. Formální úprava technické zprávy 60 b. (D)
Práce je psána (pokud mohu soudit) pěknou slovenštinou, Bohu žel obsahuje značné množství gramatických chyb (především chybějící čárky u vedlejších vět), u DP doporučuji důkladnou korekturu. Větší pozornost by si zasloužila také matematika (vysvětlení všech symbolů) a formátování (pozor na lámání slov na titulní stránce).
Naopak oceňuji názorná schémátka u jednotlivých optimalizací.
6. Práce s literaturou 65 b. (D)
Seznam literatury obsahuje řadu publikací, jak důkladně byly čteny a použity není jasné, postrádám více prací věnujících se výpočetní optimalizaci NN LM.
7. Realizační výstup 68 b. (D)
Výstupem je sada skriptů v pythonu a PyTorch založených na NN-LM "receptu" a řada výsledků ve formě zrychlení a perplexity, výstup odpovídá rozsahem průměrné BP.
8. Využitelnost výsledků
Možná využitelnost při výzkumu v oblasti NN-LM, k větší využitelnosti by bylo třeba práci dotáhnout do konce v implementaci (cache) i vyhodnocení.
9. Otázky k obhajobě
1. V komentáři k rovnici 2.13 uvádíte, že perplexitu je možné vyhodnotit jako geometrický průměr převrácených hodnot podmíněných pravděpodobností. Upřesněte, jak budete tento průměr počítat.
2. Uveďte, jak funguje technika trénování NN-LM bez normalizace softmax na výstupu a jaké dává výsledky PPL oproti baseline a modelu normalizovanému pomocí omezené množiny slov.
10. Souhrnné hodnocení 70 b. dobře (C)
Jedná se o práci na zajímavé téma a se zajímavým potenciálem, ale zůstává na průměrné úrovni technicky a lehce podprůměrná presentačně. Na druhé straně hodnotím aktivitu studenta na konferenci Excel a při presentaci výsledků práce.
Prohlášení: Uděluji VUT v Brně souhlas ke zveřejnění tohoto posudku v listinné i elektronické formě.
V Brně dne: 23. května 2018
...
podpis
Powered by TCPDF (www.tcpdf.org)
1 / 1
