91
Automatick´a detekce a vizualizace chyb konkatenaˇcn´ı synt´ezy ˇreˇci
Jakub V´ıt1
1 ´Uvod
Synt´eza ˇreˇci se snaˇz´ı co nejl´epe napodobit lidskou ˇreˇc. To je ale obt´ıˇzn´e, nebot’ akustick´y sign´al lidsk´e ˇreˇci je velmi pestr´y a komplikovan´y. Obˇcas se v syntetick´e promluvˇe vyskytne
´usek, kter´y p˚usob´ı velmi ruˇsivˇe. Pokud se jedn´a o lok´aln´ı probl´em, hovoˇr´ı se o tzv.”artefaktu“. Pr´ace se zab´yv´a n´avrhem automatick´eho syst´emu detekce ˇreˇcov´ych artefakt˚u. S pouˇzit´ım tohoto syst´emu by bylo moˇzn´e nejen oznaˇcit artefakty v syntetick´e promluvˇe, ale bylo by rovnˇeˇz moˇzn´e tˇemto artefakt˚um pˇredch´azet. Syst´em detekce chyb by mˇel automaticky odhalit artefakt v syntetick´e ˇreˇci. K tomu by mˇel pouˇz´ıt dostupn´e parametry ze syst´emu synt´ezy ˇreˇci ˇci jin´e snadno dostupn´e parametry. V pr´aci je rozeb´ır´ana synt´eza ˇreˇci pomoc´ı konkatenaˇcn´ı metody unit selection. Ta je dnes jedna z nejpouˇz´ıvanˇejˇs´ıch.
Pˇred samotn´ym n´avrhem syst´emu je v pr´aci nejdˇr´ıve proveden rozbor problematiky ˇreˇcov´ych artefakt˚u. Je navrˇzen zp˚usob jak automatickou detekci sestavit. Ten je zaloˇzen na sestaven´ı a natr´enov´an´ı klasifik´atoru z referenˇcn´ıch dat, kter´a byla objektivnˇe z´ıskan´a pomoc´ı poslechov´ych test˚u, kter´e byly prov´adˇeny na vˇetˇs´ım mnoˇzstv´ı posluchaˇc˚u.
2 Realizace
Syst´em detekce artefakt˚u je realizov´an klasifik´atorem. Ten pro kaˇzdou hl´asku v syn- tetick´e ˇreˇci dok´aˇze rozhodnout, zda dan´e m´ısto je ˇreˇcov´y artefakt. Jeho vstupem je vektor pˇr´ıznak˚u, kter´y byl spoˇcten z akustick´ych a kontextov´ych parametr˚u dan´e hl´asky.
2.1 Anal´yza syntetick´e ˇreˇci
Pro pochopen´ı pˇr´ıˇcin vzniku artefaktu je tˇreba proch´azet velk´e mnoˇzstv´ı syntetick´ych promluv. V nich je tˇreba studovat pr˚ubˇeh audio vlny a tak´e pr˚ubˇehy ostatn´ıch parametr˚u a spektra. Na vˇsechny tyto funkce existuj´ı programy nebo jin´e n´astroje. Ne- existuje vˇsak ˇz´adn´y program, kter´y by vˇsechny tyto funkce dok´azal sjednotit a napojit na syst´emARTIC (syst´em synt´ezy ˇreˇci na katedˇre kybernetiky FAV Z ˇCU). V r´amci pr´ace byl proto takov´y program vy- tvoˇren a pˇredstaven v jedn´e kapitole t´eto pr´ace. Tento program umoˇzˇnuje vizualizovat a analyzovat proces synt´ezy ˇreˇci.
Obr´azek 1:Anal´yza syntetick´e ˇreˇci
1student navazuj´ıc´ıho studijn´ıho programu Aplikovan´e vˇedy a informatika, obor Kybernetika, e-mail:
vit89@students.zcu.cz
92 2.2 Pˇr´ıprava dat
Pro tr´enov´an´ı syst´emu detekce artefakt˚u je nutn´e z´ıskat referenˇcn´ı data. Ta budou reprezento- vat sadu objektivnˇe oznaˇcen´ych artefakt˚u. Vn´ım´an´ı artefaktu je ale velmi subjektivn´ı z´aleˇzitost. K sesta- ven´ı objektivn´ıch oznaˇcen´ı bylo nutn´e prov´est po- slechov´y test na v´ıce posluchaˇc´ıch. Souˇc´ast´ı pr´ace je tedy i n´avrh a vytvoˇren´ı poslechov´ych test˚u. V poslechov´ych testech odpov´ıdalo 20 posluchaˇc˚u. Z celkov´ych7200odeslan´ych odpovˇed´ı bylo oznaˇceno 4700 podezˇrel´ych ´usek˚u, kter´e slouˇzily jako refe-
renˇcn´ı data pro tr´enov´an´ı klasifik´atoru. Obr´azek 2:Aplikace pro poslechov´e testy
3 Tr´enov´an´ı klasifik´atoru
Jako klasifik´ator byl zvolen SVM (support vector machines). SVM je pomˇernˇe mlad´a metoda strojov´eho uˇcen´ı. Jedn´a se o line´arn´ı bin´arn´ı klasifik´ator. Klasifik´ator byl uˇcen pomoc´ı RBF kernelu. Pˇri hodnocen´ı klasifikace se pouˇz´ıvala10-fold cross validace. Kaˇzd´y vzorek arte- faktu mˇel pˇriˇrazenou svoji v´ahu. Ta byla zohlednˇena pˇri klasifikaci. Hodnota v´ahy vyjadˇrovala jak moc vˇerohodn´y vzorek je. Pokud napˇr´ıklad v poslechov´ych testech v´ıce posluchaˇc˚u dan´e m´ısto oznaˇcilo, v´aha byla vyˇsˇs´ı.
Samotn´e tr´enov´an´ı klasifik´atoru bylo provedeno ve ˇctyˇrech experimentech. Kaˇzd´y expe- riment mˇel jinak vybran´a tr´enovac´ı data. Experimenty EXP1 a EXP2 obsahovaly (narozd´ıl od EXP3 a EXP4) jen takov´e artefakty, kter´e kolem sebe nemˇely dalˇs´ı artefakty. Ovˇeˇrovala se tak hypot´eza, ˇze pˇr´ıˇcinou artefaktu je vˇzdy jen jedno m´ısto a ne sekvence jednotek. Tr´enov´an´ı bylo vˇzdy provedeno jak s tˇretinou nejlepˇs´ıch vzork˚u (EXP1 a EXP3), tak se vˇsemi vzorky (EXP2 a EXP4). T´ım se ovˇeˇrovalo spr´avn´e nastaven´ı vah vzork˚u. Ve vˇsech experimentech byla pouˇzita vyv´aˇzen´a mnoˇzina tr´enovac´ıch dat.
Tabulka 1:V´ysledky experiment˚u (R-Recall,P -Precision,A-Accurracy)
Poˇcet vzork˚u Nev´aˇzen´y SVM V´aˇzen´y SVM
Np Nn Np(vse) Nn(vse) R P F1 A R P F1 A
EXP1 500 500 1574 3605 0.72 0.80 0.76 0.74 0.79 0.88 0.83 0.78
EXP2 1574 1574 1574 3605 0.63 0.80 0.71 0.67 0.80 0.95 0.87 0.79 EXP3 1000 1000 2458 4025 0.68 0.81 0.74 0.71 0.79 0.91 0.85 0.78 EXP4 2458 2458 2458 4025 0.61 0.76 0.68 0.64 0.79 0.95 0.86 0.79
4 Z´avˇer
V pr´aci byl navrˇzen a sestaven syst´em automatick´e detekce ˇreˇcov´ych artefakt˚u v synte- tick´ych promluv´ach. Pomoc´ı programu speci´alnˇe vyvinut´eho pro tyto ´uˇcely byly prozkoum´any m´ısta v okol´ı artefakt˚u. Na z´akladˇe dat z poslechov´ych test˚u byla sestavena referenˇcn´ı data pro testov´an´ı klasifik´atoru. V nejlepˇs´ıch konfigurac´ıch dok´azal klasifik´ator pˇri pouˇzit´ı vah dos´ahnout
´uspˇeˇsnosti t´emˇeˇr 80 %.
Takto natr´enovan´y klasifik´ator by ˇslo pouˇz´ıt pˇr´ımo v syst´emu synt´ezy ˇreˇci pro lepˇs´ı v´ybˇer jednotek. S jeho pomoc´ı by mˇelo b´yt moˇzn´e sn´ıˇzit ˇcetnost v´yskytu ˇreˇcov´ych artefakt˚u v synte- tick´ych promluv´ach. V budouc´ı pr´aci je moˇzn´e zamˇeˇrit se pr´avˇe na takov´y experiment.
