V YSOKÁ ŠKOLA EKONOMICKÁ V P RAZE
Fakulta financí a účetnictví
katedra Bankovnictví a pojišťovnictví
DIPLOMOVÁ PRÁCE
2021 Karolína Šubrtová
V YSOKÁ ŠKOLA EKONOMICKÁ V P RAZE
Fakulta financí a účetnictví
Katedra Bankovnictví a pojišťovnictví
studijní obor/studijní program: Finance / Magisterský
Aplikace umělé inteligence pro obchodování na kapitálovém trhu
Autor diplomové práce: Bc. Karolína Šubrtová Vedoucí diplomové práce: Ing. Milan Fičura Ph.D.
Rok obhajoby: 2021
Čestné prohlášení
Prohlašuji, že jsem diplomovou práci na téma „Aplikace umělé inteligence pro obchodování na kapitálovém trhu“ vypracovala samostatně a veškerou použitou literaturu a další prameny jsem řádně označila a uvedla v přiloženém seznamu.
V Praze dne 26.5.2021
...
Karolína Šubrtová
Poděkování
Ráda bych tímto poděkovala svému vedoucímu práce Ing. Milanu Fičurovi Ph.D., za ochotu, podnětné komentáře a rady v průběhu zpracování diplomové práce. Rovněž bych ráda poděkovala své rodině za lásku a podporu v průběhu celého studia.
Abstrakt;
Vývoj v oblasti strojového zpracování dat a aplikaci samoučících se algoritmů nemohl zůstat bez povšimnutí ani v oblasti obchodování na akciových trzích. Umělé neuronové sítě, které jsou jednou z oblastí umělé inteligence, jsou velmi mocným výpočetním nástrojem, který při vhodném nastavení a s dostatečným množstvím vstupních dat, může podávat nadprůměrné výsledky. Smyslem této práce je popsat na jakém teoretickém základu jsou neuronové sítě konstruovány a dále prakticky ověřit jejich přínos v oblasti predikce cen na akciových trzích.
Klíčová slova
Umělá inteligence, neuronové sítě, kapitálové trhy, technická analýza
Abstract
The developments in the area of machine learning, data processing and the application of self-learning algorithms couldn´t been ignored by people interested in trading on stock market. Artificial neural network, as one of the areas of artificial intelligence, is a very powerful computing tool, which can, based on the right settings and a sufficient amount of input data, reach above-average results. The purpose of this work is to describe on what theoretical basis are neural networks constructed and practically verify their contribution in the field of stock market price prediction.
Key words
Artificial intelligence, neural networks, Capital markets, technical analysis
Obsah
Úvod ... 7
1 Akciový trh a obchodování ... 9
1.1 Teorie efektivních trhů ... 10
1.2 Obchodování na kapitálových trzích ... 12
1.3 Technické indikátory ... 18
2 Algoritmické obchodování ... 23
3 Neuronové sítě ... 28
3.1 Historie neuronových sítí ... 28
3.2 Biologický neuron ... 30
3.3 Formální neuron ... 32
4 Umělé neuronové sítě ... 38
5 Konstrukce vícevrstvé neuronové sítě a její učení ... 47
5.1 Učení neuronové sítě a algoritmus backpropagation of error ... 47
6 Diskutabilní otázky tvorby modelu neuronové sítě v kontextu aplikovaného modelu v praktické části diplomové práce ... 53
6.1 Výběr architektury neuronové sítě a určení počtu neuronů v neuronové síti . 53 6.2 Koeficient učení neuronové sítě ... 54
6.3 Dropout ... 54
6.4 Stochastické vs. dávkové trénování neuronové sítě ... 55
6.5 Rozdělení vstupních dat ... 56
6.6 Zpracování dat ... 58
7 Praktická část diplomové práce ... 61
7.1 Tvorba akciového portfolia ... 62
7.2 Získání a zpracování vstupních dat modelu ... 64
7.3 Tvorba modelu a jeho vyhodnocení ... 67
7.4 Aplikace modelu neuronové sítě a vyhodnocení investičních strategií ... 72
7.5 Další testování modelu ... 82
Závěr ... 85
Zhodnocení a možnosti rozšíření práce do budoucna ... 85
Seznam použité literatury a pramenů ... 87
Seznam obrázků a tabulek ... 92
Seznam příloh ... 94
7
Úvod
Porozumění chování cenných papírů na finančním trhu a predikce vývoje jejich cen v budoucnosti je předmětem zájmu řady odborných i neodborných studií či polemik.
Vidina zisku realizovaného po vzoru Warena Buffeta, láká nejednoho investora. Své, důležité místo má také na poli vědeckého bádání. Odpověď na otázku, jaký bude vývoj ale není triviální.
Rozvoj informačních technologií dává všem subjektům na finančním trhu do rukou nové, mocné nástroje, které je možné využívat pro zpracování a analýzu dat. Jedním z nejnovějších pokusů o zvládnutí problematiky predikce je technologie neuronových sítí. Teoretická koncepce neuronových sítí vznikla již před řadou let, ale až technologický boom v posledních letech poskytl nezbytné nástroje pro jejich zařazení do praxe.
Je všeobecně známo, že neuronové sítě podávají velmi dobré výsledky v oblasti rozpoznávání obrazů, identifikaci textu či zvukových záznamů. Tyto oblasti ale spojuje jasně definovaný cíl. Díky své schopnosti naučit se vzory v předložených datech prokazují velmi dobré výsledky také při predikci časových řad a zvládnou obstojně konkurovat stávajícím modelům. Cílem této diplomové práce je ověřit chování neuronových sítí při predikci vstupu do pozice u vybraného investičního portfolia.
Úvodní část je věnována rámcovému popisu finančního trhu a dílčích analytických přístupů, využívaných k vysvětlení pohybu kurzu cenných papírů. Důraz je kladen především na přistup dle technické analýzy, jejíž nástroje jsou dále aplikovány v testovaném modelu. Následně jsou popsány teoretické základy neuronových sítí.
Jsou zde vysvětleny a rozebrány dílčí konstrukční prvky neuronových sítí, mechanismy jejich fungování a proces učení. Prostor je zdě věnován rovněž diskutabilním otázkám při sestavování modelu neuronové sítě a nastavení hodnot hyperparametů, které hrají velmi důležitou roli pro výslednou výkonnost modelu.
8
V praktické části je model neuronové sítě aplikován na konkrétní akciové portfolio, kde je zjišťováno, s jakou přesností je neuronová síť schopna predikovat budoucí směr vývoje akciového kurzu a zda by investiční strategie, založené na jejich predikcích, dosáhly zisku.
9
1 Akciový trh a obchodování
Finanční trh je místo nebo zařízení, na které vstupují investoři, za účelem obchodovat s finančními nástroji a zhodnocovat své finanční prostředky. Za nejvíce organizovanou formu finančního trhu je považována burza, na které probíhá obchodování za přesně vymezených podmínek. Jak investoři, tak obchodovaná aktiva na burze, podléhají přísným pravidlům a regulacím. Vzhledem k regulatorním požadavkům a vstupním poplatkům investoři na burze obchodují přes finančního zprostředkovatele neboli brokera. Jedná se o individuální osobu nebo firmu, která za poplatek provádí klientské obchody. V historii probíhaly burzovní obchody fyzicky. Investoři se setkávali na burzovním parketu a přes tzv. runnera byly přenášeny příkazy k nákupu nebo prodeji.
Dnes podlehly světové burzy silné vlně elektronizace a většina obchodů probíhá elektronicky, ať už v podobě fyzického automatizovaného obchodování, kde obchodníci manuálně zadávají obchodní příkazy do počítačového systému burzy, nebo v podobě algoritmického obchodování, kde vytvoření, zaslání a vykonání obchodního příkazu je řízeno vytvořeným počítačovým programem. Střetem nabídky a poptávky na finančním trhu je tvořena cena obchodovaného aktiva. Rozdíl mezi nákupní a prodejní cenou daného aktiva je označován jako spread.
Na celém světě existuje tisíce produktů, které lze na finančním trhu obchodovat.
Odborně se tyto produkty nazývají podkladová aktiva. Příkladem nejvíce burzovně obchodovaných aktiv mohou být1:
o Akcie – Jedná se o dlouhodobé majetkové cenné papíry, které vyjadřují podíl na majetku akciové společnosti. Obchodování s cennými papíry konkrétních
1 Informace o nejobchodovanějších instrumentech získána z https://www.investing.com/markets/active-instruments [cit. 2020- 12-01]
10
firem patří mezi nejrozšířenější a nejvýznamnější formy burzovního obchodování vůbec.
o Akciové indexy – Akciový index jako takový je pouze finanční ukazatel, nikoliv fyzické obchodovatelné aktivum. Obchodování s akciovými indexy je možné díky finančním derivátům. Existuje řada finančních derivátů, které umožňují spekulovat na vývoj akciových indexů. Mezi nejpopulárnější obchodované indexy patří S&P500, Nasdaq 1000 a DJIA.
o Dluhopisy – Jsou dlužnické cenné papíry, spojené s právem na splacení dlužné částky a povinností emitenta toto právo uspokojit. Společnosti prostřednictvím emise dluhopisů získávají finanční prostředky, a to zpravidla na delší dobu.
Vzhledem k tomu, že se jedná o cenný papír, se kterým je spojeno poměrně malé riziko pro investora, jsou dluhopisy v posledních letech poměrně hojně nakupovány centrálními bankami při provádění kvantitativního uvolňování (především vládní pokladniční poukázky).
o ETF – Burzovně obchodované fondy neboli ETF, představují relativně moderní produkt, který se poprvé objevil na burzách v 90. letech 20. století.
Zpravidla mají charakter investice do indexovaných fondů, pro které je typické, že investují do vymezených indexů. Mezi nejznámější indexy patří například S&P 500 nebo DJIA.
o Komodity – mezi obchodované komodity patří tradiční suroviny, jako například obiloviny, ropa, vzácné kovy apod.
Mezi další obchodovaná aktiva patří například různé druhy finančních derivátů, podílové listy, různé druhy finančních měnových kontraktů apod. Vzhledem k tomu, že se praktická část diplomové práce bude věnovat obchodování s akciemi, bude následující text zaměřen především na obchodování s nimi.
1.1 Teorie efektivních trhů
Jedním z teoretických konceptů, snažících se vysvětlit chování kurzu cenných papírů na kapitálovém trhu je teorie efektivních trhů, za jejíhož zakladatele je považován
11
Eugene F. Famy. Ten ve své práci z roku 1965 „The Behavior of stock market prices“
přišel s myšlenkou, že akciové kurzy na kapitálovém trhu vykonávají „náhodnou procházku“ a tudíž nelze jejich budoucí chování predikovat.
Teorie efektivních trhů stojí na myšlence, že kurzy jednotlivých instrumentů do sebe absorbují všechny dostupné informace, jevy a očekávání ohledně budoucího vývoje okamžitě a bezprostředně na ně reagují. Vzhledem k tomu není z dlouhodobého hlediska možné na efektivním trhu najít nadhodnocené nebo podhodnocené instrumenty, protože takové instrumenty na trhu neexistují. Rovněž nepředpokládá existenci asymetrie v informacích a nepracuje ani s možností, že na trhu existují různé skupiny investorů, které na nově dostupné informace reagují s rozdílnou mírou sentimentu. Investoři dle teorie efektivních trhů reagují racionálně a vždy přesně.
Pokud by se kurz cenného papíru odchýlil od rovnovážné fundamentální úrovně, pak by dle hypotézy efektivních trhů nastoupili arbitražéři a svými nákupními a prodejními aktivitami by kurz instrumentu dostali zpět na jeho rovnovážnou úroveň. Nepřetržitá činnost arbitražérů, vyhledávajících ziskové příležitosti, tak představuje jeden z hlavních předpokladů pro fungování hypotézy efektivních trhů (Veselá & Oliva, 2015).
Základní myšlenka teorie efektivních trhů je v rozporu s myšlenkami technické i fundamentální analýzy akciových trhů. Ty nevěří v náhodnost pohybů kurzů cenných papírů na kapitálových trzích. Snaží se najít v těchto pohybech racionalitu a vytvořit modely, které by kurzy byly schopné predikovat.
Teorie efektivních trhů si od svého vzniku našla řadu následovníků, ale také kritiků.
Dle některých názorů (Veselá & Oliva, 2015) realita na trhu, zejména v posledních letech, platnost teorie efektivních trhů nedokazuje. Jako konkrétní příklad je možné uvést propad kursu DJIA 19. října 1987 o 22,6 %. Další práce (Basu, 1977), (Malkiel, 2003), tuto myšlenku do jisté míry potvrzují. Obecně je považována platnost Teorie efektivních trhů za spornou.
12
1.2 Obchodování na kapitálových trzích
Všeobecně platí, že investoři vstupují na finanční trh za účelem zhodnocení svých finančních prostředků. Investiční cyklus můžeme rozdělit do 4 fází. První fází je tzv.
alokace aktiv, jedná se o výběr aktiv (akcií, dluhopisů, komodit apod.), do kterých budeme finanční prostředky ukládat. Ve druhé fázi si investor tvoří své portfolio a rozhoduje se, jaké instrumenty bude držet, v závislosti na třídě aktiv, požadovaném výnosu a riziku. Třetí fází je implementace. Historicky se tato fáze pojí s výběrem brokera a provedením samotného obchodního příkazů. V dnešní době je možné do této fáze zahrnout také výběr vhodných obchodních algoritmů a jejich pravidel. Poslední závěrečnou fází je vyhodnocování dosažených výsledků a na ně navazující opatření.
Obchodníci mají k dispozici paletu nejrůznějších nástrojů, které využívají jak k výběru aktiv do portfolia samotného, tak k realizaci obchodních příkazů a následnému vyhodnocování dosažených výsledků.
Obchodováním na burze investoři spekulují na vývoj ceny dané akcie. Ceny akcií na trhu mohou mít dlouhodobě rostoucí nebo klesající trend, podle toho potom mluvíme o býčím (rostoucím) nebo medvědím (klesajícím) trhu. Trend je pro investory důležitou informací, protože je navádí k výběru vhodné investiční strategie.
Nejúspěšnější investiční strategie vychází z těch, které následují trend. Všeobecně platí, že čím delší trend, tím vyšší má obchodník, při včasném vstupu do pozice, šanci vydělat (Veselá, 2011). Obchodní pozice, do kterých obchodník na trhu vstupuje je možné rozdělit na long a short.
o Long – Jedná se o spekulaci na růst ceny akcie. Investoři vstupují do long pozice nákupem kontraktů. Pokud dojde k následnému růstu ceny akcie, investoři realizují zisk, v opačném případě realizují ztrátu.
o Short – Jedná se o spekulaci na pokles ceny akcií. Investoři vstupují do pozice prodejem kontraktů (aniž by je museli předem vlastnit). Pokud dojde k poklesu ceny akcie, investoři realizují zisk, pokud cena akcií naopak vzroste, investoři realizují ztrátu.
13
Podle doby, jak dlouho drží obchodník své pozice, dělíme přístupy k obchodování na intra denní a poziční.
Podstatou intra denního obchodování na finančních trzích je spekulace na menší cenové pohyby v řádech několika minut, maximálně hodin. Intra denní spekulant nikdy nedrží své pozice přes noc. Jak otevření, tak uzavření pozice probíhá v tentýž den. Při intra denním obchodování je časté využití páky2, která slibuje velké zisky během krátkého časového úseku. Rizikem ovšem je, že pokud obchod neproběhne tak, jak bylo plánováno, místo velkého zisku může investor realizovat velkou ztrátu. Intra denně obchodovat lze prakticky jakákoli aktiva. Z hlediska regulace je ale intra denní obchodování akcií nebo opcí komplikovanější, a proto se intra denně obchodují především měnové páry či futures.
Poziční obchodník naproti tomu je takový investor, který drží svou otevřenou pozici déle než jeden den. Může své pozice držet několik dní, měsíců až let, kdy čeká na zhodnocení drženého aktiva. Poziční obchodníci jsou ze své podstaty investoři sledující vývoj trendu na trhu, makroekonomické faktory, historická data a informace, podle kterých obchodují. Krátkodobé výkyvy v cenách instrumentů často nemají vliv na změny jejich pozic.
Jak již bylo zmíněno, podstatou uzavírání obchodů na trh je zhodnocení finančních prostředků. Obchodník, finančním trhu se snaží predikovat vývoj aktiva do budoucna a s přihlédnutím k riziku se rozhoduje, zda vstoupit do pozice či nikoliv. Podle způsobu, jakým obchodník analyzuje trhy a jednotlivé akciové tituly je mluvíme o investování na základě provádění fundamentální či technické analýzy.
Fundamentální analýza patří mezi nejkomplexnější analytický přístup, který se snaží na základě relevantních ekonomických a finančních ukazatelů určit vnitřní hodnotu akcie a v závislosti na porovnání s tržní hodnotou vysvětlit příčinu pohybu akciových
2 Investice je financována z velké části cizím kapitálem
14
kurzů (Veselá, 2011). Vychází z tvrzení, že by tržní hodnota akcie měla fluktuovat kolem její vnitřní hodnoty. Pracuje s množstvím ukazatelů (HDP, platební bilance, parita kupní síly aj.), jejichž vlivy se snaží promítnout do ceny obchodovaných instrumentů.
Oproti tomu, na myšlence, že historie má tendenci se opakovat, je záložen konkurenční přístup predikce budoucí hodnoty akcie, známý jako technická analýza. Tento přístup je možné považovat za vůbec nejstarší analytický přístup, zabývající se kursovým pohybem cenných papírů, měn či komodit. Centrem zájmu jsou v tomto případě data tvořená samotným trhem. Mezi takové patří například cena či volatilita. Tyto veličiny jsou ale zkoumány bez vztahu k fundamentálním faktorům analyzovaného aktiva.
Cílem technické analýzy je prognóza budoucích kursových a trendových pohybů akciových titulů.
Základy moderní technické analýzy jsou neodmyslitelně spjaty se jménem Charlese Henryho Dowa, tvůrce Dowovy teorie, která představuje jeden ze základních teoretických konceptů moderní technické analýzy a rovněž za zakladatele Dow – Johnsonových indexů (průmyslového a technologického). Ty jsou považovány za jedny z nejznámějších indexů amerického akciového trhu, složeného ze třiceti největších a nejvýznamnějších amerických technologických a průmyslových akciových společností.
Nástrojů, které využívají techničtí analytici k určení nastoupeného trendu, je velké množství. V následujících podkapitolách bude představeno jen několik málo základních, se kterými bude v dalších částech pracováno.
Nástroje technické analýzy je možné rozdělit do dvou základních skupin: Grafické metody a technické indikátory. Grafické metody technické analýzy pracují s cenami akcií zaznamenanými v grafech, ve kterých se snaží odhalit standardizované formace, a odhalit trend ve vývoji cen investičních instrumentů. Existence trendu je v technické analýze klíčovým předpokladem pro možnou predikci dalšího vývoje akciových kurzů. Ve vztahu k trhu trend vyjadřuje zřetelný směr pohybu kurzů. Indikátory technické analýzy jsou počítány pomocí matematického vzorce na základě ceny a
15
jejich výsledkem je hodnota, která je nositelem specifické informace o aktuální situaci na trhu. Na základě nich je možné získat informace kdy vstoupit do pozice, a kdy je vhodné pozici naopak uzavřít (Veselá, 2011).
Jedním z nejvyužívanějších grafů při provádění technické analýzy můžeme označit graf svíčkový. Svíčkový graf zaznamenává cenový vývoj za zvolenou časovou periodu, do podoby svíčky, znázorňující čtyři klíčové hodnoty – maximum, minimum, otevírající a uzavírající kurz daného dne. Pokud je barva svíčky zelená3, potom je uzavírající cena dané periody vyšší než cena otevírající a reprezentuje tak cenový růst, pokud je svíčka červená, je tomu naopak a svíčka reprezentuje cenový pokles (Veselá, Oliva, 2015). Různých typů grafů, které jsou jako nástroje technické analýzy využívány je ale mnoho, přičemž každý má svůj účel a vypovídající schopnost a závisí na volbě technického analytika, které z nich upřednostní.
Jak již bylo zmíněno, identifikace trendu je jedním z klíčových úkolů technické analýzy. Jednoduchým nástrojem pro jeho identifikaci jsou tzv. trendové linie. Jedná se o spojnice lokálních minim v případě býčího trendu a lokálních maxim, v případě trendu medvědího. V návaznosti na to, jaký trend linie označují mohou být označovány jako rostoucí či klesající. Následující obrázek znázorňuje rostoucí trend na týdenním grafu společnosti Netflix z období od května 2018 do května 2019.
3 Barva svící není striktně dána. Mohou mít jiné barevné rozlišení např. modrá a červená, černá a bílá, důležitý je význam, který v sobě barva svíce skrývá.
16
Obrázek 1: NETFLIX INC, 1 W, Květen 2018–Květen 2019
Zdroj: https://www.tradingview.com/chart/Ni9VBNsN/, zpracování vlastní
Můžeme vidět, že v prosinci začíná hodnota akcie růst při ceně $187,5. Několikrát dojde k návratu k trendové křivce v období duben, květen 2019, ale pokaždé se cena akcie odráží a v růstu i nadále pokračuje. K prolomení trendové křivky dochází až v polovině července 2018 při ceně přibližně $370,2. V tom období došlo k točení trendu a mohli bychom pozorovat naopak klesající trend, který trvá až do konce roku 2018.
Základním prvkem, který je možné v grafu pozorovat, a který je zároveň východiskem jedné ze základních strategií technické analýzy, jsou tzv. vlnky neboli swings. Jedná se o grafické záznamy, které nám podávají informace o fluktuaci ceny dané akcie. Jsou ohraničeny vrcholy a dny. Často jsou spojovány se situacemi, ve které dochází ke změně v akciovém pohybu v krátkém časovém úseku.
Při provádění technické analýzy finanční analytici často pracují s hranicí podpory tzv.
supportem a hranicí odporu tzv. resistencí. Hranicí podpory rozumíme úroveň, při které dojde k zastavení prodejů akcií a stagnaci jejích cen. V důsledku dlouhodobého převisu nabídky nad poptávkou kurz daného finančního instrumentu klesl příliš nízko a instrumenty se staly příliš lacinými, proto se jejich prodej dále nevyplatí. Je otázkou času, kdy investoři začnou laciné instrumenty opět poptávat a charakter trhu se změní z medvědího na býčí. Nicméně kurz cenného papíru může na této úrovni několik týdnů
17
až měsíců setrvat. Analogicky k tomu je možné definovat hranici odporu jako strop, u kterého se zastavuje vzestup hodnoty kurzu. Ceny akcií se dostaly příliš vysoko a jsou v daný moment považovány za příliš drahé. Řada investorů v tomto okamžiku tlumí svou poptávku, protože nákupy za vysoké ceny jsou nevýhodné. Síla S/R je potom určována podle toho, kolikrát se cena akcie dané úrovně dotkla za sledovaný časový úsek. Za S/R je považována úroveň, při které se kurs akcie dotknul minimálně třikrát. V případě, že se cena akcie dostane na S/R úroveň, může dojít k odražení ceny, nebo k jejímu prolomení. V tu chvíli závisí na pozici a znalostech investora, ke které variantě se na základě svých znalostí a zkušeností přikloní a jak své chování na trhu přizpůsobí. Pokud cena akcie prorazí původní hladinu S/R, je na trhu relativně častým jevem, že se z bývalého supportu stává resistence a naopak.
Obrázek 2:TESLA INC, 1D, Prosinec 2018–Květen 2019
Zdroj: https://www.tradingview.com/chart/?symbol=NASDAQ%3ATSLA, zpracování vlastní
Na následujícím denním grafu společnosti Tesla Inc. z období od prosince 2018 do května 2019, je možné pozorovat podpůrnou hranici na úrovni přibližně $310, ke které se kurs akcie několikrát vrací. Dvakrát se kurs odrazí a začne opět růst vždy přibližně k hodnotě $360, tuto hodnotu můžeme naopak považovat za resistenci, ke které kurs několikrát vzroste, ale nikdy se přes ni nedostane. V dubnu 2018 pak dojde k prolomení hranice $310 a kurs nadále klesá.
18
1.3 Technické indikátory
Jedním z hojně využívaných indikátorů technické analýzy, který pomáhá vyhladit cenovou křivku akcie a očistit ji o vliv náhodných krátkodobých cenových fluktuací je klouzavý průměr. Jedná se o trend identifikující indikátor, který je počítaný jako průměr cen akcií za několik posledních dní. Podstatou metody klouzavých průměrů je, že množina kursů, z nichž se počítá klouzavý průměr se neustále obnovuje, a to tím způsobem, že se každý následující den zařadí nejnovějšího kurzu, a naopak se vyřadí hodnota kurzu nejstaršího, což způsobuje, že se hodnota vypočteného průměru klouže nad či pod aktuální kurz, v závislosti na tom, jak se vyvíjí tržní hodnota akcie. Dle počtu dní, za které hodnoty bereme můžeme rozlišit 15 ti denní, 30 ti denní, ale také 100 a 200denní klouzavé průměry. Vzorec pro výpočet Klouzavých průměru je následující (Veselá & Oliva, 2015):
𝑆𝑀𝐴! =𝑃!+ 𝑃!"#+. . +𝑃!"(%"#)
𝑛
Kde M je délka periody, uvažované pro výpočet klouzavého průměru, na jehož základě klouzavý průměr počítáme, a PM jsou jednotlivé hodnoty akciového kurzu.
Klouzavé průměry mohou být využity několika způsoby. Příkladem může být porovnávání klouzavého průměru akcie s její aktuální tržní cenou, které dobře funguje v trendových trzích. Staví na myšlence, že má akcie průměrnou hodnotu, ke které vždy postupně vrací. Vzroste-li tržní hodnota akcie nad hodnotu klouzavého průměru, vysílá investorovi signál, že její hodnota v budoucnu klesne a naopak. Problém v takovém případě je určení, jak dlouhý klouzavý průměr má investor využít. Dalším způsobem využití je křížení klouzavých průměrů různých délek, nebo například seřazení klouzavých průměrů různých délek. Čím delší klouzavé průměry využíváme,
19
tím více odrážení dlouhodobý trend vývoje akciové ceny a zanedbávají krátkodobé cenové výkyvy.
Klouzavý průměr je velmi důležitým indikátorem i z toho pohledu, že na jeho základech staví další významné technické indikátory, ať už se jedná o jeho modifikace, či o samostatné indikátory vycházející z jeho výpočtu. Mezi nejpoužívanější modifikace klouzavého průměru je možné zařadit například exponenciální a vážený klouzavý průměr (Veselá & Oliva, 2015).
𝑎) 𝐸𝑀𝐴'%() = -𝐸𝑀𝐴*č(,-(1 − 𝑒𝑝)3 + (𝑃'%() 𝑒𝑝)
𝑒𝑝 = 2 𝑀 + 1
𝑏) 𝑊𝑀𝐴! = 𝑛𝑃!+ (𝑛 − 1)𝑛𝑃!"#+ ⋯ + 𝑃(!"%/#)
𝑛 + (𝑛 − 1) + ⋯ + 2 + 1
Kde P jsou jednotlivé hodnoty kurzu akcie, 𝑒𝑝 je exponenciální procento, které funguje v případě exponenciálního průměru, jako vyhlazovací faktor, M je dílka časové periody klouzavého průměru a n je váha, přidělovaná kurzu v aktuální nejmladší den v časové periody výpočtu klouzavého průměru.
Oba tyto ukazatele zohledňují důležitost jednotlivých průměrných cen akcie za danou časovou periodu tím, že daným hodnotám přiřazují váhy. Nejvyšší váhu zpravidla přiřazují nejnovější hodnotě klouzavého průměru a nejmenší váhu pak hodnotě nejstarší. Liší se tím, že u váženého průměru nejvyšší hodnota zpravidla odpovídá délce periody (M), zatímco u exponenciálního průměru se použité hodnoty vah zvyšují exponenciálně (Veselá, 2011).
20
Dalším indikátorem, který je na klouzavých průměrech založen, je indikátor klouzavého průměru konvergence a divergence (ve zkratce MACD). Jedná se o indikátor, znázorňující vztah mezi dvěma klouzavými průměry, který je využívaný pro zachycení změn v trendu na trhu, rovněž generuje nákupní a prodejní signály na trhu. Nejčastěji bývá kalkulován jako rozdíl hodnoty 12 a 26denního exponenciálního klouzavého průměru. Hodnota MACD indikátoru běžně osciluje kolem nulové linie, přímky, odpovídající dlouhodobému klouzavému rozdílu mezi krátkodobým a dlouhodobým klouzavým průměrem. Pokud se indikátor pohybuje nad přímkou, odráží probíhající býčí trend, zatímco pohyb pod přímkou znázorňuje probíhající medvědí trend na trhu (Veselá, 2011).
Pro odvození nákupních a prodejních signálů, je v grafu využívána tzv. signální linie, zpravidla kalkulované jako jednoduchý 9denní klouzavý průměr vypočtený z indikátoru MACD. Pokud MACD klesne pod spouštěcí linii, je to signál pro prodej.
Pokud vystoupí nad signální linii, měli by investoři nakupovat. (Veselá, 2011).
Nevýhodou klouzavých průměrů a indikátorů na nich postavených je, že patří mezi zpožďující se indikátory, což způsobuje, že signály k nákupu/prodeji postavené na jejich základě přichází k investorovi později, než taková situace na trhu nastane, čemuž je třeba se při jejich využívání přizpůsobit.
Momentum je cenový oscilátor. Zachycuje míru a rychlost růstu nebo poklesu ceny akciového kursu a jeho změny. Využívá se k identifikaci trendu, který je na trhu nastoupen. Měří jeho zrychlení, zpomalení, či jeho změny. Je možné ho vyjádřit v absolutní či relativní podobě, jako rozdíl nebo podíl dvou, po sobě nenásledujících, kurzů akcie. Jeho hodnota kolísá kolem oscilační linie 0. Pokud hodnota momenta roste rychle nad oscilační linií, je to známka silného býčího trendu, analogicky k tomu, pokud klesá pod oscilační linií, trh, na kterém se investor pohybuje má medvědí charakter.
𝑎) 𝑀0 = 𝑃1− 𝑃1"% 𝑏) 𝑀2 = 33!
!"#
kde n je nejčastěji hodnota z intervalu 5 až 25 dní (Veselá & Oliva, 2015).
21
RSI jinak také nazýván jako index relativní síly je typem momenta. Jedná se o ukazatel, který porovnává výkonnost vybraného instrumentu s jeho výkonností v minulosti. Poměřuje kladné a záporné kursové změny analyzované akcie v rámci dané časové periody. Nejvíce využívané periody pro kalkulaci indexu RSI jsou 9, 14 a 25 dní, je ale nutné přizpůsobit periodu charakteru analyzované akcie a trhu, na kterém se investor pohybuje.
Vzorec pro výpočet indexu je:
𝑅𝑆𝐼 = 100 − 100 1 + 𝑅𝑆
Kde RS je podíl průměrných kladných a záporných změn v kursu v průběhu stanovené časové periody.
Hodnoty indexu kolísají mezi 0 a 100. Pokud hodnota RSI přesáhne úroveň 70, je na trh, kde je analyzovaná akcie obchodována pohlíženo jako na překoupený a je očekávána změna trendu z býčího na medvědí. Na druhé straně, pokud je hodnota indikátoru pod úrovní 30, trh je předprodaný očekává se změna trendu z medvědího na býčí, tj. růst trhu (Veselá, 2011). Krátkodobá volatilita a velmi výrazné pohyby ceny některých aktiv na trhu můžou vytvářet falešné nákupní a prodejní signály, proto někteří investoři upravují své požadavky na nižší/vyšší prahové hodnoty RSI.
Mezi moderní finanční nástroje technické analýzy, které stále častěji nachází ve středu zájmů finančních analytiků, můžeme zahrnout například indikátor Fibonaciho úrovně.
Tento indikátor je založený na klíčové posloupnosti čísel, se kterou přišel matematik Leonardo Fibonacci a jejich vzájemných poměry, které jsou nadále využívané pro vyjádření vztahů kursů jednotlivých akcií. Vychází z pozorovaného faktu, že žádný trh se dlouho nepohybuje jedním směrem, ale dochází na něm ke tvorbě korekcí.
22
V takové situaci mají Fibonnacciho úrovně tyto korekce pomoci identifikovat, lépe řečeno pomoci nám predikovat, kdy dané korekce nastanou.
Při provádění technické analýzy vytvoříme Fibonacciho úrovně propojením dvou extrémních hodnot – maxima a minima jednoho swingu v grafu vybrané akcie. Podle Fibonacciho čísel (0 %, 23,6 %, 38,2 %, 50 %, 61,8 % a 100 %) dojde k rozdělení daného úseku vodorovnými liniemi na několik úrovní. Tyto úrovně jsou pak využívány jako indikátory pro určování následného pohybu ceny. Fibonacciho úrovně jsou užitečným nástrojem, který nám pomáhá určit úrovně supportů a rezistencí, zároveň jsou velmi užitečné při stanovení cílových hodnot a stop-loss příkazů.
Na základě technických indikátorů je možné analyzovat vhodnou pozici, pro vstup na trh a zahájení obchodování s vybranou akcií. Vzhledem k široké paletě nástrojů, které technická analýza využívá, je možné vstup na trh identifikovat řadou způsobů, s ohledem na preference a zkušenosti daného analytika.
23
2 Algoritmické obchodování
Žijeme v době, kdy rozvoj technologií pomalu zasahuje do všech oblastí našeho každodenního života. Umožňují nám zachytit a uchovat daleko větší množství informací, se kterým můžeme pracovat a dále je využívat. Rozvoj vědeckých disciplín jako ekonomie, matematika, statistika, informatika, ale také biologie, které navzájem spolupracují a s podporou rychle se rozvíjejících technologií umožňují přicházet s novými řešeními, která mění a modernizují stávající obchodní svět. Tyto faktory vytvořily skvělé podmínky pro to, aby informační technologie začaly hrát daleko významnější roli i v oblasti financí a obchodování na kapitálových trzích.
Algoritmické obchodování zvyšuje likviditu a efektivitu finančních trhů, snižuje spread mezi nákupními a prodejními kurzy investičních instrumentů a tlačí dolů transakční náklady.
Algoritmické obchodování se stalo populárním na počátku nového tisíciletí. Jak je možné vidět na grafu, podíl algoritmického obchodování na celkovém objemu obchodů stále roste. Největší podíl je v USA, kde koncem roku 2014 tvořilo přes 60 procent (Kučera, 2013). Jedním z důvodů tak prudkého nárůstu je celková změna tržního prostředí a s tím související sílící tlak na rychlost a přesnost zadávaných obchodních příkazů. Dále je to množství dat, která musí obchodníci zvážit, při provádění obchodů.
24
Obrázek 3: Podíl algoritmického obchodování na celkovém zobchodovaném objemu na trhu (%)
Zdroj: Zdroj: (Kučera, 2013)
Svůj díl viny na rozvoji algoritmického obchodování měla také finanční krize v roce 2008, která způsobila, že investoři měli problém s prováděním obchodních příkazů obzvlášť v tak vysoké frekvenci. V průběhu finanční krize nebylo výjimečné, že se ceny investičních instrumentů měnily o 5-10 % denně. Zároveň je důležité zmínit, že na předchozím obrázku jsou pod algoritmické obchody zahrnuty, kromě přímých algoritmických obchodů, také zprostředkovatelské obchody využívající algoritmy.
Pokud investor využil k obchodování brokera, který obchodoval s využitím algoritmů, byl obchod zahrnut v prezentované statistice jako algoritmický.
Pod pojmem algoritmické obchodování rozumíme využívání počítačových programů k obchodování na kapitálových trzích. Ačkoli jsou příkazy vykonávány počítačem, rozhodnutí o obchodování závisí většinou na člověku (v současnosti se využívá také tzv. machine to machine trading neboli obchodování bez vlivu člověka, kde je lidský faktor v podstatě eliminován). Ten nastavuje parametry, jako je například obchodované množství cena, ale také čas, podle kterých jsou obchody realizovány.
Počítač slouží pouze jako nástroj, který usnadňuje analyzování dat, implementaci
25
požadavků a realizaci zvolené obchodní strategie. Jeho výhodou rovněž je, že jeho práce je rychlejší a systematičtější, při práci s velkým množstvím dat postupuje efektivněji, nepodléhá psychologickým vlivům, jako je tomu u lidského obchodníka, ale je řízen čistě číselnými signály.
Algoritmické obchodní systémy, někdy také nazývány jako expertní systémy, v první řadě vyžadují specifikaci investičních cílů do podoby matematických instrukcí, které jsou převedeny do počítačového kódu/příkazu. Vytvořený algoritmus je následně na historických datech testován a ve chvíli kdy naplňuje požadavky, je testovány na datech „živých“, přímo na finančních trzích. Pokud algoritmus projde i druhou testovací fází, je následně používán v praxi. Vyhodnocení úspěšnosti algoritmů a dalších metrik algoritmické strategie je pro využívání algoritmického obchodování klíčové. V případě chyby v algoritmu můžou být důsledky fatální. Na základě zvolených parametrů program samostatně monitoruje trh a zadává nákupní a prodejní příkazy ve chvíli, kdy se tržní situace střetává se vstupními požadavky. V praxi bývají algoritmy optimalizovány pomocí nejrůznějších metod. Příkladem optimalizačních nástrojů je například využití biologických algoritmů, mezi než můžeme zařadit neuronové sítě, kterým se bude věnovat převážná část této diplomové práce.
Neuronové sítě jsou velmi populárním nástrojem na finančních trzích, kde jejich potenciál využití je velmi široký. Je tomu tak především proto, že oproti běžně používaným statistickým metodám disponují řadou výhod. Mezi hlavními je možné zmínit například nulové požadavky na distribuci dat nebo možnosti zařadit kdykoli nová data do testovací množiny a tím aktualizovat neuronovou síť (Arash, 2010). Jsou daleko méně citlivé na chybné předpoklady a jsou schopné tolerovat šum a chaotické komponenty. Pro využití na finančních triích jsou neuronové sítě vhodným nástrojem především pro svou schopnost vypořádat se s nejistotou, na finančních trzích neustále přítomnou (Tan, 1970).
Algoritmické obchodování není samo o sobě strategií. Je to nástroj, jak známé obchodní strategie realizovat. Strategií, které se dají pomocí algoritmů implementovat je celá řada. Mezi ty nejznámější patří například trendové strategie, řízené indikátory
26
technické analýzy. Jejich aplikace není obtížná, protože nevyžaduje žádné predikce vývoje akcie do budoucna. Dále pak například arbitrážní strategie, které hledají nestejně oceněná aktiva na dvou různých trzích a snaží se levně nakoupit a draze prodat. Můžeme zmínit také strategie založené na matematických modelech apod.
Algoritmické obchodování je možné dělit na základě prováděných příkazů na poziční případně intra denního obchodování (viz kapitola 2.) a vysokofrekvenční obchodování (jinak také označované jako HFT, neboli high frequency trading). Vysokofrekvenční obchodování je specifická forma obchodování, kdy především velké investiční banky, hedgové fondy a institucionální investoři využívají počítače s velmi vysokými výpočetními kapacitami pro vstup na automatizované obchodní platformy, kde je realizováno extrémní množství obchodů za velmi krátké časové úseky. Obchodní platformy tohoto typu umožňují díky využití velmi komplexních algoritmů investorům realizovat miliony obchodních příkazů a analyzovat množství finančních trhů a investičních instrumentů v řádech sekund. Spready mezi nákupními a prodejními kurzy jsou velmi malé, často ve výši setin či tisícin centů. Zisků je dosaženo vzhledem k množství a objemu realizovaných transakcí.
Algoritmické obchodování může generovat značné zisky a může pro investory přinášet řadu nepopiratelných výhod, pokud jsou algoritmy správně nastaveny a správně využívány. Je nutné neustále monitorovat a analyzovat chování algoritmů a jejich výkonnost na jednotlivých trzích, obzvlášť v případě, že dojde na trhu k nepředvídaným událostem. Pokud dění na kapitálových trzích odpovídá očekávání, pak by výsledky měly odpovídat předpokladům. Pokud ale dojde na trhu nepředvídatelná událost, na kterou algoritmy nebyly dostatečně natrénovány, může to vést k negativním dopadům na jejich výkonnost v extrémním případě i na celý trh.
V souvislosti s tím je možné zmínit tržní fenomén tzv. flash crash.
27
Obrázek 4: Obrázek 5: Flash Crash, minutový graf S&P, Květen 2010
Zdroj: https://www.investing.com/analysis/analysis/hull-warns-of-hft-cancellations-and-the-illusion- of-liquidity--140236
Jedná se o situaci, kdy na trh nepronikne žádná nová informace, která by zapříčinila změnu ceny obchodovaného aktiva, ale přesto dojde k jejímu výraznému propadu.
Příčina vzniku může být například v nevhodném načasování vysoko objemového příkazu v situaci, kdy je na trhu malá likvidita. Trh v takové situaci nedokáže tento příkaz absorbovat. Jedná se o specifický případ operačního rizika, spojený s vnitřní chybou algoritmu, který nehlídá likviditu na trhu. Dopad na trh je velmi krátkodobý.
Po odeznění nevhodných příkazů se cena aktiva vrací zpět, protože neexistuje fundament, díky kterému by měla být cena stlačena na tak nízkou úroveň. Zároveň může mít ale na dění na trhu velmi negativní důsledky. Jednotlivé subjekty mají na trhu své otevřené pozice a nastavené stop-loss příkazy. Náhlý propad ceny může proto způsobit řetězovou reakci v uzavírání pozic na trhu a subjekty mohou realizovat velké ztráty. K jednomu z nejznámějších případů došlo 6. května 2010, kdy se trh propadl zhruba o 6 %4.
4 Zdroj: https://www.bloomberg.com/opinion/articles/2015-04-21/guy-trading-at-home-caused-the-flash-crash
28
3 Neuronové sítě
3.1 Historie neuronových sítí
Samotný vznik neuronových sítí je datován do roku 1943, kdy Warren McCulloch a Walter Pittse přišli ve své práci „A logical calculus of the ideas immanent in nervous aktivity“ (McCulloch & Pitts, 1943) návrhem matematické koncepce biologického neuronu a na jeho základech sestrojili jednoduchou neuronovou síť o jednom neuronu, využívající skokovou aktivační funkci, která byla schopná binárně klasifikovat data.
Jejich model se i přes svá omezení5 stal významným milníkem v historii, který měl velký dopad na výzkum lidského mozku. Zároveň byl vnímán jako významný podnět pro další teoretické zkoumání v oblasti počítačového učení a neuronových sítí.
S první formulací učícího pravidla přišel ve své knize „The Organization of Behavior“
na konci 50. let kanadský psycholog a významný představitel neuropsychologie Donald Hebb. Neuronové učení, dnes často známé pod názvem Hebbovo učení předpokládá, že podmíněné reflexy, které jsou pozorovány u všech živočichů, jsou ustavovány posilováním či oslabováním vazeb mezi jednotlivými neurony.
Předpokládá, že pokud jsou dva neurony aktivní současně, vazba mezi nimi by měla posilovat, zatímco při nesouhlasné aktivaci by měla být jejich vazba nulová, nebo velmi malá.
Na McCullocha a Pittse navázal v roce 1957 Frank Rosenblatt (Rosenblatt, 1958), který rozšířil základní model neuronu a zformuloval nové učící pravidlo, u kterého zároveň matematicky dokázal, že pro náhodně zvolenou konfiguraci sítě nalezne po konečném počtu kroků odpovídající váhový vektor parametrů, pokud tedy existuje.
Rosenblattův model neuronu dostal název Perceptron a jedná se o nejjednodušší model dopředné neuronové sítě. Na základě tohoto výzkumu Frank Rosenblatt spolu
5 Perceptron byl schopen řešit pouze lineárně separovatelné problémy
29
s Charlesem Wightmanem sestrojili první úspěšný neuropočítač určený pro rozpoznávání znaků, Mark I Perceptron.
Objevení Perceptronu bylo považováno za jeden v přelomových okamžiků v historii neuronových sítí, který vedl k růstu zájmu o tuto oblast. Perceptron je možné dodnes považovat za základní stavební prvek pokročilejších neuronových sítí.
V roce 1960 přišel profesor Bernard Widrow spolu se svými studenty na Stanfordově univerzitě s objevem nového výpočetního prvku, který nazval ADALINE. Tento model byl vybaven novým učícím pravidlem, které je doposud používáno.
Na přelomu 50. a 60. let dochází k úspěšnému rozvoji neuro výpočtů převážně v oblasti návrhu a implementace nových modelů neuronových sítí. Na druhé straně se ale obor neuronových sítí potýkal s problémy. Nadšení a publicita neuronových sítí vedla k velkým očekáváním a tlaku na dosahování velkých výsledků, které ale nepřicházely, proto se vědci i finance začaly postupně odklánět do příbuzných oblastí umělé inteligence. Poslední kapkou, která vedla k útlumu zájmu v oblasti neuronových sítí byla publikace díla Perceptrons Marvinem Minským a Seymourem Perpetem, kteří s cílem převést finanční prostředky do jiných oblastí umělé inteligence diskreditovali výzkum neuronových sítí. Svoji kritiku postavili na známé nemožnosti řešení funkce XOR pomocí jediného neuronu. Vznesli otázku, zdali má význam pokračovat nadále ve výzkumu neuronových sítí, pokud nedokáží vyřešit ani tento elementární úkol. Tato kritika měla především na území Spojených států velký vliv a na další období se výzkum neuronových sítí téměř zastavil.
Renesance tohoto oboru přišla až v 80. letech v souvislosti s prudkým rozvojem výpočetní techniky při současném poklesu cen. Výzkum byl zaměřen na otázky, týkající se převážně adaptivního zpracovaní́ signálů̊, rozpoznávaní́ obrazců̊ a biologického modelovaní́. Zásluhou Ira Skurnicka začala na počátku 80. let podporovat výzkum neuronových sítí podporovat americká grantová organizace DARPA (Defense Advanced Research Projects Agency), jejíhož příkladu krátké době následovaly i další organizace. Důležitou roli pro renesanci oboru neuronových sítí hrál John Hopfield, americký vědec, který je známý především pro svůj vynález
30
asociativní neuronové sítě. Hopfield ukázal souvislost některých modelů neuronových sítí́ s fyzikálními modely magnetických materiálů a svými přednáškami po celém světě přitáhl do oblasti neuronových sítí řadu kvalifikovaných vědců, matematiků a technologů.
V roce 1986 publikovali badatelé David Rumelhart, Geoffrey Hinton a Ronald Williams své výsledky, ve kterých popsali učící algoritmus zpětného šíření chyby neboli backpropagation pro vícevrstvou neuronovou síť a vyřešili tak problém, který se v 60. letech zdál být nepřekonatelnou překážkou pro využití a další rozvoj neuronových sítí. Tento algoritmus je doposud nejpoužívanější učící metodou neuronových sítí a jeho publikace vedla k nárůstu zájmu o neuronové sítě. Zajímavé je, že byl algoritmus byl algoritmus v podstatě znovu objeven. Podobný algoritmus byl totiž publikován koncem 70. let Arthurem Brysonem a Yu-Chi Ho, ale sílící kritikou neuronových sítí byl utlumen.
V roce 1987 se v San Diegu konala International Conference on Neural Networks, první, větší konference, specializovaná́ na neuronové́ sítě̌, na které́ byla zároveň založena mezinárodní společnost pro výzkum neuronových sítí́ International Neural Network Society. V návaznosti na rostoucí popularitu neuronových sítí založila řada světových univerzit nové výzkumné ústavy, zabývající se neuronovými sítěmi a založila studijní obory zaměřené na neuro výpočty. Tento trend pokračuje až dodnes.
3.2 Biologický neuron
Stejně jako řada dalších odvětví informatiky, tak i umělé neuronové sítě svou prvotní inspiraci získaly v biologické předloze. Původním cílem výzkumu neuronových sítí bylo pochopit a simulovat lidské myšlení a fungování lidského mozku. Nervová soustava člověka zprostředkovává vztahy mezi vnějším prostředím a organismem, i mezi jeho jednotlivými částmi a zajišťuje tak příslušnou reakci na vnější podněty i na vnitřní stavy organismu. Základním stavebním kamenem nervové soustavy je nervová buňka neboli neuron. Byla objevena na přelomu 19. a 20. století španělským lékařem Santiagem Ramónem y Cajal. Neuron je samostatná specializovaná jednotka, která
31
slouží k přenosu, zpracování a uchování informací, nutných pro realizaci životních funkcí. Počet neuronů v mozku člověka se odhaduje asi na 100 miliard a každý neuron bývá spojen s dalšími (v průměru 1000 až 10 000) neurony (Šíma & Neruda, 1996).
Neurony mají stavbu přizpůsobenou přenosu signálu. Kromě vlastního těla, tzv.
somatu, se skládají ze vstupních a výstupních výběžků. Vstupní výběžky neuronu se nazývají dendrity a jejich funkcí je přivádět do neuronu informace ve formě elektrických signálů. Výstupní výběžek neuronu se nazývá axon a vystupuje z něj řada větví, tzv. terminálů zakončených blánou, která se stýká s výběžky tzv. trny dendritů jiných neuronů. Pokud je neuron aktivován předchozí komunikací s jinými neurony, informace je přenášena jako elektrický impuls přes axon do terminálů do dalšího neuronu. K přenosu informace mezi neurony slouží mezi neuronové rozhraní, nazvané synapse, kde se terminály jednoho neuronu téměř dotýkají dendritů jiného neuronu.
Míra synaptické propustnosti je nositelem všech významných informací během celého života organismu. Při každém průchodu signálu se synaptická propustnost membrány mění což je předpokladem pro paměťovou schopnost neuronů. Propojení neuronů prochází v průběhu života organismu vývojem. Pokud spolu dva neurony komunikují, propustnost membrány roste, pokud komunikace mezi neurony neprobíhá, propustnost membrány klesá. Procesem učení v organismu mohou být jsou vytvářeny nové paměťové stopy, na druhé straně při zapomínání se synaptické spoje mezi neurony přerušují.
Nervová soustava člověka tvoří velmi složitý systém. Uvedené velmi zjednodušené́
neurofyziologické́ principy by nám ale měli v dostatečné míře stačit k formulaci matematického modelu neuronové́ sítě̌.
32
Obrázek 6: Schéma biologického neuronu (1. Dendrity, 2. Soma, 3. Jádro, 4. Axon, 5. Terminály)
Zdroj: https://upload.wikimedia.org/wikipedia/commons/5/55/Neuron_(PSF).png
3.3 Formální neuron
Následující podkapitola a popis formálního neuronu vychází z prací Šímy a Nerudy (Šíma & Neruda, 1996) a Aggarwala Charu (Aggarwal, 2018), doplněnými o poznatky od Azoffa (Azoff, 1994), Volné (Volná, 2008), a autorů McNeila a Andersona (McNeill & Anderson, 1992).
Formální neuron (dále jen neuron) je zjednodušenou funkcí neuronofyziologického neuronu, přenesenou do matematické podoby. Je základním stavebním kamenem pro tvorbu neuronové sítě.
Jedná se o relativně jednoduchou výpočetní jednotku, která provádí matematickou operaci, v níž vstup vynásobí příslušnou váhou, transformuje aktivační funkcí a následně vrátí požadovaný výstup.
Každý neuron má n obecně reálných vstupů 𝑥#, 𝑥4, … 𝑥% ohodnocených synaptickými váhami 𝑤#, 𝑤4, … 𝑤% , které udávají důležitost daného vstupu. Změnou synaptických vah neuronu probíhá jeho učení.
33
Vstupy, které mají větší synaptické váhy ovlivňují neuron více než ty, které mají synaptické váhy nižší. „Ve shodě sneurofyziologickou motivací mohou být synaptické váhy i záporné, čímž se vyjadřuje jejich inhibiční charakter.“ (Volná, 2008, s. 10).
Obrázek 7: Schéma formálního neuronu
Zdroj: (Šíma & Neruda, 1996, s.24)
Obrázek 7 zobrazuje schéma formálního neuronu. Vážený součet vstupních hodnot představuje vnitřní potenciál neuronu a je možné jej vypočítat podle vztahu:
𝜉 = 𝑥5+ @ 𝑤% 𝑥%
%
675
, kde 𝑥 = (𝑥#, 𝑥4, … 𝑥%) je vektor vstupních hodnot neuronu, 𝑤 = (𝑤#, 𝑤4, … 𝑤%) je vektor příslušných vah a 𝑥8 je bias.
Vnitřní potenciál neuronu může být vyjádřen složitějšími operacemi, než je vážený součet hodnot. Jaká operace je pro výpočet vnitřního potenciálu vhodná je odvozeno od formy výstupu, kterou po neuronové síti požadujeme. Příkladem dalších možností,
34
které jsou využívány, je například výběr maximálních, minimálních nebo převládajících prvků, nebo využití normalizačních algoritmů (McNeill & Anderson, 1992).
Proměnná ℎ zastupuje tzv. vlastní práh neuronu, který slouží jako indikátor pro aktivaci neuronu. Práh neuronu je porovnáván s hodnotu vnitřního potenciálu 𝜉.
Pokud je hodnota vnitřního potenciálu vyšší než práh, pak neuron vygeneruje signál, v opačném případě signál nevygeneruje. Záporná hodnota prahu ℎ je brána jako váha pro vstup 𝑥5, (𝑤5 = −ℎ) (Šíma & Neruda Roman , 1996).
Konečný výstup neuronu je dán dosazením vnitřního potenciálu do transferové funkce neuronu a je možné jej vyjádřit ve vztahu:
𝑦 = 𝑓(𝑥5 + @ 𝑤% 𝑥% )
%
675
Aktivační funkce neuronu (s) je matematická formule, která modeluje výsledný výstupní signál neuronu. Zabraňuje, aby výstup neuronové sítě nabýval extrémně vysokých či nízkých hodnot, čímž by mohl paralyzovat neuronovou síť a zabránit tak jejímu učení.
Typů aktivační funkce je mnoho a její vhodný výběr má vliv na výpočty jednotlivých neuronů a zároveň na učení celé neuronové sítě. Právě různé druhy aktivačních funkcí jsou příčinou toho, že je neuronová síť schopna modelovat i nelineární funkce. Výběr typu aktivační funkce se řídí požadavky na výstup neuronové sítě. Ve většině případů se předpokládá použití stejného typu transferové funkce pro celou neuronovou síť, nebo alespoň její dílčí vrstvy. To ale není pravidlem. Pro jednotlivé vrstvy neuronové sítě mohou být použity různé transferové funkce.
35
Nejjednodušším typem aktivační funkce je lineární aktivace, kdy není aplikována žádná forma transformace vstupních hodnot. Vstupní hodnoty jsou vynásobeny příslušnými vahami, které jsou upravovány v závislosti na chybové funkci neuronové sítě. S takovouto formou aktivační funkce se velmi snadno pracuje při trénování neuronové sítě, ale nedokáže se naučit komplexně mapované funkce. Proto se začali v hojné míře pro aktivaci neuronů v neuronové síti využívat funkce nelineární, které jsou schopny řešit daleko komplexnější problémy v datech. Mezi dvě nejvyužívanější nelineární funkce patří logistická sigmoida a hyperbolický tangens.
Logistická sigmoida je typem spojité nelineární funkce esovitého tvaru, s fixními výstupními hodnotami. Je možné ji formálně zapsat ve tvaru:
Obrázek 8: Logistická sigmoida
𝜎(𝜉) = 1 1 + 𝑒"9
Zdroj: https://www.programmersought.com/article/47403399640/
Nabývá hodnot od (0,1). V řadě modelů řešících problém binární klasifikace nahradila funkci skokovou, na rozdíl, od které nedisponuje tak přísnou hranicí pro formulaci výstupu. Krom binární klasifikace je rovněž vhodná pro použití v případech, kdy výstupem modelu je klasifikace pravděpodobnosti.
Další alternativou aktivační funkce je hyperbolický tangens, který je lineární transformace logistické sigmoidy. Jeho hlavní výhodou je, že nabývá hodnot <-1,1>, což umožňuje zahrnou větší lineární úsek okolo počátku soustavy souřadnic. Je možné ho formálně zapsat ve tvaru:
36
Obrázek 9: Hyperbolický tangens
𝜎(𝜉) = 1 − 𝑒"9 1 + 𝑒"9
Zdroj: https://www.programmersought.com/article/47403399640/
Hyperbolický tangens je preferován před logistickou sigmoidou ve chvíli, kdy výstupy sítě mají nabývat jak kladných, tak záporných hodnot. Využití sigmoidních aktivačních funkcí je vhodné v případě využití učícího algoritmu backpropagation of error, podrobněji popsán v kapitole 5.1zejména z toho důvodu, že je lze snadno derivovat, což do značné míry může usnadnit a zrychlit a zefektivnit učení neuronové sítě.
V dnešní době jsou logistická sigmoida a hyperbolický tangens čím dál častěji nahrazovány tzv. moderními aktivačními funkcemi. Mezi ty nejznámější patří funkce ReLU (Rectified Linear Unit) a její modifikace, jako Leaky ReLU a PReLU.
37
ReLu je částečně lineární funkce, kterou je možné vyjádřit ve tvaru:
Obrázek 10: Re-LU
𝜎(𝜉) = 𝑚𝑎𝑥 {𝜉, 0}
Zdroj: https://www.programmersought.com/article/47403399640/
Takovýto tvar aktivační funkce vede k tomu, že v případě kladných hodnot vrací funkce hodnotu vstupu a v případě hodnot záporných vrací 0. Mezi její hlavní výhody patří především to, že umožňuje snadnější učení v případě práce s více vrstvami neuronových sítí (Aggarwal, 2018). Zároveň netrpí problémem mizejícího gradientu pro velké výstupní hodnoty, který je velmi často a hodně diskutovaným problémem v souvislosti se sigmoidními funkcemi, a který může způsobovat problémy a komplikovat učení neuronových sítí. (Géron, 2017).
U této funkce ale pozorujeme jiný druh problému, označovaný jako dying ReLU.
Vzhledem ke tvaru funkce dochází k tomu, že v průběhu trénovaní některé neurony tzv. zemřou, tj. dojde k jejich deaktivaci a jejich jediným výstupem bude 0. Tento problém bývá odstraňován využitím různých modifikované verze funkce ReLU – Leaky ReLu a PReLu které se v záporných hodnotách nerovnají nule, ale v případě, že 𝑥 ≤ 0 vrací záporné, velmi malé nenulové hodnoty.
Všeobecně platí, že aktivační funkce by měla svým tvarem co možná nejlépe odrážet požadavky vstupních dat a požadovaných výstupů neuronové sítě.
38
4 Umělé neuronové sítě
Stejně, jako jsou například terminály axonu, biologického neuronu, spojeny přes synaptické vazby s dendrity jiných neuronů, bývají umělé neurony navzájem propojeny a tvoří neuronové sítě. Umělé neuronové sítě (dále jen neuronové sítě) vznikají propojením jednotlivých neuronů tak, že výstup neuronu může být zároveň vstupem dalšího neuronu. Vzájemné propojení neuronů do neuronové sítě umožňuje zvýšit jejich výpočetní výkon a řešit daleko komplikovanější úlohy, než jaké by dokázala vyřešit jedna samostatná jednotka. Teoreticky se mohou neuronové sítě naučit jakoukoli matematickou funkci, pokud mají k dispozici vhodná vstupní data, na kterých se mohou učit (Aggarwal, 2018).
Základní úlohy, které jsou neuronové sítě schopné zpracovávat je možné dle (Azoff, 1994) rozdělit do čtyřech kategorií na:
o Klasifikaci – tj. zařazení neuronového vstupu do vybrané kategorie
o Asociaci – tj. zařazení nebo utřídění prvků, na základě několika shodných rysů ve vstupních datech
o Kodifikaci – tj. zjednodušení vstupních dat poskytnutím redukovaného výstupu
o Simulaci – tj. tvorba nového výstupu, na základě vstupních dat, která hrají roli stimulů
Propojením jednotlivých dílčích úloh, je možné neuronové sítě využít k řešení velmi komplexních problémů. Jako příklad ve své knize (Azoff, 1994) uvádí dekompozici problému využití dopředné vícevrstvé neuronové sítě pro predikci vývoje časových řad do jednotlivých dílčích kroků. V prvním kroku je při řešení takového problému provedena komprese vstupních dat (kodifikace) a redukce náhodného šumu (asociace), v dalším kroku potom probíhá identifikace opakujících se vzorů v chování časové řady (klasifikace) a na závěr potom samotná předpověď dalších hodnot (simulace).
Propojením jednotlivých neuronů do neuronové sítě je umožněno tzv. učení neuronové sítě. Učením neuronové sítě rozumíme nastavování synaptických vah ve spojení
39
jednotlivých neuronů, které je realizováno prostřednictvím vybraného algoritmu.
Cílem učení neuronové sítě je nalezení takové úrovně synaptických vah, při kterém je nalezeno globální minimum ztrátové funkce. V případě, že nedojde k tzv. přeučení sítě, mělo by být toto nastavení synaptických vah generalizovatelné (viz. kapitola 5.1).
Základem učících algoritmů bývá tzv. Hebbův zákon učení, který říká, že pokud jsou oba neurony v čase k aktivní, pak dojde k posílení jejich spoje. V případě že aktivní nejsou, dojde k oslabení spoje. Učení neuronových sítí probíhá různými způsoby.
Podle stylu učení dělíme neuronové sítě na sítě s deterministickým učením a stochastickým učením. Stylem učení sítě rozumíme, jakým způsobem probíhá nastavování synaptických vah v síti. Při stochastickém učení neuronové sítě jsou váhy získávány pomocí generátoru náhodných čísel (př. Hebbovo učení). Takový styl učení využíván zejména při inicializaci sítě. Pakliže jsou váhy v sítí nastavovány výpočtem, mluvíme o deterministickém stylu učení. Nejznámějším deterministickým stylem učení je algoritmus backpropagation of error, popsaný v kapitole 5.1. Tento algoritmus se též často aplikuje ve stochastické verzi, kdy gradient počítáme z náhodně vybraných pozorování.
Učení neuronových sítí můžeme rovněž rozdělit podle vstupních dat na učení s učitelem a bez učitele, případně můžeme zahrnout ještě třetí typ, který je na pomezí zmíněných způsobů, tzv. zpětnovazební učení.
Převážná většina neuronových sítí využívá modelu učení s učitelem. V tomto modelu mají neuronové sítě zadány vedle vstupů také požadované výstupy. Výstup, získaný zpracováním dat neurnovou sítí je následně porovnáván s výstupem požadovaným a rozdíl mezi těmito dvěma výstupy je využit k upravení hodnoty jednotlivých synaptických vah tak, aby v následující kalkulaci neuronové sítě byl rozdíl mezi skutečným a požadovaným výstupem minimalizován.
Trénování sítě bývá časově náročné a je ukončeno ve chvíli, kdy neurnová síť dosáhne požadované úrovně úspěšnosti, tj. je dosáhnuto dostatečné minimalizace chyby mezi výstupem sítě a výstupem požadovaným nebo pokud je dosaženo jiných předem stanovených kritérií pro zastavení procesu. Průběžné výsledky trénování je vhodné
40
zjišťovat na tzv. validační množině, což je část vstupní množiny vektorů, na které se učení neprovádí, ale slouží jen pro ověření funkčnosti sítě. Jednotlivé algoritmy učení neuronových sítí pak určují, kdy a jaká data se bude síť v tom kterém průběhu trénovací množiny učit a jak dlouho se je bude učit. Váhy v neuronové síti jsou na konci učení zmraženy na dané úrovni a neuronové sítě mohou být využívány. Některé typy neuronových sítí umožňují pokračovat v učení i nadále, s daleko nižší frekvencí, v průběhu jejich používání, což může pomoci neuronovým sítím pozvolna se adaptovat na měnící se podmínky užívání.
Učení bez učitele má velký potenciál pro uplatnění v praxi. Příkladem neuronových sítí, využívajících učení bez učitele mohou být tzv. Kohenovy sítě. Tyto sítě vyhodnocují vstupní množinu dat na základě hledání pravidelností, trendů nebo naopak výrazných odlišností jednotlivých prvků (Vojáček, 2006). Díky své schopnosti samo organizace a shlukování objektů s podobnými vlastnostmi do skupin jsou Kohonenovy sítě vhodné pro aplikace v oblasti rozhodování, rozlišovaní́ a třídění objektů, signálů̊, značek apod. Pro sítě, které se učí bez zadaných výstupních hodnot platí, že čím více tréninkových souborů dat, tím přesněji síť bude pracovat (Vojáček, 2006).
Zpětnovazební učení stojí na pomezí mezi výše zmíněnými metodami. Cílové hodnoty nejsou známé nebo využívané, pro učení neuronové sítě se využívají pouze kritéria, která říkají, zdali je výstup neuronové sítě správný či nikoliv. Příkladem využití zpětnovazebního učení bylo vytvoření programu AlphaGo, prvního počítačového programu, kterému se podařilo porazit profesionálního hráče hry Go. Jednalo se o významný počin především proto, že hra Go byla dlouhou dobu považována za jednu z nejnáročnějších her pro zdolání umělou inteligencí, vzhledem k množství vyhodnocení, které musí neuronová síť provést. (Silever & at al., 2016) Dále bývá zpětnovazební učení využíváno v oblasti robotiky.
Způsob, jakým jsou jednotlivé neurony v síti pospojovány a jejich počet v jednotlivých vrstvách sítě hraje důležitou roli pro výpočetní schopnosti neuronové sítě. Podle toku
