TadeáˇsPála AplikaceprorealtimeanalýzuEKGsignálupomoc´ıumˇeléinteligence Bakaláˇrskápráce

(1)

Pokyny pro vypracování

Cílem práce je návrh a implementace aplikace pro zpracování EKG signálu a identifikaci kognitivní zátěže pomocí metod umělé inteligence (AI). Navrhněte postup předzpracování EKG signálu do formy vhodné pro další zpracování metodami AI. Otestujte možnost detekce QRS komplexu na

předzpracovaném signálu. Metody zpracování dat zvolte na základě analýzy současného stavu a upřednostňujte metody, které jsou zavedeny v klinické praxi. V rámci práce navrhněte a implementujte alespoň jednu metodu využívající neuronové sítě v algoritmech hodnocení EKG a detekce vybraných charakteristických projevů kognitivní zátěže v reálném čase. Součástí aplikace bude prezentace měřených dat, vypočtených parametrů a jejich přehledná grafická vizualizace. Aplikaci implementujte v prostředí Python. Navržené metody otestujte a statisticky vyhodnoťte oproti jiným standardně používaným postupům.

Zadání bakalářské práce

Název: Aplikace pro real time analýzu EKG signálu pomocí umělé inteligence

Student: Tadeáš Pála

Vedoucí: Ing. Jan Hejda, Ph.D.

Studijní program: Informatika

Obor / specializace: Webové a softwarové inženýrství, zaměření Softwarové inženýrství Katedra: Katedra softwarového inženýrství

Platnost zadání: do konce letního semestru 2022/2023

(2)

(3)

Bakal´ aˇrsk´ a pr´ ace

Aplikace pro real time anal´ yzu EKG sign´ alu pomoc´ı umˇ el´ e inteligence

Tade´ aˇ s P´ ala

Katedra softwarového inˇzenýrstv´ı Vedouc´ı práce: Ing. Jan Hejda, Ph.D.

(4)

(5)

Podˇ ekov´ an´ı

Chtˇel bych podˇekovat pˇredevˇs´ım vedouc´ımu t´eto pr´ace Ing. Janu Hejdovi, Ph.D.

(6)

(7)

Prohl´ aˇ sen´ı

Prohlaˇsuji, ˇze jsem pˇredloˇzenou práci vypracoval samostatnˇe a ˇze jsem uvedl veˇskeré pouˇzité informaˇcn´ı zdroje v souladu s Metodickým pokynem o dodr- ˇzován´ı etických princip˚u pˇri pˇr´ıpravˇe vysokoˇskolských závˇereˇcných prac´ı.

Beru na vˇedom´ı, ˇze se na moji práci vztahuj´ı práva a povinnosti vyplývaj´ıc´ı ze zákona ˇc. 121/2000 Sb., autorského zákona, ve znˇen´ı pozdˇejˇs´ıch pˇredpis˚u, zejména skuteˇcnost, ˇze ˇCeské vysoké uˇcen´ı technické v Praze má právo na uzavˇren´ılicenˇcn´ısmlouvy o uˇzit´ıtéto práce jako ˇskoln´ıho d´ıla podle § 60 odst. 1 citovaného zákona.

(8)

ˇCeské vysoké uˇcen´ı technické v Praze Fakulta informaˇcn´ıch technologi´ı

Tato práce vznikla jako ˇskoln´ı d´ılo na ˇCeském vysokém uˇcen´ı technickém v Praze, Fakultˇe informaˇcn´ıch technologi´ı. Práce je chránˇena právn´ımi pˇredpisy a mezinárodn´ımi úmluvami o právu autorském a právech souvisej´ıc´ıch s právem autorským. K jej´ımu uˇzit´ı, s výjimkou bezúplatných zákonných licenc´ı a nad rámec oprávnˇen´ı uvedených v Prohláˇsen´ı na pˇredchoz´ı stranˇe, je nezbytný sou- hlas autora.

Odkaz na tuto pr´aci

Pála, Tadeáˇs. Aplikace pro real time analýzu EKG signálu pomoc´ı umˇelé in- teligence. Bakaláˇrská práce. Praha: ˇCeské vysoké uˇcen´ı technické v Praze, Fakulta informaˇcn´ıch technologi´ı, 2021.

(9)

Abstrakt

Tato bakaláˇrská práce se zabývá analýzou a zpracován´ım elektrokardiogra- fického signálu v reálném ˇcase pomoc´ı konvoluˇcn´ıch neuronových s´ıt´ı. V práci jsou prezentovány navrˇzené metody pˇredzpracován´ı signálu do podoby vhodné pro dalˇs´ı zpracován´ı pomoc´ı metod umˇelé inteligence. Dále jsou popsány pou- ˇzité architektury konvoluˇcn´ıch neuronových s´ıt´ı a statistické vyhodnocen´ı jejich výsledk˚u. V rámci práce vznikla aplikace umoˇzˇnuj´ıc´ı analýzu elektrokar- diografického signálu v reálném ˇcase za úˇcelem identifikace kognitivn´ı zátˇeˇze.

Kl´ıˇcová slova Neuronové s´ıtˇe, elektrokardiografie, strojové uˇcen´ı, umˇelá inteligence

Abstract

This bachelor thesis focuses on analysis and processing of ECG signals in real-time using convolutional neural networks. Presented are methods used for preprocessing of ECG signal, models used for its’ subsequent analysis and methods used for statistical evaluation of said models. An application for real-time ECG analysis was developed. Said application allows for real-time identification of cognitive load from ECG signal.

(10)

Keywords Neural networks, electrocardiography, machine learning, artifi- cial intelligence

viii

(11)

Obsah

Uvod´ 1

1 Elektrokardiografie 3

1.1 Elektrokardiogram . . . 3

1.2 Proveden´ı EKG . . . 5

1.2.1 Dvan´actisvodov´e EKG . . . 5

2 Strojov´e uˇcen´ı 7 2.1 Klasifikace . . . 7

2.2 Uˇcen´ı . . . 7

2.3 Umˇel´e neuronov´e s´ıtˇe . . . 8

2.3.1 Model neuronu . . . 8

2.3.2 Pˇrenosov´a funkce . . . 9

2.4 Konvoluˇcn´ı neuronov´e s´ıtˇe . . . 9

2.4.1 Vrstvy konvoluˇcn´ıch neuronov´ych s´ıt´ı . . . 9

2.4.1.1 Konvoluˇcn´ı vrstva . . . 10

2.4.1.2 Pooling vrstva . . . 10

2.4.1.3 Plnˇe propojen´a vrstva . . . 10

2.5 Uˇzit´ı strojov´eho uˇcen´ı pro anal´yzu EKG . . . 11

2.6 Analýza EKG v reálném ˇcase . . . 11

3 Metody uˇzit´e pro statistick´e zhodnocen´ı 13 3.1 Pˇresnost . . . 13

3.2 Matice z´amˇen . . . 13

4 Pouˇzit´a data 17 4.1 Multi-modal Dataset for Wearable Stress and Affect Detection 17 4.2 Database for Cognitive Load, Affect and Stress Recognition . . 18

4.3 Pˇredzpracov´an´ı . . . 18

4.3.1 Butterworth˚uv filtr . . . 19

(12)

4.3.2 Standardizace smˇerodatnou odchylkou . . . 19

4.3.3 Klouzav´y pr˚umˇer . . . 19

5 Pouˇzit´e modely 21 5.1 Model 1 . . . 21

5.2 Model 2 . . . 21

5.3 Model 3 . . . 22

6 Implementace 23 6.1 Programovac´ı jazyk . . . 23

6.2 Pouˇzit´e knihovny . . . 23

6.2.1 Keras a Tensorflow . . . 23

6.2.2 NeuroKit2 . . . 24

6.2.3 Scikit-learn . . . 24

6.3 ˇClenˇen´ı k´odu . . . 24

6.3.1 Pˇredzpracov´an´ı dat . . . 24

6.3.2 Uˇcen´ı a evaluace neuronov´ych s´ıt´ı . . . 24

6.3.3 Analýza EKG v reálném ˇcase . . . 24

6.3.4 Utilit´arn´ı funkce . . . 24

6.4 Uˇcen´ı neuronov´ych s´ıt´ı . . . 25

6.5.1 Producent a spotˇrebitel . . . 26

6.5.2 Implementace n´avrhov´eho vzoru . . . 26

6.5.3 HRV parametry . . . 27

6.6 Detekce QRS komplexu . . . 28

7 V´ysledky 29 7.1 Pˇredzpracov´an´ı . . . 29

7.2 Detekce QRS komplexu . . . 30

7.3 V´ysledky model˚u . . . 32

8 Diskuze 35

Z´avˇer 37

Literatura 39

A Seznam pouˇzit´ych zkratek 43

B Architektury neuronov´ych s´ıt´ı 45

C V´ysledky model˚u 47

D Spuˇstˇen´ı aplikace, Obsah pˇriloˇzen´eho m´edia 51

x

(13)

Seznam obr´ azk˚ u

1.1 Pr˚ubˇeh jedn´e srdeˇcn´ı periody, zdroj: [1] . . . 4

2.1 Matematick´y model neuronu . . . 8

2.2 Max-pooling . . . 10

2.3 Average pooling . . . 10

6.1 Uˇcen´ı neuronov´ych s´ıt´ı . . . 25

6.2 Simulace analýzy v reálném ˇcase . . . 27

7.1 EKG s kol´ısaj´ıc´ı izolini´ı . . . 30

7.2 EKG po aplikaci Butterworthova filtru . . . 30

7.3 Výsledek detekce QRS komplexu na nepˇredzpracovaném signálu . 31 7.4 Výsledek detekce QRS komplexu, Butterworth˚uv filtr . . . 31

7.5 V´ysledek detekce QRS komplexu, Butterworth˚uv filtr, klouzav´y pr˚umˇer . . . 32

7.6 Vytvoˇren´a aplikace . . . 33

(14)

(15)

Uvod ´

Systémy umˇelé inteligence se stávaj´ı ˇc´ım dál vˇetˇs´ı souˇcást´ı kaˇzdodenn´ıho ˇzivota. Objevuj´ı se v aplikac´ıch bˇeˇznˇe uˇz´ıvaných na naˇsich mobiln´ıch tele- fonech, ˇci na stránkách, které dennˇe navˇstˇevujeme. Jejich hlavn´ım c´ılem nen´ı nahradit ˇclovˇeka, ale umoˇznit mu rychle a efektivnˇe vyˇreˇsit urˇcité problémy.

Pˇr´ıkladem problematiky, s jej´ımˇz ˇreˇsen´ım nám m˚uˇze pomoci umˇelá inteligence, je porozumˇen´ı velkému mnoˇzstv´ı dat.

Jedn´ım z výpoˇcetn´ıch model˚u uˇz´ıvaných v oboru umˇelé inteligence jsou umˇelé neuronové s´ıtˇe. Neuronové s´ıtˇe umoˇzˇnuj´ı zpracován´ı komplexn´ıch dat, jako je napˇr´ıklad obraz, video nebo biologické signály.

Tato práce je zamˇeˇrena na pˇredzpracován´ı elektrokardiografického signálu a jeho následnou analýzu pomoc´ı metod umˇelé inteligence v reálném ˇcase.

Úˇcelem analýzy signálu je identifikace kognitivn´ı zátˇeˇze. Kognitivn´ı zátˇeˇz je celkové mnoˇzstv´ı mentáln´ı aktivity, kterému je v daný okamˇzik vystavena pracovn´ı pamˇet’ ˇclovˇeka.

V práci jsou popsány metody uˇzité pro pˇredzpracován´ıbiologického signálu, jeho následnou klasifikaci a metody uˇzité pro statistickou analýzu úspˇeˇsnosti pouˇzitých pˇr´ıstup˚u.

(16)

(17)

Kapitola 1

Elektrokardiografie

Elektrokardiografie je z´akladn´ı neinvazivn´ı metoda vyˇsetˇren´ı elektrick´e aktivity srdeˇcn´ıho svalu. Slouˇz´ı k diagnostice mnoha srdeˇcn´ıch onemocnˇen´ı, jako je infarkt myokardu, poruchy rytmu, srdeˇcn´ı nedostateˇcnost apod.

Kolem srdce se vytváˇr´ı elektrické pole, které se ˇs´ıˇr´ı vodivým prostˇred´ım tˇela. Lze jej zmˇeˇrit i na povrchu tˇela, jako rozd´ıl elektrického napˇet´ı mezi dvˇema elektrodami. Potenciály jsou vektorové, maj´ı velikost i smˇer.

Elektrokardiograf vynalezl v roce 1887 britský fyziolog Augustus Desiré Waller. Pˇr´ıstroj byl schopný sn´ımat pomoc´ı Lippmannova kapilárn´ıho elek- trometru elektrickou aktivitu srdce a prom´ıtat ji na fotografickou desku. His- toricky byla elektrokardiografie zavedena jako klinická metoda holandským lékaˇrem Willemem Einthovenem v roce 1906. Willem Einthoven aplikac´ımate- matických rovnic upravil kˇrivku sn´ımanou kapilárn´ım elektrometrem a pˇriˇradil výchylkám kˇrivky p´ısmena P, Q, R, S a T.

1.1 Elektrokardiogram

Elektrokardiogram je grafický záznam cyklicky se opakuj´ıc´ı srdeˇcn´ı ˇcinnosti, z´ıskaný elektrokardiografi´ı. Jeden cyklus se skládá z depolarizace a repolarizace s´ın´ı a z depolarizace a repolarizace komor.

(18)

1. Elektrokardiografie

Jednotlivé ˇcásti EKG kˇrivky bˇehem jedné srdeˇcn´ı periody popisuje násle- duj´ıc´ı obrázek:

P

Q R

S

T QRS

komplex

Obr´azek 1.1: Pr˚ubˇeh jedn´e srdeˇcn´ı periody, zdroj: [1]

• Vlna P– ˇs´ıˇren´ı vzruchu (depolarizace) s´ın´ı

• Komplex QRS– ˇs´ıˇren´ı vzruchu (depolarizace) po komor´ach

• Vlna T – ústup podráˇzdˇen´ı (repolarizace) na komorách

• Bez zobrazen´ı (schované v komplexu QRS) – ústup podráˇzdˇen´ı (repolarizace) na s´ın´ıch.

Zmˇeny ve tvaru kˇrivky, jej´ıch jednotlivých vln, hrot˚u ˇci komplexu, zmˇeny ve frekvenci a nepravidelnosti rytmu informuj´ı o kondici srdeˇcn´ıho svalu a jeho pˇr´ıpadném onemocnˇen´ı. Analýza elektrokardiogramu m˚uˇze kromˇe informac´ı o onemocnˇen´ı srdeˇcn´ıho svalu poskytnout i informace o emoˇcn´ım rozpoloˇzen´ı ˇclovˇeka[2] nebo kognitivn´ı zátˇeˇzi[3, 4, 5].

4

(19)

1.2. Proveden´ı EKG

1.2 Proveden´ı EKG

Elektrokardiografie je provádˇena kardiografem. Kardiograf je elektrický pˇr´ı- stroj sn´ımaj´ıc´ıa zaznamenávaj´ıc´ıelektrickou aktivitu srdce. Mˇeˇr´ırozd´ıl napˇet´ı, jako projev ˇs´ıˇren´ı akˇcn´ıho potenciálu myokardem. Napˇet´ı sn´ımá pomoc´ı elek- trod um´ıstˇených na k˚uˇzi. Elektrody jsou um´ıstˇeny na hrudn´ıku a konˇcetinách.

Dneˇsn´ım standardem jsou dvan´actisvodov´e EKG pˇr´ıstroje.

1.2.1 Dvan´actisvodov´e EKG

K tomuto typu záznamu se pouˇz´ıvá 6 základn´ıch unipolárn´ıch hrudn´ıch svod˚u, 3 Einthovenovenovy bipolárn´ı konˇcetinové svody a 3 Goldbergovy unipolárn´ı svody. Sn´ımá potenciál z povrchu tˇela. Metoda je neinvazivn´ı.

(20)

(21)

Kapitola 2

Strojov´ e uˇ cen´ı

Pˇri tradiˇcn´ım pˇr´ıstupu k ˇreˇsen´ı problém˚u pomoc´ı výpoˇcetn´ıch technologi´ı je zapotˇreb´ı naprogramovat algoritmy s pˇresnˇe danými instrukcemi a pravidly.

Tento zp˚usob vyˇzaduje velmi schopného programátora, ˇcasto s expertn´ı zna- lost´ı oboru dané problematiky. S komplexnˇejˇs´ımi daty a rostouc´ım poˇctem faktor˚u, které je potˇreba pˇri vývoji brát v potaz, vˇsak vyvstává problém s hledán´ım pravidel, která by umoˇznila správnou evaluaci problému.

Strojové uˇcen´ı nab´ız´ı alternativn´ı pˇr´ıstup k ˇreˇsen´ı komplexn´ıch problém˚u s velkým mnoˇzstv´ım dostupných dat. Na rozd´ıl od explicitn´ıdefinice algoritm˚u a pravidel bývaj´ı modely strojového uˇcen´ı na datech natrénovány, ˇc´ımˇz z´ıská- vaj´ı své schopnosti. Strojové uˇcen´ı nedokáˇze úplnˇe eliminovat potˇrebu lidského vstupu, ale umoˇzˇnuje ˇreˇsit problémy jiným zp˚usobem. Rozvoj této podoblasti informatiky zp˚usobil obrovský nár˚ust mnoˇzstv´ı dostupných dat, jejichˇz zpra- cován´ı a analýza nabývá stále vˇetˇs´ıho významu a zvýˇsen´ı výpoˇcetn´ıho výkonu.

2.1 Klasifikace

Jednou z tˇr´ıd problém˚u, kterými se strojové uˇcen´ı zabývá, je klasifikace. Kla- sifikaˇcn´ı problémy spoˇc´ıvaj´ı v roztˇr´ıdˇen´ı dat do nˇekolika kategori´ı. Pˇr´ıkladem klasifikaˇcn´ıho problému m˚uˇze být rozdˇelen´ıemail˚u do tˇr´ıd ”spam“ a”ne-spam“

nebo pˇriˇrazen´ı záznamu elektrokardiografického signálu do tˇr´ıd ”zvýˇsená kognitivn´ı zátˇeˇz“ a ”klid“. Algoritmus implementuj´ıc´ı klasifikaci se nazývá kla- sifikátor.

2.2 Uˇ cen´ı

Pˇred t´ım, neˇz mohou být modely strojového uˇcen´ı pouˇzity k predikci, je potˇre- ba je natrénovat. Natrénován´ı modelu znamená, ˇze model vystav´ıme pˇredem nasb´ıraným dat˚um, strukturnˇe se shoduj´ıc´ımi s tˇemi, která bude algoritmus

(22)

2. Strojov´e uˇcen´ı

zpracovávat pˇri samotné predikci. Na základˇe dat, která jsou poskytnuta pˇri uˇcen´ı, m˚uˇzeme algoritmy uˇcen´ı rozdˇelit do kategori´ı:

• Uˇcen´ı s uˇcitelem – Pro vstupn´ı data je urˇcen správný výstup

• Uˇcen´ı bez uˇcitele – Pro vstupn´ı data nen´ı urˇcen správný výstup V této práci bylo uˇzito uˇcen´ı s uˇcitelem. Záznamy elektrokardiografického signálu byly oznaˇceny jako ”zvýˇsená kognitivn´ı zátˇeˇz“ a ”klid“.

2.3 Umˇ el´ e neuronov´ e s´ıtˇ e

Jedn´ım z model˚u pouˇz´ıvaných v oblasti strojového uˇcen´ı jsou umˇelé neuronové s´ıtˇe. Vzorem umˇelých neuronových s´ıt´ı jsou biologické neuronové s´ıtˇe. Exis- tuje mnoho typ˚u umˇelých neuronových s´ıt´ı, základn´ı principy a uspoˇrádán´ı vˇsak z˚ustávaj´ı pro vˇsechny stejné. Skládaj´ı se ze s´ıtˇe umˇelých neuron˚u, je- jichˇz pˇredobrazem je biologický neuron. Neurony jsou vzájemnˇe propojeny a pˇredávaj´ı si a transformuj´ı signály.

2.3.1 Model neuronu

Je popsána ˇrada r˚uzných matematických model˚u umˇelých neuron˚u. Jedn´ım z nejpouˇz´ıvanˇejˇs´ıch je model popsaný McCullochem a Pittsem v práci A lo- gical calculus of the ideas immanent in nervous activity[6]. Model popisuje následuj´ıc´ı rovnice:

y=f(

n

X

i=1

(x_i·ω_i) +b) (2.1)

x je vstupn´ım vektorem, ω je vektorem vah, y je výstupem neuronu, f(ξ) je pˇrenosovou funkc´ı abje prahem. Model neuronu je graficky znázornˇen násle- duj´ıc´ım diagramem:

ξ f(ξ)

ω₁

ωn

ω₂ x₂

x₁

xn

y b

...

Obr´azek 2.1: Matematick´y model neuronu

8

(23)

2.4. Konvoluˇcn´ı neuronov´e s´ıtˇe

2.3.2 Pˇrenosov´a funkce

D˚uleˇzitou ˇcást´ı umˇelého neuronu je pˇrenosová funkce. Pˇrenosová funkce definuje, jakým zp˚usobem je skalárn´ı souˇcin vektor˚u vstupu a vah pˇreveden na výstup neuronu. Provád´ı obecnou nelineárn´ı transformaci. Jako pˇrenosovou funkci lze pouˇz´ıt celou ˇradu funkc´ı. Mezi nejpouˇz´ıvanˇejˇs´ı patˇr´ı:

• Skokov´a funkce

f(x) =

(1 x≥0

0 x <0 (2.2)

• Sigmoid´aln´ı funkce

f(x) = 1

1 +e^−x (2.3)

• Hyperbolick´y tangens

f(x) = e^x−e^−x

e^x+e^−x (2.4)

• ReLU (Rectified Linear Unit)

f(x) =max(0, x) (2.5)

2.4 Konvoluˇ cn´ı neuronov´ e s´ıtˇ e

Konvoluˇcn´ı neuronové s´ıtˇe jsou jedn´ım z typ˚u neuronových s´ıt´ı. Nejˇcastˇejˇs´ım uˇzit´ım konvoluˇcn´ıch neuronových s´ıt´ı je analýza obrazových dat. Základ pro výzkum tˇechto s´ıt´ı poloˇzili Hubel a Wiesel[7], kteˇr´ı zkoumali, jakým zp˚usobem koˇciˇc´ı mozek zpracovává obraz. Jejich prac´ı byl inspirován Kunihiko Fuku- shima, který navrhl neuronovou s´ıt’ ”Neocognitron“[8] schopnou rozpoznávat ruˇcnˇe psané znaky a ˇc´ıslice. Prvn´ımodern´ıkonvoluˇcn´ıneuronovou s´ıt´ıje model nazvaný ”LeNet-5“, který pˇredstavil Yann LeCun[9]. Tato s´ıt’ byla urˇcena k rozpoznáván´ı ruˇcnˇe psaných ˇc´ıslic a vyuˇz´ıvala se zejména pro automatizaci zpracován´ı ruˇcnˇe psaných dokument˚u v bankách.

Typická konvoluˇcn´ı neuronová s´ıt’ urˇcená pro klasifikaci dat má dvˇe ˇcásti.

Prvn´ı ˇcást pomoc´ı konvoluˇcn´ıch vrstev extrahuje d˚uleˇzité pˇr´ıznaky a pˇredává je ve formˇe vektoru klasifikátoru, který bývá zpravidla tvoˇren plnˇe propo- jenými vrstvami. Konvoluˇcn´ı ˇcást je d˚uleˇzitá, protoˇze redukuje mnoˇzstv´ı parametr˚u pˇredávaných do s´ıtˇe pouze na ty nejpodstatnˇejˇs´ı. Tato redukce umoˇzn´ı uˇcen´ı robustnˇejˇs´ıho klasifikátoru a výraznˇe sniˇzuje výpoˇcetn´ı nároˇcnost.

2.4.1 Vrstvy konvoluˇcn´ıch neuronov´ych s´ıt´ı

V následuj´ıc´ı ˇcásti budou popsány vrstvy, které jsou v konvoluˇcn´ıch neuro- nových s´ıt´ıch pouˇz´ıvány. Vˇsechny operace, které jednotlivé vrstvy provádˇej´ı, budou popisovány pro konvoluˇcn´ı s´ıt’ zpracovávaj´ıc´ı jednorozmˇerná data. Ope- race lze aplikovat i na v´ıcerozmˇerná data, napˇr. obrázky. Tato práce je zamˇe- ˇrena na zpracován´ı signálu, který je reprezentován jednorozmˇernˇe.

(24)

2. Strojov´e uˇcen´ı

2.4.1.1 Konvoluˇcn´ı vrstva

Konvoluˇcn´ı vrstva provád´ı na vstupn´ım signálu filtrován´ı za pomoci operace konvoluce vstupn´ıho vektoru s menˇs´ım vektorem zvaným jádro. Necht’

je f vstupn´ım vektorem délky n a g je vektorem jádra délky m. Diskrétn´ı konvolucef∗g vstupn´ıho vektoruf a jádra gje definována následovnˇe:

(f ∗g)i =

m

X

j=1

g_j·fi−j (2.6)

Operaci konvoluce lze obecnˇe popsat tak, ˇze vektor jádra je postupnˇe pˇrikládán na vstupn´ı vektor. Pˇrekrývaj´ıc´ı se prvky jsou vynásobeny a souˇcet násobk˚u je zapsán do výstupn´ıho vektoru. Poté je vektor jádra posunut a operace násoben´ı a sˇc´ıtán´ı jsou opakovány.

C´ılem této operace je z´ıskán´ı pˇr´ıznakové mapy. Pˇr´ıznaková mapa v sobˇe nese informace o význaˇcných ˇcástech vstupn´ıho signálu a je pˇredávána vrst- vám, které ji dále zpracovávaj´ı.

2.4.1.2 Pooling vrstva

Úlohou pooling vrstvy je sn´ıˇzit mnoˇzstv´ıreprezentovaných dat a t´ım redukovat mnoˇzstv´ı parametr˚u pˇredávaných do s´ıtˇe. Pooling vrstva má definovanou velikost jádra a kroku. Velikost jádra znaˇc´ı velikost podoblasti vstupn´ıho vektoru, na kterou je operace aplikována a krok znaˇc´ı, o kolik se podoblast posouvá v˚uˇci vstupn´ımu vektoru. Nejpouˇz´ıvanˇejˇs´ımi typy pooling vrstev jsou max-pooling a average pooling. Max-pooling z kaˇzdé podoblasti vektoru vybere maximáln´ı hodnotu a average pooling z podoblasti vypoˇc´ıtá aritmetický pr˚umˇer. Operace max-pooling a average pooling znázorˇnuj´ı následuj´ıc´ı obrázky:

5 3 4 8 5 6 9 1 5 8 6 9

Obr´azek 2.2: Max-pooling

5 3 4 8 5 6 9 1 4 6 5,5 5

Obr´azek 2.3: Average pooling

2.4.1.3 Plnˇe propojen´a vrstva

Plnˇe propojená vrstva vytváˇr´ı spojen´ı mezi kaˇzdým vstupn´ım a výstupn´ım prvkem. V konvoluˇcn´ıch neuronových s´ıt´ıch plnˇe propojené vrstvy vˇetˇsinou následuj´ı po extrakci d˚uleˇzitých pˇr´ıznak˚u pomoc´ı kombinace konvoluˇcn´ıch a pooling vrstev. Jejich úkolem je samotná klasifikace extrahovaných pˇr´ıznak˚u.

10

(25)

2.5. Uˇzit´ı strojov´eho uˇcen´ı pro anal´yzu EKG

2.5 Uˇ zit´ı strojov´ eho uˇ cen´ı pro anal´ yzu EKG

Pro analýzu elektrokardiografického signálu jiˇz bylo navrˇzeno mnoho model˚u vyuˇz´ıvaj´ıc´ıch strojového uˇcen´ı. Modely byly navrhovány za úˇcelem dosaˇzen´ı r˚uzných c´ıl˚u, napˇr. detekce srdeˇcn´ı arytmie[10] nebo klasifikace emoˇcn´ıho roz- poloˇzen´ı ˇclovˇeka[11]. Sahaj´ı od jednoduchých klasifikátor˚u, jako jsou rozho- dovac´ı stromy[12] nebo lineárn´ı klasifikátory[13], aˇz po sloˇzitˇejˇs´ı, jako jsou konvoluˇcn´ı neuronové s´ıtˇe[14, 15]. Kromˇe samotných model˚u bylo experi- mentováno i s daty, která jim byla poskytnuta a r˚uznými metodami jejich pˇredzpracován´ı[16].

Pro úˇcely identifikace kognitivn´ı zátˇeˇze byly v této práci zvoleny kon- voluˇcn´ı neuronové s´ıtˇe. Konvoluˇcn´ı neuronové s´ıtˇe umoˇzˇnuj´ı analýzu signálu, bez potˇreby manuáln´ı extrakce parametr˚u. Dokáˇz´ı pomoc´ı konvoluˇcn´ıch vrstev d˚uleˇzité pˇr´ıznaky extrahovat bez lidské pomoci. D´ıky této vlastnosti jsou vhodné pro analýzu v reálném ˇcase, nebot’ vyˇzaduj´ı oproti jiným metodám minimáln´ı pˇredzpracován´ı signálu.

2.6 Anal´ yza EKG v re´ aln´ em ˇ case

Analýza EKG v reálném ˇcase je moˇzná d´ıky rychlosti, s jakou jsou konvoluˇcn´ı neuronové s´ıtˇe schopny zpracovat signál. V rámci práce bylo navrˇzeno a simu- lováno ˇreˇsen´ı, které umoˇzˇnuje v reálném ˇcase pˇredzpracovat signál a pomoc´ı neuronových s´ıt´ı detekovat zvýˇsenou kognitivn´ı zátˇeˇz.

(26)

(27)

Kapitola 3

Metody uˇ zit´ e pro statistick´ e zhodnocen´ı

Bˇehem vývoje model˚u strojového uˇcen´ı je d˚uleˇzité monitorovat jejich úspˇeˇs- nost. Vývoj zahrnuje otestován´ı mnoha pˇr´ıstup˚u a r˚uzných model˚u, proto je nutné kaˇzdý pˇr´ıstup statisticky vyhodnotit a porovnat s ostatn´ımi.

Bˇeˇzným postupem pˇri vyuˇzit´ıstrojového uˇcen´ıje stanoven´ıc´ıl˚u, kterých by mˇelo být dosaˇzeno a volba numerických metrik, které je reprezentuj´ı. Po volbˇe metrik je vytvoˇren jednoduchý model, který slouˇz´ı pro z´ıskán´ı prvn´ıch výsled- k˚u a se kterým jsou následnˇe porovnávány dalˇs´ı sloˇzitˇejˇs´ı modely a pˇr´ıstupy.

V následuj´ıc´ı ˇcásti budou popsány metody, kterých bylo pˇri hodnocen´ı

´uspˇeˇsnosti jednotliv´ych model˚u pouˇzito.

3.1 Pˇ resnost

Pˇresnost je nejjednoduˇsˇs´ı metrikou, kter´a m˚uˇze b´yt pouˇzita k vyhodnocen´ı

úspˇeˇsnosti modelu. Jej´ı výpoˇcet je popsán následuj´ıc´ı rovnic´ı:

Pˇresnost = Poˇcet spr´avn´ych predikc´ı

Celkový poˇcet predikc´ı (3.1) Nevýhodou této metriky je, ˇze nesprávnˇe reprezentuje úspˇeˇsnost modelu, pokud v sadˇe dat nejsou jednotlivé tˇr´ıdy zastoupeny rovnomˇernˇe. Modely mohou dosahovat vysoké pˇresnosti pouze t´ım, ˇze vˇsechna data klasifikuj´ı jako tˇr´ıdu, která se vyskytuje nejˇcastˇeji.

3.2 Matice z´ amˇ en

Bˇeˇznˇe uˇz´ıvanou metodou vizualizace úspˇeˇsnosti model˚u strojového uˇcen´ı pˇri klasifikaˇcn´ıch úlohách je matice zámˇen. Jedná se o matici obsahuj´ıc´ı ve sloup- c´ıch skuteˇcnou hodnotu pˇredpov´ıdaného znaku a v ˇrádc´ıch pˇredpovˇed’ klasi- fikátoru. Buˇnky matice obsahuj´ı ˇcetnost, kolikrát doˇslo na zkoumané datové

(28)

3. Metody uˇzit´e pro statistick´e zhodnocen´ı

mnoˇzinˇe k dané kombinaci skuteˇcné a predikované hodnoty. Pˇr´ıpady na dia- gonále matice jsou klasifikovány správnˇe a mimo diagonálu chybnˇe.

V pˇr´ıpadˇe binárn´ı klasifikace kognitivn´ı zátˇeˇze se jedná o matici obsahuj´ıc´ı 4 hodnoty:

• True positives (TP) – Poˇcet správnˇe klasifikovaných záznam˚u, poˇr´ı- zených pˇri vysoké kognitivn´ı zátˇeˇzi

• False positives (FP) – Poˇcet chybnˇe klasifikovaných záznam˚u, poˇr´ızených pˇri vysoké kognitivn´ı zátˇeˇzi

• True negatives (TN) – Poˇcet správnˇe klasifikovaných záznam˚u, poˇr´ı- zených v klidovém stavu

• False negatives (FN) – Poˇcet chybnˇe klasifikovaných záznam˚u, poˇr´ı- zených v klidovém stavu

Podoba matice zámˇen pro klasifikaci kognitivn´ı zátˇeˇze je popsána v následuj´ıc´ı tabulce:

Predikované hodnoty Skuteˇcné hodnoty Kognitivn´ı zátˇeˇz Klid

Kognitivn´ı z´atˇeˇz TP FP

Klid FN TN

Tabulka 3.1: Matice z´amˇen

Poˇcty správnˇe a ˇspatnˇe klasifikovaných pozitivn´ıch/negativn´ıch hodnot umoˇzˇnuj´ı výpoˇcet dalˇs´ıch metrik, pomoc´ı kterých m˚uˇze být hodnocena úspˇeˇs- nost model˚u. Metriky, které byly v této práci pˇri evaluaci model˚u v kombinaci s pˇresnost´ı pouˇzity jsou specificita, senzitivita a preciznost. Vˇsechny nabývaj´ı hodnot v intervalu [0; 1] a bývaj´ı obvykle vyjadˇrovány v procentech. Jejich výpoˇcet popisuj´ı následuj´ıc´ı rovnice:

Specificita = TN

TN + FP (3.2)

Senzitivita = TP

TP + FN (3.3)

Preciznost = TP

TP + FP (3.4)

V kontextu detekce kognitivn´ı zátˇeˇze podává specificita informaci o tom, s jakou pˇresnost´ı je model schopen klasifikovat záznamy, které byly poˇr´ızeny v klidovém stavu. Senzitivita je ˇc´ıselné vyjádˇren´ı schopnosti modelu správnˇe 14

(29)

3.2. Matice zámˇen identifikovat záznamy namˇeˇrené pˇri vysoké kognitivn´ı zátˇeˇzi. Preciznost podá- vá informaci o tom, jaká ˇcást záznam˚u klasifikovaných jako zvýˇsená kognitivn´ı zátˇeˇz byla relevantn´ı.

Posledn´ı metrikou, která byla pˇri vyhodnocován´ı úspˇeˇsnosti model˚u pou- ˇzita je skóre F1. Výpoˇcet je proveden pomoc´ı následuj´ıc´ı rovnice:

F₁ = 2· preciznost·senzitivita

preciznost + senzitivita (3.5)

(30)

(31)

Kapitola 4

Pouˇ zit´ a data

Základem úspˇeˇsného strojového uˇcen´ı je správný výbˇer dat, na kterých mohou být jednotlivé modely natrénovány. V následuj´ıc´ı kapitole budou popsána pouˇzitá data a zp˚usob jejich pˇredzpracován´ı.

4.1 Multi-modal Dataset for Wearable Stress and Affect Detection

Sada datMulti-modal Dataset for Wearable Stress and Affect Detection[17] obsahuje záznamy biologických signál˚u patnácti úˇcastn´ık˚u experimentu ve stavu pobaven´ı, stresu a kontroln´ım stavu. Pro navozen´ı pocitu pobaven´ı byla úˇcast- n´ık˚um puˇstˇena série vide´ı, urˇcených pro navozen´ı tohoto pocitu. Pro navozen´ı pocitu stresu byl kaˇzdý úˇcastn´ık povˇeˇren plnˇen´ım nˇekolika úkol˚u. Mezi úkoly zadané úˇcastn´ık˚um patˇrily pˇetiminutový pˇrednes pˇred publikem a poˇcetn´ı

úloha. V kontroln´ım stavu nebyli c´ılenˇe vystavováni ˇzádným podnˇet˚um, které by mohli probudit pocit pobaven´ı ˇci stresu.

Data byla sn´ımána zaˇr´ızen´ım RespiBAN[18] pˇripevnˇeným k úˇcastn´ıkovˇe hrudi a zaˇr´ızen´ım Empatica E4[19] pˇripevnˇeným na zápˇest´ı. RespiBAN poskytuje data elektrokardiogramu, elektrodermáln´ı aktivity, elektromyogramu, dechové aktivity, tˇelesné teploty a tˇr´ıosé akcelerace. Vˇsechny senzory pouˇz´ıvaly vzorkovac´ı frekvenci 700 Hz. Empatica E4 poskytuje data ze senzor˚u mˇeˇr´ıc´ıch krevn´ı tlak, elektrodermáln´ı aktivitu, tˇelesnou teplotu a tˇr´ıosou akceleraci.

Senzory pouˇz´ıvaly vzorkovac´ı frekvence 64 Hz (krevn´ı tlak), 4 Hz (elektro- dermáln´ı aktivita), 4 Hz (tˇelesná teplota), 32 Hz (tˇr´ıosá akcelerace).

Ze sady dat WESAD byly pouˇzity pouze záznamy elektrokardiografických signál˚u namˇeˇrených pomoc´ı zaˇr´ızen´ı RespiBAN, poˇr´ızených pˇri provádˇen´ı po- ˇcetn´ı úlohy a pˇri kontroln´ım stavu. Data namˇeˇrená pˇri poˇcetn´ı úloze byla pro potˇreby uˇcen´ı neuronové s´ıtˇe oznaˇcena jako vysoká kognitivn´ı zátˇeˇz. Data namˇeˇrená v kontroln´ım stavu byla oznaˇcena jako klidová.

(32)

4. Pouˇzit´a data

4.2 Database for Cognitive Load, Affect and Stress Recognition

Database for Cognitive Load, Affect and Stress Recognition[20] je sadou zá- znam˚u biologických signál˚u 62 úˇcastn´ık˚u experimentu. Experiment se skládal z nˇekolika ˇcást´ı. V prvn´ıˇcásti byli úˇcastn´ıc´ıpovˇeˇreni plnˇen´ım úkol˚u, které mˇely za c´ıl navodit vysokou kognitivn´ı zátˇeˇz. Tˇemito úkoly byly poˇcetn´ı úlohy, Stroop˚uv test a logické úlohy. Stroop˚uv test je psychologický test, ve kterém jsou úˇcastn´ık˚um pˇredloˇzeny názvy barev napsané barevným p´ısmem (napˇr.

slovo ”ˇcervená“ napsané modrým p´ısmem) a jejich úkolem je jmenovat barvu p´ısma[21]. V druhé ˇcásti experimentu byla úˇcastn´ık˚um pouˇstˇena videa a uka- zovány obrazy, které mˇely vzbudit urˇcité emoce. Kromˇe záznam˚u biologických signál˚u pˇri plnˇen´ı úkol˚u a sledován´ıvide´ıa obraz˚u obsahuje sada dat i záznamy poˇr´ızené v kontroln´ım stavu, tedy kdyˇz úˇcastn´ıc´ı nebyli c´ılenˇe vystavováni ˇzádným podnˇet˚um, které by mohly vyvolat vysokou kognitivn´ı zátˇeˇz ˇci výraz- nou emoˇcn´ı zmˇenu.

Data byla sn´ımána zaˇr´ızen´ımi Shimmer3 GSR+ Unit[22] a Shimmer3 ECG Unit[22], se vzorkovac´ı frekvenc´ı 256 Hz. V sadˇe dat jsou záznamy elektrokar- diografického signálu, fotopletysmografického signálu a elektrodermáln´ı aktivity.

Z této sady dat byly pouˇzity záznamy elektrokardiografického signálu, poˇr´ızené pˇri poˇcetn´ıch úlohách, Stroopovˇe testu, logických úlohách a kontroln´ım stavu. Záznamy z ˇcásti experimentu, kdy úˇcastn´ıci plnili úkoly, byly oznaˇceny pro potˇreby uˇcen´ı neuronové s´ıtˇe jako záznamy poˇr´ızené pˇri vysoké kognitivn´ı zátˇeˇz´ı a záznamy poˇr´ızené pˇri kontroln´ım stavu byly oznaˇceny jako klidové.

4.3 Pˇ redzpracov´ an´ı

Vˇsechna data byla pˇrevzorkována na vzorkovac´ı frekvenci 500 Hz. Korekce izolinie byla provedena pomoc´ı Butterworthova filtru pátého ˇrádu s horn´ı propust´ı 1 Hz. Filtrace pomoc´ı Butterworthova filtru je standardnˇe pouˇz´ıvaným postupem v klinické praxi[23]. Po pˇrevzorkován´ı a korekci izolinie byla pro kaˇzdý záznam zvláˇst’ provedena standardizace smˇerodatnou odchylkou.

Pˇredzpracované záznamy byly rozdˇeleny na stejnˇe dlouhé segmenty. V rám- ci práce bylo experimentováno s r˚uznou délkou segment˚u. Kaˇzdému segmentu byla pˇriˇrazena hodnota oznaˇcuj´ıc´ı, zda byl namˇeˇren pˇri vysoké kognitivn´ı zátˇeˇzi.

Okna elektrokardiografického signálu byla náhodnˇe zam´ıchána a rozdˇelena na trénovac´ı a testovac´ı ˇcásti v pomˇeru 7:3. Z trénovac´ı ˇcásti bylo náhodnˇe vybráno 10 % dat, která byla pouˇzita jako validaˇcn´ı.

Po rozdˇelen´ı dat v trénovac´ı ˇcásti výraznˇe pˇrevaˇzovaly záznamy poˇr´ızené pˇri kognitivn´ı zátˇeˇzi. Tato nevyváˇzenost byla zp˚usobena vysokým poˇctem 18

(33)

4.3. Pˇredzpracov´an´ı

úkol˚u vyvolávaj´ıc´ıch kognitivn´ı zátˇeˇz, kterými byli povˇeˇreni úˇcastn´ıci experimentu provedeného pˇri sbˇeru dat pro sadu CLAS[20]. Nevyváˇzenost rozdˇelen´ı záznam˚u sniˇzovala úspˇeˇsnost trénovaných model˚u. Zp˚usobila, ˇze modely kla- sifikovaly vˇsechny záznamy jako vysokou kognitivn´ı zátˇeˇz. Z d˚uvodu pˇredejit´ı zaujatosti model˚u byla z trénovac´ıch dat náhodnˇe vyˇrazena ˇcást záznam˚u oznaˇcených jako kognitivn´ı zátˇeˇz.

Trénovac´ıdata slouˇzila k uˇcen´ıjednotlivých model˚u, validaˇcn´ıdata slouˇzila k ovˇeˇren´ı jejich úspˇeˇsnosti v pr˚ubˇehu uˇcen´ı. Testovac´ı data nebyla pˇri tréninku v˚ubec pouˇzita. Slouˇzila k ovˇeˇren´ı pˇresnosti jiˇz natrénovaných model˚u.

4.3.1 Butterworth˚uv filtr

Butterworth˚uv filtr je druh zpracován´ı signálu poprvé popsaný inˇzenýrem Ste- phenem Butterworthem[24]. Filtr je navrˇzený tak, aby mˇel co nejv´ıce plochou frekvenˇcn´ı odezvu v propustném pásmu.

4.3.2 Standardizace smˇerodatnou odchylkou

Standardizace EKG signálu smˇerodatnou odchylkou nen´ı v klinické praxi bˇeˇz- nˇe pouˇz´ıvána, nebot’ m˚uˇze výraznˇe ovlivnit amplitudu signálu. Pro potˇreby analýzy pomoc´ı neuronových s´ıt´ı je vˇsak vhodná. Pro vektor x velikosti n, reprezentuj´ıc´ı vzorek EKG signálu je smˇerodatná odchylkaσdefinována násle- dovnˇe:

σ= s

Pn

i=1(x_i−x)²

n (4.1)

x_i znaˇc´ıi-tý prvek vektoru a x aritmetický pr˚umˇer hodnot vzorku. Standar- dizaci pomoc´ı smˇerodatné odchylky definuje následuj´ıc´ı rovnice:

x⁰_i= xi−x

σ (4.2)

4.3.3 Klouzav´y pr˚umˇer

Klouzavý pr˚umˇer m˚uˇze být pouˇzit k odstranˇen´ı vysokofrekvenˇcn´ıho ruchu z EKG signálu[25]. V této práci byl pouˇzit pˇri testován´ı detekce QRS komplexu. Pˇri trénován´ı a evaluaci konvoluˇcn´ıch neuronových s´ıt´ı pouˇzit nebyl.

(34)

(35)

Kapitola 5

Pouˇ zit´ e modely

Pro úˇcely klasifikace elektrokardiografických signál˚u byly zvoleny konvoluˇcn´ı neuronové s´ıtˇe. Konvoluˇcn´ı neuronové s´ıtˇe jsou pro analýzu biologických sig- nál˚u vhodné, protoˇze oproti jiným metodám strojového uˇcen´ıdokáˇz´ıbez lidské pomoci extrahovat ze signálu d˚uleˇzité parametry a následnˇe je vyhodnotit.

V rámci práce bylo navrˇzeno a otestováno nˇekolik architektur konvoluˇcn´ıch neuronových s´ıt´ı. Vstupem vˇsech neuronových s´ıt´ı jsou úseky pˇredzpracova- ného elektrokardiografického signálu. Vˇsechny neuronové s´ıtˇe byly uˇceny na trénovac´ı ˇcásti dat a následnˇe byla vyhodnocena jejich úspˇeˇsnost na testovac´ı ˇcásti dat. Bˇehem uˇcen´ı byla monitorována jejich pˇresnost na validaˇcn´ı ˇcásti dat. Pro kaˇzdý model probˇehlo 500 iterac´ı.

5.1 Model 1

Prvn´ı navrˇzenou architekturou, která byla pro identifikaci kognitivn´ı zátˇeˇze otestována je jednoduchá neuronová s´ıt’ skládaj´ıc´ı se ze 2 konvoluˇcn´ıch vrstev a 2 plnˇe propojených vrstev. Výstup konvoluˇcn´ıch vrstev je pˇreskládán do vektoru a pˇredán plnˇe propojeným vrstvám. Struktura neuronové s´ıtˇe je plnˇe popsána v tabulce B.1.

Tento model nebyl pˇri klasifikaci pˇr´ıliˇs úspˇeˇsný, poskytl vˇsak výsledky, se kterými mohly být srovnávány dalˇs´ı sloˇzitˇejˇs´ı architektury.

5.2 Model 2

Druhou architekturou pouˇzitou pro analýzu elektrokardiografických signál˚u je architektura inspirovaná ˇclánkem Stress detection using deep neural ne- tworks[15]. Model pˇredstavený v ˇclánku byl pouˇzit na detekci stresu a pˇrij´ımal nˇekolik biologických signál˚u souˇcasnˇe. Bylo ho tedy nutné upravit tak, aby pˇri- j´ımal pouze jeden. Kromˇe sn´ıˇzen´ı poˇctu pˇrij´ımaných signál˚u byl zvýˇsen poˇcet

(36)

5. Pouˇzit´e modely

neuron˚u v plnˇe propojených vrstvách. P˚uvodn´ı model pˇrij´ımal kratˇs´ı úseky signálu. Zvýˇsen´ım poˇctu neuron˚u byl tento fakt kompenzován.

Architektura obsahuje 3 dvojice konvoluˇcn´ıch a max-pooling vrstev. Kon- voluˇcn´ı vrstvy jsou poskládány za sebou s rostouc´ım poˇctem filtr˚u a sniˇzuj´ıc´ı se velikost´ıjádra. Oproti dalˇs´ım dvˇema pouˇzitým model˚um vyuˇz´ıvá r˚uznou velikost kroku, tzn. okénko filtru konvoluˇcn´ı vrstvy se posouvá po v´ıce neˇz jedné hodnotˇe. Data z konvoluˇcn´ıch vrstev jsou pˇreskládána do vektoru a pˇredána plnˇe propojeným vrstvám. Struktura celé neuronové s´ıtˇe je popsána v tabulce B.2.

5.3 Model 3

Tˇret´ı architektura byla inspirována modelem pouˇzitým k detekci srdeˇcn´ı arytmie[10]. Skládá se ze 7 konvoluˇcn´ıch vrstev se 128 filtry a velikost´ı filtru 5.

Kaˇzdá konvoluˇcn´ı vrstva je následována max-pooling vrsvou. Po konvoluˇcn´ı ˇcásti následuj´ı 4 plnˇe propojené vrstvy, jejichˇz úkolem je klasifikace pˇr´ıznak˚u, které jim pˇredala konvoluˇcn´ı ˇcást s´ıtˇe. Architektura tˇret´ı pouˇzité neuronové s´ıtˇe je popsána v tabulce B.3.

Tato architektura je ze vˇsech nejsloˇzitˇejˇs´ı, coˇz má za následek jej´ı nejvyˇsˇs´ı výpoˇcetn´ı nároˇcnost. Byla pro identifikaci kognitivn´ı zátˇeˇze nejúspˇeˇsnˇejˇs´ı.

22

(37)

Kapitola 6

Implementace

Tato kapitola je vˇenována implementaci aplikace pro real-time analýzu EKG signál˚u pomoc´ı umˇelé inteligence. Popsány jsou pouˇzité technologie, rozdˇelen´ı kódu do funkˇcn´ıch celk˚u a prostˇred´ı pouˇzité k uˇcen´ı a evaluaci neuronových s´ıt´ı.

6.1 Programovac´ı jazyk

Programovac´ım jazykem, ve kter´em byla aplikace implementov´ana je Python.

Python je vysokoúrovˇnový skriptovac´ı jazyk. Vyznaˇcuje se jednoduchost´ı syn- taxe a podporou r˚uzných programovac´ıch paradigmat, vˇcetnˇe objektovˇe ori- entovaného, proceduráln´ıho a v omezené m´ıˇre funkcionáln´ıho. Je interpre- tovaným programovac´ım jazykem, coˇz má za následek jeho niˇzˇs´ı výkonnost oproti jiným kompilovaným jazyk˚um.

Python je vhodný pro strojové uˇcen´ı, nebot’ pro tento úˇcel poskytuje mnoho knihoven. Kromˇe knihoven pro samotné strojové uˇcen´ı poskytuje i ná- stroje pro analýzu, vizualizaci a práci s daty, které jsou ned´ılnou souˇcást´ı strojového uˇcen´ı.

6.2 Pouˇ zit´ e knihovny

6.2.1 Keras a Tensorflow

Keras[26] je open-source knihovnou poskytuj´ıc´ı rozhran´ı pro tvorbu umˇelých neuronových s´ıt´ı. Umoˇzˇnuje navrhnout a natrénovat neuronovou s´ıt’, bez po- tˇreby explicitn´ıho naprogramován´ı jejich ˇcást´ı. Knihovna poskytuje stavebn´ı bloky modelu, které lze snadno aplikovat. Keras funguje jako vysokoúrovˇnové rozhran´ı pro práci s knihovnou TensorFlow[27].

(38)

6. Implementace

6.2.2 NeuroKit2

NeuroKit2[28] je knihovnou, umoˇzˇnuj´ıc´ı zpracován´ı biologických signál˚u. Po- skytuje rozhran´ı pro jejich analýzu a pˇredzpracován´ı. Obsahuje i algoritmy slouˇz´ıc´ı k detekci QRS komplexu. V této práci byla pouˇzita k filtraci EKG signálu a otestován´ı detekce QRS komplexu.

6.2.3 Scikit-learn

Scikit-learn[29] je knihovnou implementuj´ıc´ı mnoho algoritm˚u strojového uˇce- n´ı. Kromˇe samotných algoritm˚u také poskytuje funkcionalitu pro statistické vyhodnocen´ı úspˇeˇsnosti model˚u a pˇredzpracován´ıdat. V této práci byla pouˇzita na pˇredzpracován´ı dat a evaluaci trénovaných model˚u.

6.3 Clenˇ ˇ en´ı k´ odu

Kód je ˇclenˇen do nˇekolika logických celk˚u. Kaˇzdý logický celek tvoˇr´ı jeden bal´ıˇcek.

6.3.1 Pˇredzpracov´an´ı dat

Bal´ıˇcek data prep je zodpovˇedný za naˇc´ıtán´ı a pˇredzpracován´ı dat. Obsa- huje moduly wesad data prep a clas data prep, které se staraj´ı o naˇc´ıtán´ı a pˇredzpracován´ı jednotlivých sad dat. Souˇcást´ı bal´ıˇcku je modul nazvaný ecg preprocessing, jehoˇz úkolem je pˇrevzorkován´ı, filtrace a dalˇs´ı pˇredzpra- cován´ı EKG signálu.

6.3.2 Uˇcen´ı a evaluace neuronov´ych s´ıt´ı

Bal´ıˇcek neural networkobsahuje definice jednotlivých model˚u a slouˇz´ı k jejich natrénován´ı. Souˇcást´ı bal´ıˇcku je modulevaluation, který poskytuje rozhran´ı pro výpoˇcet metrik popsaných v ˇcásti 3.

6.3.3 Analýza EKG v reálném ˇcase

Bal´ıˇcekreal time analysisslouˇz´ık samotné analýze elektrokardiografického signálu v reálném ˇcase. Zprostˇredkovává simulaci analýzy naˇcten´ım signálu ze souboru. Umoˇzˇnuje vizualizaci signálu, ze kterého neuronová s´ıt’ predikuje.

6.3.4 Utilit´arn´ı funkce

Bal´ıˇcekutil poskytuje utilitárn´ı funkce. Poskytuje funkcionalitu nutnou pro vytváˇren´ı sloˇzek a soubor˚u a manipulaci s datovými strukturami.

24

(39)

6.4. Uˇcen´ı neuronov´ych s´ıt´ı

6.4 Uˇ cen´ı neuronov´ ych s´ıt´ı

Pro potˇreby uˇcen´ı model˚u byla zvolena platforma Microsoft Azure. Jedná se o cloudovou platformu spoleˇcnosti Microsoft, která umoˇzˇnuje pouˇz´ıván´ı virtuáln´ıch stroj˚u. Modely byly uˇceny na virtuáln´ım stroji velikosti Stan- dard B4ms se ˇctyˇrmi virtuáln´ımi procesory, pamˇet´ı 16 GB a operaˇcn´ım sys- témem Ubuntu 18.04.

Proces uˇcen´ıneuronových s´ıt´ızahrnuje pˇredzpracován´ıdat, jejich rozdˇelen´ı na trénovac´ı a testovac´ı ˇcást, samotný trénink neuronové s´ıtˇe a vyhodnocen´ı jej´ı úspˇeˇsnosti. Celý tento proces popisuje následuj´ıc´ı diagram:

Rozdˇelen´ı na tr´enovac´ı a testovac´ı data

Pˇredzpracov´an´ı sady dat WESAD Pˇredzpracov´an´ı sady dat CLAS

Sada dat WESAD Sada dat CLAS

Tr´enink neuronov´e s´ıtˇe

Vyhodnocen´ı ´uspˇeˇsnosti neuronov´e s´ıtˇe

Metriky Natr´enovan´y model

Obr´azek 6.1: Uˇcen´ı neuronov´ych s´ıt´ı

Po natrénován´ı jsou modely uloˇzeny a mohou být pouˇzity k samotné analýze EKG v reálném ˇcase.

6.5 Anal´ yza EKG v re´ aln´ em ˇ case

V rámci práce bylo navrˇzeno ˇreˇsen´ı, které umoˇzˇnuje analyzovat elektrokardio- grafický signál za úˇcelem detekce zvýˇsené kognitivn´ı zátˇeˇze. Souˇcást´ı výsledné aplikace je i výpoˇcet nˇekolika HRV parametr˚u a jejich evaluace.

Navrˇzené ˇreˇsen´ı simulace analýzy v reálném ˇcase a vyuˇzitý návrhový vzor jsou popsány v následuj´ıc´ı ˇcásti.

(40)

6. Implementace

6.5.1 Producent a spotˇrebitel

Problém producenta a spotˇrebitele je jedn´ım z klasických problém˚u a návr- hových vzor˚u, které se objevuj´ı pˇri programován´ı soubˇeˇzných proces˚u. Pro- blematika spoˇc´ıvá v nutnosti paraleln´ıho bˇehu produkce dat a jejich zpra- cován´ı. Producent produkuje data a vkládá je do zásobn´ıku omezené velikosti.

Spotˇrebitel je ze zásobn´ıku odeb´ırá a následnˇe zpracovává.

V pˇr´ıpadˇe simulace analýzy elektrokardiografických signál˚u v reálném ˇcase je moˇzné vyuˇz´ıt vzor producenta a spotˇrebitele. Úkolem producenta je si- mulovat sn´ımán´ı elektrokardiografického signál˚u. Úkolem spotˇrebitele je jeho zpracován´ı a následná identifikace kognitivn´ı zátˇeˇze.

6.5.2 Implementace n´avrhov´eho vzoru

K implementaci návrhového vzoru producent a spotˇrebitel byla pouˇzita knihovna Multiprocessing. Tato knihovna je souˇcást´ıstandardn´ıknihovny[30] programovac´ıho jazyka Python. Multiprocessing umoˇzˇnuje jednoduchou implementaci návrhového vzoru producent a spotˇrebitel, nebot’ poskytuje vysokoúrov- ˇnové rozhran´ı pro práci s paralelnˇe bˇeˇz´ıc´ımi procesy.

Proces staraj´ıc´ı se o simulaci senzoru naˇcte záznam EKG signálu ze souboru a v p˚ulvteˇrinových intervalech ho po 250 vzorc´ıch pˇredává spotˇrebi- telskému procesu. T´ımto je dosaˇzeno simulace senzoru sn´ımaj´ıc´ıho signál se vzorkovac´ı frekvenc´ı 500 Hz.

Spotˇrebitelský proces ukládá posledn´ıch 15000 hodnot EKG signálu a spou- ˇst´ı vlákno, které se stará o zpracován´ı signálu, výpoˇcet HRV parametr˚u a sa- motnou predikci pomoc´ı natrénované neuronové s´ıtˇe, zda se jedná o zvýˇsenou kognitivn´ızátˇeˇz, ˇci ne. Predikce spolu se zpracován´ım signálu a výpoˇctem HRV parametr˚u prob´ıhá na jiném vláknˇe neˇz pˇrij´ımán´ı, aby nedocházelo k blokaci pˇrij´ımán´ı dat.

Spotˇrebitelský proces vyuˇz´ıvá pro ukládán´ı ˇcást´ı signálu cyklickou frontu.

Cyklická fronta je datová struktura omezené velikosti. Jej´ı podstatou je za- cyklené pole, ve kterém po posledn´ım prvku znovu následuje prvn´ı. Po zápisu na posledn´ı prvek se zapisuje opˇet do prvn´ıho. Tato datová struktura je pro potˇreby spotˇrebitelského procesu vhodná, nebot’ je nutné uchovávat pouze posledn´ı nejaktuálnˇejˇs´ı záznamy, ze kterých m˚uˇze neuronová s´ıt’ predikovat kognitivn´ı zátˇeˇz.

Komunikaci mezi jednotlivými procesy a spouˇstˇen´ı vlákna slouˇz´ıc´ıho pro pˇredzpracován´ı signálu a predikci znázorˇnuje diagram 6.2.

26

(41)

6.5. Analýza EKG v reálném ˇcase

Naˇcten´ı dat ze souboru

Zb´yvaj´ı data?

Pˇred´an´ı 250 vzork˚u Pˇrijmut´ı 250 vzork˚u Uloˇzen´ı do cyklick´e fronty

Bˇeˇz´ı predikce?

Spuˇstˇen´ı predikce

Pˇredzpracov´an´ı dat

Ukonˇcen´ı vˇsech proces˚u

Predikce

Producent Spotˇrebitel Vl´akno predikce

Ano

Ano Ne

Ne

Obrázek 6.2: Simulace analýzy v reálném ˇcase

6.5.3 HRV parametry

Spotˇrebitelský proces kromˇe predikce pomoc´ı neuronové s´ıtˇe poskytuje i predikce zaloˇzené na HRV parametrech. Vypoˇc´ıtává nˇekolik HRV parametr˚u z pˇredzpracovaného signálu a kaˇzdý z nich následnˇe klasifikuje. Tˇemito parametry jsou tepová frekvence, pr˚umˇerná délka RR intervalu a RMSSD, coˇz je

(42)

6. Implementace

druhá odmocnina pr˚umˇeru druhých mocnin pr˚umˇerných hodnot délek po sobˇe následuj´ıc´ıch RR interval˚u. RR interval je vzdálenost dvou po sobˇe jdouc´ıch R kmit˚u. Výpoˇcet jednotlivých parametr˚u popisuj´ı následuj´ıc´ı rovnice:

HR= 60

l ·m (6.1)

RR= 1 n

n

X

i=1

RRi (6.2)

RM SSD= v u u t 1

n−1

n−1

X

i=1

(RR_i+1−RR_i)² (6.3) HR je tepová frekvence, RR je pr˚umˇerná délka RR intervalu,l je délka segmentu ve vteˇrinách, m je celkový poˇcet R kmit˚u v segmentu, nje poˇcet RR interval˚u v segmentu,RRijei-tý interval v segmentu. Tepová frekvence je vy- jadˇrována v tepech za minutu. Pr˚umˇerná délka RR intervalu a RMSSD jsou vyjadˇrovány ve vteˇrinách.

Klasifikace prob´ıhá pro kaˇzdý HRV parametr zvláˇst’, takˇze celkem poskytuje tˇri r˚uzné predikce. Je zaloˇzena na jednoduchém algoritmu, který na základˇe pˇredem nastavených prahových hodnot vyhodnot´ı úroveˇn kognitivn´ı zátˇeˇze. Jako prahové hodnoty byly pouˇzity výsledky mˇeˇren´ı provedeného pˇri práciUltra Short Term Analysis of Heart Rate Variability for Monitoring Men- tal Stress in Mobile Settings[31].

6.6 Detekce QRS komplexu

Detekce QRS komplexu byla implementov´ana pomoc´ı knihovny NeuroKit2.

Bylo testováno, jaký na n´ı maj´ı vliv r˚uzné metody pˇredzpracován´ı signálu.

Vstupn´ımi daty algoritmu detekce QRS komplexu byly záznamy EKG ze sady dat WESAD. Bylo experimentováno s nˇekolika metodami pˇredzpracován´ı:

• Nepˇredzpracovan´y sign´al

• Butterworthov˚uv filtr pátého ˇrádu s horn´ı propust´ı 1 Hz

• Butterworth˚uv filtr pátého ˇrádu s horn´ıpropust´ı1 Hz a klouzavý pr˚umˇer se ˇs´ıˇrkou okna 50 Hz

Výsledky detekce byly zhodnoceny vizuáln´ıanalýzou grafického znázornˇen´ı detekovaných komplex˚u a signálu.

28

(43)

Kapitola 7

V´ ysledky

Následuj´ıc´ı ˇcást práce je vˇenována výsledk˚um pˇredzpracován´ı EKG signálu,

úspˇeˇsnosti, s jakou byly navrˇzené architektury schopné identifikovat kognitivn´ı zátˇeˇz a úspˇeˇsnosti detekce QRS komplexu na pˇredzpracovaném signálu.

Modely byly evaluov´any pomoc´ı metrik popsan´ych v kapitole 3.

7.1 Pˇ redzpracov´ an´ı

Pˇredzpracován´ı elektrokardiografického signálu pro úˇcely uˇcen´ı a evaluace neuronových s´ıt´ı bylo provedeno Butterworthovým filtrem pátého ˇrádu s horn´ı propust´ı 1 Hz. Aplikace filtru umoˇznila odstranˇen´ı kol´ısaj´ıc´ı izolinie. Obrázek 7.1 zobrazuje nepˇredzpracovanou ˇcást signálu ze sady dat WESAD s kol´ısaj´ıc´ı izolini´ı. Obrázek 7.2 zobrazuje stejnou ˇcást signálu po aplikaci filtru. Pomoc´ı filtru bylo kol´ısán´ı izolinie minimalizováno, coˇz zvýˇsilo úspˇeˇsnost neuronových s´ıt´ı.

(44)

7. V´ysledky

Obr´azek 7.1: EKG s kol´ısaj´ıc´ı izolini´ı

Obr´azek 7.2: EKG po aplikaci Butterworthova filtru

7.2 Detekce QRS komplexu

Detekce QRS byla otestována na nepˇredzpravovaném signálu, signálu po aplikaci Butterworthova filtru a signálu po aplikaci Butterworthova filtru a klouza- vého pr˚umˇeru. Obrázky 7.3, 7.4 a 7.5 zobrazuj´ı ˇcást signálu ze sady dat 30

(45)

7.2. Detekce QRS komplexu WESAD a detekované QRS kmity. Kmit R byl algoritmus schopen detekovat i bez pˇredzpracován´ı signálu, kmity Q a S vˇsak detekoval chybnˇe. Nej- lepˇs´ıch výsledk˚u dosahoval algoritmus na signálu pˇredzpracovaném pomoc´ı Butterworthova filtru a klouzavého pr˚umˇeru.

Kmit Q Kmit R Kmit S

Obrázek 7.3: Výsledek detekce QRS komplexu na nepˇredzpracovaném signálu

Obr´azek 7.4: V´ysledek detekce QRS komplexu, Butterworth˚uv filtr

(46)

7. V´ysledky

Obrázek 7.5: Výsledek detekce QRS komplexu, Butterworth˚uv filtr, klouzavý pr˚umˇer

7.3 V´ ysledky model˚ u

V rámci práce bylo experimentováno s r˚uznou délkou okna elektrokardiogra- fického signálu, ze kterého se modely uˇcily a následnˇe predikovaly, zda se jedná o zvýˇsenou kognitivn´ı zátˇeˇz. Dále bylo testováno, zda modely dokáˇz´ı správnˇe predikovat výsledky ze signálu, bez jeho pˇredzpracován´ı.

Výsledky jednotlivých model˚u pro r˚uzné délky oken a metod pˇredzpra- cován´ı signálu popisuj´ı tabulky v pˇr´ıloze C. Tˇret´ı navrˇzená architektura pro okna délky 1, 5 a 10 vteˇrin nemohla být pouˇzita. Hloubka konvoluˇcn´ı ˇcásti zp˚usobila, ˇze se klasifikátoru nedostávalo dost hodnot pro proveden´ı predikce.

Nejlepˇs´ıch výsledk˚u dosahovaly modely na pˇredzpracovaném signálu s dél- kou okna 30 vteˇrin. Tˇricetivteˇrinová okna poskytuj´ıdostatek informac´ı, ze kte- rých mohou být extrahovány relevantn´ı pˇr´ıznaky a identifikována zvýˇsená kognitivn´ı zátˇeˇz. Pˇri kratˇs´ı délce oken dosahovaly modely niˇzˇs´ı úspˇeˇsnosti.

Pˇredzpracován´ı signálu pomoc´ı Butterworthova filtru a jeho následná standardizace smˇerodatnou odchylku mˇeli na jejich výsledky pozitivn´ı vliv.

C´ılem experimentace s r˚uzn´ymi d´elkami oken bylo nalezen´ı nejkratˇs´ıho

úseku, ze kterého jsou konvoluˇcn´ı neuronové s´ıtˇe schopny úspˇeˇsnˇe detekovat kognitivn´ı zátˇeˇz. Kratˇs´ı délka okna je vhodná pro analýzu signálu v reálném ˇcase. Model˚um staˇc´ı kratˇs´ı úsek mˇeˇreného signálu k predikci, tedy mohou zaˇc´ıt predikovat dˇr´ıve, neˇz kdyby bylo okno delˇs´ı.

32

(47)

7.4. Analýza EKG v reálném ˇcase

7.4 Anal´ yza EKG v re´ aln´ em ˇ case

Vytvoˇrená aplikace demonstruje analýzu elektrokardiografických signál˚u v reálném ˇcase za úˇcelem detekce zvýˇsené kognitivn´ı zátˇeˇze. Pˇreduˇcené kon- voluˇcn´ı neuronové s´ıtˇe jsou schopné detekovat zvýˇsenou kognitivn´ı zátˇeˇz s

úspˇeˇsnost´ı popsanou v ˇcásti 7.3. Rychlost, s jakou je navrˇzené ˇreˇsen´ı schopné pˇredzpracovat signál a následnˇe detekovat zvýˇsenou kognitivn´ı zátˇeˇz je do- stateˇcná pro jeho pouˇzit´ı k analýze v reálném ˇcase.

Obr´azek 7.6: Vytvoˇren´a aplikace

Aplikace zobrazuje pˇrij´ımaný signál. Vertikáln´ı osa udává hodnotu v mV a horizontáln´ı ve vteˇrinách. Znaˇcky na vertikáln´ı ose jsou od sebe vzdáleny 1 mV a na horizontáln´ı ose 1 s. V levém horn´ım rohu je predikce neuronové s´ıtˇe pro zobrazovaný úsek. V pravém horn´ım rohu je ˇcást experimentu, ve které byl úsek namˇeˇren. V levém doln´ım rohu jsou hodnoty jednotlivých parametr˚u a v pravém z nich uˇcinˇené predikce na základˇe stanovených prahových hodnot.

Pro analýzu EKG v reálném ˇcase je pouˇz´ıvána tˇret´ı navrˇzená architektura.

Model byl natrénován na pˇredzpracovaném signálu s délkou okna 30 vteˇrin.

Tato kombinace byla zvolena na základˇe experiment˚u. V porovnán´ıs ostatn´ımi otestovanými moˇznostmi dosahovala nejlepˇs´ıch výsledk˚u.

(48)

(49)

Kapitola 8

Diskuze

V rámci této práce byly otestovány tˇri r˚uzné architektury konvoluˇcn´ıch neu- ronových s´ıt´ı pro identifikaci kognitivn´ı zátˇeˇze ze záznam˚u elektrokardiogra- fických signál˚u. Detekce kognitivn´ı zátˇeˇze byla dohromady testována na 77 li- dech. Byla vytvoˇrena aplikace demonstruj´ıc´ı jejich pouˇzit´ı pˇri analýze signálu v reálném ˇcase.

Natrénované modely byly schopny identifikovat zvýˇsenou kognitivn´ı zátˇeˇz s pˇresnost´ı aˇz 93 %. Na jejich úspˇeˇsnost mˇela výrazný vliv délka okna signálu, které jim bylo poskytnuto a jeho pˇredzpracován´ı. Na nepˇredzpracovaném signálu dosahovaly znaˇcnˇe niˇzˇs´ı úspˇeˇsnosti.

Metody pouˇzité k pˇredzpracován´ıelektrokardiografického signálu byly zvoleny na základˇe reˇserˇse. Byly upˇrednostˇnovány metody pouˇz´ıvané v klinické praxi. Aplikace jiných metod pˇredzpracován´ı elektrokardiografického signálu by mohla pozitivnˇe ovlivnit výsledky neuronových s´ıt´ı.

Uˇzit´ı konvoluˇcn´ıch neuronových s´ıt´ı umoˇzˇnuje znaˇcnˇe sn´ıˇzit pˇredzpraco- ván´ı signálu oproti jiným metodám strojového uˇcen´ı. Zejména extrakci pˇr´ızna- k˚u ze signálu dokáˇz´ı konvoluˇcn´ı neuronové s´ıtˇe automatizovat bez potˇreby jej´ıho explicitn´ıho naprogramován´ı. Nevýhodou uˇzit´ı neuronových s´ıt´ı je ˇcaso- vá a výpoˇcetn´ı nároˇcnost jejich uˇcen´ı.

Jednotlivé architektury byly otestovány na pˇredzpracovaném a nepˇred- zpracovaném signálu. Nejvˇetˇs´ı úspˇeˇsnosti dosahovaly, kdyˇz jim bylo poskytnuto 30 vteˇrin pˇredzpracovaného záznamu elektrokardiografického signálu.

V této práci bylo experimentováno s délkami oken 1, 5, 10, 20 a 30 vteˇrin.

Dalˇs´ı experimentace s délkou okna by mohla prokázat, ˇze staˇc´ı kratˇs´ı úseky, neˇz 30 vteˇrin.

Modely byly uˇceny na záznamech elektrokardigrafického signálu 77 lid´ı.

Trénink a testován´ı na tomto vzorku dokázali, ˇze jsou konvoluˇcn´ı neuronové s´ıtˇe schopné identifikovat kognitivn´ı zátˇeˇz. Robustnost klasifikátoru je moˇzné zvýˇsit jeho tréninkem na vˇetˇs´ım vzorku.

Vytvoˇrená aplikace demonstruje analýzu elektrokardiografického signálu v reálném ˇcase. Analýza prob´ıhá na signálu naˇcteném ze souboru. Dalˇs´ım kro-

(50)

8. Diskuze

kem pro otestován´ı by mohlo být propojen´ı aplikace s opravdovým senzorem sn´ımaj´ıc´ım signál v reálném ˇcase.

Detekce QRS komplexu byla nejúspˇeˇsnˇejˇs´ı na signálu, ze kterého bylo od- stranˇeno kol´ısán´ı izolinie a vysokofrekvenˇcn´ı ruch. Kmity R byl algoritmus s niˇzˇs´ı úspˇeˇsnost´ı schopen predikovat i na nepˇredzpracovaném signálu. Kmity Q a S byl algoritmus schopný spolehlivˇe detekovat pouze na pˇredzpracovaném signálu.

36

(51)

Z´ avˇ er

V rámci této práce byly otestovány tˇri r˚uzné architektury konvoluˇcn´ıch neu- ronových s´ıt´ı pro identifikaci kognitivn´ı zátˇeˇze ze záznam˚u elektrokardiogra- fických signál˚u. Detekce kognitivn´ı zátˇeˇze byla dohromady testována na 77 li- dech. Konvoluˇcn´ı neuronové s´ıtˇe byly schopné na pouˇzitých datech identifikovat zvýˇsenou kognitivn´ı zátˇeˇz s pˇresnost´ı aˇz 93 %.

Vstupem konvoluˇcn´ıch neuronových s´ıt´ı byl pˇredzpracovaný elektrokardi- ografický signál. Metody pˇredzpracován´ı byly voleny na základˇe provedené reˇserˇse. Upˇrednostˇnovány byly metody pouˇz´ıvané v klinické praxi.

Na pˇredzpracovaném signálu byla otestována detekce QRS komplexu. Me- tody navrˇzené pro pˇredzpracován´ı umoˇznily minimalizovat kol´ısán´ı izolinie signálu a zvýˇsily úspˇeˇsnost neuronových s´ıt´ı a detekce QRS komplexu.

Byla vytvoˇrena aplikace demonstruj´ıc´ı pouˇzit´ı konvoluˇcn´ıch neuronových s´ıt´ı pˇri analýze elektrokardiografického signálu v reálném ˇcase. Aplikace umoˇz- ˇnuje simulaci sn´ımán´ı signálu, vizualizaci, výpoˇcet HRV parametr˚u a detekci kognitivn´ı zátˇeˇze v reálném ˇcase.

(52)

(53)

Literatura

[1] Wikimedia Commons: Schematic diagram of normal sinus rhythm for a human heart as seen on ECG (with Czech labels). 2009. Dostupn´e z: https://commons.wikimedia.org/wiki/File:ECG-P%2BQRSkomplex%

2BT.svg

[2] Agrafioti, F.; Hatzinakos, D.; Anderson, A. K.: ECG Pattern Analysis for Emotion Detection.IEEE Transactions on Affective Computing, roˇcn´ık 3, ˇc. 1, 2012: s. 102–115, doi:10.1109/T-AFFC.2011.28.

[3] Caroline Chanel, P. C.; Wilson, M. D.; Scannella, S.: Online ECG-based Features for Cognitive Load Assessment. In 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC), 2019, s. 3710–3717, doi:10.1109/SMC.2019.8914002.

[4] Lampert, R.: ECG signatures of psychological stress.Journal of Electro- cardiology, roˇcn´ık 48, ˇc. 6, 2015: s. 1000–1005, ISSN 0022-0736, doi:

https://doi.org/10.1016/j.jelectrocard.2015.08.005. Dostupn´e z: https:

//www.sciencedirect.com/science/article/pii/S0022073615002277 [5] Haapalainen, E.; Kim, S.; Forlizzi, J. F.; aj.: Psycho-Physiological Me- asures for Assessing Cognitive Load. In Proceedings of the 12th ACM International Conference on Ubiquitous Computing, UbiComp ’10, New York, NY, USA: Association for Computing Machinery, 2010, ISBN 9781605588438, str. 301–310, doi:10.1145/1864349.1864395. Dostupn´e z:

https://doi.org/10.1145/1864349.1864395

[6] McCulloch, W. S.; Pitts, W.: A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, roˇcn´ık 5, ˇc. 4, Dec 1943: s. 115–133, ISSN 1522-9602, doi:10.1007/BF02478259.

Dostupn´e z: https://doi.org/10.1007/BF02478259

[7] Hubel, D. H.; Wiesel, T. N.: Receptive fields of single neuro- nes in the cat’s striate cortex. The Journal of physiology, roˇcn´ık

(54)

Literatura

148, ˇc. 3, Oct 1959: s. 574–591, ISSN 0022-3751, doi:10.1113/

jphysiol.1959.sp006308, 14403679[pmid]. Dostupn´e z: https://doi.org/

10.1113/jphysiol.1959.sp006308

[8] Fukushima, K.: Neocognitron: A hierarchical neural network capable of visual pattern recognition. Neural Networks, roˇcn´ık 1, ˇc. 2, 1988: s. 119–

130, ISSN 0893-6080, doi:https://doi.org/10.1016/0893-6080(88)90014-7.

Dostupn´e z: https://www.sciencedirect.com/science/article/pii/

0893608088900147

[9] Lecun, Y.; Bottou, L.; Bengio, Y.; aj.: Gradient-based learning applied to document recognition.Proceedings of the IEEE, roˇcn´ık 86, ˇc. 11, 1998:

s. 2278–2324, doi:10.1109/5.726791.

[10] Boris Pyakillya, N. M., Natasha Kazachenko: Deep Learning for ECG Classification. Journal of Physics: Conference Series, roˇcn´ık 913, 2017: s. 1–5, doi:10.1088/1742-6596/913/1/012004. Dostupn´e z:http://

iopscience.iop.org/article/10.1088/1742-6596/913/1/012004/pdf [11] Hsu, Y.-L.; Wang, J.-S.; Chiang, W.-C.; aj.: Automatic ECG-Based

Emotion Recognition in Music Listening. IEEE Transactions on Af- fective Computing, roˇcn´ık 11, ˇc. 1, 2020: s. 85–99, doi:10.1109/

TAFFC.2017.2781732.

[12] Shao, M.; Bin, G.; Wu, S.; aj.: Detection of atrial fibrillation from ECG recordings using decision tree ensemble with multi-level features. Physiological Measurement, roˇcn´ık 39, ˇc. 9, sep 2018: str. 094008, doi:10.1088/1361-6579/aadf48. Dostupn´e z: https://doi.org/10.1088/

1361-6579/aadf48

[13] Keshan, N.; Parimi, P. V.; Bichindaritz, I.: Machine learning for stress detection from ECG signals in automobile drivers. In 2015 IEEE Inter- national Conference on Big Data (Big Data), 2015, s. 2661–2669, doi:

10.1109/BigData.2015.7364066.

[14] He, J.; Li, K.; Liao, X.; aj.: Real-Time Detection of Acute Cogni- tive Stress Using a Convolutional Neural Network From Electrocar- diographic Signal. IEEE Access, roˇcn´ık 7, 2019: s. 42710–42717, doi:

10.1109/ACCESS.2019.2907076.

[15] Li, R.; Liu, Z.: Stress detection using deep neural networks.BMC Medical Informatics and Decision Making, roˇcn´ık 20, ˇc. 11, Dec 2020: str. 285, ISSN 1472-6947, doi:10.1186/s12911-020-01299-4. Dostupn´e z:https://

doi.org/10.1186/s12911-020-01299-4 40