Bakal´ aˇrsk´ a pr´ ace

(1)

Pokyny pro vypracování

Proveďte rešerši knihoven pro řízení minidronů Parrot Mambo. Navrhněte a implementujte aplikaci, která bude řídit dron na základě informace z jeho kamer. Vertikální kameru využijte pro navigaci dronu podle objektů nebo značek ležících na podlaze. Horizontální kameru využijte pro vyhýbání se

překážkám v prostoru nebo průletu otvorem. Pro zpracování obrazu použijte knihovnu OpenCV, případně sofistikovanější knihovny například na bázi hlubokých neuronových sítí. Aplikaci implementujte v jazyce Python, případně v kombinaci C/C++. Drony budou řízeny z linuxového počítače přes WiFi nebo BlueTooth. Veškeré programové vybavení řádně zdokumentujte a zdrojové kódy doplňte komentáři tak, aby se z nich dala automaticky generovat dokumentace. Aplikaci otestujte, zhodnoťte přesnost navigace a možnost současné navigace více dronů z jednoho počítače.

Rozsah práce upřesněte po dohodě s vedoucím práce.

Elektronicky schválil/a doc. Ing. Hana Kubátová, CSc. dne 12. února 2021 v Praze.

Zadání bakalářské práce

Název: Aplikace pro navigaci minidronu

Student: Jan Filip

Vedoucí: Ing. Miroslav Skrbek, Ph.D.

Studijní program: Informatika

Obor / specializace: Počítačové inženýrství Katedra: Katedra číslicového návrhu

Platnost zadání: do konce letního semestru 2021/2022

(2)

(3)

Bakal´ aˇrsk´ a pr´ ace

APLIKACE PRO

NAVIGACI MINIDRONU

Jan Filip

Fakulta informaˇcn´ıch technologi´ı ˇCVUT v Praze Katedra ˇc´ıslicov´eho n´avrhu

Vedouc´ı: Ing. Miroslav Skrbek, Ph.D.

13. kvˇetna 2021

(4)

ˇCeské vysoké uˇcen´ı technické v Praze Fakulta informaˇcn´ıch technologi´ı

Tato práce vznikla jako ˇskoln´ı d´ılo na ˇCeském vysokém uˇcen´ı technickém v Praze, Fakultˇe informaˇcn´ıch technologi´ı. Práce je chránˇena právn´ımi pˇredpisy a mezinárodn´ımi úmluvami o právu autorském a právech souvisej´ıc´ıch s právem autorským. K jej´ımu uˇzit´ı, s výjimkou bez uplatnˇených zákonných licenc´ı nad rámec oprávnˇen´ı uvedených v Prohláˇsen´ı, je nezbytný souhlas autora.

Odkaz na tuto práci: Jan Filip.Aplikace pro navigaci minidronu. Bakaláˇrská práce. ˇCeské vysoké uˇcen´ı technické v Praze, Fakulta informaˇcn´ıch technologi´ı, 2021.

(5)

Obsah

Prohl´aˇsen´ı vi

Abstrakt vii

Seznam zkratek viii

1 Uvod´ 1

2 Uvod k ovl´´ ad´an´ı dron˚u 3

2.1 Kvadrokopt´ery . . . 3

2.2 N´astroje pro ˇr´ızen´ı dronu Parrot . . . 4

2.2.1 PyParrot . . . 4

2.2.2 RollingSpiderEdu . . . 4

2.2.3 MATLAB® Support Package for Parrot® Drones . . . 4

2.3 Dron Parrot Mambo . . . 4

2.3.1 Senzory . . . 4

2.3.2 Ovl´ad´an´ı a pohyb dronu . . . 4

3 Anal´yza 7 3.1 Autonomn´ı navigace . . . 7

3.1.1 Heuristick´y pˇr´ıstup . . . 8

3.1.2 Optim´aln´ı pˇr´ıstup . . . 8

3.1.3 Kombinace pˇr´ıstup˚u . . . 8

3.2 Pr˚uzkum oblasti . . . 9

3.3 Algoritmy pro navigaci k c´ıli . . . 9

3.3.1 Bug algorithms . . . 9

3.3.2 FGA algoritmus . . . 10

3.3.3 Navigace dle mapy . . . 11

3.4 Zpracov´an´ı obrazu . . . 11

3.4.1 Detekce hran . . . 11

4 N´avrh 13 4.1 Zpracov´an´ı obrazu . . . 13

4.1.1 Detekce pozemn´ıch c´ıl˚u . . . 13

4.1.2 Detekce pˇrek´aˇzek . . . 14

4.2 Pr˚uzkum oblasti . . . 14

4.3 Navigace . . . 15

4.3.1 Anal´yza . . . 15

4.3.2 ˇReˇsen´ı . . . 15

4.3.3 Omezen´ı ˇreˇsen´ı . . . 16

4.4 Aplikace . . . 17

4.4.1 Struktura aplikace . . . 17

4.4.2 Drone modul . . . 17

4.4.3 Navigaˇcn´ı syst´em . . . 18

iii

(6)

iv Obsah

4.4.4 Obsluha horizont´aln´ı kamery a zpracov´an´ı jej´ıho obrazu . . . 18

4.4.5 Obsluha vertik´aln´ı kamery . . . 18

4.4.6 Zpracov´an´ı obrazu z vertik´aln´ı kamery . . . 18

5 Implementace 19 5.1 Dron . . . 19

5.1.1 Pˇripojen´ı dronu . . . 19

5.1.2 Zásady ovládán´ı . . . 19

5.1.3 Senzory . . . 19

5.1.4 Pozice dronu . . . 20

5.1.5 Pohyb dronu . . . 20

5.1.6 Vyhnut´ı se pˇrek´aˇzce . . . 21

5.2 Navigace . . . 23

5.2.1 Hled´an´ı cesty . . . 23

5.3 Horizont´aln´ı kamera . . . 24

5.3.1 Staˇzen´ı obr´azku . . . 24

5.3.2 Obsluha horizont´aln´ı kamery . . . 24

5.3.3 Zpracov´an´ı obrazu . . . 25

5.4 Vertik´aln´ı kamera . . . 26

5.4.1 Obsluha vertik´aln´ı kamery . . . 26

5.4.2 Zpracov´an´ı obrazu . . . 26

6 Specifikace aplikace 29 6.1 Instalace . . . 29

6.1.1 Knihovna Pyparrot . . . 29

6.2 Aplikace . . . 30

6.3 Testov´an´ı a funkˇcnost aplikace . . . 30

7 Z´avˇer 31

Obsah pˇriloˇzen´eho m´edia 35

(7)

Seznam obr´azk˚ u

2.1 Rozvrˇzen´ı dronu . . . 3

2.2 Dron Parrot Mambo . . . 5

3.1 Navigace bludiˇstˇem . . . 8

3.2 Bug algoritmusu . . . 9

3.3 FGA algoritmus . . . 10

4.1 Diagram v´yhybu pˇrek´aˇzce . . . 15

4.2 Omezen´ı navigace dronu . . . 16

4.3 Diagram . . . 17

5.1 Optim´aln´ı pr˚uchod mˇr´ıˇzkou . . . 23

5.2 Detekce pozemn´ıch c´ıl˚u . . . 25

5.3 Detekce objekt˚u . . . 27

Seznam tabulek

2.1 Parametry funkce . . . 5

Seznam v´ypis˚ u k´odu

2.1 Funkce pro ovl´ad´an´ı pohybu dronu . . . 5

5.1 Pˇripojen´ı se k dronu . . . 19

5.2 Navigace dronu k c´ıli . . . 22

5.3 Obsluha spodn´ı kamery dronu . . . 24

5.4 Inicializace obsluhy FPV kamery . . . 26

5.5 Inicializace neuronov´e s´ıtˇe Detectron2 . . . 27

6.1 Pˇripojen´ı k dronu pˇres FTP . . . 29

6.2 P˚uvodn´ı cesta k uloˇzen´ı sn´ımk˚u . . . 29

6.3 Nov´a cesta k uloˇzen´ı sn´ımk˚u . . . 29

6.4 Zmˇena frekvence vol´an´ı callback funkce . . . 30

6.5 Zmˇena frekvence vol´an´ı callback funkce . . . 30

v

(8)

Prohl´aˇsen´ı

Prohlaˇsuji, ˇze jsem pˇredloˇzenou práci vypracoval samostatnˇe a ˇze jsem uvedl veˇskeré pouˇzité informaˇcn´ı zdroje v souladu s Metodickým pokynem o dodrˇzován´ı etických princip˚u pˇripˇr´ıpravˇe vysokoˇskolských závˇereˇcných prac´ı.Beru na vˇedom´ı, ˇze se na moji prácivztahuj´ı práva a povin- nosti vyplývaj´ıc´ı ze zákona ˇc.121/2000 Sb., autorského zákona, ve znˇen´ı pozdˇejˇs´ıch pˇredpis˚u, zejména skuteˇcnost, ˇze ˇCeské vysoké uˇcen´ı technické v Praze má právo na uzavˇren´ı licenˇcn´ı smlouvy o uˇzit´ı této práce jako ˇskoln´ıho d´ıla podle § 60 odst. 1 citovaného zákona.

V Praze dne 10. kvˇetna 2020 . . . .

vi

(9)

Abstrakt

Tato práce je zamˇeˇrena na moˇznosti ovládán´ı minidron˚u Parrot Mambo. C´ılem práce je vytvoˇrit aplikaci schopnou dron samostatnˇe navádˇet dle informac´ı z jeho senzor˚u a kamer. Vyhýbán´ı se dronu pˇrekáˇzkám je dosaˇzeno za pomoc´ı upraveného Bug algoritmu. Z´ıskán´ı informac´ı z obrazu je zajiˇstˇeno pˇredevˇs´ım za pouˇzit´ı knihovny OpenCV a neuronové s´ıtˇe Detectron2.

Kl´ıˇcová slova dron, autonomn´ınavigace, zpracován´ıobrazu, neuronové s´ıtˇe, navigace, senzory

Abstract

This thesis is focusing on ways to control minidrone Parrot Mambo. Main goal is to create application able to autonomously navigate dron based on data gained from sensors and camera.

Obstacle avoidance of drone is achieved with modified bug algorithm. Images from cameras are processed with neural network Detectron2 and library OpenCV.

Keywords dron, autonomous navigation, image processing, neural netwroks, navigation, sensors

vii

(10)

Seznam zkratek

UAV Unmanned aerial vehicle FGA Flexible geometric algorithm CNN Convolutional neural network R-CNN Region-based CNN

ROI Region of interest

RRT Rapidly-exploring random tree

SLAM Simultaneous localization and mapping

viii

(11)

Kapitola 1

Uvod ´

Autonomn´ı navigace robot˚u se stále v´ıce integruje do kaˇzdodenn´ıho ˇzivota a v budoucnu se stane jeho ned´ılnou souˇcást´ı. Z poˇcátku se autonomn´ı navigace vyuˇz´ıvala v systémech se kterými bˇeˇzný ˇclovˇek nepˇriˇsel do styku. Pˇr´ıkladem m˚uˇzou být autonomn´ı lodˇe uzp˚usobené na pˇristáván´ı raketových motor˚u firmy SpaceX. V souˇcasnosti se tyto systémy rozˇsiˇruj´ı do bˇeˇzného ˇzivota napˇr´ıklad vozidla firmy Tesla s moˇznost´ı autopilota.

Hlavn´ım c´ılem práce je navrhnout aplikaci pro navigaci dronu, otestovat ji a ˇrádnˇe zdoku- mentovat. Sekundárn´ım c´ılem práce je z´ıskat informace o moˇznostech takto ovládat v´ıce dron˚u v rámci aplikace a zhodnotit proveditelnost a efektivitu takového ˇreˇsen´ı.

Práce je rozdˇelena do pˇeti ˇcást´ı: Prvn´ı kapitola seznám´ı ˇctenáˇre s dronem Parrot Mambo a na r˚uzné metody jeho ovládán´ı. Mimo jiné se i pod´ıváme na základn´ı informace o moˇzných rozloˇzen´ı kvadrokoptér a základn´ı principy jejich ovládán´ı.

Druhá kapitola se zabývá analýzou zadané problematiky. Zde se seznám´ıme se základn´ımi principy autonomn´ınavigace a r˚uzné principy navigace pˇri pr˚uzkumu oblasti. Následnˇe se pod´ıváme na základn´ı algoritmy pro navigaci dronu k c´ıli vˇcetnˇe vyhýbán´ı se pˇrekáˇzkám. Nakonec se pod´ıváme na základn´ı principy pro zpracován´ı obrazu a vytˇeˇzen´ı potˇrebných informac´ı z nˇej.

Tˇret´ı kapitola je vˇenována návrhu aplikace a základn´ım princip˚um chován´ı jej´ıch jednotlivých ˇcást´ı.

ˇCtvrtá kapitola podrobnˇe popisuje implementaci aplikace a zaob´ırá se do vˇetˇs´ı hloubky ˇreˇsenými problémy pˇri návrhu aplikace.

Pátá kapitola poskytuje informace o aplikaci jako celku a popisuje nutné kroky pro správné spuˇstˇen´ı aplikace.

V posledn´ı kapitole se pod´ıváme na dalˇs´ı moˇzný rozvoj aplikace, shrneme c´ıle aplikace a poskytneme vyjádˇren´ı o jejich splnˇen´ı.

1

(12)

(13)

Kapitola 2

Uvod k ovl´ad´an´ı dron˚ ´ u

2.1 Kvadrokopt´ery

Kvadrokoptéra je speciáln´ı druh helikoptéry se ˇctyˇrmi rotory. Jejich pouˇzit´ı se rozˇs´ıˇrilo s ko- merˇcn´ım prodejem dron˚u pro rekreaˇcn´ı úˇcely ˇci poˇrizován´ı leteckých zábˇer˚u pro filmové tv˚ure.

Takovýto dron má 4 motory, kaˇzdý ovládaj´ıc´ı vlastn´ı vrtuli, které umoˇzˇnuj´ı pohyb dronu v ˇsesti základn´ıch smˇerech (do stran, dopˇredu, dozadu, nahoru a dolu), které je spolu moˇzno kombinovat. Kvadrokoptéry maj´ı dvˇe moˇznosti základn´ıho rozloˇzen´ı motor˚u, do tvaru x a +. Hlavn´ı rozd´ıl mezi tˇemito konfiguracemi je rozd´ıl mezi pˇr´ıkazy, které se pos´ılaj´ı r˚uzným motor˚um pro splnˇen´ı stejného typu pohybu.

Nejd˚uleˇzitˇejˇs´ı ˇcást konfigurace motor˚u dronu je smˇer rotace. Motory na stejné ose se otáˇcej´ı stejným smˇerem, ale opaˇcným oproti motor˚um na druhé ose dronu. Toto rozloˇzen´ı umoˇzˇnuje dronu provádˇet základn´ı pohyby (pitch, roll, thrust) nezávisle na sobˇe.[1]

Obr´azek 2.1 Rozvrˇzen´ı dronu

3

(14)

4 Kapitola 2. Uvod k ovl´´ ad´an´ı dron˚u

2.2 N´astroje pro ˇr´ızen´ı dronu Parrot

Pro minidron Parrot Mambo existuje nˇekolik moˇznost´ı jeho ovládán´ı. Daly by se rozdˇelit na ovládán´ı pomoc´ı jazyk˚u Python, C/C++ a Matlab.

2.2.1 PyParrot

Pyparrot je knihovna pro jazyk Python navrˇzená a implementovaná Dr. Amy McGovern. Toto rozhran´ı bylo vytvoˇreno k výuce STEM koncept˚u (science, technology, engineering, mathematics) pomoc´ı programován´ı dron˚u k samostatnému letu.[2]

2.2.2 RollingSpiderEdu

Tato knihovna slouˇz´ı k navrˇzen´ı a simulaci algoritm˚u pro ovládán´ı dronu v programu MATLAB ˇci Simulink. Poté sama generuje kód v jazyce C urˇcený k ovládán´ı dronu. Vˇsechna data ze senzor˚u jsou v pr˚ubˇehu letu zaznamenávána a je moˇzno je pozdˇeji zobrazit a analyzovat.[3]

2.2.3 MATLAB® Support Package for Parrot® Drones

Tato moˇznost poskytuje vývojáˇri rozhran´ı po ovládán´ı dronu z programu MATLAB. Uˇzivateli je poskytnuta moˇznost ovládán´ı dronu pos´ılán´ım pˇr´ıkaz˚u k ovládán´ı smˇeru, rychlosti a orientace dronu. Uˇzivatel má zároveˇn moˇznost stahovat data ze senzor˚u, jako napˇr´ıklad výˇska, rychlost, orientace a mnoho dalˇs´ıch.

MATLAB z´aroveˇn poskytuje bal´ıˇcek pro simulaci dronu urˇcenou k v´yvoje algoritm˚u pro kontrolu letu dronu. [4]

2.3 Dron Parrot Mambo 2.3.1 Senzory

Dron disponuje nˇekolika senzory. Na spodku dronu nalezneme ultrazvukový senzor pomoc´ıkterého dokáˇzeme mˇeˇrit vertikáln´ı vzdálenost dronu od povrchu. Senzor vyˇsle zvukovou vlnu a mˇeˇr´ı jak dlouho trvá neˇz se vlna odraˇzená od zemˇe dostane zpˇet k senzoru. Z namˇeˇreného ˇcasu lze vypoˇc´ıtat výˇsku dronu od zemˇe.

Dalˇs´ım senzorem um´ıstˇeném také na spodku dronu je kamera, která dokáˇze sn´ımat obraz ve frekvenci 60 FPS. Tato kamera pouˇz´ıvá optical flow k odhadnut´ı horizontáln´ıho rychlosti a pohybu dronu.

Uvnitˇr dronu se nacház´ı tlakový senzor urˇcený k mˇeˇren´ı výˇsky dronu na základˇe malých zmˇen tlaku vzduchu.

Dron také disponuje IMU jednotkou vybavenou tˇr´ıosým akcelerometrem, mˇeˇr´ıc´ı lineárn´ı zrychlen´ı, a tˇr´ıosým gyroskopem, mˇeˇr´ıc´ım natoˇcen´ı dronu. D´ıky této jednotce dron um´ı vypoˇc´ıtat dalˇs´ı informace jako je napˇr´ıklad rychlost otáˇcen´ı.

ˇZádný z tˇechto senzor˚uneumoˇzˇnuje mˇeˇrit volnou vzdálenost pˇred kamerou dronu. Absence tohoto senzoru nám velice omez´ımoˇzné metody pro navigaci dronu a jeho vyhýbán´ıse pˇrekáˇzkám.[1]

2.3.2 Ovl´ad´an´ı a pohyb dronu

Knihovna pyparrot poskytuje tˇri základn´ı létac´ı módy: s vertikáln´ı a horizontáln´ı stabilizac´ı, pouze s vertikáln´ı stabilizac´ı a bez stabilizace. Horizontáln´ı stabilizace má za c´ıl zamezen´ı pohybu dronu vytvoˇreném pohyby vzduchu.

(15)

2.3. Dron Parrot Mambo 5

Obr´azek 2.2 Dron Parrot Mambo

Samotný pohyb dronu je realizován pomoc´ı funkc´ıfly_directa turn_degrees. Výpis kódu 2.1 Funkce pro ovládán´ı pohybu dronu

def f l y _ d i r e c t ( self , roll , pitch , yaw , v e r t i c a l _ m o v e m e n t , d u r a t i o n ) def t u r n _ d e g r e e s ( self , d e g r e e s )

Funkcefly_directdostává jako parametry procentuáln´ı pohyb dronu po jeho osách a rotaci kolem osy z. D´ıky správnému rozloˇzen´ı motor˚u lze tyto pohyby libovolnˇe kombinovat. Pˇr´ıkaz je opakován po celou dobu trván´ı. Pokud nen´ı ˇcas pro proveden´ı manévru specifikován pˇr´ıkaz se odeˇsle pouze jednou.

Parametr Popis Oˇcek´avan´a hodnota

roll pohyb po ose y dronu h−1080,1080i pitch pohyb po ose x dronu h−1080,1080i

yaw rotace dronu h−1080,1080i

vertical movement vertik´aln´ı pohyb dronu h−1080,1080i duration doba trv´an´ı pˇr´ıkazu >0 Tabulka 2.1Parametry funkce

Funkceturn_degrees umoˇzˇnuje rotaci dronu na m´ıstˇe o daný úhel v rozmez´ıh−180,180i. Na rozd´ıl od funkcefly_directrotace pomoc´ı této funkce nelze kombinovat s ostatn´ımi pohyby dronu.[2]

(16)

(17)

Kapitola 3

Anal´yza

Aby se robot mohl správnˇe orientovat ve svém okol´ı potˇrebuje o nˇem z´ıskat informace a ty zpracovat do údaj˚u, na základˇe kterých se bude schopen rozhodovat. Tyto údaje z´ıskává ze svých senzor˚u, které rozdˇel´ıme pro naˇse úˇcely na dva typy:

senzoru, ud´avaj´ıc´ı informace o robotu senzory, ud´avaj´ıc´ı informace o okol´ı

Prvn´ı skupina senzor˚u ud´av´a informace jako poloha, rotace robota, ˇci rychlost jeho pohybu.

Pro správné zpracován´ı dat z tˇechto senzor˚u je nutné vˇedˇet v jakém kontextu informace vrac´ı.

Napˇr´ıklad data o poloze m˚uˇzou být udávána ve tˇrech r˚uzných kontextech: data mohou být vracena v GPS souˇradnic´ıch nebo m˚uˇzou být vracena relativnˇe v˚uˇci bodu zapnut´ı robota nebo napˇr´ıklad u dronu relativnˇe v˚uˇci vzletu ze zemˇe. To samé m˚uˇze platit u rotace robotu. Tato skupina senzor˚u bude vracet údaje jako poloha, rotace robota, rychlost pohybu ˇci r˚uzné informace o stavu robotu.

Pomoc´ı druhé skupiny senzor˚u lze z´ıskávat informace o okol´ı. Do této skupiny zaˇrad´ıme senzory jako kamery, ze kterých lze z´ıskat informace o objektech v okol´ı a v nˇekterých pˇr´ıpadech i vzdálenost k nim a ultrazvukové senzory urˇcuj´ıc´ı vzdálenost od pˇrekáˇzky.[5]

3.1 Autonomn´ı navigace

Navigace je postup ˇci ˇcinnost, d´ıky které ˇclovˇek m˚uˇze zjistit svoj´ı polohu a urˇcit cestu k danému c´ıli. Autonomn´ı navigace je postup ˇci ˇcinnost, kterou robot dokáˇze zjistit svoj´ı pozici a navigovat se ke c´ıli. D˚uleˇzité je, ˇze toho doc´ıl´ı sám bez zásahu ˇclovˇeka. Zjednoduˇsenˇe ˇreˇceno je to nˇejaký postup pravidel, kterými se robot ˇr´ıd´ı aby nalezl cestu ke svému c´ıli.

Autonomn´ı navigaci lze rozdˇelit celé spektrum dle úrovn´ı sloˇzitosti. Nejniˇzˇs´ı úroveˇn jsou ak- tivn´ı systémy pro pomoc ovládán´ı robota. Jedn´ım z takových pˇr´ıklad˚u by se napˇr´ıklad dala povaˇzovat stabilizace dronu, aby se vznáˇsel na stejném m´ıstˇe a nenechal se unáˇset proudy vˇetru.

Na druhé stranˇe tohoto spektra se nacházej´ı plnˇe autonomn´ı systémy schopné samostatné navigace v prostˇred´ı.[5] Plnˇe autonomn´ı systémy, lze nadále dˇelit na heuristický a optimáln´ı pˇr´ıstup.

7

(18)

8 Kapitola 3. Anal´yza

3.1.1 Heuristick´y pˇr´ıstup

Heuristický pˇr´ıstup je soubor pravidel, kterými se robot ˇr´ıd´ı, aby dosáhl svého c´ıle. Pˇr´ıkladem tohoto pˇr´ıstupu, m˚uˇze být hledán´ı c´ıle v bludiˇsti t´ım, ˇze se robot bude drˇzet vˇzdy levé stˇeny. Jak m˚uˇzeme vidˇet na obrázku 3.1 v pˇr´ıpadˇe, ˇze je c´ıl um´ıstˇen na pozici, ke které se dostaneme sle- dován´ım stˇeny problém takovýto algoritmus vyˇreˇs´ı. Bude-li se nacházet c´ıl na ostr˚uvku uprostˇred bludiˇstˇe tento postup c´ıl nikdy nenajde. [5]

Jak je vidˇet z ukázky, tento postup nen´ı pouˇzitelný pro obecné ˇreˇsen´ı, jelikoˇz nen´ı moˇzné pˇri vývoji aplikace vymyslet pravidla pro kaˇzdou situaci ve které by se robot mohl ocitnout.

Obr´azek 3.1Navigace bludiˇstˇem

3.1.2 Optim´aln´ı pˇr´ıstup

Optimáln´ı pˇr´ıstup pro hledán´ı cesty vyˇzaduje mapu prostˇred´ı ve kterém se pohybuje. Tuto mapu si robot m˚uˇze sám vytvoˇrit na základˇe informac´ı ze senzor˚u, nebo dostane jiˇz vytvoˇrenou mapu prostˇred´ı, kterou nadále vylepˇsuje. Na základˇe této mapy robot m˚uˇze vyhledat optimáln´ı cestu prostˇred´ım. D´ıky tomuto pˇr´ıstupu lze nalézt lepˇs´ı ˇreˇsen´ı neˇz pomoc´ı heuristického pˇr´ıstupu.

Pˇr´ıkladem tohoto pˇr´ıstupu jsou napˇr´ıklad inteligentn´ı samoˇr´ıd´ıc´ı se vozy. Takov´eto vozy si ne- vystaˇc´ı s jednoduch´ym souborem pravidel proto mus´ı hledat lepˇs´ı metody navigace.[5]

3.1.3 Kombinace pˇr´ıstup˚ u

Optimáln´ı pˇr´ıstup sám osobˇe nem˚uˇze vˇzdy fungovat, protoˇze v nˇekterých pˇr´ıpadech by vyˇzadoval informace aktuálnˇe nedostupné. Napˇr´ıklad inteligentn´ı vozidlo nem˚uˇze zaruˇcit zda pˇredjet´ı jiného vozidla povede k optimáln´ımu ˇreˇsen´ı pokud nezná situaci, která se nacház´ı pˇred t´ımto vozidlem.

Z tohoto d˚uvodu jsou tyto dva pˇr´ıstupy kombinovány a hledán´ı cesty optimáln´ım pˇr´ıstupem, je doplnˇena heuristickými pravidly. Pˇr´ıkladem u inteligentn´ıch vozidel by mohlo být: pˇredjed’

vozidlo, pokud je bezpeˇcné tak udˇelat. Následnˇe bezpeˇcné pˇredjet´ı by bylo definováno dalˇs´ım souborem pravidel.[5]

(19)

3.2. Pr˚uzkum oblasti 9

3.2 Pr˚ uzkum oblasti

K pr˚uzkumu zadané oblasti existuj´ı dva hlavn´ı pˇr´ıstupy, které se ˇreˇs´ı v jejich sloˇzitosti na implementaci a efektivitˇe pr˚uzkumu zadané oblasti.

Náhodný pr˚uzkum oblasti poskytuje snadnou implementaci, ale nedokáˇze zaruˇcit plné pokryt´ı dané oblasti v rozumném ˇcase. Jedn´ım z triviáln´ıch pˇr´ıstup˚u jak tento problém ˇreˇsit by mohla být metoda jeˇz vyuˇz´ıvaj´ı nˇekteré robotické vysavaˇce. Zvol´ıme si náhodný smˇer a zaˇcneme se pohybovat dopˇredu. Pˇri nalezen´ı pˇrekáˇzky opˇet zvol´ıme náhodný smˇer a pokraˇcujeme dokud nenaraz´ıme na dalˇs´ı pˇrekáˇzku. Tento algoritmus je jednoduchý na implementaci, ale nen´ı efektivn´ı.

V ˇcaset−>∞projde celou oblast, ale omezen´ı dronu takov´yto pr˚uzkum nedovol´ı.[5]

3.3 Algoritmy pro navigaci k c´ıli 3.3.1 Bug algorithms

Bug algoritmy jsou jednoduché algoritmy, generuj´ıc´ı cestu k c´ıli pokud taková existuje. Jejich základn´ı princip vyhýbán´ı se pˇrekáˇzkám je zaloˇzen vytvoˇren´ı cesty na základˇe pohybu podél detekované pˇrekáˇzky. Tyto algoritmy pˇredpokládaj´ı tˇri vˇeci o robotu, který naviguj´ı:

robot je jednoduch´y bod

robot má pˇresné informace o poloze robot má pˇresné senzory

Bug1 je nejednoduˇs´ı a nejménˇe efektivn´ı algoritmus z této skupiny. Robot se rozjede smˇerem k c´ıli, pokud naraz´ı na pˇrekáˇzku, zaˇcne se pohybovat okolo pˇrekáˇzky a zároveˇn poˇc´ıtat vzdálenost jednotlivých bod˚u k c´ıli ze startovn´ıho bodu. Robot se zastav´ı na bodu kde p˚uvodnˇe narazil na pˇrekáˇzku a urˇc´ı bod s nejkratˇs´ı vzdálenost´ı k c´ıli. Následnˇe robot najde tento bod a pˇresune se na nˇej. Z tohoto bodu robot m˚uˇze opustit pˇrekáˇzku a vydat se k c´ıli.[6]

Bug2 algoritmus je sloˇzitˇejˇs´ı algoritmus neˇz Bug1 a je v´ıce efektivn´ı, jelikoˇz nevyˇzaduje zkon- trolován´ı celého obvodu pˇrekáˇzky. Robot se vydá smˇerem k c´ıli. Kdyˇz naraz´ı na pˇrekáˇzku opˇet se zaˇcne sledovat jej´ı obvod. Jakmile robot naraz´ı na bod podél obvod, který je na p˚uvodn´ı spojnici mezi startovn´ım a c´ılovým bodem, opust´ı pˇrekáˇzku a vydá se k c´ıli.[6]

Obr´azek 3.2 Bug algoritmusu

Posledn´ı algoritmus je DistBug, kter´y zde nebudeme rozeb´ırat jelikoˇz vyˇzaduje senzory, jeˇz n´aˇs dron neposkytuje.[6]

(20)

3.3.2 FGA algoritmus

FGA -Flexible Geometric Algorithm - algoritmus pˇredpokládá konstantn´ı rychlost UAV a informace o jeho pozici a rychlosti. FGA nejdˇr´ıve z´ıská informace o okol´ı UAV ze senzor˚u a rozhodne zda se v nˇem nacház´ı nˇejaké pˇrekáˇzky, které by mohly ohrozit UAV a jsou bl´ıˇz neˇz daná dˇel´ıc´ı vzdálenost. Po detekci potencionáln´ı pˇrekáˇzky jsou vytvoˇreny dva 2D výseˇce k pˇrekáˇzce, je- den v horizontáln´ı a druhý ve vertikáln´ı rovinˇe pro výpoˇcet nejsnazˇs´ıho úhybného manévru.

FGA následnˇe najde správný úhybný manévr (statická, dynamická, jedna nebo v´ıce pˇrekáˇzek) k úspˇeˇsnému vyhnut´ı se pˇrekáˇzce. Na základˇe manévru a informac´ı s n´ım spojený FGA vypoˇcte optimáln´ı ˇcasovou funkci pro zapoˇcet´ı úhybného manévru. Kdyˇz UAV dosáhne kritického ˇcasu k proveden´ı vyhnut´ı se, FGA spust´ı manévr a umoˇzn´ı UAV pohyb mimo cestu k c´ıli dokud nen´ı dosaˇzena bezpeˇcná vzdálenost od pˇrekáˇzky. Následnˇe se UAV opˇet vrát´ı na bod p˚uvodn´ı cesty k c´ıli.

Obr´azek 3.3FGA algoritmus

Aktivace úhybného manévru pˇri bl´ızké vzdálenosti k pˇrekáˇzce spolu s návratem UAV na p˚uvodn´ı dráhu drasticky sniˇzuje dráhu, která je tˇreba pˇrepoˇc´ıtat pˇri pouˇzit´ı path-planning algoritm˚u a t´ım sniˇzuje výpoˇcetn´ı dobu oproti napˇr´ıklad v˚uˇci metodˇe optimáln´ı cesty, která vˇetˇsinou vyˇzaduje pˇrepoˇc´ıtán´ı celou cestu k c´ıli.[7]

(21)

3.4. Zpracov´an´ı obrazu 11

3.3.3 Navigace dle mapy

Pˇredchoz´ı algoritmy se nestaraj´ı o plánován´ı cesty k vyhnut´ı se pˇrekáˇzkám na které robot naraz´ı.

Existuj´ı metody plánován´ı, které maj´ı za úkol plánovat cesty pro vyhnut´ı se statickým pˇrekáˇzkám za pomoc´ı mapy prostˇred´ı.

3.3.3.1 Tvorba mapy

Pro vytvoˇren´ı mapy prostˇred´ı potˇrebuje robot moˇznost mˇeˇrit vzdálenost od pˇrekáˇzek. Robot zaˇcne procházet zadanou oblast a z´ıskávat údaje ze svých senzor˚u o svém okol´ı. Na základˇe

údaj˚u o prostˇred´ı a svoj´ı poloze se následnˇe vytvoˇr´ı mapa prostˇred´ı. Tato mapa bude ovˇsem nepˇresná, jelikoˇz nedokáˇzeme zaruˇcit neomylné údaje o pozici robota. Pro vytvoˇren´ı správné mapy z takovýchto údaj˚u se pouˇz´ıvá metoda SLAM[slam].

Úˇcelem této metody porovnáván´ı jednotlivých mˇeˇren´ı identifikaci jejich spoleˇcných prvk˚u.

Algoritmus je takto schopen eliminovat chyby pohybov´e senzoru a vytvoˇrit korektn´ımapu dan´eho prostˇred´ı.

3.3.3.2 Algoritmy pro navigaci dle mapy

Pro navigaci robota na základˇe vytvoˇrené mapy se pouˇz´ıvaj´ı algoritmy pracuj´ıc´ı na základˇe hledán´ı cesty v grafu. Nejznámˇejˇs´ı takovéto algoritmy jsou A*[8], RRT[8] a RRT*[9].

Hlavn´ı myˇslenka algoritmy RRT je náhodné pˇridáván´ı bod˚u v prostoru do grafu pomoc´ı kterého následnˇe hledáme cestu k c´ıli. Nový bod vˇzdy pˇripoj´ıme jako vˇetev jiˇz k existuj´ıc´ımu grafu v nejbliˇzˇs´ım bodˇe.

Algoritmus RRT* je rozˇs´ıˇren´ım tohoto algoritmu. Rozd´ıl mezi tˇemito dvˇema je v technice pˇripojován´ı nových bod˚u k existuj´ıc´ımu grafu. Algoritmus pˇri pˇripojován´ı nového vrcholu pro- zkoumá jeho oblast a v rámci n´ı bod pˇripoj´ı tak, aby nová cesta v nˇem vzniklá byla co nejkratˇs´ı.

D´ıky tomuto faktoru se se zvˇetˇsov´an´ım poˇctu vrchol˚u v grafu optimalizuje cesta k c´ıli.

3.4 Zpracov´an´ı obrazu

Zpracován´ı obrazu se v dneˇsn´ı dobˇe stává ned´ılnou souˇcást´ı autonomn´ıch robot˚u. Z´ıskán´ı informac´ı z obrazu kamer je nutné pro správné urˇcen´ı prostˇred´ı robota a jeho navigaci.

Existuje mnoho metod pro zpracován´ı obrazu k nalezen´ı informac´ı. V komplexn´ıch systémech, jako chytrá auta, se pouˇz´ıvaj´ı neuronové s´ıtˇe k analýze okol´ı. Tyto metody se pouˇz´ıvaj´ı vzhledem k moˇznostem vytrénovat si neuronové s´ıtˇe na specifické potˇreby, které robot vyˇzaduje, s n´ızkou chybovost´ı pˇri detekci. Tyto metody jsou ovˇsem velice nároˇcné na výpoˇcetn´ı s´ılu pro jejich aplikaci. Z tohoto d˚uvodu je nelze pouˇz´ıt ve vˇsech situac´ı.

3.4.1 Detekce hran

Detekce hran (edge detection) je jedna z nezákladnˇejˇs´ıch metod zpracován´ı obrazu. Tato metoda zvýrazˇnuje hrany mezi dvˇema oblastmi s r˚uznými hodnoty jasu, lze j´ı napˇr´ıklad pouˇz´ıt pro identifikaci popˇred´ı a pozad´ı obrazu. Tato metoda se pouˇz´ıvá jako základn´ı krok pro dalˇs´ı metody zpracován´ı obrazy, jako napˇr´ıklad: image segmentation, shape features ˇci texture features. [10]

3.4.1.1 R-CNN

C´ılem R-CNN k detekci objekt˚u je sn´ıˇzit poˇcet moˇzných kandidát˚u pro výskyt objekt˚u v obraze nezávisle na ostatn´ıch takovýchto oblastech. Na R-CNN stav´ı dalˇs´ı neuronové s´ıtˇe jako tˇreba Faster R-CNN pro sn´ıˇzen´ı ˇcasu nutného k detekci objekt˚u.R-CNN samostatnˇe jiˇz nen´ı pˇr´ıliˇs pouˇz´ıvána z d˚uvodu pomalého trénován´ı model˚u a zpracován´ı obrazu.[11]

(22)

3.4.1.2 Faster R-CNN

Faster R-CNN se skládá ze dvou hlavn´ı ˇcásti, RPN (region proposal network) a Fast R-CNN.

RPN je s´ıt’ jeˇz navrhuje moˇzné oblasti výskytu objekt˚u. Fast R-CNN vycház´ı z R-CNN a jej´ım

´uˇcelem je identifikace objekt˚u v navrhovan´ych oblast´ı. [11]

Pro zrychlen´ı výpoˇctu Faster R-CNN umoˇzˇnuje sd´ılen´ı informac´ı mezi jej´ımi dvˇema ˇcástmi pro zrychlen´ı výpoˇctu. Výstupem této s´ıtˇe jsou informace o oblastech, které obsahuj´ı detekované objekty a popisky pro jejich identifikaci.[11]

3.4.1.3 Mask R-CNN

Mask R-CNN vyuˇz´ıvá stejnou dvou fázovou strukturu s prvn´ı identickou fáz´ı, RPN. Ve druhé fázi bˇeˇz´ı paralelnˇe dva procesy, Fast R-CNN k identifikace objekt˚u a Mask R-CNN pro nalezen´ı masek výskytu jednotlivých objekt˚u. [11]

(23)

Kapitola 4

N´avrh

Naˇs´ım úkolem je implementovat aplikaci, která bude vyhledávat pozemn´ı znaˇcky a vyhýbat se pˇrekáˇzkám. Implementaci lze rozdˇelit na tˇri logické celky.

1. zpracov´an´ı obrazu

2. vyhledán´ı cesty pro pr˚uzkum zadané oblasti 3. navigace k jednotlivým bod˚um pr˚uzkumu

4.1 Zpracov´an´ı obrazu

Aplikace bude zpracovávat obraz ze dvou kamer, horizontáln´ı a vertikáln´ı. Obraz z tˇechto kamer mus´ı být zpracován pro potˇrebné informace k navigaci dronu.

Obraz z horizontáln´ı kamery je tˇreba zpracovat pro nalezen´ı pˇredem známého typu objektu/c´ıle. Z tohoto d˚uvodu nemus´ıme pro zpracován´ı obrazu pouˇz´ıt hluboké neuronové s´ıtˇe, ale vystaˇc´ıme si s funkcemi poskytuj´ıc´ı napˇr´ıklad knihovny OpenCV[12].

Záznam vertikáln´ı kamery na druhou stranu poskytuje obraz na kterém se budou vyskytovat objekty o jejichˇz typu nemáme ˇzádné informace. Z tohoto d˚uvodu je tˇreba pro jejich zpracován´ı vyuˇz´ıt hluboké neuronové s´ıtˇe. Tyto s´ıtˇe by se dali pouˇz´ıt i pro zpracován´ı horizontáln´ı kamery, ale z d˚uvodu vysoké výpoˇcetn´ı s´ıly pro jejich pouˇzit´ı zvol´ıme jednoduˇs´ı prostˇredky pro detekci pozemn´ıch c´ıl˚u.

4.1.1 Detekce pozemn´ıch c´ıl˚ u

D´ıky jednoduchosti vyhledávaných c´ıl˚u lze pro jejich detekci vyuˇz´ıt jednoduˇsˇs´ıch princip˚u zpra- cován´ı obrazu, a nen´ı nutno obraz zpracovávat pomoc´ı neuronových s´ıt´ı.

Pro správné proveden´ı detekce hran, mus´ıme sn´ımek pˇrevézt do grayscale, následnˇe rozmazat obrázek pomoc´ı Gaussovského filtru a pouˇz´ıt Canny operátor pro samotnou detekci hran.

Následnˇe mus´ıme naj´ıt zp˚usob, kterým pˇrevedeme tyto hrany do datové formy ve které budeme schopni detekovat tvary hran a rozhodnou, zda se jedná o námi hledaný c´ıl.

Jelikoˇz známe reálnou velikost tˇechto c´ıl˚u m˚uˇzeme pomˇernˇe pˇresnˇe odhadnout jejich vzdálenost od dronu pomoc´ı pˇreveden´ı pixel˚u na reálnou vzdálenost, d´ıky znalosti velikosti reálných c´ıl˚u.

13

(24)

14 Kapitola 4. N´avrh

4.1.2 Detekce pˇrek´aˇzek

Pro zpracován´ı sn´ımk˚u z kamery je pouˇzita hluboká neuronová s´ıt’ Detectron2. Kv˚uli vysoké výpoˇcetn´ı sloˇzitosti je tato ˇcást aplikace nasazena na serveru speciálnˇe vybaveném ke zpracován´ı obrazu.

Aplikace na obsluhu vertikáln´ı kamery pˇredá sn´ımek aplikaci, která komunikuje se serverem pˇres otevˇrený socket na specifickém portu. Server po pˇrijet´ı celého obrázku aplikuje obrázek jako vstup neuronové s´ıtˇe a výsledné informace o ˇctvercových obrysech objekt˚u na obrazu odeˇsle zpˇet dronu pro zpracován´ı.

4.2 Pr˚ uzkum oblasti

Pro zajiˇstˇen´ı detekce vˇsech c´ıl˚u na zadaném územ´ı mus´ıme zvolit algoritmus, který bude schopný pokrýt celou oblast. Jelikoˇz dron má relativnˇe krátkou výdrˇz baterie (8 minut), nelze se spoléhat na naivn´ı náhodné ˇreˇsen´ı.

Pro nalezen´ı cesty pro optimáln´ı pokryt´ı nejdˇr´ıve mus´ıme zjistit orientaˇcn´ı zábˇer horizontáln´ı kamery. Pˇri poˇc´ıtán´ı optimáln´ıho pokryt´ı cesty mus´ıme poˇc´ıtat s menˇs´ım zábˇerem neˇz kamera má. D˚uvodem je moˇznost výskytu c´ıl˚u na hranici zábˇeru jenˇz náˇs algoritmus nedetekuje. Nˇekteré oblasti tud´ıˇz budou pokryty dvakrát pro zaruˇcen´ı spolehlivé detekce vˇsech c´ıl˚u.[13]

(25)

4.3. Navigace 15

4.3 Navigace 4.3.1 Anal´yza

Pro navrˇzen´ı správné metody pro navigaci dronu k zadanému c´ıli mus´ıme správnˇe porozumˇet omezen´ım vyplývaj´ıc´ı z hardwarového vybaven´ı modelu dronu se kterým pracujeme. Z popisu dronu v kapitole 2 známe senzory, kterými je dron vybaven a jaká data z nich m˚uˇzeme z´ıskat.

Pro z´ıskán´ı informac´ı o prostˇred´ı ve kterém se dron vyskytuje lze pouˇz´ıt ultrazvukový senzor pro zjiˇstˇen´ı vzdálenosti od zemˇe, horizontáln´ı a vertikáln´ı kameru. Ani jedna z tˇechto moˇznost´ı nám neumoˇzˇnuje z´ıskat informace o vzdálenosti pˇrekáˇzek od dronu. Z tohoto d˚uvodu naˇse aplikace nem˚uˇze vytváˇret mapu prostˇred´ı, podle které by byla schopná navigovat dron k c´ıli.

Dron tedy nem˚uˇze pˇredem plánovat bezkolizn´ı let a mus´ı reagovat na pˇrekáˇzky po jejich detekci pˇredn´ı kamerou. Ze stejného d˚uvodu, z nˇehoˇz nem˚uˇzeme plánovat cestu, dron nem˚uˇzeme vyuˇz´ıvat ani algoritmus FGA k plánován´ı úhybných manévr˚u, jelikoˇz nem˚uˇze vypoˇc´ıtat optimáln´ı dobu pro vyhnut´ı se.

4.3.2 Reˇsen´ı ˇ

Jelikoˇz dron nem˚uˇze detekovat vzdálenost k pˇrekáˇzce mus´ıme pˇredpokládat, ˇze se pˇrekáˇzka m˚uˇze vyskytovat kdekoliv v daném smˇeru detekovaného objektu jak je vidno z obrázky 4.1. Z tohoto d˚uvodu bereme celý tento prostor jako pˇrekáˇzku.

Jakmile dron takovouto pˇrekáˇzku detekuje vypoˇc´ıtá si levnˇejˇs´ı úhybný manévr. To je takový manévr, který vyˇzaduje nejmenˇs´ı úhyb z p˚uvodn´ı kurzu k c´ıli. T´ımto novým smˇerem dron po- kraˇcuje zadanou dobu. Po dokonˇcen´ı tohoto manévru se dron otoˇc´ı tak, aby jeho nová dráha letu byla rovnobˇeˇzná s jeho p˚uvodn´ı dráhou pˇred zahájen´ım úhybu. Po této dráze pokraˇcuje dokud se jeho vzdálenost k c´ıli zmenˇsuje, nebo nenaraz´ı na novou pˇrekáˇzku. Jakmile se vzdálenost od c´ıle zaˇcne vzdalovat dron se otoˇc´ı k c´ıli a pokraˇcuje dokud se k nˇemu nedostane k dostateˇcné vzdálenosti.

Obrázek 4.1 Diagram výhybu pˇrekáˇzce

(26)

4.3.3 Omezen´ı ˇreˇsen´ı

Postup pro navigaci dronu nen´ı dokonalý a existuj´ı situace, ve kterých se nedokáˇze dostat k c´ıli i pˇresto, ˇze cesta k nˇemu existuje. Napˇr´ıklad na obrázku 4.2 lze vidˇet dvˇe situace ve kterých dron nenajde cestu k c´ıli.

Obr´azek 4.2Omezen´ı navigace dronu

Toto omezen´ı vyplývá z nemoˇznosti detekovat vzdálenost k pˇrekáˇzce. Tato situace by nebyla vyˇreˇsena ani pˇri vytváˇren´ı mapy okol´ı, jelikoˇz dron by detekoval pˇrekáˇzku ve vˇsech moˇzných

úhlech sn´ımán´ı a tud´ıˇz by detekoval c´ıl jako nepˇr´ıstupný.

Naˇse ˇreˇsen´ı ovˇsem tuto situaci neoznaˇc´ı jako nepˇr´ıstupn´y c´ıl, ale bude se k nˇemu neust´ale pokouˇset pˇribl´ıˇzit.

(27)

4.4. Aplikace 17

4.4 Aplikace

4.4.1 Struktura aplikace

TCP Server

Camera Vision

Navigation Drone

Ground Cam Vision

Obr´azek 4.3 Diagram

Z diagramu jde vidˇet, ˇze aplikace je rozdˇelena na 5 z´akladn´ıch modul˚u:

Syst´em pro navigaci dronu

Ovládán´ı pohybu dronu a z´ıskáván´ı dat ze senzor˚u Obsluha vertikáln´ı kamery

Obsluha horizontáln´ı kamery a zpracován´ı jej´ıho obrazu Zpracován´ı obrazu z vertikáln´ı kamery

Tyto moduly jsou vytvoˇrené jako samostatné ˇcásti programu a v pˇr´ıpadˇe potˇreby je pˇri dodrˇzen´ıdefinovaného rozhran´ımoˇzno je úplnˇe nahradit. Aplikace je tvoˇrena modulárnˇe pˇredevˇs´ım pro potˇreby vymˇenˇen´ı modul˚u pro zpracován´ı obrazu z kamer, jeˇz kaˇzdý bˇeˇz´ı na separátn´ım vláknˇe pro snadné periodické z´ıskáván´ı sn´ımk˚u z kamer.

4.4.2 Drone modul

Tento modul slouˇz´ı pˇredevˇs´ım jako wrapper nad knihovnou Pyparrot pro usnadnˇen´ı ovládán´ı dronu a zpracován´ı potˇrebných dat ze senzor˚u. Tˇr´ıda Drone inicializuje Mambo objekt, zkontroluje správné pˇripojen´ı a provede potˇrebná nastaven´ı pro správné fungován´ı dronu. Hlavn´ım

(28)

úˇcelem tohoto obalu je zaruˇcen´ı správné volán´ı funkc´ıch s dostateˇcným ˇcasem pro jejich proveden´ı.

4.4.3 Navigaˇcn´ı syst´em

Tento modul má za úˇcel vypoˇc´ıtat body pro optimáln´ı pr˚uzkum zadané oblasti na základˇe za- daného zábˇeru spodn´ı kamery. Zároveˇn z´ıskává informace o pozemn´ıch c´ılech z ˇcásti aplikace Ground Cam Vision a filtruje je pro vylouˇcen´ı faleˇsných c´ıl˚u. Faleˇsný c´ıl je takový, který je v bezprostˇredn´ı bl´ızkosti jiného c´ıle, který je jiˇz detekován. Vznik faleˇsných c´ıl˚u je zp˚usoben nedokonalými senzory sn´ımaj´ıc´ı polohu dronu.

4.4.4 Obsluha horizont´aln´ı kamery a zpracov´an´ı jej´ıho ob- razu

Tento modul slouˇz´ı k automatickému periodickému poˇrizován´ı sn´ımk˚u z horizontáln´ı kamery, jeho zpracován´ı a pˇreposlán´ı informac´ı z´ıskaných z obrazu dalˇs´ım ˇcást´ı aplikace.

Pyparrot knihovna poskytuje pouze funkci pro poˇr´ızen´ı obrázku, z´ıskán´ı názvu sn´ımk˚u, staˇzen´ı obrázku z dronu a jeho smazán´ı. Zásadn´ı problém horizontáln´ı kamery je prodleva mezi poˇr´ızen´ım sn´ımku a jeho uloˇzen´ı v pamˇeti dronu (1.5-2.5s). Z tohoto d˚uvodu mus´ıme vˇzdy pˇri poˇr´ızen´ı fotky uloˇzit aktuáln´ı pozici dronu pro zpˇetné vypoˇc´ıtán´ı pˇresné polohy pˇr´ıpadného c´ıle na obrázku.

Pro zpracován´ı obrazu z horizontáln´ı kamery jsou vyuˇzity základn´ı metody edge detection pomoc´ı canny operátoru[10]. Pro odstranˇen´ı ˇsumu z obrazu je pouˇzit mediánový filtr. Poté na sn´ımku najdeme kruhy a d´ıky fixn´ı velikosti c´ıle známe od uˇzivatele, pomoc´ı pixel-per-metric metody, z´ıskáme vzdálenost c´ıle od dronu.

4.4.5 Obsluha vertik´aln´ı kamery

Obsluha vertikáln´ı kamery je pˇr´ımo zabudovaná v Pyparrot knihovnˇe. Po základn´ı incializaci dronu staˇc´ı vytvoˇrit objekt spravuj´ıc´ı kameru a nastavit pˇr´ısluˇsnou callback funkci, které bude zavolána pˇri poˇr´ızen´ı kaˇzdého nového sn´ımku kamery. Uvnitˇr callback funkce následnˇe z´ıskáme posledn´ı validn´ı sn´ımek a ten následnˇe m˚uˇzeme uloˇzit/pˇredat ke zpracován´ı.

Tento modul slouˇz´ı jako obal pro vlákno pro obsluhu kamery. Kaˇzdý poˇr´ızený sn´ımek je odeslán na server pˇrizp˚usobený pro zpracován´ı obrazu. Server poˇsle zpˇet rámce nalezených objekt˚u a modul je nadále pˇrepoˇsle dalˇs´ım ˇcást´ı aplikace pro zpracován´ı jiˇz z´ıskaných dat.

4.4.6 Zpracov´an´ı obrazu z vertik´aln´ı kamery

K detekci jednotlivých objekt˚u je pouˇzita s´ıt’ Detectron2[14], která se zakládá na Mask R-CNN.

Zpracován´ı pomoc´ı neuronových s´ıt´ı je vysoce nároˇcné na výpoˇcetn´ı s´ılu. Z tohoto d˚uvodu tato ˇcást aplikace pobˇeˇz´ı na specializovaném serveru, uzp˚usobenému ke zpracován´ı obrazu.

(29)

Kapitola 5

Implementace

5.1 Dron

5.1.1 Pˇripojen´ı dronu

Dron Parrot Mambo nab´ız´ı pˇripojen´ı pˇres Wi-fi a pˇres bluetooth. Jelikoˇz pˇripojen´ı pˇres bluetooth neposkytuje dostateˇcnˇe rychlé stahován´ı obrázk˚u z dronu pouˇzijeme v naˇs´ı aplikaci Wi-Fi pro pˇripojen´ı k dronu. Pˇripojen´ı k dronu obstarává tˇr´ıda Mambo, která dˇed´ı z tˇr´ıdy Minidrone správnou komunikaci aplikace s dronem.

V´ypis k´odu 5.1 Pˇripojen´ı se k dronu m a m b o A d d r =" 1 2 : 3 4 : 5 6 : AB : CD : EF "

m a m b o = M a m b o ( a d d r e s s = m a m b o A d d r , u s e _ w i f i = T r u e ) s u c c e s s = m a m b o . c o n n e c t ( n u m _ r e t r i e s =3)

Objekt jde inicializovat dvˇema parametry, address a use wifi. Parametr address poskytuje MAC adresu pro pˇripojen´ı dronu pomoc´ı bluetooth. Druhý parametruse wifi specifikuje zda se má aplikace pˇripojit k dronu pomoc´ı Wi-Fi nebo bluetooth. Pˇripojen´ı pˇres Wi-Fi funguje pouze pokud je ke dronu pˇripojena FPV kamera a poˇc´ıtaˇc je pˇripojen k s´ıti dronu (název s´ıtˇe odpov´ıdá názvu Mamboˇc´ıslo dronu). Promnˇená sucess udává zda pˇripojen´ı k dronu probˇehlo úspˇeˇsnˇe a je moˇzné pokraˇcovat v programu.

V ukázce kódu 5.1 je pˇredána objektu ,Mambo, pˇri jeho inicializaci, MAC adresa dronu. Tato adresa je nutná pouze pˇri pˇripojován´ı se k dronu pˇres bluetooth.

5.1.2 Zásady ovládán´ı 5.1.3 Senzory

Objekt Mambo obsahuje instanci tˇr´ıdy MinidroneSensors, která obsahuje zpracován´ı dat do- stupných ze senzor˚u, provád´ı dodateˇcné výpoˇcty a volá callback funkci pˇri obnoven´ı dat ze senzor˚u, je-li specifikovaná uˇzivatelem.

V souboru commandsandsensors/minidrone.xml v knihovnˇe Pyparrot lze naj´ıt informace o senzorech, a jaká data odes´ılaj´ı. V tˇr´ıdˇe MinidroneSensorsje malá ˇcást dat ukládaná v sa- mostatných ˇclenských promˇenných. Zbytek nespecifikovaných údaj˚u je zachycen v promˇenné sensors_dict, kde lze z´ıskat pˇr´ısluˇsná data dle adresace jejich jména.

19

(30)

20 Kapitola 5. Implementace

Aplikace pracuje pˇredevˇs´ım s ´udaji o poloze a rotaci dronu, pro urˇcen´ı dalˇs´ıho pohybu dronu.

Dron umoˇzˇnuje z´ısk´an´ı informac´ı o souˇradnic´ıch dronu v˚uˇci bodu vzletu, spolu s rotac´ı dronu a timestamp, ˚udajem o ubˇehnut´em ˇcasu od posledn´ıho pˇrijmut´ı dat.

5.1.4 Pozice dronu

Dron odes´ılá ˇradu informac´ıze svých senzor˚u. Jejich celý seznam lze vyˇc´ıst ze souboruminidrone.xml v Pyparrot knihovnˇe. Nejd˚uleˇzitˇejˇs´ı informac´ı, kterou potˇrebujeme o dronu znát je informace o jeho pohybu ˇci jeho pˇresnou polohu. Tyto informace poskytuje poloˇzkaNavigationDataState ve výˇse zm´ınˇeném souboru.

1. DronePosition 2. DroneSpeed 3. DroneAltitude 4. DroneQuaternion

Nejd˚uleˇzitˇejˇs´ı poloˇzkou pro n´as budeDronePosition. Senzory t´eto kategorie poskytuj´ı informace o pozici dronu a jeho rotaci vzhledem k bodu startu (nikoli bodu kde byl dron zapnut).

Pˇri bˇehu programu dron poskytuje informace o poloze dronu. Senzory by mˇeli vracet i hodnotu rotace dronu v˚uˇci startovn´ı pozici, senzor bohuˇzel vrac´ı nulovou hodnotu. Informace o rotaci dronu dokáˇzeme nahradit d´ıky senzor˚um zDroneQuaternion. Knihovna Pyparrot sama obsahuje funkci get_estimated_z_orientation, která na základˇe údaj˚u z jiných senzor˚u vrac´ı odhado- vanou rotaci dronu. Hlavn´ım problémem nefunkˇcnosti tohoto senzoru pˇredstavuje orientace dat o pozici dronu. Kv˚uli nedostupné informaci o orientaci dronu pˇri vzletu, jsou data o pozici dronu orientována vzhledem k zapnut´ı dronu. Z tohoto d˚uvodu mus´ı být dron zap´ınán jiˇz správnˇe orientován pro správnou funkˇcnost aplikace.

5.1.5 Pohyb dronu

Jelikoˇz detekce pˇrekáˇzek dronu je moˇzná jen pomoc´ı FPV kamery, sn´ımaj´ıc´ı okol´ı pˇred dronem, pohyb dronu mus´ıbýt vˇzdy dopˇredu. Kdyˇz budeme pohybovat s dronem do jiné strany s vzhledem k jeho aktuáln´ı rotaci, riskujeme sráˇzku s pˇrekáˇzkou, jeˇz jsme nedetekovali.

Omezen´ı pohybu pouze dopˇredu n´am sniˇzuje poˇcet parametr˚u ovlivˇnuj´ıc´ı rychlost a d´elku tohoto pohybu.

parametrpitchve funkcifly_direct parametrdurationve funkcifly_direct hodnota maxim´aln´ıho n´aklonu dronu

Tyto tˇri parametry maj´ı hlavn´ı vliv na charakteristiku pohybu. Parametr pitch je pro- centuáln´ı hodnota maximáln´ıho dronu. Tato hodnota ovlivˇnuje rychlost, kterou se dron vydá. Pa- rametrdurationovlivˇnuje dobu po kterou je pˇr´ıkaz k letu opakován, tedy pˇr´ımo ovlivˇnuje délku tohoto pohybu. Velikost maximáln´ıho náklonu dronu je nastavena pomoc´ı funkceset_max_tilt. Tato hodnota spolu s parametrypitcharoll ovlivˇnuje rychlost pohybu dronu.

Tyto tˇri parametry dohromady ovlivˇnuj´ı pohyb dronu dopˇredu a jejich správná konfigurace je potˇrebná pro správné fungován´ı aplikace.

(31)

5.1. Dron 21

5.1.6 Vyhnut´ı se pˇrek´aˇzce

Navigace k c´ıli je implementov´ana ve tˇr´ıde Drone pomoc´ı funkci moveTo. Za pomoc´ı tˇr´ı po- mocn´ych funkc´ı:calculateDistance,turnadecideManouvertato funkce naviguje dron k c´ıli.

FunkcecalculateDistance vypoˇc´ıtá Euklidovskou vzdálenost mezi aktuáln´ı pozic´ı dronu a c´ılem.

5.1.6.1 Funkce turn

Tato funkce implementuje otoˇcen´ı dronu na zadaný c´ıl ˇci na zadaný úhel ve virtuáln´ı mˇr´ıˇzce v˚uˇci dronu. K implementaci otoˇcen´ı nen´ı vyuˇzita funkcefly_direct, jelikoˇz parametr udávaj´ıc´ı otoˇcen´ı je zadáván jako procentuáln´ı zrychlen´ı rotace dronu, nikoli pˇresný poˇcet stupˇn˚u k otoˇcen´ı.

M´ısto toho je uˇzita funkce knihovny turn_degrees, která bere jako parametr úhel v intervalu h−180,180io který se má otoˇcit.

V pˇr´ıpadˇe zadán´ı úhlu na který se má dron otoˇcit, staˇc´ı spoˇc´ıtat rozd´ıl úhlu mezi osou x dronu a úhlem k otoˇcen´ı. Následnˇe staˇc´ı jednoduˇse ovˇeˇrit zda je úhel v intervalu h−180,180i. Pokud nen´ı pˇrevedeme úhel do poˇzadovaného intervalu a m˚uˇzeme zavolat funkciturn_degrees. V pˇr´ıpadˇe otáˇcen´ı se na zadaný úhel nedocház´ı k nepˇresnostem výpoˇctu, jelikoˇz pracujeme s úhly jako celými ˇc´ısly a docház´ı pouze k jejich sˇc´ıtán´ı a odˇc´ıtán´ı.

Pˇri otáˇcen´ı dronu na c´ıl mus´ıme vypoˇc´ıtat úhel k c´ıli bud’to pomoc´ı Sinovy, Cosinovy nebo Pythagorovy vˇety, tud´ıˇz m˚uˇze docházet k nepˇresnostem ve výpoˇctu, které se mus´ıme snaˇzit minimalizovat.

Nejdˇr´ıve vypoˇc´ıtáme úhel, který sv´ırá osa x a pozice dronu s c´ılem. Poté vypoˇc´ıtáme rozd´ıl mezi t´ımto úhlem a úhlem natoˇcen´ı dronu a na závˇer ovˇeˇr´ıme zda se výsledný úhel k otoˇcen´ı nacház´ı v intervaluh−180,180i.

Pro výpoˇcet úhlu α na obrázku si vytvoˇr´ıme trojúheln´ık jehoˇz vrcholy jsou C, P a P+10 (bod se souˇradnicemi [Px+ 10, Py]). Úhelαpoté vypoˇc´ıtáme pomoc´ı Cosinovy vˇety a následnˇe pˇrevedeme úhel otoˇcen´ı tak aby spadal do intervaluh−180,180i.

5.1.6.2 Funkce decideManouver

Úˇcelem této funkce je analyzovat informace o detekovaných pˇrekáˇzkách a urˇcit dalˇs´ıpohyb dronu.

Naˇse metoda navigace dronu vycház´ı z algoritm˚u FGA a BUG. Algoritmus FGA provád´ı úhybné manévry na dvou rovinách, horizontáln´ı a vertikáln´ı. Z d˚uvodu fixn´ıho nastaven´ı zábˇeru spodn´ı kamery pro detekci optimáln´ı cesty pro prozkoumán´ı zadané oblasti, nelze mˇenit výˇsku letu dronu, tud´ıˇz úhybné manévry budou provádˇeny pouze v horizontáln´ı rovinˇe, nikoliv vertikáln´ı.

Ke spoˇc´ıtán´ı manévru funkce vyuˇz´ıvá informace o bounding box detekovaných objekt˚u. De- tekce je provedena pomoc´ı Mask R-CNN, která poskytuje pˇr´ımo masku objektu. Kv˚uli nasazen´ı zpracován´ı obrazu na serveru, pouˇz´ıváme pouze boundig box nikoliv masku objektu, jelikoˇz je tato informace mnohem snazˇs´ı na odeslán´ı ze serveru a pˇrijet´ı.

Na základˇe tˇechto informac´ı funkcedecideManouver zjist´ı zda se nˇejaký objekt vyskytuje v dráze dronu a pˇr´ıpadnˇe zjist´ı, která strana pˇri vyhýbán´ı se objektu, který blokuje cestu, zp˚usob´ı menˇs´ı vychýlen´ı z p˚uvodn´ı dráhy.

Je nutno brát v potaz, ˇze objekty se mohou pˇrekrývat a pˇri poˇc´ıtán´ı menˇs´ı výchylky se mus´ı brát v potaz vˇsechny objekty, nejen objekt blokuj´ıc´ı cestu.

(32)

5.1.6.3 Funkce moveTo

Dron se otoˇc´ı na c´ıltargetspecifikovaný parametrem funkce za pouˇzit´ı funkceturn. Toto otoˇcen´ı je provedeno na m´ıstˇe, nen´ı kombinováno s jiným pohybem dronu. Následnˇe se zaˇcne pohybovat k c´ıli.

Pokud má dron informace o pˇrekáˇzkách detekovaných FPV kamerou, zjist´ı zda mu nˇejaká pˇrekáˇz´ı v cestˇe dopˇredu. Pokud má volnou cestu pokraˇcuje v pohybu dopˇredu dokud se nedostane k dostateˇcné vzdálenosti od c´ıle. V pˇr´ıpadˇe detekce pˇrekáˇzky pˇred dronem, funkce decideManouver zjist´ı, do jaké strany by se mˇel vyhnout a vrát´ı pˇr´ısluˇsnou hodnotu pohybu pro funkcifly_direct. Smˇer vyhnut´ı se bere jako nejlevnˇejˇs´ı manévr, tedy manévr pˇri kterém dojde k otoˇcen´ı o nejmenˇs´ı moˇzný úhel.

Úhybný manévr je provádˇen po dobu dvou sekund pro zajiˇstˇen´ı pr˚uletu dronu od potenciáln´ı pˇrekáˇzky. Po skonˇcen´ı úhybného manévru, dron zmˇen´ı svoj´ı rotaci takovým zp˚usobem, ˇze nová dráha je rovnobˇeˇzná s pˇr´ımou dráhou mezi startovn´ım bodem a c´ılem. Pokud dron naraz´ı na dalˇs´ı pˇrekáˇzku provede vyhnut´ı obdobným zp˚usbem.

Jakmile se dron zaˇcne vzdalovat od svého c´ıle aniˇz by zrovna provádˇel úhybný manévr, otoˇc´ı se zpˇet na c´ıl pomoc´ı funkceturn.

V´ypis k´odu 5.2 Navigace dronu k c´ıli def m o v e T o ( self , t a r g e t ):

roll , pitch , yaw , v e r t i c a l = 0 , 20 , 0 , 0 t a r g e t A n g l e = s e l f . t u r n ( t a r g e t = t a r g e t ) mTs = 0

d = con . c a l c u l a t e D i s t a n c e ( target , s e l f . m _ p o s i t i o n . g e t P o s i t i o n ()) w h i l e 0.3 < d :

d = con . c a l c u l a t e D i s t a n c e ( target ,

s e l f . m _ p o s i t i o n . g e t P o s i t i o n ()) v e r t i c a l , yaw = s e l f . m a k e M a n o u v e r ()

if v e r t i c a l + yaw != 0:

s e l f . a v o i d i n g = T r u e e l s e:

s e l f . a v o i d i n g = F a l s e

if s e l f . l a s t D i s t a n c e < d and s e l f . a v o i d i n g == F a l s e : s e l f . t u r n ( t a r g e t )

s e l f . l a s t D i s t a n c e = d if s e l f . a v o i d i n g == F a l s e :

if 2 < t i m e . t i m e () - mTs : s e l f . t u r n ( t a r g e t A n g l e ) mTs = t i m e . t i m e ()

s e l f . m _ d r o n e . f l y _ d i r e c t ( roll , pitch , yaw , v e r t i c a l , 0 . 5 ) s e l f . m _ d r o n e . s m a r t _ s l e e p (1)

(33)

5.2. Navigace 23

5.2 Navigace

Pro nalezen´ı optimáln´ı cesty pro pr˚uzkum zadané oblasti mus´ıme vz´ıt v potaz ˇs´ıˇrku zábˇeru spodn´ı kamery. Pro správné urˇcen´ı této cesty si mus´ıme ovˇsem uvˇedomit rozd´ıl mezi skuteˇcným zábˇerem kamery a zábˇerem kamery, ve kterém jsme schopn´ı detekovat pozemn´ı c´ıle.

Jelikoˇz je detekce pozemn´ıch c´ıl˚u provádˇena pomoc´ı knihovny OpenCV[12] a nikoliv neuro- nových s´ıt´ı, nedokáˇzeme detekovat ˇcásti c´ıl˚u, které se mohou vyskytovat na hranách sn´ımk˚u kamer. Pˇrekrýván´ı zábˇeru je také nutné vzhledem k nedokonalému letu dronu. Nem˚uˇzeme spoléhat na rovný pohyb dronu, jelikoˇz m˚uˇze docházet k nepˇresnostem napˇr´ıklad pˇri otáˇcen´ı.

Z pˇrekrýván´ı zábˇeru kamer ovˇsem vzniká problém duplicitn´ı detekce c´ıl˚u. Z tohoto d˚uvodu je tˇreba filtrovat c´ıle a urˇcit nˇejakou mezn´ı vzdálenost mez´ı c´ıli, pˇri které se dva c´ıle budou povaˇzovat za totoˇzné.

5.2.1 Hled´an´ı cesty

Hledán´ı cesty v zadané oblasti funguje na principu jej´ıho rozdˇelen´ı do mˇr´ıˇzky. Oblast rozdˇel´ım do mˇr´ıˇzky, kde je jedna dlaˇzdice této mˇr´ıˇzky rovna velikosti efektivn´ıho zábˇeru kamery. Z´ıskáme si stˇredy jednotlivých dlaˇzdic a rozdˇel´ıme si je dle sloupc˚u.

Pro vytvoˇren´ı cesty z tˇechto bod˚u nám staˇc´ı seˇradit body v kaˇzdém sloupci. A postupnˇe odeb´ırat jednotlivé body.

Sloupce rozdˇel´ıme do skupin dle stejné souˇradnice x. Tyto skupiny seˇrad´ıme dle souˇradnice x. Následnˇe kaˇzdý sudý sloupec seˇrad´ıme vzestupnˇe dle souˇradnice y a liché sloupce seˇrad´ıme sestupnˇe. Takováto metoda nám vytvoˇr´ı optimáln´ı pr˚uchod mˇr´ıˇzkou jak je vidˇet na obrázku 5.1

Obr´azek 5.1 Optim´aln´ı pr˚uchod mˇr´ıˇzkou

(34)

5.3 Horizont´aln´ı kamera 5.3.1 Staˇzen´ı obr´azku

Poˇr´ızen´ı sn´ımku pomoc´ı horizontáln´ı kamery je implementováno metodou take_pictue tˇr´ıdy Minidrone. Pokud je dron pˇripojen pˇres Wi-Fi, tato funkce zkontroluje zda v dronu je uloˇzeno ménˇe jak 35 sn´ımk˚u z kamery. Pˇri pˇrekroˇcen´ı tohoto poˇctu smaˇze vˇsechny sn´ımky, jelikoˇz pˇri pˇrekroˇcen´ı poˇctu 40 sn´ımk˚u v pamˇeti dron ignoruje dalˇs´ı sn´ımky.

Staˇzen´ı obrázku je realizováno tˇr´ıdouMamboGroundcam. Instance této tˇr´ıdy je vytvoˇrena pˇri inicializaci tˇr´ıdyMinidrone, pouze v pˇr´ıpadˇe pˇripojen´ı dronu pˇres Wi-Fi. Tato tˇr´ıda inicializuje FTP pˇripojen´ı na adrese 192.168.99.3. Tato moˇznost nefunguje pro nejnovˇejˇs´ı verzi firmwaru 3.0.26, proto pro správné fungován´ı aplikace je nutné, aby verze firmwaru dronu byla3.0.17.

Metodaget_groundcam_picture, vyˇzaduje název souboru v souborovém systému dronu, pro staˇzen´ı sn´ımku do poˇc´ıtaˇce. Pomoc´ı metodyget_groundcam_pictures_nameslze z´ıskat seznam sn´ımk˚u uloˇzených v dronu. Nem˚uˇzeme se spoléhat na stahován´ı obrázku dle názvu, tud´ıˇz mus´ıme porovnat seznam sn´ımk˚u pˇred a po poˇr´ızen´ı sn´ımku nebo na zaˇcátku aplikace pamˇet’ dronu vyˇcistit a vˇzdy po staˇzen´ı sn´ımku ho z dronu vymazat.

5.3.2 Obsluha horizont´aln´ı kamery

Jelikoˇz sn´ımek se nejdˇr´ıve mus´ı zapsat do souborového systému dronu nastává prodleva mezi odeslán´ım pˇr´ıkazu k poˇr´ızen´ı sn´ımku a moˇznost´ı jeho staˇzen´ı. Tato prodleva se pohybuje v rozmez´ı 1.5-2.5 sekundy. Z tohoto d˚uvodu nem˚uˇzeme implementovat ˇreˇsen´ı, které by detekovalo c´ıle bˇehem letu a okamˇzitˇe na nˇe reagovalo. Systém pro detekci pozemn´ıch c´ıl˚u mus´ıme navrhnout takovým zp˚usobem, aby byl schopný poˇrizovat sn´ımky bˇehem letu a následnˇe je stahoval se zpoˇzdˇen´ım. Pro následné detekován´ı c´ıl˚u a zjiˇstˇen´ı jejich pozice je tud´ıˇz nutné, aby tento modul uchovával informace o pozici a rotaci dronu v dobˇe poˇr´ızen´ı sn´ımku.

Tento mechanismus je implementován v tˇr´ıdˇegroundCamHandler. Pˇri zavolán´ı metodystart se vytvoˇr´ı nové vlákno programu, které se stará o stahován´ı sn´ımk˚u z dronu.

V´ypis k´odu 5.3 Obsluha spodn´ı kamery dronu w h i l e s e l f . r u n n i n g is T r u e :

pos , rot = s e l f . g e t D r o n e I n f o () s e l f . d r o n e . g e t P i c t u r e ()

t i m e . s l e e p ( 1 . 5 )

l i s t = s e l f . d r o n e . m _ d r o n e . g r o u n d c a m . g e t _ g r o u n d c a m _ p i c t u r e s _ n a m e s () if len(l i s t) == 1:

pic = s e l f . d r o n e . d o w n l o a d P i c t u r e (l i s t[ 0 ] ) s e l f . c a l l b a c k ( pic , pos , rot )

e l s e:

s e l f . d r o n e . d e l e t e P i c t u r e s ()

Vlákno si nejdˇr´ıve uloˇz´ı informace o pozici a rotaci dronu, poté odeˇsle pˇr´ıkaz pro poˇr´ızen´ı sn´ımku a po ˇcasové prodlevˇe si stáhne seznam soubor˚u v dronu. Pokud tento seznam obsahuje v´ıce neˇz jednu poloˇzku, nem˚uˇzeme stahovat sn´ımek a hledat c´ıle, jelikoˇz nedokáˇzeme urˇcit, ke kterému sn´ımku pˇriˇradit naˇse informace o pozici a rotaci dronu. Z tohoto d˚uvodu jsou vˇsechny sn´ımky z dronu pˇred spuˇstˇen´ım vlákna smazány. Pokud je v seznamu jen jedna poloˇzka, m˚uˇzeme stáhnout sn´ımek a zavolat funkci pro zpracován´ı obrazu, zadanou pˇri inicializacigroundCamHandler. Po- kud jsou ve sn´ımku detekovány nˇejaké c´ıle, vlákno zavolá vˇsechny callback funkce, které se zadávaj´ı pomoc´ı metodysetCallback.

(35)

5.3. Horizont´aln´ı kamera 25

5.3.3 Zpracov´an´ı obrazu

Jelikoˇz hledané c´ıle jsou vˇsechny stejné a vˇsechny sn´ımky jsou foceny témˇeˇr ze stejného úhlu, pouˇzijeme k jejich detekci knihovnu OpenCV[12] m´ısto zpracován´ı pomoc´ı neuronových s´ıt´ı. Pro nalezen´ı c´ıl˚u pouˇzijeme jednoduchou metodu detekce hran pomoc´ı Canny operátoru.

Pro správnou detekci hran mus´ıme nejdˇr´ıve pˇrevést sn´ımek do greyscale podoby pomoc´ı funkcecv2.cvtColor. Následnˇe je obraz tˇreba rozmazat funkc´ıcv2.GaussianBlurpro správnou detekci hran pomoc´ı cv2.Canny. Nyn´ı máme zvýraznˇené hrany. Pro zjiˇstˇen´ı a popis obrys˚u pro následné zpracován´ı provedeme pomoc´ı funkce cv2.findContours. Nen´ı projdeme vˇsechny obrysy a zjist´ıme, které jsou kruhovitého tvaru. Na základˇe informac´ı u velikosti kruhu v pixelech a velikosti reálného c´ıle v cm, m˚uˇzeme vypoˇc´ıtat reálnou vzdálenost c´ıle od stˇredu obrazu.

T´ımto nez´ıskáme pˇresný vzdálenost, jelikoˇz sn´ımek nen´ı pˇresná prezentace plochy, ale p˚usob´ı na nˇej zkreslen´ı kamery. Kamera má ovˇsem malý zábˇer, tud´ıˇz takto vzniklá nepˇresnost bude zanedbatelná (v ˇrádech milimetr˚u). Nepˇresnost v ˇrádech milimetr˚u ˇci jednotkách centimetr˚u je zanedbatelná v˚uˇci nepˇresnosti informac´ı o poloze dronu.

Obr´azek 5.2 Detekce pozemn´ıch c´ıl˚u

(36)

5.4 Vertik´aln´ı kamera

5.4.1 Obsluha vertik´aln´ı kamery

Obsluha FPV kamery je implementována v Pyparrot knihovnˇe pomoc´ı tˇr´ıdyDroneVision. Tato tˇr´ıda inicializuje pˇripojen´ı k FPV kameˇre, stahován´ı a ukládán´ı sn´ımk˚u z kamery. Metoda této tˇr´ıdy, open_video, spust´ı nový proces obstarávaj´ıc´ı staˇzen´ı a ukládán´ı sn´ımk˚u z kamery do poˇc´ıtaˇce. Pro okamˇzité zpracován´ı obrázk˚u pˇri jejich uloˇzen´ı do fronty lze pouˇz´ıt metodu set_user_callback_function. Tato metoda uloˇz´ı callback funkci jako nové vlákno.

V´ypis k´odu 5.4 Inicializace obsluhy FPV kamery def _ _ i n i t _ _ ( self , d r o n e ):

s e l f . v i s i o n = D r o n e V i s i o n ( drone , False , b u f f e r _ s i z e = 3 0 ) s e l f . v i s i o n . s e t _ u s e r _ c a l l b a c k _ f u n c t i o n ( s e l f . p r o c e s s I m a g e ,

u s e r _ c a l l b a c k _ a r g s = N o n e )

5.4.2 Zpracov´an´ı obrazu

Zpracován´ı obrazu z FPV kamery je provedeno pomoc´ı neuronové s´ıtˇe Detectron2. Pouˇzit´ı neu- ronové s´ıtˇe je nutnost´ı, jelikoˇz nedokáˇzeme pˇredv´ıdat ˇzádné informace o objektech, které by se mohli vyskytovat v cestˇe dronu. I s pˇredem daným typem pˇrekáˇzek by jejich detekce bez pouˇzit´ı neuronových s´ıt´ı byla obt´ıˇzná.

Neuronová s´ıt’ Detectron2 mus´ı bˇeˇzet na specializovaném serveru. Kv˚uli prodlevˇe nutné pro inicializaci s´ıtˇe Detectron2 nen´ımoˇzné kop´ırovat sn´ımek pomoc´ıscpna server a vzdálenˇe spouˇstˇet skript, který by ho zpracoval. Na serveru tud´ıˇz mus´ı bˇeˇzet ˇcást aplikace, která bude komunikovat s klientem pˇres otevˇrený socket. Tato ˇcást nakonfiguruje s´ıt’ Detectron2 a poˇcká na pˇripojen´ı klienta. Klient následnˇe odes´ılá sn´ımky z kamery, které server zpracuje a zpˇet odeˇsle informace o bounding box detekovaných objekt˚u.

Komunikace ze strany klienta je implementována v tˇr´ıdˇe Client. Tato tˇr´ıda inicializuje pˇripojen´ı na server10.10.48.91. Pomoc´ı metodysendm˚uˇzeme odes´ılat sn´ımky dronu na server, následnˇe z´ıskáme informace o objektech v poli, které je vráceno touto metodou.

Toto pole má dimenzi [2,2, n], kdenje pˇrirozené ˇc´ıslo. Kaˇzdá poloˇzka v tomto poli signalizuje dvojici bod˚u, které oznaˇcuj´ı levý horn´ı a pravý doln´ı roh boundig box objektu.

5.4.2.1 Detectron2

Detectron2 je knihovna nové generace výzkumu AI od firmy Facebook. Knihovna poskytuje mo- dern´ı algoritmy pro segmentaci a detekci objekt˚u. Tato s´ıt’ vycház´ı z jej´ıho pˇredch˚udce Detectron a projektu Mask R-CNN benchamrk.

(37)

5.4. Vertik´aln´ı kamera 27

Výpis kódu 5.5 Inicializace neuronové s´ıtˇe Detectron2

cfg = g e t _ c f g ()

cfg . m e r g e _ f r o m _ f i l e ( m o d e l _ z o o . g e t _ c o n f i g _ f i l e (

" COCO - I n s t a n c e S e g m e n t a t i o n / m a s k _ r c n n _ R _ 5 0 _ F P N _ 3 x . y a m l ")) cfg . M O D E L . R O I _ H E A D S . S C O R E _ T H R E S H _ T E S T = 0.5

cfg . M O D E L . W E I G H T S = m o d e l _ z o o . g e t _ c h e c k p o i n t _ u r l (

" COCO - I n s t a n c e S e g m e n t a t i o n / m a s k _ r c n n _ R _ 5 0 _ F P N _ 3 x . y a m l ") cfg . f r e e z e ()

p r e d i c t o r = D e f a u l t P r e d i c t o r ( cfg )

Pro detekci objekt˚u Detectron2[14] vyuˇz´ıvá model zoo. Ten obsahuje trénované modely pro r˚uzné úkoly jako detekce objekt˚u ˇci sémantickou segmentaci.

Obr´azek 5.3 Detekce objekt˚u

(38)

(39)

Kapitola 6

Specifikace aplikace

6.1 Instalace

6.1.1 Knihovna Pyparrot

Aplikace vyˇzaduje nˇekolik úprav knihovny Pyparrot pro správné fungován´ı. Nejnovˇejˇs´ı firmware 3.0.26 dronu Mambo nepodporuje stahován´ı obrázk˚u z horizontáln´ı kamery dronu a pˇripojen´ı k dronu pˇres FTP je vypnuto. Pro povolen´ı moˇznosti pˇripojen´ı je nutno upravit ˇcást kódu v souboruMinidrone.pyna ˇrádc´ıch 237-243 na následuj´ıc´ı:

V´ypis k´odu 6.1 Pˇripojen´ı k dronu pˇres FTP try:

s e l f . ftp = FTP (’ 1 9 2 . 1 6 8 . 9 9 . 3 ’) # IP - A d d r e s s of the d r o n e i t s e l f l o g i n = s e l f . ftp . l o g i n ()

p r i n t(" FTP l o g i n s u c c e s s is % s " % l o g i n ) e x c e p t:

p r i n t(" E R R O R : ftp l o g i n is d i s a b l e d by p a r r o t f i r m w a r e 3 . 0 . 2 5 and 26. G r o u n d c a m w i l l not w o r k . ")

s e l f . ftp = N o n e

Následnˇe je nutné zmˇenit hodnotu promnˇenéfullpathv souborechMinidrone.pyna ˇrádku 246 a v souboruDroneVisionna ˇrádku 95.

V´ypis k´odu 6.2 P˚uvodn´ı cesta k uloˇzen´ı sn´ımk˚u f u l l P a t h = i n s p e c t . g e t f i l e ( M a m b o )

Hodnota této promnˇené je tˇreba zmˇenit na následuj´ıc´ı hodnotu.

Výpis kódu 6.3 Nová cesta k uloˇzen´ı sn´ımk˚u f u l l P a t h = os . g e t c w d ()

Tato zmˇena umoˇzn´ı ukládán´ı staˇzených obrázk˚u do podsloˇzky images v aktuáln´ı pracovn´ı cestˇe na m´ısto vytvoˇren´ı této podsloˇzky v cestˇe knihovny Pyparrot, tud´ıˇz spuˇstˇen´ı aplikace nebude vyˇzadovat práva superuˇzivatele/administrátora pro zápis obrázk˚u.

Dalˇs´ı nutná zmˇena pro správné fungován´ı aplikace je tˇreba zmˇenit frekvenci volán´ı callback funkce specifikované uˇzivatelem ke zpracován´ı sn´ımk˚u z FPV kamery. Na ˇrádku 208 ve funkci _user_callbackje nutno zmˇenit dobu uspán´ı na ˇcas odpov´ıdaj´ıc´ı rychlosti zpracován´ı obrazu.

V pˇr´ıpadˇe této aplikace je doba k uspán´ı nastavená na 1 sekundu.

29

(40)

30 Kapitola 6. Specifikace aplikace

Výpis kódu 6.4 Zmˇena frekvence volán´ı callback funkce t i m e . s l e e p ( 1 . 0 / ( 3 . 0 * s e l f . fps ))

Následnˇe je tˇreba v metodˇeupdatetˇr´ıdyMinidroneSensorsdodat ukládán´ı dat ze senzor˚u do vlastn´ıch promˇenných. Naˇse aplikace k tˇemto dat˚um pˇristupuje rovnou jako k samostatným ˇclenským promˇenným nikoliv pˇres seznam dat ze senzor˚u, sensor_dict, jeˇz sb´ırá ostatn´ı data jeˇz nebyli specifikována.

Výpis kódu 6.5 Zmˇena frekvence volán´ı callback funkce

if ( n a m e == " D r o n e P o s i t i o n _ p o s x "):

s e l f . p o s i t i o n _ x = v a l u e

e l i f ( n a m e == " D r o n e P o s i t i o n _ p o s y "):

s e l f . p o s i t i o n _ y = v a l u e

e l i f ( n a m e == " D r o n e P o s i t i o n _ p o s z "):

s e l f . p o s i t i o n _ z = v a l u e

e l i f ( n a m e == " D r o n e P o s i t i o n _ t s "):

s e l f . p o s i t i o n _ t s = v a l u e

e l i f ( n a m e == " D r o n e P o s i t i o n _ p s i "):

s e l f . p o s i t i o n _ p s i = v a l u e

6.2 Aplikace

Aplikace je rozdˇelena na dvˇe hlavn´ı ˇcásti: ˇcást aplikace bˇeˇz´ıc´ı na serveru a ˇcást bˇeˇz´ıc´ı na poˇc´ıtaˇci.

ˇCást aplikace nasazená na serveru vyˇzaduje soubory uloˇzené ve sloˇzce server a spouˇst´ı se pomoc´ı souborytcp_client.py.

Druh´a ˇc´ast aplikace bˇeˇz´ıc´ı na serveru je uloˇzena ve sloˇzcelocala je spuˇstˇena pomoc´ı souboru main.py.

6.3 Testov´an´ı a funkˇcnost aplikace

Aplikace jako celek bohuˇzel nebyla otestována kv˚uli problém˚um týkaj´ıc´ıch se modelu dronu.

Dron zas´ılá mnoho dat o sobˇe a o svém okol´ı. Dva typy informac´ı nám mohou pomoci s urˇcen´ım jeho polohy v prostoru a to jsou: data o poloze a údaje o rychlosti dronu. Údaje o rychlosti jsou dronem aktualizovány s frekvenc´ı 1 Hz a jsou vraceny v kontextu aktuáln´ı rotace dronu. Kv˚uli pomalému obnovován´ı dat nen´ı moˇzné tyto informace vyuˇz´ıt k výpoˇctu pozice pˇri dlouhodobém letu. Problémem na stává pˇri zrychlován´ı a zpomalován´ı dronu. Rychlost z tohoto okamˇziku je mnohem vyˇsˇs´ı neˇz rychlost, kterou dron let´ı zbytek letu a zanáˇsej´ı velikou nepˇresnost do výpoˇctu pozice. Data o pozici dronu jsou také vracena s vysokou nepˇresnost´ı.

Bez relativnˇe spolehlivých informac´ıch o pozici dronu nen´ı moˇzné implementovat systém pro navigaci dronu, jelikoˇz nelze implementovat spolehlivý pr˚uchod zadanou oblast´ı a ani nen´ı moˇzné spolehlivˇe dopoˇc´ıtat jednotlivˇe detekované pozemn´ı c´ıle.