Vysoká škola báňská – Technická univerzita Ostrava
Fakulta bezpečnostního inženýrství
Katedra bezpečnostních služeb
Aplikace biometrického systému pro rozpoznání pohlaví osoby
Student: Patrik Boháč
Vedoucí diplomové práce: doc. Mgr. Ing. Radomír Ščurek, Ph.D.
Konzultant diplomové práce: Ing. Jan Kubíček, Ph.D.
Studijní obor: Technická bezpečnost osob a majetku
Termín odevzdání diplomové práce: 16.4. 2021
Poděkování:
Rád bych poděkoval mému vedoucímu diplomové práce panu doc. Mgr. Ing. Radomíru Ščurkovi, Ph.D. a také konzultantovi diplomové práce Ing. Janu Kubíčkovi Ph.D. za jejich ochotu, věnovaný čas, poskytnuté informace a poznámky během zpracovávání této diplomové práce. Dále mé díky patří ochotným respondentům, kteří se dobrovolně zúčastnili fotografování pro experimentální část diplomové práce.
ANOTACE
BOHÁČ, Patrik. Aplikace biometrického systému pro rozpoznání pohlaví osoby.
Ostrava, 2021. Diplomová práce. VŠB – TU Ostrava, Fakulta bezpečnostního inženýrství.
Vedoucí práce: doc. Mgr. Ing. Radomír Ščurek, Ph.D.
Diplomová práce se věnuje aplikaci biometrického systému, který dokáže rozpoznat pohlaví osob. Teoretická část obsahuje charakteristiku biometrie, její vlastnosti, zpracování biometrického signálu a jednotlivé způsoby možné identifikace osob. Dále je práce zaměřena na popis metod detekce a rozpoznání obličeje. V praktické části je popsán postup klasifikace pohlaví za využití neuronových sítí. Závěr práce je věnován porovnání výsledků všech testovacích datasetů.
Klíčová slova: biometrie, zpracování obrazu, detekce obličeje, rozpoznání obličeje, MATLAB, konvoluční neuronová síť, pohlaví
SUMMARY
BOHÁČ, Patrik. Application of biometric system for gender recognition of persons.
Ostrava, 2021. Diploma thesis. VŠB - TU Ostrava, Faculty of Safety Engineering.
The supervisor of the thesis: doc. Mgr. Ing. Radomír Ščurek, Ph.D.
The diploma thesis deals with the application of a biometric system that can recognize the gender of persons. The theoretical part contains the characteristics of biometrics, its properties, biometric signal processing and various methods of possible identification of persons. Furthermore, the work is focused on the description of methods of face detection and recognition. The practical part describes the procedure of gender classification using neural networks. The conclusion of the work is devoted to the comparison of the results of all test datasets.
Keywords: biometrics, image processing, face detection, face recognition, MATLAB, convolutional neural network, gender
Obsah
OBSAH ... 4
ÚVOD ... 1
REŠERŠE ... 2
1 LEGISLATIVA ... 3
2 BIOMETRIE ... 5
2.1 Základní biometrické pojmy ... 5
2.2 Charakteristiky biometrických vlastností ... 6
2.3 Biometrické systémy ... 7
2.4 Výkonost biometrických systémů ... 9
2.5 Zpracování obrazu v biometrických systémech ... 10
2.5.1 Snímání a digitalizace ... 10
2.5.2 Předzpracování ... 12
2.5.3 Segmentace ... 15
2.5.4 Popis obrazu ... 16
2.5.5 Klasifikace ... 16
3 BIOMETRICKÉ ZPŮSOBY IDENTIFIKACE ... 18
3.1 Metody anatomických vlastností... 18
3.1.1 Otisk prstů ... 19
3.1.2 Geometrie tvaru ruky ... 19
3.1.3 Oční duhovka + sítnice ... 20
3.1.4 DNA ... 21
3.2 Metody behaviorálních vlastností ... 22
3.2.1 Hlasová biometrie ... 22
3.2.2 Dynamika chůze – lokomoce ... 23
3.2.3 Psaní na klávesnici ... 23
3.2.4 Dynamika podpisu ... 24
4 TVÁŘ – GEOMETRIE OBLIČEJE ... 25
4.1 Metody detekce obličeje ... 25
4.1.1 Metody založené na znalostech tváře ... 26
4.1.2 Metody na základě neměnných rysů ... 27
4.1.3 Metody na základě porovnávání šablon ... 28
4.1.4 Metody na základě vzhledu ... 29
4.2 Rozpoznání obličeje ... 32
4.2.1 Geometrické metody ... 34
4.2.2 Holistické metody ... 35
5 KLASIFIKACE POHLAVÍ ... 39
5.1 Kroky klasifikace ... 39
5.2 Studie genderové klasifikace ... 40
5.2.1 Možné kombinace metod ... 42
5.3 Experiment ... 42
5.3.1 Tvorba databáze ... 42
5.3.2 MATLAB ... 45
5.4 Detekce tváře v obraze ... 45
5.4.1 Aplikace šumu Salt & Papper ... 46
5.5 Klasifikace pohlaví pomocí neuronových sítí ... 49
5.5.1 Vlastní natrénování klasifikátoru ... 52
5.5.2 Použitá předtrénovaná konvoluční neuronová síť ... 57
5.6 Souhrn ... 65
6 DISKUSE ... 67
6.1 Přinos práce ... 69
7 ZÁVĚR ... 71
LITERATURA ... 72
SEZNAM OBRÁZKŮ ... 78
SEZNAM TABULEK ... 81
SEZNAM PŘÍLOH ... 82
SEZNAM ZKRATEK
2D dvourozměrný
3D trojrozměrný
CCD charge – coupled device
CSS kaskádový styl
ČR Česká republika
DNA kyselina deoxyribonukleová
DPI dots per inch
EER Equal Error Rate
EU Evropská unie
FAR False Acceptance Rate
FRR False Rejection Rate
GDPR General Data Protection Regulation
HSV hue, saturation, value
IR infračervené záření
LBP local binary pattern
LDA linear discriminant analysis
LED light-emitting diode
MATLAB matrix laboratory
OOÚ ochrana osobních údajů
PCA principal Component Analysis
RGB red, green, blue
SVM support vector machines
YCBCR jas a barvonosné komponenty (modrá, zelená)
1
Úvod
Biometrické systémy se v dnešní době čím dál tím více rozvíjí a jsme s nimi takřka v dennodenním kontaktu. Rozpoznávání pomocí biometrických rysů využívá každý z nás k přístupu do různých mobilních aplikací nebo v rámci fyzické ochrany, jako docházkový systém do zaměstnání. Zaručují lidem komfort a pocit kvalitního zabezpečení svých dat, informací, peněz apod. Identifikace osob pomocí obličejových rysů je společně s identifikací pomocí otisku prstu jedním s nejpoužívanějších systémů. Biometrické systémy jsou velmi náročné na zpracování snímaných dat, proto je důležité neustále je vylaďovat a pracovat s nimi za účelem rychlého a efektivního plnění správné funkce.
Diplomová práce s názvem aplikace biometrického systému pro rozpoznávání pohlaví osoby se bude věnovat biometrickému systému, který za pomocí klasifikačního algoritmu a předtrénované neuronové sítě, dokáže určit ze statických snímků pohlaví osoby. Práce bude rozdělena na část praktickou a experimentální.
V teoretické části diplomové práce bude popsán legislativní dokument GDPR vzhledem k použití fotografií respondentů pro experimentální část. Dále se budu věnovat základní charakteristice biometrie a jejím oblastem, jako jsou systémy, jejich výkonost a zpracování obrazového signálu. V další kapitole budou popsány různé možnosti identifikace pomocí biometrických systémů. Poslední kapitolou v teoretické části bude podrobný popis identifikace tváře s podkapitolami o různých způsobech detekce a rozpoznání.
Praktická část práce bude zaměřena na klasifikaci pohlaví. Budou zde popsány jednotlivé kroky klasifikace, dále bude pojednáno o již vykonaných studiích z celého světa na toto téma a o různých způsobech provedení této klasifikace. Zpracování experimentální části bude probíhat v programovacím jazyce MATLAB. Ten nám umožní, zadáním správných příkazů a funkcí detekovat a následně z detekovaného snímku, určit klasifikaci pohlaví. Snímky budou pořízeny z veřejné databáze a také fotografováním respondentů.
K samotné klasifikaci bude využito předtrénovaných neuronových sítí. Všechny výsledky testování budou v závěru shrnuty a prodiskutovány.
2
Rešerše
Pro zpracování diplomové práce byly získány informace z následující odborné literatury a dalších zdrojů:
DRAHANSKÝ, Martin a Filip ORSÁG. Biometrie. [Brno: M. Drahanský], 2011.
ISBN 978-80-254-8979-6.
Tato kniha ve své první části popisuje historii a základní pojmy z oblasti biometrie.
Dále poskytuje základní informace o zachycení a zpracování signálu, který plynule přechází na zpracování obrazu. Ve své další části popisuje chybovost a bezpečnost biometrických systémů. Podstatou této publikace je popis takřka všech možných biometrických technologií, dle kterých je možné identifikovat člověka. Informace z této knihy budou využity v teoretické části především při popisu jednotlivých metod, včetně geometrie tváře, která je stěžejní kapitolou této práce.
CHEN, Cunjian. Gender Classification from Facial Images [online].
Morgantown, West Virginia, 2011 [cit. 2020-11-17]. Dostupné z:
https://researchrepository.wvu.edu/etd/3449/?utm_source=researchrepository.wvu.ed u%2Fetd%2F3449&utm_medium=PDF&utm_campaign=PDFCoverPages. Graduate Theses, Dissertations, and Problem Reports.
Tato práce se zabývá genderovou klasifikací z obrázků a lze ji rozdělit na tři části.
Ve své první části popisuje možné studie z celého světa, které již byly na toto téma vyhodnoceny. Dále popisuje jednotlivé kroky klasifikace, kterými jsou detekce obličeje z obrazu, jeho zpracování a metody možné k využití klasifikace jak obličeje tak následného pohlaví. V poslední části se práce zabývá experimentem. Práce bude využita ve zpracování kapitol detekce obrazu a rozpoznávání pohlaví.
PENHAKER, Marek a Jan KUBÍČEK. Matematické modelování dat pro vědecké účely. Opava: Slezská univerzita v Opavě, Filozoficko-přírodovědecká fakulta, Ústav fyziky, 2014. ISBN 978-80-7248-942-8.
Tato odborná kniha popisuje programovací jazyk MATLAB, který je stěžejní pro tvorbu praktické části. V publikaci je popsána základní práce s maticemi, vektory a také jsou zde přiblížené základní programovací funkce.
3
1 Legislativa
Směrnice o ochraně osobních údajů (dále jen „OOÚ“) účinná do 24. května 2018 neuznávala biometrické údaje jako zvláštní kategorii údajů. Jinými slovy OOÚ neobsahovala žádnou definici ani zvláštní odkaz na biometrické údaje. OOÚ byla nahrazena nařízením Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů a o zrušení směrnice 95/46 / ES. [28]
Podle čl. 4 odst.1 nařízení GDPR se osobními údaji rozumí ,,jakékoli týkající se identifikované nebo identifikovatelné fyzické osoby (subjektu údajů); identifikovatelnou fyzickou osobou je osoba, kterou lze přímo nebo nepřímo identifikovat, zejména s odkazem na jeden nebo více faktorů specifických, kromě jiných charakteristik, fyzické, fyziologické, genetické nebo duševní identity této fyzické osoby.“1 [33]
Na rozdíl od OOÚ GDPR specificky zmiňuje pojem biometrické údaje a reguluje jejich zpracování. Podle čl. 4 odst. 14 se biometrickými údaji rozumí ,,osobní údaje vyplývající ze zvláštního technického zpracování týkajícího se fyzických, fyziologických nebo behaviorálních charakteristik fyzické osoby, které umožňují nebo potvrzují jednoznačnou identifikaci této fyzické osoby, jako jsou zobrazení obličeje nebo daktyloskopické údaje.“2 [28], [37]
Legislativa v ČR – výše zmíněný evropský předpis vstoupil na naše území v platnost 25. května 2018 a nahradil tak zákon č. 101/2000 Sb., o ochraně osobních údajů.
Biometrické údaje tedy nyní upravuje nařízení GDPR a jsou považovány za speciální kategorii osobních údajů, které se dříve říkalo citlivé údaje. Pro jejich zpracování platí obecný zákaz vyjma podmínek, které stanovuje ,,článek 9 odst. 2 GDPR, a to v případě výslovného souhlasu subjektu údajů; plnění povinností správce údajů nebo subjektu údajů v oblasti pracovního práva a sociálního zabezpečení, pokud je povoleno právem EU nebo
1 ORIENTACE V GDPR: Základní pojmy v GDPR [online]. Ministerstvo vnitra České republiky [cit.
2021-04-06]. Dostupné z: https://www.mvcr.cz/gdpr/clanek/zakladni-pojmy-v-gdpr.aspx
2 PROUZA, Mgr. Bc. Jiří. Zpracování biometrických údajů zaměstnanců. Epravo.cz [online]. 2019 [cit.
2021-04-06]. Dostupné z: https://www.epravo.cz/top/clanky/zpracovani-biometrickych-udaju-zamestnancu- 109845.html
4 členského státu; ochrany životně důležitých zájmů subjektu údajů nebo jiné fyzické osoby, pokud subjekt údajů není fyzicky nebo právně způsobilý udělit souhlas; a další.“3 [37]
3 PROUZA, Mgr. Bc. Jiří. Zpracování biometrických údajů zaměstnanců. Epravo.cz [online]. 2019 [cit.
2021-04-06]. Dostupné z: https://www.epravo.cz/top/clanky/zpracovani-biometrickych-udaju-zamestnancu- 109845.html
5
2 Biometrie
Biometrické technologie slouží jako účinný a spolehlivý prostředek k ověřování nebo určování totožnosti fyzické osoby. Biometrii lze definovat jako metody rozpoznávání osoby na základě fyziologické nebo behaviorální charakteristiky. Tyto vlastnosti se obvykle označují jako biometrické údaje. Biometrické systémy cílí pouze na měřitelné fyzikální vlastnosti živých organismů. Tyto organismy se vyznačují vysoce specifickými vlastnostmi, které jsou jedinečné a dostatečně stabilní, aby mohly být použity jako identifikátory.
Současné biometrické systémy zachycují identifikátory pomocí různých druhů senzorů, měří elektrický signál produkovaný těmito senzory a obvykle převádějí měření do počítačového kódu, který pak používají jako elektronickou reprezentaci osoby. Tento proces převádí informace z analogové formy do digitální podoby a umožňuje tak zpracování těchto informací elektronickými informačními systémy. [28]
Biometrie poskytuje širokou oblast využití. Jde o monitorování pohybu, evidenci a kontrolu vjezdů nebo vstupů do objektů či samotnou ochranu a bezpečnost osob. Pomáhá nám odvětit na otázky, zda se jedná opravdu o člověka, který má oprávnění přistupovat k informacím, produktům, eventuálně k službám nebo zda je skutečně tou osobou, za níž vystupuje. Dále na otázky, kdo to vůbec byl, popřípadě jestli nepoužívá někdo identitu někoho jiného ve svůj prospěch. Jestliže je biometrie správně využita, má nepochybnou přednost v tom, že je velmi obtížně zfalšovatelná. V praxi se bohužel můžeme setkat s falšováním údajů při chybném využití a současně je možné narazit na úniky nedostatečně zabezpečených biometrických dat. Dle expertů by biometrická data měla být používána jako druhotné ověření uživatele. Mezi základní výhody biometrie lze zařadit i to, že ji není možno ztratit nebo zapomenout jako kartu, doklad či pin a je těžké, někdy takřka nemožné, ji napodobit, případně odcizit. [41], [21]
2.1 Základní biometrické pojmy
V biometrii se shledáváme se základními pojmy, které je dobré znát a pochopit jejich význam.
Identita je charakteristikou každého jedince, je jednoznačná a dokáže ho identifikovat.
Identita může být dvojího druhu. Buď to fyzická, nebo elektrická. Fyzická je pouze jedna a je určena naším chováním a vzhledem, díky nimž se odlišujeme od ostatních osob.
6 Na světě se nevyskytují dva lidé, kteří mají totožnou identitu (např. DNA je odlišná i u jednovaječných dvojčat). Na rozdíl od fyzických identit, kde máme jen jednu, elektrických si můžeme v elektrickém světě vytvořit, kolik chceme. [6]
Identifikace je proces, který slouží k určování identity neznámé osoby. V literatuře se označuje jako 1:MANY či porovnání 1:N (One – to – Many, jedna z mnoha).
Při identifikaci dochází k porovnávání sejmutého vzorku s celou řadou vzorků uložených v databázi. Jde o časově poměrně náročnější porovnávání zejména u rozsáhlých databází.
[6]
Verifikace nebo také ověření označuje proces porovnávání, kdy se systém pokouší verifikovat identitu fyzické osoby, zda je opravdu tou, za kterou vystupuje. Biometrický systém má za úkol vyvrátit nebo potvrdit identitu prověřované osoby. Toto srovnávání identity lze označit jako 1:1 (One – to – One, jeden k jedné). Porovnává se jeden nasnímaný vzorek s jednou hodnotící šablonou prověřované osoby. [6]
Autentizaci lze spojit s rozpoznáváním. Jde o proces, kdy se používají identifikační nebo verifikační metody ke stanovení identity konkrétní osoby. Za předpokladu, že autentizace osoby je pozitivní, získá tím ta osoba status oprávněný, a tudíž možnost vstupu do objektu či přístupu k nějaké službě. V případě negativní autentizace dostane status neoprávněný a přístup do objektu nebo služby bude odmítnut. [45]
2.2 Charakteristiky biometrických vlastností
Biometrický systém si našel cestu k lidem a mnoho z nás se s ním setkává takřka denně. Vlastnosti u člověka mohou vznikat třemi způsoby. Za prvé mohou být genotypické, tedy uplatňují vliv dědičnosti (DNA). Druhý způsob se nazývá randotypický, kdy vlastnosti vznikají náhodně při evoluci plodu. Poslední způsob je behaviorální, kdy se vyvíjí učením a výchovou jedince. Biometrické vlastnosti lze rozdělit dle užitých charakteristik na anatomické neboli fyzicky statické a behaviorální chování čili dynamickou vlastnost.
Všechny vlastnosti vykazují různou biometrickou entropii, tzv. rozlišovací sílu. Ta určuje, jaké množství obyvatel jsme schopni na základě biometrické vlastnosti rozlišit. Z toho důvodu definujeme u biometrických vlastností tato kritéria (Tabulka 1): [45], [35]
7
Tabulka 1 - Charakteristiky biometrických vlastností (vysoká +; nízká -; střední /) [6]
Biometrické vlastnosti
Základní charakteristiky biometrických vlastností
Univerzalita Jedinečnost Konstantnost Získatelnost Výkonost Akceschopnost Bezpečnost Finance
Obličej + - / + - + - -
Otisk prstu / + + / + / + -
Geometrie ruky / / / + / / / /
Duhovka + + + / + - + +
Sítnice + + / - + - + +
Podpis - - - + - + - -
Hlas / - - / - + - -
DNA + + + - + - - +
Výhodou biometrických vlastností je, že jsou v čase neměnné, nelze je zapomenout či odcizit. Mají širokou škálu využití. Buď jako obecné přístupové biometrické systémy pro identifikaci osob při ověřování jejich vlastností, anebo u forenzních biometrických systémů – tedy systémů využívaných v kriminalistice. U přístupových systémů dokážou biometrické vlastnosti plně nahradit hesla a karty, které je možno snadno odcizit. Dalším plusem je biometrická autentizace těchto vlastností, která je velmi rychlá, spolehlivá a finančně již dostupná metoda, která lidem šetří čas a dává větší pohodlí. [45]
2.3 Biometrické systémy
Biometrické systémy jsou velmi populární prostředky, které se v současné době využívají zejména k zesílení bezpečnosti hlídaných prostor. Jak již bylo avizováno, jejich primárním úkolem je rozpoznávání behaviorálních a anatomických vlastností člověka.
Biometrické systémy jsou v podstatě vyráběny dle nároků na bezpečnost, praktičnost, spolehlivost, cenu apod. Z toho lze vydedukovat, že ne každý systém je možno použít v jakémkoliv prostředí. Například prostory s utajovanými informacemi ve stupni přísně tajné
8 budou nejpravděpodobněji chráněny skenem sítnice. Tato metoda poskytuje nejvyšší stupeň zabezpečení. Ovšem prostý vstup do pracovny účetní stačí ochránit systémem fungující na principu otisku prstu. Co se týče samotného rozpoznávání lidské tváře, tak její využití s časem vzrůstá. Jedná se o monitorování různých prostor, kontrolu vstupů, přihlašování do systému či aplikací atd. Zdokonaluje se také pro účely policie a soudů, kde je podstatné co nejpřesněji identifikovat osoby. [44]
Biometrické systémy lze rozdělit na dvě skupiny podle počtu vlastností, které využívá.
Unimodální systémy – biometrický systém, který používá jeden biometrický znak nebo jeden zdroj informace pro ověření nebo identifikaci. Unimodální systémy se neustále zlepšují v přesnosti a spolehlivost, i když to stále není dokonalé. Od toho se také odvíjí pořizovací cena – ta není příliš vysoká. Unimodální systémy často trpí problémy zápisu v procesu z důvodu neuniverzálních biometrických znaků, nedostatku přesnosti nebo nadměrnému hluku. Typickým příkladem je přítomnost nečistot na snímači skeneru otisků prstů, poranění prstů, neschopnost zaostřit fotoaparát nebo pokrývka hlavy. Studií bylo zjištěno, že asi 2% populace nejsou schopni získat kvalitní otisk prstu, protože existují jednotlivci se zdravotním postižením a dalšími faktory, které brání bezproblémového procesu registrace do systému a zapsání do databáze systému. Dále systém, který se zabývá rozpoznávání obličejových rysů, může vykazovat falešné shody u jednovaječných dvojčat nebo u otce se synem. Shahenda Sarhan ve své studii zkoumal obličej, duhovku a otisk prstu.
Jeho výsledky dosahovali 94% úspěšné shody. [26], [39]
Multimodální systémy – tento systém lze definovat jako systém, který na rozdíl od unimodálního biometrického systému kombinuje výsledek získaný z více než jednoho biometrického prvku pro účely identifikace. Multimodální systém používá více biometrických modalit, které mohou vést k vysoce přesnému a bezpečnému systému biometrické identifikace, což ho dělá finančně nákladnější. Na multimodálním základě bylo provedeno hodně zkoumání biometrických systému, kdy se zkoušely různé kombinace.
Například identifikace hlasu + obličeje, hlas + otisk prstu + detekce obličeje a další spojení.
Ross a Jain při své studii v kombinaci biometrii obličeje, otisku prstů a geometrie ruky použili lineární diskriminační metody, pravidlo součtu a tzv. rozhodovací strom.
Ve výsledku uvádí, že nejlépe fungovalo pravidlo součtu. [26]
9
2.4 Výkonost biometrických systémů
Musíme si stanovit hlavní cíl biometrické verifikace nebo identifikace. Jednoznačně tím je bezchybné potvrzení nebo nalezení identity osoby a umožnění jí uplatnit její garantovaná práva. Naopak pokud tyto práva nemá, musí být její totožnost bezchybně rozpoznána a následně odmítnuta. U biometrických rozpoznávacích systémů se nikdy nebude šablona sejmuté charakteristiky stoprocentně shodovat s referenční šablonou.
Postupem času byly vytvořeny dva zásadní pojmy, které popisují oba zmíněné negativní jevy. [41]
Pravděpodobnost chybného odmítnutí (FRR – False Rejection Rate):
Parametr FRR nám udává pravděpodobnost, s jakou zařízení nerozpozná oprávněného uživatele, který má v systému uloženou svoji referenční šablonu. Na základě toho je uživatel odmítnut a je povinen opakovaně prokázat svoji identitu. [8]
𝐹𝑅𝑅 = 𝑁𝐹𝑅
𝑁𝐸𝐼𝐴 . 100 % (4.1)
NFR – počet vzorků vedoucí k neshodě NEIA – celkový počet vzorků
Pravděpodobnost chybného přijetí (FAR – False Accept Rate):
Parametr FAR nám udává pravděpodobnost, s jakou zařízení chybně určí neoprávněného uživatele, který se pokouší překonat bezpečnostní systém tím, že se vydává za někoho jiného a proniknout tak do chráněného prostoru. [8]
𝐹𝐴𝑅 = 𝑁𝐹𝐴
𝑁𝐼𝐼𝐴 . 100 % (4.2)
NFA – počet chybných přijetí
NIIA – počet všech pokusů o identifikaci od neoprávněných osob Vztah FRR a FAR = EER (Equal Error Rate):
Dokonalé zařízení, které funguje bezchybně a nevykazuje žádnou chybovost tím, že jsou všechny kontrolované osoby rozpoznány, neexistuje. Každé zařízení je jinak citlivé na otisk prstů, snímání obličeje nebo oční duhovku. Snímky pak značně působí na jeho
10 činnost. Efektivnost systému nám udává právě vztah mezi koeficienty FRR a FAR, jehož výsledkem je křížový koeficient EER. Ten nám říká, že pokud jsou oba koeficienty v rovnováze, tak na základě toho bude v rovnováze celý systém. [41]
Obrázek 1 - Ideální a reálná křivka [41]
V prostředí, kde je kladen vysoký požadavek na bezpečnost se občas může stát, že osoby budou považovány za neoprávněné. Jestliže budeme v prostředí, kde budeme klást nároky na komfort, tak zde může dojít naopak k propouštění osob, které jsou v běžné situaci nežádoucí. Každý takový požadavek odpovídá citlivosti nastavení prahu. [41]
2.5 Zpracování obrazu v biometrických systémech
Hlavním úkolem této diplomové práce je aplikovat biometrický systém pro rozpoznání pohlaví osob díky využití detekce obličeje. Z toho důvodu je potřeba znát, jak se daný obraz připravuje a zpracovává. Formálně se dá obraz brát jako spojitá funkce dvou nezávisle proměnných. Právě proto lze obraz spojit s teorií zhotovení signálu, z čehož vyplývá, že obraz není nic jiného než dvourozměrný signál. Samotné zpracování digitálního obrazu se většinou skládá z několika etap – snímání a digitalizace, předzpracování, segmentace, popis obrazu, klasifikace. [6]
2.5.1 Snímání a digitalizace
Snímání – lze definovat jako převedení optické veličiny na elektrický signál.
Na sejmutý obraz má vliv několik faktorů jako např. ozáření daného objektu. Známe-li dopředu veličiny jako odrazivost povrchu nebo ozáření obrazu v daný moment, mohou nám tak pomoci při rekonstrukci obrazu. [9]
11 Digitalizace – je dalším krokem pro zpracování vhodného obrazu v počítači.
Jde o proces, kdy se převádí spojitý analogový signál na digitální, a to ve dvou základních krocích – vzorkování a kvantování. Velikost obrazu se uvádí v pixelech, tzv. obrazových bodech a rozlišení v jednotkách body/palec ve zkratce DPI. Velmi podstatný je výběr vzorkovací mřížky. Nejpoužívanější jsou mřížky hexagonální a čtvercové. [9]
Obrázek 2 - Čtvercová a hexagonální mřížka [9]
Popis barev v obraze – barvy v obraze jsou velmi podstatným nositelem informace.
Jsou vytvořeny různé barevné modely, které se odlišují dle užitých složek a slouží k přesnému určení odstínu barvy.
Model RGB – je používán na televizích nebo monitorech, kdy jeden pixel představuje tři body barevných složek RGB (červená, zelená, modrá). Při jejich sloučení vzniká jiná barva. Jedná se o aditivní model, kdy výsledná barva černá má hodnoty (0,0,0) a s rostoucí hodnotou barevných složek vzniká světlejší výsledný pixel – barva bíla, která nese hodnoty (1,1,1). V návaznosti na bitovou hloubku barevných spekter se tyto hodnoty přepočítávají. Obvykle se používá barevná hloubka 8 bitů, která produkuje 256 definovaných barev a vzniká tak 16 milionů možných kombinací. [9]
Obrázek 3 - Model RGB [27]
Model YCbCr (Luminance Chromatic blue Chromatic red) – je obvykle využívaný evropskými televizními standardy. Je to model, který je složen ze tří složek. Složka Y udává velikost jasu. Zbylé dvě složky udávají barevné chrominanční složky. Cb je modrou
12 chrominanční složkou a Cr červenou. Tyto složky je nutné přepočítat z modelu RGB a to následujícími rovnicemi: [24]
𝑌 = 0 + 0,299 . 𝑅 + 0,587 . 𝐺 + 0,114 . 𝐵 (4.2) 𝐶𝑏 = 128 − 0,169 . 𝑅 − 0,331 . 𝐺 + 0,500 . 𝐵 (4.3) 𝐶𝑟 = 128 + 0,500 . 𝑅 − 0,419 . 𝐺 − 0,081 . 𝐵 (4.4)
2.5.2 Předzpracování
Předzpracování si můžeme nadefinovat jako soubor zásadních postupů, které je nutné vykonat, abychom mohli posoudit informaci zahrnutou v obraze mající velký význam pro daný účel. Předzpracování je nutno realizovat u každého zpracovaného obrazu a to proto, že takřka nikdy se nepovede vytvořit kvalitní obraz bez jakéhokoli zkreslení, šumu, optimálních světelných podmínek a mnoha dalších vlivů. Cílem předzpracování je potlačení šumu, zaostření obrazu, odstranění rušení a dalších chyb, které se realizují pomocí operací jako je úprava histogramu, úprava kontrastu, jasu apod. [15]
Ekvalizace histogramu – metoda, která pozměňuje kontrast v obraze k lepšímu a zdůrazňuje jeho podstatné informace. Samotný histogram nám uvádí četnost přítomnosti jasu v obraze. Hodnoty jasu nemusí být v histogramu rozloženy v kompletní škále stupnice například z důvodu špatných světelných podmínek. Z toho důvodu je zapotřebí obraz vyrovnat tzv. ekvalizovat. Převážně jde o navýšení kontrastu, aby se veškeré jasy vyskytovaly rovnoměrně, což vyzdvihne detaily v obraze. [16]
13
Obrázek 4 - Srovnání před a po ekvalizaci [16]
Geometrické transformace – provádí geometrické úpravy obrazu. Jedná se například o zmenšování či zvětšování obrazu, pootočení obrazu, jeho posun nebo vyrovnání na střed.
Vyrovnání nebo posun na střed se využívá v biometrických systémech pro zarovnání sejmutého vzorku a následné porovnání se šablonou v databázi. Úpravy se provádí za pomoci transformačních matic, kdy se jednotlivé pixely obrazu násobí určitou maticí a tím se dostává jeho nová souřadnice. [13]
Obrázek 5 - Příklad geometrické transformace [13]
Filtrace šumu – dá se rozdělit na několik metod. Nejprve se zmíníme o tom, co to je šum. Šum označuje nějaké obrazové znečištění, které se snažíme různým způsobem (filtrací) potlačit či redukovat. Rozeznáváme dva základní typy šumů, a to konkrétně multiplikativní model šumu a aditivní model šumu. Rozdíl mezi těmito šumy je takový, že aditivní šum není vázaný na snímaný signál, zatímco multiplikativní šum je závislý na snímaném signále.
Lze je eliminovat filtrací.
V biometrii se obvykle potkáváme s metodami, které využívají informaci jen z jediného snímku. Nejpoužívanější obrazové filtry, které se zbavují šumu, jsou mediánové filtry nebo filtry průměrování, kde se využívá metoda Gaussova filtru.
Filtrace pracuje na principu filtrační masky, která se posouvá na základě 2D konvoluce.
14 Za pomocí matematických operací se výsledná hodnota každého pixelu přepočítává a vystupuje v obraze s novou hodnotou. U průměrování jde o aritmetický průměr pixelů.
V druhé metodě se vypočítává jejich medián. [6]
Obrázek 6 - Příklad Gaussův šum, a) před; b) po; rozptyl 0,05 [14]
Morfologické operace – je technika, která byla zpočátku přiřazena binárním obrazům.
Zobecnila se až opožděně, a to i na šedo tónové obrazy. Jde o nelineární operace geometrických struktur, které používají vlastnosti bodových množin. Obraz představuje jednu množinu a druhou představuje strukturální element. Morfologickým operacím se také říká operace z obrazu na obraz, které jsou založeny na množinových operátorech.
Základními operacemi jsou eroze a dilatace. Lze je uplatnit při zaplnění malých děr v obrazech. [6]
Obrázek 7 - Základní morfologické operace [6]
Detekce hran – je jednou z nejzákladnějších technik k odhalování objektů z obrazu.
Detekce hran je určena k zdůraznění hran a důležitých prvků ve snímku. Hrany zdůrazňuje tím, že odděluje podstatné prvky od šumu a pozadí v obraze. Používá se při vyhledávání vzorů v obraze, počítačovému vidění a analýze obrazu. Existují metody, které označujeme jako hranové detektory. Ty fungují na principu aproximující první a druhé derivace jasové funkce. Metody využívají různé druhy operátorů např. Roberts, Sobel, Prewitt atd.
15
Obrázek 8 - Sobelův operátor [47]
Hranu lze definovat jako prostor, kde se pozměňuje jasová funkce pixelů.
Mezi základní modely hran patří střechová, skoková, a tenká linie, které se označují za ideální. Ve skutečném obraze ale dochází ke změně jasu postupně, proto se zde nachází hrany zašumělé. [22]
Obrázek 9 - Modely hran [22]
2.5.3 Segmentace
Segmentace je jedním z nejdůležitějších a nejsložitějších kroků analýzy obrazu.
Lze ji definovat jako proces rozdělení obrazu na jednotlivé části tzv. podobrazy oddělené od pozadí. Účelem je vyjmout a rozpoznat jednotlivé části, které obsahují podstatnou informaci o obraze, a ne upravovat nepotřebná data nebo kompletní obraz. Máme dva druhy segmentace a to dokonalou, která v praxi není dosažitelná a částečnou, kterou využíváme.
V částečné segmentaci objekty obrazu znázorňují oblasti se zhruba stejnou hodnotou jasu.
[22]
Segmentace prahování – se pokládá za nejjednodušší metodu, kdy oddělujeme daný objekt do popředí. Funguje na principu vyhledávání hodnot všech pixelů. Hledá hodnoty
16 pixelů, které jsou buď vyšší, nebo stejné jako hodnota předem zvoleného prahu. Ty tvoří objekt zájmu. Zbylé hodnoty pixelů, které jsou nižší jak hodnota prahu, tvoří pozadí. [22]
Segmentace založená na regionech – detekuje dané oblasti v obraze přímo na bázi homogenních oblastí. Rozdělujeme tři principy segmentace. Princip štěpení oblastí, princip regionálního růstu a kombinace obou principů, která se nazývá štěpení a spojování oblastí.
Princip regionálního růstu je označován za nejjednodušší metodu. Nejprve jsou vybrány pixely v obraze a postupně se rozšiřují přes oblasti až k celým segmentům. Princip štěpení pracuje obdobně. Na začátku je jedna oblast, která se postupně rozkládá na menší oblasti.
[6]
Segmentace založená na detekci hran – využívá hranové operátory, jenž byly zmíněny v předchozí kapitole. Výsledný obraz, vzniklý touto metodou, je nutné ještě dále zpracovat, protože nastává neúplná detekce obrazu nebo nekvalitní detekování hran tam, kde je přítomný šum. [6]
2.5.4 Popis obrazu
Jedná se o popis objektů z předchozí segmentace, který by měl být velmi přesný a posloužit k následné klasifikaci. Existují dva druhy popisu. Kvalitativní, který popisuje tvary, vlastnosti a vztahy mezi oblastmi. A kvantitativní, který popisuje číselné charakteristiky např. velikost oblastí nebo počet objektů. [22]
CSS (Curvature Scale Space) – neboli měřítkové zakřivení se jeví jako vhodný parametr pro popis tvaru. Jde o algoritmus, který popisuje tvar obrazu na podstatě hraničních bodů. Jedná se o velmi robustní techniku, která je zároveň velmi odolná proti šumu. [22]
2.5.5 Klasifikace
Je finálním krokem postupu zpracování obrazu. V této fázi nastává rozřazení popsaných oblastí do společných tříd dle shodných vlastností. Celkem rozeznáváme tři třídy.
Klasifikace příznaková využívá kvantitativní popis, tedy číselné charakteristiky. Kvalitativní popis využívá klasifikace syntaktická. Třetí klasifikace se nazývá hybridní a jedná se o kombinaci dvou předchozích. [22]
Metoda shlukové analýzy – se řadí mezi metody učení bez učitele. Hlavním cílem je nalézt podmnožiny tzv. shluky objektů v dané množině objektů. Tuto metodu můžeme
17 rozdělit na hierarchické a nehierarchické shlukování. Hierarchické metody se postupně dělí na vstupní soubor do skupin, zatímco nehierarchické hledají optimální rozklad množiny, který je optimální dle zvoleného kritéria optimality. Nazýváme je tedy optimalizační.
Ke shlukové analýze se využívají algoritmy K – means nebo algoritmus ISODATA. [31]
18
3 Biometrické způsoby identifikace
Jak již bylo zmíněno v předchozích kapitolách, tak biometrické vlastnosti se rozdělují do dvou kategorií. Podle nich lze rozdělit metody individuální identifikace. Některé z vybraných metod budou níže popsány. V samotné kapitole bude detailněji popsána metoda rozpoznávání obličeje, které se tato práce týká.
3.1 Metody anatomických vlastností
Anatomické vlastnosti jsou vrozené, máme je úplně každý a jejich hodnoty nejdou ovlivnit. Metody, které se těmito vlastnostmi zabývají, lze označovat za statické. Do této kategorie spadají vlastnosti znázorněné v Tabulka 2.:
Tabulka 2 - Anatomické vlastnosti + báze jejich měření [45]
Anatomické vlastnosti Báze měření
Otisk prstu struktura papilárních linií a jejich detailů
Geometrie tváře 2D / 3D vzdálenosti specifických částí – oči, nos, ústa
Termogram obličeje teplota a povrch obličeje
Geometrie ruky 2D / 3D rozměry dlaně a prstů
Sítnice oka struktura žil na očním pozadí
Duhovka oka obrazový vzorec duhovky
Struktura krevního řečiště ruky Struktura žil
Tvar ucha Rozměry viditelné části ucha
Pach Chemické složení
DNA řetězec deoxyribonukleové kyseliny
19
3.1.1 Otisk prstů
Tato metoda je stará několik let, přitom v současnosti patří k nejvyužívanější a nejznámější metodě identifikace osob. Každá lidská ruka na sobě ukrývá několik individuálních a zároveň měřitelných vlastností. Jedná se o papilární linie, které tvoří povrch prstů. Vypadají jako vrstevnice na mapách. Jsou svým tvarem ojedinělé a časově neměnné.
Papilární linie vytváří tři základní vzory, mezi které patří oblouk, vír a smyčka. Nejvíce rozšířeným vzorkem jsou smyčky. Ty lze rozdělit dále na levou a pravou smyčku. Společně zahrnují přes 65 % všech otisků. Druhým nejrozšířenějším typem jsou víry s 30 % a poslední oblouky zahrnují pouze 5 % všech otisků. [6], [11]
Obrázek 10 - Vzory papilárních linií [40]
Otisky prstů lze využívat jako klíč pro vstup do počítače, mobilního telefonu nebo k terminálu při vstupu do objektu. Stopami vytvořenými prsty se zabývá daktyloskopie, což je vědní obor, který se využívá zejména v kriminalistice. Zde se zkoumají změny papilárních linií tzv. markanty. Těch se dá vysledovat přibližně 75–175 v podobě háčků, vidliček, oček, můstků různých zkřížení apod. [11]
Obrázek 11 - Markanty [32]
3.1.2 Geometrie tvaru ruky
Systémy, které využívají biometrický princip geometrie ruky, se řadí k nejstarším systémům vůbec. Jedná se o nepříliš vhodnou biometrickou vlastnost, je vhodná k doplnění
20 jiné metody. Při této metodě probíhá verifikace délky, výšky a šířky prstů. Dále pak kontrola různého zakřivení a lokální anomálie. Využívá se spíše pro verifikaci u docházkových systémů nikoli pro identifikaci jedinců. Snímání se zpravidla realizuje obyčejnou kamerou a je možné objevit přes 31 000 význačných bodů. [45], [6]
Obrázek 12 - Metoda geometrie ruky – osy měření [6]
Označení F1 – F14 popisují jednotlivé osy měření a hodnoty vzdáleností jednotlivých bodů.
3.1.3 Oční duhovka + sítnice
Oční duhovka – je odlišná u každého jedince, a proto je velice vhodným nástrojem pro identifikaci osob. Dokonce jsou odlišné i obě duhovky každého jedince, i jednovaječných dvojčat. Šance na dvě stejné oční duhovky byla vypočítaná jako 1:1078. Tato metoda se řadí k nejpřesnějším biometrickým technikám ze všech. Mezi útvary, které se na oční duhovce sledují, patří krypty, pigmentové skvrny, pigmentové záhyby a radiální rýhy. [45]
Obrázek 13 – Oční duhovka [45]
21 Snímání se realizuje kvalitní CCD kamerou, která je umístěna uvnitř čtecího zařízení a zdrojem IR světla. Zachycený snímek se různě upravuje a vytváří se tzv. duhovková mapa a šablona pro identifikaci. Doba verifikace oční duhovky trvá přibližně 2 sekundy. [41]
Oční sítnice – je mnohem náročnější metoda identifikace než předchozí. Povrch sítnice je pokryt strukturou cév, která je jedinečná u každé osoby. Sítnice je složena z velkého množství nervových buněk, které mění světelné paprsky na signály. Dělí se na čípky, které nám umožňují vidět barevně a tyčinky umožňují vidět jen černobíle. [6]
Obrázek 14 - Oční sítnice se žlutou a slepou skvrnou [41]
Princip je založen na tom, že v blízkosti slepé skvrny se za pomocí infračervených paprsků s velmi nízkou intenzitou ověřuje obraz struktury sítnice. Používá se infračervená LED dioda, a to z důvodu, že tolik neozáří samotné oči. Záření se ihned absorbuje v nervovém systému. Díky tomu lze dobře daný obraz snímat. Aby se dospělo ke korektnímu zachycení sítnice, musí se snímaná osoba při měření dívat na určitý bod. Výsledný obraz je digitalizován a převeden na vzorek 40 bitů. Jedná se o velice kvalitní metodu využívanou na těch nejvíce střežených místech. Doba verifikace oční sítnice trvá přibližně 1,5 až 4 sekundy. [6]
3.1.4 DNA
Stavba DNA je rozdílná u všech lidí mimo jednovaječných dvojčat. S věkem se nemění, díky čemuž dokážeme rozlišit a identifikovat každého. Jedná se o kyselinu deoxyribonukleovou, která je nosičem genetické informace. DNA se získává v pěti krocích a je to časově náročné. Výsledkem se získá rentgenový snímek, který připomíná čárový kód a je jednoduché ho následně změnit do elektrické podoby. Díky tomu se dají odhalit různé nemoci, otcovství či vyšetřovat zločiny. [45]
22
3.2 Metody behaviorálních vlastností
Behaviorální vlastnosti nazýváme dynamické, neboť bývají spojené s tím, co konkrétní osoba dělá. Tím je právě ona jedinečná. U těchto metod se může stát, že porovnávací vzorky se mohou lišit, protože tyto vlastnosti lze různými způsoby ovlivnit.
Do této kategorie spadají vlastnosti znázorněné v Tabulka 3.:
Tabulka 3 - Behaviorální vlastnosti + báze jejich měření [45]
Behaviorální vlastnosti Báze měření
Hlas tón a zabarvení hlasu
Chůze porovnání křivek drah, opisující určité body na těle – hlavně těžiště
Mimika obličeje pohyb rtů při hovoru
Dynamika stisku kláves doba a prodleva stisku kláves
Písmo a podpis rozdíly v tlaku a rychlosti psaní
3.2.1 Hlasová biometrie
Hlasovou biometrii můžeme nazvat jako rychlou, pohodlnou a bezpečnou metodu, která slouží k verifikaci volajícího. Každý lidský hlas je jedinečný díky tvaru a rezonanci ústní dutiny, zubů, jazyka a hlasivek. Díky tomu zvládne jasně a zřetelně zformovat biometrický otisk jedince. Ověření identity probíhá srovnáváním předem uloženého vzorku hlasu, tzv. klíčové fráze, se samotným hlasem volajícího. Navzdory tomu, že metoda rozpoznávání mluvčího se pokládá za méně přesnou, tak v některých případech má nenahraditelné uplatnění. Metoda se využívá při verifikaci v call centrech, telefonním bankovnictví nebo přístupu do zvláštních prostor. Za hlavní výhody této metody lze považovat její nízkou cenu, relativně vysokou spolehlivost a rozsáhlé možnosti využití.
Hendikepem této metody může být to, že hlasové otisky se mohou časem měnit a je potřeba pravidelná aktualizace. Současně se mohou měnit vlivem lidské mutace, při nachlazení nebo lze hlasový otisk zaznamenat a zneužít k neoprávněnému přístupu. [1]
23
Obrázek 15 - Hlasová biometrie [2]
3.2.2 Dynamika chůze – lokomoce
Každý z nás má jedinečný hlas, duhovku oka či otisk prstu, ale také jedinečný pohyb.
Pro tuhle metodu je hlavním rozlišovacím znakem dynamická neměnnost chůze neboli bipedální lokomoce. Metoda je využitelná v kriminalistice pro identifikaci osob, kde má ohromný význam při určování totožnosti pachatelů, kteří používají ke svým trestným činům různá maskování obličeje. Dále je využitelná různě na letištích, nádražích, náměstích a podobných místech, kde se zdržuje velké množství lidí.
Obrázek 16 - Jednotlivé fáze pohybu [45]
Identifikace v této metodě zkoumá především dynamickou stálost chůze těla. Provádí se na základě konfrontace křivek drah, které kopírují dané body na lidském těle, zejména jeho těžiště. Tyto křivky jsou ojedinělé, a proto příhodné pro identifikaci. To z toho důvodu, že každý člověk je unikátní příslušným pohybovým svalově kosterním systémem a dynamickým stereotypem. [45]
3.2.3 Psaní na klávesnici
Metoda, která je určena k verifikaci uživatele a je založena na sledování dynamiky úhozů na klávesnici, rytmu psaní, velikosti tlaku stlačení nebo kombinaci kláves.
Každý z nás má tyto vlastnosti jedinečné, ale mohou se časem měnit. Tuto metodu lze využít
24 např. pro vstup k počítačům. I když se jedná o ne tak bezpečnou a dokonalou metodu jako u oční sítnice, tak jde o jasnou biometrickou charakteristiku. Využívá se zpravidla jako sekundární ověření přístupů. [1]
Obrázek 17 - Diagram zachycující psaní na klávesnici [45]
3.2.4 Dynamika podpisu
U této metody se zaznamenávají dynamické charakteristiky psaní rukou pomocí speciálního pera na speciální podložku. Sleduje se, jakou rychlostí se pero pohybuje, jak moc se na pero tlačí, směr, sklon, velikost písma a další vlastnosti. Dynamický biometrický podpis tvoří biometrickou stopu a je spojený s charakteristickým počínáním podepisujícího se jedince. Umožňuje nám velmi dobře ověřit, zda spis či dokumenty podepsala správná osoba. Neumožňuje identifikaci konkrétní osoby, která se podepsala, ale provádí její následnou verifikaci. Tuto metodu lze využít při podpisu norem, vyhlášek, zápisů z porad nebo při potvrzování objednávek, faktur, smluv s klientem apod. Potíž může nastat, kdyby si osoba zlomila ruku a nebyla schopna se přesně podepsat podle daného vzoru. [1]
Obrázek 18 - Rozbor podpisu + podpis na tablet [1]
25
4 Tvář – geometrie obličeje
Jde o metodu, která je svým způsobem jednou z nejpřirozenějších a většina z nás je s ní v kontaktu takřka dennodenně. Náš obličej lze považovat za velmi podstatný biometrický rys v oblasti bezpečnosti, který se využívá k přístupu k různým aplikacím a zabezpečovacím systémům. Identifikace funguje na principu porovnávání sejmutého obrazu se šablonou uloženou v databázi. Porovnává se tvar obličeje a umístění významných míst na obličeji jako jsou ústa, nos, oči či obočí. Rozpoznání obličeje může probíhat buďto z 2D obrazu, kde je postačující fotografie, anebo formou 3D snímání. 3D snímání se využívá v případě vyšší spolehlivosti systému a kvalitnější bezpečnosti. Snímání obličeje pro zajištění vyšší bezpečnosti lze kombinovat i s jinými druhy biometrických systémů.
Automatické rozpoznávání obličeje se skládá ze tří základních kroků. Prvním krokem je detekce a normalizace obličeje z daného obrazu, abychom jej mohli v následném kroku rozpoznat. K rozpoznávání se využívají různé algoritmy. Nejznámější z nich jsou lineární diskriminační analýzy (LDA – Linear Discriminant Analysis), analýzy hlavních komponent (PCA – Principal Component Analysis) nebo metoda neuronových sítí. V posledním kroku dochází k ověření samotného obrazu.
Tato metoda bývá využívána na letištích, vládních zařízeních, v datových centrech, nemocnicích a dalších institucích a budovách. Používá se také k prevenci a odhalování zločinů. [45], [41], [6]
4.1 Metody detekce obličeje
V prvním kroku při rozpoznávání obličeje je nezbytné jej vymezit z daného snímku.
Snímek může být pořízen z fotografie nebo z reálného prostředí např. dav lidí vystupujících z metra nebo vstupujících do haly letiště. Obličeje na snímku mohou být různě barevné, mohou mít různou pozici, orientaci, velikost i samotná mimika může být jiná. Dokonce se na snímku nemusí vyskytovat žádný obličej nebo naopak velké množství obličejů.
To vše závisí na typu scény. [41], [6]
Existuje několik způsobů, kterými lze detekovat tvář z obrazu. Metody určené k detekci se mezi sebou různě kombinují, navazují na sebe a některé postupy lze zařadit do více kategorií.
26 4.1.1 Metody založené na znalostech tváře
Jde o metody založené na pravidlech, které zachycují naše charakteristické znaky v obličeji jako je barva kůže, pozice očí, nosu či úst. Pozice a okolí očí je jednou z nejčastěji užívaných metod detekce. Obličej má ve většině případů vyobrazené obě oči, které jsou v konkrétní vzdálenosti od sebe a jsou vzájemně souměrné. Dále je prostředí oka tmavší než vyčnělé tváře. Podstatný je přesný popis a kvalitní lokalizace vztahů. To proto, aby nedocházelo k označování předmětů za obličej, ačkoli obličejem nejsou. Tato situace může nastat v případě, kdy jsou daná pravidla nadefinována příliš obecně. Naopak při definování pravidel příliš detailně, mohou být obličeje v obraze zcela opomenuty.
Jsou proto stanovené částečně obtížnější postupy. [19]
Hierarchické metody – jsou jednou z nejčastěji používaných metod, které využívají tři úrovně rozhodování. V první úrovni zpracování je vyobrazena mozaika (Obrázek 19), která představuje jednotlivé části obličejů. Ty jsou v dalších úrovních zpracovávány.
Každá buňka na obrázku uvádí průměrnou hodnotu pixelů v jedné buňce. Prostřední část mozaiky označená písmenem M o velikosti 4x4 znázorňuje obličej. Výrazné rysy jako je pusa, nos nebo oči znázorňuje světle šedá část. Tmavě šedá část zachycuje případné vousy.
Černá část po obvodu představuje vlasy. [3]
Obrázek 19 - Mozaika obličeje [3]
Zpracovaný a následně převedený obraz do nižšího rozlišení (Obrázek 20) je porovnáván s danou mozaikou.
Obrázek 20 - a) n = 1, původní obrázek; b) n = 4; c) n = 8; d) n = 16; Originální a postupné snižování rozlišení;
buňky jsou tvořeny n x n pixely, na nichž je intenzita každého pixelu nahrazena průměrnou intenzitou pixelů v této buňce [30]
27 Takovéto oblasti s potenciálním výskytem obličeje absolvují druhou úroveň. Ve druhé úrovní se provádí lokální ekvalizace histogramu a detekce hran. Výsledkem této úrovně je získání přibližného modelu obličeje, který má daný poměr pro ideální tvář. [30]
Ideální tvář → 𝑣ýš𝑘𝑎
šíř𝑘𝑎 =1+√5
2 (6.1.)
Na třetí úrovni jsou systémem hledány jednotlivé části obličeje, jako jsou ústa, nos, oči či obočí. Jako první jsou detekovány pozice očí a obočí. To se provádí vyhledáváním řádku s lokální maximální hodnotou jasu v horní oblasti modelu. Po jeho nalezení a dále nalezení lokálních minim, jsou detekovány pozice očí. Ve středu očí a lehce pod nimi se vyhledává sloupec, opět s lokálním minimem a maximem, který detekuje pozici nosu a nosních dírek. Lokální minimum signalizuje výskyt nozder. Špičku nosu označují buňky s lokálním maximem. Pár řádků pod nosem se nachází ústa, která jsou lokalizována jako homogenní oblast. [30], [12]
4.1.2 Metody na základě neměnných rysů
Tyto metody jsou založené na neměnných rysech obličeje. Takové obličejové rysy jsou neměnné například při natočení hlavy. Do kategorie těchto rysů můžeme zařadit barvu obličeje, texturu obličeje nebo obličejové struktury jako jsou obočí, oči a nos. Pro potvrzení či vyvrácení, jestli se jedná o obličej, se v těchto metodách musí ověřit způsobem, zda místo výskytu například očí souhlasí s předem popsanými geometrickými vztahy. Hlavním problémem je odlišná barva kůže, kterou můžou negativně ovlivnit vnější podmínky. [30]
Barva pleti – patří mezi vlastnosti obličeje, které je možno detekovat. Jak prokázaly studie, tak tato metoda je velmi efektivní a dokazuje, že odlišnosti nejsou v odstínu, ale spíše v intenzitě barev. Metody na základě barvy pleti používají barevné prostředí HSV (Hue Saturation Value) nebo YCbCr a to přesto, že většina obrazů je ve formátu RGB. Tento formát se ale poddává působení světelných podmínek. Metoda YCbCr se považuje za jednu z nejjednodušších. Složky RGB se musí nejprve převést na model YCbCr (kapitola 4.5.1).
Při užití této metody je vždy jeden bod označován jako pixel pleťové barvy za podmínky, že spadá do některého z intervalů. Jednotlivé pixely jsou kategorizovány dle prahových hodnot, které jsou nastaveny dle srovnávání s různými barvami kůže. Hodnoty složek pro lidskou kůži se pohybuje v intervalech 110 < 𝑌 < 190; 77 < 𝐶𝑏 < 127; 137 < 𝐶𝑟 < 177. [24]
28
4.1.3 Metody na základě porovnávání šablon
Jedná se o metody, které využívají předem stanovené šablony buď jednotlivých částí obličeje, nebo mohou využít i celý obličej. Ty se následně porovnávají se vstupními daty s cílem dosažení pozitivní detekce lidské tváře. Tyto metody jsou velmi složité a zdlouhavé a to z důvodu tvorby a definování jednotlivých šablon. Značnou nevýhodou této metody může být překrývka tváře, změna pozice nebo tvaru obličeje. Proto jsou využívány šablony k ošetření těchto rizik. [30]
Předem stanovené šablony – byly jednou z prvních metod, které využívaly několik podšablon a pracovaly na algoritmu využívající detekování tváře z předního pohledu.
Šablona se skládá z 16 oblastí, které slouží k detekci obrysu obličeje, očí, nosu, úst atd.
Úsečky, které se vyskytují na šabloně, určují vztahy mezi jednotlivými strukturami. [30]
Obrázek 21 - Šablona pro detekci tváře; znázorňuje 16 oblastí a 23 vztahů [30]
Jednotlivé podšablony jsou porovnávány s obrazem a jsou počítány oboustranné shody. Jakmile se dva obličejové znaky shodují, vzájemně se propojí. Při objevení obličejových rysů v náležitém geometrickým rozmístění je detekována tvář. [30]
Deformovatelné šablony – se začínají čím dál více využívat. Dají se upravit pro znaky lidského obličeje. Deformované šablony jsou definovány několika parametrickými přímkami a plochou. Ty mají za úkol tvarovat hlavní vlastnosti tváře, jako jsou oči, nos, ústa.
Fungují na principu postupného posouvání po obraze, kdy se tvar obličeje modifikuje za pomocí již zmíněných parametrů. Oblast lze považovat za oblast s obličejem do té doby, než hodnoty překročí určitou mez a vyhodnotí tak oblast jako podstatně rozdílnou. [30]
29
Obrázek 22 - Deformovaná šablona určená k detekci oka [30]
Deformovaná šablona oka (Obrázek 22) je velmi často využívaná. Šablona se začne ihned deformovat (kopírovat hranici, smršťovat, otáčet nebo roztahovat), jen co se přiblíží k požadovanému znaku, v tomto případě oku. [28]
4.1.4 Metody na základě vzhledu
Do poslední skupiny zařazujeme metody založené na základě vzhledu. Rozdíl mezi touto metodou a předchozími je ten, že tyto metody využívají trénovací množinu, nikoli šablony k porovnávání obrazů. Nazýváme je metody tzv. strojového určení, které využívají algoritmus např. AdaBoost. Algoritmu jsou prezentovány části snímků obsahující obličej, ale také obrazy bez obličejů. Ten musí následně posoudit, zda byla lidská tvář v obraze zahrnuta, či nikoli. [6]
Supervised lerning – Učení s učitelem – znázorňuje apriorní informaci, která popisuje klasifikaci dat do předem určeného množství klasifikačních množin. Jinak řečeno, že pro počáteční data je dopředu stanoveno správné umístění v klasifikačních třídách. Probíhá to v podstatě na předem určené trénovací sadě dat. Trénovací neboli učební sada obsahuje vstupní snímky i údaje o správnosti umístění do tříd. Jedním z představitelů je klasifikátor k-NN, který využívá paralelu nejbližších sousedů např. Euklidovská vzdálenost. [23]
Unsupervised learning – Učení bez učitele – má na rozdíl od předchozího pouze vstupní data. Nedisponuje žádnými informacemi o správném umístění do tříd. Pokud zde není přítomna ani trénovací množina dat, tak nastavování parametrů se děje zároveň s klasifikací. Příkladem tohoto učení je hierarchické shlukování nebo shluková analýza.
Mnohdy se používá v automatizovaných zařízeních. [23]
Pravděpodobnostní metody – nepracují na principu umělé inteligence. Jednotlivé obrazy jsou definovány jako proměnná y. Proměnná y je dále realizovatelná pro obličej nacházejícího se na části obrazu, díky pravděpodobnostní funkci p(y/face). Funkce
30 p(y/nonface) je realizovatelná pro část obrazu, kde se obličej nenachází. Pro zařazení obličeje, zda se v obraze nachází, se používá Bayesův vzorec či nejvyšší pravděpodobnost.
𝑃(𝑦|𝑓𝑎𝑐𝑒)
𝑃(𝑦|𝑛𝑜𝑛𝑓𝑎𝑐𝑒)> 𝑃(𝑓𝑎𝑐𝑒)
𝑃(𝑛𝑜𝑛𝑓𝑎𝑐𝑒) (6.2)
Tvář je přítomná v obraze, jestliže je splněna podmínka a výsledná hodnota v poměru je vyšší na levé straně rovnice. [12]
Detektor Viola – Jones – byl představen v roce 2001 P. Violou a M. Jonesem.
Jde o detektor objektů, který pracuje s obrazy v oblasti šedi. Jeho obrovskou výhodou je rychlost, přesnost, nezávislost na velikosti objektu a jeho osvětlení. V praxi se často využívá právě pro detekci obličejů. K natrénování používá klasifikační algoritmus AdaBoost.
Ten na základě vstupních pozitivních a negativních snímků stupňovitě sestavuje jednoduché klasifikátory. Jako jednoduché klasifikátory se používají Haarovy příznaky. Pro rychlejší chod detektoru se využívá integrální obraz a kaskády klasifikátorů. [34], [38]
a) AdaBoost – je klasifikační algoritmus, který slouží k natrénování kaskády klasifikátorů. Cílem tohoto algoritmu je vybrat ze souboru všech klasifikátorů K přesné kvantum slabých lineárních klasifikátorů k(x) tak, aby vznikl jejich lineární kombinací velmi silný nelineární klasifikátor K(x) zastupující stupně kaskády. V návaznosti na množství stupňů kaskády bude silných klasifikátorů více.
Vstup algoritmu tvoří obrázky, které se označují za pozitivní trénovací data (hledaný objekt) a negativní trénovací data (obrázky obsahující pozadí). [6], [38]
b) Haarovy příznaky – jsou vygenerovány na počátku trénovacího procesu. Příznaky jsou tvořeny několika obdélníkovými oblastmi (Obrázek 23), které se rozdělují dle druhu informace, kterou musí detekovat.
Obrázek 23 - Obdélníkové oblasti Haarových příznaků; A – hranové příznaky; B – středové příznaky; C – čárové příznaky; D – diagonální příznaky [34]
31 Takovýchto variant Haarových příznaků existuje dalších několik tisíc a to pro přesnější zastoupení obrazu. Zpravidla jsou tyto příznaky generovány pro detekční okna o velikosti 24x24 pixelů. Příznaky jsou dále oknem posouvány vertikálně či horizontálně a to vždy o jeden pixel. Hodnotu příznaku lze vypočítat jako sumu pixelů obrazu bílých částí, od kterých je odečtena suma pixelů šedých částí. Díky jejich vhodnému rozložení a určité hodnotě jsou vypátrány charakteristické struktury pro tvář. [34]
Obrázek 24 - Použití Haarových příznaků v obraze [34]
c) Integrální obraz – se využívá z toho důvodu, že při detekci Haarových příznaků jich bývá použito až 180 000. Tím vzniká zásadní problém výpočetní náročnosti odezvy jednotlivých příznaků pro celý obraz. Aby se tedy při výpočtu odezvy neustále nemusela počítat hodnota pixelů v jednotlivých obdélnících, provede se převedení obrazu na integrální. Tím se dosáhne rychlejšího a efektivnějšího výpočtu jednotlivých příznaků. [12]
Obrázek 25 - Výpočet sumy obdélníku – integrální obraz [34]
Podstatou metody je obrovský počet počátečních dat ke stanovení klasifikátoru, jenž má následně detekovat obličej. Podstatné je do počátečních dat vměstnat dostatek obrazů jak s obličeji, tak bez něj. Neboť je definováno přibližně 180 000 možných příznaků, bylo vyhledávání každého příznaku ve všech zónách obrazů velmi výpočetně náročné.
Při učení nejprve na trénovací obrázky použijeme všechny příznaky, pro které je v každé oblasti vyhledán práh. Vyhledaný práh určuje, zda se zde nachází struktura, kterou hledáme či nikoli. Takto se určí váha, která je přidělena všem příznakům. Váha stanovuje aplikaci při samotném detekování tváře z obrazu. Díky tomuto procesu se příznaky zredukují na 6 000 z původních 180 000. [34]
32 d) Kaskádové klasifikátory – nám napomáhají k tomu, že díky nim nemusíme procházet všemi příznaky, kterých je přibližně 6 000. Na všechny detekované oblasti je zpočátku použito jen pár primárních příznaků, které již mohou nepřítomnost obličeje potvrdit. V případě potvrzení jsou následně aplikovány ostatní příznaky. V případě potvrzení všech příznaků a nedojde-li ani k jednomu potvrzení nepřítomnosti obličeje, tak můžeme danou oblast definovat jako oblast, kde se nachází obličejová struktura. [6], [34]
Obrázek 26 - Kaskáda klasifikátorů [vlastní]
4.2 Rozpoznání obličeje
Identifikace tváře je dalším krokem v celém procesu rozpoznání tváře, který plynule navazuje na předchozí detekci, kde bylo hlavním cílem najít pozici tváře a prohlásit objekt za lidskou tvář. Cílem rozpoznání je najít rozdíly v každé tváři ze snímku a ty následně využít k identifikaci a zodpovědět tím otázku, kdo se nachází na snímku. [41]
Obecný postup rozpoznání obličeje lze rozdělit do několika kroků. Nejprve je nutné pořídit snímek, který chceme rozpoznávat a to buď z videozáznamu či nějaký statický snímek v podobě fotografie. Obličej na snímku se musí dále detekovat a extrahovat svoje důležité znaky, které jsou podstatné k následnému porovnání. Detekce a extrakce se mnohdy provádí současně. Na to jsou příznaky ze vstupního snímku porovnávány pomocí klasifikátorů se snímky uložených v databázi. Výsledkem je identifikace člověka či zamítnutí. [42]
33
Obrázek 27 - Schéma rozpoznání obličeje [42]
Extrakcí příznaků se vyznačují podstatné charakteristiky obličeje z daného snímku.
Jejich zvolení záleží na dané metodě a na tom, jaké vlastnosti pro detekci využívá. Extrakce se často provádí formou integrálních projekcí, které mohou být při stanovení poloh obličejových znaků velmi užitečné. Jak je vidět na obrázku níže (Obrázek 28), tak ústa a oči jdou výborně rozpoznat při horizontální projekci, zatímco nos při vertikální. [42]
Obrázek 28 - Horizontální a vertikální projekce [42]
Metody rozpoznání obličeje – lze rozdělit z hlediska rozpoznávání obličeje na dvě základní skupiny. Metody v první skupině se nazývají holistické. Ty jsou založené na porovnání celého obličeje bod po bodu, což je velkou výhodou této metody.
Tím, že se porovnává obličej jako celek, není vynechána žádná část obličeje.
Zároveň to je i největší obtíž těchto metod. Protože je obličej porovnáván pixel po pixelu, nelze touto metodou porovnávat stejnou rychlostí jako pouze části obličeje. I tento problém se daří eliminovat a existuje řada metod, které jsou velmi spolehlivé a rychlé. Řadíme sem statické metody PCA, LDA, SVM, LBP či neuronové sítě. [42]
34 Do druhé kategorie spadají geometrické metody. Jedná se o metody založené na podstatných charakteristikách obličeje, jako jsou ústa, nos, oči nebo obočí. Každý obličej je unikátní svojí geometrií, tzv. vzájemným postavení základních rysů, z čehož tato metoda vychází. Každý obličejový znak lze vyjádřit číselným vektorem, který obsahuje informace o velikosti a pozici. Účelem je analyzovat a sledovat spojitost mezi těmi podstatnými strukturami. Tyto metody jsou v současnosti využívány méně než holistické, ale dochází k jejich kombinaci. Řadíme sem metody na porovnávání obličejových vektorů nebo shlukových grafů. [19]
4.2.1 Geometrické metody
Jak bylo zmíněno výše, jde o metody, které jsou založeny na výrazných obličejových znacích. Podstatným krokem při využívání těchto metod je určit výchozí body detekovaného obličeje a zajistit, aby extrahované znaky nebyly podřízeny měřítku obličeje, jeho pozici nebo rotaci. [42]
Metoda porovnávající obličejové vektory – funguje tak, že se získá výsledný vektor z obličejových parametrů. Jednotlivé parametry představují různé vzdálenosti, umístění a úhly obličejových znaků. Při srovnávání snímku se šablonou se využívala Euklidovská vzdálenost. Tato metoda zpočátku dosahovala 75 % úspěšnosti. S postupem času se vyvíjela zvyšováním počtu obrazů v databázi a přidáváním obličejových parametrů. Tím také docházelo ke zvyšování úspěšnosti této metody. Nejvyšší úspěšnost byla 95 % při použití databáze se 685 obrazy a vektoru složeného z 35 obličejových znaků. [42]
Obrázek 29 - Obličejové znaky [4]
