5.7 Monitoring sociálních médií
5.7.2 SiloBreaker
Webové stránky: http://www.silobreaker.com/
Silobreaker je společnost, která vznikla v roce 2005 a zaměřuje se na vývoj technologie a produktů pro agregování, analyzování a kontextualizaci informací.
Silobreaker provádí extrakci informací z velkého mnoţství otevřených internetových zdrojů a jejich následnou sémantickou analýzu. V nalezených datech lze dále vyhledávat, filtrovat je a dále analyzovat. Agregovány jsou jak tradiční internetové zdroje, tak sociální média. Kromě internetových zdrojů lze do nástroje importovat také vlastní data.
Extrahování entit je zaměřeno na osoby, společnosti, události a místa. Nástroj také umoţňuje odhalení trendů v rámci aktuálních zpráv. Dashboard uţivatele lze sdílet s ostatními uţivateli. Nástroj umoţňuje zasílání upozornění na významné události e-mailem, exportování výstupů do aplikací třetích stran nebo tvorbu RSS kanálů.
Nástroj Silobreaker je nabízen ve verzi Premium v ceně 299 USD / měsíc. Variantu Silobreaker Premium lze vyzkoušet v trial verzi zdarma po zaregistrování uţivatelské účtu.
Existuje také odlehčená varianta Silobreaker News Search, která byla spuštěna v roce 2008 a je nabízena zdarma, nicméně má pouze omezenou funkcionalitu oproti verzi Premium.
Obrázek 18 - schéma postupu zpracování informací v nástroji Silobreaker zdroj: http://news.silobreaker.com/Images/About/Technology.png
72 5.7.3 Spicy Mango
Webové stránky: http://code.google.com/p/spicymango/
Nástroj Spicy Mango slouţí k monitorování sociálních médií, extrahování příspěvků a jejich kategorizaci dle klíčových slov a jejich vah. Ve výchozím nastavení je k dispozici monitorování Facebooku, Twitteru, RSS kanálů, IRC kanálů a ze schránky na Gmail.
Je moţné nainstalovat a přidat další vlastní moduly a tím ještě zvýšit pouţitelnost tohoto nástroje. Nástroj vyvinul Chris Centore a představil jej na konferenci DerbyCon 2012.
Aktuálně je k dispozici beta verze, kterou lze zdarma stáhnout na webových stránkách projektu.
Princip fungování tohoto nástroje je poměrně jednoduchý – data jsou v nastavitelných časových intervalech a v určeném počtu vláken extrahována z vybraných informačních zdrojů a ukládána do lokální databáze. Extrahovány jsou všechny příspěvky obsahující klíčové slovo (nebo více slov) definované v konfiguračním souboru. Pro třídění příspěvků lze vyuţít systém rozdělení příspěvků do několika kategorií dle významnosti. Ze všech nalezených příspěvků jsou vybrány takové, které navíc obsahují některá z dalších zvolených klíčových slov mající nadefinovanou váhu. Hodnoty vah se sčítají a na základě celkové váhy jsou příspěvky tříděny na události s vysokou, střední a nízkou prioritou.
Zobrazení příspěvků a jejich rozdělení do kategorií dle významnosti je moţné prostřednictvím webového rozhraní běţícím na lokálním serveru.
Obrázek 19 - Dashboard nástroje SpicyMango zdroj: autor
Obrázek 20 - panel zobrazující průběžné výstupy v nástroji Spicy Mango zdroj: autor
5.7.4 Srovnání
Nástroje Recorded Future a Silobreaker mají velmi podobné zaměření i funkce. Mezi hlavní funkce obou srovnávaných nástrojů patří automatizovaný sběr velkého mnoţství otevřených internetových zdrojů (které zahrnují nejen sociální média, ale také klasické zpravodajské servery). Nad nalezenými daty probíhá analýza, která zahrnuje automatické rozpoznání entit a grafické znázornění výsledků. Nástroj Recorded Future i Silobreaker umoţňují zobrazení nalezených příspěvků a témat na časové ose, na mapě, jako síťový graf extrahovaných entit. Zásadnější rozdíl mezi oběma nástroji tedy spočívá v rozdílných informačních zdrojích, které jsou pouţity (v obou případech jde řádově o stovky tisíc zdrojů). Obě společnosti také pouţívají vlastní systém a algoritmy pro zpracování a analýzu textu. Kombinace rozdílných informačních zdrojů a odlišných algoritmů pro jejich zpracování můţe tedy vést k rozdílným výsledkům při pouţití obou nástrojů.
Nástroj Spicy Mango je oproti výše uvedeným nástrojům velmi jednoduchý. Umoţnuje vyhledávání pouze v několika informačních zdrojích (Twitter, Facebook, IRC kanály, RSS kanály nebo e-mailová schránka na Gmail). Výhodou je snadná instalace a jednoduchá obsluha nástroje. Při zvolení vhodné kombinace klíčových slov a jejich vah umoţňuje také jednoduchou kategorizaci nalezených příspěvků dle jejich významnosti. Jedná se o velmi jednoduchý, ale silný nástroj pro monitorování sociálních sítí v reálném čase, například při monitorování určité aktuální události.
74
5.8 Komplexní nástroje pro OSINT
5.8.1 Paterva Maltego
Webové stránky: http://www.paterva.com/web6/products/maltego.php
Paterva Maltego je účinný komplexní nástroj pro oblast Open Source Intelligence a forenzní analýzy. Umoţňuje získávání informací a jejich následnou prezentaci v přehledné grafické podobě. Společnost Paterva je soukromá společnost se sídlem v Jihoafrické republice zaloţená v roce 2007. Produkt Maltego byl zprovozněn v květnu 2008. Testována byla verze Maltego Radium 3.3.3.4115 ve variantě Commercial Edition.
Aplikace je zaloţena na platformě Java a je k dispozici pro operační systémy Windows, Linux a Mac OS. Nástroj je k dispozici ve variantě Community Edition s omezenou funkcionalitou zdarma nebo ve verzi Commercial Edition v ceně 650 USD/rok.
Paterva Maltego umoţňuje vyuţití přednastavených transformací pro získávání dat či tvorbu vlastních, tzv. lokálních transformací (Local Transformation) nezávislých na základním serveru Maltego. Pro jejich tvorbu je doporučen programovací jazyk Python.
Od verze s kódovým označením Maltego Radium je k dispozici nová funkce „Machine“
umoţňující automatické spuštění několika navazujících transformací.
Maltego umoţňuje vyhledávat a analyzovat vztahy mezi těmito entitami:
osoby,
V současné verzi je do základní funkcionality začleněno i vyhledávání v rámci sociálních sítí Twitter, MySpace a Flickr a dále v příspěvcích vloţených na Pastebin. Tento nástroj se tedy hodí pro grafickou analýzu vztahu jednotlivých uţivatelů sociálních sítí a umoţňuje vytvořit mapu těchto vztahů v několika různých pohledech. V minulosti bylo moţno analyzovat i síť Facebook, ale vzhledem k podmínkám uţívání této sítě, které takové
jednání nepovolují, byla tato funkce odstraněna. Stále je ale tato funkce „předpřipravena“
a program obsahuje příslušné ikony v základní paletě nástrojů.
Maltego je také velmi vhodným nástrojem pro grafickou analýzu síťové infrastruktury.
V rámci neoficiálního rozšíření s názvem Sploitego lze tento nástroj vyuţít také jako grafickou platformu pro penetrační testování.
Obrázek 21 - pracovní plocha nástroje Paterva Maltego zdroj: autor
76 5.8.2 Netglub
Webové stránky: http://www.netglub.org
Netglub je freewarový nástroj umoţňující získávání informací a jejich následnou prezentaci v přehledné grafické podobě, podobně jako komerční nástroj Paterva Maltego.
Právě nástrojem Paterva Maltego je Netglub výrazně inspirován a představuje vzhledem i funkcionalitou odlehčenou verzi Maltega. Netglub byl vytvořen v roce 2010 a od té doby nebyl dále vyvíjen. Testována byla verze Netglub 1.0.
Nástroj Netglub je k dispozici pouze pro Linux. Instalace je poměrně náročná, vyţaduje instalaci několika knihoven a dále pak instalaci Master a Slave modulů Netglub.
Funkcionalita nástroje Netglub je zaměřena především na mapování a grafické znázornění síťové infrastruktury a dále na vyhledávání osob, e-mailů a frází na internetu. Výstupem je grafické znázornění nalezených údajů. Další transformace lze vytvořit v jazyce Python či PHP a následně implementovat do nástroje Netglub.
Výchozí transformace nástroje Netglub:
Síťová infrastruktura DNS jména, domény, IP adresy, IP podsítě, MX záznamy, NS záznamy, URL,
Osobní údaje
e-mailová adresa, osoba,
fráze.
Obrázek 22 - pracovní prostředí nástroje Netglub zdroj: autor
5.8.3 Srovnání
Obecné srovnání Paterva Maltego Netglub
Cena $650 / 1. rok
$320 / každý další rok Zdarma
OS Windows, Mac OS X, Linux Linux
Instalace Ano Ano
Možnost přizpůsobení Ano Ano
Dokumentace Ano Ne
Technická podpora Ano Ne
Uživatelské rozhraní v češtině Ne Ne
Export výsledků Ano Ano
Tabulka 5 - obecné srovnání nástrojů Paterva Maltego a Neglub zdroj: autor
Nástroj Netglub je odlehčenou kopií nástroje Paterva Maltego. Oba nástroje na první pohled nabízí velmi podobné pracovní prostředí. Oba nástroje také nabízí sadu výchozích transformací nebo moţnost pouţití vlastních transformací a propojení s existujícími API dalších sluţeb. Výhodou nástroje Neglub je distribuce zdarma, nevýhodou je pak poměrně náročná instalace (k dispozici je verze pouze pro OS Linux). Netglub nemá k dispozici dokumentaci, pouze základní informace na webových stránkách projektu. Netglub neposkytuje support a nebyla zatím vydána ţádná aktualizace. Jedná se o vhodnou volbu pro vývojáře, kdy je moţno vyuţít otevřeného zdrojového kódu pro vytvoření vlastních rozšíření tohoto nástroje.
78
Nástroj Paterva Maltego je komerční nástroj v ceně 650 USD/rok. Jedná se v současnosti o jeden z nejoblíbenějších nástrojů pro pouţití v oblasti OSINT. Maltego je dostupné pro OS Windows, Mac OS X a Linux. Instalace nástroje je velmi snadná. Nástroj nabízí ve výchozím nastavení více transformací neţ Netglub (ale oba nástroje umoţňují vytvořit vlastní transformace). Pouţití nástroje Maltego je oproti Netglub komfortnější. Nástroj Maltego je společností často aktualizován a stále jsou vyvíjeny nové funkce.
5.9 Pokročilá analýza textu
5.9.1 Copernic Summarizer
Webové stránky: http://www.copernic.com/en/products/summarizer/
Copernic Summarizer slouţí ke shrnutí textu, tedy k jeho automatizovanému zkrácení a k detekci významných částí daného textu. Nástroj umoţňuje extrahování textů z webové stránky nebo z importovaného dokumentu. Ze získaného textu jsou pomocí technologie WebEssence automaticky odstraněny nerelevantní části (jako například text v navigačním panelu stránky, reklamní texty apod.). Nástroj pracuje s texty v anglickém, německém francouzském a španělském jazyce.
Na základě četnosti jsou definována nejvýznamnější klíčová slova v daném textu, dále uţivatel vybere rozsah zkráceného textu (v rozmezí 5 % aţ 50 % původní délky textu nebo 100 aţ 1000 slov). Nástroj nenabízí moţnosti textového editoru, takţe výsledky shrnutého textu nelze dále upravovat. Výstup lze exportovat do souboru ve formátu HTML, XML, DOC nebo TXT.
Součástí nástroje je také doplněk Copernic LiveSummarizer umoţňující práci s textem přímo v okně prohlíţeče Internet Explorer.
Plná verze Copernic Summarizer je nabízena za cenu 29 USD. K dispozici je také trial verze zdarma.
Obrázek 23 - pracovní plocha nástroje Copernic Summarizer
80 5.9.2 Tovek Tools
Webové stránky: http://www.tovek.cz/
Tovek Tools je desktopová aplikace pro vyhledávání a analýzu dat vyvinutá českou společností Tovek, s.r.o. Tato aplikace je zaměřena především na zpracování velkého objemu nestrukturovaných dat z různých informačních zdrojů. Jde o specializovaný produkt pro profesionální pouţití a jde o komplexní řešení práce s informacemi a jejich analýzou. Tomu odpovídá i vysoká cena produktu a jeho implementace (konkrétní cenu společnost Tovek na svých webových stránkách veřejně neudává). V současné době je k dispozici verze 6.4. Tento nástroj byl testován v době psaní bakalářské práce, na kterou tato diplomová práce navazuje. Společností Tovek byla tehdy zapůjčena časově omezená licence produktu Tovek Tools Analyst Pack ve verzi 4.40.
Jedná se o velmi silný produkt zejména pro oblast CI. Typickými uţivateli Tovek Tools z komerčního sektoru jsou finanční, auditorské a konzultační instituce a společnosti, výrobní a obchodní firmy či média. Ve státní správě a samosprávě je produkt uţíván především policií, armádou, zpravodajskými sluţbami nebo ministerstvy.
Vzhledem k vysoké náročnosti práce s Tovek Tools nabízí společnost Tovek ke svým produktům rozsáhlou produktovou dokumentaci a nabízí moţnost školení. K dispozici je také technická podpora.
Z výše uvedeného vyplývá zařazení pro vyuţití vyhledávání informací o osobách.
Takovýto komplexní produkt je vhodný například pro vyhledávání informací, souvislostí a vztahů o veřejně známých osobnostech, při napojení Tovek Tools na některou mediální databázi (např. Anopress). Další moţností vyuţití je sofistikovaná analýza rozsáhlých databází, připojených k Tovek Tools prostřednictvím ODBC zdroje. Případně by produkt mohl být pouţit pro analýzu souboru poštovním sloţek ve formátu .pst vyexportovaném z aplikace MS Outlook. Obecně ale Tovek Tools neřeší původ informačních zdrojů, pouze umoţňuje následnou práci s předem připojenými zdroji.
Varianty produktu Tovek Tools
Standardně se produkt Tovek Tools dodává ve dvou variantách Tovek Tools Search Pack a Tovek Tools Analyst Pack, zahrnujících následující aplikace:
Tovek Tools Search Pack Index Manager,
o umoţňuje připojení informačních zdrojů a jejich následnou ruční či automatickou indexaci,
Tovek Agent,
o aplikace k vyhledávání dokumentů dle zadaného dotazu.
Tovek Tools Analyst Pack Index Manager, Tovek Agent, InfoRating,
o umoţňuje kontextovou analýzu dokumentů; výsledek je zobrazen pomocí kontextové matice, diagramu vazeb nebo pomocí grafu,
Fulltext Plug-in pro Analyst‘s Notebook,
o napojení na informační zdroje prostřednictvím Tovek Tools a následnou práci s nimi v prostředí Analyst‘s Notebook,
Query Editor,
o nástroj k vytváření sloţitějších dotazů ve formě hierarchické struktury pro velmi přesnou formulaci vyhledávacího dotazu,
Harvester,
o umoţňuje analýzu dokumentů a výběr relevantních slov a jejich vztahů za pouţití statistických metod.
Obrázek 24 - Tovek Tools – Harvester zdroj: autor
82 5.9.3 Cogito semantic technology Webové stránky: http://www.expertsystem.net/
Cogito semantic technology je patentovaná technologie vyvinutá italskou společností Expert System S.p.A., která vznikla v roce 1989 a je jedním z předních společností v oblasti vývoje sémantické analýzy a dalších pokročilých metod pro zpracování textu.
Produkty společnosti Expert System jsou uţívány v komerční i vládní sféře.
Všechny produkty společnost Expert System jsou zaloţeny na zmíněné technologii Cogito semantic technology a jsou zaměřeny především na následující oblasti:
analýza rozsáhlých dat
přeměna nestrukturovaných dat na strukturovaná rozpoznávání entit v libovolném typu textu
automatické pochopení významu slov v souladu s kontextem identifikace skrytých vztahů mezi entitami
Produktové portfolio společnosti zahrnuje celkem 7 typů produktů:
Cogito intelligence platform
o přístup ke strategickým informacím v reálném čase Cogito search explore engine
o vyhledávání, analýza a korelace informací Cogito categorizer
o kategorizování velkého objemu dokumentů Cogito discover
o extrakce dat a metadat z nestrukturovaného textu Cogito semantic tagger
o Aplikování sémantiky v Microsoft SharePoint pro efektivnější spolupráci a sdílení informací
Cogito answers
o sémantická technologie aplikovaná pro péči o zákazníky Cogito studio
o vývoj customizovaných sémantických aplikací
Obrázek 25 - transformace nestrukturovaných dat na strukturovaná pomocí technologie Cogito zdroj: http://www.expertsystem.net/images/tecnologia/cogito_scheme.jpg
84 5.9.4 Basis Technology
Webové stránky: http://www.basistech.com/
Basis Technology je americká společnost, která vznikla v roce 1995 a zabývá se vývojem nástrojů pro analýzu textů a zpracování velkého objemu dat, monitorování sociálních médií nebo pro forenzní analýzu digitálních dokumentů. Mezi zákazníky patří přes 60 vládních organizací a přes 200 komerčních společností z celého světa.
Nástroje společnosti Basis Technology umoţňují velmi pokročilou analýzu textu, která je zaloţena na vlastní platformě Rosette Linguistics Platform. Tato platforma slouţí k transformaci nestrukturovaný text do strukturované podoby a umoţňuje automaticky rozpoznat pouţitý jazyk a kódování, transformovat text do formátu pro další zpracování, provedení lingvistické analýzy, extrahování entit (např. osob, míst a organizací), indexování jmen v odlišných formách hláskování a v různých jazycích a překlad cizích jmen do anglického jazyka.
Obrázek 26 - schéma procesu zpracování textu pomocí Rosette Linguistics Platform zdroj: http://www.basistech.com/products/
5.9.5 Srovnání
Nástroj Copernic Summarizer nelze srovnávat s ostatními zmíněnými nástroji, jedná se o nástroj, který se věnuje pouze velmi základní analýze textu a jde o jednoúčelově zaměřený nástroj k automatické sumarizaci textu.
Ostatní zmíněné nástroje naopak představují vrchol v oblasti komerčních nástrojů pro pokročilou analýzu textu.
Sadu nástrojů Tovek Tools je nutné napojit na kolekce dat, ze kterých nástroj dále provádí hledání a analýzu. Můţe se jednat například o napojení na mediální databázi Anopress nebo o databází připojenou prostřednictvím ODBC. Nástroj Tovek Tools. Nástroj však není primárně určen pro vyhledávání informací z online zdrojů, coţ je také základní rozdíl oproti dalším zmíněným nástrojům.
Nástroje pouţívající technologie Cogito semantic technology a nástroje společnosti Basis Technology mají stejné zaměření. Jejich hlavním cílem je automatizovaný sběr velkého mnoţství informačních zdrojů v mnoha různých světových jazycích a následně automatizovaný proces porozumění textu, tedy přesněji rozpoznání významu jednotlivých slov s ohledem na jejich kontext. Oba nástroje také umoţňují automatickou extrakci entit a jejich grafické znázornění. U obou nástrojů je moţná integrace s dalšími informačními systémy nebo aplikacemi. Ceny obou nástrojů jsou velmi vysoké (ale neveřejné). Kvalitu obou uvedených řešení dokazuje fakt, ţe mezi klienty obou firem patří velké mnoţství subjektů z komerční i vládní sféry.
86
5.10 Vizuální analýza dat
5.10.1 Paterva CaseFile
Webové stránky: http://www.paterva.com/web6/products/casefile.php
Paterva CaseFile je desktopová aplikace slouţící k vizuální analýze dat a tvorbě síťových grafů. Jde o nástroj velmi podobný nástroji Paterva Maltego, ale bez moţnosti provádět transformace. Nenabízí tedy moţnost vyhledávání a získávání informací, ale je zaměřen na jejich grafické zpracování a grafickou analýzu.
CaseFile slouţí také jako nástroj k odhalení vztahů a vazeb mezi různými typy získaných informací. Jiţ ve výchozím nastavení je k dispozici rozsáhlá databáze ikon, případně lze do programu importovat ikony vlastní. Nástroj je nabízen ve variantě Community Edition zdarma nebo ve verzi Commercial Edition v ceně 200 USD/rok.
Obrázek 27 - pracovní plocha nástroje Paterva CaseFile zdroj: autor
5.10.2 IBM i2 Analyst´s Notebook
Webové stránky českého distributora: http://www.tovek.cz/produkty-i2-analyst-s-notebook IBM i2 Analyst's Notebook je desktopová aplikace vyvinutá společností i2 (která je nyní součástí IBM) zaměřená na vizuální analýzu dat a jejich následnou prezentaci.
Vizuální zobrazení dat umoţňuje analyzovat vztahy mezi osobami nebo organizacemi v přehledné formě. Umoţňuje také rychle identifikovat vzory v analyzovaných datech, které by za pouţití jiných metod mohly zůstat skryty.
Jde o nástroj s velmi pokročilými moţnostmi, čemuţ odpovídá také cena v řádu statisíců Kč. Typickými uţivateli tohoto produktu jsou kriminalisté, bezpečnostní a silové sloţky, armáda, ale i firemní sektor. Někdy se lze s výstupy tohoto nástroje setkat také v médiích.
V ČR je dodavatelem tohoto produktu v lokalizované verzi společnost Tovek, aktuálně je k dispozici verze IBM i2 Analyst´s Notebook 8.9.5 v české lokalizaci. Společnost Tovek také nabízí plugin pro spolupráci s produktem Tovek Tools.
Obrázek 28 - pracovní plocha Analyst's Notebook
zdroj: http://www-01.ibm.com/software/industry/i2software/images/740x550_i2_3.jpg
88 5.10.3 Srovnání
Rozdílnost srovnávaných nástrojů, tedy Paterva CaseFile a IBM i2 Analyst's Notebook, je dána uţ samotným zaměřením cílové skupiny uţivatelů těchto nástrojů.
Nástroj Paterva CaseFile (v ceně 200 USD) je velmi dobrý nástroj pro vizualizaci především menšího rozsahu dat, neumoţňuje však další moţnosti práce s daty nebo propojení s dalšími existujícími nástroji. Jde tedy především o nástroj, který slouţí k základní vizuální analýze dat.
Nástroj IBM i2 Analyst's Notebook je světovým standardem v oblasti vizuální analýzy dat. O kvalitě tohoto nástroje hovoří především dlouhodobé pouţití informačními specialisty z komerční i vládní sféry v mnoha světových zemích. Jedná se o velmi sofistikovaný profesionální nástroj umoţňující kromě samotné vizualizace také vyhledávání a další práci s daty nebo propojení s dalšími nástroji (např. napojení na Tovek Tools). Profesionálnímu pouţití odpovídá také cena tohoto nástroje, která se (včetně podpory) pohybuje v řádu statisíců.
6 Modelová OSINT analýza vybraného subjektu
Tato kapitola si klade za cíl popsat modelový postup při OSINT analýze. Z důvodu ochrany osobních údajů však nelze v plném rozsahu uvést výstupy některých uvedených postupů nebo nástrojů. Proto byla zvolena právě cesta obecného praktického postupu řešení OSINT analýzy. Uvedený postup popisuje variantu zjištění informací o společnosti, její webové prezentaci, síťové infrastruktuře, informací o společnosti v tradičních
Tato kapitola si klade za cíl popsat modelový postup při OSINT analýze. Z důvodu ochrany osobních údajů však nelze v plném rozsahu uvést výstupy některých uvedených postupů nebo nástrojů. Proto byla zvolena právě cesta obecného praktického postupu řešení OSINT analýzy. Uvedený postup popisuje variantu zjištění informací o společnosti, její webové prezentaci, síťové infrastruktuře, informací o společnosti v tradičních