1.1 D ATA MINING – METODY DOBÝVÁNÍ ZNALOSTÍ Z DATABÁZÍ
1.1.15 Metody exploratorní analýzy dat
Tabulka rozdělení četností podává informaci o počtu (četnosti) výskytu jednotlivých variant znaku v souboru. Chceme-li mezi sebou porovnávat různá rozdělení četností lišící se svým rozsahem a dospět také ke snazší interpretaci výsledků, je vhodné převést absolutní četnosti na relativní četnosti.
(a) spojnicové a sloupkové grafy
Pro grafické znázornění prostého rozdělení četností se využívá polygon četností. Na ose x jsou hodnoty znaku (xi) a na ose y jim odpovídající četnosti (ni).
(b) bodové grafy
Bodové grafy používají jako grafické prostředky body umísťované v souřadnicové soustavě. (hodnota v závorce) a od největší hodnoty k mediánu. Počet číslic za čarou udává četnost příslušné obměny tarifní třídy.
(e) krabičkový graf
Tento graf se nejčastěji používá pro zobrazení kvartilů. Přehledně znázorňuje charakter analyzované proměnné pomocí kvartilů, vnitřních a vnějších hradeb a extrémů (minimum, maximum). Slouží k identifikaci odlehlých pozorování. Základním prvkem grafu je obdélník, jehož hrany tvoří hodnoty dolního a horního kvartilu, tzn., že uvnitř obdélníku je 50 % hodnot proměnné. Uvnitř je svislou čarou vyznačen medián a popř. tečkou aritmetický průměr. [23]
1.1.16 *aivní Bayesovský klasifikátor
Takovémuto bayesovskému klasifikátoru, který namísto skutečných hodnot využívá pouze jejich odhady, se říká "naive Bayes" (naivní Bayes). [24]
1.1.17 *euronové sítě
Umělé neuronové sítě vycházejí z analogie s lidským mozkem. Podobně jako mozek jsou tvořeny množstvím navzájem propojených elementů; neuronů. V umělých neuronových sítích je neuron chápán jako buňka, která přijímá podněty od jiných neuronů, které jsou k
ní připojeny „na vstupu“. Pokud souhrnný účinek těchto vstupních podnětů překročí určitý práh, neuron se aktivuje a sám začne svým výstupem působit na další neurony. První modely neuronů a neuronových sítí se zkoumaly v rámci umělé inteligence již v 50. letech.
Důležitá (z hlediska dobývání znalostí) je schopnost těchto modelů učit se z příkladů. Na rozdíl od stromů nebo pravidel, kde jsou nalezené znalosti srozumitelné uživateli, v neuronové síti jsou znalosti „rozprostřeny“ v podobě vah jednotlivých vazeb mezi neurony.
Neuronová síť se vlastně chová jako černá skříňka; není příliš zřejmé, co se uvnitř děje. vytvořených automatizovaně z dat. Jedním z nejznámějších algoritmu pro tvorbu pravidel je algoritmus pokrývání množin pracující metodou odděl a panuj (separate and conquer).
Při pokrývání množin jde totiž o to nalézt pravidla, která pokrývají příklady téže třídy a oddělit je od příkladů třídy jiné. Pro naše data bychom nalezli pravidla uvedená na obr. 4.
Použití těchto pravidel pro rozhodování o novém klientovi je opět velice jednoduché.
Nalezneme první pravidlo, jehož předpokladům klient vyhovuje. Závěr tohoto pravidla pak určí, zda půjčit nebo ne. [5]
Tab. 1. Rozhodovací pravidla [5]
1.1.19 Rozhodovací stromy
Způsob reprezentování znalostí v podobě rozhodovacích stromů je dobře znám z řady oblastí. Vzpomeňme jen nejrůznějších „klíčů k určování“ různých živočichů nebo rostlin
známých z biologie. Indukce rozhodovacích stromů patří k nejznámějším algoritmům z oblasti symbolických metod strojového učení. Při tvorbě rozhodovacího stromu se postupuje metodou „rozděl a panuj“ (separate and conquer). Trénovací data se postupně rozdělují na menší a menší podmnožiny tak, aby v těchto podmnožinách převládaly příklady jedné třídy. Použití rozhodovacích stromů pro klasifikaci odpovídá analogii s klíči k určování rostlin nebo živočichů. Od kořene stromu se na základě odpovědí na otázky (umístěné v nelistových uzlech) postupuje příslušnou větví stále hlouběji, až do listového uzlu, který odpovídá zařazení příkladu do třídy. [5]
1.1.20 Shluková analýza
Shluková analýza patří mezi metody učení bez učitele. Jejím cílem je v dané množině objektů nalézt její podmnožiny – shluky objektů – tak, aby si členové shluku byli navzájem podobní, ale nebyli si příliš podobní s objekty mimo tento shluk. [25, 26]
Obr. 3. Objekty ve dvojrozměrném prostoru: jedná se o 2 nebo 3 shluky? [26]
1.1.21 Support vector machines
K alternativním, relativně novým metodám patří podpůrné vektory (support vector machines, SVM), které tvoří určitou kategorii tzv. jádrových algoritmů (kernel machines).
Tyto metody se snaží využít výhody poskytované efektivními algoritmy pro nalezení lineární hranice a zároveň jsou schopny representovat vysoce složité nelineární funkce.
Jedním ze základních principů je převod daného původního vstupního prostoru do jiného, vícedimensionálního, kde již lze od sebe oddělit třídy lineárně.
Tato myšlenka je v podstatě jednoduchá, jak ukazuje obrázek obr. 6. V původním dvourozměrném prostoru jsou dvě třídy, oddělené nelineární kružnicí. Přidáním další dimenze vznikne možnost prvkům třídy uvnitř kružnice přidat další souřadnici, která je posune např. nahoru podél nové osy x, takže pro oddělení obou tříd již lze použít rovinu rovnoběžnou s rovinou danou osami x1 a x2. [27]
Obr. 4. Princip vzniku možnosti lineárního oddělení dvou tříd s nelineárními hranicemi pomocí přidané dimenze [27]
1.2 Výběr vhodné metody
Cílem této části práce bylo poskytnout přehled metod používaných pro data mining. Mnohé z nich se již úspěšně používají v oblasti inteligentního řízení energetických systémů, zejména neuronové sítě, metoda podpůrných vektorů (support vector machines), rozhodovací stromy, genetické algoritmy a kombinace prediktorů. Statisticky lze přínos kombinace více samostatných metod zdůvodnit tím, že konečné chyby jednotlivých metod lze rozdělit na chyby způsobené daty a chyby způsobené samotnou metodou.
Do první kategorie chyb patří např. odchylka predikčního systému způsobená náhlou netypickou změnou vstupních hodnot, popř. jejich zcela chybným zadáním. Tyto chyby se ve výsledné predikci odrazí vždy, nezávisle na typu či kvalitě použité metody.
Druhou kategorií jsou chyby způsobené metodou samou; cílem každého systému je tuto chybu minimalizovat. Vhodným způsobem minimalizace se jeví právě kombinace více metod. Zde lze uplatnit techniku lokální komparativní výhody některé z metod. Vyplývá-li např. ze statistické analýzy úspěšnosti jednotlivých metod, že některá z nich dosahuje nejlepších výsledků za specifických podmínek (v daném měsíci, za extrémních teplot nebo v odpoledních hodinách), bude tato metoda použita přednostně právě za již zmíněných podmínek. [1]
Zdůvodnění výběru vhodné metody je uvedeno na začátku praktické části, která pojednává o analýze získaných dat. Ze všech zmíněných metod data miningu v energetickém průmyslu jsem pro analýzu získaných dat využil neuronové sítě. Proto je potřebné znát aspoň teoretické minimum k pochopení principů, na jakých neuronové sítě pracují.
2 *EURO*OVÉ SÍTĚ A PREDIKCE
Predikce neboli předpověď budoucích sledovaných veličin má obrovský význam nejen v energetickém průmyslu. Neuronové sítě mohou být použity pro predikci s různou mírou úspěchu. Jejich výhoda spočívá v automatickém učení závislostí jenom z naměřených dat bez toho, aby bylo zapotřebí přidávat další informace (jako typ závislosti u regrese apod.).
Neuronová síť se trénuje na historických datech s cílem odhalit skryté závislosti a využít je pro predikování budoucnosti. Jinými slovy, neuronová síť nepředstavuje explicitně daný model. Je to spíše černá skříňka, která je schopna se něco naučit z dat. [28]
Modely neuronových sítí se často označují jako umělé neuronové sítě (ANN) na rozlišení od biologických neuronových sítí a taktéž na zdůraznění toho, že tyto modely mají vlastnosti umělé inteligence. Tabulka 2 ukazuje, jak se neuronová síť liší od počítače a počítačových programů.
Tab. 2. Rozdíly mezi PC a neuronovou sítí [29]
*euronová síť Počítač
Je učena nastavováním vah, prahů a struktury Je programován instrukcemi, (if, then, go to,...) Paměťové a výkonné prvky jsou uspořádány
spolu Proces a paměť pro něj jsou separovány
Paralelismus Sekvenčnost
Tolerují odchylky od originálních informací Netolerují odchylky Samoorganizace během učení Neměnnost programu
Využití neuronových sítí je opravdu široké a nabývá čím dál tím více na významu. Lze je použít například na identifikaci radarových či sonarových signálů, predikci chování, klasifikaci, optimalizaci, filtraci a v mnoha dalších úkolech. [29]
2.1 Model neuronu
Stavební jednotkou neuronové sítě je zjednodušený model organického neuronu. Lidský mozek obsahuje více než 1011 neuronů. Pro téměř všechny organické neurony se dají rozeznat anatomicky tři rozdílné části: řada přicházejících vláken (dendritů), buněčné tělo (soma) a jedno vycházející vlákno (axon). Axony se rozdělují na rozličná zakončení, z kterých každé tvoří kontakt s dalšími neurony. Neuron může přijímat až 10 000 vstupů od ostatních neuronů. Struktury, kde se vlákna spojují, se nazývají synapse. [30]
Obr. 5. Zjednodušený biologický neuron [30]
Model umělého neuronu je zobrazen na obr. 6. Skalární vstupy x se násobí skalárními váhami w a vytvoří w.x a jsou zaslány do sumátoru. Odchylka b je taktéž vložena do sumátoru. Výstup sumátoru a, taktéž nazývaný jako síťový vstup, jde do transformační funkce f, která vytvoří skalární neuronový výstup y. [31]
Obr. 6. Umělý model neuronu [30] Nejdůležitější transformační funkcí je log-sigmoid. Funkce logsig má hodnoty v intervalu mezi 0 a 1. [32, 33]
1
1 a
y= e−
+ (4)
Obr. 7. Funkce log sigmoid [34]
2.2 Architektura neuronové sítě
Typická síť s dopředním šířením má neurony uspořádané v zřetelné vrstvové topologii.
Vstupní vrstva slouží k zařazení hodnot vstupních proměnných. Neurony ve skryté a výstupní vrstvě jsou navzájem spojeny se všemi složkami v předchozí vrstvě. Je možné charakterizovat sítě, které jsou částečně spojeny jenom k některým jednotkám v předchozí vrstvě; ačkoliv pro většinu aplikací jsou lepší plně propojeny sítě.
Když se síť uvede v činnost, hodnoty vstupních proměnných jsou umístněny do vstupních jednotek a pak jednotky ve skryté a výstupní vrstvě postupně vykonávají svou činnost.
Každá z nich spočítá svojí aktivační hodnotu tak, že od vážené sumy výstupů jednotek v předchozí vrstvě odečte práh (prahovou hodnotu). Aktivační hodnota projde skrz aktivační funkci a vytvoří se výstup neuronu.
Když se vykoná celá síť, výstupy z výstupní vrstvy slouží jako výstup celé sítě.
Nejznámějším příkladem učícího algoritmu neuronových sítí je backpropagation. [35]
Obr. 8. Struktura vícevrstvé sítě se vstupní, skrytou a výstupní vrstvou [30]
Metoda backpropagation se používá pro vypočítání vah w. Skládá se ze dvou kroků.
Nejdříve je potřebné vypočíst výstupy na základě vstupů a vah (dopředný krok). Dále se spočte chyba E jako suma čtverců rozdílů mezi výstupem y a očekávaným výstupem o pro všechny výstupy.
E = ∑ (ni - oi) 2 → min (5) Hodnota chyby E je použita ve zpětné kalkulaci vah (zpětný krok). Proces se opakuje tak dlouho, dokud se hodnota E nepřibližuje požadované hodnotě. Problém učení je optimalizační úloha, kde funkce E musí být minimalizována. [32, 33]
2.3 Principy predikce s neuronovými sítěmi
Velkou výhodou neuronových sítí je schopnost učit se z příkladů a schopnost zachytit nelineární závislosti. Nevýhodou je, že obecně je nemožné odhadnout rozsah chyb anebo stanovit intervaly spolehlivosti předem. Teorie neuronových sítí neposkytuje žádné vodítko na tyto problémy a proto je většina z těchto odhadů výsledkem heuristických procedur. [36]
Doporučeným typem sítě pro predikci je vícevrstvá síť s algoritmem backpropagation.
Neuronová síť s třemi vrstvami, která transformuje vstup na výstup v jednoduchém příkladě 2 vstupů a jednoho výstupu, obsahuje v první skryté vrstvě 2n+1 neuronů a v další vrstvě n.(2n+1) neuronů, to znamená topologie je například 2 vstupy – 5 neuronů – 10 neuronů – 1 výstupní hodnota. Dalšími úpravami bylo zjištěno, že aplikace Kolmogorovova teorému na problematiku neuronových sítí vede pouze k existenčnímu důkazu, že k řešení libovolného problému stačí síť o třech vrstvách.
Když mluvíme o predikci, je to stochastická (pravděpodobná) predikce, protože nikdo nedokáže zaručit, že se systém bude vyvíjet tak, jak jsme předpověděli. To, zda daný systém bude předpověditelný či ne, záleží na několika kritériích, např. na tom, jestli je systém chaotický anebo deterministický. Dalším problémem je integrita dat. Pokud nejsou trénovací data připravena dobře, výsledky budou k ničemu. Neuronové sítě mají oproti standardním technikám jako AR, MA, ARIMA tu výhodu, že nepotřebují ke své činnosti model a navíc jsou „tolerantní“ k šumu v dané časové řadě. Pojmem tolerantní zde musíme rozumět to, že i při zašuměné řadě jsou schopny dát rozumné výsledky v porovnání s klasickými metodami.
Trénovací množina dat by měla obsahovat vstupní a výstupní vektory s historickými daty pro predikci. Data v tréninkovém výstupním vektoru jsou posunuta oproti vstupům o tolik časových jednotek, o kolik chceme predikovat z historie do budoucnosti (např. 3 dny dopředu). Predikční interval je délka sekce jednoho výstupního vektoru. To znamená délka predikce pro jeden podnět. Pokud máme např. jako vstup do sítě vektor o délce dvaceti neuronů-dnů a na výstupu sítě je pouze jeden neuron-den posunut vzhledem k poslednímu vstupnímu prvku o tři dny, pak mluvíme o jednodenní predikci s předstihem o tři dny.
Pokud je na výstupu např. pět neuronů, pak mluvíme o tzv. pětidenní predikci, atd.
Z předchozího popisu je zřejmé, že existuje mnoho kombinací jak predikovat z časové řady. Počet výstupných vektorů určuje taktéž posun vektorů mezi sebou navzájem. Pokud je první predikovaný vektor v intervalu 1.1. – 5.1., druhý bude 6.1. - 10.1 a tak dále. výsledků. Mnohem lepší výsledek dostaneme, pokud predikujeme na základě historie více údajů o daném systému. Obecně platí, že čím více informací o historickém chování systému pro predikci máme, tím lepší predikci můžeme obdržet. Příklad vícenásobné predikce je na obr. 9.
Obr. 9. Vícenásobná predikce kurzů měn [29]
Existují dva druhy predikce – klasická predikce a autopredikce. Autopredikce nevyužívá nové naměřené nebo pozorované skutečné vstupní hodnoty, ale predikuje hodnoty z naší sítě jako nové vstupy. Další predikce je tak zatížená predikční chybou, která negativně ovlivňuje výsledky. Je vhodné nepoužívat autopredikci na vzdálenou predikci. [29]
2.3.2 Predikční chyba
Každá predikce se musí vyhodnotit z pohledu úspěšnosti. V praktické části jsem vyhodnocoval výsledky pomocí kritéria MAPE (průměrná absolutní percentuelní chyba):
SÍŤ Směnný kurz zítra
(6) kde At je skutečná hodnota, Ft předpovězena hodnota, n je počet predikovaných hodnot.
Výsledné číslo ukazuje průměrnou absolutní procentuální chybu, kterou je zatížený každý bod predikce. [37]
II. PRAKTICKÁ ČÁST
3 A*ALÝZA POUŽITÝCH DAT A VÝPOČET*ÍCH PROSTŘEDKŮ
V této části popíšu použitý software a data, s kterými jsem pracoval, rovněž uvedu pár informací o vybraném energetickém provozu - elektrárně Komořany.
Neuronové sítě jsem zvolil jako metodu data miningu z více důvodů. Prvním z nich byl, že jsem už něco o neuronových sítích věděl a chtěl jsem tyto poznatky použít v praxi. Druhým důvodem bylo doporučení vedoucího bakalářské práce. V teoretické části jsem rovněž ověřil informaci, podle které se neuronové sítě v energetických provozech používají zcela běžně. Dostupnost vhodného softwaru byla taky rozhodující – Matlab v sobě obsahuje mocný nástroj pro práci s neuronovými sítěmi. Posledním důvodem je zvědavost – zda se podaří na rozsáhlých datech využít software efektivně a úspěšně. snižování cen energií a zlepšování životního prostředí“.
3.1.1 Historie elektrárny Komořany
Komořanská elektrárna, největší a nejdůležitější část současné společnosti United Energy, a.s., existuje od 50. let minulého století. Od té doby několikrát změnila majitele a stala se součástí různých společností. Od svého vzniku je ale významným nezávislým producentem tepla a elektrické energie na severu Čech.
Elektrárna Komořany se začala stavět ještě během druhé světové války v roce 1943 a stavba pak pokračovala v rámci národního podniku Mostecko-sokolovských elektráren i po roce 1945. První kotel a turbogenerátor byly uvedeny do provozu v roce 1951. V padesátých letech bylo uvedeno do provozu pět kotlů o výkonu 90 tun páry za hodinu a tři kondenzační turbosoustrojí po 32 MW. Od počátku byla elektrárna zásobována hnědým uhlím přímo ze sousední úpravny. Od roku 1952 byla elektrárna Komořany součástí národního podniku Mostecké elektrárny, později jako samostatný podnik Elektrárna Komořany.
Investiční akce pod zkratkou EKY III započala v roce 1963 a jejím cílem bylo zahájení teplárenské éry Komořan. Byl postaven nový teplárenský protitlaký stroj TG 8, výměníková stanice, horkovod do Mostu a také 180 metrů vysoký komín. První teplo začalo proudit do Mostu v roce 1964 a o dva roky později byla dokončena stavba komínu, který zlepšil ovzduší v těsné blízkosti elektrárny.
V sedmdesátých letech přechází pod hlavičku tehdejších Severočeských elektráren, jejich hlavní součástí jsou Komořany, provoz veškerých rozvodů tepla v celém kraji. K elektrárně jsou přičleněny výtopny v Lounech, Teplicích a Bílině. Současně se pracuje na výstavbě dalších horkovodů z Komořan - do Chomutova (uveden do provozu v roce 1977) a Litvínova (1978).
V roce 1982 nastává pro Komořany zlom - začíná převládat teplárenský provoz nad výrobou elektřiny, o devět let později se dokonce podle toho změní i název společnosti na teplárnu.
Od března 2009 společnost mění název na United Energy, a.s. Nadále provozuje elektrárnu v Komořanech a navazující rozvody tepla pro Most a Litvínov.
3.1.2 Teplo, elektřina a vedlejší produkty
Zdrojem tepelné energie je teplárna v Komořanech u Mostu s kombinovanou výrobou tepla a elektřiny. Kotelna s deseti kotli, kterou zásobuje hnědým uhlím sousední úpravna uhlí Mostecké uhelné, a.s., má instalovaný výkon 974 MWt pro výrobu páry. Instalovaný výkon strojovny pro výrobu tepla je 505,89 MWt.
Teplem z Komořan jsou zásobovány průmyslové areály a města Most a Litvínov. Primární rozvody centrálního zásobování teplem (CZT) v majetku společnosti pro tyto lokality měří více než 77 kilometrů. United Energy zajišťuje zásobování 35 tisíc bytových jednotek v Mostě a Litvínově a dále školských a zdravotnických zařízení, úřadů, obchodů a průmyslových podniků.
Elektrická energie je vyráběna v teplárně Komořany na 8 turbogenerátorech o celkovém instalovaném elektrickém výkonu 239 MWe. United Energy v roce 2005 založila 100%
dceřinou společnost United Energy Trading, a.s., prostřednictvím které je realizován prodej elektrické energie konečným zákazníkům.
Při výrobě tepla a elektrické energie v elektrárně Komořany vznikají vedlejší produkty.
Původně odpadní látky jsou nyní využity pro výrobu certifikovaných výrobků, vhodných pro stavebnictví či k zahlazování důlních děl. Popílek vzniklý fluidním spalováním uhlí a zachycený látkovými filtry nebo směs popelovin, tzv. aditivovaný granulát je distribuován po železnici nebo nákladními auty. [38]
Poslední list 2007 má stejný datový rozsah jako list 2006. Spolu je to za tři roky 1 144 804 údajů.
Několik desítek buněk lokálně neobsahuje data – v souboru je menší neúplnost dat. Po prvním náhledu na rozsah dat můžeme konstatovat, že se jedná o data mining v pravém slova smyslu. Časová řada obsahuje 58 zaznamenaných proměnných, z nichž jsou první čtyři časové – den, měsíc, hodina a časový údaj v plném rozsahu. Další proměnné se týkají deseti kotlů (t/h), sedmi turbogenerátorů (MW), výroby, vlastní spotřeby a dodávky (MW), atmosférických teplot ve městech Most a Litvínov, průtoku, teploty topné vody a tlaku topné a vratné vody na jednotlivých výměníkových stanicích.
Pokud sečteme počet řádků souboru, dostaneme přibližně 19 738 zaznamenaných stavů energetického systému. Data jsou zaznamenány s periodou jedné hodiny. To je přibližně 822 celých dnů po 24 hodinách.
V roce 2005 jsou data časově od 1.10.2005 do 31.12.2005. Další roky jsou již datově pokryty kompletně, tzn. od 1.1.2006 do 31.12.2007.
Z množství sloupců (veličin) a řádků (naměřených stavů s periodou jedna hodina) bylo potřeba vybrat ty, které se použijí pro predikci a pro trénování neuronové sítě.
Z naměřených veličin jsem vybral tyto 4 hlavní:
t_ex Most [°C]… teplota externí ve městě Most ve stupních Celsia G Most [t/h]… množství dodané teplé vody v tunách za hodinu
Ttv Most [°C]… teplota topné vody dodané do města Most ve stupních Celsia Tvv Most [°C]… teplota vratné vody z města Most ve stupních Celsia
Další veličiny byly časové – měsíc v roku (1-12), den (1-31 dle počtu v měsíci), hodina (1-24) a den v týdnu (pondělí-neděle).
Popis dat pro rok 2005 je uvedený v tabulce 3. Časově jsou data ohraničeny od 1. 10. 2005 do 31.
12. 2005. Celkem se jedná o 2208 naměřených stavů. Data byly určeny pro učení neuronové sítě.
Tab. 3. Popis použitých dat – rok 2005
Popis dat pro rok 2006 je uvedený v tabulce 4. Časově jsou data ohraničeny od 1. 1. 2006 do 31. 3.
2006 a od 1. 10. 2006 do 31. 12. 2006 (topná sezóna). Celkem se jedná o 4368 naměřených stavů.
Data byly určeny pro učení neuronové sítě.
Tab. 4. Popis použitých dat – rok 2006
Popis dat pro rok 2007 je uvedený v tabulce 5. Časově jsou data ohraničeny od 1. 1. 2007 do 31. 3.
Popis dat pro rok 2007 je uvedený v tabulce 5. Časově jsou data ohraničeny od 1. 1. 2007 do 31. 3.