1
íloha – Zát žový test ETL nástroj
1.test - Text Input File Text Output File Popis transformace:
Data ze vstupního textového souboru jsou kopírovaná do výstupního textového souboru.
Obrázek 1: 1.transformace v PDI
Obrázek 2: 1.transformace v JasperETL 3.2.3 Po et ádk Doba trvání (s) Rychlost ( /s)
PDI 4.1.0 JasperETL 3.2.3 PDI 4.1.0 JasperETL 3.2.3
100000 3.0 0.590 33534.8 168635.75
1000000 31.70 5.090 31573.6 196463.85
5000000 153.0 24.400 32687.6 204884.49
Graf zát že
0 50000 100000 150000 200000 250000 100000
1000000 5000000
poet ádk
ádky za sekundu
JasperETL PDI 4.1.0
2 2.test - MySQL Text Output File
Popis transformace:
Data jsou tena z databáze MySQL pomocí JDBC konektoru a po té jsou zapisovaná do výstupního textového souboru.
Obrázek 3: 2.transformace v PDI
Obrázek 4: 2.transformace v JasperETL 3.2.3 Po et ádk Doba trvání (s) Rychlost ( /s)
PDI 4.1.0 JasperETL 3.2.3 PDI 4.1.0 JasperETL 3.2.3
100000 2.400 2.090 41667.0 47801.15
1000000 24.900 17.300 40151.0 57790.11
5000000 108.2 28.580 46224.8 174972.0
Graf zát že
0 50000 100000 150000 200000 100000
1000000 5000000
poet ádk
ádky za sekundu
JasperETL PDI 4.1.0
3 3.test - MySQL XML File
Popis transformace:
Data jsou tena z databáze MySQL pomocí JDBC konektoru a po té jsou zapisovaná do výstupního souboru xml.
Obrázek 5: 3.transformace v PDI
Obrázek 6: 3.transformace v JasperETL 3.2.3
Po et ádk Doba trvání (s) Rychlost ( /s)
PDI 4.1.0 JasperETL 3.2.3 PDI 4.1.0 JasperETL 3.2.3
100000 4.100 4.280 24396.1 23369.95
1000000 41.100 40.040 24358.7 24972.53
5000000 186.500 193.920 26807.0 25783.82
Graf zát že
21000 22000 23000 24000 25000 26000 27000 28000 100000
1000000 5000000
poet ádk
ádky za sekundu
JasperETL PDI 4.1.0
4 4.test –Text input file MySQL
Popis transformace:
Data jsou tena z textového souboru a zapisovaná do databáze MySQL.
Obrázek 7: 4.transformace v PDI
Obrázek 1: 4.transformace v JasperETL 3.2.3
Po et ádk Doba trvání (s) Rychlost ( /s)
PDI 4.1.0 JasperETL 3.2.3 PDI 4.1.0 JasperETL 3.2.3
100000 14.800 3.250 6746.7 30778.7
1000000 149.900 31.660 6672.2 31584.60
5000000 804.300 164.320 6216.4 30428.06
Graf zát že
0 10000 20000 30000 40000
100000 1000000 5000000
poet ádk
ádky za sekundu
JasperETL PDI 4.1.0
5
5.test –Text input file Transformace Text output file Popis transformace:
Data jsou tena z textového souboru, následn se p idá sloupec se sekvencí a provedou se tyto zm ny hodnot: id = id*7, jmeno = jmeno + ' '+prijmeni, addr=uppercase(addr). Výsledné hodnoty jsou zapsány do nového textového souboru.
Obrázek 9: 5.transformace v PDI
Obrázek 2: 5.transformace v JasperETL 3.2.3 Po et ádk Doba trvání (s) Rychlost ( /s)
PDI 4.1.0 JasperETL 3.2.3 PDI 4.1.0 JasperETL 3.2.3
100000 2.500 0.850 39354.9 117096.02
1000000 27.400 7.020 36537.7 142409.57
5000000 131.200 35.230 38110.0 141924.5
Graf zát že
0 50000 100000 150000
100000 1000000 5000000
poet ádk
ádky za sekundu
JasperETL PDI 4.1.0
6 6.test – 5.test + Lookup Table
Popis transformace:
Transformace je rozší ení p edchozího testu. Navíc se zde nahlíží do tabulky v MySQL databázi a podle id vypisuji do výstupního soboru název státu.
Obrázek 11: 6.transformace v PDI
Figure 3: 6.transformace v JasperETL 3.2.3 Po et ádk Doba trvání (s) Rychlost ( /s)
PDI 4.1.0 JasperETL 3.2.3 PDI 4.1.0 JasperETL 3.2.3
100000 3.300 0.920 30769.2 108932.46
1000000 31.900 7.660 31373.5 130633.57
5000000 147.100 40.450 33990.4 123606.34
Graf zát že
0 20000 40000 60000 80000 100000 120000 140000 100000
1000000 5000000
poet ádk
ádky z a se kundu
JasperETL PDI 4.1.0
7 7.test – 6.test + Filtering
Popis transformace:
Transformace je rozší ení p edchozího testu. Na výstupu je použit filtr, kde se porovnávají hodnoty a na základ výsledku jsou zapsány do prvního, nebo do druhého souboru.
Obrázek 13: 7.transformace v PDI
Obrázek 4: 7.transformace v JasperETL 3.2.3
Po et ádk Doba trvání (s) Rychlost ( /s)
PDI 4.1.0 JasperETL 3.2.3 PDI 4.1.0 JasperETL 3.2.3
100000 3.900 0.930 25423.3 107066.38
1000000 36.300 7.850 27566.1 127372.31
5000000 166.300 38.970 30057.2 128300.53
8 8.test – 7.test + Sort + Group By
Popis transformace:
Transformace je rozší ení p edchozího testu. Na prvním výstupu jsou výsledky nejprve se azeny a
následn je použita agrega ní funkce pomocí group by. Výsledky jsou op t zapsány do textových soubor .
Obrázek 15: 8.transformace v PDI Graf zát že
0 50000 100000 150000
100000 1000000 5000000
poet ádk
ádky za sekundu
JasperETL PDI 4.1.0
9
Obrázek 5: 8.transformace v JasperETL 3.2.3
Po et ádk Doba trvání (s) Rychlost ( /s)
PDI 4.1.0 JasperETL 3.2.3 PDI 4.1.0 JasperETL 3.2.3
100000 2.900 2.977 33967.3 33590.86
1000000 39.600 22.867 25278.7 43731.14
5000000 245.700 125.214 20352.3 39931.63
Graf zát že
0 10000 20000 30000 40000 50000 100000
1000000 5000000
poet ádk
ádky za sekundu
JasperETL PDI 4.1.0
