Motivace a metodika

(1)

aneb Unix pro (m´ırnˇ e) programuj´ıc´ı lingvisty

Ondˇrej Bojar

bojar@ufal.mff.cuni.cz 25. leden 2006

(2)

Pˇrehled

• Motivace a metodika

• Výhody ˇrádkového rozhran´ı (bash)

• Unix je nástroj na práci s textovými soubory (textutils)

• Make pro lepˇs´ı pˇrehled procesech v´yroby soubor˚u

• CVS pro lepˇs´ı pˇrehled o historii i lepˇs´ı poˇr´adek v souˇcanosti

(3)

Motivace a metodika

Proˇc se uˇcit nˇeco nov´eho:

• automat ˇsetˇr´ı ˇcas (naprogramuju jednou, pouˇziju mockr´at)

• program je dobrá dokumentace (mám rovnou peˇclivˇe zapsáno, jak jsem pokus provádˇel)

Jak se uˇcit Unix:

• po kapk´ach, prax´ı, najednou je toho nezvl´adnutelnˇe moc

• postupným obohacován´ım repertoáru známých pˇr´ıkaz˚u a pˇrep´ınaˇc˚u

(4)

V´ yhody ˇr´ adkov´ eho rozhran´ı (bash)

• pˇr´ıkazy mohou b´yt pˇresnˇejˇs´ı a pestˇrejˇs´ı neˇz pˇr´ıkazy ud´ılen´e myˇs´ı

• snadno srozumitelné pro poˇc´ıtaˇc ⇒ snadno strojovˇe zpracovatelné – pohodlnˇe reprodukovatelné pouhým copy-paste

– pohodlnˇe zobecnitelné (nahraˇd konkrétn´ı jména promˇennými)

• pln´a s´ıla programovac´ıch jazyk˚u (vˇetven´ı, cykly)

• pohodlné propojován´ı program˚u, navazuj´ıc´ı výpoˇcty bash = Bourne-Again Shell

⇒ man bash

(5)

Z´ akladem Unixu je roura

cat defined-vallex-frames.txt

absolvovat 0 0 1 phase verb absolvovat-1 ACTobl(#nom) PATobl(#aku) absolvovat 0 0 2 - absolvovat-2 ACTobl(#nom) PATobl(#aku)

akceptovat 0 0 1 - akceptovat-1 ACTobl(#nom) PATobl(#aku,ze)

. . .

cat defined-vallex-frames.txt | head -2

cat defined-vallex-frames.txt | cut -f 1 absolvovat

absolvovat akceptovat

(6)

Jeˇstˇ e roura a jeˇstˇ e roura a pˇresmˇ erov´ an´ı

cat defined-vallex-frames.txt | cut -f 1 | sort | uniq -c 2 absolvovat

1 akceptovat 1 analyzovat

Pˇresmˇerov´an´ı na standardn´ı vstup programu a do souboru:

cat vstup | head a cat vstup > head Pˇresmˇerov´an´ı obecnˇe:

program < standardn´ı-vstup > standardn´ı-výstup 2> chybový-výstup program < standardn´ı-vstup >> prodlouˇzen´ı-existuj´ıc´ıho-souboru

program1 2> &1 | program2-dostane-na-vstup-spojený-std-a-chyb-výstup program1 `program2-výstup-vygeneruje-pˇr´ımo-na-pˇr´ıkazovou-ˇrádku`

(7)

N´ aˇs prvn´ı skript

• Z uˇziteˇcn´eho ´useku roury si udˇelej skript:

echo ”sort | uniq -c” > suc

• Nastav mu pˇr´ıznak spustitelnosti:

chmod +x suc

• Um´ısti skript do svého (novˇe vyrobeného) osobn´ıho adresáˇre skript˚u:

mkdir -p ˜/bin; mv suc ˜/bin

• Rekni bashi, aˇt programy (skripty) hled´aˇ pˇrednostnˇe v tom osobn´ım adres´aˇri:

export PATH=˜/bin:$PATH

cat defined-vallex-frames.txt | cut -f 1 | suc | head -2 2 absolvovat

1 akceptovat

(8)

Promˇ enn´ e v bashi a v prostˇred´ı

• Nastavit promˇennou pouze v bashi:

pozdrav=ahoj

• Nastavit promˇennou v bashi a prostˇred´ı pro vˇsechny d´ale spuˇstˇen´e programy:

export pozdrav=ahoj

Otestujme to:

echo ’echo ”Zdravim: $pozdrav”’ > test-pozdravu cat test-pozdravu

echo "Zdravim: $pozdrav"

sh test-pozdravu Zdravim:

pozdrav=ahoj; sh test-pozdravu Zdravim:

export pozdrav=nazdar; sh test-pozdravu Zdravim: nazdar

(9)

Souhrn oper´ ator˚ u pro ˇrazen´ı program˚ u v bashi

pgm1 | pgm2 v´ystup pgm1 bude pˇred´an jako vstup do pgm2

pgm1 ; pgm2 po ukonˇcen´ı pgm1 bude spuˇstˇen (nez´avisle) pgm2, obˇema lze pˇrismˇerovat vstup

má stejný význam jako nový ˇrádek ve skriptu

pgm1 && pgm2 pokud spuˇstˇen´ı pgm1 skonˇc´ı ´uspˇechem, bude spuˇstˇen i pgm2 pgm1 || pgm2 pokud pgm1 skonˇc´ı ne´uspˇechem, bude spuˇstˇen pgm2

Kulat´e z´avorky znamenaj´ı: spusˇt sekvenci v podshellu.

(cat vstup1.txt ; zcat vstup2.txt.gz) | sem-poteˇcou-data-z-obou-soubor˚u

(10)

Unix je n´ astroj pro pr´ aci s texty

• Pˇrehled z´akladn´ıch uˇziteˇcn´ych program˚u:

⇒ info coreutil

cat tac nl wc výpis, obrácený výpis, ˇc´ıslován´ı a poˇc´ıtán´ı ˇrádek less prohl´ıˇzen´ı dlouhého výpisu: cat dlouhy | less

cut paste join vyˇrezáván´ı sloupc˚u a spojován´ı soubor˚u po sloupc´ıch tee rozvˇetven´ı roury: cat vstup | tee stranou | . . . grep výbˇer zaj´ımavých ˇrádek ze vstupu

sed tr awk jednoduˇsˇs´ı i sloˇzitˇejˇs´ı ´upravy text˚u

• Nˇekter´e uˇziteˇcnosti ale chyb´ı:

⇒ http://www.cuni.cz/~obo/textutils

⇒ ls /home/bojar/tools/{vimtext,shell}/

• A nezapomeˇnte si vyr´abˇet vaˇse vlastn´ı!

(11)

Make: recept, co z ˇ ceho vznik´ a

⇒ info make

• Make je p˚uvodem nástroj pro programátory: z jakých zdrojových soubor˚u kompilovat pomoc´ı jakých kompilátor˚u jaké programy.

• Make pro lingvisty poslouˇz´ı stejnˇe: z jakých dat jakými postupy generovat jaké pˇrehledy, souhrny ˇci jiná data.

Pravidla zapisujte do souboru Makefile. Struktura pravidla pro make:

cilovy-soubor: zdrojovy-soubor1 zdrojovy-soubor2

prikaz1 < zdrojovy-soubor1 > /tmp/pomocny-soubor

prikaz2 zdrojovy-soubor2 < /tmp/pomocny-soubor < cilovy-soubor

↑ tabul´ator, nikoli mezery!

Kaˇzdý ˇrádek spuˇstˇen v novém shellu ⇒ nelze pˇredat promˇenné, ani pˇres prostˇred´ı, pokud ˇrádky nespoj´ım.

(12)

Pˇr´ıklad: Makefile pro poˇ c´ıt´ an´ı frekvenc´ı

Takto vypad´a pˇripraven´y Makefile cat Makefile

entries.freq: defined-vallex-frames.txt cat $< | suc > $@

Takto jej pouˇzijeme – necháme vyrobit výstupn´ı soubor a prohlédneme si ho:

make entries.freq head -2 entries.freq

2 absolvovat 1 akceptovat Po zmˇenˇe vstup˚u:

touch defined-vallex-frames.txt

pˇr´ıkaz make entries.freq pˇregeneruje i v´ystupy, bez zmˇen by nedˇelal nic.

(13)

Promˇ enn´ e v pravidlech

Pravidlo pracuj´ıc´ı pro v´ıce r˚uzn´ych vstup˚u:

entries-version-%.freq: defined-vallex-%-frames.txt cat $< | suc > $@

make entries-version-1.0.freq zpracuje defined-vallex-1.0-frames.txt make entries-version-1.5.freq zpracuje defined-vallex-1.5-frames.txt

Promˇenn´a V´yznam

$< zastupuje n´azev prvn´ıho ze vstupn´ıch soubor˚u

$^ zastupuje n´azvy vˇsech vstupn´ıch soubor˚u

$@ zastupuje n´azev v´ystupn´ıho souboru

$* zastupuje tu ˇc´ast, kter´a odpov´ıdala % (napˇr. 1.0)

$(HOME) promˇenná z prostˇred´ı (na rozd´ıl od bashe nutné závorky)

$$ zastupuje prostˇe znak dolar, $

(14)

Sloˇ zitˇ ejˇs´ı pˇr´ıklad: maxim´ aln´ı dosaˇ ziteln´ e pokryt´ı pˇri uˇ cen´ı se VALLEXov´ ych hesel

Ukol je vyhodnotit maxim´aln´ı teoreticky dostupn´y recall algoritmu:´

• Vstup: VALLEXov´a hesla pro mnoˇzinu tr´enovac´ıch sloves, mnoˇzina testovac´ıch sloves

• Výstup: Algoritmem navrˇzené rámce pro testovac´ı slovesa.

Algoritmus pˇritom mus´ı brát trénovac´ı rámce jako nedˇelitelné celky a jen je pro testovac´ı slovesa pouˇz´ıt (nebo nepouˇz´ıt).

• Dostupný recall ˇr´ıká, jak ˇcasto sloveso z principu nem˚uˇze dostat nˇejaký sv˚uj rámec, protoˇze takový rámec nebyl u ˇzádného trénovac´ıho slovesa vidˇet.

(15)

Postup ˇreˇsen´ı

• defined-vallex-frames.txt pˇrevedeme tak, aby na kaˇzdé ˇrádce byly vˇsechny rámce daného slovesa, kaˇzdá ˇrádka aˇt odpov´ıdá právˇe jednomu slovesu

• soubor pak rozdˇel´ıme na tr´enovac´ı a testovac´ı ˇr´adky

• nap´ıˇseme malý perlový skript, který vypoˇc´ıtá dostupný recall pro daný trénovac´ı a testovac´ı soubor

joined: defined-vallex-frames.txt

# tady nejak spoj radky odpovidajici jednomu slovesu training: joined

skip 100 < $< > $@

test: joined

head -100 < $< > $@

vysledek: training testing zmerit-recall.pl ./zmerit-recall.pl training testing > $@

Nakonec zavol´ame make vysledek.

(16)

Jak spojit ˇr´ adky pro jedno sloveso

Vstup:

akceptovat 0 0 1 - akceptovat-1 ACTobl(#nom) PATobl(#aku,ze)

joined: defined-vallex-frames.txt

cut -f1,7 $< \ vyseknout lemma slovesa a r´amec

| split_at_colchange 1 \ m˚uj jednoduchý nástroj pˇridá volné ˇrádky

| tr ’\n’ ’|’ \ nahraˇd konce ˇr´adk˚u speci´aln´ım znakem

| sed ’s/||/@/g’ \ dvojici konc˚u ˇr´adk˚u nahraˇd dalˇs´ım speci´aln´ım znakem

| tr ’@’ ’\n’ \ ze speciáln´ıho znaku udˇelej zpátky konec ˇrádku

> $@ uloˇz v´ysledek

V´ystup:

absolvovat ACTobl(#nom) PATobl(#aku)|absolvovat ACTobl(#nom) PATobl(#aku) akceptovat ACTobl(#nom) PATobl(#aku,ze)

argumentovat ACTobl(#nom) MEANStyp(#instr,ze) PATopt(proti#dat,pro#aku)

(17)

Jak spoˇ c´ıtat dosaˇ ziteln´ y recall?

. . . to je cviˇcen´ı z Perlu, za dom´ac´ı ´ukol :)

• Naˇc´ıst dva soubory po ˇr´adc´ıch, druh´y sloupec vˇzdy rozdˇelit (split) na znaku ’|’.

• Z prvn´ıho souboru se nauˇcit mnoˇzinu známých rámc˚u.

• U druhého souboru spoˇc´ıtat, kolik rámc˚u bylo spatˇreno v mnoˇzinˇe známých rámc˚u.

• Recall = pod´ıl tˇech spatˇren´ych ke vˇsem testovac´ım.

Neˇz se skript zmerit-recall.pl podaˇr´ı odladit, budeme opakovanˇe zad´avat make vysledek, abychom skript spustili.

Nakonec se v´ysledek dozv´ıme takto:

cat vysledek ⇒ 67.5 %

(18)

Lepˇs´ı pr´ ace s daty: n-fold evaluation

• Výsledek pˇredeˇslého pokusu je nestabiln´ı, záleˇz´ı na konkrétn´ıch vybraných slovesech (vzali jsme slovesa od zaˇcátku abecedy!)

• Stabilnˇejˇs´ı výsledek dostaneme tak, ˇze pokus budeme opakovat desetkrát, vˇzdy jednu desetinu sloves pouˇzijeme jako test a ostatn´ı k trénován´ı.

M˚uj skript nfold pr´avˇe tohle ˇreˇs´ı. Obohaˇtme Makefile:

stabilni: joined zmerit-recall.pl

nfold "./zmerit-recall.pl %train %test" < $< > $@

• nfold naˇcte vˇsechny ˇr´adky ze vstupu, zam´ıch´a poˇrad´ı, rozdˇel´ı na desetiny

• pak spust´ı daný shellový skript (program s parametry) celkem desetkrát, pˇriˇcemˇz vˇzdy pˇriprav´ı trénovac´ı a testovac´ı soubor a speciáln´ı ˇretˇezec %train a %test nahrad´ı jmény pˇr´ısluˇsných soubor˚u

(19)

Jak to dopadlo

make stabilni ; cat stabilni 1 85.43

2 91.58 3 90.00 4 93.24 5 90.09 6 88.01 7 94.25 8 92.34 9 92.29 10 90.95

• Uˇz prosté prom´ıchán´ı sloves vedlo k podstatnˇe jinému výsledku: 85 m´ısto 67 %

• Je vidˇet, jak rozpt´ylen´e hodnoty jsou: 85 aˇz 94 %

/home/bojar/tools/shell/grp –keys= –items=AVG2,STDDEV2 < _stabilni

⇒ 90.82±2.60

(20)

Co kdyˇ z by VALLEX byl menˇs´ı?

vyvoj: joined rm -f $@

for i in 50 100 200 500 1080; do \ cat $< \

| shuffle \

| head -$$(($$i+50)) \

| nfold --testsize=50 "./zmerit-recall.pl %train %test" \

| prefix --tab $$i \

>> $@ ; \ done

for i in ...; do cmd; done cyklus v bashi, promˇenn´a i

$i hodnota bashovsk´e promˇenn´e $i

$((1+2)) v´ypoˇcet v´yrazu v bashi

dvoj´ı dolar nutno ps´at kv˚uli make

shuffle, prefix moje nástroje na prom´ıchán´ı ˇrádek a pˇridán´ı prefixu

(21)

Jak to dopadlo

make vyvoj ; head -5 vyvoj

↓ pˇridal prefix, velikost tr´enovac´ı sady

↓ pˇridal nfold, ˇc´ıslo skupiny

↓ samotn´y v´ysledek skriptu zmerit-recall.pl

50 1 30.98

50 2 35.22

100 1 41.67

100 2 50.45

100 3 53.43

. . .

grp –keys=1 –items=AVG3,STDDEV3 vyvoj | sort -n

50 33.10 3.00

100 48.52 6.11

200 56.69 2.94

500 76.99 4.10

1080 90.92 2.62

. . . na generov´an´ı tohoto pˇrehlednˇejˇs´ıho v´ystupu se samozˇrejmˇe hod´ı navazuj´ıc´ı pravidlo v Makefile.

(22)

Udrˇ zet poˇr´ adek, sd´ılet s kolegy / na v´ıc poˇ c´ıtaˇ c´ıch

CVS = Concurrent Versions System

⇒ man cvs

⇒ http://ufal.mff.cuni.cz/~semecky/vallex/documents/navod cvs/

• Pro vˇsechny úˇcastn´ıky existuje jeden spoleˇcný depozitáˇr (repository).

• Jednou za ˇzivot si kaˇzd´y vyrob´ı odˇstˇepek: pracovn´ı adres´aˇr (cvs check-out).

• Pravidelnˇe se v pracovn´ım adres´aˇri:

– zaregistrov´avaj´ı nov´e soubory (cvs add),

– vkládaj´ı platné verze do repozitáˇre, aby byly k dispozici vˇsem (cvs commit), – aktualizuj´ı pracovn´ı verze podle toho, co udˇelali jin´ı (cvs update).

Existuj´ı i modernˇejˇs´ı implementace (Subversion, svn) nebo pˇr´ıstupy (git).

(23)

V´ yhody CVS

Oˇcividn´e (proto bylo CVS vyvinuto):

• pohodln´e “kop´ırov´an´ı” soustav pracovn´ıch soubor˚u mezi lidmi ˇci poˇc´ıtaˇci

• pohodln´e ˇreˇsen´ı pˇr´ıpadn´ych konflikt˚u

• podrobný pˇrehled o historii soubor˚u (moˇznost kdykoli se vrátit) Ménˇe nápadné:

• vede k peˇclivému oddˇelen´ı citlivých soubor˚u (nároˇcné na výrobu, ruˇcn´ı práce ap.) a soubor˚u odvozených pomoc´ı Makefil˚u

Do CVS pˇridávám (add) právˇe ty drahé soubory, neaktuáln´ı naopak odstraˇnuji (cvs remove).

• snadno se otestuje, ˇze nic z´akladn´ıho v CVS nechyb´ı

Udˇelám ˇcistý check-out (hraju si na nového uˇzivatele), nechám vˇse vybudovat od základu.

(24)

Sl´ıben´ a smrˇsˇt experiment˚ u

• Kaˇzd´y experiment bude m´ıt sv˚uj podadres´aˇr: exp-pokus1, exp-pokus2. . .

• Budu m´ıt jeden spoleˇcný Makefile.common s obecnými pravidly a kaˇzdý experiment bude m´ıt ve svém podadresáˇri vlastn´ı Makefile:

Takto se jeden Makefile vˇcleˇnuje do jin´eho:

include ../Makefile

• Kaˇzdý Makefile bude (po svém) reagovat na dohodnuté c´ıle:

for e in exp-*; do cd $e; make results; cd ..; done

• Takto spoj´ım v´ysledky vˇsech experiment˚u pro komparativn´ı vyhodnocen´ı:

(for e in exp-*; do prefix --tab $e < $e/results; done) > all-results

• Nav´ıc si mohu pˇripravit glob´aln´ı Makefile s c´ıli:

make all-results

make clone-pokus1-novypokus

# nejen udˇelá kopii, ale téˇz vloˇz´ı standardn´ı výbavu experimentu do CVS

(25)

Shrnut´ı

Na Unixu se pohodlnˇe pracuje:

• s textov´ymi soubory (roury, pˇresmˇerov´an´ı)

• se stavebn´ımi kam´ınky, skripty vˇseho druhu

• s postupným vylepˇsován´ım procedury pro vyhodnocen´ı nˇejakého experimentu vˇcetnˇe moˇznosti sledovat v´ıc variant postupu (r˚uzné c´ıle v jednom Makefile)

• s v´ıce pracovn´ımi verzemi tˇechˇze experiment˚u, z v´ıce poˇc´ıtaˇc˚u, s v´ıce spolupracovn´ıky souˇcasnˇe (CVS)

Existuje i pro Windows:

• bash a dalˇs´ı n´astroje – bal´ık cygwin ⇒ http://cygwin.com/

• ikonkov´e CVS – TortoiseCVS ⇒ http://www.tortoisecvs.org/