KTERÉ FAKTORY V SOUČASNÉ DOBĚ OVLIVŇUJÍ STUDENTSKÉ HODNOCENÍ VYSOKOŠKOLSKÉ VÝUKY
MIROSLAV CHRÁSKA
Abstrakt: Článek se zabývá studentským hodnocením vysokoškolské výuky.V příspěv- ku jsou prezentovány výsledky výzkumu, který se uskutečnil na Pedagogické fakultě Univerzity Palackého v Olomouci. Výzkum měl dva hlavní cíle - prvním bylo ověřit nástroj měření, druhým bylo identifikovat faktory, které studentské hodnoceníovlivňují.
Klíčová slova: studentské hodnocení; reliabilita měření; rating; faktory ovlivňující stu- dentské hodnocení
Abstract: The paper deal with a students' evalutions of university instruction. In the pa- per are presented results of a research conducted at Faculty of Education Palacký University in Olomouc. The research try to fulfil two main objectives - the first is to verify a instrument of measurement, the second is to identify factors influencing students' evalutions.
Key words: students' evalutions; reliability of measurement; rating; factors influencing students´ evalutions.
Úvod
Kvalita vysokoškolské výuky se tradičně hodnotí podle výstupních charakteristik studentů či absolventů. Někdy se na kvalitu výuky v jednotlivých disciplinách usuzuje 3i na základě názorů jiných vysokoškolských učitelů nebo řídících pracovníků. Poměrně málo se doposud při hodnocení kvality vysokoškolské výuky využívá názorů studentů.
Současné pojetí studenta jako aktivního spolutvůrce vysokoškolské výuky však vyžadu- je, aby studentský pohled byl brán v úvahu.
Celosvětové zkušenosti ukazují, že studentské posuzování výuky se prosazuje ve všech vyspělých zemích. Studentské posuzování se od 70. let rutinně používá na větši- ně vysokých škol v USA, ale také na řadě vysokých škol v západní Evropě, v Kanadě, v Austrálii i v mnoha jiných zemích.
Na našich vysokých školách jsme se před rokem 1989 se studentským hodnoce- ním vysokoškolské výuky prakticky nesetkávali (jednou z mála výjimek byly pokusy J.
Mareše na Lékařské fakultě UK v Hradci Králové).
Po listopadu 1989 bylo studentské posuzování výuky často využíváno při hodno- cení jednotlivých učitelů na vysokých školách. Toto hodnocení mohlo v dané situaci se- hrát pozitivní roli, avšak je třeba objektivně konstatovat, že používané metody měření tehdy často nesplňovaly požadavky, které na dobré měření kvality vysokoškolské výuky klademe Posuzovací dotazníky (protokoly) byly mnohdy konstruovány značně naivně, bez náležité znalosti stavu, do kterého vědecké poznání v této oblasti dospělo. Bohužel s nepoučeným a neodborným používáním posuzovacích dotazníků se občas setkáváme i v současné době.
Studentské hodnocení vysokoškolské výuky chápeme jako jeden ze zdrojů infor- mací o tom, jak výuka na vysokých školách skutečně probíhá. Přitom nepovažujeme za primární ani tak kontrolní funkci tohoto hodnocení, jako spíše funkci diagnostickou nebo autodiagnostickou (pohled učitele na vlastní práci z „druhého břehu“.
Nástroje pro měření kvality vysokoškolské výuky
Byla vyvinuta řada nástrojů, které umožňují kvantitativně zachycovat (měřit) kvali- tu vysokoškolské výuky na základě názorů studentů. Tyto nástroje ve většině případů vycházejí z ratingu. U ratingu se určité kvalitě sledovaného jevu přiřazuje kvantitativní hodnota na škále. Śkály mohou být kategoriální, grafické nebo numerické, nejčastěji se však používají škály numerické.
Celosvětově známým nástrojem pro měření kvality vysokoškolské výuky je např.
škála SEEQ (Students Evaluation of Educational quality) australského autora H. W.
Marshe. Tato škála byla ověřena na velkém vzorku vysokoškolských studentů (kolem 250000) a na velkém počtu předmětů (kolem 200).
Škála SEEQ obsahuje celkem 40 položek - škál Likertova typu. Studenti v jed- notlivých škálách vyjadřují míru souhlasu s prezentovaným tvrzením tak, že vybírají bod na devítibodové škále. V případě nedostatku informací mohou volit nabídku N (nevím, nemám dostatek informací, nelze odpovědět).
Škála SEEQ má následující strukturu:
studentovo učení (položky 1-4)
učitelovo nadšení (5-8)
organizace výuky (9-12)
interakce učitel - žáci (13-16)
individualizace výuky (17-20)
učitelův rozhled (21-24)
způsob zkoušení (25-27)
kvalita studijních materiálů (28-29)
souhrnné hodnocení výuky daného předmětu (30)
souhrnné hodnocení učitele (pol. 31)
náročnost výuky (32-35)
doplňující informace (36-40).
Škála SEEQ byla přeložena, upravena a ověřena v českých podmínkách J. Ma- rešem (Mareš 1985). V letech 1994 - 1995 jsme škálu SEEQ ověřovali také na Pedago- gické fakultě UP v Olomouci. V provedených pokusech jsme prokázali, že získané vý- sledky jsou validní a značně spolehlivé a přesné (reliabilní).
V roce 2004 jsme v rámci řešení grantového projektu GAČR 406/02/1113 "Evalu- ační pedagogické výzkumy a jejich metody" ověřovali, zda je možné s dostatečnou mí- rou validity, spolehlivosti i přesnosti zachytit kvalitu vysokoškolské výuky pomocí nástro- je, který by měl, ve srovnání s dotazníkem. W. Marse, menší rozsah a byl tudíž pro re- spondenty (studenty) i pro zpracování časově méně náročný.
Při studiu zahraničních pramenů jsme nalezli dotazník, který je k hodnocení kvali- ty vysokoškolské výuky používán na Univerzitě v Massachusetts (USA). Ta této univer- zitě používají dotazník nazvaný Student Response to Instruction (SRTI), který obsahuje pouze 15 položek, které postihují ty nejpodstatnější oblasti (témata) vysokoškolské výu- ky (Student Evaluations of Teaching 1995).
Struktura dotazníku
Student Response to Instruction (SRTI)
Autoři dotazníku SRTI vycházeli při jeho konstrukci ze tří základních požadavků:
a) dotazník se musí zaměřovat jen na ty aspekty výuky, které jsou studenti schopni posoudit,
b) dotazník musí být vhodný pro posuzování širokého spektra oborů a disciplin vyučovaných na univerzitě,
c) získané informace musí být využitelné pro hodnocení výuky a pro její zdokonalování.
Nástroj obsahuje 9 diagnostických položek, 3 položky pro globální posuzování výuky a 3 položky popisující okolnosti posuzování výuky. V dotazníku bylo pamatováno také na možnost uvedení poznámek a komentářek hodnocení výuky.
Diagnostické položky reflektují šest oblastí (témat), důležitých pro optimální průběh výuky:
srozumitelnost výkladu (pol. 2, 3)
příprava na výuku a dodržování času výuky(pol. 1, 4)
přístup učitele ke studentům (pol. 6, 8)
zpětná vazba ve výuce (pol. 7)
interakce ve výuce (pol. 9)
stimulace zájmu studentů (pol. 5).
Položky globálního hodnocení (pol. 10-12) se zaměřují na rozsah získávaných vědomostí a dovedností (ve srovnání s jinými předměty), na efektivitu výuky a na celko- vé hodnocení předmětu (ve srovnání s jinými předměty).
Položky popisující okolnosti posuzování (pol. 13-15) zjišťovaly: typ předmětu, cel- kové studijní výsledky studentů a výsledky, které studenti v posuzovaném předmětu očekávají.
Dotazník SRTI
Student Response to Instruction University of Massachusetts Překlad a úprava: M. Chráska
Pokyny pro posuzování
Dotazník SRTI (Student Response to Instruction) zjišťuje Vaše mínění o daném předmětu a konkrétním vysokoškolském učiteli. Výsledky průzkumu budou sloužit ke zlepšení výuky, prosíme proto o pravdivé zodpovězení jednotlivých otázek. Chceme znát Váš osobní názor, který se od názoru Vašich kolegů může lišit. Odpovídejte proto jen za sebe a s nikým se neraďte.
Pozorně si přečtěte text otázky a zvolte odpověď, která (podle Vašeho názoru) nejlépe vystihuje skutečnost. Zvolenou odpověď označte zakroužkovánímčísla, kterým je označena. Pokud se nehodí odpověď žádná, zakroužkujte N („nevím”, „nelze odpo- vědět”).
Své odpovědi nepodepisujte.
Jméno učitele (včetně titulů):
Název předmětu:
Obor studia:
Ročník studia:
Pohlaví: muž - žena
1. Byl učitel na výuku dobře připraven ? 5. téměř vždy
4. často 3. někdy 2. zřídka 1. téměř nikdy N
2. Vysvětloval učitel látku jasně a srozumitelně ?
5. téměř vždy 4. často 3. někdy 2. zřídka 1. téměř nikdy N
3. Objasňoval učitel studentům to, co jim nebylo jasné ?
5. téměř vždy 4. často 3. někdy 2. zřídka 1. téměř nikdy N
4. Využíval učitel dobře čas výuky ? 5. téměř vždy
4. často 3. někdy 2. zřídka 1. téměř nikdy N
5. Vyvolával učitel u studentů zájem o probírané učivo ?
5. téměř vždy 4. často 3. někdy 2. zřídka 1. téměř nikdy N
6. Projevoval učitel osobní zájem o studenty a pomáhal v učení ?
5. téměř vždy 4. často 3. někdy 2. zřídka 1. téměř nikdy N
7. Poskytoval učitel studentům zpětnou vazbu o jejich výkonech ?
5. téměř vždy 4. často 3. někdy 2. zřídka 1. téměř nikdy N
8. Hodnotil učitel studenty ve výuce spravedlivě ?
5. téměř vždy 4. často 3. někdy 2. zřídka 1. téměř nikdy
9. Podporoval učitel ve výuce spolupráci studentů ?
5. téměř vždy 4. často 3. někdy 2. zřídka 1. téměř nikdy N
10. Kolik jste se toho v tomto předmětu naučili ?
5. mnohem více než ve většině ostatních předmětů
4. více než ve většině ostatních předmětů
3. přibližně stejně jako ve většině ostatních předmětů
2. méně než ve většině ostatních předmětů
1. mnohem méně než ve většině ostatních předmětů
N
11. Jak byste celkově hodnotili efektivitu výuky ?
5. téměř vždy byla efektivní 4. obyčejně byla efektivní 3. občas byla efektivní 2. zřídka byla efektivní
1. téměř nikdy nebyla efektivní N
12. Jak byste celkově hodnotili daný předmět ?
5. jeden z nejlepších 4. lepší než průměr 3. přibližně průměrný 2. horší než průměr 1. jeden z nejhorších N
13. Jakého druhu byl posuzovaný předmět ?
3. volitelný (nepovinný) 2. povinně volitelný 1. povinný
14. Je-li předmět ukončen zkouškou, jakou známku očekáváte(„na první termín") ?
4. nevyhověl 3. dobře 2. velmi dobře 1. výborně
15. Jaký byl Váš průměrný prospěch u zkoušek v minulém semestru ?
…………
Komentář k hodnocení
Co se Vám na výuce předmětu nejvíce líbilo ?
Co by se mělo na výuce předmětu změnit nebo zdokonalit ?
Vlastnostií dotazníku SRTI
Dotazník SRTI jsme předložili vzorku 253 studentů, kteří posuzovali celkem 12 vysokoškolských učitelů. Discipliny, které učitelé vyučovali byly následující:
geometrie
pedagogická diagnostika
obecná didaktika
pedagogická psychologie
počítač pro učitele
komunikativní dovednosti
základy techniky
sociální pedagogika
výpočetní technika
německý jazyk
teorie výchovy
algebra
Šetření se uskutečnilo na Pedagogické fakultě UP v Olomouci, na Pedagogické fakultě UHK a na Fakultě informatiky a řízení UHK v Hradci Králové na jaře roku 2003.
Výběr učitelů ani předmětů nebyl proveden náhodně, nýbrž vycházel z daných možností a ochoty učitelů spolupracovat.
Reliabilita při měření dotazníkem SRTI
Reliabilitu provedeného měření jsme odhadovali pomocí dvou postupů: pomocí výpočtu tzv. Cronbachova koeficientu alfa a pomocí tzv. metody půlení (half-split method). U obou metod se jedná v podstatě o posouzení míry konzistence použitého nástroje měření.
Výpočet koeficientu alfa byl realizován pomocí výpočetního systému STATISTICA 5.0. Byla vypočítána hodnota 0,834 (výpočet vycházelz n159 platných hodnot).
Tabulka 1: Podíl jednotlivých položek na celkové reliabilitě dotazníku SRTI Škála dotazníku
SRTI
po odstranění
pol. 1 0,826638
pol. 2 0,813937
pol. 3 0,818846
pol. 4 0,836107
pol. 5 0,808993
pol. 6 0,821819
pol. 7 0,838719
pol. 8 0,825550
pol. 9 0,832774
pol. 10 0,815632
pol. 11 0,804720
pol. 12 0,590532
Z tab. 1 je patrné, jak dalece by se zmenšila reliabilita měření, pokud bychom vy- loučili některou z položek. Zatímco při odstranění prvních 11 položek by koeficient alfa klesl jen velice málo, při odstranění položky č. 12 (celkové hodnocení předmětu) by byl pokles výraznější. Tato položka má tudíž pro dotazník klíčový význam a zřejmě nejlépe vystihuje to, co je dotazníkem měřeno.
Kontrolní ověření reliability měření bylo provedeno metodou půlení (half-split method) a výpočtem koeficientu reliability rsb ze Spearman-Brownova vzorce. Koeficient reliability dosáhl hodnotyrsb= 0,87.
Srovnáme-li hodnoty vypočítané oběma metodami, zjišťujeme, že se příliš neliší a ukazují na poměrně vysoký stupeň reliability provedeného měření. Lze tedy mít za prokázané, že spolehlivost a přesnost měření dotazníkem SRTI je velmi dobrá.
Ověření konzistence dotazníku SRTI na základě korelace mezi položkami To, že dotazník SRTI měří skutečně jednu dimenzi reality jsme ověřovali také pomocí korelací mezi výsledky v jednotlivých položkách navzájem (tab. 2). Z tabulky je patrné, že položky dotazníku jsou navzájem poměrně silně propojeny vzájemnými závis- lostmi. Ze 60 koeficientů korelace, které vyjadřují vztahy mezi položkami v dotazníku, je jich většina statisticky významných (na hladině významnosti 0,05). Statis- ticky nevýznamných koeficientů je pouze 10 (tj. asi 17%). Koeficienty korelace, které nejsou na hladině významnosti 0,05 statisticky významné, jsou v tabulce označeny stí- nováním. Můžeme konstatovat, že položky dotazníku měří (více méně) jednu dimenzi reality - předpokládáme, že kvalitu výuky v daném předmětu.
Tabulka 2: Korelace mezi položkami dotazníku SRTI
pol.1 pol.2 pol.3 pol.4 pol.5 pol.6 pol.7 pol.8 p.9 p.10 p.11 p.12 pol.1 1 0,36 0,42 0,27 0,30 0,22 0,15 0,39 0,24 0,28 0,39 0,23 pol.2 1 0,48 0,20 0,53 0,36 0,13 0,39 0,20 0,35 0,54 0,48 pol.3 1 0,23 0,37 0,36 0,16 0,42 0,14 0,35 0,46 0,29
pol.4 1 0,13 0,13 0,18 0,09 0,04 0,28 0,36 0,19
pol.5 1 0,44 0,13 0,40 0,33 0,42 0,52 0,58
pol.6 1 0,27 0,29 0,27 0,30 0,37 0,30
pol.7 1 0,28 0,27 0,17 0,18 0,11
pol.8 1 0,17 0,20 0,23 0,18
pol.9 1 0,27 0,33 0,31
p.10 1 0,69 0,57
p.11 1 0,62
p.12 1
Faktory ovlivňující globální výsledky posuzování
V dotazníku SRTI jsou obsaženy 3 položky, které hodnotí kvalitu vysokoškolské výuky globálně. Pol. 10 zjišťuje, jaký rozsah nových poznatků studenti v daném předmě- tu získávají, pol. 11 zjišťuje, jak dalece je výuka efektivní a pol. 12 zjišťuje celkové hod-
nocení předmětu.
Vliv jednotlivých faktorů na globální výsledky posuzování jsme odhadovali na zá- kladě vztahů mezi výsledky v položkách globálního posuzování a výsledky v diagnostic- kých položkách dotazníku SRTI.
Významnost působení faktorů jsme vyhodnocovali ve všech případech statistic- kým testem nezávislosti chí-kvadrát pro kontingenční tabulku. Použitý statistický postup budeme podrobně ilustrovat na příkladě vztahu mezi rozsahem získávaných vědomostí ve výuce a kvalifikací učitelů. U všech ostatních vztahů se omezíme pouze na uvedení výsledků.
A Faktory ovlivňující rozsah získávaných vědomostí ve vysokoškolské výuce Rozsah získávaných vědomostí ve výuce vs. kvalifikace učitelů
V pol. 10 dotazníku SRTI respondenti odpovídali na otázku: „Kolik jste se toho v předmětu naučili ?" Vztah mezi rozsahem získávaných vědomostí ve výuce a kvalifi- kací učitelů vyjadřuje tab. 3. V této kontingenční tabulce je kvalifikace učitelů kódována následujícím způsobem:
1 Mgr. Ing. PhDr. RNDr. PaedDr.
Kvalifikace
2 CSc. Ph.D. doc. prof.
Tabulka 3: Rozsah získávaných vědomostí ve výuce a kvalifikace učitelů
Rozsah vědomostí
1-2 3-5
1 28 127 155
2 15 66 81
Kvalifikace
43 193 236
Vypočítaná hodnota testového kritéria2 0,0074 Počet stupňů volnosti f 1
Signifikace = 0,93164
Na základě provedené statistické analýzy můžeme konstatovat, že kvalifikace vysoko- školských učitelů neovlivňuje významně (na hladině významnosti 0,05) rozsah vědomos- tí, které studenti ve výuce získávají.
Rozsah získávaných vědomostí ve výuce vs. pohlaví studentů
Počet stupňů volnosti f 1 Signifikace = 0,62
Mezi hodnocením mužů a žen nejsou na hladině významnosti 0,05 statisticky významné rozdíly.
Rozsah získávaných vědomostí ve výuce vs. příprava učitele na výuku Testové kritérium 2 35,143
Počet stupňů volnosti f 2 Signifikace < 0,000001
Příprava učitele na výuku významně ovlivňuje rozsah vědomostí, které studenti ve výuce získávají.
Rozsah získávaných vědomostí ve výuce vs. srozumitelnost výkladu učitele Testové kritérium 2 22,327
Počet stupňů volnosti f 2 Signifikace = 0,000014
Srozumitelnost výkladu učitele významně ovlivňuje rozsah vědomostí, které studenti ve výuce získávají.
Rozsah získávaných vědomostí ve výuce vs. objasňování nejasností Testové kritérium 2 31,518
Počet stupňů volnosti f 2 Signifikace < 0,000001
Skutečnost, že učitel studentům objasňuje to, co je jim nejasné, významně ovlivňuje rozsah vědomostí, které studenti ve výuce získávají.
Rozsah získávaných vědomostí ve výuce vs. využívání času výuky Testové kritérium 2 12,936
Počet stupňů volnosti f 2 Signifikace = 0,0016
Využívání času výuky významně ovlivňuje rozsah vědomostí, které studenti ve výuce získávají.
Rozsahzískávaných vědomostí ve výuce vs. stimulace zájmu studentů Testové kritérium 2 32,710
Počet stupňů volnosti f 3 Signifikace < 0,000001
Stimulace zájmů studentů významně ovlivňuje rozsah vědomostí, které studenti ve výu- ce získávají.
Rozsah získávaných vědomostí ve výuce vs. osobní zájem o studenty
Testové kritérium 2 9,688 Počet stupňů volnosti f 3 Signifikace = 0,021
Osobní zájem učitele o studenty významně ovlivňuje rozsah vědomostí, které studenti ve výuce získávají.
Rozsah získávaných vědomostí ve výuce vs. zpětná vazba Testové kritérium 2 2,408
Počet stupňů volnosti f 3 Signifikace = 0,49
Poskytování zpětnovazebních informací studentům významně ovlivňuje rozsah vědo- mostí, které studenti ve výuce získávají.
Rozsah získávaných vědomostí ve výuce vs. spravedlivé hodnocení studentů Testové kritérium 2 8,077
Počet stupňů volnosti f 2 Signifikace = 0,018
Rozsah získávaných vědomostí ve výuce vs. podpora spolupráce studentů Testové kritérium 2 14,933
Počet stupňů volnosti f 3 Signifikace = 0,0019
Podporuje-li učitel ve výuce spolupráci studentů, ovlivňuje to významně rozsah vědo- mostí, které studenti ve výuce získávají.
Shrnutí výsledků
Co ovlivňuje rozsah vědomostí, které studenti ve výuce získávají ?
Na vliv jednotlivých faktorů usuzujeme z vypočítané hodnoty signifikance. Signifi- kance představuje pravděpodobnost neoprávněného tvrzení o vlivu určitého faktoru.
Čím menší tato pravděpodobnost je, tím jistější tvrzení o vlivu příslušného faktoru je.
Faktory, jejichž vliv jsme sledovali, uvádíme proto vpořadí od nejmenší hodnoty signifi- kace (nejjistější tvrzení) po největší hodnotu signifikace (nejméně jisté tvrzení o vlivu určitého faktoru).
Výsledky provedených analýz můžeme shrnout následujícím způsobem:
Rozsah vědomostí, které studenti ve výuce získávají závisí na 1. dokonalosti přípravy učitele na výuku (sign. < 0,000001),
2. tom, zda učitel objasňuje studentům nejasnosti, (sign. < 0,000001), 3. stimulaci zájmu studentů (sign. < 0,000001),
4. srozumitelnosti výkladu ve výuce (sign. 0,000014) 5. využívání času výuky (sign. 0,0016)
7. tom, zda jsou studenti ve výuce spravedlivě hodnoceni (sign. 0,018) 8. tom, zda učitel projevuje osobní zájem o studenty (sign. 0,021) Neprokázalo se, že rozsah vědomostí studentů závisí na
9. poskytování zpětnovazebních informací studentům ve výuce (sign. 0,49).
10.tom, zda výuku posuzuje muž a nebo žena (sign. 0,62) 11.kvalifikaci učitele (sign. 0,93)
B Faktory ovlivňující efektivitu vysokoškolské výuky Efektivita vysokoškolské výuky vs. kvalifikace učitelů Testové kritérium 2 12,817
Počet stupňů volnosti f 3 Signifikace = 0,0051
U učitelů s vyšší kvalifikací(doc., prof.) studenti často (častěji než by odpovídalo náhodě) uvádějí vysokou efektivitu výuky.
Efektivita vysokoškolské výuky vs. pohlaví studentů Testové kritérium 2 0,666
Počet stupňů volnosti f 1 Signifikace = 0,41
Mezi hodnocením mužů a žen nejsou na hladině významnosti 0,05 statisticky významné rozdíly.
Efektivita vysokoškolské výuky vs. příprava učitele na výuku Testové kritérium 2 28,238
Počet stupňů volnosti f 2 Signifikace = 0,000001
Příprava učitele na výuku významně ovlivňuje efektivitu výuky.
Efektivita vysokoškolské výuky vs. srozumitelnost výkladu učitele Testové kritérium 2 71,478
Počet stupňů volnosti f 2 Signifikace < 0,000001
Srozumitelnost výkladu učitele významně ovlivňuje efektivitu jeho výuky.
Efektivita vysokoškolské výuky vs. objasňování nejasností Testové kritérium 2 37,604
Počet stupňů volnosti f 2 Signifikace < 0,000001
Objasňování nejasností studentům významně ovlivňuje efektivitu výuky.
Efektivita vysokoškolské výuky vs. využívání času výuky Testové kritérium 2 31,257
Počet stupňů volnostif 2 Signifikace < 0,000001
Využívání času výuky významně ovlivňuje efektivitu výuky učitele.
Efektivita vysokoškolské výuky vs. stimulace zájmu studentů Testové kritérium 2 68,056
Počet stupňů volnosti f 3 Signifikace < 0,000001
Stimulace zájmů studentů významně ovlivňuje efektivitu výuky učitele.
Efektivita vysokoškolské výuky vs. osobní zájem učitele o studenty Testové kritérium 2 12,328
Počet stupňů volnosti f 3 Signifikace = 0,0063
Projevuje-li učitel osobní zájem studenty, ovlivňuje to významným způsobem efektivitu jeho výuky.
Efektivita vysokoškolské výuky vs. zpětná vazba Testové kritérium 2 6,104
Počet stupňů volnosti f 3 Signifikace = 0,11
Nebylo prokázáno, že by poskytování zpětnovazebních informací studentům význam- ným způsobem ovlivňovalo efektivitu výuky.
Efektivita vysokoškolské výuky vs. spravedlivé hodnocení studentů Testové kritérium 2 10,682
Počet stupňů volnosti f 2 Signifikace = 0,0048
Spravedlivé hodnocení studentů významně ovlivňuje efektivitu výuky učitele.
Efektivita vysokoškolské výuky vs. podpora spolupráce studentů Testové kritérium 2 16,452
Počet stupňů volnosti f 3 Signifikace = 0,00092
Podporuje-li učitel ve výuce spolupráci studentů, ovlivňuje to významně efektivitu jeho výuky.
Shrnutí výsledků
Co ovlivňuje efektivitu vysokoškolské výuky ? Výsledky provedených analýz můžeme shrnout takto:
Efektivita vysokoškolské výuky závisí na
1. srozumitelnosti výkladu ve výuce, (sign. < 0,000001),
2. tom, zda učitel objasňuje studentům nejasnosti, (sign. < 0,000001), 3. využívání času výuky, (sign. < 0,000001),
4. stimulaci zájmu studentů, (sign. < 0,000001)
5. dokonalosti přípravy učitele na výuku, (sign. 0,000001)
6. tom, zda učitel ve výuce podporuje spolupráci studentů (sign. 0,00092), 7. tom, zda jsou studenti ve výuce spravedlivě hodnoceni (sign. 0,0048), 8. kvalifikaci učitele, (sign. 0,0051)
9. tom, zda učitel projevuje osobní zájem o studenty (sign. 0,0063).
Neprokázalo se, že efektivita vysokoškolské výuky závisí na 10.poskytování zpětnovazebních informací studentům (sign. 0,11) 11.tom, zda výuku posuzuje muž a nebo žena (sign. 0,41)
C Faktory ovlivňující celkové hodnocení předmětu Celkové hodnocení předmětu vs. kvalifikace učitelů Testové kritérium 2 42,0317
Počet stupňů volnosti f 9 Signifikace = 0,000003
Kvalifikace učitele významně ovlivňuje celkové hodnocení předmětu.
Celkové hodnocení předmětu vs. očekávaná klasifikace Testové kritérium 2 59,436
Počet stupňů volnosti f 9 Signifikace < 0,000001
Studenti, kteří očekávají dobré výsledky u zkoušky, hodnotí předmět spíše pozitivně, zatímco studenti, kteří očekávají u zkoušky horší výsledky, hodnotí předmět spíše nega- tivněji.
Celkové hodnocení předmětu vs. pohlaví studentů Testové kritérium 2 1,787
Počet stupňů volnosti f 1 Signifikace = 0,18
Mezi hodnocením mužů a žen nejsou na hladině významnosti 0,05 statisticky významné rozdíly.
Celkové hodnocení předmětu vs. příprava učitele na výuku
Testové kritérium 2 5,371 Počet stupňů volnosti f 2 Signifikace = 0,068
Nebylo prokázáno, že by mezi přípravou učitele na výuku a celkovým hodnocením předmětu byla statisticky významná závislost.
Celkové hodnocení předmětu vs. srozumitelnost výkladu Testové kritérium 2 50,688
Počet stupňů volnosti f 6 Signifikace < 0,000001
Srozumitelnost výkladu učitele významně ovlivňuje celkové hodnocení předmětu.
Celkové hodnocení předmětu vs. objasňování nejasností Testové kritérium 2 32,143
Počet stupňů volnosti f 6 Signifikace = 0,000015
To, že učitel studentům objasňuje nejasnosti, významně ovlivňuje celkové hodnocení předmětu.
Celkové hodnocení předmětu vs. využívání času výuky Testové kritérium 2 26,309
Počet stupňů volnosti f 6 Signifikace = 0,0002
Využívání času výuky učitelem významně ovlivňuje celkové hodnocení předmětu.
Celkové hodnocení předmětu vs. stimulace zájmu studentů Testové kritérium 2 94,232
Počet stupňů volnosti f 9 Signifikace < 0,000001
Stimulace zájmustudentů významně ovlivňuje celkové hodnocení předmětu.
Celkové hodnocení předmětu vs. osobní zájem o studenty Testové kritérium 2 15,961
Počet stupňů volnosti f 9 Signifikace = 0,067
Projevuje-li učitel o studenty osobní zájem, ovlivňuje to významně celkové hodnocení předmětu.
Celkové hodnocení předmětu vs. zpětná vazba Testové kritérium 2 4,850
Počet stupňů volnosti f 9 Signifikace = 0,85
Nebylo prokázáno, že poskytování zpětnovazebních informací studentům významně ovlivňuje celkové hodnocení předmětu.
Celkové hodnocení předmětu vs. spravedlivé hodnocení Testové kritérium 2 9,109
Počet stupňů volnosti f 6 Signifikace = 0,17
Nebylo prokázáno, že spravedlivé hodnocení studentů ve výuce významně ovlivňuje hodnocení předmětu.
Celkové hodnocení předmětu vs. podpora spolupráce mezi studenty Testové kritérium 2 28,907
Počet stupňů volnosti f 9 Signifikace = 0,00067
Pokud učitel ve výuce podporuje spolupráci studentů, ovlivňuje to významně celkové hodnocení předmětu.
Shrnutí výsledků
Co v současnosti ovlivňuje studentské celkové hodnocení předmětu ? Výsledky provedených analýz můžeme shrnout následujícím způsobem:
Výzkum prokázal, že celkové hodnocení předmětu závisí na 1. srozumitelnosti výkladu ve výuce (sign. < 0,000001),
2. očekávané klasifikaci studentů u zkoušky (sign. < 0,000001), 3. stimulaci zájmu studentů (sign. < 0,000001),
4. tom, zda učitel objasňuje studentům nejasnosti (sign. 0,000015), 5. kvalifikaci učitele (sign. 0,000003),
6. využívání času výuky (sign. 0,0002),
7. tom, zda učitel podporuje ve výuce spolupráci studentů (sign. 0,00067).
Neprokázalo se, že celkové hodnocení předmětu závisí na
8. tom, zda učitel projevuje osobní zájem o studenty (sign. 0,067), 9. dokonalosti přípravy učitele na výuku (sign. 0,068),
10.tom, zda učitel ve výuce hodnotí studenty spravedlivě (sign.0,17).
11.tom, zda výuku posuzuje muž a nebo žena (sign.0,18),
12.tom, zda učitel poskytuje studentům zpětnovazební informace (sign. 0,85), Závěry výzkumu
Analýza faktorů, které ovlivňují výsledky studentského posuzování vysokoškolské výuky přinesla některé zajímavé a možná i překvapivé výsledky. Ukazuje se, že v reál- né praxi ne vždy musí platit předpoklady, které pedagogická teorie přináší. Poměrně
překvapivé je např. zjištění, že pro vysokoškolské studenty není při celkovém posuzová- ní předmětu zase až tak důležité, zda ve výuce dostávají zpětnovazební informace, ne- bo např. ani to, zda jsou učitelem hodnocení spravedlivě. Výsledky ovšem není možno přeceňovat, protože analýza se neopírá o reprezentativní výběr vysokoškolských stu- dentů ani situací, které mohou ve vysokoškolské výuce nastat. Ve výzkumu mohla pů- sobit řada dalších nekontrolovaných nebo rušivých proměnných, které mohly výsledky zkreslit. Přesto se však zdá, že výsledky naznačují určitý posun vnázorech a postojích vysokoškolských studentů ke studiu a k jeho hodnocení. Budoucí výzkumy mohou tento posun potvrdit, ale také vyvrátit.
Studentské posuzování vysokoškolské výuky může být důležitým a účinným zdro- jem informací pro hodnocení její kvality. Má-li však toto hodnocení být věrohodné, je třeba aby bylo splněno několik předpokladů.
Prvním z nich je, že měření musí být realizováno pomocí kvalitního měrného ná- stroje (dotazníku, protokolu), jehož základní vlastnosti musí být předem známy. Považu- jeme za nezbytné, aby byla kontrolována spolehlivost a přesnost (reliabilita) prováděné- ho měření a aby bylo důkladně ověřeno, zda použité položky mají také dostatečnou validitu. Pro rutinní používání v praxi lze doporučit využívání odborně připravených a již dostatečně ověřených nástrojů..
Ve výzkumu jsme ověřili, že dotazník SRTI je poměrně velice spolehlivým nástro- jem měření kvality vysokoškolské výuky. Jednotlivé diagnostické položky dotazníku za- chycují důležité stránky vysokoškolské edukační reality a mají úzkou vazbu na položky globálního hodnocení..
Důležitým předpokladem dobře fungujícího posuzování kvality výuky na vysoké škole je adekvátní interpretace získávaných výsledků a jejich poučené, citlivé a uvážlivé využívání. Domníváme se, že při používání studentského hodnocení vysokoškolské vý- uky by měla být akcentována zejména jeho funkce diagnostická a autodiagnostická.
Literatura
ABBOT, R. D.; PERKINS, D. Reliability and Validity Evidence for Scales Measuring Di- mensions of Student Rating of Istruction. Educational and Psychological Measurement, 42, 1982, s. 563-569.
BERK, R. A. The Construction of Rating Instruments for Faculty Evaluation. Journal of Higher Education, 50, 1979, č. 5, s. 650-669.
BINTIG, A. The Efficiency of Various Estimations of Reliability of Rating Scakes. Edu- cational and Psychological Measurement, 40, 1981, č. 3, s. 619-642.
CHRÁSKA, M. Faktory ovlivňující studentské posuzování vysokoškolské výuky. In Chráska, M. Evaluační pedagogické výzkumy a jejich metody. Olomouc: Pedagogická fakulta UP, Votobia, 2004. ISBN 80-7220-210-3.
CHRÁSKA, M. Odhady reliability měření sémantickým diferenciálem. In Sborník pří- spěvků z 6. konference České asociace pedagogického výzkumu. České Budějovice : Pedagogická fakulta Jihočeské univerzity, 1998, s. 46-53. ISBN 80-7040-324-1.
CHRÁSKA, M. Schopnost ratingu vypovídat o pedagogické realitě. In. AUPO, Filozofic- ká fakulta UP - Psychologie, roč. 23, Olomouc : Pedagogická fakulta UP, 1986, s. 27-36.
MAREŠ, J. Hodnocení kvality vysokoškolské výuky. Studijní texty sv. 27. Praha : Ústav rozvoje vysokých škol ČSR.
MAREŠ, J. Jak zjišťovat reliabilitu pozorování ? Pedagogika, 33, 1983, č. 2, s. 169-189.
MARSCH, H. W. Students evaluations of university teaching: Dimensionality, reliability, validity, potential biases, and utility. Journal of Educational Psychology, 76, no 5, 707 - 754.
OVERALL, J. U.; MARSH, H. W. Students Evalutions of Instruction : A Longitudinal Study of Their Stability. Journal of Educational Psychology, 72, 1980, č. 3, s. 321-325.
Student Evaluations of Teaching : A New Design for Umass Amherst. Assessment Bul- letin, Volume 1, Number 2, October 1995, Academic Planning and Assessment, Univer- sity of Massachusetts Amherst.
Kontaktní adresa
prof. PhDr. Miroslav Chráska, CSc.
Pedagogická fakulta UP Žižkovo nám. 5
771 40 Olomouc
e-mail: miroslav.chraska@upol.cz