Altmetrics }w
   !"#$%&'()+,-./012345<yA|

MASARYKOVA UNIVERZITA

FAKULTA INFORMATIKY

}w !"#$%&'()+,-./012345<yA|

Altmetrics

PV070 DIGITALN´ ´I KNIHOVNY

Robert Zahradn´ıˇcek 2. roˇcn´ık N-IN PSK

Brno, 5.12.2014

Uvod´

Ktor ´y ˇcl´anok si preˇc´ıtat’ ako d’alˇs´ı? V dneˇsnej r ´ychlej dobe, v ktorej sa vedeck ´y v ´yskum ˇs´ıri alarmuj ´ucou r ´ychlost’ou niekol’k ´ych mili ´onov publik´aci´ı roˇcne, viz. obr´azok1, ˇs´ıren ´ych vˇsetk ´ymi moˇzn ´ymi sp ˆosobmi, od klasick ´ych odborn ´ych ˇcasopisov, open access port´alov cez mikro-blogy aˇz po Twitter, nieje v l’udsk ´ych moˇznostiach preˇc´ıtat’ a sledovat’ vˇsetko. T´ato vel’k´a variabilita medzi modern ´ymi sp ˆosobmi publikovania v ´yskumu predstavuje probl´em pre podanie vhodnej odpovede na poloˇzen ´u ot´azku. ˇCasto sa spoliehame na r ˆozne n´astroje a filtre, ktor´e n´am maj ´u sprehl’adnit’ dostupn ´u literat ´uru a vybrat’ len to ˇco potrebujeme.

Ak akademick´a komunik´acia nie je dostatoˇcne funkˇcn´a ako ju opravit’? Tradiˇcn´e met ´ody vyuˇz´ıvan´e v ´yskumn´ıkmi na zhromaˇzd’ovanie d ˆoleˇzit ´ych publik´aci´ı a zdrojov pre v ´yskum sa ukazuj ´u ako nedostatoˇcn´e a je preto potreba vytvorit’ nov ´u sadu n´astrojov na vyhl’ad´avanie a analyzovanie vzt’ahov medzi jednotliv ´ymi odborn ´ymi publik´aciami. T ´uto sadu n´astrojov sa pok ´uˇsa vedeck´a komunita postavit’ na alternat´ıvnych metrik´ach (z angl. altmetrics), pre hodnotenie vedeck ´ych textov, nad ktor ´ymi bude moˇzn´e vybudovat’ r ˆoznorod´e filtre pre vyhl’ad´avanie a filtrovanie v mili ´onoch bibliografick ´ych z´aznamov efekt´ıvnejˇsie a z v¨aˇcˇsou presnost’ou ak ´u pon ´ukaj ´u tradiˇcn´e textov´e vyhl’ad´avaˇce. Z´arove ˇn tieto nov´e met ´ody, n´am pon ´uknu lepˇs´ı pohl’ad na to kam smeruje akademick ´y v ´yskum.

Obr. 1: MEDLINE poˇcet za-indexovan ´ych ˇcl´ankov za rok [18]

Tradiˇcn´e met ´ody hodnotenia

Tradiˇcn´e met ´ody hodnotenia a filtrovania vedeck ´ych textov, ktor ´ymi s ´u peer-review, po–

ˇc´ıtanie cit´aci´ı a JIF (z angl. Journal Impact Factor), sa ukazuj ´u ako nedostatoˇcn´e[18]. Peer- review zlyh´ava, pretoˇze vedeck´e texty m ˆoˇzu byt’ nakoniec publikovan´e kdekol’vek, metriky zaloˇzen´e na poˇc´ıtan´ı cit´aci´ı s ´u s´ıce uˇzitoˇcn´e ale nie s ´u dostatoˇcn´e. Metriky ako napr´ıklad h- index, s ´u eˇste pomalˇsie ako metriky zaloˇzen´e na peer-review [4]. Naviac tieto metriky maj ´u len ´uzky z´aber a nemusia zachytit’ vplyvn ´u pr´acu, ktor´a nebola citovan´a. V neposlednej rade JIF, ktor ´y meria priemern ´y poˇcet cit´aci´ı na ˇcl´anok v odbornom ˇcasopise sa ˇcasto nespr´avne

vyuˇz´ıva na hodnotenie pr´ınosu jednotliv ´ych ˇcl´ankov. T´ato metrika m ˆoˇze, aj podpriemern ´y ˇcl´anok z mal ´ym poˇctom cit´aci´ı pozdvihn ´ut’ vplyvom ˇcl´anku, ktor´eho dopad na komunitu bol vysok ´y a t ´ym p´adom sa nezhorˇs´ı ani hodnotenie pr´ınosu odborn´eho ˇcasopisu ako celku.

Na druhej strane je problematick´e, ˇze detaily poˇc´ıtania JIF s ´u obchodn ´ym tajomstvom [19] a t ´ym je pr´ıpadn´a manipul´acia z v ´ysledkami relat´ıvne jednoduchou z´aleˇzitost’ou [20]. ˇDalˇs´ım d ˆovodom preˇco s ´u metriky zaloˇzen´e na poˇc´ıtan´ı IF (z angl. Impact Factor), a teda aj JIF, nedostatoˇcn´e a nepresn´e, je fakt, ˇze vzt’ah medzi IF a poˇctom cit´aci´ı odborn´eho textu je ˇc´ım d’alej t ´ym viac oslabovan ´y, moˇznost’ami vol’n´eho publikovania na Internete [12].

Pr´ıchod alternat´ıvnych metr´ık a ich ciel

Ako teda vyrieˇsit’ probl´emy s tradiˇcn ´ym pr´ıstupom? Alternat´ıvne metriky, viz. obr´azok2, s ´u n´astrojom dostatoˇcne variabiln ´ym na to aby mohol pridat’ dostatoˇcn ´u silu a r ˆoznorodost’ na

´uspeˇsn´e rieˇsenie tohto probl´emu.

Obr. 2: Ako hodnotit’ dopad? [18]

Alternat´ıvne metriky rozˇsiruj ´u naˇsu schopnost’ zbierat’ a analyzovat’ detailn´e d´ata o e–

fekte a sledovat aktivitu okolo akademick ´ych publik´aci´ı v online n´astrojoch a neust´ale sa rozˇsiruj ´ucom sa online prostred´ı pre ˇs´ırenie akademick´eho v ´yskumu a to vo vel’kom me–

r´ıtku.

V tomto prostred´ı n´ajdeme napr´ıklad[16]:

• soci´alne siete ako Twitter alebo Facebook,

• n´astroje na spr´avu online referenci´ı CiteULike, Zotero a Mendeley,

• online encyklop´ediu Wikipedia,

• akademick´e soci´alne siete ResearchGate, Academia.edu,

• atd.

Co s ´u teda alternat´ıvne metriky alebo tieˇz naz ´yvan´e altmetriky (z angl. altmetrics)? Alt-ˇ metriky s ´u povaˇzovan´e za ˇst ´udium a pouˇzitie netradiˇcn ´ych hodnotiacich n´astrojov a met ´od, ktor´e s ´u zaloˇzen´e na aktivite vo webovom prostred´ı, na meranie akademick´eho pr´ınosu [16].

Tieto metriky sleduj ´u a zhodnocuj ´u online aktivitu a interakcie a generuj ´u o tom jemne de- finovan´e a presn´e d´ata, ktor´e m ˆoˇzu byt’ n´asledne spracovan´e, vyhodnoten´e a porovnan´e s v ´ysledkami odliˇsn ´ych metr´ı a n´asledne graficky vizualizovan´e. V¨aˇcˇsinou s ´u alternat´ıvne metriky podmnoˇzinou tzv. scientometr´ık (z angl. scientometrics) [3] a webometr´ık (z angl.

webometrics) s ´uˇcasne, s obmedzen´ım iba na akademick ´u sf´eru na Internete a vplyv publi- kovan ´ych pr´ac´ı v tejto oblasti.

Altmetriky obohacuj ´u n´aˇs pohl’ad na vplyv odborn´eho ˇcl´anku, nielen o to ako sa skutoˇcne prejavuje v akademickej komunite, ale z´arove ˇn aj o to, ˇco ho sp ˆosobilo. To n´as zauj´ıma pr´ave preto, ˇze v dneˇsnej dobe sa vedeck ´ym v ´yskum diverzifikuje a zdiel’anie d´at, zdrojov ´ych k ´odov alebo experiment´alnych n´avrhov je ˇcasto s ´uˇcast’ou tradiˇcn ´ych textov ´ych publik´aci´ı.

Tak´eto vedeck´e d´ata nies ´u jednoducho citovan´e a preto nemeratel’n´e tradiˇcn ´ymi metrikami.

Ciel’om v ´yvoja alternat´ıvnych metr´ık alebo v mnoˇznom ˇc´ısle, mnoˇz´ın alternat´ıvnych me–

tr´ık, ktor´e bud ´u pod´avat’ detailnejˇs´ı a presnejˇs´ı pohl’ad na dopad a pr´ınos akademick´eho v ´yskumu a jeho smerovanie. Z´arove ˇn posl ´uˇzia ako vhodn ´y n´astroj na vybudovanie nov´eho a lepˇsieho oce ˇnovacieho syst´emu, v ktorom sa nebud ´u str´acat’ inform´acie o vplyvn ´ych pr´a–

cach, ktor´e by inak upadli do zabudnutia. ˇDalej je tu n´adej na prepojenie webov´eho prostre- dia pre ˇs´ırenie v ´yskumu a odstr´anenie priepasti a limit´aci´ı toho tradiˇcn´eho. V neposlednom rade d’alˇs´ı v ´yvoj v tejto oblasti v ´yrazne pom ˆoˇze k vytvoreniu webov ´ych filtrov a n´astrojov na automatick´e odpor ´uˇcanie ˇcl´ankov ˇcitatel’ovi. Tento pozit´ıvny vplyv v ´yvoja dokazuj ´u mnoh´e pr´ace v tejto oblasti. [7] [11] [5] [13]

Dostupn´e metriky

Web download impact[4] je jednou z alternat´ıvnych metr´ık ktor´a je ihned’ dostupn´a po publi- kovan´ı ˇcl´anku na Internete vo forme Open Access. Uˇzitoˇcnost’ tejto metriky m´a dva d ˆovody, ˇcast’ z rozptylu poˇctu stiahnut´ı, ktor´a priamo koreluje z poˇctom cit´aci´ı d´ava vel’mi skor ´y od- had pr´ınosu publik´acie meratel’nej vo forme poˇctu bud ´ucich cit´aci´ı. Druh´a ˇcast’ rozptylu cit´aci´ı, ktor´a nes ´uvis´ı z poˇctom cit´aci´ı poskytuje d’alˇs´ı pohl’ad na predpokladan ´y dopad ˇcl´anku na bud ´uci v ´yskum, ˇco nemus´ı byt’ reflektovan´e v cit´aci´ach. Podl’a v ´yskumu [17] je poˇcet stiahnut´ı spolu s poˇctom pageviews najrozˇs´ırenejˇsou mnoˇzinou dat pre alternat´ıvne metriky. Nasledovan´e poˇctom cit´aci´ı na Web of Science a poˇctom uloˇzen´ı na Mendeley.

ALMs (z angl. Article-level metrics)[6] poskytuj ´u ˇsirok ´y rozsah metr´ık o prijat´ı konkr´etnej vedeckej publik´acie komunitou po jej zverejnen´ı. Zah´r ˇna cit´acie, ˇstatistiky pouˇzitia, online diskusie v soci´alnych siet’ach, social bookmarking a odpor ´uˇcania. ALMs s ´u podl’a auto- rov d ˆoleˇzit ´ym rozˇs´ıren´ım tradiˇcn ´ych citaˇcn ´ych metr´ık. Je preto vhodnejˇsia ako nevhodne pouˇz´ıvan´a metrika JIF.

JIS (z angl. Journal Social Impact)reprezentuje priemern ´y poˇcet zmienok alebo pr´ıspevkov o odbornom ˇcl´anku v online platform´ach pre odborn ´y ˇcasopis [2]. Autori v [2] uk´azali, ˇze t´ato nov´a metrika ´uzko koreluje s metrikami IF a in ´ymi citaˇcn ´ymi metrikami, a ˇze hodno- tenie odborn ´ych ˇcasopisov je eˇste st´ale d ˆoveryhodn ´ym prostredn´ıkom pre hodnotenie kva- lity akademick ´ych textov. Avˇsak nov´e sp ˆosoby pouˇz´ıvan´e alternat´ıvnymi metrikami maj ´u schopnost’ predpovedat’ v ´yvoj oneskoren ´ych metr´ık zaloˇzen ´ych na meran´ı poˇctu cit´aci´ı.

Co-readership [10] je nov´a metrika vych´adzaj ´uca z altmetrics d´at sluˇzby Mendeley a je

to metrika, ktor´a meria podobnost’ dvoch pr´ac. Co-readership medzi dvoma r ˆoznymi tex- tami nast´ava v pr´ıpade, ˇze aspo ˇn jeden uˇz´ıvatel’ si pridal oba dokumenty do svojej kniˇznice.

Castejˇsie rovnak´e dva dokumenty s ´u prid´avan´e uˇz´ıvatel’mi t ´ym je v¨aˇcˇsia pravdepodobnost’,ˇ ˇze dan´e dva dokumenty s ´u rovnak´eho alebo aspo ˇn podobn´eho zamerania.

Sluˇzby poskytuj ´uce altmetriky

Ako prvou altmetriky sluˇzbou vznikla v roku 2009The Public Library of Science’s Article Level Metrics (PLoS ALMs) [14]. Zhromaˇzd’uj ´uc cit´acie, poˇcet stiahnut´ı a zhliadnut´ı a altmetriky pre vˇsetky ˇcl´anky uverejnen´e na PLOS.

Altmetric.com [1] je komerˇcnou sluˇzbou, ktor´a vznikla dva roky po PLoS ALMs, zhro–

maˇzd’uje a spr´ıstup ˇnuje inform´acie o zmienkach o ˇcl´ankoch v mainstream m´ediach. Je urˇcen´a hlavne pre nakladatel’ov a poskytuje pre nich d ˆoleˇzit´e a zauj´ımav´e ´udaje v oblasti business inteligence. ˇDalˇsou komerˇcnou sluˇzbou je PlumX [15], ktor´a je zaloˇzen´a na Plum Analytics navrhnut´a pre poskytovanie lepˇsej predstavy o v ´ystupoch z vedeck´eho v ´yskumu pre inves- torov a nakladatel’ov.

Impactstory je nekomerˇcn´a spoloˇcnost’, ktor´a sa snaˇz´ı udrˇzat’ alternat´ıvne metriky otvo- ren´e a transparentn´e. Ich metriky obsahuj ´u cit´acie, poˇcty stiahnut´ı a zhliadnut´ı. Webov´a ap- lik´acia [8] poskytuje svojim uˇz´ıvatel’om online CV zameran ´y a riaden ´y r ˆoznymi metrikami, ktor ´y je prisp ˆosobitel’n ´y potreb´am uˇz´ıvatel’a. [9]

Mnoˇzstvo sluˇzieb a n´astrojov, ktor´e boli v priebehu rokov vyvinut´e akademickou ko- munitou bohuˇzial’ zanikli, jedn´a sa napr´ıklad o ScienceCard, ReaderMeter, PeerEvaluation alebo ResearchScorecard. Aj ked’ ReaderMeter podl’a rovnomennej str´anky readermeter.org m ˆoˇze byt’ v bud ´ucnosti znova dostupn ´y.

Z´aver a d’alˇs´ı v ´yvoj

Hodnotenie vedeck´eho pr´ınosu je d ˆoleˇzitou s ´uˇcast’ou v ´yvoja a d’alˇsieho pokroku. Alter- nat´ıvne metriky ukazuj ´u, ˇze maj ´u dostatoˇcn ´y potenci´al obohatit’ n´aˇs pohl’ad na t ´uto oblast’ a prispiet’ tak pozit´ıvne v zlepˇsovan´ı v ´yskumu. S´ıce alternat´ıvne metriky nie s ´u sam´e o sebe ultim´atnym rieˇsen´ım cel´eho probl´emu ale v kombin´aci´ı s tradiˇcn ´ymi metrikami dod´avaj ´u poˇzadovan ´y n´ahl’ad na cel ´u problematiku v ˇsirokom spektre. Ich nesmiernou v ´yhodou je ich l’ahk´a dostupnost’ v kr´atkom ˇcasovom ´useku. Ako bolo uk´azan´e v predch´adzaj ´ucom texte, mnoh´e pr´ace uk´azali, ˇze alternat´ıvne metriky koreluj ´u s tradiˇcn ´ymi met ´odami a metrikami vd’aka ˇcomu je moˇzn´e tvrdit’, ˇze nepriamo zlepˇsuj ´u transparentnost’ i t ´ychto metr´ık a rov- nako nepriamo vynucuj ´u ich korektnost’ a t ´ym obmedzuj ´u moˇznosti manipul´acie. Pre trans- parentnost’ akademickej pr´ace je zdiel’anie v ´yskumu formou Open Access alebo jeho disku- tovanie na Internete d ˆoleˇzitou s ´uˇcast’ou d’alˇsieho v ´yvoja. A d´a sa predpokladat’, ˇze v ´yvoj bude t ´ymto smerom pokraˇcovat’. Tieto formy ˇs´ırenia s ´u preto jedn ´ym z d ˆovodov vzniku t ´ychto nov ´ych metr´ık a n´astrojov. Z´arove ˇn ale treba podotkn ´ut’, ˇze v ´yvoj a vyuˇz´ıvanie al- ternat´ıvnych metr´ık je rovnako ako tradiˇcn´e met ´ody n´achyln´e na manipul´aciu a to hlavne z d ˆovodu r ˆoznorodosti zdrojov d´at pre alternat´ıvne metriky, ktor ´ych form´at v s ´uˇcasnosti nieje st´ale ˇstandardizovan ´y a jednotliv´e API, pre pr´ıstup k t ´ymto inform´aci´am, poskytovan´e sluˇzbami uchov´avaj ´ucimi tieto d´ata sa l´ıˇsia. Rovnako mnoh´e sluˇzby od svojho vzniku uˇz nie s ´u nad’alej v prev´adzke alebo boli nahraden´e in ´ymi. Preto je potrebn´e vytvorit’ alebo vylepˇsit’

existuj ´uce normalizaˇcn´e procesy ktor´e bud ´u tak ´yto nechcen ´y ˇsum filtrovat’ s dostatoˇcnou

presnost’ou.

Diverzita tohto druhu vˇsak d´ava moˇznost’ d’alˇsiemu v ´yskumu a vylepˇseniam. V bud ´u–

cnosti m ˆoˇzeme oˇcak´avat’ kvalitnejˇsie n´astroje na filtrovanie odborn ´ych textov na z´aklade personalizovan ´ych preferenci´ı, r ˆozne nov´e formy analyzovania vplyvu skrz soci´alne siete alebo n´astroje pre automatick´e upozor ˇnovanie na nov´e zauj´ımav´e pr´ace v definovan ´ych ob- lastiach z´aujmu jednotlivca alebo skupiny v ´yskumn´ıkov.

Akademick ´y svet sa r ´ychlo vyv´ıja a adoptuje nov´e technol ´ogie na publikovanie nov ´ych znalost´ı a v ´ysledkov v ´yskumu. Sledovanie v ´yvoja je preto zloˇzitejˇsie neˇz v minulosti. V ´yvoj spr´avnych n´astrojov na sledovanie z´aujmov ´ych skup´ın a trendov v ´yvoja je d ˆoleˇzitou s ´u–

ˇcast’ou pokroku v efekt´ıvnom zdielan´ı vedeck ´ych znalost´ı.

Literat ´ura

[1] Euan Adie. Altmetric.com. http://www.altmetric.com/. citovan´e 5.12.2014.

[2] Hamed Alhoori and Richard Furuta. Do Altmetrics Follow the Crowd or Does the Crowd Follow Altmetrics? InIEEE/ACM Joint Conference on Digital Libraries, 2014.

[3] Johan Bollen, Herbert Van de Sompel, Aric Hagberg, and Ryan Chute. A principal component analysis of 39 scientific impact measures. PLoS ONE, 4, 2009.

[4] Tim Brody, Stevan Harnad, and Leslie Carr. Earlier web usage statistics as predictors of later citation impact.Journal of the American Society for Information Science and Technology, 57:1060–1072, 2006.

[5] Gunther Eysenbach. Citation advantage of open access articles.PLoS Biology, 4:692–698, 2006.

[6] Martin Fenner. What Can Article-Level Metrics Do for You?PLoS Biology, 11, 2013.

[7] Stefanie Haustein and Tobias Siebenlist. Applying social bookmarking data to evaluate journal usage. Journal of Informetrics, 5:446–457, 2011.

[8] Impactstory. Impactstory WebApp. http://impactstory.org. citovan´e 5.12.2014.

[9] Stacy Konkiel, Heather Piwowar, and Jason Priem. Imperative for Open Altmetrics.

Metrics for Measuring Publishing Value: Alternative and Otherwise, 17(3), September 2014.

[10] Peter Kraker, Christian Schl ¨ogl, Kris Jack, and Stefanie Lindstaedt. Visualization of Co-Readership Patterns from an Online Reference Management System. CoRR, abs/1409.0348, September 2014.

[11] Xuemei Li, Mike Thelwall, and Dean Giustini. Validating online reference managers for scholarly impact measurement. Scientometrics, 91:461–471, 2012.

[12] George A. Lozano, Vincent Larivi`ere, and Yves Gingras. The weakening relationship between the impact factor and papers’ citations in the digital age.Journal of the American Society for Information Science and Technology, 63:2140–2145, 2012.

[13] F. A. Nielsen. Scientific citations in Wikipedia. First Monday, 12, 2007.

[14] PLOS. PLoS ONE. http://www.plosone.org/. citovan´e 5.12.2014.

[15] Plums. PlumX. http://www.plumanalytics.com/. citovan´e 5.12.2014.

[16] Jason Priem, Paul Groth, and Dario Taraborelli. The altmetrics collection. PloS one, 7(11):e48753, January 2012.

[17] Jason Priem, Heather a Piwowar, and Bradley M Hemminger. Altmetrics in the wild:

Using social media to explore scholarly impact. arXiv12034745v1 csDL 20 Mar 2012, 1203.4745:1–23, 2012.

[18] Jason Priem, Dario Taraborelli, Paul Groth, and Cameron Neylon. Alt-metrics: a mani- festo. http://altmetrics.org/manifesto/, Oct 2010. citovan´e 5.12.2014.

[19] Mike Rossner, Heather Van Epps, and Emma Hill. Show me the data., 2007.

[20] The PLoS Medicine. The Impact Factor Game. PLoS Med, 3(6):e291, 2006.

Dodatok A

Metadata v Dublin Core

dc:title Altmetrics

dc:cretor Robert Zahradn´ıˇcek

dc:subject Altmetrics, alternat´ıvne metriky, hodnotenie, metriky dc:date 2014-12-05

dc:description Popis a prehl’ad alternat´ıvneho pr´ıstupu k hodnoteniu pr´ınosu odborn ´ych publik´aci´ı

dc:type text

dc:language sk