Birželio 11-ąją Tarptautinė matematikų sąjunga išplatino pranešimą spaudai, kuriame pateikė grupės mokslininkų atlikto darbo ataskaitą pavadinimu ,,Citavimo statistika”. Darbo tikslas – nustatyti, ar citavimo statistika yra geriausia priemonė mokslo kokybei vertinti. Tai yra klausimas - vis labiau jaudinantis mokslo bendruomenę visame pasaulyje. Lietuvos visuomenei ši ataskaita turėtų būti itin aktuali.
Citavimo statistika ataskaitoje vertinama remiantis matematikos požiūriu. Jos autoriai griežtai perspėja dėl perdėto pasikliovimo tokia citavimo statistika kaip svorio koeficientas, h-indeksas ir citavimų skaičius. Paprastai citavimu grindžiamus metodus skatinama naudoti tikint jų tikslumu, objektyvumu ir paprastumu. Bet toks tikėjimas yra nepagrįstas - rašoma Tarptautinės matematikų organizacijos spaudos pranešime.
Trumpa ataskaitos apžvalga
Viena iš problemų, su kuria susiduria kiekviena citavimo statistika, yra jos prasmės neaiškumas. Tiksliau, jos prasmės subjektyvus interpretavimas. Pavyzdžiui, straipsnio citavimų skaičius laikomas ,,objektyviu”, jo kokybę tiesiogiai atspindinčiu dydžiu. Šiuo atveju problema yra konkrečių citavimo priežasčių ignoravimas. Sąlygiškai šias priežastis galima suskirstyti į dvi skirtingas grupes: ,,apdovanojančią” ir ,,retorinę”.
Pirmajai grupei priklauso citavimas siekiant nurodyti intelektinę skolą cituojamam autoriui. Antrajai grupei priskiriamos visiškai kitos priežastys. Pavyzdžiui, nuoroda į paaiškinamą rezultatą, galbūt priklausantį ne cituojamam autoriui. Retorinis citavimas įgyvendina įprastinę mokslinę komunikaciją ir neturi nieko bendra su intelektiniu pripažinimu. Tyrimai rodo, kad didžiausia citavimų dalis yra retorinė. Net jei citavimas priskirtinas apdovanojančiajam tipui, jo motyvai gali būti be galo skirtingi, dažnai prasilenkiantys su objektyvumu.
Kita pastaruoju metu populiari ir citavimu pagrįsta statistika yra mokslininko h-indeksas. Tai maksimalus skaičius n tų mokslininko publikacijų, kurios turi ne mažiau kaip n citavimų. Ją pasiūlęs J.E.Hirschas teigė, kad h-indeksas yra ,,lengvai apskaičiuojamas rodiklis, atspindintis visų mokslininko publikacijų svarbą, reikšmę ir indėlį”.
Dažniausiai naudojama citavimu grindžiama statistika yra žurnalo svorio koeficientas. X žurnalo 2007-ųjų svorio koeficientas yra santykis A/B ( B yra visų X žurnale 2005-aisiais ir 2006-aisiais metais publikuotų straipsnių skaičius, o A yra tų straipsnių citavimo skaičius 2007-aisiais metais publikuotuose ISI sąrašo žurnaluose). Pavyzdžiui, X žurnalo 2007-ųjų svorio koeficientas 1,5 reiškia, kad X žurnale 2005 ir 2006 metais publikuoti straipsniai vidutiniškai 1,5 karto buvo cituojami visuose ISI sąrašo žurnaluose, publikuotuose 2007-aisiais. Ataskaitoje minima daug šio koeficiento trūkumų.
Svarbiausias iš jų yra tai, kad net tai pačiai mokslo krypčiai priklausančių žurnalų svorio koeficientų skirtumas menkai susijęs su juose publikuojamų straipsnių kokybės skirtumais. Tai atskleidžiama dviejų laisvai pasirinktų ir matematikams gerai žinomų žurnalų pavyzdžiu: Proceeding of the AMS ir Transactions of the AMS. Naudojant svorio koeficiento skaičiavimo metodiką ketverių metų periodui ir matematikos žurnalų duomenų bazę, gauti šių žurnalų koeficientai yra atitinkamai 0,434 ir 0,846. Taigi straipsniai publikuoti Transactions of the AMS svorio koeficiento požiūriu, yra du kartus geresni už straipsnius paskelbtus Proceedings of the AMS. Tiems, kurie žino šiuos žurnalus, toks vertinimas yra labai keistas.
Vadovaudamiesi statistikos logika turėtume apskaičiuoti tikimybę, kad toks straipsnių vertinimas yra klaidingas. Tiksliau, turėtume klausti, kokia tikimybė, kad atsitiktinai paimtas straipsnis iš Proceedings of the AMS turi ne mažiau citavimų už atsitiktinai paimtą straipsnį iš Transactions of the AMS? Tai nėra sunku. Pasirodo, ši tikimybė yra 0,62. Tai atskleidžia, kad mes klystame net 62 kartus iš 100 ir atsitiktinai paimtas straipsnis iš Proceedings of the AMS yra ne blogesnis už atsitiktinai paimtą straipsnį iš Transactions of the AMS, nors svorio koeficientas yra du kartus mažesnis.
Kiti pavyzdžiai tik patvirtina tokį skirtingą vertinimą. Ataskaitoje šis reiškinys paaiškintas statistikos požiūriu bei daroma išvada, kad svorio koeficiento suteikiama informacija yra neaiški ir smarkiai klaidinanti netgi tos pačios mokslo srities žurnalų atžvilgiu. Žurnalo vertinimas vieninteliu svorio koeficientu, vaizdžiai kalbant yra tas pats, kas žmogaus sveikatos vertinimas remiantis tik jo kūno svoriu.
Tarp keleto ataskaitos išvadų išskirtume teiginį, kad citavimo statistika laikytina tik vienu iš daugelio būdų vertinti mokslinių tyrimų kokybę, prieš tai atlikus jos nuodugnų tyrimą ir galėtų būti naudojama tik kaip dalinė ir papildanti informacija.
Kiek tai svarbu?
Mokslo administravimo tarnybos Lietuvoje, kaip ir kitų šalių atitinkamos tarnybos, renka minėtas statistikas, kurdamos duomenų bazes. Žurnalų svorio koeficientai ir kitos citavimu grindžiamos statistikos yra naudojamos lyginti straipsnius, žmones, institucijas, programas ir netgi mokslo kryptis. Lietuvoje toks lyginimas labai dažnai yra vienintelis kriterijus, lemiantis atitinkamą finansavimą ir kitokį skatinimą. Lietuvoje netgi valstybinės mokslo premijos skyrimą lemia kandidato darbų citavimų kiekis ir h-indeksas. Tai laikoma akivaizdžiu kokybės įrodymu. Tokia nusistovėjusi praktika gimdo iliuziją, kad keliais skaičiais įmanoma išreikšti mokslinių tyrimų kokybę.
Pagrindinis vertinimo kriterijus buvo h-indeksas, kaip teigiama SKVC tinklalapyje paskelbtame atrankos aprašyme. Galima tikėtis, kad naujųjų mokslo centrų tolesnė plėtra bus vykdoma remiantis ir kitais kriterijais, pavyzdžiui, ekspertiniu vertinimu, bet pagrindas jau padėtas. Visa tai rodo, kad citavimo statistikos sureikšminimas Lietuvoje yra paplitęs reiškinys.
Citavimo statistikos idealizavimas plinta daugelyje pasaulio šalių. Tai atskleidžia ir Tarptautinės matematikų sąjungos darbo grupės diskutuojamu klausimu sukūrimas. Bet tokį reiškinį skatinančios priežastys gali būti įvairios skirtingose šalyse. Įdomus klausimas, kokios priežastys skatina citavimo statistikos idealizavimą mūsų šalyje. Lietuvoje citavimo statistikų naudojimas vadinamas mokslinės produkcijos formaliųjų kriterijų taikymu. Tokių kriterijų atsiradimą skatino geri norai – siekimas išguiti lygiavą vertinant mokslininkų rezultatus ir motyvuoti kokybiškus tyrimus. Buvo įsiklausoma į užsienio ekspertų patarimus ir mėginama atsižvelgti į kitų šalių patirtį. Taip bent jau tvirtinama oficialiuose dokumentuose.
Formalūs mokslinės produkcijos kokybės kriterijai yra tik vienas iš vykdomos mokslo politikos įrankių. Objektyviai nustatyti naudojamų mokslo politikoje svertų įtaką galėtų tiksliniai sociologiniai tyrimai. Bet kol tokių darbų nėra atlikta, tenka remtis asmenine patirtimi. Mūsų ekspertinio darbo patirtis rodo, kad mokslo darbų kokybės lygis vargiai atitinka lūkesčius ir grėsmingai blogėja. Faktas, kad su bakalauro lygio darbais jau galima apsirūpinti habilitacijai pakankamu publikacijų kiekiu, tuo įvykdant formalius kriterijus, ir ... sėkmingai ,,konkurso būdu“ įgyti teisę profesoriaus pareigoms užimti.
Be abejonės, pastaruoju atveju bėda ne tik skaičių magija. Tokiais atvejais formaliųjų kriterijų suabsoliutinimas tampa galimybe pasiteisinti darant akivaizdžiai klaidingą sprendimą. Dar svarbiau yra sprendimus dėl mokslo darbų kokybės darančių ir tokius sprendimus lemti vengiančių mokslininkų etika.
Patirtis rodo, kad neįprastai daug žmonių viešai kalba ir balsuoja vienaip, o privačiai pasisako priešingai. Kas galėtų paneigti, kad mokslo administratorius tenkinanti dabartinė kokybės vertinimo sistema palankesnė tiems, kurie savo karjerą grindžia asmeniniais interesais?
Ką perdėtas skaičių sureikšminimas vertinant kokybę gali reikšti mokslui ir mokslininkams? Paminėsiu tik du aspektus. Kinta tyrimų krypties pasirinkimo motyvacija. Tradiciškai žmogus savo karjerą sieja su tų problemų sprendimu, kurių svarba ir sprendimo galimumu vienu ar kitu metodu jis tiki.
Tačiau didžiausią citavimų skaičių galima tikėtis pasiekti tada, kai dirbama sprendžiant madingas problemas arba kai naudojami madingi metodai. Jei citavimų skaičius pradeda lemti mokslininko materialinę ar karjeros padėtį, tai žmogus susiduria su būtinybe rinktis tarp aukojimosi mokslui ir greitos karjeros. Kita akivaizdi problema – citavimų skaičius nejautrus etiniams ir moraliniams mokslo kokybės aspektams. Galiausiai galima konstatuoti, kad visuomenėje formuojasi mąstymo stereotipas, užgožiantis realią problemą: kaip vertinti mokslinių tyrimų kokybę? Kitaip tariant, suprastintų procedūrų tapsmas kasdiene praktika naikina poreikį siekti suprasti mokslo kokybę.
Naujausiame „Atgimime“ skaitykite:
Baimės netekti valdžios akys didelės
Kaip šitos kadencijos Seimo sudarytos vyriausybės bendrauja su Europos Komisija, o ypač joje dirbančia lietuve komisare Dalia Grybauskaite, kada nors studentams bus pateikiamas kaip dar vienas puikus lietuvių negebėjimo dirbti kartu valstybės labui pavyzdys, rašo Indrė Makaraitytė.
Poliarinės meškos prieš badaujančius vaikus
Prieštaringai vertinamas danų ekonomistas Bjornas Lomborgas tvirtina, kad mūsų ribotas lėšas geriau išleisti gyvybių nei planetos gelbėjimui. Jo oponentai aiškina, kad ne viską galima išmatuoti pinigais, ir perspėja, kad nesirūpinimas klimato kaita gali kainuoti daugiau nei įsivaizduojame. Daugiau apie tai - Laura Gintalaitė.
Baikime politinius barnius dėl lenkų pavardžių rašybos
Apie tai, jog lenkų pavardžių rašymo "problema" laužiama iš piršto, rašo Anatolijus Lapinskas.
Olandų dizainas Kaune, arba Antausis karalienei
Rasa Gečaitė apie valstybinės pseudokultūros grimasas, kai nerandama lėšų finansuoti jau atvežtą į Mykolo Žilinsko galeriją Kaune pasaulinio lygio dizaino parodą iš Nyderlandų.