Mokslininko produktyvumo vertinimas pagal tokius rodiklius, kaip citavimo dažnis, yra labai priklausomas nuo srities, kurioje dirba mokslininkas, todėl daugelio reitingų sudarinėtojai stengiasi nekišti nagų prie skirtingų sričių mokslininkų lyginimo. Pavyzdžiui, vidutinis biochemikas reitinguojant pagal citavimo dažnį surinks daugiau taškų nei vidutinis matematikas, nes biochemijos srityje daugiau remiamasi citavimais.
Tačiau Indianos universiteto (JAV) mokslininkai mano, jog sugalvojo patį geriausią būdą lyginant mokslininkus išvengti jų atstovaujamos mokslo srities įtakos vertinimui. Vertinimus jie publikavo internete, todėl akademinio pasaulio atstovai pirmą kartą turi galimybę palyginti visų sričių mokslininkų svarbą.
Jų negalutinis ir nuolat atnaujinamas beveik 35 000 mokslininkų reitingas sudarytas pagal „Google Scholar“ paieškos variklio duomenis siekiant normalizuoti populiarų rodiklį, vadinamą h-indeksu (mokslininkas, kurio h-indeksas yra 20, yra publikavęs bent 20 mokslinių darbų, kurių kiekvienas cituotas bent 20 kartų, kitaip tariant, šis rodiklis vertina mokslinių tyrimų kiekybę ir populiarumą).
Nustatyta, kad iki lapkričio 5 dienos pats įtakingiausias mokslininkas buvo istorikas Karlas Marxas, aplenkęs psichologą Sigmundą Freudą. Trečioje vietoje liko Pažangiųjų tyrimų instituto (JAV) fizikas Edwardas Wittenas. Reitingas pateiktas svetainėje „Scholarometer“ ir yra sudarytas Indianos universiteto informatiko Filippo Menczerio bei jo kolegų Jasleen Kaur ir Filippo Radicchi.
Universalus rodiklis
Manome, kad to labai reikėjo. Mūsų kolegos nuolat naudojasi „Google Scholar“ paslauga, bet ji rodo tik h-indeksą. Todėl mums kyla klausimas: o kaip mums įvertinti žmogų mums nepažįstamoje disciplinoje?“, - sakė F. Menczeris.
Spalį jis su kolegomis publikavo mokslinį darbą, kuriuo argumentavo, jog geriausias statistinis metodas pašalinti atstovaujamos mokslo srities įtaką h-indeksui – tai konkretaus mokslininko h-indeksą padalinti iš visų tos srities mokslininkų h-indekso vidurkio.
Pritaikius tokią korekciją, K. Marxo įvertinimas už vidutinį istorikų h-indeksą buvo didesnis net 22 kartus (bet tik 11 kartų lyginant su ekonomistų vidurkiu). E. Witteno įvertinimas fizikų vidurkį viršijo 13 kartų ir taip toliau. Toks koregavimas užtikrina, kad mokslininkai, tarkime, atstovaujantys 5 procentus savo srities „grietinėlės“ patektų tarp 5 procentų visų sričių geriausių mokslininkų.
Tokia reitingo normalizavimo sistema nėra naujiena. Metrikų ekspertai yra prikūrę įvairiausių metodų pašalinti tendencingumus ir dažnai remiasi vidurkiais, pagrįstais amžiumi, žurnalu ir mokslo sritimi. Normalizuotus rodiklius pateikia ir tokios komercinės informacijos įstaigos, kaip „Thomson Reuters“.
Viskam būna pirmas kartas
„Scholarometer“ kitus mokslininkų reitingus aplenkė iškart dviejose srityse. Visų pirma ir svarbiausia – jų normalizuoto reitingavimo vertinimas yra prieinamas viešai ir nemokamai, skirtingai nei daugumoje kitų šaltinių. „Thomson Reuters“ analizes atlieka naudojant jiems priklausančias duomenų bazes, todėl ir analizės rezultatai yra privatūs. Kita interneto paslauga, „Publish or Perish“, pateikia pagal amžių ir mokslinių sritį normalizuotus duomenis, kurie surenkami „Google Scholar“ svetainėje. Tačiau „Publish or Perish“ trūkumas – kad duomenis svetainė vienu metu gali pateikti tik apie vieną mokslininką. Taip yra dėl to, kad „Google Scholar“ blokuoja automatizuotas kompiuterines programas, kurios mokslinės informacijos paieškos svetainę bombarduotų nepaliaujamai. Dėl to negalima sudaryti skirtingų mokslininkų vertinimų sąrašo.
Indianos universiteto mokslininkai šią kliūtį apėjo sukurdami automatizuotą programą, kuri ne tiesiogiai bombarduoja „Google Scholar“ užklausomis, o surenka atskirų paieškų, vykdomų per „Scholarometer“ naršyklės išplėtimą, duomenis. Ir per kelerius metus mokslininkai sukūrė didelę viešą, dinamišką duomenų bazę, kurioje gavus duomenų apie naujas „Google Scholar“ užklausas patikslinami ir mokslininkų h-indeksai. Pasak F. Menczerio, gali būti, kad ateityje bus sukurtas normalizuoto h-indekso palyginimas su amžiaus įvertinimu – tai suteiktų galimybę palyginti mokslininkus skirtinguose jų karjeros etapuose.
Įdomu tai, kad publikavus šį straipsnį interneto leidinyje „Scientific American“, atsirado nemažai tokio požiūrio į mokslininkų vertinimą kritikų: jie tvirtina, kad tai yra visiškai antimoksliškas tyrimas, kad labai keistai atrodo K. Marxo išaukštinimas, kai komunizmas liko tik keliose valstybėse, o Kinijos komunizmas toks yra tik pagal pavadinimą. Dar keisčiau straipsnio komentatoriams atrodo tai, kad įtakingiausių mokslininkų sąraše nėra Alberto Einsteino, Pitagoro, Aristotelio, Isaaco Newtono, Charleso Darwino ir kitų mokslo milžinų.
