Cím:

A „tudomanymetria.com” módszerének alkalmazhatósága pályázatok értékelésére

Applicability of the Method Introduced by ‘tudomanymetria.com’ in Funding Decisions

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Kamarás Katalin1, Makara B. Gábor2, Soós Sándor3

Jegyzet elhelyezéséhez, kérjük, lépjen be!

1az MTA rendes tagja, Wigner Fizikai Kutatóközpont, Budapest

Jegyzet elhelyezéséhez, kérjük, lépjen be!

kamaras.katalin@wigner.hu

Jegyzet elhelyezéséhez, kérjük, lépjen be!

2az MTA rendes tagja, Kísérleti Orvostudományi Kutatóintézet, Budapest

Jegyzet elhelyezéséhez, kérjük, lépjen be!

makara@koki.hu

Jegyzet elhelyezéséhez, kérjük, lépjen be!

3PhD, osztályvezető, MTA Könyvtár és Információs Központ Tudománypolitikai és Tudományelemzési Osztály, Budapest

Jegyzet elhelyezéséhez, kérjük, lépjen be!

soos.sandor@konyvtar.mta.hu
 
Összefoglalás
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A tudomanymetria.com (TMcom) nyilvános honlap, és ennek alkalmazási javaslata az OTKA pályázati rendszerében vizsgálatunk tárgya. A teljes magyar tudományosság teljesítménymegítélését potenciálisan befolyásoló módszer látszólagos objektivitása és egyszerűsége miatt vonzó lehet a kutatók és adminisztratív szervek munkatársai számára, és a felületes szemlélő azt gondolhatja, hogy ez egy gondosan validált, elfogadott és az OTKA-ban hivatalosan használt tudománymetriai mérőeszköz. Fontossága miatt megvizsgáljuk az elvi alapokat, a módszer tulajdonságaiból származó előnyös és hátrányos vonásokat, összegzünk számos vezető hazai kutatótól származó véleményt, elemezzük a kísérő dokumentációt. A TMcom adatbázisát elemezve megállapítjuk, hogy a rendszer alapjai több ponton bizonytalanok, noha fejlett informatikai módszereket és egyes korszerű tudománymetriai elemeket használ. Különösen gyenge a rendszer a tudományszakok csoportosítása, a folyóirat-alapú értékelés használata, az első és utolsó szerzőkhöz megalapozatlanul rendelt hozzájárulások területén. Számos előnytelen tulajdonsága és hiányossága miatt a TMcomot nem tartjuk alkalmasnak tudományos teljesítmény értékelésére. A GDPR-megfeleltetés tekintetében a rendszernek az adatvédelmi hatóság általi vizsgálata szükséges. Az értékelési folyamat a fentieknek megfelelően nem nélkülözheti a szakértői vélemények (peer review) figyelembevételét, és a több szempontot kiegyensúlyozottan érvényesítő testületi döntést. Ez utóbbinak a finanszírozó általi utólagos megváltoztatását nem tartjuk összeegyeztethetőnek a nemzetközi tudományos normákkal.
 
Abstract
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

The subject of our investigation is the public webpage link (TMcom) and its suggested application in the ranking system of the Hungarian National Research Fund (OTKA). This method, exerting a potential influence on the whole evaluation process of Hungarian science, may look attractive to both researchers and administrators, because at first sight it can be considered as a scientometric indicator carefully validated, accepted and officially applied in the OTKA system. Because of its importance, we investigate its basic foundations, advantages and disadvantages, we summarize opinions from numerous leading Hungarian scientists, and analyze the accompanying documentation. The analysis of the TMcom database leads us to the conclusion that the foundations of the system are unstable, despite the use of up-to-date IT methods and some elements of modern scientometry. The system is exceptionally poor concerning the organization of scientific areas, the use of journal-based evaluation, and the unsubstantiated use of contributions assigned to first and last authors. Because of its many disadvantageous features and shortcomings, we do not find the TMcom method suitable for evaluation of scientific performance. In terms of GDPR compliance, a review by the relevant data protection agency is required. Based on the above, the ranking system cannot lack the use of peer review and a collective decision, taking into account several points of view in a balanced manner. Subsequent changes of such decisions by the financing body, in our opinion, do not comply with international scientific norms.
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Kulcsszavak: tudománymetria, kutatásértékelés, adatvédelem
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Keywords: scientometrics, research evaluation, data protection
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

DOI: 10.1556/2065.182.2021.4.1
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Cikk letöltése 
 
Bevezetés
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A 2020-as OTKA-pályázatok értékelése meglehetősen formabontóra sikerült. Két olyan mozzanat jelent meg, amely eddig nem szerepelt, és ami tudomásunk szerint más országokban sem gyakorlat: 1. A tudomanymetria.com (TMcom, URL1) adatbázis alkalmazása, 2. A szakterületi értékelő testületek döntésének utólagos felülvizsgálata.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A nemzetközi gyakorlatban általában kétféle értékelési forma használatos:

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Érdemi tudományos teljesítményértékeléshez vizsgálni kell az értékelt személy tudományos eredményeit, azok eredetiségét, fontosságát a tudomány és a gyakorlat számára, csoportos tevékenység esetén a vizsgált kutató részvételét az eredményekben, az eredmények nemzetközi és hazai tudományos visszhangját, gyakorlati felhasználását.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Tudománymetriai értékeléskor az érdemi értékelést a tudományos közösség publikációs szokásrendszeréből generált statisztikai mutatókkal helyettesítik. Ezek tudományszociológiai jellemzők: a tudományos közlemény szerzői sorrendje, közzétételi formája és helye, valamint adott közleményt idéző más tudományos kutatók idézéseinek helye, tartalma és az idézések száma. Ezek a szokások alapvetően különbözőek lehetnek még szomszédos tudományágakban is.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A tudománymetriai (objektív) adatok felhasználásával és elemzésével sokszor próbálkoznak azzal a céllal, hogy az adatokkal vagy az azokból származtatott mutatókkal helyettesítsék vagy segítsék az érdemi értékelő szakértői munkát. A tudománymetriai elemzés akkor szolgáltathat hasznos adatokat a tudományos teljesítmény értékeléséhez, ha a felhasznált mutatók jól közelítik a szakértői értékelésben használt jellemzőket.
 
A TMcom-módszer tulajdonságai
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A módszerről általában. 2020 szeptemberében a tudomanymetria.com honlap címe: Scientometrics of Hungarian researchers. Üzemeltetője a Semmelweis University, Department of Bioinformatics, kapcsolat: gyorffy.balazs@med.semmelweis-univ.hu. Itt található egy „Rövid leírás” és egy „OTKA útmutató”, ami a rendszerről szolgáltatott legbővebb nyilvános információ.1

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Nyilvánosság. A TMcommal kapcsolatban adatvédelmi aggályok merülnek fel. A „referencia-adatbázis” a közlemény- és szerzői adatokat a Magyar Tudományos Művek Tára (MTMT) nyilvános adataiból veszi. Az MTMT kap kutatói engedélyt adataik nyilvános bemutatására, de ez nem terjed ki az adatbázisból kivett adatok másodlagos nyilvános használatára. Ugyanez vonatkozik az OTKA-pályázatok olyan adataira, amelyekből személyre szólóan és nyilvánosan tudományos teljesítményre utaló következtetéseket származtatnak, vagy a pályázatokból kinyert életkor nyilvános szerepeltetésére. Nem ismert, hogy történt-e személyes adatokra vonatkozó adatvédelmi vizsgálat.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A referencia-adatbázis minősége. A TMcom a magyar tudományos kutatók nyilvános közleményadataiból személyes szakterületi rangsorokat számol. Tudomásunk szerint ez a mérőmódszer nem ment át a tudományban megkívánt szigorú hitelesítésen, nem történt meg összevetése a szakértői értékeléssel. A referencia-adatbázis az MTMT oldaláról ellenőrizetlen, nem tudni, hogy az adatátvétel milyen minőségű, és azt sem, hogy a közel 60 ezer, MTMT-ben szereplő kutató közül kb. 7 ezer kiválasztása mennyire reprezentatív. A referencia-adatbázis nyilvános felületén nincs lehetőség arra, hogy a kutatók ellenőrizzék a róluk tárolt információkat. Számos olyan esetet találtunk, ahol a szempontoknak megfelelő kutatók nem szerepelnek, elhunyt személyek viszont igen. Hiányoznak az ismert kinyerési hibák mennyiségét leíró adatok, nem tudható, mekkora torzítást okozhatnak a hiányosságok az egyes tudományterületek lefedettségében. A referencia-adatbázis nem tűnik alkalmasnak a társpályázók teljesítményének értékelésére, ami magyarázhatja, hogy miért csak a vezető kutató értékelésével foglalkozik.
 
Tudománymetriai értékelés
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A webszolgáltatás formájában közzétett tudománymetriai alkalmazás közvetlen célja (1) a hazai kutatók (egy kiemelt körének) rangsorolása publikációs életművük alapján, (2) a pályázati döntés-előkészítés informálása, támogatása. Az alkalmazás mindkét vonatkozásban vizsgálható, így például a (2)-es pont felveti pályázati célrendszerek és a bibliometriai értékelés illeszkedésének általános kérdéseit, az alábbiakban ugyanakkor elsődlegesen az (1)-es nézőpontból igyekszünk jellemezni a szoftvert, vagyis mint alapvetően bibliometriai célú rangsorolási eszközt (noha a két funkció kapcsolata ebből a nézőpontból is óhatatlanul előkerül, lásd a választott mutatók érvényességére vonatkozó szakaszt).

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A bemutatott rangsorolási módszer tagadhatatlan erőssége, hogy a korszerű értékelő tudománymetria alapelveit igyekszik felhasználni, amelyek célja az összemérhetőség biztosítása a kutatás egyébként igen heterogén szereplői, ebben az esetben a szerzők között. Ebből a célból ún. normalizált mérőszámokat alkalmaz, amelyek korrigálni hivatottak a tudomány- és szakterületek különbségei, valamint az eltérő (hosszúságú) életpályák torzító hatását a publikációs teljesítmények összehasonlításakor. A tudományterületi referenciahalmazokra (lényegében tudományágakra) és életkori metszetekre relativizált indikátorok bevezetése szakít a nyers közlemény- és idézetszámokra alapuló korábbi (és megalapozatlan) gyakorlatokkal, ez tehát mindenképpen előnyös vonása a megközelítésnek. Ugyancsak előnyös vonás a teljesítmény többdimenziós voltának modellezése, vagyis a produktivitás, hatás, minőség aspektusainak külön mérőszámokkal való közelítése (ennek kísérlete). A jelen tudománymetriai diskurzust idézi továbbá az a tény is, hogy a rangsorképzés percentilis értékű mutatókkal zajlik, amelyek hitelesebb képet adnak a teljesítmények terében elfoglalt pozícióról, mint az alternatívák (például átlagokhoz való viszonyítás).

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A bemutatott módszernek ugyanakkor erős korlátai, limitációi adódnak a fent említett alapelvek látható érvényesítése, operacionalizációja során. A főbb problémaköröket röviden az alábbi pontokban jelölhetjük meg:

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Tudományterületi referenciahalmazok. A rendszer az egyéni teljesítményeken alapuló kutatói pozíciót (a legáltalánosabb esetben) az MTA-osztályokon belül állapítja meg, vagyis az ún. tudomány- és szakterületi normalizáláshoz az MTA-osztályt tekinti referenciahalmaznak. Ugyanakkor az MTA-osztályok bibliometriai szempontból számos esetben igen heterogén egységek, vagyis a szakterületek különbözősége (publikációs és idézési szokások) erősen torzítja a szerzők relatív pozícióját. Az egységek megválasztását inkább a felhasznált adatbázis (MTMT) mindenkori lehetőségei látszanak indokolni.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Életkori referenciahalmazok. A mutatók normalizálásának másik aspektusa az eltérő hosszúságú életpályák hatásának kiküszöbölési módja. Itt sajátos megoldásként a szerző referenciahalmazát (a megfelelő tudományterületi halmazon belül) az életkornak megfelelő életpályametszetek (illetve az azokhoz tartozó teljesítmények) alkotják. A tudománymetria gyakorlatában ugyanakkor az életpálya hosszát kontrolláló összehasonlítások az ún. publikációs életpályát veszik alapul, vagyis az azonos időtávban publikáló (nem pedig az azonos életkorú) szerzőket tekintik homogén csoportnak. Az életkormetszetek olyan általános problémákat is felvetnek, mint a különböző publikációs kontextusok közvetlen összevetése (például a közelmúltban, illetve az évtizedekkel korábban fennálló normák és elvárások a nemzetközi, például Q1-es közleményeket illetően). Az ilyen (illetve a fentiekben leírt tudományterületi) referenciahalmazok bibliometriai kezelésére cikkünk Javaslatok című részében teszünk rövid utalást.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A mérőszámok érvényessége. További potenciális torzításokat okoz a mérőszámok megválasztása (a fent jelzett alkalmazási mód mellett, illetve azzal együtt), illetve kombinációja a kompozit indikátor előállítása során. Általánosságban is elmondható, hogy a bibliometriai mérőszámok szerzői szintű alkalmazása, illetve a speciálisan szerzői szintű mérőszámok fogalmi érvényessége körül élénk szakmai vita zajlik. (A Handbook of Science and Technology Indicators legutóbbi, 2019-es kiadásában a téma önálló fejezet tárgyát képezi [Schubert A.–Schubert G., 2019], melynek fő konklúziója, hogy ezt a mérőszámcsaládot illetően a kutatás „gyerekcipőben jár” [immature], annak ellenére, hogy a család igen kiterjedt, ha csak a h-index 40-50 „javított” változatát tekintjük is.) A konkrét esetben azonban fontosabb, hogy a választott mutatók megfelelően operacionalizálják-e a rangsorolási célt. Az útmutató, illetve a mérőszámok jellege alapján az körvonalazódik, hogy a (nem feltétlenül explicit) cél a szerző/kutató életpálya-teljesítményének, illetve jelenlegi vagy közelmúltbeli teljesítményének valamilyen módon kombinált megjelenítése (amely kettősség önmagában is lehet problematikus). Ennek alkalmazott mérőszámai:

Jegyzet elhelyezéséhez, kérjük, lépjen be!

1. H-index. A h-index kombinált (itt egyéni életpályát jellemző) produktivitás- és hatásmutató. Érvényességét ugyan rendkívül sok szempontból megkérdőjelezi a szakirodalom, de adminisztratív használata általános: a konkrét esetben nem feltétlenül a kritikáit, hanem azt a vonását célszerű kiemelni, hogy felépítése miatt elsősorban a produktivitást (itt: közleményszámot) jellemzi, nem pedig a hatást.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

2. Idézetszám az utóbbi két évben. Heurisztikus „egyéni impaktfaktor”-szerű mutató, amely a szerzők szerint az életmű hatását jellemzi a jelenben. Ebben az esetben is azt célszerű kiemelni, hogy (az impaktfaktorral ellentétben) a mutató méretfüggő, nincs normalizálva a közlemények számára. Emiatt várhatóan szintén a produktivitással, a publikációs életpálya hosszával és sűrűségével korrelál nagyobb mértékben (azonos életkorú szerzőknél is potenciálisan eltérő időablakokkal).

Jegyzet elhelyezéséhez, kérjük, lépjen be!

3. Q1-es cikkek száma az utóbbi öt évben. A rangos folyóiratokban megjelent közleményszám az ún. publikációs stratégia, illetve sikeresség, „minőség” dimenzióját célozza. Mivel abszolút darabszámot mér (így például nem a Q1-es cikkek részarányát az utóbbi öt év termésében), ismét felvethető, hogy a megcélzott minőség helyett elsődlegesen a produktivitás mértékét ragadja meg az adott időablakban.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Összefoglalva tehát a mutatók mindegyike a produktivitást látszik favorizálni, illetve tükrözni, amely a teljesítmény többi dimenzióját (hatás, minőség) háttérbe szorítja a mérés során. Ezt a teljesítmény-összetevőt pedig azokkal a torzításokkal közvetíti, amelyek a referenciahalmazok képzéséből adódnak (vagyis szakterületi különbségek és eltérő publikációs életpályák, illetve életpályaszakaszok tükröződnek bennük a teljesítménykülönbségek helyett és mellett).

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Javaslatok. A fent megfogalmazott limitációk nem megkerülhetetlenek, és az aktuális tudománymetriai sztenderdek segítséget jelenthetnek ezek kiküszöbölésében. A limitációk jellegét figyelembe véve két fontos (szakmailag itt nem részletezett) javaslat körvonalazható:
  • Mind a referenciahalmazok, mind a mutatók megválasztásánál célszerű az ún. közleményalapú megközelítés elveiből és eszköztárából kiindulni. Ennek előnye, hogy mind a tudományterületi, mind az életpálya-szempontú normalizálást egyidejűleg, természetes módon teszi lehetővé heterogén szerzői halmazban is, nagyban javítva az összemérhetőséget. Az ide tartozó mutatók ugyanakkor egyértelműbben kapcsolhatók a teljesítmény egy-egy dimenziójához (elsősorban a hatásméréshez), valamint elfogadottságuk, validációjuk is viszonylag magas szintű.
  • A tudomány- és szakterületi rangsorolás eredményeit célszerű a terület szakértőinek értékelésével szisztematikusan összevetni, ilyen módon a módszertant szakértői validációnak alávetni. Noha a „kvantitatív” teljesítményértékelés egyik célja éppen a szakértői szubjektivitás ellensúlyozása (egy-egy esetben vagy értékelés alkalmával), a validáció (hosszabb) folyamatában a szélesebb szakértői mintában kibontakozó értékítélet és a kvantitatív eredmények konvergenciáját szokás elsődleges bizonyítéknak tekinteni a bibliometriai apparátus érvényességére nézve.
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A TMcom a folyóirat-alapú teljesítményértékelésre épül, amelynek gondolatmenete egyszerűsítve: az idézettebb folyóiratok jobbak, a jobb folyóiratokban megjelent szakcikkek tartalma értékesebb, mint más cikkek. A nemzetközi tudományértékelési szakirodalom jelentős része évekkel ezelőtt elvetette – az impaktfaktor-használattal együtt – a folyóirat-alapú tudományértékelést (lásd például biológia területén a San Francisco Declaration of Research Assessmentet [URL2] és a Leiden Manifestót [Hicks et al., 2015]). Ez az idejétmúlt gondolatmenet markánsan jelenik meg a TMcom értékelésének harmadik mutatójában, és ennek közvetítésével az összegzett kutatói rangszámban.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Az útmutató a módszer prediktív szerepét emeli ki: „A döntéstámogató rendszer kifejlesztésének tudományos hátterét az adja, hogy irodalmi referenciák alapján a korábban nagyobb tudományos teljesítményt felmutató kutatók a későbbiekben is nagyobb publikációs teljesítményt fognak elérni.” Referenciaként egy igen szűk kör publikációi szerepelnek a honlapon, amelyek távolról sem tükröznek szakmai konszenzust a tudománymetriában (Schubert A.–Schubert G., 2019; Prasad et al., 2020). Ez a hivatkozási gyakorlat cherry-picking néven híresült el, aminek lényege az idézetek egyoldalú megválogatása a saját álláspont alátámasztására.
 
Értékelés kutatói szemmel
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A fenti tudományos igényű elemzést kiegészítjük a rangsorolás „alanyai”, az egyes kutatók szempontjaival. Ezek szükségszerűen részben szubjektívek, de meggyőződésünk, hogy csak olyan értékelési rendszer használható, amelyet a tudományos közösség nagy része elfogad.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A TMcom-rendszer tükrözi a fejlesztést kezdeményező onkológus és bioinformatikus kutató gondolkozásmódját, személyes tudományértékelési felfogását. Nem észlelhető, hogy más tudományágak, nagy tudományterületek működési módját figyelembe vették volna. Nyilvános párbeszéd sem a tudományos közösségen belül, sem a magyar tudománymetriai szakma képviselőivel nem történt, a kommunikáció kizárólagosan az NKFIH-n (Nemzeti Kutatási, Fejlesztési és Innovációs Hivatal) keresztül folyt. (Az útmutató tartalmaz „Gyakran feltett kérdéseket”, de nem mondja meg, hogy ezeket a kérdéseket ki tette fel, és jelen cikk szerzői, bár ismeretségi körük a tudományt művelők és értékelők körében elég széles, nem találkoztak olyannal, aki a szerzővel érdemi diszkusszióban vett volna részt.)

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Elvi alapok. „Cél: mind a pályázókat, mind a tudományterületeket egymással objektív módon hasonlítsuk össze azáltal, hogy minden egyes kutatót egy közös referencia-adatbázishoz hasonlítunk, amely a hasonló korú, és egyező tudományterületen aktív magyar kutatókat tartalmazza.” Ez konkrétan az OTKA pályázati rendszerében történő felhasználásra irányul, és több implicit feltételezésen alapul, melyekből itt a legfontosabbakat megpróbáljuk explicitté tenni és az alpontokban kritikával illetni:

Jegyzet elhelyezéséhez, kérjük, lépjen be!

1. A folyóiratoknak a kereskedelmi adatbázisokban elfoglalt idézettségi rangsora a folyóiratokban megjelent egyes közlemények szakmai értékét jól tükrözi.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Tekintélyes nemzetközi vélemények szerint (lásd részletesen a tudománymetriai értékelésben) helytelen az egyes tudományos közlemények értékét a közlő folyóirat tulajdonságaiból – például az idézettségi rangsorából – származtatni, mert a folyóirat-alapú értékelés csak igen lazán és statisztikus jelleggel kapcsolódik az egyes művek tartalmának értékéhez. A statisztikusan laza jellemzők egyedi értékelésre felhasználása nem elfogadható.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

2. A tudományos kutatás publikációs és idézési szokásrendszere összehasonlítható a nagyobb tudományterületeken belül lévő kisebb szakterületek között, azaz az akadémiai osztályok, OTKA-zsűrik tudománymetriai szempontokból homogének.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A különböző tudományterületek és szomszédos kis szakterületek közlési és idézési szokásai is gyakran markánsan különbözőek, bölcsész- és társadalomtudományok mellett egyes műszaki, matematikai és természettudományi szakterületeken sem számít fontosnak a Q1-es folyóiratban közlés.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

3. Azonos mértékben számítanak a különböző kutatóknál és tudományterületeken a TMcom által sajátosan értelmezett mutatók, a folyóiratcikkek független idézettsége, a h-index, a Q1-es minősítésű folyóiratokban közlés, a szerzők száma és a szerzősorrendben elfoglalt helye.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Hiányzik annak igazolása vagy magyarázata, hogy a három választott mutató milyen kapcsolatban van az érdemi tudományos teljesítménnyel. Számos szakterületen a közléskor az alapvető szempont nem a folyóiratrangsor, azt a folyóiratot választják közlésre, amelyet a szűk szakterület kutatói kiemelten olvasnak és becsülnek.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

4. A szerzősorrendben elfoglalt hely olyannyira meghatározó, hogy ennek alapján számos cikket nemlétezőnek lehet tekinteni a tudományos teljesítmény szempontjából.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Szubjektív, egy élettudományi tudományterület szokásainak kiterjesztésén alapszik az első/utolsó szerzős cikkek súlyozott figyelembevétele, két paraméterben is: a 2. paraméter számításánál ezeknek a publikációknak az idézeteihez 2-es faktort rendel, a 3. esetében pedig a nem ebbe a kategóriába tartozó közlemények nem is léteznek. Ennek a kívülről bevitt megszorításnak igen erős a torzító hatása. Az első/utolsó szerzőként jegyzett közlemények kiemelt kezelése nagyon bizonytalan alapokon áll. A tudományszakok nagy részében a szerzősorrend mögött nincs jelentős meggondolás. Ilyen komoly hiba az egész rendszer használhatóságát kérdőjelezi meg. Nem védhető, hogy a súlyozást csak bizonyos tudományterületeken alkalmazza (IV–VIII., X., XI. osztály) anélkül, hogy erre bármilyen indoklást adna.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A nemzetközi tudományértékelésben széles körben, sok folyóiratban bevezették a szerzők hozzájárulásainak pontos szöveges feltüntetését, sokszor a „CRediT – Contributor Roles Taxonomy” (URL3) rendszerének elemeit használva. Nem lenne előnyös a magyar tudomány fejlődésére, ha az élettudományokban is idejétmúltnak tűnő eljárást próbálna a TMcom bevezetni minden tudományterületen a teljesítményértékelésbe.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

5. A folyóiratcikkeken kívüli tudományos közlemények (szabadalmak, könyvek stb.) nem lényeges elemei a tudományos teljesítménynek.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A könyvek, nagyobb önálló tanulmányok, könyvfejezetek, szabadalmak sok szakterületen kiemelt közlési formák, fontos eredmények hordozói. Kimaradásuk alapvetően kérdőjelezi meg a TMcom alkalmazhatóságát általános célú kutatórangsorolásra.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Megállapítható, hogy a fenti feltételezések nem teljesülnek sem általában, sem a legtöbb OTKA-pályázó vezető kutató esetében.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Gyakorlati problémák. Egy tudományos mérőmódszer használatbavétele előtt gondos elemző munkával meg kell határozni a rendszer által adott eredmények megbízhatóságát, azt, hogy mekkora rangszámbeli különbséget lehet valódi publikációs különbségnek minősíteni. A módszer konkrét felhasználása előtt meg kell vizsgálni a kutató szakterületét és életpályáját. Következtetéseit össze kell(ene) vetni más módszerekkel végzett elemzéssel. A TMcom esetében ez elmaradt, ami számos negatív következménnyel jár:

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Az életpálya során történt markáns váltások hátrányos megkülönböztetést okoznak. Például figyelembe kell venni a gyermekgondozás miatti kihagyást, a későbbi életkorban kezdett kutatást, a kutatási terület váltását. Hátrányba kerülnek a pályakezdők, akik több diplomát szereznek, és ezzel várhatóan komplexebb feladatokat tudnak később megoldani, mégis negatív diszkrimináció éri őket egy azonos korú, de régebben publikáló versenytársukkal szemben. Ez a harmincas éveik elején járó pályázók összehasonlításában súlyos igazságtalanságok forrása lehet. A TMcom torzíthat azon kutatóknál is, akik szakterületet váltanak (például fizikáról bioinformatikára, de akár ökológiára is), mert teljes munkásságukat csak egy előre elhatározott szakterületen lehetne értékelni vele.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A mennyiségi szemlélet különösen igazságtalan azokkal a kutatókkal, akik munkájukat egyetemeken, illetve gyógyító intézményekben végzik, hiszen az oktató és gyógyító munka mellett számszerűen kevesebb publikációjuk születik, de ha ők a pályázati támogatásnál háttérbe szorulnak, az fontos kutatási területek elsorvadását eredményezheti.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Különös figyelemmel kellene lenni az interdiszciplináris, ezek között különösen a nagy kutatási területeket áthidaló, valamint a nagy méretű kutatási projektekkel és sokszerzős közleményekkel is jellemezhető szakterületekre. Ezeken a területeken az első/utolsó szerzőre erősen alapozó véleményalkotás alkalmatlan értékelésre.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Az utóbbi öt év publikációs teljesítménye prediktív szerepének túlhangsúlyozása veszélyes, elsősorban fiatal, önálló karrierjüket nemrégen kezdett kutatók esetében. Ezen időszak egy része laborépítéssel, új munkatársak betanításával telik el, és csak a munka későbbi szakaszában születnek igazán jelentős publikációk. Ha ezt elhanyagoljuk, akkor éppen az innovatív, tudományos iskola teremtésére képes kutatók hagyják el a tudományt (vagy az országot).

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Végül a TMcom használata látszólagos egyszerűségével félrevezetheti a kutatásban járatlanokat, mert alkalmazása torz eredményre vezethet az adott tudományos szakterület és a tudományértékelő szakma mélyebb ismerete nélkül.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

A TMcom használhatósága. Nem zárható ki, hogy használható néhány olyan szakterületen, ahol az eredeti tudományos eredmények közlése dominálóan folyóiratcikkekben történik már hosszú idő óta, és a szakterületen legalább nyolc éve elfogadott az, hogy az értékelésben kiemelt szerepe lehet a Scimago szerinti Q1/D1 folyóiratokban megjelent műveknek, és a cikkek első/utolsó szerzői a meghatározó szerzők. A TMcom-beli unortodox h-index és az idézettség életkorra és szakterületre számolt adatai kellő körültekintéssel és a szükséges korrekciókkal esetleg használhatók lehetnek más tudományterületeken is.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Potenciális hatás a tudomány fejlődésére. Milyen hatása lehetne a tudomány valódi eredményességére, ha a TMcom-ban algoritmizált meggondolások hivatalos magyar értékelési stratégiává válnának? A kutatók eredményeiket apróbb részletekre bontva a legkisebb közölhető egységként próbálnák közölni a legkönnyebben elérhető Q1-es folyóiratban. Már a fiatal kutató témaválasztását is befolyásolhatná az értékelési eljárás, és nehezen lehetne egy hiány szakterületre doktoranduszt találni, ha az egyébként tudományosan fontos és érdekes szakterületen a folyóiratok Scimago Q-besorolása alacsony. A minél több publikáció hajszolása tovább csökkentené az oktató és gyógyító munka tekintélyét, hiszen ezek nem eredményeznek a TMcom-ban megjelenő mutatókat (bár közvetett megtermékenyítő hatásuk a kutatások minőségére jelentős). A Scimagóban alacsony besorolású tudományterületek hazai visszafejlődése is elindulhat. Így igazolódna az a mondás (Goodhart’s law), hogy ha egy jellemzőt értékelésre használnak, az befolyásolja az értékelteket, és gyengíti az értékelés hatásfokát (When a measure becomes a target, it ceases to be a good measure). Az eredmény az lehet, hogy a középszerűség győz az innovatív ötletekkel és az innovatív kutatókkal szemben, akiknek fő kutatási célja nem a Q1-es első szerzős cikkek írása.
 
A TMcom alkalmazása a 2020-as OTKA-felhívásra beérkezett pályázatok értékelésében
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

2020 elején megjelent a TMcom nyilvános honlap és ennek alkalmazási javaslata az OTKA pályázati rendszer értékelői felületén, opcionális segédletként, amelyet nem volt kötelező figyelembe venni. A 2020. évi OTKA-pályázatok eredményhirdetése során világossá vált, hogy a kollégiumok által jóváhagyott sorrendek adminisztratív beavatkozások során módosultak. Az NKFIH magyarázata szerint a hivatalon belül tizenkilenc pályázatot a TMcom alapján nem tartottak támogatandónak, ezekből – a kollégiumi elnököktől utólag bekért indoklásokat is figyelembe véve – kilencet ki is vettek a nyertesek közül. Az Európai Unió országaiban és így a korábbi OTKA-gyakorlat szerint egy tudományos pályázati rendszerbe ilyen beavatkozás nem történhet.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Az OTKA-honlap értékelési segédlete szerint (URL4): „A zsűri a tudományterületi kollégium felé továbbítja a támogatási javaslatot, ami azután a Hivatal elnöke elé kerül átlátható és alulról jövő kezdeményezés alapján.” Ez az anyag nem említ utólagos formális értékelést, hanem egy komplex, számos szempontot tartalmazó értékelési rendszert ír le, amelynek alkalmazását várja el az értékelőktől és a zsűriktől. Az értékelési útmutató alapján hozott sorrendek felülbírálata egyetlen, abban meg sem említett, szakmailag nem kellően alátámasztott módszer szerint minden bírálóban, de különösen a külföldiekben, olyan benyomást kelt, hogy a felkérést nem lehet komolyan venni, hiszen maga a hivatal sem tartja magát az előzetesen lefektetett követelményekhez. Az ilyen eljárás aláássa a magyar tudományértékelési rendszer nemzetközi tekintélyét.
 
Újabb fejlemények
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Október közepén az oldalon újabb változások történtek. Az adatbázis 7000 alattiról 13 ezer fölé emelkedett, bár továbbra is megmaradtak az elhunytak, de nem jelentek meg sokan az eddig hiányzók közül. A „kiemelt” kategóriába bekerült a levelező szerzőség, de ez nem oldja meg az alapvető szerzősorrendi problémát. Az életkor, szemben a publikációs életpályán elfoglalt hellyel, egyedüli meghatározóvá vált, az OTKA-bírálóknak küldött kérdőívre való hivatkozással. Ez az indoklás felveti a kérdést, hogy valóban objektív alapjai vannak-e a rendszernek, vagy szubjektív benyomásokra, közvélemény-kutatásra épít. Megjelent egy újabb fogalom, az „Excellence: top 10%-ban idézett első/utolsó/corr. szerzős cikkek száma az elmúlt 10 évből”. Az „overall score” ezáltal módosul, a rangsorokból számolt értékhez hozzáadódik az Excellence szám négyszerese, ami már nem tekinthető percentilisnek, számos esetben 100 fölötti értéket is felvesz. A „top 10%” nem definiált, ugyanígy a 4-es szorzóra sincs semmiféle indoklás.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Az értékelést továbbra is elsősorban a szoftver lehetőségei határozzák meg. A frissített „Útmutató” is elismeri, hogy a rendszer leegyszerűsítő, sematikus, és nem tudja a való élet problémáit kezelni (gyermeknevelés, D1 cikkek, elmúlt 10 év figyelembevétele, megosztott vezető szerzőség). Egyre több paraméter bevezetésével és a tudományterületek szerinti differenciálással éppen abba az irányba halad, hogy egységes „pontrendszer” szerint nem kezelhető a tudományos teljesítmény. Innen már csak egy lépés eljutni oda, hogy az egyes tudományterületek sajátos szempontjait érvényesítő szakértői testületek tudják a pályázatokat a legjobban elbírálni – amelyben a számukra értő módon felkínált tudománymetria természetesen hasznos segítséget nyújthat.
 
Köszönetnyilvánítás
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Az elemző munka során különböző tudományterületekről több mint harminc kutatóval konzultáltunk, köztük mostani és korábbi pályázókkal, az OTKA és más belföldi, külföldi és nemzetközi pályázatfinanszírozó rendszerekben tapasztalatokat szerzett értékelőkkel, pályázati döntéseket előkészítő testületek tagjaival, tudománymetriai szakemberekkel, személyesen, elektronikus levelezés útján, továbbá a szociális hálózatok különböző felületein. Értékes megjegyzéseikért, észrevételeikért ezúton mondunk köszönetet.
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Kamarás Katalin, az OTKA Fizika zsűri tagja 2005–2007 és 2014–2019, Műszaki és Természettudományi Kollégiumi tag 2009–2012, a Magyar Tudományos Művek Tára Tudományos Tanács elnöke 2017–2020 között.

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Makara B. Gábor, az OTKA Bizottság elnöke 2003–2009 és az MTMT Felügyelő Testületének elnöke 2009–2012 között.
 
Irodalom
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Hicks, D. – Wouters, P. – Waltman, L. et al. (2015): Bibliometrics: The Leiden Manifesto for Research Metrics. Nature, 520, 7548, 429–431. DOI: 10.1038/520429a, https://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Prasad, J. M. – Shipley, M. T. – Rogers, T. B. et al. (2020): National Institutes of Health (NIH) Grant Awards: Does Past Performance Predict Future Success? Palgrave Communications, 6, Nr. 54. DOI: 10.1057/s41599-020-0432-5, https://www.nature.com/articles/s41599-020-0432-5

Jegyzet elhelyezéséhez, kérjük, lépjen be!

Schubert A. – Schubert G. (2019): All Along the h-index-Related Literature: A Guided Tour. In: Glänzel, W. – Moed, H. F. – Schmoch, U. et al. (eds.): Springer Handbook of Science and Technology Indicators, Springer Nature Switzerland AG. 301–329.
 

Jegyzet elhelyezéséhez, kérjük, lépjen be!

URL1: https://tudomanymetria.com (Letöltés: 2021. 02. 15.)

Jegyzet elhelyezéséhez, kérjük, lépjen be!

URL2: sfdora.org (Letöltés: 2020. 11. 10.)

Jegyzet elhelyezéséhez, kérjük, lépjen be!

URL3: https://casrai.org/credit/ (Letöltés: 2020. 11. 10.)

Jegyzet elhelyezéséhez, kérjük, lépjen be!

URL4: https://nkfih.gov.hu/palyazoknak/palyazatkezelo-ertekelo/elektronikus-rendszer (Letöltés: 2020. 11. 10.)
 
1 Bár a honlap tartalma azóta kismértékben változott (lásd „Újabb fejlemények”), az alábbiakban ezt a változatot elemezzük, mivel ez volt az ellentmondásos OTKA-döntések alapja.
A „tudomanymetria.com” módszerének alkalmazhatósága pályázatok értékelésére • Applicability of the Method Introduced by ‘tudomanymetria.com’ in Funding Decisions