Új utak a kutatásértékelésben

New Directions in Research Assessment

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Balla Andrea1, Solymosi Katalin2, Csuka Gyöngyi3

Jegyzet elhelyezéséhez, kérjük, lépj be.!

1PhD, titkárságvezető, MTA Titkársága Főtitkári és Főtitkárhelyettesi Titkárság, Budapest

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jegyzet elhelyezéséhez, kérjük, lépj be.!

2PhD, adjunktus, Eötvös Loránd Tudományegyetem Növényszervezettani Tanszék, Budapest

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jegyzet elhelyezéséhez, kérjük, lépj be.!

3PhD, vezető szakértő, MTA Titkársága Főtitkári és Főtitkárhelyettesi Titkárság, Budapest

Jegyzet elhelyezéséhez, kérjük, lépj be.!

 
Összefoglalás
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A kutatók és a kutatás értékelése rutinszerűvé vált, sajnos azonban egyre kevésbé jellemzi a kiegyensúlyozott, elsősorban a minőségi (kvalitatív) értékelésre alapozott és a mennyiségi szcientometriai mutatók által felelősen megtámogatott szakértői értékelés (peer review). Azok az eljárások, amelyeket több évtizede a kutatás minőségének jellemzésére és javítására terveztek (impaktfaktor, h-index stb.), a tudományos teljesítmény értékelésében való helytelen használatuk révén káros hatással vannak a tudományos ökoszisztéma működésére. A korszerű kutatásértékelési gyakorlatok fenntartása és az open access modellen alapuló folyóiratok fokozatos térhódítása mentén megjelenő, megkérdőjelezhető publikációs eljárások és szokások, valamint torzító jelenségek elleni fellépés miatt is szükségessé vált a kutatásértékelési eljárások reformja, amely nélkül a kutatások minősége, integritása és sokszínűsége veszélyeztetve van. Az elmúlt évtizedben számos nagy horderejű kiáltvány és alapelv született a kutatásértékeléssel kapcsolatos problémák kezelésére, amelyek jelentőségét és tartalmát röviden ismertetjük a jelen cikkben.
 
Abstract
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

The evaluation of researchers and research has become routine, but unfortunately it is less and less characterized by a balanced peer review, based primarily on qualitative evaluation and supported by the responsible use of quantitative scientometric indicators. Procedures that have been designed for decades to characterize and improve the quality of research (impact factor, h-index, etc.) have a detrimental impact on the functioning of the scientific ecosystem through their misuse in the assessment of scientific performance. The need to maintain modern research assessment practices and to address questionable publication practices and habits, as well as distortions, arising from the gradual proliferation of journals based on the gold open access model, has also made it necessary to reform research assessment procedures, without which the quality, integrity and diversity of research is compromised. Over the past decade, a number of high-profile manifestos and principles have been developed to address the problems of research evaluation, the significance and content of which are briefly described in this article.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Kulcsszavak: kutatásértékelési reform, minőségi és mennyiségi értékelés, kutatói készségek, DORA, Leideni kiáltvány, CoARA
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Keywords: research assessment reform, qualitative and quantitative assessment, researcher competences, DORA, Leiden Manifesto, CoARA
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

DOI: 10.1556/2065.184.2024.1.11
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

 
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

„Nobody wins, unless everybody wins.”

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Margaret Heffernan
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A tudományos kutatások értékelése összetett kérdés, hiszen az alap- és alkalmazott kutatásokból, valamint az ezekből származó innovációkból születő tudományos eredmények általában egy bonyolult és hosszú folyamat során jönnek létre, melynek előzményei és következményei egyaránt vannak. Az elmúlt évtizedekben a kutatás-fejlesztésbe való globális beruházások jelentős növekedése, valamint az alapfinanszírozás irányából a projektalapú finanszírozásra való áttérés erősítette az elszámoltathatóságra való törekvést, de ezzel együtt a túlzó eredményszemlélet kultúráját is. A világ nagy részében dominánssá vált és rutinszerűen alkalmazott mérőszámok (például: impaktfaktor, h-index) felgyorsították az elfoglalt bírálók és értékelők munkáját, de sajnos szinte kizárólag a publikációs teljesítmény alapján jellemzik a kutatókat, ami kialakította a káros „publikálj vagy pusztulj” (publish or perish) gyakorlatot, túlzottan a mennyiségre helyezve a hangsúlyt a minőség helyett, sok esetben a kutatási értékkel, hatással és egyéni teljesítménnyel szemben előnyben részesítve egy adott folyóirat rangját jelző számokat.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jelentősen megnőtt a kutatási rendszerre, a kutatókra, a kutatóintézetekre és felsőoktatási intézményekre nehezedő nyomás. A tudományfinanszírozók, a kormányok és tudománypolitikai döntéshozók, a kutatási tevékenységet folytató intézmények és a kiadói ipar egyre növekvő elvárásainak való megfelelés, a verseny és a nemzetközi együttműködések erősödése, a tudománykommunikáció és a publikációkhoz való nyílt hozzáférés (open access) gyors fejlődésének nyomása alatt a kutatások mint közjavak optimalizálása, a kutatásra szánt források jobb felhasználása és a nyílt tudomány (open science) lehetőségének megteremtése részben megvalósultak, azonban számos negatív jelenség, torzító hatás, valamint nem etikus eljárás is kialakult.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Mindezen körülmények között – a korszerű kutatásértékelési gyakorlatok fenntartása és a torzító jelenségek elleni fellépés miatt – szükségessé vált a kutatásértékelési eljárások reformja, amely nélkül a kutatások minősége, integritása és sokszínűsége veszélyeztetve van, a tudomány pozitív hatása, adott esetben pozitív társadalmi megítélése is csökken.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Napjainkra, ahogy azt a Global Young Academy (GYA), az InterAcademy Partnership (IAP) és az International Science Council (ISC) 2023 májusában megjelent, számos követendő példát bemutató tanulmányában1 is olvashatjuk (GYA-IAP-ISC Scoping Group, 2023), egyre nagyobb a támogatottsága a „felelős kutatásértékelésnek” és a „szcientometriai mérőszámok felelős használatának”.
 

A reform szükségességének okai – a kutatói munka sokszínűsége

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A lokális, illetve globális társadalmi, kulturális, gazdasági, egészségügyi, illetve környezetvédelmi kihívások megoldásához sürgető szükség van mind alap- és alkalmazott kutatásokra, mind pedig az ezekből születő innovációk megvalósítására. Mindehhez megfelelő finanszírozás és infrastruktúra, az ezeket elvégző kutatói műhelyek is kellenek, a tudományos eredményeket pedig szélesebb körben is fontos kommunikálni. A kutatók tudományos munkájuk mellett cikkeket bírálnak, kutatói utánpótlást nevelnek, egy részük aktív az egyetemi oktatásban, az intézményi adminisztrációban, a tudománypolitikában vagy a politikai döntéshozók felé történő tudományos igényű szaktanácsadási munkákban is. Látható tehát, hogy a tudományos és innovációs ökoszisztéma megfelelő és hatékony működtetéséhez sokféle tevékenységet végző szereplőre és az ő együttműködésükre van szükség (1. ábra).

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Ezen készségek egyaránt fontosak, egymással részben összefüggnek, nagy részük azonban nem mutatkozik meg közvetlenül a tudományos publikációkban. Természetesen a kutatók többsége nem egyformán hatékony mindegyik területen. Ugyanakkor a kutatócsoportok együttműködése során kifejezetten előny lehet egy-egy készség magas szintű ismerete, és fontos, hogy a kutatók folyamatosan képezzék és fejlesszék magukat ezeken a területeken.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az intézmények működése és a kutatócsoportok finanszírozása során az alapfinanszírozás helyett egyre inkább előtérbe kerülő projektalapú finanszírozás kiélezte a versenyt a kutatók, kutatócsoportok és intézmények között. A kormányok és tudományfinanszírozók döntéshozóinak nincs könnyű dolguk, amikor intézményi jelentések, pályázati anyagok és pályázói önéletrajzok alapján kell megítélniük, hogy a kutatásra fordított pénz hol fog feltehetően a legjobban hasznosulni.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jegyzet elhelyezéséhez, kérjük, lépj be.!

1. ábra. A kutatási, fejlesztési és innovációs ökoszisztéma működése szempontjából fontos kutatói készségek és képességek összefoglaló ábrája az Európai Bizottság Európai Kompetenciakeret Kutatóknak (European Competence Framework for Researchers – EC, 2022) című ábrája alapján (fordította: Solymosi Katalin)
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Többen felismerték, hogy az egyszerűsített indikátorokon alapuló, szűk látókörű értékelések nem tudják garantálni a kutatás minőségét, hasznosságát, integritását és diverzitását, és hosszú távon károsak a K+F+I-ökoszisztémára nézve is, mert a kooperáció helyett sok esetben felesleges versengést generálnak. Ez a rendszer például a társadalmi hatás, hasznosulás és alkalmazott kutatások érvényre juttatása helyett a tudományos publikációk maximalizálására készteti a kutatókat, bizonyos esetekben akár nem megfelelő vagy nem etikus eszközök révén (predátor folyóiratokban való publikálás, nem megérdemelt szerzőség, felaprózott cikkek, nem igazságos szerzői sorrend stb.). A fenti rendszer azoknak kedvez, akik kiterjedt kapcsolati hálóval rendelkeznek, már kellően elismertek (ismerőseik vagy ők maguk rangos folyóiratok szerkesztőbizottságának tagjai), és vezető pozícióban vannak. A nem megfelelő indikátorok használata, illetve az indikátorok nem megfelelő használata is számos tudományterületen a lokális témákkal vagy határterületekkel foglalkozók, a kisgyermekes kutatónők, a specialisták, illetve az egy-egy módszerben világszínvonalú tudással rendelkező kutatók háttérbe szorulásához vezet a generalista csoportvezetőkkel szemben, például akkor, amikor csak az első vagy utolsó szerző teljesítményét értékelik hangsúlyosan egy-egy cikk kapcsán. A fentiek miatt csökken az innovációs ökoszisztéma diverzitása is, ami a felfedező kutatásoknak és az ipari hasznosulásokhoz szükséges kreativitásnak sem kedvez.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Nem szabad elfelejteni azt sem, hogy a kiemelkedő kutatáshoz hozzátartozik a mentorálás, utánpótlás-nevelés, az adatok megosztása, a cikkek bírálatában és szerkesztésében vállalt feladatok és a hátrányos helyzetű tehetségek támogatása. A felsőoktatás szempontjából felmérhetetlen és visszafordíthatatlan károkat okoz az, ha pusztán számszerű, kumulatív publikációs teljesítmény alapján értékeljük és hasonlítjuk össze a kutatókat, továbbá nem vesszük figyelembe az oktatói munkával töltött időt. A Fiatal Kutatók Akadémiája 2021-es felmérése alapján a negyvenöt év alatti oktatóknak szignifikánsan kevesebb idejük jut kutatásra, mint a kutatóintézetben dolgozó kollégáiknak, annak ellenére, hogy átlagosan hetente három órával többet dolgoznak (Németh et al., 2022). A versengés és az ebből fakadó túlmunka emellett sokszor okoz stresszt, ezáltal negatívan hathat a kutatók lelki és testi egészségére is.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Fontos tehát belátni, hogy a tudományos ökoszisztéma megfelelő működtetéséhez, a predátor kiadványok és nem etikus szerzői gyakorlatok leküzdéséhez széles összefogásra van szükség, és arra, hogy a kutatók teljesítményértékelése során tágabb kontextusban és felelősen használt, szélesebb körű értékelési szempontokat vezessenek be. Az előbbi megalapozása céljából az IAP 2022-ben tanulmányt közölt a predátor folyóiratok (és konferenciák) elleni lehetséges lépésekről Combatting Predatory Academic Journals and Conferences címmel, amelyben két év munkával, részletes felmérést végezve, fogalmazták meg szakértők javaslataikat annak érdekében, hogy vissza lehessen szorítani a predátor folyóiratokat (IAP, 2022b). Ami a kutatásértékelés reformját illeti, az elmúlt évtizedben több európai és globális mozgalom indult, és ezek hatására került bevezetésre több ország kutatásfinanszírozói és 2024-től az Európai Kutatási Tanács (European Research Council) pályázatai esetében is a narratív önéletrajzok használata. Ezekben az önéletrajzokban a kvantitatív mutatók helyett lehetőség van az életpálya egyéb jellemzői (például ipari vagy gyermeknevelési célú karriermegszakítások) és a szélesebb körű kutatói készségek és tapasztalatok bemutatására is.
 

A kutatásértékelés reformja – A reformút

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A GYA-IAP-ISC által 2023 májusában közreadott tanulmány rávilágít arra, hogy a kutatásértékelési kritériumokban bekövetkező változás, amely számos minőségbeli intézkedést tartalmaz, akkor lesz sikeres, ha választ tud adni a következő kihívásokra és folyamatosan felmerülő kérdésekre is (GYA-IAP-ISC Scoping Group, 2023):

Jegyzet elhelyezéséhez, kérjük, lépj be.!

  • a misszióvezérelt és interdiszciplináris, közvetlen társadalmi hatást kifejtő kutatások irányába történő elmozdulás nem kisebbítheti az alap- és alkalmazott kutatások fontosságát, a kutatások „értékének” árnyaltabb értelmezésére van szükség;
  • a kutatásértékelés során használt terminológia (például: alap- és alkalmazott kutatás fogalma, impakt, kiválóság, minőség, hatékonyság stb.) nem hasonlóan értelmezett minden szereplő által a földrajzi, szakterületi, a kutatói karrierszakaszbeli és a nemek viszonylatában;
  • a kvalitatív értékelés, akárcsak a tisztán mennyiségi mérőszámok alapján végzett értékelés tökéletlen, annak transzparenciája megkérdőjelezhető;
  • a kutatásértékelési reformról szóló viták összetettek és nem binárisak (a célnak megfelelően kiválasztott mennyiségi mutatókkal felelősen megalapozott szakértői értékelést hirdetik; a vita nem a „mennyiségi szemben minőségi” értékelési kritériumok választásán van);
  • a reform akkor működik, ha az újítások minden résztvevő számára komfortosak és kivitelezhetők.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az elmúlt évtizedben számos nagy horderejű kiáltvány és alapelv született a kutatásértékeléssel kapcsolatos kihívások kezelésére, mint például a 2012-es San Franciscó-i Nyilatkozat a kutatás értékeléséről (Declaration on Research Assessment, DORA [2012]), a Leideni kiáltvány a kutatási mérőszámokról (Hicks et al., 2015), a hongkongi alapelvek (Moher et al., 2020), a kutatásmenedzsment-társaságok nemzetközi hálózata által létrehozott SCOPE2-alapelvek, a brit finanszírozó szervek által megrendelt The Metric Tide és a Harnessing the Metric Tide jelentések stb. Ezek a tisztán mennyiségi mérőszámoktól a kvantitatív és kvalitatív értékelés szélesebb skálája felé mozdulnak el, hogy a kutatók egyaránt számot adhassanak kutatásaik gazdasági, társadalmi, kulturális, környezeti és politikai hatásairól, valamint a kutatást támogató készségeikről. Valójában legalább egy tucat különböző alapelv és ajánlás létezik, amelyek a politikai döntéshozókat, a finanszírozókat és az intézményvezetőket arra ösztönzik, hogy az alkalmazott kutatásértékelési rendszereikkel minimalizálják a tudományt érhető károkat (Nature Editorial, 2022).

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A fent említett kezdeményezések közül a 2012-es San Franciscó-i Nyilatkozat a kutatás értékeléséről (DORA) a legaktívabb globális kezdeményezés. A dokumentum rendszerezte azokat a problémákat, amelyeket a folyóirat-alapú mutatók használata okoz az egyes kutatók teljesítményének értékelésében, és tizennyolc ajánlást fogalmazott meg a kutatásértékelés javítására. A DORA kategorikusan ellenzi a folyóirat-alapú (impaktfaktor) mérőszámok használatát a kutatók által teremtett érték mérése, illetve a kutatók alkalmazása, előléptetése vagy finanszírozása során. Mindezekhez társul a 2024-ig futó A kutatás értékelését elősegítő eszközök (Tools to Advance Research Assessment, TARA) (DORA, n. d.) projekt, amelynek célja, hogy elősegítse az értékelési reformra vonatkozó új elvek és eljárások kiteljesedését, és gyakorlati útmutatókat szolgáltat, hogy a kutatásértékelési reform kritériumait és normáit a tudományos ökoszisztéma szereplői azonosíthassák, megértsék, és láthatóvá tehessék.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

2015-ben a Nature áprilisi számában megjelent – a szcientometriával, társadalomtudománnyal és kutatásfinanszírozással foglalkozó szakértők által jegyzett – Leideni kiáltványban (Hicks et al., 2015) a szerzők a DORA-ban bemutatott elveket bővítették ki tíz alapelvvel, mert aggasztónak tartották, hogy a kutatásértékelési eljárásokban a mérőszámokra való túlzó támaszkodás rutinszerűvé vált, ami befolyásolta a tágabb tudományos közösséget mind értékelőként, mind értékeltként. A kiáltvány gyakorlatias és cselekvésorientált ajánlásokat tartalmaz a kutatásértékelésében részt vevők – akár az értékelők, akár az értékeltek, akár a kutatás mérőszámainak és mutatóinak megtervezéséért és alkalmazásáért felelős szakértők – számára.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A kutatásértékelés reformjáról szóló Coalition for Advancing Research Assessment3 (CoARA) megállapodás 2022-ben született. Ez a DORA, a Leideni kiáltvány és a Metric Tide elveire épülő kezdeményezés talán az eddigi legreményteljesebb jele a valódi változásnak. Amint arról a Nature (Nature Editorial, 2022) is beszámolt, negyven országból több mint 350 szervezet egyesítette tapasztalatait és javaslatait, hogy mintamegállapodást dolgozzon ki befogadóbb és felelősségteljesebb kutatásértékelési rendszerek létrehozására. Cikkünk írásának időpontjáig több mint hatszáz szervezet írta alá az egyezményt. A négy éve készülő javaslatcsomag elsősorban az Európai Egyetemi Szövetség (European University Association, EUA) és a Science Europe (SE) munkája. A CoARA-megállapodást az Európai Bizottság is messzemenőkig támogatja, és az a cél, hogy mint „reformút” világméretűvé váljon.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Ami miatt ez a megállapodás több mint egy újabb jobbító szándékú nyilatkozat, az az, hogy az aláírók elkötelezik magukat egy olyan kutatásértékelési gyakorlat létrehozása mellett, amelyben bizonyos időkeretek (1–5 év) között számbaveszik és ellenőrzik saját vállalásaik teljesülését. A tagok különböző témájú munkacsoportok munkájában vehetnek részt, illetve közgyűlésen találkoznak, hogy áttekintsék az elért eredményeket, és hogy megosszák egymással tapasztalataikat. A megállapodás a kutatásértékelési folyamat eltérő szintjeire, tehát az intézményekre, az egyes kutatókra és magára a kutatásra (például egy kutatási tervre vagy annak megvalósítására) egyaránt összpontosít. Az egyes kategóriák szinte biztosan különböző típusú intézkedéseket és megközelítéseket igényelnek, és ezek országonként is eltérőek lehetnek. Nem az a cél, hogy egységes kutatási értékelési módszer jöjjön létre, hanem az, hogy olyan kutatásértékelési alapelveket fogalmazzanak meg, amelyekkel mindenki egyetérthet. Azonban az egyes intézmények és döntéshozók alkalmazásukkor az értékelés során autonóm módon járhatnak el, mind a vállalások, mind a prioritások (hangsúlyok) szempontjából. Az értékeléseknek igazságosnak kell lenniük, a döntések indoklásának pedig átláthatónak. Ha a kritérium a kiválóság, akkor ezt nem szabad szűk körű mutatókra korlátozni (mint például a korábban elnyert támogatások vagy a magas impaktfaktorú folyóiratokban megjelent publikációk).

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az aláírók egyben azt is vállalják, hogy humán tőke- és pénzforrásokat biztosítanak a kutatásértékelés javítására, új értékelési kritériumok és eszközök kidolgozására, valamint a kutatásértékeléssel kapcsolatos tudatosság növelésére és képzésre (például a szakértői értékelők vagy a kutatási projektre pályázók számára).

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jelenleg kilenc magyar intézmény írta alá a CoARA-megállapodást,4 amely keretében az aláíró tagok a kutatásértékelési rendszerük reformját tíz kötelezettségvállalás mentén tervezik.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A CoARA-megállapodás négy fő kötelezettségvállalása

Jegyzet elhelyezéséhez, kérjük, lépj be.!

  1. A kutatáshoz való hozzájárulások és a kutatói pálya sokféleségének elismerése a kutatás igényeinek és jellegének megfelelően.
  2. A kutatás értékelésének elsősorban a minőségi (kvalitatív) értékelésre alapozása, amelyben a szakértői értékelés (peer review) központi szerepet játszik, és amelyet a mennyiségi (kvantitatív) mutatók felelős használata támogat.
  3. A folyóirat- és publikációalapú mérőszámok, különösen az impaktfaktor és a Hirsch-index (h-index) nem megfelelő használatának elhagyása a kutatásértékelés során.
  4. A kutatási intézmények vagy szervezetek rangsorolására alkalmazott metrikák használatának kerülése az egyéni kutatók és kutatási projektek értékelésében.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A fő CoARA-kötelezettségek megvalósulását támogató további vállalások

Jegyzet elhelyezéséhez, kérjük, lépj be.!

  1. A vállalt szervezeti átalakításokhoz szükséges mértékig források hozzárendelése a kutatásértékelési reform megvalósításához.
  2. A kutatásértékelés kritériumainak, eszközeinek és folyamatainak áttekintése és folyamatos fejlesztése (kutatóhelyekre és intézményekre, valamint kutatókra és projektekre egyaránt).
  3. A kutatásértékelés reformjának tudatosítása, átlátható kommunikáció, útmutatás és képzés biztosítása az értékelési kritériumokról és folyamatokról, valamint ezek használatáról (kutatók és értékelők részére egyaránt).
  4. Tapasztalatok és bevált gyakorlatok cseréje a kölcsönös tanulás lehetővé tétele érdekében a CoARA-n belül és azon kívül.
  5. Az alapelvek betartása és a kötelezettségvállalások végrehajtása terén elért eredmények kommunikációja.
  6. A gyakorlatok, kritériumok és eszközök szilárd bizonyítékon alapuló, illetve a kutatásról szóló kutatások jelenlegi állása szerint történő értékelése, valamint az adatok nyílt hozzáférhetővé tétele a bizonyítékgyűjtés és további kutatások céljából.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A reform egyik meghatározó szereplője és kezdeményezője a Science Europe szervezet, amelynek a Magyar Tudományos Akadémia (MTA) és az Országos Tudományos Kutatási Alapprogramok (OTKA) alapító tagja volt, és amelyhez a kutatóhálózat elcsatolását követő három év szünet után az MTA 2022-ben mint kutatástámogató szervezet ismét csatlakozott. A SE számos felmérést készített tagjai körében, és munkacsoportokat, illetve fórumot működtet a CoARA-célok elérése érdekében. Mindezen tevékenységeket a szervezet honlapján elérhető állásfoglalások, helyzetértékelő dokumentumok, esettanulmányokat bemutató publikációk jelenítik meg. A CoARA-n belül 2023 nyara óta folyamatban van különböző munkacsoportok alulról szerveződő létrehozása, melyek révén az aláíró szervezetek képviselői a kutatásértékelés bizonyos területein aktívan együttműködhetnek egymással.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A DORA-, a Leideni kiáltvány-, a CoARA-kötelezettségvállalások céljait és hatályát, valamint az IAP-jelentés tudományos ökoszisztéma szereplői számára megfogalmazott javaslatait magyar nyelven az MTA honlapján elérhető Javaslatok a kifogásolható gyakorlatot folytató folyóiratok cikkeinek kezelésére című jelentés ismerteti (MTA, 2023).

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A minőségi és mennyiségi mérőszámok a teljes kutatási ökoszisztémát átszövik, ezért intézményi, nemzeti, regionális és globális szintű változást kell elérni. A kutatásértékelési reform sikerességéhez a folyamatban részt vevő minden szereplő (kormányzati szervek, tudományfinanszírozók, egyetemek, kutatóintézetek, kutatók, innovációban érdekelt aktorok stb.) kollektív, összehangolt együttműködésére van szükség (2. ábra). Nehézség, hogy a régió és a világ különböző részein a kutatásértékelési reform eltérő fázisban van, vagy teljesen hiányzik.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jegyzet elhelyezéséhez, kérjük, lépj be.!

2. ábra. A CoARA sikerének kedvezményezettjei. A tudományos ökoszisztéma különböző szereplői, akik részt vesznek a kutatásértékelés reformjában (CoARA, 2022 nyomán a szerzők szerkesztése)
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A Global Research Council (GRC) 2021. évi konferenciájának jelmondata, miszerint „a kutatásértékelés formálja a kutatási kultúrát”, és hatással van arra, hogy a kutatók hogyan végzik és terjesztik kutatásaik eredményét, az MTA számára is meghatározó szempont, hiszen a kutatásfinanszírozók által gondosan megtervezett pályázati és értékelési rendszer és annak alkalmazása hatással van a tudományos ökoszisztéma minden szereplőjére. Ezért a kutatások sokszínűségének biztosítására fokozott figyelmet szükséges szentelni.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A CoARA-egyezmény aláírójaként az MTA a következő terveket fogalmazta meg az elvek érvényesítésére:

Jegyzet elhelyezéséhez, kérjük, lépj be.!

  • a CoARA-elvekhez igazodva a kutatók, kutatási projektek, valamint kutatóhelyek értékelési rendszerének folyamatos felülvizsgálata;
  • mentorációs események szervezése az új értékelési eljárásokról és azok alkalmazásáról mind a pályázók, mind a bírálók számára (például a Fiatal Kutatók Akadémiája és az MTA Titkársága által szervezett események);
  • részvétel CoARA-munkacsoportokban, nemzetközi szervezetek munkájában és tanácskozásain;
  • bizottsági javaslat megfogalmazása a magyar tudományosság művelői és képviselői számára a megkérdőjelezhető kiadói gyakorlatot folytató folyóiratokban megjelenő cikkek kezeléséről (lásd Javaslatok a kifogásolható gyakorlatot folytató folyóiratok cikkeinek kezelésére című jelentés [MTA, 2023]);
  • a Magyar Tudományos Művek Tárában (MTMT) kialakíthatóak modern, szakterület-specifikus mutatók a kutatók, intézmények, folyóiratok különböző értékelési helyzetekben való, komplex, többfaktoros jellemzésére: az MTMT nyilvántart, összesít (mutatókat képez), és elvezet a teljes tartalomhoz;
  • az MTMT-ben hamarosan lehetőség nyílik a kutatói életpálya egyes sajátságainak figyelembevételére (karriermegszakítás).
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Margaret Heffernan mottóként idézett mondata („Nobody wins, unless everybody wins.”) találóan támasztja alá mindezen, a kutatásértékelési reformmal kapcsolatos törekvések jellegét, amely akkor tud sikeres lenni, ha a kutatási-fejlesztési és innovációs ökoszisztéma valamennyi szereplője inkluzív partnerségben működik együtt kialakításuk és alkalmazásuk során. A sikeres reform célja, hogy támogassa az értékes, a lokális, illetve globális társadalmi, kulturális, gazdasági, egészségügyi, illetve környezetvédelmi kihívások elvi megoldására és innovációra képes, sokoldalú kutatókat, kiváló kutatásokat és az optimalizált kutatásfinanszírozást. A CoARA-elvek megvalósulásával mind az érdemeik és kutatási ötleteik bemutatására képes kutatók, mind az ipar és a társadalom is nyer; remélhetően kevesebb frusztráció és várhatóan kevesebb megkérdőjelezhető publikációs gyakorlat, torzító hatás és ösztönző, valamint nem etikus eljárás alakul ki.
 

Irodalom

 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

CoARA (2022): Coalition for Advancing Research Assessment. https://coara.eu/

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Curry, Stephen – Gadd, Elizabeth – Wilsdon, James (2022): Harnessing the Metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. Report. London, UK: Research on Research Institute, DOI: 10.6084/m9.figshare.21701624.v2, https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

Jegyzet elhelyezéséhez, kérjük, lépj be.!

DORA (2012): Declaration on Research Assessment. https://sfdora.org/about-dora/

Jegyzet elhelyezéséhez, kérjük, lépj be.!

DORA (n. d.): Tools to Advance Research Assessment (TARA). https://sfdora.org/project-tara/

Jegyzet elhelyezéséhez, kérjük, lépj be.!

EC (2022): European Commission Directorate-General for Research and Innovation – Almerud, Mikaela – Ricksten, Maria – O’Neill, Gareth et al.: Knowledge Ecosystems in the New ERA – Using a Competence-Based Approach for Career Development in Academia and Beyond. Publications Nunez, Lidia – De Coen, An (eds.) Office of the European Union. https://data.europa.eu/doi/10.2777/150763

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Global Research Council (GRC) (2021): Responsible Research Assessment. Global Research Council (GRC) Conference Report 2021. https://globalresearchcouncil.org/fileadmin/documents/GRC_Publications/GRC_RRA_Conference_Summary_Report.pdf

Jegyzet elhelyezéséhez, kérjük, lépj be.!

GYA-IAP-ISC Scoping Group (2023): The Future of Research Evaluation: A Synthesis of Current Debates and Developments. Discussion Paper. DOI: 10.24948/2023.06, https://globalyoungacademy.net/wp-content/uploads/2023/05/The-Future-of-Research-Evaluation.pdf

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Hicks, Diana – Wouters, Paul – Waltman, Ludo et al. (2015): Bibliometrics: The Leiden Manifesto for Research Metrics. Nature, 520, 429–431. DOI: 10.1038/520429a, https://www.nature.com/articles/520429a

Jegyzet elhelyezéséhez, kérjük, lépj be.!

IAP – The InterAcademy Partnership (2022a): Combatting Predatory Academic Journals and Conferences. (Summary Report in English). https://www.interacademies.org/publication/predatory-practices-summary-English

Jegyzet elhelyezéséhez, kérjük, lépj be.!

IAP – The InterAcademy Partnership (2022b): Combatting Predatory Academic Journals and Conferences. (Project). https://www.interacademies.org/project/predatorypublishing

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Inorms (n. d.): SCOPE Framework for Research Evaluation. https://inorms.net/scope-framework-for-research-evaluation/

Jegyzet elhelyezéséhez, kérjük, lépj be.!

MTA (2023): Javaslatok a kifogásolható gyakorlatot folytató folyóiratok cikkeinek kezelésére – az MTA ajánlásai az új típusú publikációs visszaélésekkel kapcsolatban. 2023. október 16. https://tinyurl.com/tcmvsba6

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Moher, David – Bouter, Lex – Kleinert, Sabine et al. (2020): The Hong Kong Principles for Assessing Researchers: Fostering Research Integrity. PLOS Biology, 18, 7, e3000737. DOI: 10.1371/journal.pbio.3000737, https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000737

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Nature Editorial (2022): Support Europe’s Bold Vision for Responsible Research Assessment. Nature, 607, 7920, 636. DOI: 10.1038/d41586-022-02037-8, https://www.nature.com/articles/d41586-022-02037-8

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Németh Brigitta – Munkácsy Balázs – Vida Zsófia Viktória et al. (2022): A fiatalok helyzete az akadémiai pályán. Fiatal Kutatók Kérdőív. Az FKA 2021-ben készült felmérésének eredményei. Budapest: Fiatal Kutatók Akadémiája, DOI: 10.36820/fka.2022, ISBN 9786156448187, https://mta.hu/data/dokumentumok/egyeb_dokumentumok/2022/FKK2021.pdf

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Science Europe (2020): Recommendations on Research Assessment Processes. https://www.scienceeurope.org/media/3twjxim0/se-position-statement-research-assessment-processes.pdf

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Wilsdon, James – Allen, Liz – Belfiore, Eleonora et al. (2015): The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. DOI: 10.13140/RG.2.1.4929.1363, ISBN 1902369273
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

 
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jegyzet elhelyezéséhez, kérjük, lépj be.!

1 A Global Young Academy (GYA), az InterAcademy Partnership (IAP) és az International Science Council (ISC) 2021-ben közös erővel nemzetközi felmérést készített a különböző kutatási kultúrákban és rendszerekben fellelhető kutatásértékelési kihívásokról, vitákról és fejleményekről, és megvizsgálták saját szerepüket is a tekintetben, hogy hogyan tudnának hatékonyan részt venni a kutatásértékelés új trendjeinek alakításában és népszerűsítésében.
2 Kezdd (Start) azzal, hogy mit tartasz értéknek, vedd figyelembe a kontextust (Context), az értékelési lehetőségeket (Options), utána teszteld alaposan (Probe), majd értékeld ki az értékelési rendszeredet (Evaluate).
3 Koalíció a Tudományértékelés Előmozdításáért.
4 Magyar Tudományos Akadémia, Magyar Kutatási Hálózat, Eötvös Loránd Tudományegyetem, Budapesti Corvinus Egyetem, Budapesti Műszaki és Gazdaságtudományi Egyetem, Debreceni Egyetem, Magyar Rektori Konferencia, Országos Rabbiképző – Zsidó Egyetem (2023. novemberi adat), lásd URL1.
Tartalomjegyzék navigate_next
Keresés a kiadványban navigate_next

A kereséshez, kérjük, lépj be!
Könyvjelzőim navigate_next
A könyvjelzők használatához
be kell jelentkezned.
Jegyzeteim navigate_next
Jegyzetek létrehozásához
be kell jelentkezned.
    Kiemeléseim navigate_next
    Mutasd a szövegben:
    Szűrés:

    Kiemelések létrehozásához
    MeRSZ+ előfizetés szükséges.
      Útmutató elindítása
      delete
      Kivonat
      fullscreenclose
      printsave