A kutatóhelyek minősítésének gyakorlata és elvei a Magyar Tudományos Akadémián. Az MTA Kutatóhelyeket Minősítő Tanács állásfoglalása1

The Practice and Principles of Research Centres’ Qualification of Excellence at the Hungarian Academy of Sciences. Resolution of the Qualification Council for Research Centres of the Hungarian Academy of Sciences

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Hunyady László1, Kecskeméti Gábor2

Jegyzet elhelyezéséhez, kérjük, lépj be.!

1az MTA rendes tagja, HUN-REN Természettudományi Központ Enzimológiai Intézet, Budapest

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Jegyzet elhelyezéséhez, kérjük, lépj be.!

2az MTA rendes tagja, HUN-REN Bölcsészettudományi Kutatóközpont Irodalomtudományi Intézet, Budapest

Jegyzet elhelyezéséhez, kérjük, lépj be.!

 
Összefoglalás
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A beszámoló összegzi a tudományos tevékenységet végző intézmények kiválóságának tanúsításával kapcsolatban a Magyar Tudományos Akadémia által 2019–2023 között elvégzett munkát és a megszerzett első tapasztalatokat. Az Akadémia 2021-ben egyetemek, kutatóintézetek, múzeumok és könyvtárak keretei között működő szervezeti egységek, 2023-ban pedig vállalatok és vállalkozások keretei között működő kutatóhelyek számára hirdette meg kiválósági pályázatát. A pályázatok értékelésére létrehozott Kutatóhelyeket Minősítő Tanács az utóbbi pályázat elbírálásával párhuzamosan megvizsgálta azt a kérdést is, hogy a kutatóhelyek értékelése milyen általános alapelvek mentén történjen a jövőben, amelyekre tekintettel a soron következő pályázati kiírások és tényleges bírálati eljárások rendje is újraszabályozható lesz. Az utóbbi évek legfontosabb, általánosítható nemzetközi tapasztalata az, hogy a tudományos értékelés ma elfogadott trendjei egyoldalú mennyiségi megítélés helyett az elmélyültebb minőségi értékelés elvárását szorgalmazzák.
 
Abstract
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

The report summarizes the work carried out by the Hungarian Academy of Sciences in the period 2019–2023 on the certification of excellence of scientific institutions and the first experiences gained. In 2021, the Academy announced its call for excellence for departments operating in universities, research institutes, museums, and libraries, and in 2023 for research centres operating in companies and businesses. In parallel with the evaluation of the latter call, the Qualification Council for Research Centres, which was set up to evaluate the proposals, has also examined the general principles for the future evaluation of research centres, which will be used to redefine the procedures for the forthcoming calls for proposals and the actual evaluation process. The most important generalizable international experience of recent years is that the current trends in scientific quality evaluation call for a more in-depth qualitative evaluation rather than a one-sided quantitative one.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Kulcsszavak: tudományos intézmények minőségi értékelése, kiválóság, MTA Kutatóhelyeket Minősítő Tanács, MTA Kiváló Kutatóhelyek
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Keywords: quality evaluation of scientific institutions, qualification of excellence, Qualification Council for Research Centres, Research Centres of Excellence of the Hungarian Academy of Sciences
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

DOI: 10.1556/2065.184.2024.1.13
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

 
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A Magyar Tudományos Akadémiáról szóló 1994. évi XL. törvény 2019. szeptember 1-től hatályos módosítása nyomán a Magyar Tudományos Akadémia (MTA) közfeladatává vált a tudományos tevékenységet végző intézmények felkérésre történő értékelése. E felhatalmazás alapján és e közfeladat megvalósítása céljából az MTA létrehozta „az MTA által Kiválónak Elismert Kutatóhely” (a továbbiakban: MTA Kiváló Kutatóhely) minősítési rendszert, amelynek célja, hogy a Magyarországon működő kutatóhelyeket minősítse, kiválóságukat tanúsítsa, hasonlóan ahhoz, ahogyan az MTA doktora cím odaítélésével a tudományos kutatók esetében teszi.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az MTA Kiváló Kutatóhely minősítési rendszer célkitűzését az első alkalommal 2021-ben kiírt pályázat pályázati felhívása így fogalmazta meg: „A minősítés megalapításával és működtetésével a legkiemelkedőbb magyar kutatóhelyeknek méltó elismerést, a feltörekvőknek reális perspektívát, az érdeklődő hazai és külföldi döntéshozóknak objektív helyzetképet, a hazai tudomány kiválóságában érdekelt társadalomnak pedig tájékozódási lehetőséget” kíván biztosítani az Akadémia (MTA Pályázati felhívás, 2021).

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az értékelési rendszert az MTA elnökének kezdeményezésére elnökségi bizottság dolgozta ki, amelyben valamennyi nagy tudományterület képviseltette magát. A bizottság célja olyan módszertan kidolgozása volt, amely

Jegyzet elhelyezéséhez, kérjük, lépj be.!

  • a legkorszerűbb tudományos teljesítményértékelési alapelveket érvényesíti;
  • sokoldalúan, több szempont figyelembevételével és nemzetközi összevetésben értékel;
  • az általános szempontrendszerek (lásd lent) értékelésére olyan kritériumokat és módszereket alkalmaz, amelyek figyelembe veszik valamennyi tudományterület – így a bölcsészet- és társadalomtudományok – sajátosságait is.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az első alkalommal egyetemek, kutatóintézetek, múzeumok és könyvtárak keretei között működő, több kutatócsoportból álló és legalább tíz, legfeljebb 250 kutatót alkalmazó szervezeti egységek (kutatóhelyek) pályázhattak, de nem pályázhattak például maguk az intézmények. A minősítési rendszert és a hozzá kapcsolódó pályázatot az MTA Elnöksége egyhangú döntéssel hagyta jóvá.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az MTA Elnökségének 2021. januári állásfoglalása alapján a minősítés odaítélése az alábbi – valamennyi tudományterületre egyaránt érvényes – szempontrendszer értékelése alapján történt:

Jegyzet elhelyezéséhez, kérjük, lépj be.!

  1. A pályázó szervezeti egység kutatói eredményessége és korfája;
  2. A kutatóhely elmúlt öt évben született, önértékelés alapján legkiválóbbnak minősített tudományos műveinek kiválósága;
  3. A kutatóhely elmúlt tíz évben publikált műveinek kiválósága;
  4. A kutatóhely pályázati eredményességének kiválósága;
  5. A tudományos utánpótlás nevelésének kiválósága;
  6. A kutatóhely működésének kiválósága;
  7. A kutatóhely innovációs és fejlesztési tevékenységének kiválósága.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A 2021-ben kiírt pályázat nagy érdeklődést váltott ki. A beérkezett pályázatok értékelésére az MTA létrehozta az MTA Kutatóhelyeket Minősítő Tanácsot (a továbbiakban: MTA KMT), amelyben az MTA valamennyi tudományos osztálya képviselve van. Az MTA KMT az értékelési folyamat során az MTA tudományos osztályainak javaslata alapján legalább három (nagyobb kutatóhelyek esetében öt), többségében külföldi független szakértőt kért fel a pályázatok bírálatára.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A megítélés egyes összetevői számszerű értékelésen alapultak. Például a kutatóhely előző tíz évben publikált művei kiválóságának a megítélése a természettudományok és a matematika területén úgy történt, hogy az adott kutatóhely MTMT-ben megtalálható valamennyi tudományos művét az MTA KIK Tudománypolitikai és Tudományelemzési Osztálya kigyűjtötte, majd minden egyes művet kategorizált aszerint, hogy a megjelenés évében, a saját tudományterületén az idézettsége a Scopus, illetve a Web of Science adatai alapján a világon megjelent valamennyi tudományos közlemény legjobb 1, 10, 20 vagy 50%-ába tartozik-e. Az így elért kiválósági besorolások összesítését a kutatói létszámmal összevetve történt e szempont értékelése. A bölcsészet- és társadalomtudományi területen nem állnak rendelkezésre ilyen adatbázisok, ezért itt az adott kutatóhely minősített kutatóinak előző tíz évben megjelent, a saját értékelésük szerint legjobb egy-egy publikációját értékelték a szakértő bírálók, és sorolták hasonló módon nemzetközi értékelési kategóriákba. A kutatóhelyek előző öt évben megjelent, általuk a legjelentősebbként kiválasztott tíz tudományos művének megítélése minden esetben a szakértő bírálók értékelésén alapult.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A bírálók szakmai bírálata alapján – szintén az MTA tudományos osztályainak javaslata nyomán felkért – bírálóbizottságok értékelték a beérkezett pályázatokat, és javaslatot tettek az MTA Kiváló Kutatóhely cím odaítélésére. A különböző tudományterületek eltérő sajátosságainak figyelembevételével végül az MTA KMT tett egységesített javaslatot az MTA Elnöksége számára, amely meghozta a végső döntést a cím odaítéléséről. A bírálati folyamatot követően 95 hazai kutatóhely nyerte el öt évre az MTA Kiváló Kutatóhely minősítést (MTA Kiváló Kutatóhely minősítést kapott intézmények, MTA, 2022).

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az MTA 2023-ban kiírta az MTA Kiváló Kutatóhely pályázatot vállalatok és vállalkozások keretei között működő kutatóhelyek számára is. E pályázatok esetében az MTA KMT javaslatára az MTA Elnöksége az alábbi bírálati szempontokat fogadta el:

Jegyzet elhelyezéséhez, kérjük, lépj be.!

  1. Az elmúlt öt évben sikeresen megadott szabadalmak/oltalmak kiválósága;
  2. A sikeresen használt iparjogvédelmi eszközök hasznosításának kiválósága;
  3. Az elmúlt öt évben született tíz legkiválóbb eredeti tudományos közlemény/mű kiválósága;
  4. Az elmúlt tíz évben egyetemi vagy állami fenntartású kutatóhelyekkel folytatott K+F-együttműködéseik kiválósága;
  5. A kutatóhely MTA doktora vagy azzal egyenértékű tudományos címmel rendelkező K+F-alkalmazottainak aránya;
  6. Nemzetközi vagy hazai innovációs díjak kiválósága, amelyekben a kutatóhely vagy valamelyik alkalmazottja az elmúlt tíz évben a kutatóhelyen végzett tevékenységért részesült.
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

E pályázatok bírálata szakértő bírálók bevonásával jelenleg is folyamatban van.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Az MTA KMT az MTA Elnökségének felkérésére 2023-ban, a vállalati kutatóhelyekre vonatkozó pályázat meghirdetését követően megvizsgálta azt a kérdést is, hogy a kutatóhelyek értékelése milyen általános alapelvek mentén történjen a jövőben, amelyekre tekintettel a soron következő pályázati kiírások és tényleges bírálati eljárások rendje is újraszabályozható lesz. A 2022-ben született, a kutatásértékelés reformjáról szóló Coalition for Advancing Research Assessment (CoARA) megállapodás, amelyhez több hazai egyetem, a HUN-REN Magyar Kutatási Hálózat, a Magyar Felsőoktatási Akkreditációs Bizottság (MAB), az MTA és a Magyar Rektori Konferencia is csatlakozott, felhívta a figyelmet arra, hogy a tudományos teljesítmény megítélését elsősorban szakértői értékelésen (peer review) alapuló minőségi (kvalitatív) értékelésre kell alapozni, amelyet a mennyiségi (kvantitatív) mutatók felelős használata támogat. A kutatóhelyek értékelése, különösen egymással való összehasonlítása során – a munka lényegesen nagyobb volumene miatt – továbbra is szerepet kapnak a kvantitatív mutatók, de nagyon fontos arra törekedni, hogy ezek valódi teljesítményt mérjenek, a kutatókat és a kutatóhelyeket pozitív irányba motiválják, és ne érvényesülhessen a Goodhart-törvény (Goodhart, 1975), ami azt mondja ki: „Ha egy mérés eredményét választjuk célnak, akkor a mérés megszűnik jól mérni.”

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Sajnos, a ma széles körben használt felsőoktatási rangsorok esetében sem mindig érvényesülnek maradéktalanul ezek a minőségi és a tudományos minőség ösztönzésére célelvűen alkalmas szempontok. Hazánkban és nemzetközi szinten is számos olyan, sokszor etikailag is kifogásolható publikációs és tudományértékelési gyakorlat jelent meg, amelyek terjedése nem szolgálja a tudományos munka színvonalának növelését. A probléma súlyosságát mutatja, hogy a CoARA-megállapodás fő kötelezettségvállalásainak egyike „a kutatási intézmények vagy szervezetek rangsorolására alkalmazott metrikák használatának kerülése a kutatási projektek értékelésében”. A helytelenül alkalmazott kvantitatív mutatók hatására kialakuló torzult magatartási formákról részletesebben olvashatunk a Magyar Tudomány e számában megjelent közleményekben.

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A kutatóhelyek értékelésének jövőben kívánatos módjával kapcsolatban az MTA KMT az alábbi alapelveket fogalmazta meg:

Jegyzet elhelyezéséhez, kérjük, lépj be.!

  1. Összhangban a San Franciscó-i Declaration on Research Assessment (DORA, 2012) és az ALLEA- (All European Academies, teljes nevén European Federation of Academies of Sciences and Humanities) (2023) nyilatkozatokban, továbbá az MTA Javaslatok a kifogásolható gyakorlatot folytató folyóiratok cikkeinek kezelésére (MTA, 2023) című ajánlásában megfogalmazott elvekkel, a kutatóhelyek értékelésénél is hangsúlyt kell helyezni a független szakértői véleményen alapuló bírálatokra, és olyan értékelési gyakorlatot kell alkalmazni, amely a minőség, a tudomány előrehaladása, valamint a tágabb értelemben vett hasznosulás elvein alapul; túlmutat a mennyiségi mutatókon, és – ahol ez releváns – figyelembe veszi a sokszínűséget, a nyitottságot és az együttműködéseket. A mennyiségi mutatókon alapuló értékelésnek támogató szerepe lehet.
  2. „A kutatóhelyek és kutatást végző szervezetek értékelésére vonatkozó kritériumokat – az átjárhatóság előmozdítása mellett – át kell tekinteni, illetve ki kell dolgozni, ebbe pedig közvetlenül be kell vonni a kutatási szervezeteket és a kutatókat, utóbbiakat a kutatói életpálya teljes spektrumára kiterjedően.” (Javaslatok a kifogásolható gyakorlatot folytató folyóiratok cikkeinek kezelésére, MTA, 2023)
  3. A kutatóhelyek értékelésénél azok a tudományos művek vehetők figyelembe, amelyek létrehozásában a kutatóhelynek jelentős hozzájárulása volt. (Például jelentős hozzájárulás: az első szerző vagy az utolsó szerző vagy a levelező szerző vagy a szerzők több mint 25%-a a kutatóhely alkalmazottja. Külön listán egyéb tudományos művek is megadhatók, a bírálók döntenek ezek esetleges figyelembevételéről.)
  4. A jelentős hozzájárulás értékelésekor csak az a szerző számítson a kutatóhely értékelésénél, akinek az esetében a publikációban megadott első két munkahely egyike a vizsgált kutatóhely.
  5. Támogatjuk – az MTA Javaslatok a kifogásolható gyakorlatot folytató folyóiratok cikkeinek kezelésére (MTA, 2023) című ajánlásában megfogalmazott javaslattal egyetértve – annak bevezetését, hogy előzetes tájékoztatást követően nem tudományos besorolást kapjanak a norvég listán 0. értékelésű folyóiratok, illetve azok a hazai folyóiratok, amelyek kiadói gyakorlata megkérdőjelezhető az MTA tudományos osztályainak állásfoglalása alapján.
  6. Az MTMT-ben nem tudományos megjelöléssel szereplő közlemények nem vehetők figyelembe a tudományos értékelés során.
  7. Az MTA etikai kódexét össze kell hangolni az ALLEA (2023) elveivel. Támogatjuk azt, hogy bármely érdekelt fél etikai eljárást kezdeményezzen, ha az MTA etikai elveitől eltérő publikációs gyakorlatot, illetve magatartást észlel, és meg kell oldani, hogy a kutatóhelyek és intézmények védelmet biztosítsanak azok számára, akik ilyen bejelentést tesznek.
  8. A kutatóhelyekkel szemben elvárás, hogy megfelelő képzést biztosítsanak az MTA, illetve az ALLEA etikai kódexeiben megfogalmazott elvek megismertetésére, és olyan légkört teremtsenek, amelyben ezek az elvek maradéktalanul érvényesülhetnek.
  9. A kutatóhelyek és a finanszírozók a tudományos teljesítményértékelés során azokat a nemzetközi rangsorokat vegyék figyelembe, amelyek a fenti alapelvekkel összhangban lévő értékelési módszereket használnak. A Coalition for Advancing Research Assessment (CoARA) megállapodás (2022) így fogalmaz: „Felismerve, hogy a kutatási szervezetek által leggyakrabban hivatkozott nemzetközi rangsorok jelenleg nem »tisztességesek és felelősségteljesek«, az e rangsorokban használt kritériumoknak nem szabad az egyes kutatók, kutatócsoportok és kutatóhelyek értékelésébe átszivárogniuk. A kutatási szervezeteknek azzal is tisztában kell lenniük, hogy a nyilvános kommunikáció (például egy intézmény rangsorban elfoglalt helyének aktív reklámozása) azt az érzetet keltheti, hogy a kutatás minősége keveredik a rangsorban elért hellyel. Ahol a rangsorolás elkerülhetetlen, mint például az e megállapodás hatályán kívül eső olyan értékelési formákban, mint amilyen az országok vagy intézmények egymással való összemérése [benchmarking] és teljesítményértékelése, el kell ismerni az ilyen megközelítések módszertani korlátait, és az intézményeknek el kell kerülniük azt, hogy ezek hatással legyenek a kutatások és a kutatók értékelésére.”
 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

A tudományos intézmények minőségértékelésének területén az MTA KMT által megszerzett első tapasztalatok összegzéseként megállapítható, hogy a kutatási folyamatok leírása, osztályozása, megítélése, jó és rossz gyakorlatokra való elkülönítése az elmúlt időszakban olyan önálló kutatási témává vált (research on research), amelynek belátásaival, tapasztalataival és általánosítható tanulságaival feltétlenül számolni kell a felelős döntéshozatal során. Az utóbbi évek legfontosabb, általánosítható nemzetközi tapasztalata az, hogy a korábban egyoldalúan alkalmazott és – különösen a fenntartói és más finanszírozói döntésekben – valósággal fetisizált mennyiségi mutatók nemritkán alkalmassá váltak arra, hogy diszfunkcionális döntéshozatalt alapozzanak meg, a tudományos kutatás mezőnyében pedig egyes visszaélésszerű alkalmazásokra is lehetőséget adtak. A tudományos értékelés ma elfogadott nemzetközi trendjei az elmélyültebb minőségi értékelés elvárását szorgalmazzák.
 

Irodalom

 

Jegyzet elhelyezéséhez, kérjük, lépj be.!

ALLEA (2023): The European Code of Conduct for Research Integrity. Revised Edition. Berlin: ALLEA, ISBN 9783982356235, https://allea.org/wp-content/uploads/2023/06/European-Code-of-Conduct-Revised-Edition-2023.pdf

Jegyzet elhelyezéséhez, kérjük, lépj be.!

CoARA (2022): Coalition for Advancing Research Assessment. https://coara.eu/

Jegyzet elhelyezéséhez, kérjük, lépj be.!

DORA (2012): Declaration on Research Assessment. https://sfdora.org/about-dora/

Jegyzet elhelyezéséhez, kérjük, lépj be.!

Goodhart, Charles A. E. (1975): Monetary Relationships: A View from Threadneedle Street. Papers in Monetary Economics, 1, 1, 1–27. In: Chrystal, K. Alec – Mizen, Paul D.: Goodhart’s Law: Its Origins, Meaning and Implications for Monetary Policy. Prepared for the Festschrift in Honor of Charles Goodhart to be Held on November 15–16, 2001 at the Bank of England. 12 November 2001. http://cyberlibris.typepad.com/blog/files/Goodharts_Law.pdf

Jegyzet elhelyezéséhez, kérjük, lépj be.!

MTA (2022): MTA Kiváló Kutatóhely minősítést kapott intézmények. 2022. https://mta.hu/data/dokumentumok/egyeb_dokumentumok/2022/MTA_KKH_pdf_lista_netre_2.pdf

Jegyzet elhelyezéséhez, kérjük, lépj be.!

MTA (2023): Javaslatok a kifogásolható gyakorlatot folytató folyóiratok cikkeinek kezelésére – az MTA ajánlásai az új típusú publikációs visszaélésekkel kapcsolatban. 2023. október 16. https://tinyurl.com/tcmvsba6

Jegyzet elhelyezéséhez, kérjük, lépj be.!

MTA Pályázati felhívás (2021): Pályázati felhívás „A Magyar Tudományos Akadémia által Kiválónak Elismert Kutatóhely (MTA Kiváló Kutatóhely)” minősítés megszerzésére, 2021. május 28. https://mta.hu/data/dokumentumok/egyeb_dokumentumok/2021/MTA_KivaloKH_Palyazati_felhivas_20210528_.pdf

Jegyzet elhelyezéséhez, kérjük, lépj be.!

1 * A szerzők köszönetüket fejezik ki Jenes Barnabásnak, az MTA Kutatóhelyeket Minősítő Tanács titkárának a kézirat előkészítése során nyújtott segítségéért.  
Tartalomjegyzék navigate_next
Keresés a kiadványban navigate_next

A kereséshez, kérjük, lépj be!
Könyvjelzőim navigate_next
A könyvjelzők használatához
be kell jelentkezned.
Jegyzeteim navigate_next
Jegyzetek létrehozásához
be kell jelentkezned.
    Kiemeléseim navigate_next
    Mutasd a szövegben:
    Szűrés:

    Kiemelések létrehozásához
    MeRSZ+ előfizetés szükséges.
      Útmutató elindítása
      delete
      Kivonat
      fullscreenclose
      printsave