Az MTA Kiváló Kutatóhely minősítési rendszer célkitűzését az első alkalommal 2021-ben kiírt pályázat pályázati felhívása így fogalmazta meg: „A minősítés megalapításával és működtetésével a legkiemelkedőbb magyar kutatóhelyeknek méltó elismerést, a feltörekvőknek reális perspektívát, az érdeklődő hazai és külföldi döntéshozóknak objektív helyzetképet, a hazai tudomány kiválóságában érdekelt társadalomnak pedig tájékozódási lehetőséget” kíván biztosítani az Akadémia (MTA Pályázati felhívás, 2021).

Az értékelési rendszert az MTA elnökének kezdeményezésére elnökségi bizottság dolgozta ki, amelyben valamennyi nagy tudományterület képviseltette magát. A bizottság célja olyan módszertan kidolgozása volt, amely

Az MTA Elnökségének 2021. januári állásfoglalása alapján a minősítés odaítélése az alábbi – valamennyi tudományterületre egyaránt érvényes – szempontrendszer értékelése alapján történt:

A megítélés egyes összetevői számszerű értékelésen alapultak. Például a kutatóhely előző tíz évben publikált művei kiválóságának a megítélése a természettudományok és a matematika területén úgy történt, hogy az adott kutatóhely MTMT-ben megtalálható valamennyi tudományos művét az MTA KIK Tudománypolitikai és Tudományelemzési Osztálya kigyűjtötte, majd minden egyes művet kategorizált aszerint, hogy a megjelenés évében, a saját tudományterületén az idézettsége a Scopus, illetve a Web of Science adatai alapján a világon megjelent valamennyi tudományos közlemény legjobb 1, 10, 20 vagy 50%-ába tartozik-e. Az így elért kiválósági besorolások összesítését a kutatói létszámmal összevetve történt e szempont értékelése. A bölcsészet- és társadalomtudományi területen nem állnak rendelkezésre ilyen adatbázisok, ezért itt az adott kutatóhely minősített kutatóinak előző tíz évben megjelent, a saját értékelésük szerint legjobb egy-egy publikációját értékelték a szakértő bírálók, és sorolták hasonló módon nemzetközi értékelési kategóriákba. A kutatóhelyek előző öt évben megjelent, általuk a legjelentősebbként kiválasztott tíz tudományos művének megítélése minden esetben a szakértő bírálók értékelésén alapult.

A bírálók szakmai bírálata alapján – szintén az MTA tudományos osztályainak javaslata nyomán felkért – bírálóbizottságok értékelték a beérkezett pályázatokat, és javaslatot tettek az MTA Kiváló Kutatóhely cím odaítélésére. A különböző tudományterületek eltérő sajátosságainak figyelembevételével végül az MTA KMT tett egységesített javaslatot az MTA Elnöksége számára, amely meghozta a végső döntést a cím odaítéléséről. A bírálati folyamatot követően 95 hazai kutatóhely nyerte el öt évre az MTA Kiváló Kutatóhely minősítést (MTA Kiváló Kutatóhely minősítést kapott intézmények, MTA, 2022).

Az MTA 2023-ban kiírta az MTA Kiváló Kutatóhely pályázatot vállalatok és vállalkozások keretei között működő kutatóhelyek számára is. E pályázatok esetében az MTA KMT javaslatára az MTA Elnöksége az alábbi bírálati szempontokat fogadta el:

Az MTA KMT az MTA Elnökségének felkérésére 2023-ban, a vállalati kutatóhelyekre vonatkozó pályázat meghirdetését követően megvizsgálta azt a kérdést is, hogy a kutatóhelyek értékelése milyen általános alapelvek mentén történjen a jövőben, amelyekre tekintettel a soron következő pályázati kiírások és tényleges bírálati eljárások rendje is újraszabályozható lesz. A 2022-ben született, a kutatásértékelés reformjáról szóló Coalition for Advancing Research Assessment (CoARA) megállapodás, amelyhez több hazai egyetem, a HUN-REN Magyar Kutatási Hálózat, a Magyar Felsőoktatási Akkreditációs Bizottság (MAB), az MTA és a Magyar Rektori Konferencia is csatlakozott, felhívta a figyelmet arra, hogy a tudományos teljesítmény megítélését elsősorban szakértői értékelésen (peer review) alapuló minőségi (kvalitatív) értékelésre kell alapozni, amelyet a mennyiségi (kvantitatív) mutatók felelős használata támogat. A kutatóhelyek értékelése, különösen egymással való összehasonlítása során – a munka lényegesen nagyobb volumene miatt – továbbra is szerepet kapnak a kvantitatív mutatók, de nagyon fontos arra törekedni, hogy ezek valódi teljesítményt mérjenek, a kutatókat és a kutatóhelyeket pozitív irányba motiválják, és ne érvényesülhessen a Goodhart-törvény (Goodhart, 1975), ami azt mondja ki: „Ha egy mérés eredményét választjuk célnak, akkor a mérés megszűnik jól mérni.”

Sajnos, a ma széles körben használt felsőoktatási rangsorok esetében sem mindig érvényesülnek maradéktalanul ezek a minőségi és a tudományos minőség ösztönzésére célelvűen alkalmas szempontok. Hazánkban és nemzetközi szinten is számos olyan, sokszor etikailag is kifogásolható publikációs és tudományértékelési gyakorlat jelent meg, amelyek terjedése nem szolgálja a tudományos munka színvonalának növelését. A probléma súlyosságát mutatja, hogy a CoARA-megállapodás fő kötelezettségvállalásainak egyike „a kutatási intézmények vagy szervezetek rangsorolására alkalmazott metrikák használatának kerülése a kutatási projektek értékelésében”. A helytelenül alkalmazott kvantitatív mutatók hatására kialakuló torzult magatartási formákról részletesebben olvashatunk a Magyar Tudomány e számában megjelent közleményekben.

A kutatóhelyek értékelésének jövőben kívánatos módjával kapcsolatban az MTA KMT az alábbi alapelveket fogalmazta meg: