Elfogult definíciós háttér
A kutatás elméleti alapjai a vonatkozó nemzetközi szakirodalom alapján kerültek kidolgozásra. A szakirodalom több olyan releváns mozzanatot is felsorol, amelyek alapvetően teszik kérdésessé, mennyire használható egy-egy index, illetve mennyire megbízhatóak a belőlük kinyert adatok. Az ilyen elméleti aggályok közé tartozik, hogy a legtöbb nehezen megfogható fogalmat (versenyképesség, demokrácia) vizsgáló mutató eleve kénytelen a vizsgált fogalom valamely definícióját választani munkaeszközéül. Ezeknek a fogalmaknak ugyanakkor a tudományos körökben nincs egyértelmű meghatározásuk, számtalan értelmezésük létezik. Ezen értelmezések mögött természetesen értékítéletek húzódnak meg, amelyek eleve nehézkessé teszik a terület tárgyilagos vizsgálatát.
Hasonló probléma, hogy az indexeket publikáló szervezetek többsége valamilyen konkrét céllal jött létre, és – még ha céljaik teljes mértékben támogatandóak is – éppen céljaik miatt az ilyen szervezetek sosem lehetnek minden tekintetben értékmentesek. Ugyancsak probléma – a fentiekkel összefüggésben –, hogy ezek a mutatók általában nem veszik figyelembe a meglévő kulturális különbségeket sem. A legtöbb mutatót kibocsátó szervezet ugyanis a nyugati kultúrkörből származik, de az általuk vizsgált országok széles köre kívül esik ezen civilizációs határon.
Szubjektív elemek túlsúlya
Konkrétabb probléma, hogy a definíciós nehézségeken túl az elvont fogalmakat vizsgáló indexek többsége – éppen az egzakt kategóriák hiánya miatt – túlnyomóan szubjektív értékelések, szakértői vélemények alapján épül fel, amelyek természetesen nem lehetnek függetlenek az adott szakértők személyétől. Így sokkal inkább személyes értékítéleten, mint számszerűsíthető adatokon alapulnak. Számos ilyen index pedig más, hasonlóan szubjektív adatok aggregálásával készül, azaz eleve szubjektív adatokon alapuló kutatásokból építkezik. Ez a különböző indexek egyfajta „körbehivatkozásaként” is értelmezhető.
A gyakorlat visszaigazolja a szakirodalmi kritikákat
Az elméleti alapokat gyakorlatban is vizsgálva a Századvég Alapítvány négy nemzetközi indexen keresztül mutatta be a módszertani korlátokat. A négy vizsgált mutató a Bertelsmann Alapítvány Transformation Indexe, a Word Economic Forum Global Competitiveness Indexe, a Freedom House Nations in Transit jelentése és a Transparency International Corruption Perceptions Indexe volt. A Bertelsmann Alapítvány indikátora kiváló példa arra, milyen az, amikor elvont fogalmakat – mint a demokrácia, piacgazdaság vagy a politikai vezetés – szubjektív szempontok alapján vizsgálnak. Egy adott ország kiértékeléséért egy kutató felel, akit ugyan többször felülbírálhatnak, de az eredmény alapvetően az ő meglátásai alapján részletesen kitöltött tesztből áll. Hasonló a helyzet a World Economic Forum indexe esetén, amelynek jelentős részét a cégvezetőkkel készített interjúkra alapozzák. A legszembeötlőbb a Freedom House jelentése, amelynek elkészítése során egyetlen kutató tanulmánya alapján kerülnek meghatározásra az adott ország pontjai. A kiosztott pontokat a tanulmány alapján ugyan több lépcsőben felülvizsgálhatják, de az eredeti szakértői vélemény módosítására például hazánk esetében nem került sor 2016-ban. Pedig a 2016-os jelentés országtanulmányának irodalomlistájában jellemzően sajtóhírek szerepelnek, melyeket a szerző teljesen szubjektív szempontok szerint állított sorba. Fájóan hiányoznak viszont azok a tudományos értelemben is értékelhető hivatkozások, amelyek valóban bizonyító erővel bírnának az országjelentés megállapításai szempontjából. Ráadásul a jelentés súlyos és bántó fogalmi pontatlanságokkal is küzd. A Freedom House Nations in Transit 2016 Magyarországra vonatkozó magyar nyelvű jelentésében a szerző például saját szubjektív véleményére alapozva, vélelmezetten alkotmányellenesnek nevezi a „tömeges bevándorlás okozta veszélyhelyzet” bevezetését, amely jogintézményt ráadásul valójában„tömeges bevándorlás okozta válsághelyzet”-nek hív a magyar jogi szabályozás.
Végezetül a Transparency International (TI) Corruption Perception Indexe jó példa a szubjektív adatok aggregációjából fakadó aggályokra. Bár ezen mutató módszertana szakmailag kifogástalan, pusztán 12 más szervezet által készített index összevont eredményeit tartalmazza. Ezek közül három a fent leírt indexekből kerül ki. Így a TI által készített index forrásai és azok kiválasztása a szubjektív adatok objektivizálásaként is értelmezhető.
A fentiek miatt – bár igen népszerűek és sokszor kevéssé vitatottak – az elvont fogalmakat vizsgáló nemzetközi indexek módszertanilag sokkal megalapozatlanabbak az amúgy gyakran kritizált gazdasági mutatóknál. A mutatókat azonban sokszor a pillanatnyi politikai szándékoknak megfelelően használják fel a nemzetközi sajtóban, amely a módszertannal kapcsolatos valódi tudományos diskurzust és önrevíziót lehetetlenné teszi, illetve a különböző vizsgált országok befolyástól mentes kormányzását is megnehezíti.
A nemzetközi indexeknek komoly hiányosságai és korlátai vannak – teljes tanulmány
