Kilpailullisen rahoituksen vaikutuksista - huomioita Ulf Sandströmin ja Peter Van den Besselaarin artikkelista

19.10.2018

Ulf Sandströmin ja Peter Van den Besselaarin artikkelia “Funding, evaluation, and the performance of national research systems” (Journal of Informetrics 12 (2018), 365-384) on äskettäin referoitu laajalti mm. MustReadissa. Muutama kommentti artikkelista on paikallaan. 

Artikkeli tarkastelee miten vuosien 2000-2009 rahoitusmuutokset eri maissa näkyvät muutoksina tutkimuksen tasossa vuosina 2002-2011. Tutkimuksen tason mittarina on käytetty maailman viitatuimpaan 10 prosenttiin kullakin tieteenalalla kuuluvien julkaisujen määrää. Tutkijat tarkastelevat myös, miten erilaiset muuttujat, kuten tutkimusrahoituksen kilpailullisuus, yliopistojen autonomia tai akateeminen vapaus, vaikuttavat tutkimuksen tasoon. 

Artikkeli on vaativa yritys analysoida tiedepoliittisesti relevanttia aihetta useamman selittävän tekijän kautta, mutta se kärsii aineisto-ongelmista: vertailukelpoista ja luotettavaa dataa on erittäin vaikea kerätä. Tämä on tyypillinen ilmiö suurissa kansainvälisissä vertailuissa. 

Artikkelin tekijät tiivistävät tämän itse (s. 366, ensimmäinen kappale):

”However, given the problematic nature of the available data, we do not claim that we have robust findings, but we do have an interesting research agenda.  Additional research is needed, especially there is a need for more prudence in data collection.”

Artikkelin käyttöä tiedepoliittisten johtopäätösten tekoon pitänee varoa, kun tekijät itsekin toteavat, että analyysin tuloksissa on epävarmuutta. Lisäksi kannattaa huomioida, että artikkelin tarkoituksena on ollut analysoida tutkimusrahoituskilpailun ja muiden tekijöiden vaikutuksia tuloksellisuuteen järjestelmätasolla. Yksilötasolla kilpailullisen tutkimusrahoituksen ja viittauksilla mitatun tieteellisen vaikuttavuuden korrelaation on havaittu olevan hyvin vahva.

Muutama yksityiskohtaisempi kommentti artikkelista lienee myös paikallaan. Huomio kiinnittyy mm. taulukkoon 1 sivulla 369, joka ilmaisee kuinka kirjoittajat lähestyvät yliopistojen perusrahoituksen kilpailullisuutta. Kun maita on paljon ja aineistoa kansallisista perusrahoitusmalleista ja niiden muutoksista heikosti saatavissa, kirjoittajat jakavat maat kolmeen luokkaan sen mukaan, onko niissä suorituksiin perustuva tutkimuksen arviointijärjestelmä, ja jos on, onko se kytketty perusrahoitukseen. Ongelma on, että jos maassa X jaetaan 10 % perusrahoituksesta tuloksellisuusindikaattorien tai -arvioinnin perusteella ja maassa Y vastaava osuus on 50 %, kilpailullisuus on eriasteista. Tutkimuksessa tällaiset maat kuitenkin laitetaan samaan luokkaan analyysiä varten. Kirjoittajat mainitsevat itsekin tämän ongelman sivun 371 alussa.

Järjestelmien tehokkuustarkastelussa on vain kahden vuoden aikajänne (s. 369: ”…as we apply a two-year time lag between funding and output”). Joissakin ekonometrisissä analyyseissa on yritetty jäljittää tutkimuspanosten ja -tuotosten välistä ajallista yhteyttä. Esimerkiksi Crespi ja Geuna päätyivät siihen, että julkaisujen osalta panoksen ja tuotoksen välinen viive olisi 2-6 vuotta: tuotokset alkavat näkyä kahden vuoden kuluttua, ja ovat efektiivisesti ohi kuuden vuoden kuluttua (Crespi & Geuna (2008) ”An empirical study of scientific production: A cross country analysis, 1981-2002”, Research Policy, vol. 37). Kahden vuoden viive on siis varsin lyhyt resurssimuutosten vaikutusten havaitsemiseen. 

Yliopistojen autonomia (toinen selittävä tekijä rahoituksen kilpailullisuuden lisäksi) on kirjoittajille käytännössä vastakohta akateemiselle vapaudelle (kolmas tekijä). Tämä vaikuttaa yllättävältä tulkinnalta, ikään kuin yliopistojen autonomia suhteessa valtioon ei voisi yhdistyä opetus- ja tutkimushenkilökunnan akateemiseen vapauteen. Akateemisen vapauden ja tehokkuuden välisen yhteyden analyysiä haittaa myös riittävän aineiston puute (s. 378). Artikkelin luvussa 5 Conclusions (s. 378-379) onkin paljon varaumia aineistojen rajoista sekä siitä että tulisi saada parempaa vertailudataa tällaisiin analyyseihin.

Yhteenvetona voitaneen olla yhtä mieltä kirjoittajien kanssa siitä, että tutkimusongelma on kiintoisa, mutta että aineiston ongelmat johtavat siihen, että tulosten luotettavuus on matala. 

Lisätietoja

Otto Auranen
johtava tiedeasiantuntija
Suomen Akatemia
p. 029 533 5141
etunimi.sukunimi(at)aka.fi

 

Viimeksi muokattu 19.10.2018
Seuraa meitä:
FacebookSlideshareTwitterYoutube
VAIHDE 029 533 5000
KIRJAAMO 029 533 5049
FAKSI 029 533 5299
   
SÄHKÖPOSTI etunimi.sukunimi@aka.fi
AUKIOLO Arkisin 8.00-16.15
   
HENKILÖHAKU »
TIETOSUOJASELOSTEET »
YHTEYSTIEDOT JA LASKUTUS »
KYSYMYKSET JA PALAUTE »