Krista Varantola: Miten tutkijan työtä arvioidaan?

Vai pitäisikö kysyä miten tutkijan tai tieteentekijän työtä pitäisi arvioida? Tätä kysymystä pohditaan nyt tosissaan eri tiedetoimijoiden parissa, eri tulokulmista ja eri puolilla maailmaa. Ei asia ole uusi, mutta nyt ilmassa on uutta puhtia, kärsimättömyyttä ja yhteistyötä epäoikeudenmukaiseksi koettuja arviointimenetelmiä kohtaan. Julkisjohtamisen ei-enää-niin-uudet opit ovat kuohuttaneet globaalia tutkimusyhteisöä kautta 2000-luvun.

Kansainvälisten julkaisujen määrä ja erilaisten julkaisuindeksien käyttö pääasiallisena mittarina tutkijan kyvykkyydestä on ollut kovan kritiikin kohteena. Rahaa ei pitäisi jakaa julkaisumäärien perusteella, ja lisäksi tutkimuseettiseltä kannalta on runsaasti näyttöä siitä, miten eri toimijat manipuloivat järjestelmää joko yksityisen tutkijan, tutkimusinstituution tai tiedejulkaisijan edun nimissä.

Räikeimpiä lieveilmiöitä lienevät saalistajajulkaisut ja -konferenssit, joille voidaan digitaalisesti luoda harhaanjohtavat puitteet julkaisupaineessa toimivien tutkijoiden ja heidän taustayhteisöjensä huijaamiseen niin rahallisesti kuin akateemisen uskottavuudenkin kannalta.

Kaikki tämä tiedetään, mutta kun se laskeminen on niin helppoa ja paljon objektiivisempi mittari kuin aikaa vievä lukeminen ja vertaisarvioijien työhön perustuva laadun arviointi. Nykymaailma haluaa tietää heti, että työllä on vaikuttavuutta. Vain nobelistien työtä saa arvioida pitkällä perspektiivillä.

Mutta nyt mitta on tullut täyteen ja katalyyteistä tärkeimpiä ovat avoin tiede ja julkisen rahan tarkoituksenmukainen käyttö yhteiskuntiamme palvelevaan tutkimukseen.

Viime aikoina on tehty tärkeitä päänavauksia, jotka tavalla tai toisella palautuvat DORA-nimellä tunnettuun San Franciscon julistukseen vuodelta 2012. Julistuksen ydin on, ettei julkaisun impaktikerrointa voi käyttää sen laadun arviointiin.

Allekirjoittajien määrä kasvaa tasaisesti, mutta todelliset käytännöt muuttuvat hitaasti. Keväällä 2019 pidetyn tutkimusetiikan maailmankongressin pohjalta on valmistumassa Hong Kong principles (HKP) julistus, jonka ytimessä on tieteen uskottavuus, joka toteutuu vain, jos tutkijoiden arviointi pohjaa työhön, jossa korostuu tieteen luotettavuus eikä kvantitatiivisen mittariston manipuloimiskyky. 

Tämä viesti korostuu myös EU-rahoituksen edellytyksenä olevassa sitoutumisessa ALLEAn uudistamaan The European Code of Conduct for Research Integrity -ohjeeseen vuodelta 2017.

Tuoreinta tulokulmaa edustaa taas Plan S, jonka takana on joukko julkisia tutkimusrahoittajia ns. cOAlition S -ryhmä, jonka perustajat tuskin miettivät, kuinka hankala ryhmän nimen kirjoitusasu on! Plan S:n ensimmäinen kommentoitavaksi julkaistu luonnos  oli varsin ukaasimainen ja aiheutti laajaa ärtymystä. Ehkä se oli tarkoituskin, koska tutkimusyhteisö heräsi ja kommentoi. Jatkoversiot heijastavat jo realistista tavoitteen asettelua mutta myös tutkimusyhteisön toiveunia uudenlaisesta avoimuuteen ja reiluuteen perustuvasta tutkimuskulttuurista.

Mitenkäs Suomessa? Suomi on iloksemme ihan muutoksen eturintamassa.  Suomen Akatemia alkaa toteuttaa Plan S:n julkaisuohjeita, jotka perustuvat avoimeen saatavuuteen ja Akatemia päivittää ohjeensa hakemusten arviointiin, jotka heijastelevat tieteentekijän monipuolista toimenkuvaa.

Tieteellisten seurain valtuuskunnan (TSV) laatima Tutkijan vastuullista arviointia koskeva suositus on valmis, ja Tutkimuseettinen neuvottelukunta (TENK) julkaisi tänä syksynä uudistetut ennakkoarviointiohjeet ihmiseen kohdistuvan tutkimuksen eettisistä periaatteista (pdf). 

Kun ALLEA kommentoi Plan S:n kommentoitavana ollutta luonnosta, se kiinnitti huomiota siihen, että koko tutkimusjärjestelmä ja sen toimivuuden arviointi kaipaavat perusteellista ajattelun muutosta. Unohdetaan vain määriin ja julkaisukanaviin perustuvat näennäisobjektiiviset laskutavat. Luotetaan vaihteeksi vertaisarvioijien käsityksiin, ja uusiin digitapoihin arvioida ja tuottaa tuloksia.

Maltetaan odottaa huolella tehtyjä tutkimuksia ja tuomitaan kyseenalaiset manipuloivat julkaisu- ja arviointikäytännöt. Otetaan huomioon koko tieteen kenttä ja sen eri alojen tavat kertoa tuloksistaan. Ymmärretään sitäkin, etteivät perustellut oletukset aina pidäkään paikkaansa. Silti tulokset on syytä julkaista, jotteivat uudet tutkijat toistaisi samaa virhettä. Tulosten avoimuus ja saatavuus ovat ykkösasia.

Koko systeemi kaipaa uudelleenarviointia tiedeyhteisön arvojen pohjalta, mutta jostain nurkasta täytyy aloittaa. On hienoa, että eurooppalaiset tutkimuksen rahoittajat ovat kollektiivisesti alkaneet hakea keisarille uusia ja oikeita vaatteita.  Tutkimusinstituutioiden vastuu on yhtä suuri kuin yksittäisen tutkijankin tieteen ja tutkimuksen integriteetin, rehdin, reilun ja kollegoita arvostavan toiminnan edistämiseksi. 

Tiedemaailman käytänteet paranevat yhteisvoimin, kunhan pidetään mielessä, että me kaikki maksamme viulut ja että tieteen paras ei ole mitattava luku vaan luetun ymmärtäminen ja arviointi.

Vastuullinen tutkijanarviointi Suomen Akatemiassa

Kata-Riina Valosaari, Tiedeasiainneuvos Suomen Akatemia

Suomen Akatemia liittyi DORA-julistukseen maaliskuussa 2019 ja kehittää aktiivisesti tutkimusrahoitustoimintaansa julistuksen suositusten suuntaan.

Tutkimusrahoitusmuotojen tavoitteet ja päätösten periaatteet kuvataan Akatemian verkkosivuilla ja hakuilmoituksen yhteydessä julkaistaan kuhunkin hakuun liittyvät arviointikriteerit sekä arviointiohjeet ja -lomakkeet, joita myös arvioijat käyttävät.

Tärkein arviointikriteeri on tieteellinen laatu. Akatemian tutkimusrahoitushakemusten arviointi perustuu pääasiassa tutkimus- tai toimintasuunnitelmien arviointiin, ei pelkästään hakijoiden julkaisu- ja ansioluetteloiden arviointiin.

Ansio- ja julkaisuluetteloissa hakijoilta pyydetään tietoa julkaisujen lisäksi laajasti muistakin tutkimustuotoksista. Sen sijaan hakijaa ei pyydetä esittämään mitään lehtiperusteista metriikkaa hakemuksensa osana ja esimerkiksi jufo-luokituksen ilmoittaminen on jo nykyisellään kielletty. Arvioitsijoita ohjeistetaan ottamaan DORA:n suositukset huomioon erityisesti hakijan ansioita arvioidessaan. Tieteellisen arvioin lisäksi rahoituspäätöksiä tehtäessä kiinnitetään huomiota Akatemian tiedepoliittisiin tavoitteisiin, kuten tutkimuksen laajempaan vaikuttavuuteen.

Näkymät vuoteen 2021

Arvioitsijoiden ohjeistuksessa painotetaan entistä selkeämmin, ettei hakijoiden ja hakemusten arviointia perusteta julkaisumetriikkaan, vaan tutkimussuunnitelman laatuun kokonaisuutena. Tutkimusjulkaisujen lisäksi arvioinnissa huomioidaan entistä selkeämmin kaikkien tutkimustuotosten (sisältäen datasetit ja ohjelmistot) arvo ja vaikuttavuus sekä muutetaan hakemusten sisältöä tätä tavoitetta tukevaksi. Lisäksi kartoitetaan arvioitsijoiden työn tueksi erilaisia vaikuttavuusmittareita, mukaan lukien laadulliset vaikuttavuusindikaattorit.

Krista Varantola