I augusti 2019 avslutades finansieringsperioderna för fyra RSF-program och i början av 2020 inleddes den genom tiderna första utvärderingen av program för strategisk forskning. Syftet med utvärderingen är att förstå de mångahanda samhälleliga effekterna av dessa program och utveckla själva finansieringsinstrumentet.

Den här bloggtexten fortsätter på samma tema som Jyrki Hakapää i sin text från 18.10.2019 Spår efter resultaten från den strategiska forskningen.

Rådet för strategisk forskning (RSF) finansierar uttryckligen forskning med hög vetenskaplig kvalitet och samhälleligt genomslag. RSF gör det i form av program som består av två eller flera mångvetenskapliga projekt. Alla projekt har sina egna genomslagsmålsättningar utgående från forsknings- och interaktionsarbetet. Till skillnad från många andra finansiärer har RSF lagstadgad skyldighet att övervaka och utvärdera forskningens genomslag när det gäller projekt som rådet finansierar. Dessutom har RSF bestämt att utvärderingen av forskningens genomslag sker på programnivå.

I samband med strategisk forskning avser genomslagskomponenten ofta uttryckligen forskningens genomslag i samhället, och i utvärderingen måste man acceptera att det kan ta mycket lång tid innan forskningens genomslag kan konstateras. Det är alltså ingen enkel uppgift att spåra och verifiera forskningens genomslag i samhället. Effektivitetens komplexa natur gör att det i samband med en utvärdering av forskningens genomslag behövs flervetenskaplig fakta med fokus på i synnerhet kvalitativ förståelse.

I programutvärderingen ser man därför på forskningens genomslag via en logisk kedja, den så kallade IOOI-modellen (Input, Output, Outcome, Impact). Forskningens genomslag i samhället granskas alltså inte bara med tanke på det slutliga genomslaget (impact) utan uppmärksamhet ägnas hela kedjan. Resurser (input), såsom tid, pengar och idéer som investerats i forsknings- och interaktionsverksamheten ger resultat (output), såsom publikationer och evenemang som i sin tur ger kortsiktiga effekter (outcome), såsom förändrade arbetssätt. Först när effekterna blir bestående kan man tala om forskningens genomslag i samhället. När man granskar effekterna enligt den logiska kedjan (IOOI) är det även viktigt att inbegripa nätverksperspektivet. Inom strategisk forskning utgår ambitionen att nå genomslag i samhället främst från interaktion och samutveckling med aktörerna i intressegruppernas nätverk.

Programmen för strategisk forskning utgör stora helheter, och i utvärderingen är det av största vikt att ta hänsyn till särdragen i alla projekt inom programmen. Även om utvärderingen sker på programnivå är den ändå långt baserad på de forsknings- och interaktionsaktiviteter som sker i enskilda projekt. Programmen kan alltså ses som verksamhet på många olika nivåer. I programutvärderingen ägnas uppmärksamhet åt samarbetet mellan projekt inom programmet, likväl åt de mål som satts upp på projektnivå och programnivå. På programnivå spelar dessutom programdirektören en viktig roll när det gäller att sammanföra och samordna. Det interaktiva samarbetet som sker inom nätverket av intressegrupper är väsentligt på alla nivåer. I programutvärderingen ägnas därför särskild uppmärksamhet åt nätverkets struktur och verksamhet. Sett ur programmet som helhet är det svårt, eller rentav omöjligt, att skilja mellan vad som i slutändan är programintern verksamhet och vad som till exempel är projektspecifik interaktion. Utvärderingarna av RSF-program betonar således en bred förståelse för programmens verksamhet, med hänsyn till projektens särdrag och arbetssätt.

Utvärdering av avslutade program

Finansieringsperioderna för fyra program inom strategisk forskning löpte ut i augusti 2019: Ett urbaniserande samhälle (URBAN), Hälsa, välfärd och levnadsvanor (HEALTH), Kunniga arbetstagare – framgångsrik arbetsmarknad (WORK) och Säkerhet i en nätverksbaserad värld (SECURITY). Inom ramen för programmen fanns totalt 13 omfattande flervetenskapliga projekt med siktet inställt på forskningens genomslag i samhället.

Programmens alla projekt och programdirektörer har sammanställt en slutrapport om sin verksamhet under finansieringsperioden. Dessa slutrapporter har lämnats in till Finlands Akademi i slutet av 2019. Den strategiska forskningen har redan etablerade verktyg när det gäller uppföljningsrapporter, genomslagsberättelser och resultatindikatorer som även utgör stommen i slutrapporten. Både programdirektörerna och projekten använder genomslagsberättelserna för att granska sin egen verksamhet med tanke på såväl metoder som avsedda, uppnådda och oavsiktliga effekter liksom forsknings- och interaktionsarbetet som utförts för att få genomslag. Resultatindikatorerna innehåller i sin tur kvantitativ information om bland annat sammankomster, publikationer, policyrekommendationer (Policy Briefs) och till exempel internationella besök. I syfte att kartlägga strukturen på partnernätverket ombads alla projekt och programdirektörer att i slutrapporterna ange alla sina viktigaste interaktionspartner. Att godkänna de avslutade projektens och programdirektörernas slutrapporter finns på RSF:s beslutslista i maj 2020.

Programutvärderingen består av tre skeden: självutvärdering, utvärdering av forskningens genomslag i samhället och utvärdering av den vetenskapliga verksamheten. Materialet i de ovan nämnda slutrapporterna används i alla skeden av programutvärderingen. Det första skedet, alltså självutvärderingen, har redan verkställts i form av en gruppintervju under ledning av Finlands Akademi. Företrädare för projekten och programdirektörerna presenterade synpunkter på de enskilda programmens verksamhet under finansieringsperioden. Avsikten med dessa sammankomster var att ge en möjlighet att tillsammans med andra aktörer, som verkat inom samma program, reflektera över erfarenheter från projektens verksamhet. I samband med självutvärderingarna ligger fokus uttryckligen på diskussionsdeltagarnas egna åsikter om och tolkningar av den forsknings- och interaktionsverksamhet som bedrivits inom programmet samt forskningens genomslag i samhället. Efter dessa sammankomster för självutvärdering sammanställs PM som kommer att publiceras som en del av rapporten om forskningens genomslag i samhället.

Därefter handlar programutvärderingen om att utvärdera forskningens genomslag i samhället. Den utvärderingen görs av en aktör som är oberoende av finansiären och programverksamheten. Denna aktör söktes genom ett anbudsförfarande som avslutades den 15 april 2020. I det sista skedet av programutvärderingen läggs fokus på att utvärdera det vetenskapliga arbetet och resultaten när det gäller de RSF-program som avslutades 2019. I sin helhet kommer programutvärderingen att slutföras under 2021. Mer information om programutvärderingen och RSF-finansieringen finns i forskningsrådets  finansieringsprinciper.