Tillbaka

Utvärderingen av Skolforskningsinstitutets översikter

Utvärderingen av Skolforskningsinstitutets översikter

En utvärdering av Skolforskningsinstitutets arbete med systematiska forskningsöversikter är genomförd av docent Ingemar Bohlin. I den förvånansvärt korta bakgrund till evidensrörelsens framväxt som Bohlin skisserar i utvärderingen står jag och min kollega Ann-Carita Evaldsson som representanter för motståndet mot evidensrörelsen. Det är intressant eftersom jag skulle gissa att jag är en av de svenska pedagoger som är mest positiv till denna rörelse.

I den här bloggen kommer jag först att påvisa hur Bohlin använder oss för att göra en retorisk poäng som inte har någonting att göra med vår ståndpunkt i evidensfrågan. Sedan ställer jag två grundläggande frågor med anledning av utvärderingen för att avsluta med hur jag menar att Skolforskningsinstitutet bör granskas om evidensbegreppet tas på allvar.

Skapandet av en ”straw man”

Vår argumentation i den artikel som Bohlin hänvisar till återges på följande sätt i utvärderingen:

”Föreställningen att det skulle vara en demokratisk rättighet för lärare att ignorera forskningsrön av relevans för deras undervisning må förefalla bisarr, men resonemanget illustrerar konflikten mellan centralt utarbetade beslutsstöd och professionella gruppers erfarenhetsbaserade kunskap” (s 7).

Det här låter verkligen illavarslande. Två professorer i pedagogik menar att lärare helt enkelt kan strunta i forskningsrön. Indirekt blir vi då ansvariga för att elever mobbas i skolan. Det är en fruktansvärd anklagelse, speciellt som jag och Ann-Carita ägnat en stor del av våra professionella liv till att arbeta för att elever i olika typer av svårigheter ska få en bättre situation i skolan.

Nu är det ju givetvis inte detta vi menar i artikeln där det framgår hur klart och tydligt som helst att vi menar att verksamma i skolan ska relatera sig till forskningen i sitt arbete. Till exempel skriver vi med början på s 77: ”Givetvis har studier av metoders och arbetssätts effektivitet sin plats i den pedagogiska forskningen, inte minst när det gäller att utmönstra arbetssätt som uppenbarligen inte fungerar eller till och med kan vara kontraproduktiva”. Det är självklart inte så att vi ger legitimitet till lärare att ignorera forskningsrön av den typ Bohlin beskriver.

Vår funktion i Bohlins utvärdering blir att agera ”straw man”, vilket bokstavligen betyder ”halmdocka”. Beteckningen brukar användas när någon skapar en fiende/motståndare för att bygga upp en argumentation. Den andres position återges inte på ett korrekt sätt utan förvrängs för att kunna spela en retorisk roll i texten. Här handlar det om en extremt förenklad narrativ om evidensrörelsens (framgångsrika) utveckling trots att den mött motstånd. Gestaltningen är svart-vit där evidensrörelsen representerar det goda. En dikotomisering mellan två poler är mycket vanlig inom den utbildningsvetenskapliga forskningen och jag har i en tidigare blogg argumenterat för att det är lätt att vi blir dikotomiseringens fångar (se länk nedan).

På sätt och vis är jag tacksam för att jag uppmärksammades på Bohlins text. Redan under den debatt vi förde med honom med utgångspunkt i vår artikel för ungefär tio år sedan och även efteråt har jag känt ett ganska stort mått av olust över debatten. Hur kan jag som brukar lyfta fram seminariet som universitets hjärta och som ser den deliberativa diskussionen som det som kan föra utbildningsvetenskapen framåt känna olust inför en debatt om en av utbildningsvetenskapens viktigaste frågor?

Nu när jag läser Bohlins text klarnar det hela för mig och jag får en förklaring till varför han föreföll att hela tiden undvika att besvara de frågor om evidensrörelsen som jag och Ann-Carita ställde, frågor som är lika och till med mer aktuella idag än någonsin. Ett exempel är frågan om hur resultat från systematiska forskningsöversikter ska kunna överföras och relevantgöras i skolors verksamhet (se länk till tidigare blogg nedan om utmaningar när skolan ska ställas på vetenskaplig grund).

Jag förstår nu att Bohlin såg oss som motstånd, inte som några vilka kunde bidra till att utveckla diskussionen om relationen mellan vetenskap och praktik. Utifrån en sådan underliggande krigsmetafor såg han inte våra inlägg som bollar att slå tillbaka utan som ammunition att ta skydd för. Jag tvekar att använda ordet men jag kan inte se hans hållning som annat än oakademisk när jag ser tillbaka på debatten och inte minst när jag ser hur han återger vår position i en statligt sanktionerad utvärdering.

Utvärderingen av Skolforskningsinstitutets arbete med systematiska forskningsöversikter

När jag läser utvärderingen slås jag framför allt av två saker, vilka jag i det här stycket kommer att diskutera i tur och ordning. Det handlar mer om att jag reser frågor än försöker utvärdera utvärderingen.

För det första har det givetvis stor betydelse för utvärderingens utfall vem som genomför den. Här hade det varit på sin plats att Bohlin på ett tydligare sätt redovisat sina relationer till den evidensrörelse som Skolforskningsinstitutet är ett uttryck för och, kanske ännu viktigare, hans mer konkreta relationer till institutet. Utvärderingen beskrivs som ”extern” och ett förtydligande av detta begrepp hade varit på sin plats. Föreligger det övriga samarbeten mellan Bohlin och institutet utöver att man delar en grundläggande ideologi? Sådana relationer hade behövt redovisas för att man bättre skulle kunna bedöma Skolforskningsinstitutets glädje över Bohlins positiva återkoppling.

För det andra är det viktigt att konstatera att utvärderingen inte vad jag kan se bygger på någon form av evidens i den betydelse evidensrörelsen ger ordet. Det Bohlin gör är framför allt att noggrant gå igenom de metodologiska steg som gjorts i två av de systematiska översikterna. Här har Bohlin sin styrka och det är dessa frågor som verkar stå i fokus för hans intresse. Jag har inte haft tid att granska hans argumentation i utvärderingen i detalj, men har tidigare läst vad han skrivit i dessa frågor. Det som förvånar är dock den slutsats han kommer till.

Bohlin konstaterar först att han inte har kunskap om vare sig pedagogik eller det forskningsområde översikterna handlar om: ”Till att börja med bör det påpekas att jag saknar kompetens inom pedagogisk forskning och inte är bekant med den litteratur som behandlas i översikterna” (s 39). Men är inte det en förutsättning för att kunna bedöma dem?

Om en översikt exempelvis berör ett didaktiskt område, till exempel matematikundervisningen, skulle jag vilja påstå att det behövs djupgående kunskap om olika ämneskonceptioner, olika sätt att gestalta matematikens delmoment, om klassrumsforskning, om ämnets läroplaner och om styrdokumenten i stort för att ordentligt kunna bedöma om en översikt är väl genomförd och inte minst om ämnet för översikten är väl valt. Det krävs också en kunskap om tidigare systematiska översikter inom området och om den skola till vilka kunskapen ska överföras.

Bohlin gör som jag tolkar det i stort sett tummen upp för översikterna, om uttrycket tillåts. Det är ur mitt perspektiv förvånande då Bohlin alltså inte bara saknar kunskap i de forskningsområden som omfattas av översikterna utan också mer generellt vad gäller det utbildningsvetenskapliga forskningsfältet.

Det här är en helt avgörande fråga för utvärderingen eftersom det är i stort sett detta som utvärderas. Ska man tolka Skolforskningsinstitutets nöjdhet med Bohlins utvärdering som att man delar Bohlins övertygelse att man kan bedöma kvalitén på systematiska forskningsöversikter utan vetenskaplig kunskap om det fält och det område översikten handlar om? Och vad säger det vetenskapliga rådet om detta?

Det bör dock påpekas att det är positivt att Bohlin faktiskt lyfter fram expertkunskapens betydelse när det gäller sammanställandet av översikterna, då det enligt Bohlin förefaller finnas krafter som vill göra sammanställningarna till en helt formaliserad procedur där expertkunskap snarast ses som ett problem. Den positionen handlar givetvis om att gömma sin ideologi bakom en förment objektivism och vittnar enligt mig om i bästa fall en naivitet/okunskap vad gäller det utbildningsvetenskapliga fältet (se länk till tidigare blogg nedan).

Låt oss tala om evidens

Det behövs en hel del evidens för att jag ska låta mig övertygas om det funktionella att satsa stora summor pengar på ett Skolforskningsinstitut. Nu är ju Skolforskningsinstitutet en myndighet och jag tror vi kan förvänta oss att verksamheten kommer att legitimeras utifrån regelföljande och legitimeringar snarare än genom evidens. Ingen blir dock gladare än jag om jag har fel. Jag är principiellt positiv både till att systematiska översikter genomförs och att forskningen blir mer relevant för skolans uppdrag än vad som varit fallet tidigare, men vill som sagt se evidens för att Skolforskningsinstitutets verksamhet utvecklas i en sådan riktning. Här är ändå några frågor som behöver besvaras för att vi ska veta om det finns evidens för verksamheten:

1) Vilken evidens det finns det för att motsvarande institutioner i andra länder (som kommit längre i sin verksamhet) påverkat skolsystemet i en positiv riktning?

2) Vilken evidens har man för att de systematiska översikterna genererar hållbara förändringar i skolans verksamhet? Här skulle man kunna påstå att det redan finns en hel uppsjö av evidens som pekar på hur svårt det är att utifrån en överföringsmetafor förändra skolans verksamhet.

Vad gäller den andra bärande delen av Skolforskningsinstitutets verksamhet, finansiering av praktiknära forskning, vilken behandlades i en annan utvärdering, kan på motsvarande sätt ett antal frågor om evidens ställas:

3) Når de finansierade projekten en longitudinell förändring av den kontext där interventionen genomförts som kvarstår efter att forskarna lämnat miljön?

4) Generaliserar resultatendessa resultat till andra kontexter?

Precis som vad gäller för tanken om forskningsspridning finns en hel del evidens som visar på att både 3) och 4) är enormt svåra att uppnå. Att i en experimentell/kvasiexperimentell studie hitta en signifikant skillnad mellan experiment och kontrollgrupp är något som gjorts enormt ofta, det intressanta är att hitta större effekter som ger förändringar på sikt i miljön när forskarnas intervention upphört och som kan generaliseras till andra miljöer. Det vore fantastiskt om satsningen på praktiknära forskning kunde generera sådan evidens, då skulle man ligga i framkanten av den internationella interventionsforskningen.

Jag avslutar med ytterligare en punkt där en hel del evidens åter pekar på att Skolforskningsinstitutet står inför stora utmaningar, vilket inte skiljer ut det från andra institutioner som delar ut forskningsmedel.

5) Vilken evidens finns för att Skolforskningsinstitutets kan mäta kvalité när de bedömer ansökningar?

Denna sista punkt är för komplicerad för att utröna närmare här och jag får återigen hänvisa till en tidigare blogg (se länk nedan till blogg med genomgång av forskning i frågan). Punkten kan förstås ställas till alla forskningsfinansiärer men får en speciell betydelse för en myndighet som lyfter fram betydelsen av evidens.

Poängen i den tidigare bloggen är att forskningen inom området ganska entydigt visar att det varit närmast omöjligt att skapa en godtagbar reliabilitet i bedömning av forskningsansökningar, en utmaning som alltså också Skolforskningsinstitutet står för och vi förväntar oss att evidens för mätningarnas reliabilitet presenteras.

När jag arbetade med sådana bedömningar på vetenskapsrådet gjordes initialt bedömningarna oberoende av varandra vilket ger ett bra underlag för att mäta graden av oberoende sambedömning av vetenskaplig kvalité och jag antar att Skolforskningsinstitutet också har ett sådant underlag? När jag relativt nyss räknade på interbedömningen i en stor forskningsutlysning låg korrelationen mellan bedömarna på noll, det vill säga det fanns ingen överensstämmelse vad gäller bedömningen av vetenskaplig kvalité. Och nu talar jag bara om reliabilitet, frågan om validitet är oerhört mycket mer komplicerad än så.

Om man inte kan visa på förmågan att bedöma vetenskaplig kvalité (reliabilitet + validitet) uppstår följdfrågan om varför staten ska satsa stora summor på en sådan omfattande och kostsam process som prövning av ansökningar är. Vad kostar framtagandet och prövandet av ansökningarna, om man räknar in den arbetstid forskarna lägger ner, i relation till hur mycket pengar som betalas ut? (kanske finns svaret på frågan i den andra utvärderingen som jag inte hunnit läsa)

Avslutning

Jag hoppas verkligen att Skolforskningsinstitutet blir en verksam kraft för att förändra den svenska skolan i en gynnsam inriktning. Självklart bör forskningen spela en betydelsefull roll för utvecklingen av skolan. Jag tror dock att det är viktigt att institutet är öppet för en kritisk diskussion av sin verksamhet eftersom den kritiska argumentationen är det viktigaste vetenskapliga redskapet.

Förra helgen läste jag följande Voltaire-citat på en vägg i konsthallen Vandalorum utanför Värnamo i Småland, vilket jag tycker har relevans för det den här bloggen handlat om:

”Jag bejakar en idé idag, tvivlar på den imorgon, och lever med den i övermorgon, och jag kan alltid ha fel.”

 

Evaldsson, A-C. och Nilholm, C. (2009) Evidensbaserat skolarbete och demokrati: mobbning som exempel. Pedagogisk forskning i Sverige, 14(1).

 

Länk till blogg om att bli dikotomiseringens fånge:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/dikotomiernas-herravalde

Länk till blogg om relationen vetenskap-praktik och de utmaningar man behöver ta ställning till när skolan ska ställas på vetenskaplig grund:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/skola-pa-vetenskaplig-grund-eller-pa-grund-vetenskap-

Tidigare blogg om möjligheten till objektivitet inom utbildningsvetenskapen:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/utbildningens-viktigaste-fraga

Tidigare blogg om forskningen kring möjligheter att mäta vetenskaplig kvalité:

https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/gar-det-att-mata-forskningsansokningars-kvalite-pa-ett-tillforlitligt-satt-

 

Utvärderingen finns tillgänglig på Skolforskningsinstitutets hemsida:

https://www.skolfi.se/

Tillägg 26/11 2019: Jag vill tydliggöra att eftersom Skolforskningsinstitutets verksamhet är relativt ny är det för tidigt att utvärdera den utifrån alla de 5 evidenskraven ovan med undantag av 1 och 5.

 

 

kommentarer
Lägg till kommentar