Jag har tidigare skrivit om John Hattie och hans bok Visible Learning från 2009. I sin bok sammanställer Hattie resultat från en stor mängd forskning för att därigenom skapa en modell för hur undervisning ska bedrivas.
Hatties sammanställning har väckt ett enormt intresse och ett flertal aktörer inom den svenska skolvärlden har vänt sig till honom för att få vägledning för hur verksamheten i skolan ska gestaltas i tron att den då ställs på en vetenskaplig grund.
Som en av vad jag upplevt som få svenska forskare har jag i olika offentliga sammanhang kritiserat Hattie, bland annat skrev jag följande i en artikel i Pedagogiska Magasinet (länkar och referenser finns i slutet av bloggen):
När jag läser Hattie känner jag mig lite som en byggnadsinspektör. Ja, bra idé att bygga detta hus. Och en kul idé att bygga just ett sådant hus. Men herregud, det har slarvats vid bygget. Vi måste plocka ner det och syna delarna för de har satts ihop felaktigt
Det är kanske lätt att tycka att jag är väl kritisk mot Hattie. Min kritik är dock en mild bris i jämförelse med de omdömen som ges Hatties och hans medarbetares arbeten av forskarna Pierre-Jérôme Bergeron och Lysanne Rivard. I sin artikel “How to engage in pseudoscience with real data: A criticism of John Hattie’s arguments in Visible Learning from the perspective of a statistician” drar de följande slutsats:
In summary, it is clear that John Hattie and his team have neither the knowledge nor the competencies required to conduct valid statistical analyses. No one should replicate this methodology because we must never accept pseudoscience.
I artikeln granskas Hatties metodologiska tillvägagångssätt och han kritiseras på flera punkter. Bergeron är statistiker och det är framför allt Hatties statistiska bearbetningar som kritiseras, inte minst hans sätt att räkna fram effektmått av olika faktorer. En del av den metodologiska kritik som ges av Bergeron och Rivard presenterades också i en tidig recension/analys av Hatties bok av Snook med flera, även om dessa landade in något mer skonsamma slutsatser.
Än är förstås inte sista ordet sagt i den här diskussionen men jag ser i nuläget inget skäl att ändra min bedömning av att Hatties analyser behöver göras om från grunden. Ändå har han alltså redan använts i försök att ställa den svenska skolan på en vetenskaplig grund.
Vad kan vi lära av detta? Innan vi återkommer till den frågan vill jag, vilket kanske kan tyckas lite konstigt i sammanhanget, ändå lyfta fram något väldigt positivt med Hatties ambitioner, speciellt sett i sammanhanget av den explosion av systematiska forskningsöversikter som närmast översvämmar det pedagogiska området.
Lovvärt projekt
Hattie är ovanlig såtillvida att han försöker sammanställa en stor mängd forskning om en rad olika faktorer som påverkar undervisningen. Vi kan säga att han utgör ett exempel på en fjärde abstraktionsnivå inom forskningen.
På en första nivå finns empirisk originalforskning. På en andra nivå sammanställs denna i forskningsöversikter, där systemetiska forskningsöversikter, av vilka de metaanalyser som Hattie arbetar med är en undergupp, blir allt vanligare. På en tredje nivå, och nu börjar det bli riktigt knepigt, sammanställs forskningsöversikter i det som av Polanins m fl kallar ”overviews”.
Hattie introducerar dessutom som sagt en fjärde nivå då han försöker dra slutsatser av en stor mängd ”overviews”. Denna nivå skiljer sig väsentligt från nivå 3 där man fortfarande jobbar med forskning inom ett specifikt område.
Det jag skrev i förra stycket kan illustreras med hjälp av forskningen om samarbetslärande (cooperative learning). Här finns en mängd originalstudier (nivå 1) som sammanställts i forskningsöversikter (nivå 2). Hattie sammanställer de forskningsöversikter på nivå två som utgör metaanalyser av samarbetslärande, varav det finns ett ganska stort antal, i en ”overview” (nivå 3).
Sedan blir denna overview av metaanalyser av effekten av samarbetslärande del av vad som kan beskrivas som en ”narrativ” forskningsöversikt (nivå 4), tillsammans med en rad andra overviews (sammanlag 144 overviews). I detta fjärde steg analyerar alltså Hattie vilka implikationer för skolan som all denna forskning sammantaget ger.
Det är denna ambition som jag tycker om hos Hattie, det vill säga att försöka dra slutsatser av en stor mängd forskning från olika områden (se också Håkansson och Sundberg, 2012). Systematiska forskningsöversikter sysslar ofta med en mycket avgränsad frågeställning och ger av naturliga skäl små möjligheter att dra mer övergripande slutsatser.
Skola på vetenskaplig grund
Om verksamheten i skolan ska grundas på vetenskaplig evidens behöver åtminstone tre problem lösas: sammanfattningsproblemet, översättningsproblemet och relevansproblemet.
Diskussion ovan har gällt sammanfattningsproblemet, hur ska forskningen sammanfattas för att på bästa sätt göras relevant för skolors arbete? Här menar Bergeron och Rivard att Hattie grovt misslyckats.
Polanin m fl menar vidare i en analys av de metoder som används i översikter på den tredje nivån som nämndes ovan, ”overview-nivån”, att Hattie ger mycket knapphändig information om sitt tillvägagångssätt. Det gör att et är mycket svårt att replikera hans analyser. Möjlighet att replikera en analys anses av många som bekant som ett helt avgörande krav på ett vetenskapligt arbete.
Vi ser alltså att en hel del kritik riktas mot Hatties tillvägagångssätt. Det ligger i vetenskapens natur att forskning måste granskas kritisk av andra forskare innan en rimlig uppfattning om dess kvalité kan erhållas. Ur det perspektivet kan det sägas vara sällsynt brådmoget att använda Hatties sammanställningar för att ”evidensbasera” skolors verksamhet innan de granskats kritiskt av andra forskare.
Min kritik av Hattie har inte minst rört hur han handskas med de båda andra problemen som nämndes ovan, det vill säga översättningsproblemet och relevansproblemet. Jag tycker inte hann ger rimliga svar på hur hans teser ska omsättas i praktiskt arbete och jag har definitivt inte sett någon studie som kritisk granskat vad som händer när kommuner och skolor försöker basera sitt arbete på Hatties arbete.
Hattie har heller inget bra svar på relevansproblemet. Tidigt i sin bok påpekar han att skolan har ett brett uppdrag men sedan bygger han en modell för undervisning och lärande som endast handlar om kunskapsuppdraget (eller snarare om hur kunskapsprestationer ska kunna förbättras).
Sammanfattningsvis finns det precis som tidigare mycket goda skäl att granska Hattie kritiskt eftersom han inte lyckas ge en tillfredsställande lösning på något av de tre problemen. Tvärtom finns det en del som tyder på att hans tankar i mångt och mycket leder i fel riktning.
Avslutning
Det är flera frågor som väcks när det gäller mottagandet av Hatties forskning i Sverige. Varför har inte forskare tidigare gått ut och granskat hans metoder kritiskt? Detta hade varit på sin plats eftersom jag misstänker att Hattie har haft ett mycket stort inflytande på svensk skola.
Och hur kan hans tänkande så okritiskt ha anammats i olika sammanhang i samhället ? Svaret på den senare frågan tror jag har att göra med den press som satts på skolan att arbeta utifrån vetenskaplig grund och där ”guru-strategin” (se länk nedan) är ett sätt att svara upp mot detta krav, eftersom man i kommuner och skolor till stora delar saknar kompetens att skapa sig en egen uppfattning om vilka slutsatser som kan dras av forskningen.
Det finns också, tror jag, en önskan om att världen ska vara enkel och att det ska gå att hitta enkla svar på den enormt komplexa frågan om hur skolor ska gestalta sitt arbete.
För att återknyta till rubriken, är då Hattie (och hans anhängare) i blåsväder? Definitivt, det finns nog alla skäl att börja hålla hårt i hatten.
Länk till Bergeron och Rivard:
http://mje.mcgill.ca/article/view/9475/7229
Länk till min artikel i Pedagogiska Magasinet:
http://pedagogiskamagasinet.se/det-ar-dags-att-kritiskt-granska-john-hattie/
För den som vill läsa mer om “guru-strategin” och om vad det innebär att kommuner och skolor ska grunda sin verksamhet i forskning:
https://mp.uu.se/web/claes-nilholms-blogg/start/-/blogs/skola-pa-vetenskaplig-grund-eller-pa-grund-vetenskap-
Håkansson, J. & Sundberg, D. (2012) Utmärkt undervisning – Framgångsfaktorer i svensk och internationell belysning. Stockholm: Natur och Kultur.
Polanins, J. Maynard, B. & Dell, N. (2017) Overviews in education research: A systematic review and analysis. I Review of Educational Research, 87(1), 172-203.
Snook, I. m fl. (2009) Invisible Learnings?: A Commentary on John Hattie's Book - 'Visible Learning: A Synthesis of Over 800 Meta-analyses Relating to Achievement, New Zealand Journal of Educational Studies , Volume 44 (1), 93-106.
