sou · H2B312 · 2014-03-12 00:00:00 — – om utvärdering av skolpolitiska reformer Slutbetänkande av Utredningen om förbättrade resultat i SOU och Ds kan köpas från kundtjänst. För remissutsändningar av SOU och Ds svarar på uppdrag av . Beställningsadress: kundtjänst 106 47 Orderfax: Ordertel: E-post: Internet: Svara på remiss – hur och varför. Statsrådsberedningen (SB PM 2003:2, reviderad ) – En liten broschyr som underlättar arbetet för den som ska svara på remiss. Broschyren är gratis och kan laddas ner eller beställas på Textbearbetning och layout har utförts av , FA/kommittéservice. Till statsrådet och chefen för Regeringen beslutade att ge en särskild utredare i uppdrag att dels bedöma när de åtgärder som har vidtagits för att höja kunskapsnivån och öka måluppfyllel- sen i kan förväntas få avsedd effekt, dels utreda vilka relevanta data som behövs för att i ökad utsträckning kunna utvär- dera de reformer som genomförs på skolområdet, och vid behov lämna författnings- eller andra förslag, samt belysa hur reformer på skolområdet bör genomföras för att underlätta utvärdering av dem. Per Thullberg anställdes fr.o.m. som särskild ut- redare. Ämnesrådet och departementsrådet , , förordnades att fr.o.m. den 25 septem- ber 2012 ingå i utredningen som experter. entlediga- des fr.o.m. . förordnades ämnesrådet , , som expert i utred- ningen. Som sekreterare i utredningen anställdes fr.o.m. och fr.o.m. . Utredningen överlämnade delbetänkandet Det tar tid – om effekter av skolpolitiska reformer (SOU 2013:30). Utredningen överlämnar härmed slutbetänkandet Utvärdera för utveckling – om utvärdering av skolpolitiska reformer (SOU 2014:12). Utredningens uppdrag är härmed slutfört. Uppdraget mer i detalj............................................................. Inriktning och avgränsning ..................................................... Om evidensinformerad politik och praktik ..................... Evidens – ett begrepp med flera betydelser............................ Evidens i politik och praktik ................................................... 2.2.1 Evidens i politiskt beslutsfattande............................... 2.2.2 Evidensinformerad snarare än evidensbaserad............ Styrningsperspektiv och utvecklingsperspektiv.......... Forskning och politik – en problematisk relation ................. Vad menar vi med utvärdering? 3.1.1 Skilda tolkningar av begreppets innebörd ................... Olika metodologiska ansatser ................................................. 3.2.3 Utvärdering av komplexa system................................. Det nationella uppföljnings- och utvärderingssystemet........ Uppföljning och utvärdering........................................ Inspektion och revision ................................................ 4.1.4 Hur kommer reformutvärderingen in?........................ Reformutvärdering – historik och nuläge........................ En historisk tillbakablick ......................................................... 5.1.1 1900-talets mitt – en period av stora utredningar ....... 5.1.2 En bild .................................................. 5.1.3 Den fortsatta debatten om den nationella 5.1.4 Övergången till mål- och resultatstyrning i början 5.1.5 Sammantaget – ingen reformutvärdering att tala Var står vi ? Reformutvärdering fortfarande ovanlig....................... En internationell utblick .......................................................... Reformutvärdering – strategi för framtiden................... Reformutvärdering och implementering .............................. Reformstrategier och utvärdering ......................................... Regeringens och arbete ........................... 6.3.1 om det centrala regeringsarbetet i ... 6.3.2 Kopplingen mellan reformstrategier och reformutvärdering i arbete .......... Reformutvärderingens roll bör stärkas................................. för utvärdering av skolan – för bättre överblick och styrning ............................................... 7.1OECD om behovet av ramverk för utvärdering av 7.2Förslag om ett nationellt ramverk för utvärdering av Försöksverksamhet – för ökad evidens vid reformer ...... Användningen av försöksverksamhet................................... Försöksverksamhet som strategi i andra länder................... 8.3Försöksverksamhet stärker förutsättningarna för Etiska överväganden i samband med försöksverksamhet.... Förutsättningarna för försöksverksamhet i skollagen......... 8.6Möjligheterna att bedriva försöksverksamhet bör Systemet för att följa kunskapsresultat – Dagens nationella system för kunskapsbedömning............. 9.1.1 Nationella prov och betyg – lämpar sig inte som grund för trendmätning.............................................. 9.1.2 Internationella studier – de enda instrument som kan mäta kunskapsresultat .................. 9.2 Användningen av nationella prov i andra länder 9.3Tidigare förslag om rullande stickprovsbaserad utvärdering av elevernas kunskapsresultat ............................ Förslag till utveckling av systemet för att mäta trender ...... Data för utvärdering – utvecklingsbehov ...................... Den nationella statistiken om skolan – en infrastruktur 10.1.1 Kort om skolstatistikens framväxt............................. 10.1.2 Några grundläggande begrepp.................................... 10.1.4 Dagens statistiksystem ............................................... Regelverket för hantering av data.......................................... 10.2.1 En omfattande lagstiftning ......................................... 10.2.2 Pågående utredningar.................................................. Förslag och bedömningar om behovet av data för utvärdering och utvärdering av reformer .............................. 10.3.1 Några utgångspunkter ................................................ 10.3.3 Uppgifter om undervisningens förutsättningar 10.3.4 Uppgifter om undervisningens resultat..................... 10.3.5 Kostnader och elevresultat ......................................... 10.3.6 Utveckling, modernisering och resurser ................... 10.3.7 Inga förslag om författningsändringar....................... 10.3.8 Avslutande diskussion ................................................ Organisering för stärkt utvärdering.............................. Dagens aktörer i ........................................................ Andra röster om organiseringen av utvärdering................... 11.3.1 Att nå ut och nå ända fram (SOU 2009:94).............. 11.3.2 Institutionaliseringen av utvärdering – ett fenomen i tiden ........................................................... 11.3.3 om organisering och styrning av Förslag om ett råd med dubbla funktioner .......................... Bilaga 3 Kunskap och skolreform – En studie om underlag för och utvärdering av reformer på skolområdet Bilaga 4 Exempel på uppföljningar och utvärderingar genomförda av på regeringens uppdrag åren 2002–2013 ............................................................... Bilaga 5 Internationell utblick – med fokus på organiseringen av nationell utvärdering ........................ beslutade regeringen att tillkalla en särskild utredare med uppdrag1 att dels bedöma när de åtgärder som har vidtagits för att höja kunskapsnivån och öka mål- uppfyllelsen i kan förväntas få avsedd effekt, dels analysera förutsättningarna för utvärdering av reformer. Utred- ningen redovisade delbetänkandet Det tar tid – om effek- ter av skolpolitiska reformer (SOU 2013:30). Den andra delen av uppdraget redovisas i detta slutbetänkande från utredningen. Arbetet med detta betänkande och utredningens delbetänkande har stärkt oss i uppfattningen att det är långt ifrån enkelt att för- ändra skolan genom strukturella reformer. Det tar tid innan effek- ter uppstår så att de kan bli mätbara på nationell nivå. Dessutom är de effekter man kan förvänta sig ofta inte så stora som man kanske önskat. Detta innebär inte att man kan avstå från att försöka att för- bättra förutsättningarna för skolan. Det understryker dock behovet av att beslut om reformer vilar på en ordentlig kunskapsgrund. För varje åtgärd som vidtas bör det tydligt framgå på vilket sätt åtgärden är tänkt att påverka skolan, och vad som styrker denna slutsats. Forskning och utvärdering har här en central roll både inför att reformer ska utformas och vid utvärderingen av dem. Ut- värdering av reformer kan i sin tur resultera i kunskap som kan ligga till grund för evidensinformerade beslut inför eventuella fram- tida reformer. I det följande redovisas hur vi kommit fram till och underbyggt denna slutsats kapitel för kapitel samt redogörs för våra mer kon- kreta bedömningar och förslag. 1 Dir. 2012:53, dir. 2013:73. Inledning (kapitel 1) I har frågan om hur utvärderingskulturen inom skolområ- det kan förstärkas – på både lokal och nationell nivå – diskuterats . Det betyder inte att frågan alltid befunnit sig i centrum för den skolpolitiska debatten eller varit föremål för politiska initiativ. Vi uppfattar direktiven till utredningen som att nu behöver lägga en ökad vikt vid frågor som har med utvärdering av skolan att göra. Denna ökade betoning på utvärdering delar med andra länder. Utredningens uppdrag är vittomfattande och berör, som vi ser det, hela uppföljnings- och utvärderingssystemet för skolan liksom organiseringen av detsamma. Även om utredningen i första hand har ett övergripande nationellt perspektiv på utvärdering av refor- mer går det inte heller att bortse från den nationella uppföljningens och utvärderingens samspel med den lokala nivån och verksamhets- nivån. Vidare har reformutvärdering en nära relation till implemen- tering av reformer, dvs. det som belystes i utredningens delbetän- kande. Om evidensinformerad politik och praktik (kapitel 2) Evidens är ett begrepp som fått en allt större spridning. Begreppet kan syfta på tre olika företeelser: Evidensbaserad politik innebär att beslutsfattare, på olika nivåer och inom olika samhällsområden, så långt möjligt bör fatta beslut som baseras på kunskap. Evidensbaserad praktik syftar till att den dagliga verksamheten inom ett område ska vila på systematiskt utvecklad kunskap. Evidens kan också användas i en mer metodologisk betydelse där evidensbaserad politik och praktik avser en särskild utvärde- ringsmetodik som bygger på s.k. meta-analyser och systematiska kunskapsöversikter. Utredningen föredrar att använda begreppet evidensinformerad i stället för evidensbaserad. En grundläggande skillnad mellan exem- pelvis evidensbaserad och evidensinformerad politik är vad som kan betraktas som belägg eller bevis (evidens). Vid utformningen av evi- densinformerad politik kan utöver forskningsresultat även använ- das andra systematiskt insamlade och kvalificerade underlag. Frågan om evidens i politiken kan dessutom ses ur två perspek- tiv – ett styrningsperspektiv och ett utvecklingsperspektiv. Vilket perspektiv som dominerar får avgörande betydelse för vilket slags utvärderingssystem som kommer att byggas upp. Om utvärdering (kapitel 3) Det kan vara svårt att orientera sig rätt bland alla de olika teorier och utgångpunkter som finns om utvärdering och det är en grann- laga uppgift att bestämma hur en utvärdering ska genomföras. Det finns stora möjligheter att genomföra utvärdering, även i de fall förutsättningarna i förstone inte verkar vara optimala. Det finns dock ett behov av ökad metodisk medvetenhet och förmåga hos både beställare och utförare av utvärderingar. Gemensamt för god utvärdering är att det finns en systematisk datainsamling som ligger till grund för analys, tolkningar och bedömningar, en metodik vid behandlingen av data som uppfyller rimliga krav på validitet och reliabilitet, samt en värdering (av utvärderingsobjektets nytta, effekter, påverkan eller motsvarande) i förhållande till något slags måttstock (rikt- värden, kriterier eller referenspunkter). För att möta olika krav och förutsättningar kan utvärderingar vara av en mängd olika slag: effektutvärdering, programteoretisk utvärdering, processutvärdering, etc. Valet av metod bör göras med utgångspunkt i själva objektet för utvärderingen och i de fråge- ställningar som ska utvärderas. Interventioner i skolan har i de flesta fall en komplex karaktär, något både reformstrategi och val av metoder för utvärdering bör förhålla sig till. Kombinationer av olika metoder kan vara en god strategi för att fånga olika aspekter av en mer eller mindre sammansatt verklighet. Kvantitativt och kvalitativt inriktade metoder bör inte ställas mot varandra. Utvärdering kan syfta till att svara på om en viss åtgärd fått några effekter och vilka dessa i så fall har varit – positiva, negativa, avsedda eller oavsedda. Den kan även syfta till att upptäcka sam- band mellan olika företeelser och om möjligt bidra till att finna orsaker (förklaringar) till dessa. En utvärdering kan vidare syfta till fördjupad systemkunskap, till exempel genom att öka förståelsen för varför en viss reform eller åtgärd får olika genomslag i olika verksamheter. En formativ utvärdering kan bidra till att utveckla en reform genom att ge underlag för justeringar av reformen. Slutligen kan nationell utvärdering även utformas för att fungera utveck- lingsstödjande på lokal nivå och i verksamheten. Dagens utvärderingssystem (kapitel 4) Hur det befintliga utvärderingssystemet är utformat – med upp- följning och utvärdering, men även viss tillsyn och granskning samt viss forskning – har betydelse inte bara för systemkunskapen om skolan, utan även som underlag för utvärdering av reformer. Med en bred tolkning av utvärderingsbegreppet finns det många aktörer inom utvärderingssystemet i . har en central roll genom att svara för den officiella statistiken om skol- väsendet, det nationella provsystemet och de internationella studierna. Utvärderingar av skolan kan på regeringens uppdrag genomföras av , utvärdering (IFAU), Statskontoret, det offent- liga utredningsväsendet samt av forskare och andra utvärderings- organ. Skolinspektionens kvalitetsgranskningar och granskningar har utvärderande karaktär, men genomförs med andra syften. har dessutom en helt självständig roll i för- hållande till regeringen. Systemet består av ett stort antal olika aktiviteter som i vissa fall kompletterar varandra. I andra fall är gränsdragningen mellan olika aktiviteter inte helt tydlig, som t.ex. mellan utvärdering och Skolinspektionens kvalitetsgranskning. Det finns också exempel där de syften som tillskrivs ett specifikt instrument knappast är möjliga att infria med ett och samma instrument. Det gäller för de nationella proven. Slutligen har systemet luckor, dvs. det finns frågor som det inte kan besvaras på ett tillfredsställande sätt. Det gäller t.ex. hur skolans resultat och måluppfyllelse utveck- las (se vidare nedan). Reformutvärdering – historik och nuläge (kapitel 5) Reformer som genomförts under har före- gåtts av utredningar med ett ofta begränsat utrymme för att på ett mer djuplodande sätt kunna utreda den aktuella frågeställningen, t.ex. genom att initiera utvärdering och forskning eller genom att i förväg pröva tänkta lösningar genom försök eller stegvis införande av reformer. finns en ökad ambition om att de politiska besluten ska vara evidensinformerade. Utredningen menar att skolpolitiska reformer skulle vinna på att beslutas efter en mer noggrann prövning. För att en sådan ambition ska kunna infrias är det önskvärt att beslutsprocesserna ges mer tid än , så att beslut i högre grad kommer att kunna baseras på kunskap. I ett allt mer komplicerat och komplext sam- hälle kommer politiker att behöva utgå mer från evidens vid formandet av sin politik, för att öka chanserna att reformerna ska leda till avsedda resultat. saknar vidare en tradition att utvärdera reformer på skolans område, på det sätt vi sett exempel på i vissa andra länder. Så långt bakåt i tiden vi har kunnat överblicka saknas i exempel på ordentliga reformutvärderingar på skolans område som genomförts på initiativ av regering eller riksdag. De exempel som finns gäller främst utvärderingar som genomförts på initiativ av oberoende forskare. Inte heller för de viktiga reformer som genomförts , dvs. , finns något utvärderingsprogram. De få regeringsuppdrag som är aktuella avser reformer från början , dvs. -uppdraget till en särskild utredare att utvärdera eventuella kau- sala effekter av kommunaliseringen på elevernas studieresultat, läraryrkets status, lärarnas och rektorernas arbetsuppgifter, samt likvärdigheten i skolväsendet som redovisats i betänkan- det Staten får inte abdikera – om kommunaliseringen av den svenska skolan (SOU 2014:5), och -uppdaget till IFAU att utvärdera 1990-talets stora reformer på skolområdet, mer specifikt för och gymnasiesko- lan. Reformutvärdering – strategi för framtiden (kapitel 6) En planerad och systematisk utvärdering av reformer är enligt utredningens uppfattning nödvändig för att säkerställa en både bred och djup systemkunskap om skolan. Inte minst är det viktigt för det politiska ansvarsutkrävandet att det går att få veta om den förda politiken har avsedda effekter och om de allmänna medlen allokeras på ett effektivt sätt. Utvärdering av reformer ger också kun- skap som kan bidra till att öka genomslaget för reformen respektive signalera om något håller på att gå fel. Slutligen kan reform- utvärdering bidra med kunskap inför kommande reformer. Utformningen av reformer och utvärderingen av dessa står i ett ömsesidigt förhållande till varandra. Beslut om reformstrategi påver- kar förutsättningarna för utvärdering. kan ett beslut om en utvärderingsstrategi, om det fattas tidigt inför beslutet om en reform, påverka såväl utformningen som implementeringen av denna. Frågan om reformutvärdering bör därför prioriteras redan i samband med planeringen av reformer och andra mer genomgri- pande åtgärder. I bästa fall kan utvärderingen bidra till genom- förandet av reformstrategin genom att fungera formativt i förhål- lande till den nationella beslutsnivån och utvecklingsstödjande på verksamhetsnivån. Det finns behov av att stärka inslaget av evidens i regeringens och arbete med att förbereda och genomföra beslut om reformer på skolans område. Utvärderingen av reformer har då en central roll. Frågor som är viktiga att ta ställning till är t.ex. om reformen lämpar sig för försök eller stegvis införande (vilket ökar möjligheterna för ett evidensinformerat beslutsfattande), vilken typ av metodik som är lämplig för utvärde- ring av reformen, vilken roll utvärderingen är tänkt att ha, etc. För denna typ av överväganden behövs kvalificerad utvärderingskompe- tens. Mer konkreta bedömningar och förslag för utvärdering av skolan – för bättre överblick och styrning (kapitel 7) Utredningen föreslår att ett nationellt ramverk för utvärdering av skolan ska fastställas av regeringen, förslagsvis i form av en skrivelse till . Bakgrunden är bl.a. det stora antalet aktörer som finns på den nationella arenan för utvärdering av skolan . har föreslagit ett liknande ramverk. Långsiktighet när det gäller utvärderingen av skolan är centralt såväl med hänsyn till användbarhet och kvalitet som ur ett demokratiperspektiv. Elever och föräldrar, lärare, rektorer, politiker, media, allmänhet – dvs. alla – ska kunna förvänta sig en kontinuitet när det gäller infor- mationen om den svenska skolan. Ett nationellt ramverk för utvärdering av den svenska skolan och förskolan bör tydliggöra det övergripande syftet med upp- följningen och utvärderingen samt -vilka delar systemet består av för att följa upp, utvärdera, grans- ka och beforska skolan, -vilka syften de olika delarna av systemet har och vad de för- väntas ge svar på, -hur dessa olika delar förhåller sig till varandra, samt -vilka aktörer som har ansvar för de olika delarna och hur dessa förväntas samverka. Av ramverket bör också framgå vilken roll utvärderingen har i sam- band med större reformer. Ett sådant nationellt ramverk bör utgöra en stabil grund utifrån vilken den svenska skolan kan ut- värderas. Vi föreslår också att det nationella ramverket ska komp- letteras med regelbundna planer för utvärdering av skolan. Av dessa planer bör framgå regeringens övergripande prioritering för utvär- deringen för en överblickbar period, t.ex. . Försöksverksamhet – för ökad evidens vid reformer (kapitel 8) Försöksverksamhet respektive stegvis införande av reformer är sätt att underlätta utvärdering av reformer som i ökad utsträckning bör tillvaratas. Kunskaper och erfarenheter som vinns genom denna typ av försök kan bidra till att lägga en grund för långsiktigt bärkraftiga beslut. Genom att pröva i liten skala kan man undvika misstag i full skala. Försök kan därför lämpa sig i de fall utfallet av en åtgärd inte i förväg kan förutses genom resultat från tidigare forskning och utvärdering. I ett försök är det också möjligt att vid behov justera och lära av de erfarenheter försöket ger innan det even- tuellt permanentas. Genom att försöksverksamhet ger förutsätt- ningar för att skapa en kontrollgrupp möjliggörs dessutom använd- ningen av utvärderingsdesigner som annars kan vara svåra att få till stånd. Det finns dock även andra metoder att skapa kontroll- grupper än genom försök. Vid försök måste hänsyn tas till effekterna för berörda elever. Enskilda elevers rättssäkerhet får inte påverkas negativt. Ett försök får inte heller allvarligt påverka likvärdigheten. Ett försök i liten skala är dock enklare att justera än en intervention i full skala. De etiska övervägandena är således lika viktiga när en reform ska genom- föras i full skala utan föregående försök, som i samband med en försöksverksamhet. Nuvarande bestämmelse om försöksverksamhet i skollagen (2010:800) behöver ses över. Enligt denna bemyndigas regeringen eller den myndighet som regeringen bestämmer att få meddela föreskrifter om försöksverksamhet inom skolväsendet. I sådana föreskrifter får undantag göras från organisatoriska bestämmelser i skollagen. Vad som avses med organisatoriska bestämmelser är oklart. Det är därför angeläget att det utreds hur försöksverksamhet ska regleras i skollagen . Systemet för att följa kunskapsresultat – utvecklingsbehov (kapitel 9) Trendmått av god kvalitet utgör ett viktigt underlag, bland andra, för att det ska vara möjligt att följa resultatet av skolreformer. är det endast de internationella studierna som har en sådan utform- ning och kvalitet att de kan utgöra underlag för att följa kunskaps- utvecklingen i den svenska skolan, dvs. för att följa trender. Varken betygen eller de nationella proven möjliggör denna typ av trendmätning. Betygssystemet är inte tillräckligt stabilt för att fungera väl för trendmätning. Systemet har varit föremål för återkommande förändringar under . Det målrelaterade betygs- systemet har dessutom, i varierande utsträckning över både tid och för olika ämnen, varit föremål för betygsinflation. En invändning mot de nationella proven är att proven inte är stabila . För att vara det behöver varje nytt prov innehålla ett antal uppgifter som ingått i tidigare prov, s.k. ankaruppgifter. Framför allt svarar inte de nationella proven mot kravet på att innehålla ett tillräckligt stort antal uppgifter för att täcka det aktuella ämnets Om man i stället genomför stickprovsundersökningar kan en provkonstruktion användas som fungerar bättre för trendmät- ning. Genom att låta ett begränsat antal elever (ett urval) svara på ett begränsat antal, men delvis olika, frågor som inte görs offent- liga, kan det aktuella ämnets innehåll täckas in. Det är enligt utredningens uppfattning ett problem att vi är hänvisade till de internationella undersökningarna för trendmät- ning. De mäter endast utvecklingen i vissa ämnen och täcker endast vissa av de mål som återfinns i de svenska styrdokumenten. Vi före- slår därför att ett system med stickprovsbaserade undersökningar för trendmätning ska komplettera de internationella studierna. Systemet bör ha en bredd med avseende på både de ämnen och de kunskaps- kvaliteter som mäts.