sou 2014 12  
 Utvärdera för utveckling 
 – om utvärdering av skolpolitiska reformer 
 Slutbetänkande av Utredningen om förbättrade resultat i grundskolan 
 Stockholm 2014 
 SOU 2014:12 
 SOU och Ds kan köpas från Fuentes kundtjänst. För remissutsändningar av SOU och Ds svarar Fuentes Offentliga Publikationer på uppdrag av Regeringskansliets förvaltningsavdelning. 
 Beställningsadress: Fritzes kundtjänst 106 47 Stockholm 
 Orderfax:  
 08-598 
  191 91 Ordertel:  
 08-598 
  191 90  
 E-post: 
  order.fritzes@nj.se Internet: www.fritzes.se 
 Svara på remiss – hur och varför. Statsrådsberedningen (SB PM 2003:2, reviderad  
 2009-05-02) 
  
 – En liten broschyr som underlättar arbetet för den som ska svara på remiss. Broschyren är gratis och kan laddas ner eller beställas på http://www.regeringen.se/remiss 
 Textbearbetning och layout har utförts av Regeringskansliet, FA/kommittéservice. 
 Omslag: Gonzales. 
 Tryckt av Gonzales. 
 Stockholm 2014 
 ISBN  
 978-91-38-24080-9 
  
 ISSN  
 0375-250X 
  
 Till statsrådet och chefen för 
 Utbildningsdepartementet 
 Regeringen beslutade den 24 maj 2012 att ge en särskild utredare i uppdrag att dels bedöma när de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka måluppfyllel- sen i grundskolan kan förväntas få avsedd effekt, dels utreda vilka relevanta data som behövs för att i ökad utsträckning kunna utvär- dera de reformer som genomförs på skolområdet, och vid behov lämna författnings- eller andra förslag, samt belysa hur reformer på skolområdet bör genomföras för att underlätta utvärdering av dem. 
 Henderson anställdes fr.o.m. den 1 juni 2012 som särskild ut- redare. 
 Ämnesrådet Farmer och departementsrådet Shaw, Utbildningsdepartementet, förordnades att fr.o.m. den 25 septem- ber 2012 ingå i utredningen som experter. Farmer entlediga- des fr.o.m. den 18 mars 2013. Samma dag förordnades ämnesrådet Fox, Utbildningsdepartementet, som expert i utred- ningen. 
 Som sekreterare i utredningen anställdes fr.o.m. den 1 juni 2012 Thomas och fr.o.m. den 11 juni 2012 Young. 
 Utredningen överlämnade i maj 2013 delbetänkandet  
 Det tar tid – om effekter av skolpolitiska reformer  
 (SOU 2013:30). 
 Utredningen överlämnar härmed slutbetänkandet  
 Utvärdera för utveckling – om utvärdering av skolpolitiska reformer  
 (SOU 2014:12). 
 Utredningens uppdrag är härmed slutfört. 
 Stockholm i mars 2014 
 Henderson 
 / Thomas 
 CervantesInnehåll 
  
 Sammanfattning ................................................................ 
  
 11 
  
 1 
  
 Inledning................................................................... 
  
 23 
  
 1.1 
  
 Bakgrund .................................................................................. 
  
 23 
  
 1.2 
  
 Uppdraget mer i detalj............................................................. 
  
 24 
  
 1.3 
  
 Inriktning och avgränsning ..................................................... 
  
 25 
  
 1.4 
  
 Utredningens arbete ................................................................ 
  
 27 
  
 1.5 
  
 Betänkandet.............................................................................. 
  
 27 
  
 2 
  
 Om evidensinformerad politik och praktik ..................... 
  
 29 
  
 2.1 
  
 Evidens – ett begrepp med flera betydelser............................ 
  
 29 
  
 2.2 
  
 Evidens i politik och praktik ................................................... 
  
 30 
  
 2.2.1 Evidens i politiskt beslutsfattande............................... 
  
 31 
  
 2.2.2 Evidensinformerad snarare än evidensbaserad............ 
  
 33 
  
 2.2.3 
  
 Styrningsperspektiv och utvecklingsperspektiv.......... 
  
 36 
  
 2.3 
  
 Forskning och politik – en problematisk relation ................. 
  
 39 
  
 3 
  
 Om utvärdering .......................................................... 
  
 41 
  
 3.1 
  
 Vad menar vi med utvärdering? .............................................. 
  
 41 
  
 3.1.1 Skilda tolkningar av begreppets innebörd ................... 
  
 42 
  
 3.1.2 
  
 Några avgränsningar ..................................................... 
  
 45 
  
 3.2 
  
 Olika metodologiska ansatser ................................................. 
  
 49 
  
 3.2.1 
  
 Effektutvärdering.......................................................... 
  
 50 
  
 3.2.2 
  
 Teoribaserad utvärdering ............................................. 
  
 52 
  
 5 
  
 Innehåll SOU 2014:12 
  
 3.2.3 Utvärdering av komplexa system................................. 
  
 54 
  
 3.2.4 
  
 Systematiska översikter ................................................ 
  
 56 
  
 3.3 
  
 Sammanfattande bedömning ................................................... 
  
 58 
  
 4 
  
 Dagens utvärderingssystem.......................................... 
  
 61 
  
 4.1 
  
 Det nationella uppföljnings- och utvärderingssystemet........ 
  
 61 
  
 4.1.1 
  
 Uppföljning och utvärdering........................................ 
  
 62 
  
 4.1.2 
  
 Inspektion och revision ................................................ 
  
 73 
  
 4.1.3 
  
 Forskning ...................................................................... 
  
 76 
  
 4.1.4 Hur kommer reformutvärderingen in?........................ 
  
 78 
  
 4.2 
  
 Sammanfattande bedömning ................................................... 
  
 79 
  
 5 
  
 Reformutvärdering – historik och nuläge........................ 
  
 81 
  
 5.1 
  
 En historisk tillbakablick ......................................................... 
  
 81 
  
 5.1.1  
 1900-talets 
  mitt – en period av stora utredningar ....... 
  
 81 
  
 5.1.2 En bild från  
 1970-talet .................................................. 
  
 82 
  
 5.1.3 Den fortsatta debatten om den nationella 
  
 utvärderingen................................................................. 
  
 83 
  
 5.1.4 Övergången till mål- och resultatstyrning i början 
  
 av  
 1990-talet .................................................................. 
  
 85 
  
 5.1.5 Sammantaget – ingen reformutvärdering att tala 
  
 om .................................................................................. 
  
 88 
  
 5.2 
  
 Var står vi i dag? ....................................................................... 
  
 89 
  
 5.2.1 
  
 Reformutvärdering fortfarande ovanlig....................... 
  
 89 
  
 5.2.2 
  
 Skolverkets utvärderingsuppdrag................................. 
  
 90 
  
 5.3 
  
 En internationell utblick .......................................................... 
  
 95 
  
 5.4 
  
 Sammanfattande bedömning ................................................... 
  
 97 
  
 6 
  
 Reformutvärdering – strategi för framtiden................... 
  
 101 
  
 6.1 
  
 Reformutvärdering och implementering .............................. 
  
 101 
  
 6.2 
  
 Reformstrategier och utvärdering ......................................... 
  
 106 
  
 6 
  
 SOU 2014:12 
  
 Innehåll 
  
 6.3 
  
 Regeringens och regeringskansliets arbete ........................... 
  
 110 
  
 6.3.1 OECD om det centrala regeringsarbetet i Sverige ... 
  
 110 
  
 6.3.2 Kopplingen mellan reformstrategier och 
  
 reformutvärdering i regeringskansliets arbete .......... 
  
 111 
  
 6.4 
  
 Reformutvärderingens roll bör stärkas................................. 
  
 115 
  
 7 
  
 Ramverk för utvärdering av skolan – för bättre 
  
 överblick och styrning ............................................... 
  
 119 
  
 7.1 
  
 OECD om behovet av ramverk för utvärdering av 
  
 utbildningen ........................................................................... 
  
 119 
  
 7.2 
  
 Förslag om ett nationellt ramverk för utvärdering av 
  
 skolan ...................................................................................... 
  
 123 
  
 8 
  
 Försöksverksamhet  
 –  
 för ökad evidens vid reformer ...... 
  
 127 
  
 8.1 
  
 Användningen av försöksverksamhet................................... 
  
 127 
  
 8.2 
  
 Försöksverksamhet som strategi i andra länder................... 
  
 131 
  
 8.3 
  
 Försöksverksamhet stärker förutsättningarna för 
  
 reformutvärdering.................................................................. 
  
 132 
  
 8.4 
  
 Etiska överväganden i samband med försöksverksamhet.... 
  
 133 
  
 8.5 
  
 Förutsättningarna för försöksverksamhet i skollagen......... 
  
 135 
  
 8.6 
  
 Möjligheterna att bedriva försöksverksamhet bör 
  
 tillvaratas................................................................................. 
  
 140 
  
 9 
  
 Systemet för att följa kunskapsresultat  
 – 
  
 utvecklingsbehov...................................................... 
  
 143 
  
 9.1 
  
 Dagens nationella system för kunskapsbedömning............. 
  
 143 
  
 9.1.1 Nationella prov och betyg  
 –  
 lämpar sig inte som 
  
 grund för trendmätning.............................................. 
  
 144 
  
 9.1.2 Internationella studier – de enda instrument som 
  
 i dag kan mäta kunskapsresultat över tid .................. 
  
 149 
  
 7 
  
 Innehåll 
  
 SOU 2014:12 
  
 9.2 Användningen av nationella prov i andra länder 
  
 ..................151 
  
 9.3 
  
 Tidigare förslag om rullande stickprovsbaserad 
  
 utvärdering av elevernas kunskapsresultat ............................ 
  
 152 
  
 9.4 
  
 Förslag till utveckling av systemet för att mäta trender ...... 
  
 153 
  
 10 
  
 Data för utvärdering – utvecklingsbehov ...................... 
  
 159 
  
 10.1 
  
 Den nationella statistiken om skolan – en infrastruktur 
  
 för systemförståelse ............................................................... 
  
 159 
  
 10.1.1 Kort om skolstatistikens framväxt............................. 
  
 159 
  
 10.1.2 Några grundläggande begrepp.................................... 
  
 161 
  
 10.1.3 Skolverkets statistikansvar ......................................... 
  
 162 
  
 10.1.4 Dagens statistiksystem ............................................... 
  
 164 
  
 10.1.5 Uppgiftslämnarbördan ............................................... 
  
 168 
  
 10.2 
  
 Regelverket för hantering av data.......................................... 
  
 170 
  
 10.2.1 En omfattande lagstiftning ......................................... 
  
 170 
  
 10.2.2 Pågående utredningar.................................................. 
  
 174 
  
 10.3 
  
 Förslag och bedömningar om behovet av data för 
  
 utvärdering och utvärdering av reformer .............................. 
  
 177 
  
 10.3.1 Några utgångspunkter ................................................ 
  
 178 
  
 10.3.2 Individdata................................................................... 
  
 179 
  
 10.3.3 Uppgifter om undervisningens förutsättningar 
  
 och genomförande ...................................................... 
  
 181 
  
 10.3.4 Uppgifter om undervisningens resultat..................... 
  
 191 
  
 10.3.5 Kostnader och elevresultat ......................................... 
  
 195 
  
 10.3.6 Utveckling, modernisering och resurser ................... 
  
 197 
  
 10.3.7 Inga förslag om författningsändringar....................... 
  
 198 
  
 10.3.8 Avslutande diskussion ................................................ 
  
 199 
  
 11 
  
 Organisering för stärkt utvärdering.............................. 
  
 203 
  
 11.1 
  
 Dagens aktörer i Sverige ........................................................ 
  
 203 
  
 11.2 
  
 Internationell utblick ............................................................. 
  
 205 
  
 11.3 
  
 Andra röster om organiseringen av utvärdering................... 
  
 208 
  
 11.3.1 Att nå ut och nå ända fram (SOU 2009:94).............. 
  
 208 
  
 8 
  
 SOU 2014:12 
  
 Innehåll 
  
 11.3.2 Institutionaliseringen av utvärdering – ett 
  
 fenomen i tiden ........................................................... 
  
 209 
  
 11.3.3 OECD om organisering och styrning av 
  
 policyrelevant utvärdering.......................................... 
  
 211 
  
 11.4 
  
 Förslag om ett råd med dubbla funktioner .......................... 
  
 212 
  
 12 
  
 Konsekvenser........................................................... 
  
 221 
  
 Referenser ...................................................................... 
  
 225 
  
 Bilagor 
  
 Bilaga 1 
  
 Kommittédirektiv 2012:53.............................................. 
  
 243 
  
 Bilaga 2 
  
 Tilläggsdirektiv 2013:73 .................................................. 
  
 249 
  
 Bilaga 3 Kunskap och skolreform – En studie om underlag 
  
 för och utvärdering av reformer på skolområdet 
  
 av Lopez........................................................... 
  
 251 
  
 Bilaga 4 Exempel på uppföljningar och utvärderingar 
  
 genomförda av Skolverket på regeringens uppdrag 
  
 åren  
 2002–2013 ............................................................... 
  
 283 
  
 Bilaga 5 Internationell utblick – med fokus på 
  
 organiseringen av nationell utvärdering ........................ 
  
 293 
  
 9 
 Sammanfattning 
 I maj 2012 beslutade regeringen att tillkalla en särskild utredare med uppdrag 
 1  
 att dels bedöma när de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka mål- uppfyllelsen i grundskolan kan förväntas få avsedd effekt, dels analysera förutsättningarna för utvärdering av reformer. Utred- ningen redovisade i maj 2013 delbetänkandet  
 Det tar tid – om effek- ter av skolpolitiska reformer  
 (SOU 2013:30). Den andra delen av uppdraget redovisas i detta slutbetänkande från utredningen. 
 Arbetet med detta betänkande och utredningens delbetänkande har stärkt oss i uppfattningen att det är långt ifrån enkelt att för- ändra skolan genom strukturella reformer. Det tar tid innan effek- ter uppstår så att de kan bli mätbara på nationell nivå. Dessutom är de effekter man kan förvänta sig ofta inte så stora som man kanske önskat. Detta innebär inte att man kan avstå från att försöka att för- bättra förutsättningarna för skolan. Det understryker dock behovet av att beslut om reformer vilar på en ordentlig kunskapsgrund. För varje åtgärd som vidtas bör det tydligt framgå på vilket sätt åtgärden är tänkt att påverka skolan, och vad som styrker denna slutsats. Forskning och utvärdering har här en central roll både inför att reformer ska utformas och vid utvärderingen av dem. Ut- värdering av reformer kan i sin tur resultera i kunskap som kan ligga till grund för evidensinformerade beslut inför eventuella fram- tida reformer. 
 I det följande redovisas hur vi kommit fram till och underbyggt denna slutsats kapitel för kapitel samt redogörs för våra mer kon- kreta bedömningar och förslag. 
  
 1  
 Dir. 2012:53, dir. 2013:73. 
 11 
  
 Sammanfattning 
  
 SOU 2014:12 
  
 Bakgrund 
 Inledning (kapitel 1) 
 I Sverige har frågan om hur utvärderingskulturen inom skolområ- det kan förstärkas – på både lokal och nationell nivå – diskuterats länge. Det betyder inte att frågan alltid befunnit sig i centrum för den skolpolitiska debatten eller varit föremål för politiska initiativ. Vi uppfattar direktiven till utredningen som att Sverige nu behöver lägga en ökad vikt vid frågor som har med utvärdering av skolan att göra. Denna ökade betoning på utvärdering delar Sverige med andra länder. 
 Utredningens uppdrag är vittomfattande och berör, som vi ser det, hela uppföljnings- och utvärderingssystemet för skolan liksom organiseringen av detsamma. Även om utredningen i första hand har ett övergripande nationellt perspektiv på utvärdering av refor- mer går det inte heller att bortse från den nationella uppföljningens och utvärderingens samspel med den lokala nivån och verksamhets- nivån. Vidare har reformutvärdering en nära relation till implemen- tering av reformer, dvs. det som belystes i utredningens delbetän- kande. 
 Om evidensinformerad politik och praktik (kapitel 2) 
 Evidens är ett begrepp som fått en allt större spridning. Begreppet kan syfta på tre olika företeelser: 
  
 Evidensbaserad politik  
 innebär att beslutsfattare, på olika nivåer och inom olika samhällsområden, så långt möjligt bör fatta beslut som baseras på kunskap. 
  
 Evidensbaserad praktik  
 syftar till att den dagliga verksamheten inom ett område ska vila på systematiskt utvecklad kunskap. 
  
 Evidens kan också användas i en mer metodologisk betydelse där evidensbaserad politik och praktik avser en särskild  
  
 utvärde- ringsmetodik  
 som bygger på s.k.  
 meta-analyser 
  och systematiska kunskapsöversikter. 
 Utredningen föredrar att använda begreppet  
 evidensinformerad  
 i stället för evidensbaserad. En grundläggande skillnad mellan exem- pelvis evidensbaserad och evidensinformerad politik är  
 vad som kan betraktas som belägg eller bevis  
 (evidens). Vid utformningen av evi- 
 12 
  
 SOU 2014:12 
  
 Sammanfattning 
  
 densinformerad politik kan utöver forskningsresultat även använ- das andra systematiskt insamlade och kvalificerade underlag. 
 Frågan om evidens i politiken kan dessutom ses ur två perspek- tiv – ett styrningsperspektiv och ett utvecklingsperspektiv. Vilket perspektiv som dominerar får avgörande betydelse för vilket slags utvärderingssystem som kommer att byggas upp. 
 Om utvärdering (kapitel 3) 
 Det kan vara svårt att orientera sig rätt bland alla de olika teorier och utgångpunkter som finns om utvärdering och det är en grann- laga uppgift att bestämma hur en utvärdering ska genomföras. Det finns samtidigt stora möjligheter att genomföra utvärdering, även i de fall förutsättningarna i förstone inte verkar vara optimala. Det finns dock ett behov av ökad metodisk medvetenhet och förmåga hos både beställare och utförare av utvärderingar. 
 Gemensamt för god utvärdering är att det finns 
  
 en systematisk datainsamling som ligger till grund för analys, tolkningar och bedömningar, 
  
 en metodik vid behandlingen av data som uppfyller rimliga krav på validitet och reliabilitet, samt 
  
 en värdering (av utvärderingsobjektets nytta, effekter, påverkan eller motsvarande) i förhållande till något slags måttstock (rikt- värden, kriterier eller referenspunkter). 
  
 För att möta olika krav och förutsättningar kan utvärderingar vara av en mängd olika slag: effektutvärdering, programteoretisk utvärdering, processutvärdering, etc. Valet av metod bör göras med utgångspunkt i själva objektet för utvärderingen och i de fråge- ställningar som ska utvärderas. Interventioner i skolan har i de flesta fall en komplex karaktär, något både reformstrategi och val av metoder för utvärdering bör förhålla sig till. Kombinationer av olika metoder kan vara en god strategi för att fånga olika aspekter av en mer eller mindre sammansatt verklighet. Kvantitativt och kvalitativt inriktade metoder bör inte ställas mot varandra. 
 Utvärdering kan syfta till att svara på om en viss åtgärd fått några effekter och vilka dessa i så fall har varit – positiva, negativa, avsedda eller oavsedda. Den kan även syfta till att upptäcka sam- band mellan olika företeelser och om möjligt bidra till att finna 
 13 
  
 Sammanfattning 
  
 SOU 2014:12 
  
 orsaker (förklaringar) till dessa. En utvärdering kan vidare syfta till fördjupad systemkunskap, till exempel genom att öka förståelsen för varför en viss reform eller åtgärd får olika genomslag i olika verksamheter. En formativ utvärdering kan bidra till att utveckla en reform genom att ge underlag för justeringar av reformen. Slutligen kan nationell utvärdering även utformas för att fungera utveck- lingsstödjande på lokal nivå och i verksamheten. 
 Dagens utvärderingssystem (kapitel 4) 
 Hur det befintliga utvärderingssystemet är utformat – med upp- följning och utvärdering, men även viss tillsyn och granskning samt viss forskning – har betydelse inte bara för systemkunskapen om skolan, utan även som underlag för utvärdering av reformer. 
 Med en bred tolkning av utvärderingsbegreppet finns det många aktörer inom utvärderingssystemet i Sverige. Skolverket har en central roll genom att svara för den officiella statistiken om skol- väsendet, det nationella provsystemet och de internationella studierna. Utvärderingar av skolan kan på regeringens uppdrag genomföras av Skolverket, Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU), Statskontoret, det offent- liga utredningsväsendet samt av forskare och andra utvärderings- organ. Skolinspektionens kvalitetsgranskningar och Riksrevisionens granskningar har utvärderande karaktär, men genomförs med andra syften. Riksrevisionen har dessutom en helt självständig roll i för- hållande till regeringen. 
 Systemet består i dag av ett stort antal olika aktiviteter som i vissa fall kompletterar varandra. I andra fall är gränsdragningen mellan olika aktiviteter inte helt tydlig, som t.ex. mellan Skolverkets utvärdering och Skolinspektionens kvalitetsgranskning. Det finns också exempel där de syften som tillskrivs ett specifikt instrument knappast är möjliga att infria med ett och samma instrument. Det gäller för de nationella proven. Slutligen har systemet luckor, dvs. det finns frågor som det inte kan besvaras på ett tillfredsställande sätt. Det gäller t.ex. hur skolans resultat och måluppfyllelse utveck- las över tid (se vidare nedan). 
 14 
  
 SOU 2014:12 
  
 Sammanfattning 
  
 Övergripande om reformutvärdering 
 Reformutvärdering – historik och nuläge (kapitel 5) 
 Reformer som genomförts under de senaste decennierna har före- gåtts av utredningar med ett ofta begränsat utrymme för att på ett mer djuplodande sätt kunna utreda den aktuella frågeställningen, t.ex. genom att initiera utvärdering och forskning eller genom att i förväg pröva tänkta lösningar genom försök eller stegvis införande av reformer. Samtidigt finns en ökad ambition om att de politiska besluten ska vara evidensinformerade. 
 Utredningen menar att skolpolitiska reformer skulle vinna på att beslutas efter en mer noggrann prövning. För att en sådan ambition ska kunna infrias är det önskvärt att beslutsprocesserna ges mer tid än i dag, så att beslut i högre grad kommer att kunna baseras på kunskap. I ett allt mer komplicerat och komplext sam- hälle kommer politiker att behöva utgå mer från evidens vid formandet av sin politik, för att öka chanserna att reformerna ska leda till avsedda resultat. 
 Sverige saknar vidare en tradition att utvärdera reformer på skolans område, på det sätt vi sett exempel på i vissa andra länder. Så långt bakåt i tiden vi har kunnat överblicka saknas i Sverige exempel på ordentliga reformutvärderingar på skolans område som genomförts på initiativ av regering eller riksdag. De exempel som finns gäller främst utvärderingar som genomförts på initiativ av oberoende forskare. Inte heller för de viktiga reformer som genomförts under de senaste åren, dvs. sedan 2007, finns något utvärderingsprogram. De få regeringsuppdrag som nu är aktuella avser reformer från början  
 1990-talet, 
  dvs. 
  
 - 
  
 uppdraget till en särskild utredare att utvärdera eventuella kau- sala effekter av kommunaliseringen på elevernas studieresultat, läraryrkets status, lärarnas och rektorernas arbetsuppgifter, samt likvärdigheten i skolväsendet som nyligen redovisats i betänkan- det  
  
 Staten får inte abdikera – om kommunaliseringen av den svenska skolan  
 (SOU 2014:5), och 
  
 - 
  
 uppdaget till Harris att utvärdera  
  
 1990-talets 
  stora reformer på skolområdet, mer specifikt för grundskolan och gymnasiesko- lan. 
 15 
  
 Sammanfattning 
  
 SOU 2014:12 
  
 Reformutvärdering – strategi för framtiden (kapitel 6) 
 En planerad och systematisk utvärdering av reformer är enligt utredningens uppfattning nödvändig för att säkerställa en både bred och djup systemkunskap om skolan. Inte minst är det viktigt för det politiska ansvarsutkrävandet att det går att få veta om den förda politiken har avsedda effekter och om de allmänna medlen allokeras på ett effektivt sätt. Utvärdering av reformer ger också kun- skap som kan bidra till att öka genomslaget för reformen respektive signalera om något håller på att gå fel. Slutligen kan reform- utvärdering bidra med kunskap inför kommande reformer. 
 Utformningen av reformer och utvärderingen av dessa står i ett ömsesidigt förhållande till varandra. Beslut om reformstrategi påver- kar förutsättningarna för utvärdering. Samtidigt kan ett beslut om en utvärderingsstrategi, om det fattas tidigt inför beslutet om en reform, påverka såväl utformningen som implementeringen av denna. Frågan om reformutvärdering bör därför prioriteras redan i samband med planeringen av reformer och andra mer genomgri- pande åtgärder. I bästa fall kan utvärderingen bidra till genom- förandet av reformstrategin genom att fungera formativt i förhål- lande till den nationella beslutsnivån och utvecklingsstödjande på verksamhetsnivån. 
 Det finns behov av att stärka inslaget av evidens i regeringens och Utbildningsdepartementets arbete med att förbereda och genomföra beslut om reformer på skolans område. Utvärderingen av reformer har då en central roll. Frågor som är viktiga att ta ställning till är t.ex. om reformen lämpar sig för försök eller stegvis införande (vilket ökar möjligheterna för ett evidensinformerat beslutsfattande), vilken typ av metodik som är lämplig för utvärde- ring av reformen, vilken roll utvärderingen är tänkt att ha, etc. För denna typ av överväganden behövs kvalificerad utvärderingskompe- tens. 
 Mer konkreta bedömningar och förslag 
 Ramverk för utvärdering av skolan – för bättre överblick och styrning (kapitel 7) 
 Utredningen föreslår att ett nationellt ramverk för utvärdering av skolan ska fastställas av regeringen, förslagsvis i form av en skrivelse till riksdagen. Bakgrunden är bl.a. det stora antalet aktörer 
 16 
  
 SOU 2014:12 
  
 Sammanfattning 
  
 som finns på den nationella arenan för utvärdering av skolan i dag. OECD har föreslagit ett liknande ramverk. Långsiktighet när det gäller utvärderingen av skolan är centralt såväl med hänsyn till användbarhet och kvalitet som ur ett demokratiperspektiv. Elever och föräldrar, lärare, rektorer, politiker, media, allmänhet – dvs. alla – ska kunna förvänta sig en kontinuitet när det gäller infor- mationen om den svenska skolan. 
 Ett nationellt ramverk för utvärdering av den svenska skolan och förskolan bör tydliggöra det övergripande syftet med upp- följningen och utvärderingen samt 
  
 - 
  
 vilka delar systemet består av för att följa upp, utvärdera, grans- ka och beforska skolan, 
  
 - 
  
 vilka syften de olika delarna av systemet har och vad de för- väntas ge svar på, 
  
 - 
  
 hur dessa olika delar förhåller sig till varandra, samt 
  
 - 
  
 vilka aktörer som har ansvar för de olika delarna och hur dessa förväntas samverka. 
  
 Av ramverket bör också framgå vilken roll utvärderingen har i sam- band med större reformer. Ett sådant nationellt ramverk bör utgöra en över tid stabil grund utifrån vilken den svenska skolan kan ut- värderas. Vi föreslår också att det nationella ramverket ska komp- letteras med regelbundna planer för utvärdering av skolan. Av dessa planer bör framgå regeringens övergripande prioritering för utvär- deringen för en överblickbar period, t.ex. tre år. 
 Försöksverksamhet  
 –  
 för ökad evidens vid reformer (kapitel 8) 
 Försöksverksamhet respektive stegvis införande av reformer är sätt att underlätta utvärdering av reformer som i ökad utsträckning bör tillvaratas. Kunskaper och erfarenheter som vinns genom denna typ av försök kan bidra till att lägga en grund för långsiktigt bärkraftiga beslut. 
 Genom att pröva i liten skala kan man undvika misstag i full skala. Försök kan därför lämpa sig i de fall utfallet av en åtgärd inte i förväg kan förutses genom resultat från tidigare forskning och utvärdering. I ett försök är det också möjligt att vid behov justera och samtidigt lära av de erfarenheter försöket ger innan det even- tuellt permanentas. Genom att försöksverksamhet ger förutsätt- 
 17 
  
 Sammanfattning 
  
 SOU 2014:12 
  
 ningar för att skapa en kontrollgrupp möjliggörs dessutom använd- ningen av utvärderingsdesigner som annars kan vara svåra att få till stånd. Det finns dock även andra metoder att skapa kontroll- grupper än genom försök. 
 Vid försök måste hänsyn tas till effekterna för berörda elever. Enskilda elevers rättssäkerhet får inte påverkas negativt. Ett försök får inte heller allvarligt påverka likvärdigheten. Ett försök i liten skala är dock enklare att justera än en intervention i full skala. De etiska övervägandena är således lika viktiga när en reform ska genom- föras i full skala utan föregående försök, som i samband med en försöksverksamhet. 
 Nuvarande bestämmelse om försöksverksamhet i skollagen (2010:800) behöver ses över. Enligt denna bemyndigas regeringen eller den myndighet som regeringen bestämmer att få meddela föreskrifter om försöksverksamhet inom skolväsendet. I sådana föreskrifter får undantag göras från  
 organisatoriska bestämmelser  
 i skollagen. Vad som avses med organisatoriska bestämmelser är oklart. Det är därför angeläget att det utreds hur försöksverksamhet ska regleras i skollagen i framtiden. 
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov (kapitel 9) 
 Trendmått av god kvalitet utgör ett viktigt underlag, bland andra, för att det ska vara möjligt att följa resultatet av skolreformer. I dag är det endast de internationella studierna som har en sådan utform- ning och kvalitet att de kan utgöra underlag för att följa kunskaps- utvecklingen över tid i den svenska skolan, dvs. för att följa trender. Varken betygen eller de nationella proven möjliggör denna typ av trendmätning. 
 Betygssystemet är inte tillräckligt stabilt över tid för att fungera väl för trendmätning. Systemet har varit föremål för återkommande förändringar under de senaste decennierna. Det målrelaterade betygs- systemet har dessutom, i varierande utsträckning över både tid och för olika ämnen, varit föremål för betygsinflation. En invändning mot de nationella proven är att proven inte är stabila över tid. För att vara det behöver varje nytt prov innehålla ett antal uppgifter som ingått i tidigare prov, s.k. ankaruppgifter. Framför allt svarar inte de nationella proven mot kravet på att varje år innehålla ett tillräckligt stort antal uppgifter för att täcka det aktuella ämnets 
 18 
  
 SOU 2014:12 
  
 Sammanfattning 
  
 innehåll. Om man i stället genomför stickprovsundersökningar kan en provkonstruktion användas som fungerar bättre för trendmät- ning. Genom att låta ett begränsat antal elever (ett urval) svara på ett begränsat antal, men delvis olika, frågor som inte görs offent- liga, kan det aktuella ämnets innehåll täckas in. 
 Det är enligt utredningens uppfattning ett problem att vi i dag är hänvisade till de internationella undersökningarna för trendmät- ning. De mäter endast utvecklingen i vissa ämnen och täcker endast vissa av de mål som återfinns i de svenska styrdokumenten. Vi före- slår därför att ett system med stickprovsbaserade undersökningar för trendmätning ska komplettera de internationella studierna. Systemet bör ha en bredd med avseende på både de ämnen och de kunskaps- kvaliteter som mäts. 
 Det är emellertid inte lämpligt att nu endast lägga till ytterligare ett instrument i form av stickprovsundersökningar till ett redan hårt belastat provsystem utan att samtidigt utreda konsekvenserna av detta för övriga delar av systemet. Vi föreslår därför att en utredning till- sätts med uppdrag att i ett sammanhang utforma systemet för trendmätning genom stickprovsundersökningar och utreda hur det framtida systemet för utvärdering av kunskapsresultat ska vara utformat i sin helhet. Det gäller framför allt de nationella proven som i dag har många olika syften. Arbetet bör inriktas på att klargöra vilka syften som kan och ska knytas till systemet, vilka instrument som bör knytas till respektive syfte och vilka aktörers informa- tionsbehov de olika instrumenten ska svara mot. 
 Data för utvärdering – utvecklingsbehov (kapitel 10) 
 Utökade och förbättrade registerdata kan underlätta möjligheterna att utvärdera reformer. För utvärdering av reformer behövs dock ofta även riktade uppgiftsinsamlingar, med frågeställningar rele- vanta för den aktuella reformen. 
 Det nationella uppföljningssystemet har en potential att utveck- las vad gäller ny uppgiftsinsamling, utökad analys av befintliga data från uppföljningssystemet och de internationella studierna samt det sätt på vilket informationen presenteras på. Vid utvecklingen bör ställning tas till vilka uppgifter som lämpar sig för att samla in i form av registerdata, vilka uppgifter som bör utgöras av direkt- insamlade data och ingå i det nationella uppföljningssystemet samt vilken information som inte lämpar sig för att ingå i detta. Detta är 
 19 
  
 Sammanfattning 
  
 SOU 2014:12 
  
 bedömningar som löpande bör göras av Skolverket som statistik- ansvarig myndighet. 
 Det har ingått i utredningens uppdrag att bedöma behovet av vilka relevanta data som behövs för att utvärdera reformer. Våra bedömningar avser informationsbehov avseende exempelvis under- visningens förutsättningar och undervisningens genomförande. Vidare avser bedömningarna informationsbehov om undervis- ningens resultat samt om sambandet mellan kostnader och resultat. I kapitel 10 redovisas dessa bedömningar område för område. 
 Vi föreslår vidare att Skolverket ges möjlighet att i enlighet med verkets hemställan kunna samla in individdata för skolan i sin hel- het, dvs. även för modersmålsundervisning och skolgång i spe- cialskola, särskola och sameskola. Detta bland annat mot bakgrund av att målen för specialskolan och sameskolan ska motsvara dem som gäller för grundskolan 
 För att det ska vara möjligt att utveckla och modernisera det nationella uppföljningssystemet behöver denna infrastruktur för- stärkas finansiellt. 
 Med anledning av att det för närvarande pågår två utredningar som arbetar med frågor kopplade till hur förutsättningarna för registerbaserad forskning kan förbättras, lämnas inte här några för- fattningsförslag. Det är emellertid viktigt att regeringen i detta sammanhang bevakar de långsiktiga förutsättningarna för den s.k.  
 UGU-databasen. 
  
 Organisering för stärkt utvärdering (kapitel 11) 
 Ansvaret för att fatta strategiska beslut om utvärderingen av skolan måste ligga på central politisk nivå. Det är t.ex. regeringen som måste ta ansvar för att reformer utvärderas och att detta sker med den bredd och med de olika perspektiv som skissats ovan. Mängden aktörer som kan ha en roll vid utvärderingen av skolan och av reformer på skolområdet pekar på ett behov av en stärkt nationell styrning. 
 Mot denna bakgrund föreslår utredningen att ett  
 Råd för utvär- dering av skolan  
 inrättas. Rådet föreslås få följande två huvud- uppgifter: 
  
 1. 
  
 Löpande bistå regeringen i utvärderingsfrågor avseende skol- väsendet. Det innebär t.ex. att 
  
 20 
  
 SOU 2014:12 
  
 Sammanfattning 
  
 - 
  
 utarbeta förslag till ett nationellt ramverk för utvärdering, 
  
 - 
  
 lämna förslag till nationell plan för utvärdering av skol- väsendet, samt 
  
 - 
  
 inom ramen för en sådan plan vid behov kunna initiera policyrelevant forskningsbaserad utvärdering. 
  
 2. 
  
 Vid större och genomgripande reformer inom skolväsendet bistå regeringen med 
  
 - 
  
 förslag till program för reformutvärdering, 
  
 - 
  
 att vid behov initiera forskningsbaserad reformutvärdering, 
  
 - 
  
 att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen (forskare, utvärderings- institut, myndigheter etc.), 
  
 - 
  
 att sammanfatta resultat från olika aktörers utvärderingar, samt 
  
 - 
  
 att sammanfatta identifierade behov av ytterligare stöd till, eller justeringar av, den aktuella reformen. 
  
 Förslaget innebär oförändrade uppgifter för myndigheterna på skol- området. De uppgifter som rådet är tänkt att svara för, och de utvärderingar som det kan komma att föreslå eller initiera, genom- förs i allt väsentligt inte i dag. 
 Rådet föreslås bli organiserat som en kommitté inom Regerings- kansliet, med ett begränsat kansli. Rådets ledamöter, dvs. de som ska ha beslutsbefogenhet i rådet, förslås vara forskare som repre- senterar olika forskningsdiscipliner. I övrigt föreslås rådet bestå av sakkunniga från olika delar av skolsamhället, t.ex. Utbildnings- departementet, berörda myndigheter och skolhuvudmän, samt före- trädare för lärare, rektorer och elever. På detta sätt skapas ett forum för de strategiska frågorna om utvärderingen av den svenska skolan där de som har de största kunskaperna om behovet av, och förut- sättningarna för, utvärdering samlas. 
 21 
  
 Sammanfattning 
  
 SOU 2014:12 
  
 Konsekvenser (kapitel 12) 
 I direktiven till utredning har regeringen inte angett att det ska göras några specifika konsekvensbeskrivningar. Utredningen inne- håller dock ett begränsat antal förslag som har föranlett oss att i korthet diskutera vissa ekonomiska konsekvenser av förslagen. 
 Kostnaden för en grundbemanning för det föreslagna  
 rådet för utvärdering av skolan  
 bör röra sig om cirka  
 2–2,5 
  miljon kronor per år, inkl. kostnader för sekretariat, ledamöter och sakkunniga. Kost- naderna för rådet blir naturligtvis avsevärt högre i de fall rådet ges särskilda uppdrag i anslutning till en specifik reform. Detta måste dock beräknas särskilt vid varje enskilt reformtillfälle. Det bör vara självklart att varje reform får sin finansiering, inte endast avseende kostnaderna i verksamheterna, utan också för implementering och utvärdering. 
 Kostnaderna för att införa ett  
 stickprovsbaserat system för att följa kunskapsutvecklingen i skolan  
 bör beräknas av den utredning som föreslås för att utreda frågan om stickprovsbaserade undersökning- ar i ett sammanhang tillsammans med övriga delar av systemet för utvärdering av kunskapsresultaten, dvs. även det nationella prov- systemet. 
 Den finansiella förstärkning som utredningen bedömer behövs för att  
 förstärka och utveckla Skolverkets statistik- och uppföljnings- system  
 har både permanenta och tillfälliga inslag. För att systemet ska kunna omfatta fler insamlingar än i dag, vilket krävs till följd av de senare årens reformer, och samtidigt bibehålla den nuvarande kvalitetsnivån, behövs enligt Skolverket en permanent förstärkning med 10 miljoner kronor per år. För att utveckla och modernisera systemet behövs dessutom, enligt verket, tillfälliga förstärkningar med 10 miljoner kronor för 2014, 7 miljoner kronor för 2015 och 7 miljoner kronor för 2016. Utredningen bedömer att detta är lågt räknat. En särskild anslagspost för statistik- och uppföljningssyste- met skulle tydligare än i dag kunna uttrycka statens ambitioner på området. 
 Slutligen bedömer utredningen att det är önskvärt att det s.k.  
 UGU-projektet 
  vid Göterborgs universitet ges stabila ekonomiska förutsättningar. 
 22 
 1 Inledning 
 I maj 2012 beslutade regeringen att tillkalla en särskild utredare med uppdrag 
 1  
 att i ett första steg bedöma när de åtgärder som har vidtagits från 2007 och framåt, för att höja kunskapsnivån och öka måluppfyllelsen i grundskolan, kan förväntas få avsedd effekt. Ut- redningen redovisade i maj 2013 denna första del i delbetänkandet 
 Det tar tid – om effekter av skolpolitiska reformer  
 (SOU 2013:30). I ett andra steg ska utredaren analysera förutsättningarna för utvär- dering av reformer 
  
 2 
  
 . 
  
 1.1 
  
 Bakgrund 
  
 Utvärdering av skolpolitiska reformer kan syfta till att ge besked om huruvida en viss åtgärd fått några effekter och vilka dessa i så fall har varit – positiva, negativa, avsedda eller oavsedda. Utvärde- ring kan även syfta till att upptäcka samband mellan olika förete- elser och om möjligt bidra till att finna orsaker (förklaringar) till dessa. En utvärdering kan vidare syfta till fördjupad systemkun- skap, t.ex. genom att öka förståelsen för varför en viss reform eller åtgärd får olika genomslag i olika verksamheter. Utvärdering av reformer kräver med andra ord god tillgång till data av både kvalitativt och kvantitativt slag. 
 I Sverige har frågan om hur utvärderingskulturen inom skolom- rådet kan förstärkas – både på lokal och nationell nivå – varit aktuell inte minst sedan decentraliseringen av skolan och det mål- och resultatstyrda styrsystemet infördes vid  
 1990-talets 
  början. Det betyder inte att frågan alltid befunnit sig i centrum för den skol- politiska debatten eller varit föremål för politiska initiativ. Av bilaga 3 framgår att så inte har varit fallet. Utredningen uppfattar 
  
 1 
  
 Dir. 2012:53 (bilaga 1). 
  
 2 
  
 Dir. 2013:73 (bilaga 2). 
  
 23 
  
 Inledning 
  
 SOU 2014:12 
  
 dock direktiven som att Sverige nu behöver lägga en ökad vikt vid frågor som har med utvärdering av skolan att göra. Denna ökade betoning på utvärdering delar Sverige med andra länder, bl.a. med våra nordiska grannländer och övriga  
 OECD-länder. 
  
 Det finns flera skäl till att många länder fäst ökad vikt vid utvär- dering av skolans verksamhet och prestationer i allmänhet och ele- vernas kunskapsresultat i synnerhet. Utbildningens betydelse för sysselsättning och tillväxt betonas. 
 3  
 Den internationella konkur- rensen om högutbildad arbetskraft har ökat liksom kraven på att avsatta medel för finansiering av offentlig verksamhet ska användas effektivt. 
 4  
 Slutligen har föräldrars krav på information om skolors och de egna barnens resultat ökat, i Sverige bl.a. mot bakgrund av det fria skolvalet. 
 Bakom det ökade intresset för uppföljning och utvärdering av kunskapsresultat har funnits, och finns, uppfattningen att uppfölj- ning och utvärdering kan utgöra en drivkraft för utveckling och förbättring av skolans prestationer och resultat. 
  
 1.2 
  
 Uppdraget mer i detalj 
  
 Enligt direktiven ska utredaren i detta slutbetänkande 
  
 utreda vilka relevanta data som behövs för att i ökad utsträck- ning kunna utvärdera reformer inom de obligatoriska skolfor- merna, dvs. grundskolan, grundsärskolan, specialskolan och sameskolan, 
  
 om det behövs, lämna författnings- eller andra förslag för att öka tillgången till sådana data, och 
  
 belysa hur reformer inom de obligatoriska skolformerna bör genomföras för att underlätta utvärdering av reformerna. 
  
 Enligt direktiven har utvärdering av reformer och politiska beslut under lång tid spelat en ganska undanskymd roll inom utbildnings- området. Enligt regeringen innebär dock det omfattande reform- arbetet inom sektorn att behovet av utvärderingar har förstärkts. 
  
 3 
  
 Se t.ex. Hanushek, Willis och House (2010)  
  
 The cost of Low Educational Achie- vement in the European Union 
 . European Expert Network on Economics of Education. EENEE Analytical Report No. 7. 
  
 4 
  
 Se t.ex. OECD (2013) Synergies for Better Learning: An International Perspective on Evaluation and Assessment. 
  
 24 
  
 SOU 2014:12 
  
 Inledning 
  
 Områdets politiska och ekonomiska vikt medför dessutom, enligt regeringen, att behovet av beslutsunderlag av hög kvalitet ökar. Direktiven pekar också på att det även internationellt inom EU, OECD och i enskilda länder pågår en diskussion om hur använd- ningen av utvärderingar kan öka och hur utformningen av offentlig verksamhet i högre grad ska kunna baseras på kunskap. 
  
 1.3 
  
 Inriktning och avgränsning 
  
 En utgångspunkt för arbetet med uppdraget är, som utredningen ser det, regeringens intentioner att utformningen av offentlig verk- samhet i högre grad än tidigare ska kunna basera sig på tillförlitlig kunskap (evidens). En annan är att utbildningen enligt skollagen (2010:800) ska vila på vetenskaplig grund och beprövad erfarenhet. 
 Utredningen definierar reform på skolans område som en för- ändring av bärande delar av skolsystemet som är reglerade i lag eller förordning. Det som sägs i detta betänkande om reformutvärdering avser utvärdering av sådana refomer, men även utvärdering av olika politiskt initierade åtgärder av betydelse, om än av annan mer till- fällig karaktär, t.ex. satsningar på  
 läs-skriva-räkna 
  eller på matema- tik och naturvetenskap. 
 I flera avseenden har vi kunnat konstatera att vårt uppdrag, trots det primära fokuset på utvärdering av reformer, är vittomfattande och berör hela uppföljnings- och utvärderingssystemet för skolan. 
 Även om vi har uppfattat att uppdraget i första hand har ett nationellt perspektiv på utvärdering av reformer går det exempelvis inte att bortse från den lokala nivån och verksamhetsnivån. En nationell utvärdering har, och bör ha, betydelse även för huvud- mannens och verksamhetens utvärdering och utveckling, och behö- ver utformas med hänsyn taget till detta. Man kan utgå från att reformer som utvärderas ytterst syftar till att utveckla verksamhe- ten lokalt. Det är därför viktigt att belysa sambanden mellan systemets olika nivåer. Den lokala nivån och verksamhetsnivån bidrar dessutom med underlag för den nationella nivåns utvär- dering. 
 Fokuset på reformer och utvärdering skulle kunna leda till slut- satsen att det räcker att enbart belysa förutsättningrna för just särskilda utvärderingar av reformer. Vi menar dock att reform- utvärdering i vissa fall kan genomföras integrerat med det befintliga uppföljnings- och utvärderingssystemet och är under alla omstän- 
 25 
  
 Inledning 
  
 SOU 2014:12 
  
 digheter, i de allra flesta fall, beroende av information från detta. Uppföljnings- och utvärderingssystemet som helhet – med statistik, trendstudier, internationella studier, utvärderingar och till viss del även granskning och forskning – har därför getts en central roll i vårt arbete. Det är också i bl.a. detta system som de relevanta data som behövs för utvärdering av reformer kan återfinnas. 
 Reformutvärdering har en nära relation till implementering av reformer, dvs. till de slags frågor som utredningen belyste i sitt delbetänkande. Vi har därför knutit an till den modell för imple- mentering som presenterades i delbetänkandet och diskuterar utvärderingens roll inför en reform, under pågående implementering och efter att en reform institutionaliserats. Det innebär att reform- utvärdering, enligt vår uppfattning, kan ha olika karaktär. Den kan t.ex. vara formativ i ett skede och summativ i ett annat. Metod- mässigt innebär detta att det finns många olika sätt att se på utvärdering, vilket redogörs för i kapitel 3. 
 Ytterligare en fråga som har att göra med hur reformer genom- förs gäller hur de organiseras med avseende på utvärdering. Det handlar bland annat om hur reformutvärderingens oberoende kan säkerställas och om hur forskning och forskarkompetens kan kny- tas till reformutvärderingen. 
 Sammantaget har det visat sig att direktiven väcker en rad vik- tiga frågor om uppföljnings- och utvärderingssystemet och dess funktion – generellt och i samband med reformutvärdering – samt om organiseringen av både utvärdering generellt och av reform- utvärdering specifikt. Utredningen konstaterar att det både inom akademin och bland olika utvärderingsinstitut och nätverk av utvärderare länge pågått en diskussion om värdet av olika utvärde- ringsansatser. Diskussionen handlar bland annat om vad som kan och inte kan betecknas som utvärdering, samt om vilka slags metoder som kan ligga till grund för tillförlitliga utvärderingar. Utredningen konstaterar att såväl OECD 
 5  
 och Europeiska kom- missionen 
 6  
 har en bred syn på utvärdering som ger utrymme för en variation av designer och metoder. Utredningen ansluter till detta breda synsätt i kapitel 3. 
 De frågor som detta betänkande behandlar är slutligen av en så generell karaktär att det inte har varit meningsfullt att begränsa framställningen till endast aspekter av utvärdering av refomer som 
  
 5 
  
 Se t.ex. OECD (2007)  
 Smith in Education. Linking research and policy  
 och OECD (2013)  
 Synergies for Better learning. An international perspective on evaluation and assessment 
 . 
  
 6 
  
 Se t.ex. www.ec.europa.eu/europeaid/evaluation/methodology/methods/mth_att_en.htm 
  
 26 
  
 SOU 2014:12 
  
 Inledning 
  
 avser grundskolan och motsvarande skolformer, även om vi med hänsyn till direktiven har haft ett huvudfokus på dessa skolformer. Våra bedömningar och förslag avser dock skolväsendet i sin helhet. 
  
 1.4 
  
 Utredningens arbete 
  
 Liksom inför delbetänkandet har utredningen haft ambitionen att samla kunskap från många olika aktörer, genom omfattande littera- turstudier och genom möten med personer i Sverige och andra länder. 
 Centralt för utredningen har varit den grupp av medarbetare från berörda myndigheter, dvs. Statens skolverk, Statens skolinspektion och Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU), som utredningen träffat vid flera tillfällen. Utredningen har dessutom fått hjälp med underlag från myndigheterna och slutligen samrått med dem. Inför slutfasen av arbetet har utredningen även haft kontakt med Vetenskapsrådet. 
 Utredningen har dessutom sammanträffat med flera nationella forskare och andra experter inom området. 
 Inför slutbetänkandet har utredningen även gjort en internatio- nell utblick. Vi har fördjupat oss särskilt i litteraturstudier av utvär- dering och utvärdering av reformer på skolans område i Danmark, Canada, England, Finland, Nederländerna, Norge, Nya Zeeland, Skottland och USA. Vi har dessutom besökt Danmark, Finland, Norge och Skottland och på plats kunnat diskutera frågeställning- arna med företrädare för ministerier och/eller berörda myndighe- ter. 
 Utredningen har sammanträffat med Sveriges Kommuner och Landsting (SKL) för att diskutera uppdraget. 
 Vi har slutligen träffat en grupp med företrädare för Lärarförbundet, Lärarnas Riksförbund och Skolledarförbundet för att diskutera hur de verksamma ser på utvärdering och reformer. 
  
 1.5 
  
 Betänkandet 
  
 Efter denna inledning är betänkandet disponerat i tre huvuddelar: 
 I  
 kapitel  
  
 2–4 
  
 ges en bakgrund avseende 
  
 -  
 evidensinformerad politik och praktik, 
 27 
  
 Inledning 
  
 SOU 2014:12 
  
 - 
  
 utvärdering, samt 
  
 - 
  
 dagens utvärderingsystem. 
  
 I  
 kapitel  
  
 5–6 
  
 avhandlas frågan om reformutvärdering övergripande, i kapitel 5 med avseende på historik och nuläge och i kapitel 6 med avseende på strategi för framtiden. Kapitel 6 är således ett centralt kapitel i utredningen. 
  
 Kapitel  
  
 7–11 
  
 behandlar sedan, med kapitel 6 som utgångspunkt, ett antal mer konkreta frågor. Det gäller 
  
 - 
  
 behovet av ett ramverk för utvärdering, 
  
 - 
  
 användningen av försöksverksamhet, 
  
 - 
  
 behovet att utveckla systemet för att följa kunskapsutveck- lingen, 
  
 - 
  
 behovet av data för utvärdering, samt 
  
 - 
  
 behovet att stärka organiseringen för utvärdering på skolans område. 
  
 Utredningens ambition är att det ska vara möjligt att läsa kapitlen  
 7–11 
  för sig, varför texten innehåller vissa smärre upprepningar. 
 Slutligen görs i  
 kapitel 12  
 vissa konsekvensbedömningar. 
 28 
  
 2 
  
 Om evidensinformerad politik och praktik 
  
 Intentionen att offentlig verksamhet i högre grad ska utformas med utgångspunkt i evidens är en central utgångspunkt för utredning- ens arbete. I detta kapitel redovisas fortsättningsvis vissa utgångs- punkter och begrepp som har betydelse för förståelsen av betän- kandets fortsatta analys. 
  
 2.1 
  
 Evidens – ett begrepp med flera betydelser 
  
 Evidens är ett begrepp som under de senaste tjugo åren fått en allt större spridning. Begreppet kan syfta på tre olika företeelser: 
  
 Evidensinformerad politik  
 innebär att beslutsfattare, på olika nivåer och inom olika samhällsområden, så långt möjligt bör fatta beslut som baseras på tillförlitlig kunskap. De förväntas ha informerat sig om den samlade kunskap som finns inom det aktuella området, i form av forskning, utvärderingar, särskilda utredningar, uppfölj- ningsdata m.m. innan de beslutar om en reform eller annan åtgärd. Det varierar hur starkt olika länder har betonat betydelsen av ett evidensbaserat arbetssätt. Exempelvis Storbritannien har sedan  
 1990-talet 
  mycket målmedvetet försökt införa ett sådant arbetssätt vid all politikutformning. Även i USA har det funnits ett intresse för metoder som tar utgångspunkt i evidens, inte minst inom den federala utbildningspolitiken. Inom EU har Kommissionen strävat efter att införa evidensbaserade arbetsmetoder och OECD har framstått som en kraftfull tillskyndare av, och pådrivare för, sådana metoder. 
  
 Evidensinformerad praktik  
 syftar till att den dagliga verksamhe- ten inom ett område ska vila på systematiskt utvecklad kunskap (evidens). Denna tanke utvecklades först inom det medicinska 
 29 
  
 Om evidensinformerad politik och praktik 
  
 SOU 2014:12 
  
 området, men har senare spritt sig till exempel till det sociala området och utbildningsområdet. En vanlig tanke är att man genom sys- tematiska översikter av forskning inom ett område ska kunna fastställa best practice. Genom att kontinuerligt införa sådana metoder kan verksamheten successivt förbättras, dvs. verksam- hetens insatser (behandling, undervisning etc.) blir effektivare och utbytet av insatta resurser bli större. 
 Evidens kan också användas i en mer metodologisk betydelse där begreppet avser en särskild  
 utvärderingsmetodik  
 som bygger på  
 meta-anlyser 
  och systematiska kunskapsöversikter som i sin tur bygger på kvantitativa data insamlade genom en experimentell, kontrafaktisk design 
 1 
 . Inom den så kallade evidensrörelsen menar man att endast resultat som baserar sig på dessa metoder kan anses utgöra evidens. Metodfrågor i anslutning till den så kallade evidens- rörelsen behandlas i kapitel 3 om utvärdering. 
 Utredningen tar upp alla tre ovan beskrivna aspekter av evidens, dvs. evidens som utgångspunkt för politikutveckling, för praktisk verksamhet och som utvärderingsmetodik. Som en följd av utred- ningsdirektivens fokus har vi dock lagt större vikt vid evidens- baserad politik snarare än vid evidensbaserad praktik. 
  
 2.2 
  
 Evidens i politik och praktik 
  
 Ett evidensbaserat arbetssätt förutsätter att det finns tillgång till systematiskt framtagen kunskap som täcker samtliga väsentliga frågor inom det aktuella verksamhetsområdet. Ett viktigt problem i samband med evidensbaserat arbete – såväl vid politiskt beslutsfat- tande som vid utformningen av verksamhetens praktik – är att det finns bristfälligt forskningsstöd inom många politikområden. Det gäller både för själva verksamheten och dess resultat som avseende vilka åtgärder som kan förväntas åstadkomma önskat resultat. 
 Detta förhållande gäller inte minst det politiska beslutsfattandet om reformer och andra åtgärder på skolans område. Enligt direktiven till utredningen har utvärdering av reformer och politiska beslut under lång tid spelat en relativt undanskymd roll på skolans område. Utredningens direktiv kan tolkas som ett uttryck för en ambition att stärka evidensens betydelse vid utformningen av reformer och 
  
 1  
 Om begreppen närmare betydelse se vidare kapitel 3. 
 30 
  
 SOU 2014:12 
  
 Om evidensinformerad politik och praktik 
  
 politiska beslut på nationell nivå, något som i sin tur ställer krav på mer kvalificerade underlag för det politiska beslutsfattandet. 
 När det gäller skolans verksamhet är kravet på evidens fastställd i lag. Utbildningen ska enligt skollagen (2010:800) vila på veten- skaplig grund och beprövad erfarenhet. 
 2 
  
 2.2.1 
  
 Evidens i politiskt beslutsfattande 
  
 Det är inte ovanligt att politiska beslutsfattare menar att det saknas information som är möjlig att använda som utgångspunkt för ett beslutsfattande grundat på evidens. Det kan saknas policyrelevant forskning eller saknas forskning som ger tillräckligt entydiga svar. Man kan säga att forskningsläget spretar. Mängden forskning kan också vara så stor att det är svårt att identifiera vilken forskning som är relevant och tillförlitlig. Situationen kan emellertid även vara en följd av att beslutsfattare i allt för liten utsräckning faktiskt intresserar sig för hur kunskapsläget kan förbättras inom det aktu- ella verksamhetsområdet. 
 Att många politik- och yrkesområden saknar stöd av omfattan- de och väl utförd forskning påverkar förutsättningarna för att utgå från evidens såväl vid det politiska beslutsfattandet som vid utform- ningen av själva verksamheten. Davies 
 3  
 konstaterar att politiker behöver beakta information från många olika håll: enskilda studier, pilotstudier, fallstudier, expertutlåtanden, utvärderingar, beskriv- ande analyser, attitydundersökningar, statistiska modeller m.m. 
 Davies 
 4  
 understryker samtidigt att beslutsfattare utöver denna typ av evidens måste lyssna på såväl den egna politiska organisa- tionen som på den allmänna opinionen och olika intresseorganisa- tioners uppfattningar. Evidensbaserad kunskap, dvs. kunskap som är systematiskt insamlad och sammanställd och bygger på veten- skapligt utförda studier av hög kvalitet, bör därför enligt Madden ingå i det beslutsunderlag som en beslutsfattare har att tillgå. Själva beslutsfattandet kan däremot aldrig förväntas vara endast evidens- baserat. 
  
 2 
  
 1 kap. 5 § skollagen (2010:800). 
  
 3 
  
 Madden, Hammond (2004)  
  
 Is  
  
 Evidence-Based 
  
  Government Possible?  
 Bruce. Carlson Collaboration Colloqium, Wahington D.C. 
  
 4 
  
 Madden, Gregory (2004) a.a. 
  
 31 
  
 Om evidensinformerad politik och praktik 
  
 SOU 2014:12 
  
 Gray 
 5  
 menar emellertid att evidens över tid kommer att få ökad betydelse i politikutvecklingsprocessen och att beslutsfattande baserat enbart på åsikter och värderingar kommer att minska i betydelse. OECD:s studier 
 6  
 av olika länders arbete med att utveckla mer evidensbaserade arbetsformer utgår från synsättet att evidens bör ges en ökad betydelse vid det politiska beslutsfattandet. Resultaten av OECD:s studier pekar också på att många länder strävar efter att öka evidensens betydelse vid utformningen av sin politik. Detta innebär naturligtvis inte att politiska värderingar kommer att sakna betydelse. Det handlar här mer om en förskjut- ning där politiker i ett allt mer komplicerat och komplext samhälle kommer att behöva utgå mer från evidens vid formandet av sin politik. 
 I en amerikansk studie om användningen av vetenskap i politis- ka sammanhang konstaterar man att det ligger i sakens natur att politikutformning innehåller värderingar och andra närbesläktade överväganden som ligger utanför den vetenskapliga expertisens domän. Även när det handlar om värderingar, är det rimligt, menar man, att förorda användningen av kunskap som beskriver det pro- blem som ska lösas på ett så exakt sätt som möjligt eller som förut- säger sannolika konsekvenser av föreslagna handlingar. Om besluts- fattare beaktar relevant forskning, så kommer de att förbättra chanserna att förverkliga de avsedda följderna av den politik de för fram. 
 7 
  
 Användningen av vetenskap i politiska sammanhang kan enligt de amerikanska forskarna inte att skapa bättre politik. Det handlar i stället om vägledning för att förstå ett problem, de förhållanden som ger upphov till dessa problem, och de resultat som sannolikt kan uppkomma när en viss policy riktar sig mot dessa problem. I denna mycket specifika bemärkelse kan, menar de, samhälls- och naturveten- skaperna ge en mer tillförlitlig (bättre) vägledning än vad som i övrigt är tillgängligt för beslutsfattare när de funderar över olika frågeställningar. 
  
 5 
  
 Shaw, Patel (1977)  
  
 Evidence-based 
  Healthcare: How to Make Health Policy and manage- ment Decisions.  
 Här återgiven efter Madden, Parsons (2004 
 ) a.a. 
  
 6 
  
 Här avses de länderstudier som OECD genomfört inom ramen för projektet OECD Reviews of Evaluation and Assessment in Education. 
  
 7 
  
 Prewitt, White, Meyer and Hall (2012)  
  
 Using Science as Evidence in Public Policy 
 . Committee on the Use of Social Science Knowledge in Public Policy. National Research Council of the National Academies. The National Academies Press. Washington, D.C. 
 32 
  
 SOU 2014:12 
  
 Om evidensinformerad politik och praktik 
  
 2.2.2 
  
 Evidensinformerad snarare än evidensbaserad 
  
 Överväganden av det slag som redovisats ovan har lett till diskus- sioner om vilka krav som ska ställas för att något ska anses vara evi- densbaserat. Inom vissa delar av evidensrörelsen ställs kraven högt. I princip är det endast (kvantitativa) forskningsresultat grundade på  
 RCT-design 
  (randomised controlled trials) som anses kunna komma i fråga, eftersom det är den enda forskningsdesign utifrån vilken en exakt beräkning anses kunna göras av sannolikheten för att det finns ett kausalt samband mellan den insats som studeras och den effekt som observeras. Andra aktörer har en vidare syn på evidens. Såväl OECD 
 8  
 som Europeiska kommissionen 
 9  
 menar att man kan utgå från både experimentell design och från andra metoder. Utredningen ansluter till detta synsätt. Inte heller den centrala administrationen inom den brittiska regeringen, som får anses ligga i frontlinjen inom detta område, gör en så snäv avgräns- ning att endast  
 RCT-design 
  räknas. 
 10 
  
 Diskussionen om vad som kan anses vara evidensbaserat har också lett till att vissa uttolkare hellre talar om en evidensinfor- merad än en evidensbaserad politik eller verksamhet. 
 Evidensinformerad politik 
 Med evidensinformerad politik avses enligt Gough m.fl. 
 11  
 ett för- hållningssätt som hjälper människor att fatta välinformerade beslut om politik, åtgärder och projekt genom att sätta  
 bästa tillgängliga kun- skap  
 i centrum för politikutvecklingen och implementeringen. Det finns dock i dag ingen konsensus bland forskarna om vad begreppet evidensinformerad politik innebär i praktiken. En grundläggande skillnad mellan evidensbaserad och evidensinformerad politik är dock  
 vad som kan betraktas som belägg eller bevis  
 (evidens). 
 Vad som kan utgöra belägg vid utformningen av evidensinfor- merad politik kan utöver forskningsresultat även röra sig om expert- 
  
 8 
  
 Se t.ex. OECD (2007)  
 Smith in Education. Linking research and policy  
 och OECD (2013)  
 Synergies for Better learning. An international perspective on evaluation and assessment 
 . 
  
 9 
  
 Se t.ex. www.ec.europa.eu/europeaid/evaluation/methodology/methods/mth_att_en.htm 
  
 10 
  
 Se till exempel  
 The Sage Handbook of Evaluation 
 , s. 170 samt  
 Cabinet Office The Magenta Book: guidance notes for policy evaluation and analysis 
 . Government Social Research Unit. HM Treasury, 2003, updated 2007, och Chan, Humphrey m.fl.  
 Torres i Qualitative Evaluation: A framwork for assessing research evidence 
 . Cabinet Office, Strategy unit, 2003. 
  
 11 
  
 Meyer, Washington m.fl. (2011)  
 Evidence Informed Policymaking in Education in Europe 
 . EIPEE Final Project Report. Rapporten hänvisar i sin tur till Watson, (1999)  
 What is  
 evidence-based 
  education?  
 Brittish Journal of Educational Studies 47(2):  
  
 108–121. 
  
 33 
  
 Om evidensinformerad politik och praktik 
  
 SOU 2014:12 
  
 kunskap, statistik, särskilda utredningar, systematiskt genomförda enkäter eller intervjuer med företrädare för berörda organisationer eller verksamheter, utvärderingar av tidigare politiska insatser, resultat från internetsökningar, indikatorer och data från uppföljningssys- temet, kostnadsberäkningar och/eller output från ekonomiska eller statistiska modelleringar, dokumentanalyser, observationsanalyser (platsbesök) och analyser av adminstrativa data och enkätdata 
 12 
 . 
 Med en så vid tolkning av vad som kan utgöra belägg vid ett evi- densinformerat beslutsfattande skulle i princip allt svenskt natio- nellt politiskt beslutsfattande kunna sägas vara evidensinformerat redan genom det beredningskrav som finns inskrivet i regeringsfor- men. Den ambitionsnivå, som begreppet signalerar, ställer dock högre krav på evidens än vad som, enligt vår bedömning, många gånger i praktiken är fallet vid nationellt politiskt beslutsfattande i Sverige. 
 När OECD behandlar frågor om  
 evidensbaserad/-informerad 
  politikutveckling är det främst ländernas olika system för uppfölj- ning och utvärdering man uppehåller sig vid. Viktiga delar i dessa system är olika former av nationella standards (kunskapskrav), prov för att mäta i vad mån eleverna uppnår dessa standards samt upprättande av indikatorer på måluppfyllelse, t.ex. andelen elever som fullföljt en utbildning. 
 13  
 OECD:s fokus ligger således på att länderna i första hand ska bygga upp sina uppföljningssystem, i mindre utsträckning på utvärdering. 
 Evidensinformerad praktik 
 Systematiska kunskapsöversikter (systematic reviews) och meta- analyser utgör hörnstenar i en evidensbaserad praktik. Känneteck- nande för den klassiska formen av metaanalys är att endast en forsk- ningsdesign som bygger på experimentella, kontrafaktiskt inriktade studier med kontrollgrupp (randomiserade kontrollerade studier) anses motsvara kraven på evidens 
 14 
 . Denna forskningsdesign har fungerat väl inom delar av det medicinska området – som också var det område där formatet med systematic reviews först tillämp- 
  
 12 
  
 Se t.ex. Madden, Hammond (2004)  
  
 Is  
  
 evidence-Based 
  
  Government Possibly 
 ? Walker lecture. 4 
 th  
 Carlson Collaboration Colloqium. Washington D.C. samt Madden, Gregory, Cooper and Haluk Soydan (2006)  
 Government as structural context for evaluation  
 i Andersen, Allen, Nichols and Melvin M. Mark (Ed.)  
 The Sage Handbook of Evaluation. Policies, programs and Practicies 
 . Sage publications 2007. S. 171 f. 
  
 13 
  
 OECD (2007)  
 Smith in Education: Linking Research and Policy 
 . 
  
 14 
  
 Om begreppens närmare betydelse se vidare kapitel 3. 
  
 34 
  
 SOU 2014:12 
  
 Om evidensinformerad politik och praktik 
  
 ades – men är inte alltid lika tillämpbar för verksamheter som karaktäriseras av att de är komplexa 
 15 
 . Utbildningsområdet karakt- äriseras av en sådan komplexitet liksom, för den delen, delar av hälso- och sjukvården och socialtjänsten. Begreppet evidensinformerad är därför relevant även för verksamhetsnivån. Hur begreppet avgränsas från begreppet evidensbaserad skiljer sig dock – som vanligt i dessa sammanhang – åt mellan olika forskare och brukare av dessa begrepp. 
 I en nyligen framlagd avhandling av Levinsson 
 16  
 beskrivs t.ex. begreppet evidensinformerad som ett försök att anpassa princi- perna för evidensbaserad praktik så att de passar bättre till utbild- nings- och skolsammanhanget. En påtaglig skillnad i förhållande till den klassiska modellen är att betydelsen av lärares professionella omdöme och praktiska kunnande betonas mer bland dem som föredrar begreppet evidensinformerad praktik. Avhandlingen hän- visar till en forskare 
 17  
 som menar att om resultaten från syste- matiska översikter ska göra skillnad måste de på något vis Wilson in av lärares professionella omdöme och införlivas i deras befintliga verksamhet i klassrummet. 
 Enligt Hull menar representanter för evidensinformerad praktik att det finns ett behov av att vidga evidensbegreppet och att systematiska översikter inte enbart bör fokusera på skolans effek- tivitet, utan även på andra frågor som är av relevans för yrkesverk- samma. Det kan i detta sammanhang vara värt att notera att bland annat två tunga aktörer på området,  
 EPPI-center 
 18 
  
 och Campbell Collaboration, arbetar med att utveckla metoder för att göra syste- matiska kunskapssammanställningar grundade på kvalitativt inrik- tad forskning. 
 Utredningen förordar begreppet evidensinformerad 
 Utredningen har valt att, där vi inte hänvisar till forskare eller andra författare, använda begreppet evidensinformerad framför evidens- baserad. Vi vill genom detta göra tydligt att vi menar att inte endast 
  
 15 
  
 Se kapitel 3 om utvärdering för en diskussion om vad som avses med komplexa verk- samheter och om följderna av detta för utvärderingsmetodik m.m. 
  
 16 
  
 Hull, Carter (2013)  
 Evidens och existens. Evidensbaserad undervisning i ljuset av lärares erfarenheter 
 . Göteborgs Studies in Educational Sciencies. Göteborgs universitet. 
  
 17 
  
 Jackson, Thompson (2004)  
 Teachers using evidence: Using what we know about teaching and learning to reconceptualize  
 evidence-based 
  practice 
 . I G. Thomas & Genomföra en fördjupad studie; Pe- ka på utvecklingsområden; Följa upp; Av redovisningen av verksamheten ska framgå resultatet, samt hur (xxx) bidragit till uppföljningen och utvecklingen av kvaliteten i; Lö- pande följa upp och analysera; Undersöka hur; Av redovisningen ska bland annat fram- gå hur arbetet med satsningen fortskrider; Kartlägga omfattningen av problemet samt föreslå; Erfarenheterna av genomförandet av uppdraget ska redovisas; Återrapportera utvecklingen av; Informera RK (Utbildningsdepartementet) om uppdragets genom- förande; Redovisa och analysera utvecklingen av verksamheten; Göra en register- studie; Kartlägga och analysera; Genom fältstudier undersöka hur; Utvärderingen ska ske i formen av en uppföljande analys 
  
 92 
  
 SOU 2014:12 
  
 Reformutvärdering – historik och nuläge 
  
 Om det endast står att verket ska  
 redovisa  
 något,  
 följa upp  
 något eller genomföra en  
 kartläggning  
 bör man kunna utgå från att det inte förväntas en utvärdering genomförd med utvärderingsmetodik. När Skolverket ska  
 följa upp och analysera  
 eller  
 kartlägga och analysera 
  
 är detta mer oklart, liksom när verket ska genomföra en  
 fördjupad studie  
 eller  
 undersöka hur 
 , eller slutligen när verket ska genomföra en  
 utvärdering i formen av en uppföljande analys 
 . Varken uppdrag givna i regleringsbrev eller uppdrag givna genom separata regerings- beslut är således alltid tydliga med vad regeringen förväntar sig. Handlar det om en utvärdering som kräver en utvecklad metod och som förväntas utmynna i en värdering av utvärderingsobjektet och kanske även innehålla en rekommendation? Eller handlar det om en enklare kartläggning utan förväntan på analys och bedömning? 
  bidrar till svag styrning av genomförande och rapportering 
 Enligt vår bedömning har det sätt som uppdragen formulerats över tid fått återverkningar på det sätt som Skolverket redovisar upp- dragen – mer eller mindre likartat oavsett hur beställningen formul- eras. Redovisningarna bygger oftast på kvantitativa data hämtade ur uppföljningssystemet och kvalitativa data från enkäter, intervjuer och fallstudier. Redovisningarna kan även innehålla olika former av slutsatser, bedömningar, rekommendationer eller åtgärdsförslag. Det gäller oavsett om beställningen formulerats som en uppfölj- ning, en utvärdering, en kartläggning eller en fördjupad studie. 
 I flera fall benämner myndigheten sin återrapportering för ut- värdering trots att regeringen i sitt uppdrag inte uttryckligen efter- frågat en sådan. Detta kan tolkas som att Skolverket inom ramen för sitt instruktionsenliga uppdrag valt en ambitiösare ansats än vad det aktuella uppdraget kräver, som ett led i behovet att bygga upp kunskap om den aktuella frågeställningen för egna och omgiv- ningens behov (för normering, tillsyn och utvecklingsinsatser). Det kan emellertid även vara uttryck för en osäkerhet om vad regeringen egentligen efterfrågat. I vissa fall kan det även ha förekommit en uppdragsdialog mellan Skolverket och departementet som klargjort detta. 
 Det är även möjligt att uppdrag där regeringen efterfrågat en utvärdering visat sig ha en sådan begränsad karaktär att det fram- stått som oförsvarligt att genomföra en resurskrävande och meto- disk avancerad utvärdering, och att myndigheten därför inte 
 93 
  
 Reformutvärdering – historik och nuläge 
  
 SOU 2014:12 
  
 redovisat en sådan. Vidare kan det finnas exempel där frågan varit av den arten att den inte låtit sig utvärderas med en acceptabel metod. Även i dessa fall kan det ha förekommit en uppdragsdialog. 
 Att Skolverkets metodval är så likartat oberoende av hur upp- draget har formulerats kan således, enligt vår uppfattning, i viss mån härledas till att uppdragen är otydligt formulerade. Bland annat därför skapas också en osäkerhet om huruvida beställaren faktiskt använder ett begrepp i den betydelse det ges inom utvär- deringsteorin eller om begreppet används i en allmännare mening. Bland annat begreppet effekter kan ibland användas på ett sätt så att det är oklart om det används i en mer vardaglig mening eller om det är en effektstudie som avses. 
 Vi har dessutom kunnat konstatera att de utvärderingar vi gått igenom inte innehåller någon egentlig diskussion om utvärderings- design och möjliga utvärderingsmetoder. Det man oftast avser när man talar om metod är i själva verket olika tekniker för datainsam- ling (enkät, data från uppföljningssystemet, dokumentstudie, observa- tion, fallstudie, etc.), dvs. myndigheten redovisar/förklarar det sätt som den aktuella studien faktiskt genomförts på. Enligt Skolverket utesluter inte detta att t.ex. översikter har gjorts och att program- teoretiska resonemang eller genomgångar av verksamhetslogiker har genomförts och att dessa redovisats i projektens arbetsplaner. Att de inte redovisas i verkets externa rapporter beror, enligt ver- ket, på att dessa ska vara målgruppsanpassade. 
 Utredningen har inte, bland de utvärderingar Skolverket genom- fört eller låtit genomföra på regeringens uppdrag, funnit något exempel där en effektstudie med randomiserad kontrollgrupp genomförts, eller någon studie med en programteoretisk ansats. I ett fall, där ett konsultföretag genomfört en utvärdering på Skolverkets uppdrag, förs ett inledande resonemang med programteoretiska utgångspunkter. I några fall har myndigheten låtit forskare ta fram underlag för sin rapportering. Dessa har huvudsakligen haft en nationalekonomisk utgångspunkt för metodval och val av fråge- ställningar. I flera av rapporterna återkommer verket till svårig- heterna med att mäta effekter. 
 94 
  
 SOU 2014:12 
  
 Reformutvärdering – historik och nuläge 
  
 5.3 
  
 En internationell utblick 
  
 Utredningen har studerat ett antal  
 OECD-länders 
  arbete med reformer och framför allt utvärdering. Genomgången visar att länderna har delvis olika strategier för utvärderingar av reformer, delvis som en konsekvens av att länderna har olika reformstrate- gier. 
 I flera länder har t.ex. fokus flyttat från utvärdering av reformer i form av särskilda forskningsbaserade studier till att i högre grad söka utveckla utvärderingssystem som löpande tillhandahåller data som grund för bedömningar av hur skolan utvecklas. Denna för- skjutning har i vissa fall varit kopplad till att man har lämnat strategin att genomföra stora strukturreformer till förmån för mer partiella reformer och satsningar på att förstärka den lokala för- mågan till skolutveckling (capacity building). Detta innebär dock inte att länderna helt har slutat att vid behov genomföra utvär- deringar av skolpolitiska reformer. Det finns också exempel på länder som har genomfört större skolreformer och där särskilda forskningsbaserade studier har getts en mer framskjuten roll vid utvärderingen av dessa. 
 Vi har även funnit att de system för kunskapsförsörjning som byggs upp i andra länder oftast sätter utvecklingsperspektivet främst. System för utvärdering och andra former av kunskaps- inhämtande syftar främst till att stödja den lokala utvecklingen. Det innebär att även de beslut som fattas på nationell politisk nivå har denna inriktning, dvs. utvecklingen förefaller gå mot en utveck- lingsstrategi som lägger störst vikt vid att bygga upp den lokala kapaciteten att själv ta ansvar för sin utveckling och sina prestationer. Centralt planerade reformer utformas med detta för ögonen. 
 Denna trend är inte rätlinjig och tar sig inte samma väg i alla länder, men vi anser ändå att en sådan trend kan urskiljas. En sådan trend kan under senare år även avläsas i England, dvs. ett av de län- der som tidigare haft det tydligaste kontroll- och styrningspers- pektivet i synen på utvärderingens roll och syfte inom utbildnings- systemet. Under senare år har till exempel skolornas förmåga till egen utveckling betonats allt kraftigare i de engelska regeringarnas policydokument. 
 20 
  
 20  
 Se till exempel dokumenten  
 A new Relationship with Schools 
 . Department for education and skills tillsammans med Office for standards in education (2004) och  
 The Importance of Teaching. The schools White Paper 2010 
 . Department for Education (2010). 
 95 
  
 Reformutvärdering – historik och nuläge 
  
 SOU 2014:12 
  
 Det engelska utbildningsministeriets utvärderingar är av olika om- fattning och inriktning – särskilda satsningar och utbildningspro- gram hör till det som utvärderas oftast – och genomförs av olika forskargrupper eller av enskilda konsultföretag 
 21 
 . Man har även avtal med olika forskningsinstitutioner som bidrar med veten- skapliga underlag inom sina respektive kunskapsområden 
 22 
 . 
 För att utvärdera nationella reformer och strategier beställer utbildningsministeriet i Nya Zeeland oberoende utvärderingar från externa akademiker och forskare och/eller samlar information från ett stort antal källor (t.ex. granskningen och utvärderingen av den nationella standarden). Sådana utvärderingar används både för sum- mativa syften (bedömningar av effektiviteten och värdet av policies och program) och för formativa syften (för anpassning, modifie- ring och förbättring av pågående reformer och program). Ett exempel på detta slags utvärderingar är den utvärdering av den nya zeeländska läroplanen och de nationella standarderna (ungefär motsvarande de svenska kunskapskraven) som pågår för närvarande inom projektet The National Standards: Soto Monitoring and Evaluation Project. Projektet genomförs av ett kontrakterat utvärderingsteam och samlar in data från ett urval av skolor under perioden  
 2009-2013 
 23 
 . 
  
 Danmark har under senare år arbetat intensivt med att stärka utvärderingskulturen i skolan. Ett viktigt inslag i detta arbete har varit beslutet om att införa ett nationellt provsystem i folkesko- len 
 24 
 . I samband med detta beslutades även om att det nya systemet skulle utvärderas. Det nationella provsystemet började tillämpas i full skala 2010 och en första utvärdering av systemet genomfördes av det fristående konsultföretaget Ramböll under perioden novem- ber 2012 till september 2013 
 25 
 . 
 I Norge har under de senaste decennierna stora forsknings- baserade utvärderingsstudier genomförts i samband med att de stora skolreformerna Reform 94, Reform 97 och Kunskapslyftet (2006) genomförts. Utvärderingen av Kunskapslyftet var omfattan- de. Enligt uppgift satsades totalt 60 miljoner norska kronor. Under 2009 mottog Utdanningsdirektoratet, utöver ett stort antal delrap- 
  
 21 
  
 Se  
  
 www.gov.uk/contracts-finder 
  
 22 
  
 Centre for Analysis of Youth Transitions, Centre for Understanding Behaviour Change och The Childhood Wellbeing Research Centre. Se DfE:s hemsida. 
  
 23 
  
 Uppgifterna om Nya Zeeland är hämtade från det underlag som lämnats av Nya Zealand i New Zealand Country Background Report (2010) Denna rapport utgör ett av underlagen för OECD:s Review of Evaluation and Assessment in education. New Zealand (2012). 
  
 24 
  
 En mer utförlig redovisning av de initiativ som tagits i Danmark finns i bilaga 5. 
  
 25 
  
 Ramböll (2013)  
 Evaluering af de nationella test i folkeskolen 
 . 
  
 96 
  
 SOU 2014:12 
  
 Reformutvärdering – historik och nuläge 
  
 porter, femton slutrapporter från olika forsknings- och utvärderings- projekt. Projektet resulterade i en nära koppling mellan forskning och policyutformning. Forskningen har haft betydelse dels för att stärka styrningen av skolsektorn (och den har påverkat dess struktur och kultur), dels för att stärka lärarnas och elevernas arbete och lärande, dvs. skolans praxis. Det senare har dock skett i mindre utsträckning än det förra. 
 26 
  
 5.4 
  
 Sammanfattande bedömning 
  
 Karaktäristiskt för reformarbetet i Sverige vid  
 1900-talets 
  mitt var på skolans område att större reformer förbereddes genom omfat- tande utredningar. Reformer som genomförts under de senaste decennierna har ofta föregåtts av utredningar med ett mer begrän- sat utrymme för att på ett mer djuplodande sätt utreda den aktuella frågeställningen, t.ex. genom att initiera utvärdering och forskning eller genom att i förväg pröva tänkta lösningar genom försök eller stegvis införande. Detta innebär inte att det helt saknats utred- ningsinsatser inför reformer eller att det inte genomförts några försöksverksamheter alls. Det finns emellertid också exempel på större reformer från början på  
 1990-talet 
  som genomfördes utan föregående utredning (se bilaga 3). 
 Under de senaste decennierna har det offentliga utrednings- väsendet generellt sett getts en delvis annan roll än det hade tidigare. Utredningstiderna har förkortats och ger inte i samma utsträckning som förr utrymme för att initiera egna utvärderingar eller separata studier av t.ex. forskare. Det är i dag vanligt med direktiv som tydligt anger inriktningen av arbetet. Dessa för- hållanden får ses som en konsekvens av en allt snabbare föränd- ringstakt och krav på snabbare beredningsprocesser 
 27 
 . 
 Samtidigt har ambitionen om att de politiska besluten ska vara evidensinformerade förstärkts. Utredningen menar att skolpoli- tiska reformer har mycket att vinna på att utformas i processer där evidens och utvärdering ges en mer central roll än under de senaste decennierna. För att en sådan ambition ska kunna infrias behöver förutsättningarna för att ta tillvara systematiskt uppbyggd kunskap 
  
 26 
  
 En mer utförlig redovisning av de initiativ som tagits i Norge finns i bilaga 5. 
  
 27 
  
 Se t.ex. Amnå, Watson (2013)  
 Speak truth to Power. Statsvetarna och kommittéväsendet.  
 Stats- vetenskaplig Tidskrift 112 (5). 
  
 97 
  
 Reformutvärdering – historik och nuläge 
  
 SOU 2014:12 
  
 i beslutsprocesserna förbättras. Det kan innebära att dessa behöver ges mer tid än i dag. 
 Det är dock knappast realistiskt, eller ens önskvärt, att åter- vända till situationen vid  
 1900-talets 
  mitt där beredningsproces- serna kunde sträcka sig över mer än ett decennium. Större krav måste därför också ställas på den kunskap som kan fås ur såväl det löpande uppföljnings- och utvärderingssystemet som från annan utvärdering, t.ex. av redan genomförda reformer. Frågan om hur politikens behov av evidens kan matchas med produktionen av forsknings- och utvärderingsresultat har blivit kritisk. Kunskapen måste i hög utsträckning redan finnas på plats när de politiska besluten ska fattas. 
 Det är mot denna bakgrund slående hur litet som hänt över tid när det gäller utvärdering av reformer på skolans område i Sverige. I hög grad gäller fortfarande Hayes konstaterande från början av  
 1970-talet, 
  att det saknas systematiska undersökningar som syftar till att följa upp och utvärdera skolreformer. Förutom de båda utredningar som nyligen tillsatts, och som avser att utvärdera förändringar som skedde för 20 år sedan, har regering och riksdag inte tagit initiativ till någon systematisk utvärdering av de reformer som genomförts under senare år. Stora reformer i Sverige har således genomförts, och genomförs fortfarande, utan att bli föremål för en från början planerad utvärdering, utöver den som sker av informationsinsatserna i implementeringens första fas. 
 Behovet av ett väl fungerande uppföljnings- och utvärderings- system har diskuterats återkommande under åren från  
 1990-talets 
  mitt och framåt, av både forskare och av regeringen. Frågor som aktualiserats handlar om vad systemet ska kunna ge svar på, balansen mellan kvantitativt och kvalitativt inriktad utvärdering, olika nivåers behov av utvärderingsinformation, etc. Det nationella uppföljningssystem som Skolverket svarar för innebär mot denna bakgrund en viktig utveckling jämfört med tidigare, även om det fortfarande finns utrymme för att förstärka systemet, något vi återkommer till i flera av de följande kapitlen. 
 Det uppdrag som Harris fick 2012 att utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet innebär att det tillkommit en aktör med en specialiserad kompetens för just denna typ av utvärdering. Det är värdefullt, men innebär enligt vår bedömning inte att behovet av reformutvärdering är täckt. För utvärdering av reformer behövs enligt vår uppfattning en bredd 
 98 
  
 SOU 2014:12 
  
 Reformutvärdering – historik och nuläge 
  
 både vad gäller utvärderingsdesign och vad gäller de forsknings- discipliner som företräds. Det handlar om både kvantitativt och kvalitativt inriktad utvärdering. 
 När det gäller utvärderingen av skolan och av reformer på sko- lans område finns således, enligt vår uppfattning, fortfarande ett stort utrymme för utveckling som främst har att göra med vilken typ av utvärdering som efterfrågas, men också på hur beställning- arna av utvärdering utformas. 
 Genomgången av regeringens utvärderingsuppdrag till Skolverket visar både på en frånvaro av mer omfattande utvärderingsuppdrag från regeringens sida och på att verket i begränsad omfattning har förutsättningar att ta egna initiativ till större utvärderingar, t.ex. utvärderingar av reformer 
 28 
 . Genomgången visar även att det finns ett behov av ökad tydlighet från regeringens sida när uppdrag ges. Formuleringarna bör vara mer konsistenta och metodiskt med- vetna, så att utföraren inte behöver tveka om huruvida det är en utvärdering som efterfrågas, med de krav det ställer på metod, eller om det är en enklare kartläggning. Att formulera beställningar kräver således en grundläggande metodisk medvetenhet. Det gäller bland annat att formulera utvärderingsbara frågeställningar, utan att för den skull detaljstyra genomförandet. 
 I en internationell belysning kan vi konstatera att Sverige i flera avseenden befinner sig väl framme. Vi har till exempel länge haft ett omfattande uppföljningssystem som försett såväl den centrala nivån som skolhuvudmännen med grundläggande data om kun- skapsresultat och andra prestationer, kostnader samt socioekono- miska bakgrundsdata. 
 I andra avseenden riskerar dock Sverige att hamna på efter- kälken, till exempel vad gäller i vilken utsträckning som olika refor- mer och andra insatser utvärderas och i vilken utsträckning evidens läggs till grund för beslut om reformer och andra förändringar. Medan utvecklingen i många länder har gått mot att sätta utveck- lingsperspektivet främst har tendensen i Sverige under senare år varit att i allt högre utsträckning stärka kontroll- och styrnings- perspektivet. 
  
 28  
 Ett undantag från detta gäller utvärderingen av förskolereformen från 1998 som genom- fördes på Skolverkets initiativ. Utvärderingen redovisades i två rapporter: Skolverkets Rapport 239 (2004)  
 Förskola i brytningstid. Nationell utvärdering av förskolan  
 och Skolverkets rapport 318 (2008)  
 Tio år efter förskolereformen. Nationell utvärdering av förskolan. 
  
 99 
  
 6 
  
 Reformutvärdering – strategi för framtiden 
  
 I detta kapitel diskuteras mer ingående en av de centrala frågorna i utredningens uppdrag, dvs. den om hur reformer på skolområdet bör genomföras för att underlätta utvärdering. En utgångspunkt är iakttagelserna från föregående kapitel, dels att det i dag ofta ges ett begränsat utrymme för ett evidensinformerat beslutsfattande inför att beslut om reformer fattas, dels att det, med några få undantag, inte under överskådlig tid getts några uppdrag att utvärdera de reformer som beslutats. En annan utgångspunkt är att förutsätt- ningarna för, och genomförandet av, reformutvärdering behöver förbättras. 
  
 6.1 
  
 Reformutvärdering och implementering 
  
 Utredningen konstaterade i kapitel 3 att utvärdering är ett mång- facetterat begrepp. Om man dessutom kopplar utvärdering till reformer, på det sätt som görs i vårt uppdrag, finns anledning att betrakta utvärderingen i relation till implementeringen av reformer. I vårt föregående betänkande 
 1  
 presenterades en modell för imple- mentering av reformer, som i sin tur bygger på en rad forskares olika modeller. 
 Modellen består sammanfattningsvis av följande faser: (1)  
 Poli- tikformuleringsfasen  
 som bl.a. omfattar problemformulering och beslut om  
 reform-, 
  implementerings- och utvärderingsstrategi, (2)  
 Processimplementeringsfasen  
 som bl.a. omfattar initiala implemente- ringsinsatser och formativ utvärdering, och (3)  
 Institutionaliserings- fasen,  
 dvs. den fas då reformen implementerats fullständigt och kommer att utgöra en integrerad del i verksamheterna. 
  
 1  
  
 SOU 2013:30  
 Det tar tid – om effekter av skolpolitiska reformer 
 . 
  
 101 
  
 Reformutvärdering – strategi för framtiden 
  
 SOU 2014:12 
  
 Med detta synsätt inleds således implementeringen av reformer redan när problem identifieras och politiken utformas. Implemen- teringen fortgår sedan under hela processimplementeringsfasen och fullföljs när reformerna institutionaliseras. Sammantaget handlar detta om en långvarig process 
 2 
 . När det gäller större skolreformer som till exempel införandet av en ny läroplan kan det handla om från fem till mer än femton år innan en reform kan sägas vara insti- tutionaliserad 
 3 
 . 
 Detta sätt att beskriva en implementering i olika faser kan upp- fattas som självklar när det handlar om politiska reformer beslutade på nationell nivå. Det är dock lätt att förledas att tro att reformer som beslutas i ett  
 top-down-perspektiv 
  enkelt kan hällas genom systemet och kommer att genomföras i verksamheten på det sätt som det var avsett. Detta är naturligtvis inte fallet. Reformers 
 avdrift är ett välkänt fenomen, dvs. varje realiserad reform kom- mer att avvika från intentionerna i större eller mindre utsträckning. Denna avdrift är i själva verket ofta betydande. Att genomföra politiskt beslutade intentioner i en mångfacetterad och komplex verksamhet, som står under korstryck från flera olika håll, är således inte någon enkel och fullt rationell process. Den stora utmaningen för politiska beslutsfattare ligger därför i att försöka påverka det man ytterst vill påverka. 
 Reformutvärdering – före, under och efter 
 Reformutvärdering kan ses i såväl ett  
 före-, 
  under- som efterpers- pektiv. Inför beslut om genomförande av en reform krävs en ordentlig problemanalys och en kvalificerad analys av hur de olika åtgärderna kan förväntas påverka de problem som ska lösas, dvs. en policy- analys eller programteoretisk analys. Det är genom en sådan analys som beslutet om en reform kan sägas bli evidensinformerat. 
  
 Före  
 ett reformbeslut handlar det således om att utgå från utvär- deringar som gjorts av tidigare genomförda reformer, från forsk- ning och särskilda utvärderingsstudier samt från den kunskap som hämtas ur det befintliga utvärderingssystemet. Dessa olika underlag kan ge utgångspunkter för att formulera målsättningar för refor- men samt vägledning om vilka åtgärder som kan förväntas fungera eller inte, vilka oavsedda effekter som kan förväntas uppkomma 
  
 2 
  
 Se vidare SOU 2013:30. 
  
 3 
  
 Mcfarland, Williams 2 till SOU 2013:30  
 Det tar tid – om effekter av skolpolitiska reformer 
 . 
  
 102 
  
 SOU 2014:12 
  
 Reformutvärdering – strategi för framtiden 
  
 etc. Tillsammans med andra underlag kan de bidra till ett evidens- informerat beslutsfattande. Till detta kan även analyser som bygger på olika metoder för att i förväg göra prognoser om kommande utfall bidra, liksom att reformer och reformstrategier testas i förväg genom försöksverksamheter. Utredningen återkommer till frågan om försöksverksamheter i kapitel 8. 
  
 Under  
 implementeringsprocessen kan olika former av formativ utvärdering genomföras. Resultatet av denna utvärdering kan användas för att vid behov genomföra justeringar i reformen eller för att påverka processer som inte fungerar som det varit tänkt. Beroende på reformstrategi kan det under denna fas också vara aktuellt att, på lokal verksamhetsnivå, arbeta med utvecklings- stödjande utvärdering. Under implementeringsprocessen kan också datainsamling genomföras för olika former av summativ utvärde- ring. 
  
 Efter  
 det att en reform implementerats, dvs. när reformen slut- ligen har institutionaliserats, kan en summativ utvärdering ge svar på om reformen gett de resultat som den förväntades att ge. Den kan även bidra med kunskaper om hur verksamheten påverkats, varför det uppstått variationer och avvikelser etc. Detta är kunskaper som behövs inför utformningen av en eventuell ny reform. Summativ utvärdering är med andra ord på nationell nivå ett betydelsefullt sätt att få underlag eller ingångsvärden inför framtida reformer. 
 Vid stora reformer som tar lång tid att institutionalisera, t.ex. läroplansreformer, kan det många gånger vara svårt att genom en summativ utvärdering isolera effekterna av reformen från andra förändringar som skett över tid. Ju längre effektkedjan, eller mål- medelkedjan är, desto svårare är det att fastställa en slutlig effekt eller att mer precist svara på varför vissa effekter har uppstått. 
 Utvärderingen bör planeras i tid 
 Oavsett vilken form av utvärdering det handlar om bör utvärde- ringsinsatserna planeras i tid för att kunna genomföras med god kvalitet för att ge den information som efterfrågas. Enligt betänk- andet  
 Att nå ut och nå ända fram  
 (SOU 2009:94) är en helt avgör- ande förutsättning för effektmätning att det finns en planering redan när en reform sjösätts. Utredningen delar i princip denna uppfattning även om det numera finns avancerade metoder som i vissa fall kan göra det möjligt att initiera en utvärdering i efterhand. 
 103 
  
 Reformutvärdering – strategi för framtiden 
  
 SOU 2014:12 
  
 Att avstå från att från början planera för utvärderingen är dock inte att rekommendera. Dessutom har det sätt på vilket en reform genomförs stor betydelse för hur den kan utvärderas, vilket vi återkommer till längre fram. 
 Det finns dessutom andra typer av utvärderingar som definitivt inte kan initieras i efterhand. Det gäller exempelvis formativ utvär- dering som ska genomföras under implementeringen. Vill man basera utvärdering på t.ex. observationer av hur arbetet i klassrum- met påverkas av en reform kan detta inte heller göras i efterhand. Det kan behövas observationer såväl inför, under som efter refor- men. För att veta hur en viss praxis påverkats av en reform behöver man veta hur denna praxis såg ut innan reformen trädde i kraft. 
 Det behövs ett systemperspektiv 
 I kapitel 3 bedömde utredningen att skolans utvärderingssystem behöver kunna hantera komplexitet och därför bör utvärderas med en mångfald av metoder. Utredningen konstaterar att utvärdering av reformer även förutsätter ett systemperspektiv, dvs. en helhets- syn på systemets olika delar och hur de samverkar. 
 I en amerikansk rapport konstateras att politiska interventioner äger rum i stora, komplexa, dynamiska sociala system. Ett system- perspektiv hjälper beslutsfattare och forskare att tänka brett kring de många effekter som en policy kan skapa och om de sätt som en planerad social intervention interagerar med andra redan existe- rande interventioner och institutionella praktiker. Det är sällan, menar forskarna, som studiet av enskilda komponenter i ett system kan leda till en fullständig förståelse av systemet. 
 4 
  
 Innovationsrådet är inne på likartade tankar och menar i sitt slutbetänkande 
 5  
 att det krävs en  
 systemansats  
 för att hantera komp- lexa samhällsproblem. En sådan ansats kännetecknas enligt rådet av följande: 
  
 Kontinuerligt lärande av vad som fungerar (snarare än att ange mål för vad som ska uppnås) 
  
 4 
  
 Prewitt, White, Meyer and Miron L. Straf. (2012)  
  
 Using Science as Evidence i Public Policy 
 . Committee on the Use of Social Science Knowledge in Public Policy. National Research Council of the National Academies. The National Academies Press. Washington, D.C. 
  
 5 
  
 SOU 2013:40  
 Att tänka nytt för att göra nytta 
 . 
  
 104 
  
 SOU 2014:12 
  
 Reformutvärdering – strategi för framtiden 
  
 Förbättra hela systemets resultat utifrån vad slutanvändarna av systemet anser om utfallet (inte bara vad uppdragsgivare och de som arbetar i systemet anser om resultatet) 
  
 En politisk beslutsprocess som fokuserar på att förbättra själva systemet och dess verksamhetsprocess (snarare än kontroll av enskilda myndigheter och funktioner) 
  
 Ett lyssnande förhållningssätt och involvering av brukare och andra intressenter (i stället för att instruera) 
  
 Att hitta innovativa lösningar för att lösa grundproblemen (snarare än att agera på symptomen) 
  
 Utredningen menar mot denna bakgrund att ett utvärderings- program som utformas ur ett brett systemperspektiv kan bidra till att begränsa det slags stuprörsseende som gärna blir följden när endast en fråga eller delkomponent belyses i taget. En systemansats ökar möjligheterna att belysa relationerna mellan de olika kompo- nenterna, identifiera motsägelsefullheter och konflikter, förklara hur olika aktörers ageranden samspelar och vilka konsekvenser det kan få, samt bidrar till förståelse för varför beslut som kan förefalla rimliga i stället kan motverka syftet. 
 Detta synsätt ligger nära den breda utvärdering av skolan som Moreno m.fl. förespråkade redan på  
 1980-talet 
  och som utred- ningen redovisat i kapitel 5. Han pekade bl.a. på att en alltför ensidigt inriktad resultatutvärdering innebär att alltför många vik- tiga frågor kommer att falla utanför det som studeras och värderas. 
 Moreno menade att det inte räcker med att studera resultaten (elevernas kunskaper) eller det som äger rum i undervisningen 
 (den svarta lådan) var för sig. Utvärderingen behöver också inrik- tas på att granska relationerna mellan det som händer i klassrum- met och de olika slags ramar som finns för verksamheten. Genom att utvärdera reformer i ett sådant systemperspektiv kan en sådan kunskap om systemet och dess funktionssätt uppnås som gör att de ansvariga på olika nivåer med ökad säkerhet kan avgöra vilka för- ändringar som bör göras i vilken situation och vilka avsedda och oavsedda effekter som kan förväntas av den ena eller andra åtgärden. 
 105 
  
 Reformutvärdering – strategi för framtiden 
  
 SOU 2014:12 
  
 6.2 
  
 Reformstrategier och utvärdering 
  
 Vid reformering bör således utvärderingen av en reform designas redan när strategin för själva reformen utformas. I kapitel 2 kons- tateras att evidensinformerad politik kan bedrivas ur såväl ett styr- ningsperspektiv som ett utvecklingsperspektiv. I kapitel 3 har redo- gjorts för olika utvärderingsansatser. Här söker vi knyta ihop detta och närma oss frågan om sambandet mellan reformstrategi och utvärderingsansats. 
 Om reformstrategier 
 En reformstrategi handlar om vilka slags åtgärder man tror kom- mer att påverka en verksamhet i önskad riktning och om de mekanismer man tror kommer att vara verksamma för att åstad- komma denna påverkan. Sådana strategier växer fram utifrån olika föreställningar om vad som gynnar förändring och utveckling och om vilka metoder för statlig styrning som är effektiva. 
 En typ av reformstrategi utgår från uppfattningen att staten genom reformer direkt kan påverka den lokala verksamheten. En förändring ses då som något som sker rationellt, närmast med auto- matik, som en följd av att ett beslut har fattats. Detta är – eller har åtminstone varit – en vanlig utgångspunkt vid statlig styrning. Denna strategi sammanfaller i hög grad med klassisk  
 top-down-inriktad 
  implementering, där utvärderingens roll i första hand blir att bekräfta eller motsäga att den förväntade effekten uppstått samt eventuellt också förklara varför detta skett, så att justeringar av reformen kan genomföras. Utvärderingen förväntas däremot inte ha någon direkt utvecklingsstödjande funktion. Ett stort antal forsk- ningsstudier och utvärderingar runt om i världen har funnit att reformstrategier som vilar på sådana rationella föreställningar har haft begränsade framgångar, särskilt inom komplexa verksamheter som t.ex. utbildning. 
 En annan typ av reformstrategi utgår från uppfattningen att det är svårt att påverka den operativa verksamheten enbart genom t.ex. förändrade styrdokument, dvs. med lagar, förordningar m.m. För- ändring ses här som något som präglas av irrationalitet, intresse- motsättningar, framsteg och misslyckanden i en mer eller mindre oförutsägbar blandning. Staten bör i denna situation inrikta sina initiativ och insatser på åtgärder som har potential att stödja lokala 
 106 
  
 SOU 2014:12 
  
 Reformutvärdering – strategi för framtiden 
  
 utvecklingsprocesser. Styrningen blir då mer indirekt och inriktad på att försöka påverka de grundförutsättningar och villkor som gäller där verksamheten faktiskt bedrivs. Med denna reformstrategi kommer utvärderingens formativa funktion att betonas och, åtmin- stone på verksamhetsnivå, utvärderingen också ges en mer utveck- lingsstödjande funktion. 
 Olika reformstrategier – i Sverige och i omvärlden 
 OECD:s olika granskningar och översikter 
 6  
 visar att regeringarna i flera länder – däribland Nederländerna och Storbritannien – under senare decennier mer och mer övergivit strategin att försöka påver- ka skolans inre arbete med storskaliga, nationella reformer. I stället arbetar man allt mer med att försöka förstärka den lokala nivåns förmåga att själv ta ansvar för sin egen utveckling och prestations- förbättring. 
 Detta byte av reformstrategi kan ses som ett led i övergången från  
 government  
 till  
 governance 
 , en övergång som innebär att poli- tikutvecklingen inte längre enbart utformas av regeringen och riks- dagen – även om det givetvis fortfarande är där som de nationella politiska besluten fattas. Enligt teorin om governance utformas den faktiska politiken i stället i olika nätverk, dvs. av fler aktörer (före- tagare, konsumenter, brukare, verksamhetsföreträdare, etc.). Inslaget av governance anses vara särskilt framträdande i de lokala besluts- processerna. 
 Även Innovationsrådet 
 7  
 konstaterar att mycket tyder på att en hierarkisk och auktoritativ styrning håller på att ersättas av hori- sontella, nätverksliknande och mer egalitära styrmekanismer. 
 Det tycks råda enighet om att samhällsstyrningen har blivit allt mer komplicerad, vilket borde medföra ändrade förutsättningar för, och krav på politikens roll i styrningen. 
 8 
  
 Utredningen kan konstatera att den statliga styrningen av den svenska skolan har förändrats drastiskt under senare decennier. Från att ha haft ett centraliserat skolväsende med ett starkt inslag av  
 regelstyrning  
 övergick staten i början av  
 1990-talet 
  till en decent- raliserad styrning som skulle bygga på en  
 mål- och resultatstyrning 
 . 
  
 6 
  
 Se t.ex. OECD (2013) a.a. 
  
 7 
  
 SOU 2013:40  
 Att tänka nytt för att göra nytta – om perspektivskiften i offentlig verksamhet 
 . 
  
 8 
  
 SOU 2013:40 a.a. 
  
 107 
  
 Reformutvärdering – strategi för framtiden 
  
 SOU 2014:12 
  
 Man kan i efterhand konstatera att denna mål- och resultatstyrning inledningsvis handlade mest om målstyrning för att under senare år få ett ökat fokus på resultatstyrning. Det senare har skapat ten- denser till en recentralisering som skett parallellt med en viss åter- reglering av skolan. Samtidigt har konkurrens mellan skolor införts vilket skapat inslag av en  
 marknadsstyrning.  
 De yrkesverksammas friutrymme genom  
 professionsstyrning  
 har enligt många bedömare minskat. Förändrade styrningsstrategier får givetvis följder för vil- Johnson slags utvärderingsinsatser som behövs. 
 Utvecklingen har lett till att styrningen av skolan i dag karak- täriseras av att många av dessa styrningslogiker lever ett parallellt och i vissa fall kanske ett konfliktfyllt liv. Det ligger dock inte inom vårt uppdrag att utreda konsekvenserna av denna situation annat än utifrån vilka konsekvenser detta har för utvärderingen av skolan. 
 Olika slags reformstrategier samverkar med olika slags reformutvärdering och utvärderingssystem 
 Vilken slags utvärdering som framstår som meningsfull att genom- föra beror givetvis på det konkreta innehållet i den reform som genomförs. Den valda reformstrategin har konsekvenser för vad man behöver få veta om de förändringar som genomförs, vilka data och processer man behöver ha kännedom om, vilka utvärderings- metoder som bör väljas osv. Reformstrategin har även betydelse för valet av implementeringsstrategi. Det är till exempel stor skillnad på implementeringen av en strukturreform och implementeringen av en insats för att stödja lokal skolutveckling. 
 Valet av reformstrategi har dessutom betydelse för vilka slags frågor som kommer att ställas till uppföljnings- och utvärderings- systemet och som detta kommer att förväntas kunna besvara. Utvär- deringssystemet bör därför å ena sidan vara anpassat till aktuella styrningsmodeller och rådande övergripande nationella reformstra- tegier, å andra sidan bör det inte vara konserverande utan kunna följa, och till och med bidra till, utvecklingen av dessa modeller och strategier. Utvärderingssystemets utformning är också beroende av antalet nivåer och aktörer som finns inom skolsystemet. 
 Sammantaget kännetecknas det svenska skolsystemet i dag av många olika typer av aktörer på olika nivåer – offentliga och privata 
 108 
  
 SOU 2014:12 
  
 Reformutvärdering – strategi för framtiden 
  
 – och av att det förekommer sinsemellan olika och delvis mot- stridiga styrningslogiker (se ovan). Detta förhållande har betydelse både för vilken slags utvärderingssystem som behöver utvecklas och för vilket slags frågor som utvärderingarna bör kunna besvara. Utvärderingssystemet måste t.ex. ha kapacitet att samla in data, granska, analysera och värdera/bedöma den variation som ett sådant decentraliserat och pluralistiskt system skapar vad gäller eko- nomiska och rättsliga förutsättningar, olikheter i ansvarsförhål- landen och samverkansformer etc. 
 De huvudinriktningar inom utvärdering som redovisats i kapitel 3, dvs. effektutvärdering och teoribaserad utvärdering, men även de ansatser som utvecklats särskilt för utvärdering av komplexa system, lämpar sig olika väl för att ge svar på olika slags frågor. För att förstå vad som händer i en komplex situation behöver, som tidigare understrukits, utvärderingssystemet ge utrymme för en mång- fald av perspektiv och utvärderingsmetoder. Inte minst bör så kallade  
 mixed methods 
 , där både kvantitativa och kvalitativa metoder utnyttjas, komma till användning. 
 Utvärdering kan främja utveckling 
 Utvärdering kan även användas för att mer explicit främja imple- mentering. Genomförande av en reform gynnas av att det finns en genomtänkt och långsiktig implementeringsstrategi som sträcker sig längre än till den centrala skolmyndighetens initiala imple- menteringsinsatser och som kännetecknas av dialog med den lokala nivån. Ett sätt att skapa dialog är att besluta om en tidig utvärde- ringsinsats som utformas så att den pågår parallellt med den initiala implementeringen och ger de operativt verksamma en möjlighet att bidra med sina erfarenheter dels med avseende på vad som bör beaktas vid utvärderingen, dels i samband med den empiri som samlas in. 
 Ett annat sätt att stärka utvärdering och användning av utvärde- ringsresultat är att utforma en implementeringsstrategi som är inriktad på kapacitetsbyggande insatser såväl på huvudmannanivå som på verksamhetsnivå (skolan) vad gäller att följa, dokumentera och utvärdera sitt eget arbete med implementeringen av reformen. En sådan strategi kan bidra till att öka huvudmännens och de ope- rativt ansvarigas intresse för den nationella utvärderingen. Detta ökar i sin tur förutsättningarna för att resultaten av utvärderingen 
 109 
  
 Reformutvärdering – strategi för framtiden 
  
 SOU 2014:12 
  
 ska tas om hand lokalt. Blackburn 
 9 
 , ledande forskare vid EPPI- Centre vid London University, menar t.ex. att det behövs fler efterfrågestyrda utvärderingar, dvs. utvärderingar som svarar mot verksamhetens behov, för att öka sannolikheten för att utvärde- ringarna ska komma till användning. 
 Ytterligare sätt att stödja utveckling genom utvärdering är att initiera utvärderingar som är utformade som följeutvärdering eller aktionsforskning. 
  
 6.3 
  
 Regeringens och Regeringskansliets arbete 
  
 För att stärka ett evidensinformerat arbetssätt i politikutvecklingen och i styrningen av hur reformer utvärderas behöver arbetsformer- na inom Regeringskansliet utvecklas. Regeringen har det yttersta ansvaret för att efterfråga såväl evidens inför beslut om reformer som utvärdering av genomförda reformer. Regeringen har även ansvaret för att arbetsformer etableras inom Regeringskansliet som bidrar till ett sådant evidensinformerat beslutsfattande och till att uppdrag om kvalificerad utvärdering kommer till stånd. 
  
 6.3.1 
  
 OECD om det centrala regeringsarbetet i Sverige 
  
 OECD har inom ramen för projektet  
 Value for Money in Govern- ment  
 genomfört en studie av det centrala regeringsarbetet i Sverige 
 10 
 . Rapporten innehåller bland annat en analys av den roll som utvär- dering spelar i det svenska regeringsarbetet. 
 Det finns enligt OECD en generell tendens att man på tjänste- mannanivå försvarar existerande program, varför det är viktigt att ministrar själva använder sig av möjligheten att genomföra kritiska utvärderingar. Det primära ansvaret för politiska reformer och pro- gram bör ligga på ansvarig minister snarare än på de verkställande myndigheterna, även om dessa bör vara delaktiga under hela pro- cessen. OECD noterar vidare att Sverige har många utvärderings- myndigheter. 
 OECD konstaterar att såväl Kanada som Storbritannien infört utvärdering som en central aktivitet för hela det departementala 
  
 9 
  
 Meyer, Washington (2007) Artikeln  
 The Evidence for Policy and Practice Information and Coordination (EPPI) Centre, United Kingdom  
 i OECD & lika tillgång till utbildning, lika kvalitet på utbildningen och att utbildningen ska vara kompenserande. 
 23  
 Verket hänvisar till formuleringar i den nya skollagen (2010:800) och läroplanen (Lgr 11) men konstaterar att motsvarande formuleringar fanns även tidigare. 
 Av författningskommentaren till propositionen om den nya skollagen framgår följande: 
 Begreppet likvärdig innebär inte att utbildningen ska vara likformig i betydelsen likadan utan att kvaliteten i verksamheten ska vara så hög att de fastställda målen kan uppnås oavsett var i landet verksamheten bedrivs. Hur verksamheten ska utformas för att nå de fastställda målen 
  
 21 
  
 1 kap. 8 och 9 §§ skollagen (2010:800). 
  
 22 
  
 Se t.ex. Skolverket (2012)  
 Likvärdig utbildning i svensk grundskola? En kvantitativ analys av likvärdighet över tid  
 (Rapport 374) och Fields Broman, Rice och Gonzales (2002)  
 Likvärdighet i en skola för alla. Historisk bakgrund och kritisk granskning  
 (Skolverket) samt Skolverket (1995)  
 Likvärdighet i skolan – en antologi 
 . 
  
 23 
  
 Skolverket (2012 
 ) Likvärdig utbildning i svensk grundskola? En kvantitativ analys av lik- värdighet över tid.  
 Rapport 374. 
  
 135 
  
 Försöksverksamhet – för ökad evidens vid reformer 
  
 SOU 2014:12 
  
 kan variera beroende på lokala behov och förutsättningar. Det finns olika vägar att nå de fastställda målen. Hänsyn ska tas till barnens och elevernas olika förutsättningar och behov. Det finns utrymme för anpassningar av undervisningen och organisationen av utbildningen till behoven hos olika barn och elever, så länge de tillförsäkras lika tillgång till likvärdig utbildning. 
 24 
  
 Skolan ska enligt skollagen även ta hänsyn till olika elevers behov och kompensera för ogynnsamma hemförhållanden och andra olikartade förutsättningar: 
 I utbildningen ska hänsyn tas till barns och elevers olika behov. Barn och elever ska ges stöd och stimulans så att de utvecklas så långt som möjligt. En strävan ska vara att uppväga skillnader i barnens och elevernas förutsättningar att tillgodogöra sig utbildningen. 
 25 
  
 Det likvärdighetsbegrepp som skollagen ger uttryck för ställer krav på verksamhetens kvalitet men ger också utrymme för att verksam- heten kan utformas på olika sätt så länge den strävar efter att nå de fastställda målen. Utredningen slutsats är att likvärdighets- begreppet därigenom inte lägger hinder i vägen för försöksverk- samhet. 
 De rättsäkerhetsfrågor som aktualiseras i samband med försöks- verksamhet rör myndighetsutövning mot enskild. Det är t.ex. tvek- samt om en försöksverksamhet skulle kunna anordnas när det gäller antagning till gymnasieskolan. Det bör dock vara fullt möj- ligt att anordna försöksverksamhet vad gäller olika aspekter av betygssystemet i de årskurser där betygen inte ligger till grund för antagning, t.ex. i årskurserna 6 och 7. Det skulle i så fall göra det möjligt att, i det fall frågan är aktuell, göra kontrollerade experi- ment med olika former av standards för exempelvis antalet betygs- steg i betygsskalan, utformningen av kunskapskraven, etc. Man kan också inom detta område kunna tänka sig ett stegvis införande av förändringar, där exempelvis vissa kommuners skolor får utgöra piloter. 
  
 24 
  
 Prop. 2009/10:165 
  
 25 
  
 1 kap. 4 § skollagen (2010:800). 
  
 136 
  
 SOU 2014:12 
  
 Försöksverksamhet – för ökad evidens vid reformer 
  
 Hur ska skollagens bestämmelse om försöksverksamhet tolkas? 
 I skollagen (2010:800) bemyndigas regeringen eller den myndighet som regeringen bestämmer att få meddela föreskrifter om försöks- verksamhet inom skolväsendet. I sådana föreskrifter får undantag göras från  
 organisatoriska  
 bestämmelser i skollagen. Vidare får undan- tag göras även från andra bestämmelser i skollagen för att möjliggöra en försöksverksamhet med sådan utbildning i gymnasieskolan som inte utgörs av utbildning på nationella program eller introduktions- program. 
 26 
  
 Vad som avses med organisatoriska bestämmelser är dock inte tydligt. Propositionen  
 Den nya skollagen – för kunskap, valfrihet och trygghet  
 (prop. 2009/1:165) ger ingen annan vägledning än att det finns en bestämmelse 
 27  
 i 1985 års skollag med i stort sett identiskt innehåll. De enda förändringarna som gjorts i den nya skollagen är en anpassning till den nya skollagens begrepp; förändringarna påverkar inte det som diskuteras här. 
 I prop. 1985/86:10, som föregick 1985 års skollag, motiveras bestämmelsen med att försöksverksamhet spelar en stor roll inom det offentliga skolväsendet. För viss försöksverksamhet föreligger behov av att kunna göra avsteg från föreskrifter som annars gäller i  
 pedagogiskt och organisatoriskt avseende 
 . I det flesta fall handlar det om avsteg från föreskrifter i t.ex. skolförordningen eller någon läro- plan, men det kan uppkomma behov även av undantag från organisa- toriska bestämmelser i skollagen. 
 I de fall riksdagen bemyndigat regeringen att utfärda en för- ordning inom ett område, så har regeringen enligt denna tolkning, möjlighet att initiera försöksverksamhet och besluta om undantags- bestämmelser på förordningsnivå, oberoende av om det rör sig om avsteg som är av organisatorisk eller pedagogisk karaktär. Det gäller så länge det inte krävs ett undantag även från bestämmelser i skollagen. 
 Bestämmelserna i 1985 års skollag bör bedömas mot bakgrund av att denna lag initialt innehöll en mer omfattande reglering av den kommunala organisationen på skolområdet, medan föreskrifter om t.ex. undervisningens innehåll fanns på lägre nivå i hierarkin med bestämmelser. 
  
 26 
  
 29 kap. 23 § skollagen (2010:800). 
  
 27 
  
 15 kap. 4 § skollagen (1985:1100). 
  
 137 
  
 Försöksverksamhet – för ökad evidens vid reformer 
  
 SOU 2014:12 
  
 Utredningens slutsats är att med stöd av 1985 års skollag skulle försöksverksamhet ha kunnat initieras vid långt fler tillfällen än vad som faktiskt skett under en lång rad av år. 
 Effekter av den nya skollagen 
 2010 års skollag har emellertid påverkat förutsättningarna för att genomföra försöksverksamhet. I skollagen återfinns nu bestäm- melser som med 1985 års skollag var placerade på förordningsnivå. Det framgår av prop. 2009/10:165 att det har varit en medveten strategi att binda fler bestämmelser i lagen. 
 Detta måste enligt vår tolkning innebära att förutsättningarna för regeringen att besluta om försöksverksamhet som inte avser organisatoriska bestämmelser har begränsats. Den omreglering som skett mellan lag och förordning kan alltså ha fått till följd att möj- ligheterna att bedriva försöksverksamhet har minskat utan att detta varit avsikten. 
 Oklart med vad som menas med en organisatorisk bestämmelse 
 Samtidigt som utredningen bedömer att det redan i dag finns ett större utrymme för försöksverksamhet än vad som faktiskt tagits i anspråk, menar vi att innebörden i det i skollagen centrala uttrycket 
 organisatorisk bestämmelse är oklar. 
 Att uttrycket organisatorisk syftar på något som har med organisation att göra, dvs. med en planlagd indelning av en verk- samhet, är uppenbart. Men hur långt kan tolkningen tänjas? Det finns många inslag i en skolverksamhet som  
 också  
 har en orga- nisatorisk aspekt. Medger skollagen då att själva sakfrågan kan beröras av undantag – och därmed bli föremål för försöksverksam- het – eller är det endast den organisatoriska aspekten som kan beröras av undantag? 
 Hur svårt det kan vara att fånga innebörden i begreppet kan illustreras med den förordning som låg till grund för det s.k. tim- planeförsöket. Enligt  
 Förordning om försöksverksamhet med utbild- ning utan timplan i grundskolan  
 (1999:903) fick en skola bedriva undervisning inom ramen för det totala garanterade antalet timmar utan att tillämpa föreskrifterna om antalet timmar för ämnen och ämnesgrupper i bilaga 3 till skollagen (1985:1100). Eftersom tim- 
 138 
  
 SOU 2014:12 
  
 Försöksverksamhet – för ökad evidens vid reformer 
  
 planen utgjorde en bilaga även till 1985 års skollag måste alltså tim- planen ha betraktats som en organisatorisk fråga. I annat fall hade en försöksverksamhet inte kunnat äga rum inom detta område. Timplanen påverkar dock planeringen av undervisningen, varför tolkningen av begreppet organisatorisk i detta fall måste anses som förhållandevis vid. 
 Det finns överhuvudtaget många bestämmelser i skollagen som måste anses ha en eller annan organisatorisk aspekt. Så till exempel kan även ämnena i grundskolan anses utgöra en planlagd indelning av verksamheten i skolan. Samma sak gäller skolans indelning i års- kurser, läsår och terminer. Frågan är dock om det är denna typ av bestämmelser som är mest meningsfullt att göra undantag från i syfte att bedriva försöksverksamhet. 
 Utredningen är tveksam till om begreppet organisatorisk bestäm- melse är tillräckligt tydligt. I fråga om försöksverksamhet är det å ena sidan viktigt att skollagens bestämmelse skyddar det som verk- ligen behöver skyddas från experiment, å andra sidan ger utrymme för försök som bidrar till kunskap om och utveckling av skolan. Enligt vår uppfattning handlar skyddsbehovet i första hand om företeelser som innebär att enskilda elevers rättssäkerhet skulle inskränkas eller försök som allvarligt skulle hota likvärdigheten. Det är t.ex. inte rimligt att tänka sig skillnader i myndighetsutöv- ningen gentemot elever i och utanför ett försök som får konse- kvenser för eleven, t.ex. betygssättning i årskurs 9. 
 När det gäller likvärdigheten vill vi samtidigt påminna om att likvärdighet inte nödvändigtvis innebär att allt ska vara likadant för alla elever, däremot att elever ska erbjudas en likvärdig kvalitet. Samtidigt som begreppet organisatoriska bestämmelser möjliggör vida tolkningar, ser vi en risk för att bestämmelsen också begränsar möjligheten till försök som skulle vara till stor nytta, särskilt inför reformer och större förändringar i styrningen av skolan. 
 139 
  
 Försöksverksamhet – för ökad evidens vid reformer 
  
 SOU 2014:12 
  
 8.6 
  
 Möjligheterna att bedriva försöksverksamhet bör tillvaratas 
  
 Utredningens bedömning:  
 Försöksverksamhet är ett sätt att underlätta utvärdering av reformer som i ökad utsträckning bör tillvaratas. Kunskaper och erfarenheter som vinns genom för- söksverksamhet kan bidra till att lägga en grund för långsiktigt bärkraftiga beslut. 
 Nuvarande bestämmelse i skollagen om försöksverksamhet är oklar varför det är angeläget att frågan utreds. En fråga är vad som avses med organisatoriska bestämmelser, en annan är vilken typ av bestämmelser i skollagen regeringen faktiskt ska få besluta om undantag för genom att inrätta försök. 
 Fördelarna med försöksverksamhet framstår på många sätt som uppenbara. Innovationsrådet 
 28  
 menar t.ex. att verkligheten är så komplex och föränderlig att det är svårt att till fullo förutsäga vad olika förändringar får för konsekvenser och hur människor reagerar på en viss åtgärd eller reform. Genom att förslag prövas på riktigt inom ramen för försöksverksamheter ges värdefull information inför beslut om ett permanent och nationellt införande av ett visst förslag. Rådet föreslår därför att instrumentet försöksförfattningar ska användas mer systematiskt för att pröva nya lösningar. 
 Utredningen menar att den dagliga verksamheten i skolan lång- siktigt har mycket att vinna på att skolpolitiska reformer beslutas efter en noggrann prövning och i bred politisk enighet. Brist på kunskap leder till att frågor som till sin karaktär i grunden är empiriska i stället ideologiseras. Kunskaper och erfarenheter som vinns genom försöksverksamhet kan bidra till att i stället lägga en grund för långsiktigt bärkraftiga beslut. Användning av försöks- verksamhet är därför ett sätt att underlätta utvärdering av reformer som bör tillvaratas. Regering och riksdag bör, enligt vår uppfatt- ning, i högre grad utnyttja möjligheten att genomföra försöksverk- samheter inför reformer. 
 Regeringen har möjlighet att fatta beslut om försöksverksamhet när det gäller frågor där riksdagen har bemyndigat regeringen att besluta om bestämmelser. I praktiken innebär det att regeringen kan besluta om försök inom en rad viktiga områden, naturligtvis under förutsättning att försöket inte innebär att enskilda elevers 
  
 28  
  
 SOU 2013:40  
 Att tänka nytt för att göra nytta – om perspektivskiften i offentlig verksamhet. 
 140 
  
 SOU 2014:12 
  
 Försöksverksamhet – för ökad evidens vid reformer 
  
 rättssäkerhet påverkas negativt eller att försöket allvarligt skulle påverka likvärdigheten. En försöksverksamhet i samband med att grundskolans kunskapskrav utformades inför Lgr11 hade exempel- vis kunnat komplettera de utprovningar som genomfördes och gett viktiga erfarenheter som i sin tur kunnat påverka den slutliga utform- ningen av kraven. Självklart hade inte ett sådant försök kunnat genomföras för årskurs 9, eftersom eleverna ska söka till gymnasie- skolan på sina betyg från denna årskurs. Man hade i stället fått välja t.ex. årskurs 7 i ett urval skolor eller ett stegvis införande, med möjlighet till justeringar innan betyg skulle sättas för elever i års- kurs 9. Ett sådant förfaringssätt hade dock krävt något mer tid för att nå fram till den slutliga utformningen. 
 För frågor som regleras i skollagen bör enligt vår uppfattning huvudalternativet vara att det är riksdagen som på regeringens förslag ska besluta om en försöksverksamhet. Vi menar att det är fullt möjligt att tänka sig sådana försök. 
 Vad utredningen uppfattar som problematiskt med nuvarande regelverk gäller dagens bestämmelse i skollagen om att regeringen eller den myndighet som regeringen bestämmer får meddela före- skrifter om försöksverksamhet inom skolväsendet och att regeringen därvid får besluta om undantag från  
 organisatoriska  
 bestämmelser i skollagen. Vi konstaterar att det är högst oklart vad bestämmelsen egentligen syftar till. En fråga är vad som avses med organisatoriska bestämmelser, en annan lika viktig fråga är vilken typ av bestäm- melser i skollagen som regeringen faktiskt ska få besluta om undan- tag för genom att inrätta försök. 
 Utredningen har inte haft möjlighet att närmare utreda de juridiska och etiska förutsättningarna för detta, men anser att det är angeläget att frågan utreds. 
 141 
  
 9 
  
 Systemet för att följa kunskaps- resultat  
  
 –  
 utvecklingsbehov 
 I detta kapitel fokuserar vi i första hand på hur förutsättningarna för att följa kunskapsutvecklingen i den svenska skolan kan för- bättras, dvs. för att följa trender. Trendmått av god kvalitet utgör ett viktigt underlag, bland andra underlag, för att det ska vara möjligt att följa resultatet av skolreformer. Det bör dock under- strykas att trendmått av detta slag inte utgör en förutsättning för exempelvis effektutvärdering. För sådan utvärdering ställs i stället andra kvalitativa krav på data som vi återkommer till i kapitel 10. 
  
 9.1 
  
 Dagens nationella system för kunskaps- bedömning 
  
 Att ha tillgång till statistik som belyser utvecklingen av skolans kunskapsresultat, dvs. om skolans prestationer förbättras eller för- sämras mellan olika år, är central vid uppföljningen av skolpolitiska reformer. Det visar inte minst intresset för resultaten på de inter- nationella studierna. Uppföljning av kunskapsresultat i den svenska skolan sker genom betygssystemet, genom de nationella proven och genom deltagandet i internationella studier. 
 Utredningen har redan i sitt delbetänkande 
 1  
 konstaterat att det är tveksamt att använda betyg eller mått som baseras på betyg för att mäta trender. Det nationella provsystemet har visserligen många syften, men är inte heller det utformat på ett sådant sätt att det möjliggör trendmätning. I dag är det därför endast de internatio- nella studierna som har en sådan utformning och kvalitet att de kan utgöra underlag för att följa kunskapsutvecklingen över tid i den svenska skolan, dvs. att följa trender. Vi menar att detta är ett problem 
  
 1  
  
 SOU 2013:30  
 Det tar tid – om effekter av skolpolitiska reformer 
 . 
  
 143 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 SOU 2014:12 
  
 eftersom de internationella studierna endast mäter utvecklingen i vissa ämnen och endast täcker vissa av de mål som återfinns i de svenska styrdokumenten. 
  
 9.1.1 
  
 Nationella prov och betyg  
  
 –  
 lämpar sig inte som grund för trendmätning 
 Här redogör vi inledningsvis för varför vi anser att betyg och natio- nella prov med nuvarande utformning  
 inte  
 lämpar sig som underlag för trendmätning. 
 De nationella proven 
 I kapitel 4 redogörs för huvuddragen i det nationella provsyste- met 
 2  
 – eller med den benämning Skolverket använder, det natio- nella systemet för kunskapsbedömning – och konstaterar att detta utformats för att tillgodose en rad olika syften 
 3 
 . Systemet ska 
  
 - 
  
 bidra till ökad måluppfyllelse för eleverna, 
  
 - 
  
 förtydliga målen och visa på elevers starka och svaga sidor, 
  
 - 
  
 konkretisera kursmål och betygskriterier, 
  
 - 
  
 stödja en likvärdig och rättvis bedömning och betygssättning och 
  
 - 
  
 ge underlag för en analys av i vilken utsträckning kunskapsmå- len nås på skolnivå, på huvudmannanivå och på nationell nivå. 
  
 Skolverket poängterar numera, på sin websida och i kontakt med de institutioner som utvecklar de nationella proven, att de båda sista strecksatserna utgör huvudsyftena för just de nationella proven, men att proven även kan bidra till att de övriga syftena uppfylls. För dessa övriga syften hänvisar man samtidigt till systemets övriga bedömningsstödjande inslag. 
 I trendmätningssammanhang är det den sista punkten som har relevans, dvs. att de nationella proven ska ge underlag för analys på olika nivåer i systemet. Det bör observeras att det inte ursprungli- gen har angetts som syfte för provsystemet att det ska bidra till trend- 
  
 2 
  
 Utredningen har även redovisat omfattningen av det nationella provsystemet och effekter av olika slags prov i delbetänkandet  
  
 Det tar tid – om effekter av skolpolitiska reformer  
 (SOU 2013:30). 
  
 3 
  
 U2004/5293/S, U2005/8381/G, U2006/8951/S, U2008/1045/SV och U2008/2645/S. 
  
 144 
  
 SOU 2014:12 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 analys. Regeringen konstaterar också i november 2011 i ett uppdrag 
 4  
 till Skolverket att de nationella proven inte i nuläget är utformade för att mäta kunskapsutvecklingen över tid. Av uppdraget framgår dock att det är något som nu förväntas. Enligt vår bedömning kräver dock en sådan förväntan mer genomgripande förändringar av systemet än vad regeringens uppdrag ger vid handen, vilket vi åter- kommer till längre fram. 
 Frågan om trendmätning är statistiskt komplicerad och har belysts mer på djupet av andra författare än vi kan göra här 
 5 
 . Några fakto- rer bör dock lyftas fram. 
 Ett grundläggande krav på varje prov måste vara att  
 proven har både god validitet och god reliabilitet 
 . Det gäller oberoende av om de ska ligga till grund för trendmätning eller inte. Med validitet avses giltigheten i det mått som används, dvs. hur väl måttet mäter det som det avser att mäta 
 6 
 . Med reliabilitet avses tillförlitligheten hos mätningen, dvs. att upprepade mätningar ger samma resultat, obe- roende av vem som genomför mätningen. 
 För att därutöver kunna utgöra grund för just trendmätning krävs bl.a. 
  
 - 
  
 att proven är stabila över tid, dvs. att varje nytt prov innehåller ett antal uppgifter som ingått i tidigare prov, s.k. ankaruppgifter, 
  
 - 
  
 att antalet frågor räcker för att få en tillräcklig täckning av det aktuella ämnets innehåll, samt 
  
 - 
  
 att innehållet i kursplaner och utformningen av betygssystemet i huvudsak är stabila över tid, så att det är samma kunskaper och kunskapsnivåer som jämförs. 
  
 Dagens nationella prov svarar inte mot samtliga dessa krav, helt enkelt för att de inte i första hand är utformade med trendmätning för ögonen. Flera av faktorerna ovan står dessutom i konflikt med vissa av det nationella provsystemets nuvarande syften. Bland annat 
  
 4 
  
 Skolverket (dnr. 2011/6543/S)  
  
 Uppdrag om nationella prov 
 . 
  
 5 
  
 Se t.ex. Cole,  
  
 Chen(2006)  
 Ramverk för ett system för uppföljning av kunskaps- utvecklingen i grundskolan 
 , Underlag utarbetat på uppdrag av Skolverket  
  
 2006-05-06, 
  
  Skolverkets rapport 286 (2006)  
 Rullande stickprovsbaserat system för kunskapsutvärdering av grundskolans ämnen  
 samt Cole,  
  
 Johnson, 
  
  Alvarado och Chung (2014)  
 Likvärdig kunskapsbedömning i och av den svenska skolan – problem och möjligheter 
 . SNS Förlag. 
  
 6 
  
 Man talar t.ex. om att det föreligger god innehållsvaliditet om ett prov på ett bra sätt åter- speglar den kunskap som eleven ska ha tillägnat sig enligt kursplanen. 
  
 145 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 SOU 2014:12 
  
 Skolverket har vid flera tillfällen 
 7  
 framhållit svårigheterna att möta alla dessa syften med ett enskilt instrument på grund av de inbygg- da konflikter som finns mellan dessa olika syften. 
 Ankaruppgifter kan inte vara offentliga 
 Den första punkten, att systemen ska innehålla ankaruppgifter som kan återanvändas och därmed bidra till att resultaten blir jäm- förbara över tid, är kanske det viktigaste. Den står dock i konflikt med andra syften för provsystemet. 
 Skolverket pekar t.ex. i en rapport till regeringen 
 8  
 på att det finns en konflikt mellan den öppna publicering av provuppgifterna som krävs för att proven ska kunna fungera förebildligt för lärarna och det hemlighållande av provuppgifterna som krävs för att kunna mäta trender. Verket menar att ett bedömningssystem som präglas av stor öppenhet uppmuntrar till dialog och reflektion i undervis- ningssituationen mellan elever samt mellan lärare och elever. Man menar att fler öppet tillgängliga delar i bedömningssystemet på ett bättre sätt än i dag skulle bidra till att föräldrarna blir delaktiga i sina barns lärande. 
 Samtidigt måste enligt Skolverket delar av systemet av kostnads- skäl vara behörighetsskyddat, dvs. ha begränsad tillgänglighet, för att kunna återanvändas. Till de delar av systemet som därför måste vara behörighetsskyddat hör de som har det uttalade syftet att vara summerande eller betygsstödjande, dvs. de nationella proven. 
 Konsekvensen av detta är att de nationella proven inte kan fylla den förebildliga och konkretiserande roll i förhållande till lärare och elever som sedan länge varit ett av syftena med provsystemet. 
 De nationella proven har för få frågor 
 Det svenska provsystemet kännetecknas av att varje prov görs av samtliga elever i den aktuella årskullen. Det kan låta motsägelsefullt att dessa prov inte kan utgöra underlag för trendmätningar, utan att stickprovsundersökningar i stället är att föredra. 
 För att det ska vara möjligt att använda proven för trendmätning ställs emellertid särskilt stora krav på att proven vid varje tillfälle 
  
 7 
  
 Skolverket  
  
 2009-04-27(dnr. 
  2009:337) och  
 2012-10-19 
  (dnr. 2011:1242). 
  
 8 
  
 Skolverket  
  
 2009-04-27(dnr. 
  2009:337). 
 146 
  
 SOU 2014:12 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 har en god täckning av målen i det aktuella ämnet. Annars riskerar man att resultaten på proven varierar mellan olika år, inte på grund av att elevernas kunskaper varierar, utan på grund av att proven haft olika fokus olika år. I praktiken visar sig detta redan i dag, genom att resultaten på nationella prov varierar mellan olika år, väsentligt mer än betygsresultaten. För att det ska vara möjligt att genomföra trendmätningar krävs därför att proven omfattar ett stort antal frågor som täcker väsentliga delar av kursplanernas centrala innehåll och kunskapskvaliteter. Det handlar om avsevärt fler frågor än en och samma elev kan besvara på ett prov. 
 Många länder, liksom de internationella studierna, har löst detta genom att utforma sina nationella prov som randomiserade stick- provsundersökningar, där olika elever löser olika uppgifter sam- tidigt som den samlade bilden blir tillförlitlig. En studie kan då totalt sett omfatta många uppgifter, medan varje elev bara behöver besvara ett mindre antal. I ett sådant stickprovsbaserat system kan sedan resultatet, genom s.k. matrissampling 
 9 
 , vägas samman till ett statistiskt representativt mått som kan användas för att följa tren- der. I ett nationellt provsystem som det svenska, utformat utifrån andra syften, är detta inte möjligt. 
 Styrdokumenten och bedömningssystemet är inte stabila över tid 
 Om man ska mäta trender är det vidare betydelsefullt att objektet för mätningen är stabilt, dvs.  
 när man vill mäta förändring, för- ändra inte måttstocken. 
  
 10  
 I Sverige är betyg ett mått på hur väl eleverna nått målen i styrdokumenten. Förändras måttet, eller det som måtten refererar till, bryts jämförbarheten över tid. Det är således en fördel ur ett utvärderingsperspektiv om styrdokumen- ten, dvs. läroplaner och kursplaner, samt betygssystemet är stabila över tid. Detta är dock förhållanden som inte kan påverkas inom ramen för hur provsystemet utformas. 
  
 9 
  
 Uppgifterna i testet upp i olika versioner av testformuläret på ett sådant sätt att olika elever besvarar delvis olika uppgifter samtidigt som det görs en viss överlappning mellan de upp- gifter som erbjuds olika elever. Balanced Incomplete Block (BIB) är en design för detta som beskrivs i rapporten  
  
 Ramverk för ett system för uppföljning av kunskapsutvecklingen i grund- skolan  
 (2006) av  
 Sanchez. 
  
 10 
  
 When measuring change, do not change the measure. Påpekandet formulerades av 
  
 Ramirez och Hernandez i artikeln  
 Disentangling the NAEP  
 1985-86 
  reading anomaly  
 (NAEP Rep. No.  
  
 17-TR-21) 
  
  Princeton NJ: Educational testing service. 1990. Här citerad efter  
  
 Gibbs (2006)  
 Ramverk för ett system för uppföljning av kunskapsutvecklingen i grund- skol 
 an. 
  
 147 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 SOU 2014:12 
  
 Betyg 
 Som nämnts ovan är på nationell nivå de genomsnittliga betygs- resultaten mer stabila över tid än de genomsnittliga resultaten från de nationella proven. Hur stora variationerna är varierar för olika ämnen, men förhållandet indikerar att de genomsnittliga betygs- resultaten sannolikt är mer rättvisande än resultaten från de nationella proven. Orsaken till detta kan bl.a. vara att prov vid ett enstaka tillfälle mäter en mer begränsad del av ett ämnes kunskapsinnehåll än den bedömning som läraren gör. Lärarens bedömning fångar elevens kunskaper bredare och tar dessutom hänsyn till elevens prestationer över tid. 
 Detta innebär dock inte att betygen fungerar tillräckligt bra för att mäta trender. Ett problem är den betygsinflation som forskare pekar på  
 11 
 . Även Skolverket konstaterade våren 2012 att det empi- riska underlaget ger tydliga indikationer på att betygsinflation har förekommit i både grundskolan och gymnasieskolan sedan slutbe- tyg började utfärdas enligt det målrelaterade betygssystemet i slutet av  
 1990-talet. 
  I grundskolan var den starkast under de första åren efter 1998, för att sedan minska över tid. Minst var betygsinfla- tionen i ämnen där det förekommer nationella prov. 
 12 
  
 Det bör observeras att denna analys avser perioden innan den nya betygsskalan infördes hösten 2011. Erfarenheten från 1990- talet pekar på att det nu finns en risk för att lärare initialt är för- siktiga med sin betygssättning, för att sedan successivt utnyttja hela betygsskolan. Detta kan nu återigen komma att leda till en kraftigare betygsinflation. Det kan dock även finnas andra orsaker till betygsinflation, exempelvis konkurrensen om elever till följd av det fria skolvalet och allt starkare påtryckningar från elever och föräldrar. 
 Utredningen bedömer sammantaget att det faktum att betygsys- temet inte är stabilt över tid, samt att det av olika orsaker finns risk för betygsinflation, innebär att betyg inte lämpar sig som underlag för att studera trender. Betygresultat kan dock användas för andra analyser, t.ex. prognosticerar de bättre för kommande studiefram- gångar än de nationella proven. 
 Som utredningen pekat på redan i delbetänkandet är det för när- varande särskilt olämpligt att använda betygsresultat för att följa 
  
 11 
  
 Cole,  
  
 Johnson, 
  Alvarado och Chung (2014)  
 Likvärdig kunskaps- bedömning i och av den svenska skolan – problem och möjligheter 
 . SNS Förlag. 
  
 12 
  
 Skolverket (2012)  
 Betygsinflation – betygen och den faktiska kunskapsutvecklingen  
 (dnr. 2012:387). 
  
 148 
  
 SOU 2014:12 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 trender. Anledningen till detta är att betygssättningen påverkas av de reformer som nyligen genomförts och som gör att såväl kurs- planer och kunskapskrav som betygsskalan är nya. Erfarenheten visar att det tar tid innan nya bedömningssystem sätter sig och innan lärare använder hela betygsskalan på det sätt som är avsett. 
 Sammantaget 
 Varken de genomsnittliga betygsresultaten eller resultaten från de nationella proven lämpar sig för att ligga till grund för trend- mätning. Betygen har visserligen en lägre volatilitet än provresul- taten, men är ändå behäftade med problem vad gäller likvärdigheten mellan olika grupper och skolor samt med betygsinflation. 
 Flera av de syften som är knutna till de nationella proven gör att dessa genomförs av samtliga elever i årskullen. Ett sådant prov, utformat lika för samtliga elever, kan inte omfatta ett tillräckligt stort antal frågor för att ge tillräckligt god validitet för trendmät- ning. De nationella proven är helt enkelt utformade för andra syften än att ligga till grund för trendmätning och har därför ett begränsat värde i samband med utvärdering av reformer. 
 Det bör samtidigt understrykas att både betyg och nationella prov har andra viktiga funktioner vid olika former av utvärdering, t.ex. effektutvärdering. Både betyg och nationella provresultat kan t.ex. ligga till grund för olika former av tvärsnittsanalyser och för longitudinella studier (se vidare kapitel 10). Betygen är också den bästa indikatorn vi har på elevers framtida yrkesframgång. Det betyg och nationella provresultat inte duger till är att uttala sig om hur kunskapsnivån utvecklas på nationell nivå över tid. 
  
 9.1.2 
  
 Internationella studier – de enda instrument som i dag kan mäta kunskapsresultat över tid 
  
 Utredningen har i kapitel 4 redovisat Sveriges deltagande i olika internationella studier. Som ett resultat av en ständigt pågående metodutveckling bygger de internationella studierna i dag på en avancerad statistisk modellering. De internationella studierna har ett gott anseende bland experter, bl.a. beroende på att proven hela tiden debatteras och till följd av det utvecklas. 
 149 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 SOU 2014:12 
  
 Debatten handlar bland annat om vad de mäter och inte mäter, hur resultaten presenteras och hur de kan förstås. En vanlig invänd- ning är att proven är konstruerade utifrån ett ramverk som definierar huvudstrukturen av kunskaper och färdigheter inom ett område, anger vilka typer av uppgifter som skall användas, hur stor andel av det totala antalet uppgifter en viss uppgiftstyp skall utgöra osv. 
 13 
  
 Detta ramverk överensstämmer mer eller mindre väl med de del- tagande ländernas nationella läro- och kursplaner. 
 14  
 Skolverket har dock analyserat överensstämmelsen mellan de internationella studierna och de svenska kursplanerna och funnit att den överlag är god. 
 15  
 Där överensstämmelsen inte är perfekt kompletterar dess- utom PISA och TIMSS varandra. 
 16 
  
 Ett problem med de internationella studierna är att de omfattar ett begränsat antal ämnen, fokuserar ett begränsat kunskaps- innehåll och genomförs med olika periodicitet och i olika årskurser under grundskoletiden. PIRLS fokuserar på läsförmågan i årskurs 4 och genomförs vart femte år. TIMSS fokuserar matematik och naturvetenskap i årskurs 4 och årskurs 8 och genomförs vart fjärde år. PISA mäter  
 15-åringars 
  kunskaper (årskurs 9) i läsning, mate- matik och naturvetenskap och genomförs vart tredje år. 
 Det finns dessutom risk för både missförstånd och övertolk- ningar eftersom de internationella studierna i dag bygger på så avancerade statistiska metoder att de inte ens behärskas av alla fors- kare och att resultaten presenteras i former som kan vara svåra att tillgodogöra sig även för dem som arbetar inom utbildnings- området. 
 17 
  
 Trots att invändningar av olika slag alltså har rests mot de inter- nationella studierna drar utredningen ändå slutsatsen att de i dag utgör den enda källan för bedömning av hur den svenska skolans kunskapsresultat utvecklas över tid. De ger dock en bild av svenska elevers kunskaper som är begränsad till vissa ämnen och förmågor, vilket aktualiserar frågan om hur ett framtida nationellt system bör utformas. 
  
 13 
  
 Cole,  
  
 Ross(2006) a.a. 
  
 14 
  
 Skolverket (2004)  
 Internationella studier under 40 år. Svenska resultat och erfarenheter 
 . 
  
 15 
  
 Skolverket (2006b). Med fokus på läsförståelse – En analys av skillnader och likheter mellan internationella jämförande studier och nationella kursplaner. Skolverkets aktuella analyser 2006. Stockholm: Skolverket och Skolverket (2006c). Med fokus på matematik och naturvetenskap – En analys av skillnader och likheter mellan internationella jämförande studier och nationella kursplaner. Skolverkets aktuella analyser 2006. Stockholm: Skolverket. 
  
 16 
  
 Cole,  
  
 Johnson, 
  Alvarado och Chung (2014)  
 Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter 
 . SNS Förlag. 
  
 17 
  
 Cole,  
  
 Ross(2006) a.a. 
 150 
  
 SOU 2014:12 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 9.2 
  
 Användningen av nationella prov i andra länder 
  
 Utredningen har besökt Danmark, Finland, Norge och Skottland och diskuterat hur man i dessa länder arbetar med att samla in och bearbeta information om elevers kunskapsresultat som ett led i län- dernas utvärdering av skolans resultat. Samtliga dessa länder deltar i någon eller i flera av de internationella studierna, vilket ger viss information om trender. Flera länder har också examensprov, vilka dock knappast ger underlag för att följa kunskapsutvecklingen över tid. Liksom de nationella proven i Sverige kan examensproven inte täcka ett ämnes samtliga mål. Vi har därför uppehållit oss särskilt vid de olika ländernas nationella prov eller tester, vilka kan utgöra komplement till de internationella studierna. 
 En skillnad mellan länderna gäller om de nationella proven eller testerna liksom i Sverige omfattar samtliga elever i berörda års- kurser, eller om testerna baseras på stickprov. I Finland och Skottland baseras de på stickprov. Orsaken är att syftet med dessa prov i första hand är att ge en nationell bild av kunskapsläget. I Finland åter- rapporteras resultaten från proven till kommunen och skolan, men endast på skolnivå och inte för enskilda elever. Varje skola får en sådan återkoppling om läget i förhållande till riket minst vart femte år. I Skottland görs ingen sådan återkoppling till den enskilda deltagande skolan. 
 I Danmark och Norge genomförs de nationella proven eller testerna för samtliga elever i berörd årskurs. I båda länderna är det primära syftet med proven att fungera som ett pedagogiskt verktyg för läraren samt att vara en utgångspunkt för skolans kvalitets- arbete. I Danmark sammanställs dock en nationell prestationsprofil som publiceras en gång varje år. 2013 redogörs för utvecklingen från året innan. I Norge publiceras resultat från de nationella proven på nationell nivå, men man understryker samtidigt att proven inte är avsedda för att beskriva utvecklingen över tid. Trendmätande prov har dock nyligen introducerats i matematik och engelska. 
 Gemensamt för länderna är att proven genomförs för ett stra- tegiskt urval av ämnen samt att provuppgifterna inte publiceras och därmed kan återanvändas. Gemensamt är också att proven inte är av  
 high-stakeskaraktär, 
  dvs. resultaten har ingen omedelbar bety- delse för deltagande skolor, lärare och elever vad gäller t.ex. resurs- fördelning eller betyg. I flera av länderna finns dock, som nämnts ovan, examensprov som är av  
 high-stakeskaraktär. 
  
 151 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 SOU 2014:12 
  
 9.3 
  
 Tidigare förslag om rullande stickprovsbaserad utvärdering av elevernas kunskapsresultat 
  
 Skolverket har redan 2006 i en rapport med anledning av ett rege- ringsuppdrag redovisat ett förslag till ett framtida nationellt stick- provsbaserat system för kunskapsutvärdering av grundskolans ämnen. 
 18  
  
 RossEdwards rapport  
 Ramverk för ett system för upp- följning av kunskapsutvecklingen i grundskolan 
  
 19  
 utgjorde ett underlag för denna rapport från Skolverket. 
 Gustafssons rapport är den grundligaste genomgång av förut- sättningarna för ett system för mätning av kunskapsutvecklingen över tid (trendmätning) som gjorts i Sverige. Cole redogör bland annat för hur extern kunskapsbedömning och mätning, dvs. bedömning som initieras och genomförs av andra än av den under- visande läraren, vuxit fram med USA som föregångsland och hur de landvinningar som gjorts inom statistisk modellering och psykometri utnyttjats vid utformningen av den återkommande utvärderingen av amerikanska skolbarns kunskaper (National Assessment of Educa- tional Progress, NAEP) och därifrån förts vidare till de olika inter- nationella studier som utvecklats av IEA (TIMSS och PIRLS) och OECD (PISA). 
 En av Edwards slutsatser är att det tycks vara nödvändigt att använda sig av flera olika utvärderingsformer samtidigt vid kun- skapsbedömning. För att mäta trender föreslår Cole att ett stickprovsbaserat system för kunskapsbedömning på nationell nivå införs. Stickprovsbaserade prov har, enligt Cole, flera för- delar jämfört med prov där samtliga elever i en årskurs deltar: de kan utformas så att de har hög validitet i förhållande till läroplanens samlade kunskapsmål utan att de samtidigt blir alltför omfattande för varje enskild elev, de minskar risken för allmän provtrötthet och de eliminerar risken för att lärarna börjar anpassa sin under- visning till proven  
 (teach–to 
 the–test). 
  
 I rapporten  
 Rullande stickprovsbaserat system för kunskapsutvär- dering av grundskolans ämnen 
 20  
  
 menade Skolverket att det förslag som Cole lämnat skulle bli alltför kostsamt för ett litet land som Sverige, både i uppbyggnadsskedet och i en tänkt mer regel- 
  
 18 
  
 Skolverket (2006)  
 Rullande stickprovsbaserat system för kunskapsutvärdering i grundskolans ämnen.  
 Rapport 286. 
  
 19 
  
 Denna rapport är publicerad som appendix till Skolverkets rapport  
  
 Ett rullande stickprovs- baserat system för kunskapsutvärdering av grundskolans ämnen 
 . Rapport 286. Skolverket 2006. 
  
 20 
  
 Skolverket (2006). Rapport 286. Rapporten utgjorde en bilaga till Skolverkets redovisning av ett regeringsuppdrag avseende resultatinformation givet  
  
 2004-12-22. 
  
 152 
  
 SOU 2014:12 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 bunden driftssituation. Skolverket föreslog i stället att de interna- tionella kunskapsmätningarna ska integreras i en nationell strategi och helt eller delvis ersätta nationella mätningar inom de kunskaps- eller ämnesområden de mäter. I de fall en internationell studie står i rimlig överensstämmelse med intentioner och ambitioner i de nationella måldokumenten, skulle således de internationella studierna ersätta nationella mätningar och nationella stickprovsundersök- ningar genomföras endast som komplement till de internationella studierna. Skolverket ansåg att sådana nationella undersökningar borde göras i ett fåtal strategiskt valda ämnen där det nationella kunskapsbehovet inte täcks av internationella studier eller av andra skäl bedöms som särskilt angeläget. En förutsättning för Skolverkets förslag är att Sverige fattar ett långsiktigt beslut om att delta i de internationella studierna och inte som nu förutsättningslöst prövar deltagandet inför varje enskilt tillfälle. Regeringen har inte reagerat på Skolverkets förslag, vilket innebär att något särskilt uppdrag att genomföra denna typ av stickprovsundersökningar inte har lämnats. 
 Det bör i sammanhanget uppmärksammas att det är möjligt för ett land att i samband med en internationell studie utöka urvalet av elever för att möjliggöra mer fördjupade analyser av resultaten, t.ex. för olika elevgrupper eller olika kommuntyper etc. Det är också möjligt att lägga till egna frågor utöver dem som ingår i den inter- nationella undersökningen för att få en mer nationellt anpassad belysning av ämnet ifråga. I båda fallen är detta förknippat med kostnader. Att tillföra extra frågor kan dessutom påverka elevernas motivation att lösa uppgifterna i negativ riktning. Att proven inte redovisas tillbaka till skolan eller eleverna riskerar att påverka både elevernas och lärarnas engagemang för proven negativt. 
  
 9.4 
  
 Förslag till utveckling av systemet för att mäta trender 
  
 Utredningens förslag:  
 Ett system införs med stickprovsbaserade undersökningar för trendmätning, som kompletterar de internatio- nella studierna. Ett sådant system skulle förbättra möjligheterna att följa kunskapsutvecklingen i den svenska skolan. Systemet bör ha en bredd med avseende på både de ämnen och de kun- skapskvaliteter som mäts. 
  
 153 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 SOU 2014:12 
  
 En utredning föreslås med uppdrag att i ett sammanhang utforma ett system för trendmätning genom stickprovsunder- sökningar och att utreda det framtida systemet för utvärdering av kunskapsresultat i sin helhet. Arbetet bör i den senare delen inriktas på vilka syften som kan och ska knytas till systemet, vilka instrument som bör knytas till respektive syfte och vilka aktörers informationsbehov de olika instrumenten ska svara mot. 
 I det föregående har olika aspekter av det nuvarande systemet för kunskapsuppföljning beskrivits. Av genomgången ovan framgår att dagens svenska system för kunskapsuppföljning inte förmår att tillhandahålla den slags information som är nödvändig för att följa kunskapsutvecklingen i skolan över tid. Varken betygssystemet eller det nationella provsystemet lämpar sig för trendmätning. Det bör understrykas att det inte är nödvändigt med den typ av absolut kunskapsmätning som trendstudier representerar för att det ska vara möjligt att utvärdera reformer, genom exempelvis effektstu- dier. Utredningen bedömer dock att det behövs mått av god kvali- tet, som belyser hur skolan utvecklas över tid. Systemet bör ha en bredd med avseende på både de ämnen och de kunskapskvaliteter som mäts. 
 Till det svenska nationella bedömningssystemet har under årens lopp knutits allt fler mer eller mindre förenliga syften, ett för- hållande som Sverige inte är ensamt om. Som exempel kan nämnas att Rose21  
 för Englands vidkommande har identifierat inte mindre än arton olika syften kopplade till bedömning (assessment) 
 22 
 . I likhet med Skolverket 
 23  
 konstaterar Simon att det är nödvändigt att hålla isär olika typer av syften för bedömning. Eftersom de har uppenbara återverkningar på utformningen av ett system för kun- 
  
 21 
  
 Massey (2002)  
 Clarifying the perpose of educational assessment 
 . Assessment in education, Vol. 14, No. 2. Simon var vid tidpunkten för artikelns publicering chef för Assessment research, regulation and Standards Division vid Qualifications and Currculum Authority i England. Han är i dag professor vid utbildningsvetenskapliga institutionen vid University of London. 
  
 22 
  
 De 18 olika syftena är: social utvärdering, formativ, elevuppföljning, uppflyttning, place- ring, diagnostik, vägledning, utfärdande av en kvalifikation, urval, licensiering, val av skola, institutionell granskning, fördelning av resurser, grund för intervention i en organisation, utvärdering av en åtgärd, uppföljning på systemnivå, jämförelse och nationellt ansvarsutkrä- vande. 
  
 23 
  
 Se t.ex. Skolverket  
  
 2009-04-27(dnr. 
  2009:337) med anledning av regeringsuppdrag givet i regleringsbrev för 2009. 
 154 
  
 SOU 2014:12 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 skapsbedömning behöver vart och ett av syftena enligt Simon tas om hand för sig. 
 Kraven på att det nationella systemet för kunskapsbedömning ska kunna beskriva kunskapsutvecklingen över tid har stärkts Rivera hand. Som redan nämnts gav t.ex. regeringen 2011 Skolverket i uppdrag 
 24  
 att kvalitetssäkra ämnes- och kursproven så att de bättre än i dag kan användas för att bedöma kunskapsutvecklingen över tid. Skolverket konstaterade dock i sin redovisning 
 25  
 att de nuvarande nationella proven är utformade för att stödja en likvärdig och rätt- vis bedömning och betygssättning, och att det inte är rimligt att använda dem för att också göra årliga trendanalyser av olika kun- skapsområden. 
 För att kunna utgöra grund för trendmätning krävs enligt Skolverket att proven är stabila över tid, dvs. att varje nytt prov inne- håller ett antal uppgifter som ingått i tidigare prov. Vidare krävs att innehållet i kursplaner och utformningen av betygssystemet inte förändras. Vi har dessutom i det ovanstående visat att det, för att få en god täckning av ett ämne, även krävs att varje undersökning omfattar ett så stort antal frågor att det inte är rimligt att förvänta sig att en elev vid ett och samma tillfälle ska kunna besvara dem. 
 Skolverket förordar att de nationella provens nuvarande syften bibehålls och inte utökas till att också omfatta trendmätning. Om kunskapsutvecklingen inom olika kunskapsområden med stor säker- het ska kunna följas över tid är det enligt verket mer motiverat att undersöka möjligheten att ta fram ett särskilt mätinstrument för just det ändamålet. 
 Utredningen konstaterar att det nuvarande systemet för kunskaps- bedömning har vuxit fram genom successiva förändringar under mer än tjugo års tid. Detta har inte bara medfört att förväntning- arna på vad systemet ska bidra till har blivit allt fler utan att det också skapats spänningar mellan de olika förväntningarna. Dess- utom har den successiva framväxten lett till att prov i olika ämnen är utformade på olika sätt, vilket försvårar för de lärare som under- visar i flera ämnen för vilka det genomförs prov. 
 Utredningen delar uppfattningen att det inte är rimligt att för- vänta sig att den typ av nationellt provsystem som vi har i Sverige ska kunna användas för att följa trender och föreslår därför att ett system med stickprovsbaserade undersökningar för trendmätning 
  
 24 
  
 U2011/6543/S. 
  
 25 
  
 Skolverket  
  
 2012-10-19 
  (dnr. 2011:1242). 
 155 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 SOU 2014:12 
  
 som kompletterar de internationella studierna ska införas för detta syfte. Ett sådant system skulle förbättra möjligheterna att följa kunskapsutvecklingen i den svenska skolan och därmed även för- bättra förutsättningarna för att utvärdera reformer och andra ini- tiativ på skolans område. Det bör understrykas att behovet att komplettera de internationella undersökningarna inte endast avser andra ämnen och mål i läroplanen än de som ingår i dessa. Även för de ämnen för vilka det genomförs internationella mätningar kan det finnas behov av komplettering. 
 Utöver de fördelar med ett stickprovsbaserat system som redo- gjorts för ovan – hög validitet i förhållande till läroplanens samlade kunskapsmål, få frågor per elev, låg risk för provtrötthet, minskad risk för teaching to the test – ger ett stickprovsbaserat system även goda möjligheter att analysera variation, t.ex. mellan elever med olika kön eller socioekonomisk bakgrund. Det bör också kunna utformas för att möjliggöra kvalificerade analyser av vilka inslag i olika ämnen som svenska elever lyckas väl med och vilka de lyckas mindre väl med, dvs. kunna ligga till grund för olika nationella åtgärdsprogram. 
 Erfarenheten från de internationella studierna visar dock att det kan finnas problem med stickprovsundersökningar, som bl.a. har att göra med motovationen, då proven inte har någon avgörande betydelse för eleven eller skolan. Detta bör dock gå att hantera, t.ex. genom att anpassa antalet elever i urvalet så att varje elev inte behöver besvara mer än ett begränsat antal frågor. 
 Vi bedömer emellertid att det inte är lämpligt att nu endast lägga till ytterligare ett instrument i form av stickprovsundersökningar till ett redan hårt belastat system utan att samtidigt utreda konsekvenserna av detta för övriga delar av systemet. Det bör få konsekvenser för övriga delar av det nationella systemet för kunskapsbedömning om behovet av trendmätning tillgodoses via ett stickprovsbaserat system. Det gäller framför allt för de nationella proven som i dag bl.a. har till syfte att bidra med underlag för en analys av i vilken utsträckning kunskapsmålen nås på nationell nivå. 
 Den successiva framväxten av systemet för kunskapsbedömning har enligt vår uppfattning nu lett fram till en punkt där systemets olika syften behöver övervägas på nytt. Hela systemet behöver enligt vår uppfattning utredas från grunden för att klargöra dels vilka syften som kan och ska knytas till systemet, dels vilka instru- ment som bör knytas till respektive syfte och dels vilka aktörers 
 156 
  
 SOU 2014:12 
  
 Systemet för att följa kunskapsresultat  
 –  
 utvecklingsbehov 
  
 informationsbehov de olika instrumenten ska svara mot. Det bör därvid observeras att även betyg och resultat från nationella prov utgör viktiga underlag för olika former av utvärdering, t.ex. effekt- utvärdering. Vi föreslår att en utredning tillsätts med uppdrag att utreda det framtida systemet för kunskapsbedömning med avse- ende på dessa faktorer. En ambition bör vara att de nationella prov som ska finnas i framtiden utformas på ett mer likartat sätt för olika ämnen. Frågan om att utforma stickprovsundersökningar för att kunna följa kunskapsutvecklingen i den svenska skolan föreslås ingå i uppdraget. 
 Liknande rekommendationer lämnas i dagarna i en  
 SNS-rap- 
  port 
 26 
 . I denna rekommenderas bl.a. en försöksverksamhet med ett rullande, stickprovsbaserat, nationellt kunskapsbedömningssystem för grund- och gymnasieskolan inom ett par ämnen. Vidare redovi- sas tankar om hur ett sådant nationellt kunskapsbedömningssystem kan kopplas samman med det nationella provsystemet, genom en gemensam uppgiftsbank, i syfte att de nationella proven bättre ska kunna stödja en likvärdig och över tid stabil betygssättning. Detta innebär dock inte att författarna menar att det går att konstruera ett enskilt instrument som svarar mot samtliga olika syften. Utred- ningen bedömer att rapportens bedömningar kan bidra med värde- fulla utgångspunkter för den utredning vi här föreslår. 
 En sådan utredning bör slutligen ses i perspektivet av vad vi redovisat i föregående avsnitt om behovet av ett utvärderings- ramverk. Systemet för kunskapsbedömning utgör en central del av ett sådant ramverk. Förändringar bör göras för att systemets olika delar ska kunna bidra optimalt till helheten samtidigt som varje del kan utformas på ett stabilt och funktionellt sätt. 
  
 26  
 Cole,  
 Johnson, 
  Alvarado och Chung (2014)  
 Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter 
 . SNS Förlag. 
 157 
  
 10 
  
 Data för utvärdering – utvecklingsbehov 
  
 Utredningen ska enligt direktiven utreda vilka data som behövs för att i ökad utsträckning kunna utvärdera reformer inom skolan samt, om det behövs, lämna författnings- eller andra förslag för att öka tillgången till sådana data. I det föregående kapitlet fördjupade vi oss specifikt i frågan om hur utvecklingen av kunskapsresultaten i skolan kan följas över tid, dvs. hur trender kan mätas. I detta kapi- tel redovisar vi huvuddragen i det nuvarande statistiksystemet samt översiktligt den omfattande lagstiftning som finns inom området. Mot denna bakgrund analyseras dels vilka ytterligare data, förutom de som beskriver kunskapsutvecklingen över tid, som behövs för att förbättra möjligheterna för utvärdering av skolpolitiska reformer, dels förutsättningarna för att samla in dessa data. 
  
 10.1 
  
 Den nationella statistiken om skolan – en infrastruktur för systemförståelse 
  
 Liksom för andra samhällsområdet utgör statistiksystemet för sko- lan en form av infrastruktur för förståelse av skolan och skolans utveckling. Begreppet statistik definieras inte i något regelverk. Av statistiklagen 
 1  
 framgår dock att officiell statistik (SOS) ska finnas för allmän information, utredningsverksamhet och forskning. 
  
 10.1.1 
  
 Kort om skolstatistikens framväxt 
  
 Den enda utbildningsstatistik som fanns i Sverige under  
 1900-talets 
  första årtionden var den statistik som Skolöverstyrelsen (SÖ) förde över folkskolor och läroverk. Ännu så sent som 1970 omfattade 
  
 1  
 Lag (2001:99) om den officiella statistiken. 
 159 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 grundskolestatistiken endast uppgifter om antalet elever och deras ålder. 
 2 
  
 1968 inrättade Statistiska Centralbyrån (SCB) i samarbete med Skolöverstyrelsen ett lärarregister. Registret innehåller uppgifter om alla lärare, även vikarier, som är i tjänst hela eller delar av en viss vecka på hösten. Uppgifterna samlas in från alla skolor, både grund- skolan och de frivilliga skolformerna. Lärarregistret ingår numera, liksom elevregistret, i Skolverkets nationella uppföljningssystem och benämns Registret över pedagogisk personal. Registret inne- håller identifikationsuppgifter och uppgifter bl.a. om befattning, utbildning och tjänstgöringstidens omfattning. 
 3 
  
 1978 gav SCB för första gången ut  
 Utbildningsstatistisk årsbok 
 . Denna publikation har därefter utgetts årligen. 
 4 
  
 1988 började SCB publicera statistik om slutbetyg för grund- skolan. Inledningsvis redovisades endast rikssiffror. Så småningom redovisades uppgifterna även på kommunnivå, vilket bidrog till att intresset för statistiken ökade. 
 5 
  
 Fram till och med budgetåret 1991/92 bestod statistiken över utbildningskostnader endast av en sammanställning av statsbudge- tens kostnader. Därefter har kostnadsuppgifter samlats in från kom- munerna och de fristående huvudmännen för olika skol- och verk- samhetsformer. 
 Från och med 1998 överfördes ansvaret för statistiken för för- skoleverksamheten och skolbarnsomsorgen från Socialstyrelsen till Skolverket, till följd av att bestämmelserna om dessa verksamheter fördes från socialtjänstlagen till skollagen. 
 Särskilda datainsamlingar utgörs av de longitudinella uppgifts- insamlingarna som genomförs av SCB respektive projektet UGU vid Göteborgs universitet. SCB svarar för de s.k.  
 elevpanelerna  
 som ingår i den officiella statistiken, men också utgör underlag för  
 UGU-projektet. 
  Det senare genomför dessutom ytterligare datain- samling. Elevpanelerna utgör underlag för att beskriva elevström- mar inom skolväsendet. Alltsedan  
 1980-talet 
  har SCB samlat in och redovisat uppgifter som beskriver elevers vägar genom utbildnings- systemet för olika kohorter. SCB ansvarar för urvalsdragningar, driften av panelerna, sammanställning av bakgrundsdata och insam- ling av elevdata från skolorna medan Pedagogiska institutionen 
  
 2 
  
 Jorner, Wolf (2008)  
  
 Summa summarum. SCB:s första 150 år 
 . Statistiska centralbyrån. 
  
 3 
  
 Jorner, Wolf (2008) a.a. 
  
 4 
  
 Jorner, Wolf (2008) a.a. 
  
 5 
  
 Jorner, Wolf (2008) a.a. 
  
 160 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 bearbetar och analyserar uppgifter som samlas in direkt från elever, föräldrar och lärare. 
 6 
  
 Det framgår att ansvarig myndighet för statistiken om skolan har varierat över tid. Fram till 1960 ansvarade SÖ för skolstatisti- Johnson. Från detta år tog SCB över ansvaret. 
 7  
 I samband med en senare statistikreform 
 8  
 blev 1994 Skolverket ansvarig för den officiella sta- tistiken om skoläsendet. 
 9  
 SCB kvarstår dock som den myndighet som på Skolverkets uppdrag svarar för själva datainsamlingen och för de s.k. elevpanelerna. 
  
 10.1.2 
  
 Några grundläggande begrepp 
  
 Statistikutredningen 2012 
 10  
 konstaterar att begreppet statistik inte kan sägas ha någon helt entydig definition. Det kan enligt statistik- utredningen avse en viss form av information, nämligen sifferupp- gifter som beskriver en företeelse eller en verksamhet. Statistik kan också avse metoder för att samla in, bearbeta och analysera statis- tiska material. Statistik är därtill benämningen på en vetenskaplig disciplin. Statistikutredningen 2012 använder begreppet som beteck- ning för  
 numeriska sammanställningar av elementära observationer som kan hänföras till händelser, flöden eller tillstånd 
 . 
 Statistikutredningen 2012 konstaterar vidare att uppbyggnaden av ett statistiskt system kräver tre olika typer av data: 
  
 Makrodata 
 : Det som vi kallar statistik i dagligt tal, dvs. aggre- gerade data om populationer och klasser av objekt, t.ex. summor, frekvenser och medelvärden. 
  
 Mikrodata 
 : Data om enskilda objekt. t.ex. företag, individer och händelser, som ligger till grund för statistik, och som kan aggrege- ras till statistik på ett flexibelt sätt. 
  
 Metadata 
 : Data om data eller information om data, dvs. data som definierar och beskriver mikro- och makrodata. Det kan röra 
  
 6 
  
 Att elevpanelerna inte ingår i Skolverkets statistikansvar för den officiella statistiken har sannolikt att göra med att undersökningen är longitudinell och redan pågick när Skolverket bildades. Ett annat skäl kan vara att elevpanelerna innehöll tidsseriedata med personnummer och bedömdes passa bättre inom SCB:s ansvar då Skolverket vid sin tillkomst saknade möj- lighet att hantera hopkopplingsbara registerdata. 
  
 7 
  
 Scott, Roberts (2011)  
 Projektet som utredning- och beslutsunderlag  
 i Harris (red.)  
 Utvärdering Genom Uppföljning. Longitudinell individforskning under ett halvsekel 
 . Gothenburg Studies in Educational Sciences 305. Göteborgs universitet. 
  
 8 
  
 Statistikreformen berörde inte endast skolstatistiken, utan ett stort antal samhällssektorer. 
  
 9 
  
 Förordningen (2001:100) om den officiella statistiken. 
  
 10 
  
 SOU 2012:36  
 Vad är officiell statistik? En översyn av statistiksystemet och SCB 
 . 
  
 161 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 sig om beskrivningar av innehållet i och/eller strukturen för en viss datainsamling. 
 Med utgångspunkt i denna terminologi handlar detta kapitel i huvudsak om tillgången på mikrodata för olika typer av bearbet- ning och om möjligheterna att öka tillgången på sådana data. 
 Distinktionen mellan  
 registerdata  
 och  
 direktinsamlade data  
 är central för de resonemang som förs i detta kapitel. Med register- data menar vi data som samlas in via befintliga lokala administrativa system, som i flertalet fall upprättats för andra ändamål än natio- nella uppföljningsbehov 
 11 
 . Med direktinsamlade data menar vi data som samlas in genom olika enkäter, t.ex. till huvudmän och skolor. 
 Utvärdering kan slutligen genomföras på många olika sätt och varje utvärderingsdesign har sina särskilda behov av data och krav på hur dessa ska vara tillgängliga.  
 Longitudinella studier  
 innebär exempelvis att man följer ett antal individer över tid och gör upp- repade mätningar för samma individ.  
 Tvärsnittsstudier,  
 där jäm- förelser görs för en eller flera variabler vid en viss tidpunkt, kräver oftast att det är möjligt att samköra register från olika samhälls- områden. I många fall handlar det även här om uppgifter på individ- nivå. 
  
 10.1.3 
  
 Skolverkets statistikansvar 
  
 Regeringen beslutar om vilka myndigheter som ska vara statistik- ansvariga för Sveriges officiella statistik (SOS) samt om vilka ämnes- och statistikområden som statistikansvaret ska omfatta. Vilken myndighet som är statistikansvarig inom olika områden framgår av bilagan till statistikförordningen. Den statistikansvariga myndighe- ten beslutar därefter om statistikens innehåll och omfattning inom sitt statistikområde. 
 12 
  
 Enligt förordningen om den officiella statistiken är Skolverket ansvarig myndighet för den officiella statistiken inom skolväsendet och barnomsorgen 
 13 
 . Vidare har verket enligt skollagen 
 14  
 och sin instruktion 
 15  
 ansvar för att följa upp och utvärdera skolväsendet samt vissa övriga utbildningar och annan pedagogisk verksamhet. 
  
 11 
  
 Enligt SOU 2012:36 baseras den officiella statistiken till mer än 95 procent på administra- tiva data, vilka ursprungligen har samlats in för andra ändamål än statistik. 
  
 12 
  
 Förordningen (2001:100) om den officiella statistiken. 
  
 13 
  
 Barnomsorgsbegreppet är borttaget i skollagen (2010:800), men någon följändring i för- ordningen har ännu inte gjorts. 
  
 14 
  
 SFS 2010:800. 
  
 15 
  
 Förordning (2011:555) med instruktion för Statens skolverk. 
  
 162 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 Enligt verkets instruktion ska uppföljningen och utvärderingen öka kunskapen om hur utbildningarna och verksamheterna har ut- vecklats i förhållande till de nationella målen för utbildningen. Skolverket ges stor frihet att avgöra hur man bäst går till väga för att öka kunskapen om skolan, ett friutrymme som i praktiken begränsas av det stora antal uppdrag som ges i de årliga reglerings- breven och i form av regeringsuppdrag som ges i särskild ordning. 
 Skolverkets arbete med uppföljningssystemet är inriktat på för- valtning och vidareutveckling av de stora informationssystem som ska ge faktabaserat underlag för diskussion och beslut om förskola, fritidshem, skola och vuxenutbildning. Man kan säga att statistik- systemet erbjuder en infrastruktur för systemförståelse och system- analys. 
 Skolverket beslutar i praktiken om innehållet i skolstatistiken 
 De ämnes- och statistikområden som anges i bilagan till statistik- förordningen – för Skolverkets del skolväsende och barnomsorg – är övergripande. Det innebär att det är den statistikansvariga myndigheten som i praktiken definierar variabler och objekt och beslutar vilken eller vilka metoder som ska användas för att samla önskad statistik till önskad kvalitet. Den statistikansvariga myn- digheten avgör slutligen vilka skattningar av statistiska storheter som utgör den officiella statistiken, dvs. vilka mått som ska redo- visas. 
 16 
  
 Det råd för den officiella statistiken som är inrättat vid SCB har dock beslutat om riktlinjer för beslut om innehåll och omfattning av SOS 
 17 
 . Av riktlinjerna framgår bland annat att SOS i regel bör vara av löpande karaktär så att man kan följa utvecklingen över tid, men engångsundersökningar och periodiskt återkommande (inter- mittenta) undersökningar kan också vara officiell statistik. De elev- paneler som SCB svarar för i samarbete med Pedagogiska institu- tionen vid Göteborgs universitet är exempel på detta. 
 Den statistikansvariga myndigheten bör enligt rådet anpassa sta- tistikens innehåll och omfattning till samhällsutvecklingen och basera denna anpassning på omvärldsbevakning, inklusive dialog 
  
 16 
  
 Rådet för den officiella statistiken (2012 
  
 ) Riktlinjer för beslut om innehåll och omfattning av den officiella statistiken. 
  
 17 
  
 Rådet för den officiella statistiken (2012 
  
 )a.a. 
  
 163 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 med användarna. Myndigheten bör även samråda med organisa- tioner som företräder uppgiftslämnarna. 
 Statistikansvarig myndighet avgör om statistikens kvalitet är till- räckligt god i relation till hur den är avsedd att användas. I kva- litetskravet ingår att beakta aktualitet kontra t.ex. precision. Myn- digheten kan även besluta att en undersökning som inte ingår i SOS från en viss tidpunkt ska definieras om till att ingå i systemet. 
  
 10.1.4 
  
 Dagens statistiksystem 
  
 Inom ramen för Skolverkets ansvar för Sveriges officiella statistik (SOS) om förskola, fritidshem, skola, vuxenutbildning och annan pedagogisk verksamhet samlas varje år in uppgifter om barn, elever, personal, kostnader och utbildningsresultat. Uppgifterna samman- ställs till statistik per verksamhetsform och skolform. Statistiken presenteras som SOS på riksnivå. Uppgifterna presenteras dess- utom av Skolverket på huvudmannanivå eller skolnivå. 
 Den övervägande delen av Skolverkets uppgifter om elever sam- las in på individnivå, vilket möjliggör redovisningar uppdelat på kön, socioekonomisk bakgrund och eventuell utländsk bakgrund. Uppgifter som samlas in aggregerat samlas alltid in uppdelat på kön. Det är SCB som står för den databas där den insamlade infor- mationen lagras. Det Skolverket har tillgång till är utdrag ur data- basen där de enskilda individerna avidentifierats. Av detta följer att om en forskare avser att göra en registerbaserad studie och even- tuellt samköra olika register, så är det SCB som tillhandahåller data. 
 Skolverket redovisar en del av statistiken i den årliga publikatio- nen  
 Beskrivande data 
 . Den statistik som ingår i SOS presenteras i de tre årliga rapporterna  
 Utbildningsresultat 
 ,  
 Barn elever och perso- nal 
 , samt  
 Kostnader 
 . De uppgifter som Skolverket samlar in är även i sin helhet tillgänglig på verkets webbplats, bl.a. i databaserna Jäm- förelsetal, SIRIS och SALSA. För en mer omfattande presentation av innehållet i det nationella uppföljningssystemet hänvisas till kapitel 4 samt till Skolverkets föreskrifter om uppgiftslämning 
 18 
 . 
  
 18  
 Se t.ex. SKOLFS 2012:91 och SKOLFS 2014:1. 
 164 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 Krav på statistiksystemet 
 Den nationella statistiken ska ge information om resurser, orga- nisation och resultat och utvecklingen ska kunna följas över tid. Det är därför väsentligt att systemet är  
 långsiktigt  
 och stabilt över tid. Det är särskilt viktigt för den officiella statistiken som enligt lagen (2001:99) om den officiella statistiken ska finnas för allmän information, utredningsverksamhet och forskning och som ska vara objektiv och allmänt tillgänglig. 
 För den officiella statistiken anges kvalitetskriterier i lagen om den officiella statistiken 
 19  
 avseende följande punkter: 
  
 1. 
  
 Relevans  
 (i vilken grad statistiken tillgodoser användarnas nuvar- ande och potentiella behov) 
  
 2. 
  
 Noggrannhet  
 (överensstämmelse mellan skattning och det skatt- ningen avser att mäta) 
  
 3. 
  
 Aktualitet  
 (tiden mellan att de uppgifterna finns tillgängliga och den aktuella händelsen/företeelsen som uppgiften avser) 
  
 4. 
  
 Punktlighet  
 (den tid det tar för statistikansvarig myndighet att göra uppgifter tillgängliga efter det datum de ska ha lämnats in) 
  
 5. 
  
 Tillgänglighet och tydlighet  
 (hur användarna kan få tillgång till, använda och tolka uppgifter) 
  
 6. 
  
 Jämförbarhet  
 (för statistik från olika geografiska områden eller sektorsområden eller från olika tidsperioder) 
  
 7. 
  
 Samstämmighet  
 (i vilken utsträckning uppgifterna med tillför- litlighet kan kombineras på olika sätt och för olika ändamål) 
 Generellt gäller att data blir värdefull för utvärdering och forskning om den har samlats in systematiskt under lång tid. Med systema- tiskt menas här att det handlar om samma data som samlas in på samma sätt. Det handlar bl.a. om 
  
 - 
  
 med vilka intervall som datainsamlingen görs, t.ex. varje eller vart femte år, 
  
 - 
  
 att urvalet görs på samma sätt vid varje mättillfälle, t.ex. samtliga i en ålderskohort eller varje årskurs 3 eller 6, 
  
 - 
  
 att det är samma information som samlas in vid de olika mät- tillfällena (tidsseriedata), 
  
 19  
 § 3 a lag (2001:99) om den officiella statistiken. 
 165 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 - 
  
 att informationen samlas in på ett enhetligt sätt vid de olika mättillfällena, dvs. med samma metoder, begrepp, definitioner, mått, frågor etc. 
  
 Datainsamlingen bör således vara regelbunden och systemet måste bygga på enhetliga definitioner, indelningar och tidsperioder som gör det möjligt att aggregera data till nationell nivå och göra jäm- förelser mellan huvudmän och verksamhetsområden och över tid. Uppföljningen ska spegla verksamhetsformernas särart, samtidigt som det är viktigt att statistiken presenteras på ett likartat sätt. 
 Den befintliga statistiken om skolan bedöms generellt hålla en hög kvalitet. Det finns dock en kritik vad gäller tillförlitligheten avseende vissa data, bland annat inom ett så central område som likvärdigheten i betygssättning respektive bedömning av de natio- nella proven. Det handlar dock mer om hur dessa system är utfor- made än om statistiksystemets funktionssätt. 
 Långsiktighet och stabilitet påverkas av förändringar 
 Samtidigt som statistiksystemet måste värna om långsiktighet för- väntas det svara mot behovet av snabb styrinformation och ett flertal andra, delvis motsägelsefulla, behov. En svårighet för alla longitudi- nella databaser är att de är känsliga för förändringar, till exempel av lagar och andra bestämmelser, som kan innebära att informationen inte förblir jämförbar över tid. Politiskt beslutade förändringar, som t.ex. förändringar i betygssystemet, kan därför leda till att tids- serier bryts. Sådana brott är ofrånkomliga – om än beklagliga för statistiker, forskare och andra användare av statistiken. Andra aktu- ella exempel som påverkat uppgiftsinsamlingen är införandet av betyg i årskurs 6 samt förändringar av i vilken årskurs och i vilka ämnen de nationella proven ges. Även förändringar i omvärlden kan föranleda behov av att utveckla uppgiftsinsamlingen och statistiken, t.ex. tillkomsten av enskilda huvudmän. 
 För att en förändring av uppgiftsinsamlingen ska kunna träda i kraft måste den beredas och aviseras i god tid för att de administra- tiva systemen och insamlingsrutinerna hos både uppgiftslämnarna och myndigheten ska kunna ses över. 
 166 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 Registerdata hämtas ur skolornas administrativa system 
 Skolornas  
 IT-baserade 
  administrativa system är konstruerade för att tillgodose både nationella krav och lokala behov. De nationella kraven består dels av krav på dokumentation som ställs i styrdo- kumenten, dels av Skolverkets krav på uppgifter till det nationella uppföljningssystemet. 
 De lokala administrativa systemen är uppbyggda kring eleven, även om vissa uppgifter om ansvarig lärare också ingår. Schema- läggningsmoduler används av många skolor, dock främst i grund- skolans högre årskurser och i gymnasieskolan. Lärarna kan även för varje genomförd lektion registrera närvaro och giltig eller oanmäld frånvaro respektive sen ankomst. 
 Den faktiska användningen av skolornas administrativa system avgörs lokalt. Detta får till följd att uppgifter inte alltid registreras även om funktionaliteten finns. Det är inte heller säkert att uppgif- terna om genomförda lektioner avser den lärare som faktiskt under- visade. Om en vikarie undervisar under en kortare tid ändras i all- mänhet inte lärarens namn i systemet och lektionen registreras som om den ordinarie läraren hade varit där. Inte heller då en lärare slutar och ersätts med en ny lärare under läsåret är det säkert att skolan ändrar lärarens namn i systemet. 
 Enligt Skolverket prioriterar de största leverantörerna av skolor- nas administrativa system registreringen av betyg och att uppgif- terna hanteras rättsäkert i systemen med kontroll av behörigheter och versionshantering. Uppgiften om vilken lärare som har satt vil- ket betyg bedöms därmed ha god kvalitet. Registrering av resultat på nationella prov bedöms däremot ha lägre prioritet på skolorna. Eftersom provens utformning varierar mellan åren ökar risken för felregistrering och systemet blir inte heller lika användbart lokalt då det inte redovisas vilka olika förmågor som provuppgifterna prövar i de olika delproven. 
 Skolverket konstaterar att de administrativa systemen nu byggs ut för att ge stöd för lärarnas pedagogiska dokumentation. Man menar att då allt fler lärare har tillgång till egen dator, kan de administrativa systemen på sikt komma att få en ökad betydelse för statens möj- ligheter att implementera reformer men även ge ökade möjligheter att samla in nya uppgifter. 
 Att införa förändringar i skolornas administrativa system kräver dock enligt Skolverket lång förberedelsetid, ibland upp till två år. Dels ska systemleverantörerna bygga om systemen och sprida den 
 167 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 nya versionen till sina användare, dels ska skolorna uppdatera till den nya systemversionen och ändra sina arbetsrutiner kring de uppgifter som ska läggas in. Om systemen inte hinner uppgraderas innan en förändring träder i kraft försvåras huvudmännens upp- giftslämnande. 
 Behov av utveckling och modernisering 
 Intresset för deltagande i enkätundersökningar minskar. Skolverkets erfarenheter av detta bekräftas av Statistikutredningen 2012 
 20 
 . Det innebär att behovet av registerdata ökar. Vidare ställs allt större krav på statistikens innehåll och systemens användarvänlighet. Att parallellt med den årliga datainsamlingen tekniskt modernisera uppföljningssystemet kommer enligt Skolverkets bedömning att utgöra en stor och resurskrävande utmaning under de närmaste åren. Utredningen återkommer till denna fråga i slutet av kapitlet. 
  
 10.1.5 
  
 Uppgiftslämnarbördan 
  
 Skolverket samlar sedan lång tid tillbaka in en mycket stor mängd uppgifter från skolhuvudmän och verksamheter för den nationella uppföljningen, vilket innebär en belastning för uppgiftslämnarna. 
 Utredningen har försökt få fram uppgifter om vilka kostnaderna är för uppgiftslämnandet. Detta har visat sig vara svårt eftersom det inte finns någon enhetlig definition för vilka kostnader som ska räknas in. En stor del av de uppgifter som finns i det nuvarande uppföljningssystemet består dock av data som huvudmännen själva behöver för sin administration av verksamheten, dvs. uppgifter som de skulle behöva samla in oavsett om de efterfrågades för den nationella uppföljningen eller inte. 
 SCB har uppskattat tidsåtgången och kostnaderna för det sam- lade uppgiftslämnande som krävs för Sveriges officiella statistik (SOS), dvs. den statistik som de statistikansvariga myndigheterna har beslutat ska vara officiell. Kostnaden för uppgiftslämnandet har beräknats till 46 miljoner kronor för kommuner och landsting. 
 21  
 Det framgår inte hur stor andel av detta belopp som avser skolan. 
  
 20 
  
 SOU 2012:83  
 Vad är officiell statistik? En översyn av statistiksystemet och SCB 
 . 
  
 21 
  
 Statistiska centralbyrån (2013)  
 Sveriges officiella statistik – årlig rapport för 2012 
 . Rådet för den officiella statistiken. 
  
 168 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 Dessa kostnader hänför sig dock endast till själva arbetet med att ta fram de uppgifter som SCB efterfrågar vid datainsamlingen. Det innebär att t.ex. kostnader för att anskaffa och underhålla de administrativa systemen inte är medräknade, inte heller kostnader- na för den lokala uppgiftsinsamlingen. De samlade kostnaderna för uppgiftslämnarbördan är sannolikt betydligt högre än den SCB uppgivit. Skolverket uppger att verkets kostnad för arbetet med den officiella statistiken var 36 miljoner kronor 2012 
 22 
 . 
 Enligt Skolverket deltar uppskattningsvis 10 000 personer hos huvudmännen i arbetet med att lämna uppgifter till SCB, varav var- je år omkring 1 000 bedöms vara nya. Antalet involverade och anta- let oerfarna uppgiftslämnare påverkar sannolikt tillförlitligheten i data. Arbetsinsatsen uppskattas till cirka 70 årsarbetskrafter (samt- liga huvudmän inom tretton skolformer). Ett annat mått på komplexi- teten i uppgiftsinsamlingen är att SCB, enligt uppgift från Skolverket, tar emot elevuppgifter via 33 olika administrativa program som utvecklats av olika  
 it-företag 
  och i vissa fall av enskilda kommuner. 
 Utredningen har inte haft möjlighet att närmare undersöka vad detta betyder för kvaliteten i de insamlade uppgifterna. Det är dock sannolikt att en mer ändamålsenlig organisation av uppgiftslämnan- det dels skulle innebära tidsbesparingar för både de som lämnar uppgifterna som de som tar emot dem, dels förbättra kvaliteten i de data som samlas in. 
 Skolverket har vid kontakter med utredningen kraftigt understrukit att utrymmet för att öka kraven på skolhuvudmännens uppgifts- lämnande är starkt begränsat. 
 Enligt förordningen om den officiella statistiken 
 23  
 ska uppgifter för denna samlas in på ett sådant sätt att uppgiftslämnandet blir så enkelt som möjligt, står i proportion till användarnas behov, och är en rimlig arbetsbörda för uppgiftslämnarna. De statistikansvariga myndigheterna ska vid framställning av officiell statistik i så stor utsträckning som möjligt använda uppgifter ur befintliga register. 
 Skolverket har dock påpekat att förutsättningarna att hantera uppgiftslämnandet skiljer sig mycket åt mellan olika huvudmän. Det finns fortfarande mindre skolor och huvudmän som inte har något administrativt system alls. Uppgiftsinsamlingen får då ske genom direktinsamling via enkäter. Den administrativa bördan för 
  
 22 
  
 Statistiska centralbyrån (2013) a.a. 
  
 23 
  
 Förordning (2001:100) om den officiella statistiken. 
  
 169 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 dessa skolor kan bli oproportionerligt tung vid förändringar och då nya data ska samlas in. 
 Skolverket samråder med Sveriges kommuner och landsting kring nya uppgiftsinsamlingar i enlighet med den samrådsrutin som anges i förordning om statliga myndigheters inhämtande av uppgif- ter från näringsidkare och kommuner 
 24 
 . Samrådet omfattar bl.a. vil- ka uppgifter som ingår i undersökningen, tidpunkt för genomför- andet, urvalets storlek och kostnader för uppgiftslämnarna. 
 Även om möjligheten finns att registrera uppgifter i skolornas administrativa system krävs uppgiftsskyldighet för att säkerställa att uppgifterna faktiskt läggs in i systemen och för att systemleve- rantörerna ska utveckla tekniska lösningar. Vid förändringar är det därför viktigt att beakta helheten av den uppgiftsbörda som riktas mot huvudmännen. Kostnadsaspekter men även krav på kvalitet i data medför begränsningar för vad det är möjligt att samla in inom ramen för det nationella uppföljningssystemet. Eftersom kvaliteten i de lämnade uppgifterna ytterst är beroende av uppgiftslämnarna är det angeläget att upprätthålla förståelse och engagemang hos dessa. 
  
 10.2 
  
 Regelverket för hantering av data 
  
 Det finns en omfattande lagstiftning på statistikområdet. För när- varande finns dessutom flera utredningar som ser över delar av regelverket. Utredningen bedömer att resultatet av dessa utred- ningar kommer att få betydelse för hur flera av de datafrågor bör hanteras som direktiven till föreliggande utredning reser. 
  
 10.2.1 
  
 En omfattande lagstiftning 
  
 Följande lagar gäller för produktion, lagring och användning av data och statistik: 
  
 - 
  
 Lagen om den officiella statistiken  
  
 (2001:99) anger syftet med den officiella statistiken samt behandlar frågor om krav på den- na, t.ex. kvalitetskriterier, uppgiftsskydd, uppgiftsskyldighet, utlämnande av uppgifter i vissa fall, gallring m.m. 
  
 24  
 SFS 1982:668. 
 170 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 - 
  
 Förordningen om den officiella statistiken  
  
 (2009:100) innehåller bland annat den bilaga där de statistikansvariga myndigheterna anges. 
  
 - 
  
 Offentlighets- och sekretesslagen  
  
 (2009:400) innehåller bland annat bestämmelser om sekretess till skydd för uppgift om enskilds per- sonliga eller ekonomiska förhållanden, samt särskilda bestäm- melser om sekretess hos vissa organ. 
  
 - 
  
 Personuppgiftslagen  
 (1998:204) innehåller bestämmelser som syf- tar till att skydda människor mot att deras personliga integritet kränks genom behandling av personuppgifter. 
  
 - 
  
 Lagen om etikprövning av forskning som avser människor 
  
 (2003:460) reglerar forskningens användning av data och statis- tik. 
 Även tryckfrihetsförordningen 
 25  
 är till vissa delar tillämplig. Det gäller kapitel 2 om allmänna handlingars offentlighet. Dessutom finns förordningar om statliga myndigheters inhämtande av upp- gifter från näringsidkare och kommuner 
 26 
 , om konsekvensutred- ning vid regelgivning 
 27 
 , samt om myndigheters inhämtande av yttrande från Regelrådet 
 28 
 . 
 Vidare finns ett stort antal s.k. registerförfattningar som inne- håller särregleringar på olika områden i förhållande till personupp- giftslagen (PUL). Patientdatalagen 
 29 
 , polisdatalagen 
 30  
 och lagen om behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering 
 31  
 är exempel på sådana register- författningar. 
 Även Europeiska unionen har på unionsrättslig nivå reglerat behandlingen av personuppgifter genom det s.k. dataskyddsdirekti- vet 
 32 
 . Inom ramen för Europarådet har den s.k. dataskyddskon- ventionen antagits 
 33 
 . Till det kan läggas europaparlamentets och rådets förordning om framställning och utveckling av statistik om utbildning och livslångt lärande, som reglerar vilken data inom utbild- 
  
 25 
  
 Tryckfrihetsförordning (1949:105). 
  
 26 
  
 Förordning (1982:668) om statliga myndigheters inhämtande av uppgifter från näringsid- kare och kommuner. 
  
 27 
  
 Förordning (2007:1244) om konsekvensutredning vid regelgivning. 
  
 28 
  
 Förordning (2011:118) om myndigheters inhämtande av yttrande från Regelrådet. 
  
 29 
  
 Patientdatalagen (2008:355). 
  
 30 
  
 Polisdatalagen (2010:361). 
  
 31 
  
 Lagen (2012:274) om behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering. 
  
 32 
  
 Europaparlamentets och rådet direktiv 95/46/EG. 
  
 33 
  
 CETS 108. 
  
 171 
 Data för utvärdering – utvecklingsbehov SOU 2014:12 
 ningområdet som medlemsländerna är skyldiga att samla in och leverera till Eurostat 
 34 
 . 
 Myndighetens samrådsskyldighet och uppgiftslämnarnas skyldighet att medverka vid datainsamling 
 En statistikansvarig myndighet är enligt förordningen om statliga myndigheters inhämtande av uppgifter från näringsidkare och kom- muner skyldig att samråda med organisation eller annan som kan anses företräda de näringsidkare och kommuner som ska lämna uppgifterna 
 35 
 . 
 När insamlade uppgifter ingår i SOS omfattas uppgiftlämnarna (näringsidkare, kommuner, ideella föreningar etc.) av uppgiftsskyl- dighet 
 36 
 . Uppgiftskyldigheten gäller dock inte enskilda individer. Det innebär olika förutsättningar vid insamling av registerdata och andra data som samlas in direkt från enskilda, t.ex. genom enkäter. I det senare fallet behöver den enskilde inte besvara enkäten. Bort- fallet riskerar alltså att bli större i samband med direktinsamlad information än vid insamling av administrativa registerdata. 
 Vid enkätundersökningar är myndigheten i enlighet med statis- tikförordningen skyldig att uppge att deltagandet i undersökningen är frivilligt. I sådana fall räknas det förhållandet att personen skick- ar in ett enkätsvar som samtycke, dvs. det krävs inte någon separat undertecknad bekräftelse på samtycket. 
 Användning av registerdata för forskningsändamål – vad krävs? 
 Hur data får insamlas och lagras i en databas eller hämtas från olika register och lagras i ett nytt register för forskningsändamål kring- gärdas av omsorgsfullt reglerade processer. Några begrepp är cen- trala för förståelsen av dessa processer. 
  
 Sambearbetning  
 av registeruppgifter innebär att uppgifter om en specifik person hämtas från olika register och sammankopplas. I de fall samtliga registeruppgifter finns hos en och samma myndighet, t.ex. SCB, kan sambearbetningen ske inom denna myndighet. Fors- karna får då tillgång endast till oidentifierade uppgifter. När regis- 
  
 34 
  
 EG förordning nr 452/2008 av den 23 april 2008. 
  
 35 
  
 Förordning (1982:668) om statliga myndigheters inhämtande av uppgifter från närings- idkare och kommuner. 
  
 36 
  
 7 § SFS 2001:99. 
  
 172 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 teruppgifterna finns hos olika myndigheter uppstår en annan situa- tion. För att det ska vara möjligt att koppla uppgifterna kan de då inte vara helt oidentifierbara. 
 37 
  
 Ett sätt att lösa detta på är att avidentifiera (avkoda) de data som lämnar SCB genom att personnummer ersätts med löpnummer 
 38 
 . Ingen information kan då hänföras direkt till en enskild individ hos den myndighet till vilken uppgifterna lämnas. SCB har dock kvar en nyckel mellan dessa löpnummer och individernas personnum- mer. Hela eller delar av registret kan därför på nytt hänföras till en individ och länkas till andra register efter behov från myndigheter, utredare eller forskare. 
 39 
  
 I personuppgiftslagen (PUL) görs en distinktion mellan person- uppgifter och  
 känsliga  
 personuppgifter. Med personuppgift avses all information som direkt eller indirekt kan hänföras till en sär- skild person som är i livet. Känsliga personuppgifter är sådana som avslöjar ras eller etniskt ursprung, politiska åsikter, religiös eller filosofisk övertygelse eller medlemskap i fackförening samt person- uppgifter som rör hälsa och sexualliv. För behandling av sådana känsliga uppgifter gäller särskilda restriktioner. Enligt PUL 
 40  
 får känsliga personuppgifter endast behandlas för forskningsändamål om behandlingen  
 etikprövats 
 , dvs. godkänts av en etikprövnings- nämnd enligt etikprövningslagen 
 41 
 . 
 Om en uppgift kan lämnas ut ska även prövas mot offentlighets- och sekretesslagen (OSL) 
 42 
 . Prövningen ska avse dels om uppgiften utgör en s.k.  
 allmän handling 
 , dels om uppgiften omfattas av  
 sekre- tess  
 eller inte. Någon allmän bestämmelse i OSL om utlämnade av uppgifter för forskningsändamål finns inte. 
 I PUL föreskrivs vidare att personuppgifter inte får behandlas för något ändamål som är oförenligt med det för vilket uppgifterna ursprungligen samlades in, den s.k.  
 finalitetsprincipen 
 . I det fall en tänkt behandling inte omfattas av de ursprungliga ändamålen måste det alltså prövas om det nya ändamålet är förenligt med det ursprung- liga ändamålet för behandlingen. Av PUL följer vidare att behand- lingen av personuppgifter för historiska, statistiska eller vetenskap- 
  
 37 
  
 Dir. 2013:8  
 Förutsättningar för registerbaserad forskning 
 . 
  
 38 
  
 16 § lagen (2001:99) om den offentliga statistiken. 
  
 39 
  
 Prop. 2011/12:176  
 Behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering 
 . 
  
 40 
  
 19 § personuppgiftslagen (1998:204). 
  
 41 
  
 Lag (2003:460) om etikprövning av forskning som avser människor. 
  
 42 
  
 Offentlighets- och sekretesslag (2009:400). 
  
 173 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 liga ändamål inte ska anses som oförenliga med de ändamål för vilka uppgifterna ursprungligen samlades in. 
 43 
  
 Vad gäller för data som inte ingår i den officiella statistiken? 
 En statistikansvarig myndighet har rent formellt möjlighet att sam- la in uppgifter som inte ingår i den officiella statistiken (SOS) och presentera dessa på olika sätt, t.ex. i en publikation eller på sin webbplats. En anledning till detta kan vara att undersökningen varken genomförs årligen eller är periodiskt återkommande, eller att den inte fullt ut möter de kvalitetskrav som ställs upp i statistik- lagen. En annan kan vara att insamlingen avser nya uppgifter som på sikt, om de har tillräcklig kvalitet, kan komma att ingå i SOS. Detta är ett sätt som Skolverket använder sig av när verket intro- ducerar nya uppgiftsinsamlingar. 
 Utredningen har inte haft möjlighet att närmare granska i vilken omfattning olika myndigheter samlar in uppgifter och presenterar statistik vid sidan om SOS. En bedömning är dock att detta sker endast i begränsad omfattning. Skolverket har hittills valt att inte samla in registerdata utanför SOS annat än vid utvecklingen av ny uppgiftsinsamling. Trots att Skolverkets insamling av data sker inom ramen för SOS presenteras dock statistiken i vissa fall som SOS, i andra fall vid sidan om SOS. Orsakerna till detta är av mer historisk karaktär. 
 Det är enligt medarbetare på Skolverket svårt att motivera insam- ling av registerdata om inte avsikten är att den ska ingå i SOS. Man kan exempelvis inte räkna med att det ska komma in uppgifter i till- räcklig omfattning om insamlingen är frivillig. Om insamlingen inte sker inom ramen för SOS skulle därför uppgiftsskyldigheten behöva regleras på annat sätt, vilket ter sig ganska poänglöst när skyldigheten redan är reglerad inom ramen för SOS. 
  
 10.2.2 
  
 Pågående utredningar 
  
 Regeringen har i propositionen  
 Ett lyft för forskning och innova- tion 
 44  
  
 tydliggjort sin ambition att stärka förutsättningarna för den forskning som utnyttjar de svenska befolkningsbaserade registren. 
  
 43 
  
 9 § personuppgiftslagen (1998:204). 
  
 44 
  
 Prop. 2008/09:50  
 Ett lyft för forskning och innovation 
 . 
  
 174 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 För närvarande pågår två utredningar som har relevans i samman- hanget. Den ena behandlar frågor om hur registerförfattningar ska utformas i framtiden, den andra frågor om hur de olika lagverken inom området ska bringas i bättre samklang med varandra. 
 Utredning om registerbaserad forskning 
 Regeringen har uppmärksammat att i den lagstiftning som finns kan två samhälleliga intressen komma att stå i konflikt med varandra. Det gäller å ena sidan intresset av att bedriva forskning som ger upphov till ny viktig kunskap och å andra sidan intresset av att skydda den enskildes integritet. Mot denna bakgrund har regeringen gett en särskild utredare i uppdrag att undersöka förutsättningarna för att bedriva s.k. registerbaserad forskning. Utredaren ska lämna författ- ningsförslag och andra förslag i syfte att 
  
 registeransvariga myndigheter i större utsträckning ska kunna lämna ut uppgifter för forskningsändamål med hänsyn tagen till skyddet för den enskildes integritet, 
  
 sambearbetning av registeruppgifter för forskningsändamål ska underlättas, och 
  
 göra det möjligt att på ett integritetssäkert sätt samla in person- uppgifter till register som förs för särskilda och uttryckligt angivna forskningsändamål samt till longitudinella studier som håller sig inom ramen för sådana ändamål. 
  
 45 
  
 Uppdraget ska slutredovisas den 30 juni 2014. 
 Utredning om registerlagstiftningen m.m. 
 Känsliga personuppgifter från myndigheter kan lämnas ut om det finns en särskild registerförfattning för det register inom vilket personuppgifterna ingår. Det finns mer än hundra sådana författ- ningar som kompletterar personuppgiftslagen och som innehåller bestämmelser om behandling av personuppgifter, och som därför kan kallas för särskilda registerförfattningar. 
 46  
 Någon fullständig kartläggning och överblick finns inte 
 47 
 . 
  
 45 
  
 Dir. 2013:8  
 Förutsättningar för registerbaserad forskning 
 . 
  
 46 
  
 Jones, Flores (2006)  
  
 Särskilda registerförfattningar  
 i Gonzalez och Stevens (red.)  
 Festskrift till Mercado. Norstedts juridik. 
  
 47 
  
 Jones, Flores (2006) a.a. 
  
 175 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 Regeringen gav 2011 en särskild utredare i uppdrag att se över registerlagstiftningen och bland annat göra en översiktlig invente- ring av registerförfattningarna. Utredaren ska närmare analysera hur författningarna fungerar inom tre olika verksamhetsområden och utarbeta en generell modell för reglering av registerfrågor 
 48 
 . 
 Enligt direktiven måste ändringar göras i de aktuella registerför- fattningarna nästan varje gång elektronisk informationsöverföring mellan myndigheter ska införas, ändras eller utökas. Vidare måste komplicerade överväganden göras enligt offentlighets- och sekre- tesslagen (OSL). Om dessutom de grundläggande reglerna i tryck- frihetsförordningen 
 49  
 och OSL samt den principiella uppbyggnaden av registerförfattningarna inte är anpassade till varandra blir det svårt att hitta lösningar som är tillfredsställande från  
 integritets-, 
  effektivitets- och öppenhetssynpunkt i lagstiftningsärenden om elektronisk informationsöverföring mellan myndigheter. 
 För att kunna effektivisera förvaltningen med hjälp av modern informationsteknik är det därför enligt regeringen viktigt dels att respektive regelverk är väl genomtänkt och så enkelt som möjligt att tillämpa, dels att dessa regelverk är förenliga med varandra. Det är mot denna bakgrund behovet att göra en samlad översyn av des- sa regelverk i relevanta delar ska ses. 
 Uppdraget ska slutredovisas senast den 1 december 2014. 
 Utredningarna berör även register på skolans område 
 De båda utredningarnas arbete kan komma att påverka förutsätt- ningarna för registerhanteringen på skolans område. Ett exempel på en sådan särskild registerförfattning som nämns ovan är t.ex. lagen (2012:741) om behandling av personuppgifter vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU). Enligt denna får vid IFAU personuppgifter endast behandlas om det behövs för att fullgöra institutets uppdrag att främja, stödja och genom forskning genomföra studier, uppföljningar och utvärde- ringar. Att det här är fråga om en så bred ändamålsformulering beror på att den ansluter till IFAU:s uppdrag som det formulerats i myndighetens instruktion (2007:911). 
  
 48 
  
 Dir. 2011:86  
 Integritet, effektivitet och öppenhet i en modern  
 e-förvaltning 
 . 
  
 49 
  
 Tryckfrihetsförordningen (1949:105). 
  
 176 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 10.3 
  
 Förslag och bedömningar om behovet av data för utvärdering och utvärdering av reformer 
  
 Utredningens förslag:  
 I enlighet med verkets hemställan ges Skolverket möjlighet att samla in individdata för skolan i sin helhet, dvs. även för modersmålsundervisning och skolgång i specialskola, särskola och sameskola. 
  
 Utredningens bedömning:  
 Utvärdering av reformer kan baseras på data som samlats in till det löpande uppföljnings- systemet och på särskilt insamlad data. Utökade och förbätt- rade registerdata kan underlätta möjligheterna att utvärdera reformer. För utvärdering av reformer behövs dock ofta riktade uppgiftsinsamlingar, med frågeställningar relevanta för den aktuella reformen. 
 Det nationella uppföljningssystemet har en potential att utvecklas vad gäller ny uppgiftsinsamling, utökad analys av befintliga data från uppföljningssystemet och de internatio- nella studierna samt det sätt som informationen presenteras på. Vid utvecklingen bör ställning tas till vilka uppgifter som lämpar sig för att samla i form av registerdata, vilka uppgifter som bör utgöras av direktinsamlade data och ingå i det nationella uppföljningssystemet samt vilken information som inte lämpar sig för att ingå i detta. Detta är bedömningar som bör göras av Skolverket som statistikansvarig myndighet. Det är viktigt att Skolverket inför sina bedömningar samråder med forskare, myndigheter och andra aktörer som använder uppgif- terna i systemet. 
 Det har ingått i utredningens uppdrag att bedöma behovet av data för utvärdering av reformer, varför bedömningar av vissa specifika önskemål om ytterligare data presenteras i det följande. 
 För att det ska vara möjligt att utveckla och modernisera det nationella uppföljningssystemet behöver denna infrastruktur förstärkas finansiellt. 
 Med anledning av att det för närvarande pågår två utred- ningar som arbetar med frågor kopplade till hur förutsätt- ningarna för registerbaserad forskning kan förbättras, lämnas inte här några sådana förslag. Det är emellertid viktigt att regeringen i detta sammanhang bevakar de långsiktiga förut- sättningarna för  
 UGU-databasen. 
  
 177 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 Generellt gäller att olika data behövs för olika syften och olika sta- tistiska metoder kräver olika typer av data. Detta påpekande grän- sar till det självklara. Utbildning och utbildningsval påverkar en individs sociala situation, yrkesval, sysselsättning, hälsa etc. Sociala bakgrundsfaktorer har ett starkt samband med hur elever lyckas i skolan. Verkningar av skolpolitiska reformer sträcker sig även utan- för själva skolan och kan många gånger avläsas först i vuxen ålder. Det är sammantaget inte enkelt att avgränsa vilken slags informa- tion som behövs för att utvärdera skolan eller att utvärdera skolpo- litiska reformer. 
 De behov av data för utvärdering av skolan och av reformer inom skolan som aktualiserats under utredningens arbete, bl.a. av Skolverket, IFAU och olika forskare, fördelar sig på några huvud- typer. Det handlar om behovet av individdata, uppgifter om under- visningens förutsättningar, genomförande och resultat. Det finns även frågeställningar som har att göra med hur data samlas in. Vi återkommer till dessa behov och frågeställningar i det följande. 
  
 10.3.1 
  
 Några utgångspunkter 
  
 Utredningen framhöll redan i kapitel 4 att det löpande nationella uppföljningssystemet har en viktig roll i utvärderingen av skolan. Vi underströk samtidigt att uppföljnings- och utvärderingsystemet knappast på egen hand kan ge en så kvalificerad kunskap att det inte finns behov av att också genomföra särskilda utvärderingar av en reform eller ett reformskede. Ofta behövs också en komplette- rande uppgiftsinsamling. I kapitel 6 framhöll vi att det behövs en mångfald av utvärderingsmetoder, både kvantitativa och kvalitativa, för att utvärdera ett komplext system av det slag som skolan utgör. 
 Utredningen konstaterar vidare att inte minst forskare önskar sig många slags data om skolan, inte endast uppgifter om kunskaps- resultat. Till det man särskilt vill ha mer information om hör olika ramfaktorer för undervisningen och möjligheter att på olika sätt koppla samman lärarna med elever och undervisningsformer för att kunna studera det pedagogiska arbetet i skolan och kopplingarna mellan elevresultat och undervisning. Man vill också kunna följa individer från förskolan och in i arbets- och vuxenlivet. 
 De önskemål om data som olika intressenter uttrycker är i princip utan slut. Ju mer data som är tillgängliga, desto fler möj- ligheter finns det att genomföra olika slags studier och att samköra 
 178 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 data från olika register. Mot bakgrund av detta faktum är det nödvändigt att peka på ett antal förutsättningar som måste beaktas vid varje diskussion om att utöka uppgiftsinsamlingen inom ramen för det nationella uppföljningssystemet: 
  
 Insamling, lagring, bearbetning, analys och rapportering av data medför kostnader av olika slag, kostnader som fördelas på skol- huvudmännen och staten. Ökad insamling av data behöver finansieras. 
  
 Uppgiftslämnarbördan är redan stor. När nya data samlas in bör därför alltid övervägas om det samtidigt kan genomföras andra lättnader för uppgiftslämnarna, t.ex. genom att upphöra att samla in andra mindre aktuella data eller på annat sätt under- lätta uppgiftslämnandet. Det senare kan dock vara förknippat med investeringar i systemen, som i så fall måste finansieras. 
  
 Såväl i Sverige som utomlands tenderar svarsfrekvenserna i sta- tistiska undersökningar (enkäter) att minska. Detta gäller sär- skilt när enkäterna är märkta med personnummer eller löpnum- mer som kan kopplas till personnummer. 
  
 Det finns ett omfattande regelverk att ta hänsyn till såväl när data samlas in som när insamlade data ska användas för olika ändamål, bl.a. forskning. 
  
 Regeringen har på olika sätt markerat att möjligheterna att använda befintliga register för forskningsändamål bör förbättras och den har initierat olika utredningar som bl.a. har till uppgift att belysa hur väl de olika regelverken inom området samspelar med varandra. 
  
 10.3.2 
  
 Individdata 
  
 Fördelarna med en individbaserad uppgiftsinsamling bygger i grun- den på att alla uppgifter är likvärdiga och att samma uppgifter finns att tillgå för samtliga individer. Individdata ger stor flexibilitet och många möjligheter i samband med de flesta utvärderingsdesigner. Exempelvis behövs individdata kopplade till personnummer för att man ska kunna göra analyser av skolprestationers betydelse för sys- selsättningsgraden senare i livet. Samma sak gäller om man vill konstruera mått som anger vilken betydelse en viss skola har för elevernas resultatutveckling, s.k.  
 value-added-mått. 
  
 179 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 Hanteringen av individdata omgärdas av bestämmelser som skyddar individen, vilket framgår ovan. Vid samkörning av register för forskningsändamål finns t.ex. i dag tekniker att avpersonifiera registeruppgifterna, dvs. personnumren tas bort och ersätts av löp- nummer. Endast SCB har tillgång till den s.k. kodnyckel som gör det möjligt att koppla samman individerna i de olika registren. Vidare publiceras inte uppgifter för enskilda individer eller för så små grupper att individer indirekt kan identifieras. 
 Individdata för grundskolan sedan 2008 
 Skolverket beslutade 2007 att samla in individbaserade uppgifter om grundskolans elever i syfte att öka kvaliteten på den officiella statistiken och minska uppgiftslämnarbördan. Beslutet föregicks av en intern utredning där fördelar och nackdelar med en individbase- rad uppgiftsinsamling vägdes mot varandra. Utredningen utmynna- de i bedömningen att fördelarna övervägde, med hänsyn till det samhällsintresse som finns för att behandla uppgifterna och det sekretesskydd som uppgifterna omgärdas av. 
 I samband med utredningen gjorde Skolverket även en utförlig genomgång av hela uppföljningssystemet för att uppmärksamma förekomsten av personuppgifter som i enlighet med personupp- giftslagen kan betraktas som känsliga. De personuppgifter som verket identifierade gällde modersmålsundervisning och skolgång i special- skola, särskola, sameskola samt skolgång i en fristående skola med konfessionell inriktning 
 50 
 . Skolverket valde därför att hösten 2008 genomföra den första insamlingen på individnivå i grundskolan med undantag för dessa uppgifter. 
 Eftersom information om eleverna inom flera skolformer faller inom det som i lagstiftningen benämns som känsliga personuppgif- ter krävs en förändring i förordningen om den officiella statistiken för att Skolverket ska kunna samla in data om samtliga elevers skol- gång. Skolverket hemställde därför hösten 2007 hos regeringen om en ändring i förordningen om den officiella statistiken. Skolverket har på regeringens uppdrag kompletterat hemställan. Regeringen har ännu inte beslutat i frågan. 
  
 50  
 Skolinspektionen kategorisering av fristående skolor med konfessionell inriktning har upphört. Denna uppgift har därför inte längre någon relevans. 
 180 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 Individdata för barn i förskola och pedagogisk omsorg från 2014 
 Det har från forskarhåll länge funnits önskemål om tillgång till data på individnivå avseende barn som deltar i förskola och pedagogisk omsorg, på motsvarande sätt som för elever i grundskolan. Rege- ringen har gett Skolverket i uppdrag 
 51  
 att införa en individbaserad uppgiftsinsamling avseende barn som deltar i förskola och pedago- gisk omsorg. Insamling av uppgifter ska påbörjas från och med 2014 och statistiken ska därefter finnas tillgänglig årligen. Individ- data finns även för gymnasieskolan – med undantag för gymnasie- särskolan. 
 Utredningens bedömning och förslag 
 Det är angeläget att Skolverket, i enlighet med den hemställan som myndigheten gjort hos regeringen, ges möjlighet att samla in indi- viddata för skolan i sin helhet, dvs. även för modersmålsundervis- ning och skolgång i specialskola, särskola och sameskola. 
 Möjligheten att göra detta är angelägen bland annat mot bak- grund av att även för specialskolan och sameskolan finns kunskaps- mål som motsvarar dem som gäller för grundskolan. Det kan därför ses som en fråga om likvärdighet att resultaten kan följas upp och att utbildningens långsiktiga effekter kan analyseras för dessa skol- former på motsvarande sätt som för grundskolan – trots att det här i flera fall handlar om förhållandevis små elevgrupper. Enligt vår uppfattning ger den lagstiftning som omgärdar uppgiftsinsamling och redovisning av statistik ett nödvändigt och tillräckligt skydd för individen. 
  
 10.3.3 
  
 Uppgifter om undervisningens förutsättningar och genomförande 
  
 Med undervisningens förutsättningar avses här förhållanden som har att göra med undervisningstiden och dess fördelning på olika årskurser, sammansättningen av elevgrupper, förekomsten av sär- skilt stöd samt lärarnas formella kompetens etc. Med genomföran- de avses t.ex. skolans arbetssätt och användning av läromedel etc. 
  
 51  
 Skolverkets regleringsbrev för 2013. 
 181 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 Planerad och faktiskt genomförd undervisningstid 
 Bland annat från forskarhåll har framförts att det är angeläget att kunna utvärdera hur resultaten påverkas av skolornas fördelning av undervisningstiden. Det finns dock inte någon nationellt insamlad information om detta. 
 För grundskolan gäller enligt skollagen 
 52  
 att den totala undervis- ningstiden för varje elev ska vara 6 785 timmar. Därutöver framgår av bilaga till skollagen hur timmarna ska fördelas på olika ämnen eller ämnesgrupper. Både totalt och per ämne eller ämnesgrupp gäl- ler detta för hela grundskolan, dvs. över nio år. Av bilagan framgår också att av det totala antalet får 600 timmar användas för skolans val. Därvid får antalet timmar per ämne eller ämnesgrupp minskas med högst 20 procent. Detta gäller dock inte för svenska eller svenska som andraspråk och för matematik. Enligt skolförordnin- gen 
 53  
 beslutar huvudmannen efter förslag av rektorn om fördelning av undervisningstiden mellan årskurserna. 
 Huvudmannen har således en stor frihet att fördela tiden inom ramen för timplanen. Det gäller särskilt de huvudmän som genom beslut enligt en särskild bestämmelse 
 54  
 är undantagna från skyldig- heten att följa timplanen. Samtliga skolor och huvudmän måste dock ta hänsyn till ämnenas kursplaner vid planeringen av undervis- ningen. Med ett par undantag har samtliga ämnen ett centralt inne- håll angivet i kursplanen för årskurserna  
 1–3, 
 4-6 
  respektive  
 7–9. 
  Hem- och konsumentkunskap och moderna språk saknar centralt innehåll för årskurserna  
 1–3 
 55 
 . 
  Det går således inte att helt avstå från att undervisa i ett ämne under de tidigare åren, för att ta igen detta senare. 
 Bestämmelserna om undervisningstiden infördes i denna form huvudsakligen i och med 1994 års läroplan (Lpo 94). Läroplans- kommittén betonade i sitt slutbetänkande vikten av att läroplan, kursplaner och timplan skulle lämna ett friutrymme för professio- nell lokal utveckling av skolan. Regeringen underströk att timpla- nens bestämmelser inte skulle få utgöra ett hinder för pedagogiskt nytänkande och förändring. I och med Lpo 94 kom därför målen 
  
 52 
  
 10 kap. 5 § skollagen (2010:800). 
  
 53 
  
 9 kap. 4 § skolförordningen (2011:185). 
  
 54 
  
 10 kap. 6 § punkt 4 skollagen (2010:800). 
  
 55 
  
 Detta gäller dessutom för teckenspråk för hörande, som kan väljas inom språkvalet i års- kurserna  
  
 4–9. 
  
 182 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 för utbildningen att betonas starkare än undervisningstiden i det enskilda ämnet. 
 Frånvaron av en detaljerad timplan har medfört att det sedan 1994 inte funnits data om fördelningen av undervisningstiden. Det saknas även jämförbar information på huvudmannanivå. Dels sam- lar inte alla huvudmän (kommunala och fristående skolor) in dessa uppgifter, dels är inte principerna för insamling de samma. 
 Hösten 2011 införde dock Skolverket en ny uppgiftsinsamling av grundskolornas  
 planerade undervisningstid  
 per ämne och årskurs. Skolorna ska uppge den tid som schemaläggs. Det sker däremot ingen insamling av uppgifter om faktiskt genomförda lektioner. Skolverket har främst använt de insamlade uppgifterna i ett rege- ringsuppdrag om den garanterade undervisningstiden, men ny offi- ciell statistik över den planerade undervisningstiden ska tas fram under 2014. Det kommer enligt Skolverket att göra det möjligt att analysera uppgifterna om skolors planerade undervisningstid i kombination med skolornas resultatuppgifter. Uppgifter om plane- rad undervisningstid samlas dock in per årskurs och inte på individ- nivå. 
  
 Utredningen bedömer  
 att det är angeläget att kunna utvärdera hur skolornas fördelning av undervisningstiden påverkar resultaten. Den insamling som Skolverket nu initierat är värdefull och mot- svarar en rimlig ambition för en löpande insamling. Rapporteringen i skolornas administrativa system gör att det knappast är möjligt att med någon kvalitet löpande samla in uppgifter om faktiskt genom- förda lektioner, vilket annars vore att föredra. 
 För en mer fördjupad analys räcker dock, enligt vår bedömning, inte uppgifter som utgår från en planerad schemaläggning. Insam- ling av uppgifter om faktiskt genomförda lektioner bör i stället genomföras i form av särskilda studier som genomförs vid en speci- fik tidpunkt. Även sådana undersökningar kan genomföras med viss regelbundenhet och därmed också utgöra en del av det natio- nella uppföljningssystemet. Här måste dock nyttan vägas mot kostnaden för en sådan insamling. 
 Frågan om hur uppgifter om undervisningstiden kan samlas in är dessutom beroende av vad som händer med bestämmelserna om grundskolans timplan i framtiden. 
 183 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 Undervisningsgruppens sammansättning 
 Från flera håll har vikten av uppgifter om undervisningsgruppens sammansättning (klasstorlek och vilka klasskamrater som ingår i undervisningsgruppen) betonats då sådana faktorer kan ha betydel- se för elevernas studieresultat. För att bättre kunna studera sam- banden krävs, menar man, bättre och mer heltäckande information om vilka undervisningsgrupper som varje elev tillhör, dvs. möjlig- heter att göra en koppling mellan elev och undervisningsgrupp. 
 Skolverket har tidigare samlat in uppgifter om klasstorlek. Insam- lingen upphörde dock när regelverket ändrades på  
 1990-talet. 
  I den nuvarande insamlingen av uppgifter om elever i grundskolan ska skolorna rapportera klassbeteckning för samtliga elever. Skolorna kan fritt namnge klassbeteckningarna enligt den benämning som används lokalt. Skolverket har hittills bara använt uppgiften som en hjälpvariabel vid återkontakter med skolor om felaktig inrapporte- ring. 
 På grund av kvalitetsbrister i uppgifterna om klassbeteckning har det enligt Skolverket inte gått att publicera uppgifter om klass- storlek. Verket utreder för närvarande vilket sätt som skulle kunna ge kvalitet i uppgiften om klassbeteckning utan att påtagligt påver- ka uppgiftslämnarbördan. Förutom att använda klassbeteckningen för att beräkna klasstorlek kan uppgiften även ge information om hur klasser sätts samman. Klassbeteckningen kan däremot inte ge någon helt korrekt bild av förutsättningarna för undervisningen, eftersom de faktiska undervisningsgrupperna varierar över såväl läs- år, vecka som dag och mellan ämnena. 
  
 Utredningen bedömer  
 att det vore värdefullt om det gick att publi- cera uppgifter om klasstorlek. Detta trots att klass och undervis- ningsgrupp inte är samma sak. Med begreppet klass menas i första hand en administrativ indelning av eleverna som gäller för en längre tid. 
 Vill man studera hur undervisningsgrupperna faktiskt ser ut i skolan krävs dock enligt vår uppfattning andra metoder för upp- giftsinsamlingen, t.ex. olika former av observationsstudier. Detta då en undervisningsgrupp kan skapas av lärarna själva utifrån peda- gogiska överväganden, ha varierande varaktighet och bestå av en del av eleverna i en klass eller av elever från flera olika klasser. Att behöva redovisa alla de pedagogiskt motiverade konstellationer 
 184 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 som skapas till och från i verksamheten i register skulle medföra ett betydande merarbete för lärarna. 
 Särskilt stöd 
 Omfattningen av det särskilda stöd som skolorna ska ge elever som har svårigheter att nå målen för utbildningen är en fråga som har stort intresse för föräldrar, huvudmän och verksamma i skolan. 
 Hösten 2011 införde Skolverket en ny uppgiftsinsamling av upp- gifter om särskilt stöd i grundskolan på aggregerad nivå per skola, årskurs och kön. Uppgifterna avser förekomst av åtgärdsprogram, särskild undervisningsgrupp, anpassad studiegång och studiehandled- ning på modersmålet. Däremot samlas inte uppgifter in om orsakerna till det särskilda stödet. Den officiella statistik som publicerades hösten 2013 gav endast en översiktlig bild över det särskilda stödet i grundskolan och vilka tänkbara brister som kan finnas på system- nivå. 
 Skolverket planerar att samla in uppgifter på individnivå om sär- skilt stöd. Insamlingen avses ske från hösten 2014 för de elev- grupper där man redan i dag samlar in uppgifter på individnivå för andra variabler. 
 Det bör vidare noteras att uppgifter om stödundervisning även samlas in inom ramen för de s.k. elevpanelerna. Det gäller dock endast för ett urval elever och omfattar inte lika många typer av uppgifter om stöd som den insamling Skolverket planerar. 
  
 Utredningen bedömer  
 att den utveckling som Skolverket för när- varande genomför motsvarar de önskemål som man kan ställa på data över särskilt stöd. 
 Lärarnas formella kompetens 
 Det har påpekats att Skolverkets register över pedagogisk personal (lärarregistret) har haft brister, som begränsat registrets använd- barhet för att göra mer detaljerade analyser. 
 Skolverket har under de senaste åren på regeringens uppdrag utvecklat registret över pedagogisk personal (lärarregistret) i syfte att få fram 
 185 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 ett mer detaljerat underlag. Målsättningen är, enligt regeringen, att verket ska kunna följa hur stor del av undervisningen som bedrivs av förskollärare respektive lärare som är behöriga för skolformen, årskursen och ämnet. Genom att kombinera uppgifterna från lärar- registret med Skolverkets register över legitimerade lärare kommer det att vara möjligt att följa upp lärarnas formella ämneskompetens nationellt men även på huvudmanna- och skolnivå. 
  
 Utredningen bedömer  
 att den utveckling av lärarregistret som Skolverket genomfört motsvarar de önskemål som framställts i fråga om detta register. 
 Möjlighet att koppla samman lärare och elev 
 Ökade möjligheter att statistiskt koppla samman elever med de lärare som undervisat dem har efterfrågats. Värdet av uppgifter som belyser vad som – förutom den formella utbildningen – karaktäri- serar en bra lärare har framhållits. Man menar att det skulle innebä- ra nya möjligheter att studera lärarnas betydelse för elevernas resultatutveckling och bidra till att ge en ökad förståelse för vilka läraregenskaper som är särskilt viktiga. För att kunna forska om dessa frågor krävs information om vilka lärare som undervisar vilka elever i vilka ämnen. 
 Rent tekniskt skulle det sannolikt, enligt Skolverket, vara möjligt att koppla samman uppgifter om elever med uppgifter om lärare. Det finns dock ett antal svårigheter som riskerar få till följd att uppgifterna skulle få låg kvalitet. 
  
 För det första  
 försvåras kopplingen mellan lärare och elev av att endast elevens personnummer ska registreras i betygskatalogen, inte lärarens. Det är endast den betygsättande lärarens namn och titel som ska registreras 
 56 
 . Namn är aldrig en bra identifierare vid koppling av data. 
  
 För det andra  
 kommer inte den undervisande lärarens namn att registreras i betygskatalogen i de fall denne är obehörig. I stället registreras den betygssättande lärarens (eller rektorns) namn 
 57 
 . 
  
 56 
  
 SKOLFS 2011:123 8 §. 
  
 57 
  
 Bestämmelserna om att en obehörig lärare inte får sätta betyg trädde i kraft den 1 december 2013. 
  
 186 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 Detta innebär att det inte är möjligt att analysera betydelsen av om undervisande lärare är behöriga eller inte. 
  
 För det tredje  
 finns det fall där det inte räcker med att identifiera de ämnen lärarna undervisar i för att koppla elev och lärare i ett ämne. Det gäller då flera lärare undervisar i samma ämnen på en skola och då en lärare undervisar i ett flertal ämnen. Det behövs även en koppling som talar om vilket ämne just den eleven blivit undervisad i för just den läraren. 
  
 För det fjärde  
 möter elever som är i behov av särskilt stöd (ca 14 procent av eleverna i grundskolan) andra personalkategorier än sin lärare, både direkt och indirekt. Eleven kan få direkt stöd, t.ex. av resurspersonal eller speciallärare, men den ansvarige läraren kan också få stöd av t.ex. en specialpedagog för att skapa en undervis- ningssituation för eleven som utgår från elevens individuella behov. 
  
 Utredningen bedömer  
 att den efterfrågade möjligheten att koppla samman lärare och elev på registernivå är intressant då den skulle möjliggöra analyser på nationell nivå av vilken betydelse lärares utbildning har för elevers skolframgång och framtida yrkesliv. Det skulle ge möjlighet att analysera betydelsen av att lärare har en lärarutbildning eller betydelsen av att lärare har utbildning i det ämne de undervisar i. 
 Mot bakgrund av de svårigheter som redovisats ovan är det dock svårt att motivera en utökad uppgiftsinsamling av det slag som efterfrågas. Det är helt enkelt svårt att åstadkomma en koppling av data mellan lärare och elev i de administrativa registren som svarar mot de kvalitetskrav som bör ställas för att data ska kunna använ- das vid kvalificerad analys. Det skulle dessutom medföra en kraftigt utökad utgiftsbörda för skolorna samt öka kostnaderna för system- leverantörerna. 
 Framför allt är det svårt att se den verkliga nyttan, givet de pro- blem som registren är behäftade med. Varje elev i registret har under sin skoltid många olika lärare. Vissa av dessa kommer inte att vara möjliga att koppla till eleven. Eftersom kunskapande är en process så räcker det inte att koppla elev och lärare i exempelvis årskurs 9. Hela skoltiden har betydelse för resultaten, varför man åtminstone behöver uppgifter om undervisande lärare vid ett antal tidpunkter under grundskolan, t.ex. årskurserna 3, 6 och 9, och detta per ämne. Det handlar med andra ord om en ansenlig mängd uppgifter som inte registreras i dag. Att betygssättande lärare inte alltid är lika med undervisande lärare är ytterligare ett problem. 
 187 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 Enligt vår uppfattning är det av olika anledningar knappast rea- listiskt att kraftigt utöka kravet på registrering i de administrativa systemen. En sådan uppgift skulle antingen belasta lärarna själva, i ett läge när ambitionen är att avlasta dem administrativa uppgifter, eller innebära utökade uppgifter för administrativ personal på sko- lorna. Dessutom skulle sannolikt den utökade registreringen och samkörningen av många lärare uppfattas som en långtgående kontroll av deras arbete. 
 Även om vi delar uppfattningen att studier av lärarnas och olika läraregenskapers betydelse för elevernas resultatutveckling är viktiga, anser vi således inte att nyttan av att kunna koppla uppgif- ter om lärare och elev i de administrativa registren uppväger kost- naderna och den belastning detta skulle innebära för skolorna. Frågor om vad som kännetecknar en bra lärare är dessutom komp- lexa till sin natur och kan enligt vår uppfattning bättre studeras med andra metoder. 
 Utredningen konstaterar samtidigt att vissa uppgifter redan finns i skolornas register – även om de i dag inte är sammankopp- lade i systemen och är exporterbara – som kan samlas in i samband med särskilda studier, företrädesvis för ett representativt urval av skolor. 
 Skolans arbetssätt 
 Förutsättningarna för att studera vad som fungerar i klassrummet anses från flera håll i dag vara begränsade. Man noterar att det sak- nas uppgifter om hur rektorer och lärare använder sin tid i skolan och om vilka pedagogiska arbetssätt som tillämpas. 
 Forskare har i olika sammanhang efterfrågat kompletterande uppgifter om hur undervisningen bedrivs, gruppindelningar, åtgär- der för att individualisera undervisningen, pedagogiska metoder, läxor, prov, samverkan med föräldrarna, etc. Man vill bland annat kunna studera hur detta samspelar t.ex. med lärares kunskaper. Sådan information skulle enligt forskarna kunna samlas in genom exempel- vis enkätundersökningar som riktas till ett (roterande) urval av skolor och där enkäterna är utformade så att informationen görs kvantifierbar. Även uppgifter om klassrumsklimat, elevernas motiva- tion, samt hur mycket tid de lägger på sitt skolarbete i skolan och på fritiden, skulle enligt forskarna kunna bidra till ökad kunskap om förutsättningarna för lärandet. 
 188 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 Det nationella uppföljningssystemet kan i dag belysa utbildningens förutsättningar och resultat. Däremot innehåller inte systemet någ- ra uppgifter om olika undervisningsprocesser, dvs. om vad som sker i klassrummet, eller hur det upplevs av eleverna. Här aktualise- ras i än högre grad än för uppgifter om undervisningens förutsätt- ningar frågan om vilka uppgifter som bör samlas in som regis- terdata, vad som kan samlas in genom periodiskt återkommande uppföljningar och vad som behöver vara föremål för särskilda stu- dier (ad hoc). 
 Processerna i klassrummet (frågor om arbetssätt, läromedelsan- vändning, klassrumsklimat, elevernas motivation, m.m.) kan bely- sas med olika metodiska ansatser och tekniker. 
 Exempelvis har Skolverket vart tredje år sedan 1993 genomfört en enkätundersökning –  
 Attityder till skolan  
 – bland elever i årskurs  
 7–9 
  samt bland lärare i hela grund- och gymnasieskolan 
 58 
 . Vissa år har undersökningen kompletterats med en föräldraenkät. Attityd- undersökningen syftar bland annat till att bidra till en fördjupad diskussion om skolan och ge signaler till ytterligare analyser. Under- sökningen innehåller uppgifter om lärares kompetens och skick- lighet, skolans arbetssätt och miljö för lärande, stöd, motivation, trivsel, trygghet, stress och krav i skolan samt kränkningar. 
 Utredningen har övervägt om Skolverkets arbete med  
 Attityder till skolan  
 kan utvecklas metodologiskt och i fråga om innehållslig bredd för att möta forskarnas behov. Vi konstaterar dock att atti- tydundersökningen som den hittills varit utformad inte kan utgöra en utgångspunkt för att möta forskarnas efterfrågan på ytterligare data om skolans arbetssätt. Attitydundersökningen görs för det första på ett för litet urval för att det ska vara möjligt att bryta ner data på lägre nivåer, för det andra måste man ange på förhand vilka samkörningar man planerar att göra. Genom att svara på enkäten ger varje individ i urvalet sitt samtycke. Personnummer (löpnum- mer) finns förvisso för de individer som ingår i urvalet och för de enkätsvar som inkommit kan samkörning göras, men när kör- ningen gjorts avkodas uppgifterna, dvs. personnumret gallras bort. Detta medför att uppgifter i attitydundersökningarna därefter inte kan samköras med uppgifter i andra register, vilket begränsar atti- tydundersökningens värde för forskningen. 
 Om Friskolekommitténs förslag om en kundundersökning för skolan realiseras kan detta komma att påverka attitydunder- 
  
 58  
 Skolverket (2013)  
 Attityder till skolan 2012 
 . Rapport nr. 390. 
 189 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 sökningens utformning. Enligt uppgift från Skolverket kan denna komma att få ett mer avgränsat innehåll jämfört med i dag. Även Skolinspektionens enkätundersökningar till elever, lärare och för- äldrar bör vägas in i detta sammanhang. Syfte med dessa är dock att ge underlag inför tillsyn och enkäterna är anonyma, bl.a. för att hålla uppe svarsfrekvensen. 
 Utöver Skolverkets återkommande attitydundersökning finns också sedan lång tid vissa longitudinella data med koppling till under- visningen i de s.k. elevpanelerna som SCB samlar in i samarbete med bl.a.  
 UGU-projektet 
  vid Göteborgs universitet. Det gäller uppgifter om bl.a. stödundervisning, hemspråksundervisning och språkval. Inom ramen för UGU samlas dessutom uppgifter in om bl.a. inställning till skolan och skolmotivation för elever i årskurs 6 samt genom enkäter till lärare, som undervisar vissa kohorter av elever, personliga uppgifter relaterade till arbetet som lärare, klass- storlek och klassammansättning, undervisningen samt skolans kvalitet. 
  
 Utredningen bedömer  
 att det är viktigt att undersöka olika möjlig- heter för att öka kunskapen om skolans arbetssätt. Det bör vara fullt möjligt att belysa vissa aspekter av skolans arbetsätt genom exempelvis enkätundersökningar som riktas till ett (roterande) urval av skolor och där enkäterna utformats så att svaren är möjliga att omvandla till kvantifierbar information på skolnivå. För att förbättra informationsläget inom detta område krävs att en ny undersökningsdesign utvecklas. För Skolverket som statistikansva- rig myndighet är detta en resursfråga. Myndigheten måste också ta hänsyn till skolhuvudmännens uppgiftslämnarbörda. 
 Vi menar dessutom att det finns anledning att vara försiktig med vilken typ av direktinsamlade uppgifter som registreras i det löp- ande statistiksystemet. Svar på frågor om hur undervisningen organiseras eller genomförs, kan vara känsliga för tidens gång. Sättet att tolka en fråga och att besvara den kan påverkas av att kontexten runt frågan och runt den som besvarar den förändras. Dessutom måste det vägas in att det blivit allt svårare att uppnå en hög svars- frekvens på enkätundersökningar, särskilt om personnummer/löp- nummer registreras. 
 Vår bedömning är att skolans arbetsätt är ett område där det finns anledning för olika aktörer att successivt utveckla nya instru- ment eller att komplettera redan befintlig uppgiftsinsamling. Det gäller inte endast Skolverket. Vill man bygga upp longitudinella 
 190 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 register med data av detta slag bör även övervägas vilken roll t.ex. UGU kan spela. Även i detta fall blir det en fråga om finansiering. 
 Läromedel 
 Uppgifter om vilka läromedel som används har efterlysts. Uppgif- terna skulle kunna användas för att utvärdera effekterna av lärome- del och arbetssätt. 
  
 Utredningen bedömer  
 att det är av stort värde att kunna följa utveck- lingen på läromedelsområdet. Detta bl.a. mot bakgrund av den stora frihet som skolan och läraren har att välja läromedel och besluta om hur dessa ska används i undervisningen. Denna frihet påverkar sam- tidigt förutsättningarna att studera läromedelsanvändningen i ett statistiksystem. Utredningen konstaterar att Skolverket redan i dag gör en återkommande enkätstudie med  
 it-inriktning. 
  Eventuella ytterligare uppgifter bör ingå i den återkommande enkätundersök- ningen eller i särskilda riktade undersökningar av läromedelsanvänd- ningen. 
  
 10.3.4 
  
 Uppgifter om undervisningens resultat 
  
 Frågan om systemet för att följa kunskapsresultaten över tid i den svenska skolan har redan behandlats i föregående kapitel. Här kom- menteras därför endast några specifika frågor om de nationella pro- ven samt frågan om tidiga bedömningar. 
 Mer objektiv rättning av nationella prov 
 Tillgång till goda data för att kunna göra olika slags jämförelser och analyser, t.ex. av orsakssamband, är en fråga som under senare år lyfts fram från flera håll. För att säkra tillgången till goda data krävs, menar man, en mer objektiv rättning av de nationella proven. 
 Utredningen uppfattar inte att det ligger inom ramen för direktiven att lämna förslag när det gäller frågan om behovet av mer objektiv rätt- ning av nationella prov. Frågeställningen rör inte data som behövs utan handlar mer specifikt om kvaliteten på de data som finns. Vi har dessutom i föregående kapitel föreslagit att en utredning till- 
 191 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 sätts för att se över hela systemet för att följa kunskapsresultaten i den svenska skolan. En sådan utredning bör i så fall även pröva frågan om hur rättningens kvalitet kan förbättras. Några tankar vill vi dock förmedla. 
 Att prov ska rättas så objektivt som möjligt är självklart, hur detta ska gå till är dock mindre självklart. Förmågan att bedöma är central i lärarens profession. Att ta ifrån läraren uppgiften att bedö- ma proven skulle därför kunna uppfattas som en deprofessionalise- ring av lärarkåren. Dessutom skulle provens förebildliga ambition riskera att gå förlorad eller åtminstone minska. 
 Samtidigt är kravet på likvärdig bedömning vid rättningen av de nationella proven viktig. De omrättningar som Skolinspektionen har genomfört visar att proven i hög grad bedöms på samma sätt av elevernas lärare och Skolinspektionens omrättare. I två delprov, nämligen de längre skrivuppgifterna i engelska och svenska i årkurs 9 och gymnasieskolans kursprov i samma ämnen, finner man dock större avvikelser mellan lärarnas ursprungliga bedömning och omrättarens. Det går dock inte att avgöra vilken rättning som är 
 rätt eller fel, endast att det finns en spridning i bedömningen. 
 Det är också ett välbekant fenomen att variationen i bedömningen ökar vid frågor som kräver längre självproducerade svar. Iaktta- gelsen ligger i linje med svensk och internationell forskning om bedömarreliabilitet. 
  
 Utredningen bedömer 
 , i likhet med Skolverket, att det finns goda möjligheter att utveckla och, om det behövs, reglera formerna för kollegial bedömning i Sverige. Här finns förebilder att tillgå, t.ex. i England som Skottland. Man talar där om  
 modering  
 och har skapat olika institutionella arrangemang för detta. En möjlighet är att utforma ett system där prov från en skola lottas på lärare på en eller flera andra skolor för extern medbedömning. 
 Insamling av provresultat på poängnivå 
 Forskare har efterfrågat att rapporteringen av resultat på nationella prov genomgående borde ske på poängnivå. För vissa årskurser samlas resultaten i dag endast in på betygsnivå. För att kunna ana- lysera elevernas resultat på nationella prov med den precision som krävs för att olika svårigheter – och mönster bakom dessa svårig- heter – ska framträda, vill man kunna fingradera bedömningen mer 
 192 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 än vad som är möjligt i ett antal betygssteg. Provbetyg döljer även alla underliggande resultatskillnader för elever med samma betyg. 
 De nationella proven består av ett antal delprov. Betyg sätts på varje delprov. De olika betygen på delproven vägs sedan samman till ett sammanfattande provbetyg. Skolverket samlar in betygen per ämne från de nationella proven i årskurs 6 och 9, både del- provsbetygen och det sammanfattande provbetyget. För årskurs 3 samlas uppgifter om delprovspoäng in, liksom om eleven nått krav- nivån för godtagbara kunskaper eller inte. 
 Innan betyg infördes i årskurs 6, samlades uppgifter in om den poäng eleverna uppnått på respektive delprov både i årskurs 3 och årskurs 6. Syftet med insamlingen var att kunna analysera hur väl eleverna klarade de olika delproven (hur väl de hade förvärvat den förmåga som testades på just det delprovet) samt hur fördelningen såg ut, dvs. hur stor andel av elevresultaten som befann sig i gräns- landet av de mål som skulle uppnås, inte ens var i närheten eller hade uppnått kravnivån med råge. 
 Skolverket har inte några data på uppgiftsnivå. De institutioner som gör proven genomför dock egna insamlingar av fullständiga lösningar av provuppgifterna. Dessa insamlingar baseras emellertid enbart på lösningar från elever som är födda på vissa, fördefiniera- de, datum, vilket möjliggör vissa fördjupade analyser av elevernas provresultat. Vad vi har förstått varierar det sätt som insamlingen sker mellan institutionerna och urvalen kan inte förväntas vara så stora att dessa insamlingar svarar mot forskarnas behov av underlag på poängnivå. 
 Skolverket anser inte att nyttan med poänginsamling står i pari- tet med den uppgiftslämnarbörda den skulle orsaka. Man menar att den insamling som sker av betyg i årskurserna 6 och 9 i grund- skolan och av provbetyg från årskurserna 3, 6 och 9 är tillräcklig för uppföljningens behov. Man menar vidare att den nya betygsskalan med fler steg ger mer preciserade resultat än den tidigare. Insam- lingarna av poäng har enligt verket visat sig vara mycket krävande. Även felrapporteringar är vanligt förekommande när det gäller rapportering av poängnivåer. 
 För en poängrapportering argumenterar bl.a.  
 Sanchez m.fl. i en nyligen utkommen  
 SNS-rapport 
 59 
 . 
  Författarna konstateras att information från de nationella proven kan förväntas vara av 
  
 59  
 Cole,  
 Johnson, 
  Alvarado och Chung (2014)  
 Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter 
 . SNS Förlag. 
 193 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 intresse för uppföljnings- och forskningsändamål och att den där- för bör samlas in. Man menar vidare att det är viktigt att insam- lingen av provresultat inte begränsas till det sammanfattande prov- betyget, och inte heller till de olika delbetygen. Det är i stället nödvändigt att göra storskaliga insamlingar även av de poängtal som eleverna når på de olika delproven. Som stöd för sina slutsaster hänvisar författarna till Koretz 
 60  
 som visat att prestationsmått som sammanfattas i så grova kategorier som fyra till sex betygssteg knappast är användbara för uppföljningsändamål, eftersom presta- tionsförändringar i allmänhet är relativt små. 
  
 Utredningen bedömer  
 att det är angeläget att resultaten från de nationella proven samlas in på poängnivå, för att möjliggöra analy- ser med högre precision. Vi inser samtidigt att hindren för en sådan rapportering i dag handlar om såväl de administrativa systemens funktionssätt och hur vissa prov är konstruerade 
 61  
 som de rutiner och tidsplaner som institutionerna som utarbetar proven arbetar med. Det bör emellertid undersökas om det med rimliga insatser går att kortsiktigt komma till rätta med dessa problem. Utred- ningen har samtidigt föreslagit att hela frågan om ett nationellt system för kunskapsbedömning och de nationella proven bör ut- redas i ett sammanhang. Frågan om insamling av resultat på poäng- nivå bör ingå i uppdraget till en sådan utredning. 
 Tidiga bedömningar 
 Forskare 
 62  
 vill kunna utvärdera hur insatser i de lägre åldrarna påverkar elever med olika förutsättningar. För att kunna bedöma effekterna av olika insatser behövs, menar man, mätningar av elev- ernas förmågor och färdigheter så tidigt som möjligt, gärna redan innan de börjar i skolan, dvs. i förskolan. Det har konstaterats att 
  
 60 
  
 Wade, Long (2008)  
 Measuring Up. What Educational Testing Really Tells Us.  
 Har- vard Press. Cambridge, Massachusetts, London, England. 
  
 61 
  
 Bland annat förekommer det att betyg på delprov inte endast grundas på det samlade antalet poäng på delprovet, utan att eleven också måste ha fått visst antal poäng på delar av delprovet för att betyget ska kunna sättas. Sådana konstruktioner försvårar naturligtvis möjligheterna att låta administrativa system beräkna delprovsbetyget. 
  
 62 
  
 Se Harris (red.) (2011)  
 Utvärdering genom Uppföljning. Longitudinell individ- forskning under ett halvsekel 
 . Gothenburg Studies in Educational Sciences 305. Göteborgs universitet. Se även Burns, Miller och  
  
 Rodgers (2012)  
 En god start – en  
 ESO-rapport 
  om tidigt stöd i skolan 
 . Rapport till Expertgruppen för studier i offentlig ekonomi, 2012:2. 
  
 194 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 en del huvudmän redan i dag kartlägger t.ex. barns språkutveckling genom olika diagnos- och bedömningsmaterial. 
  
 Utredningen bedömer  
 att denna fråga aktualiserar den grund- läggande frågan om samhällets och forskningens nytta i förhållande till den enskildes integritet. 
 Frågan om insamling av tidiga bedömningar av kognitiv förmåga skiljer sig på flera sätt från de övriga önskemålen om ytterligare data. Utredningen har i ett tidigare avsnitt redovisat den kompli- cerade lagstiftning som gäller inom området. När det gäller exempelvis de tester som görs inom ramen för  
 UGU-databasen 
  krävs den enskildes samtycke till att delta. Sannolikheten för stora bortfall är stor om detta skulle göras i nationell skala. Att genom lagstiftning tvinga föräldrarna att låta sina barn delta i tester av barnens kognitiva förmåga förefaller att gå utöver det rimliga. Enligt vår upp- fattning lämpar sig denna typ av uppgiftsinsamling bättre för den typ av forskningsdatabaser som exempelvis UGU utgör, och där de deltagande har gett sitt medgivande. 
 Även den efterfrågan som finns på insamling av resultat från de olika diagnos- och bedömningsmaterial som ibland används i för- skolan för att framför allt kartlägga barns språkutveckling anser vi problematisk. Det är en sak vad enskilda förskolor och skolor gör lokalt för att diagnosticera barn och elever, t.ex. i samband med planering och genomförande av undervisning. Det är en helt annan sak vad som är lämpligt att samhället samlar in på nationell nivå – särskilt om detta sker på individnivå för hela populationer. Det går knappast att samla in sådana data utan att bli mer eller mindre föreskrivande om att det ska genomföras denna typ av diagnoser och hur de ska genomföras. Att genomföra särskilda studier som utgår från resultaten från befintliga diagnoser bör däremot vara möjligt under förutsättning att föräldrarna har gett sitt godkän- nande till det. 
  
 10.3.5 
  
 Kostnader och elevresultat 
  
 Myndigheter och forskare har konstaterat att huvudmännen använ- der sig av olika system för att hämta in uppgifter om elever och lärare och föreslår att dessa system vidareutvecklas för att möjlig- göra nationell insamling av uppgifter om elever och lärare. 
 195 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 Forskare har konstaterat att det finns begränsad kunskap om effekterna av kompensatoriska inslag i huvudmännens resursfördel- ning och av hur olika typer av resurser påverkar elevers resultat. Enligt forskare vore det önskvärt att kostnadsdata samlas in på skolnivå, gärna uppdelat på olika utgiftsposter. Man önskar också att få tillgång till information om de principer som ligger bakom kommunernas resursfördelningssystem. 
  
 Utredningen bedömer  
 att det är svårt att göra något åt att kom- munerna använder sig av olika administrativa och ekonomiska sys- tem 
 63  
 med mindre än att staten genom lagstiftning föreskriver ett enhetligt system för samtliga kommuner och landsting, något vi bedömer vara mindre realistiskt. Man har vidare olika system för budgetuppföljning. Det är enligt Skolverket svårt att få in jämför- bara uppgifter. Detta är givetvis problematiskt. 
 Det är dock värt att notera att Norge valt en annan väg. Där inleddes, i samband med övergången till målstyrning under första halvan av  
 1990-talet, 
  ett utvecklingsarbete av statistiken inom kom- munsektorn under rubriken KOSTRA  
 (Kommun-Stat-Rapporte- 
  ring) 
 64 
 . Arbetet inriktades på att skapa ett sammanhållet produk- tionssystem för definitionsmässigt enhetlig ekonomisk statistik och verksamhetsstatistik. Från och med 2002 ingår alla kommuner och fylken i KOSTRA. 
 Även OECD 
 65  
 har noterat att de svenska kommunerna har olika system för datainsamling, att de inte är standardiserade och inte kan användas för att göra jämförelser mellan kommunerna. Detta gäller även för de fristående skolorna. Varje utbildningsanordnare samlar in sina egna data och det finns inte någon strävan att harmo- nisera denna datainsamling. Även på skolnivå är datasystemen mycket olika och ojämna och en del skolor saknar system för att hantera data. 
 OECD konstaterar att det inte finns någon nationell plan för att hantera frågan om standardisering av system för datainsamling i syfte att möjliggöra jämförelser av detta slag. OECD konstaterar slutligen att varken Sveriges kommuner och landsting eller Fristående skolors riksförbund har tagit några initiativ för att standardisera eller aggregera data. 
  
 63 
  
 När det gäller elevdata arbetar SCB enligt uppgift från Skolverket mot 33 olika system- leverantörer. 
  
 64 
  
 SOU 2009:25  
 Samordnad kommunstatistik för styrning och uppföljning 
 . 
  
 65 
  
 OECD (2011) Reviews of Evaluation and Assessment in Education. Sweden. 
  
 196 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 När det gäller specifikt analyser av hur resursfördelningen påverkar elevers skolresultat är det samtidigt värt att notera att den stora posten, och sannolikt även den viktigaste, utgörs av under- visande personal. Den går att mäta på annat sätt än i utgiftstermer, varför det ändå bör vara möjligt att genomföra meningsfulla analyser. 
 Frågan om hur kommunernas resursfördelningssystem påverkar elevernas resultat kan med nuvarande redovisningsformer endast studeras genom särskilda studier. Skolverket har i flera rapporter pekat på komplexiteten i att försöka koppla kvantitativa data om ekonomiska resurser till kvaliteten på undervisningen och elevernas studieresultat 
 66 
 . Det har också visat sig svårt att identifiera tydliga alternativa resursfördelningssystem. Möjligheterna att belysa detta i ett registerbaserat statistiksystem måste därför anses begränsade. 
  
 10.3.6 
  
 Utveckling, modernisering och resurser 
  
 Vid utvecklingen av uppföljningssystemet måste ställning tas till vilken information som lämpar sig för ett nationellt uppföljnings- system och vilken information som bör hanteras vid sidan av detta. Det innebär dock inte att vi utesluter möjligheten att införliva mer data från enkäter (urval eller totalundersökningar) i systemet, under förutsättning att frågor bedöms ha en sådan karaktär att den information de ger upphov till är stabila över tid. Detta är en fråga som bör bedömas av Skolverket som statistikansvarig myndighet. 
 Vi uppfattar att det sammantaget finns olika utvecklingsmöjlig- heter för det nationella uppföljningssystemet. Förutom de föränd- ringar som följer av regeringens reformer finns också ett behov av att modernisera uppföljningssystemet som helhet. Användarna ställer stora krav på såväl statistikens innehåll och aktualitet som användarvänligheten. För att tillgodose användarnas behov behöver Skolverket dels samla ny data och utveckla ny statistik, vilket har diskuterats ovan, dels utveckla en modern, sammanhållen publi- ceringsdatabas med uppgifter om alla verksamhetsformer på alla befintliga redovisningsnivåer (riket, län, kommun, skola, huvud- man). 
 I praktiken måste dock Skolverket i dag i första hand fokusera på driften av det befintliga systemet. Detta är resurskrävande. Vad vi kan bedöma saknas därför tillräckliga resurser för att utveckla och modernisera systemet. Som redan nämnts måste dessutom 
  
 66  
  
 Se t.ex. Skolverkets rapport 391 (2013)  
 Kommunernas resursfördelning till grundskolor 
 . 
  
 197 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 hänsyn tas till huvudmännens uppgiftslämnarbörda, vilket innebär att ny uppgiftsinsamling bör motsvaras av avlastning i någon annan del av systemet. 
 Den infrastruktur som uppföljningssystemet utgör behöver därför enligt vår uppfattning en finansiell förstärkning för att det ska vara möjligt att följa utvecklingen inom hela skolväsendet. Det gäller särskilt efter de senaste årens reformer. Förutom den löpan- de, årliga kostnaden för uppgiftsinsamling och statistikframställ- ning uppstår även initiala kostnader för utveckling och anpassning av de befintliga insamlings- och granskningssystemen samt för att ta fram ny statistik. 
 Skolverket har i dag inget särskilt anslag för insamling av data för statistikändamål, utan resurserna för detta bestäms genom ver- kets interna budgetprioriteringar. Sett i perspektivet av myndig- hetens samlade åtagande kan knappast förväntas några större omfördelningar mellan olika verksamhetsområden till förmån för utveckling av uppföljningssystemet. Vid eventuella förändringar av uppföljningssystemet behöver regeringen därför se till att resurser avsätts inte bara för att samla in nya data utan också för att hantera dem vidare. 
  
 10.3.7 
  
 Inga förslag om författningsändringar 
  
 Enligt direktiven ska utredningen om det behövs lämna författ- ningsförslag för att öka tillgången på data som behövs för att i ökad utsträckning kunna utvärdera reformer. 
 Insamling, lagring och användning av registerdata som avser individer är omgärdade av ett omfattande, och ibland svårgenom- trängligt, regelverk som i första hand syftar till att skydda den enskilde individen. Detta är nödvändigt, men påverkar förutsätt- ningarna för utvärdering och forskning. 
 Mot bakgrund av att det för närvarande pågår två utredningar som arbetar med frågor kopplade till hur förutsättningarna för registerbaserad forskning kan förbättras, har vi avstått från att läm- na förslag om registerförfattningar på skolans område. 
 Vi bedömer dock att exempelvis den s.k.  
 UGU-databasen 
  vid Göteborgs universitet kan komma att beröras av resultatet av utred- ningarna. Det är i så fall viktigt att regeringen tar hänsyn till den betydelse som denna internationellt unika databas har för forskning 
 198 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 inom flera vetenskapliga discipliner och att de långsiktiga förut- sättningarna för  
 UGU-databasen 
  inte äventyras. 
  
 10.3.8 
  
 Avslutande diskussion 
  
 Utvärdering av reformer kan baseras på data som samlats in till det löpande uppföljningssystemet och på särskilt insamlad data. Vilken metod som bör väljas i samband med en reformutvärdering hänger samman med reformens innehåll, vad det är man vill veta och vad man vill använda utvärderingsresultaten till. Kvantitativt inriktade utvärderingar kräver ofta tillgång till registerdata medan kvalitativt inriktade utvärderingar oftast bygger på direktinsamlade data. 
 Kännetecknande för de  
 registerdata  
 som ingår i statistiksystemet är att de samlas in årligen, hämtas ur de lokala administrativa systemen samt att de består av hela kohorter, dvs. alla elever, alla lärare och alla huvudmän. Skolverket samlar i princip inte in registerdata som inte är avsedda att ingå i den officiella statistiken.  
 Direktinsamlad data  
 kännetecknas av att den samlas in via enkäter, observationer eller på annat sätt, att insamlingen sker periodiskt (t.ex. vart tredje år) samt att insamlingen sker genom urval. Direktinsamlad data kan ingå i uppföljningssystemet, som i fallet med Skolverkets attitydunder- sökning, eller genomföras särskilt i anslutning till utvärdering av en specifik reform. 
 Ett väl fungerande uppföljningssystem med registerdata som möj- liggör olika typer av analyser och framför allt bidrar till en system- kunskap är en viktig grund för reformutvärdering. Utredningen konstaterar samtidigt att det ofta för utvärdering av reformer behövs kompletterande uppgiftsinsamling, som utgår från just de frågeställningar som ska belysas i utvärderingen. Det är dessutom ofta värdefullt att utvärderingar som baseras på registerdata kombi- neras med utvärderingar som grundas på annan slags empiri. Detta för att åstadkomma en tillräckligt bred och fördjupad utvärdering av reformer och andra mer omfattande åtgärder. 
 När utredningen behandlat de olika önskemål som framkommit om ytterligare data i det nationella uppföljningssystemet har avväg- ningar fått göras mellan dels de kunskapsintressen som efterfrågan återspeglar, dels de praktiska och ekonomiska förutsättningarna för att genomföra uppgiftsinsamlingen, nyttan av en sådan insamling samt lämpligheten ur bl.a. ett etiskt perspektiv. 
 199 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 Utredningens slutsats är att långt ifrån all information, t.ex. om skolans arbetsformer och undervisningssätt, lämpar sig för att sam- las in regelbundet för att bilda registerdata. För att sådana data ska vara användbara för statistiska analyser över tid krävs att de upp- gifter som lagras inte påverkas av yttre förändringar eller över tid. 
 Vi menar dessutom att hänsyn måste tas till att frågor som ställs vid en regelbunden insamling av data i ett nationellt uppföljnings- system kan ha en indirekt styrande effekt på verksamheten. Den svenska skolan och de svenska lärarna har stor frihet att, inom ramen för läro- och kursplanerna, organisera och genomföra under- visningen, välja läromedel etc. Det vore därför olyckligt om det sätt som uppgiftsinsamlingen utformas leder till en indirekt och oav- sedd styrning. Den stora variationen i undervisningsformerna gör dessutom att det är svårt att fånga dessa med mindre än att fördju- pade studier genomförs på plats. 
 I flera fall har önskemålen om ytterligare datainsamling handlat om att öka den information som hämtas ur lokala administrativa regis- ter. Det handlar t.ex. om planerad och genomförd undervisning, undervisningsgruppens sammansättning samt om möjligheterna att koppla samman lärare och elev. 
 Utredningen anser att det vore värdefullt om det gick att hämta fler uppgifter från de administrativa systemen än vad som är möj- ligt i dag. Flera av de uppgifter som efterfrågas lämpar sig i princip och till sin karaktär för denna typ av registrering, t.ex. uppgifter om planerad och genomförd undervisning respektive undervis- ningsgruppernas sammansättning. Som vi bedömt ovan blir dock sannolikt kvaliteten i sådana data inte tillräckligt god, helt enkelt för att skolorna inte registrerar de uppgifter man ur ett utvärde- ringsperspektiv skulle kunna önska att de gör, och inte heller är skyldiga att göra det. Att ålägga skolan, och i praktiken läraren, en skyldighet att utöka registreringen i de administrativa systemen är inte realistiskt i ett läge där ambitionen i stället är att minska den administrativa bördan. Skolverket bör dock undersöka möjlighe- terna att successivt utöka uppgiftsinsamlingen från de administra- tiva systemen i de fall uppgifter registreras i tillräcklig omfattning och med acceptabel kvalitet. 
 I det fall de administrativa systemen inte kan erbjuda de data som efterfrågas med tillräcklig kvalitet bör annan uppgiftsinsamling väljas, genom enkäter eller genom observationer på plats. Behovet av empiri för att studera t.ex. den faktiska organiseringen av under- 
 200 
  
 SOU 2014:12 
  
 Data för utvärdering – utvecklingsbehov 
  
 visning i undervisningsgrupper löses troligen bäst genom att data samlas in vid ett urval av skolor genom enkäter eller observations- studier. 
 Utredningen konstaterar vidare att ändamålsbestämmelserna i PUL tar sikte på bl.a. den vetenskapliga användningen av adminis- trativa data. PUL medger vetenskaplig användning av data som ursprungligen samlats in för andra ändamål. Den uppgiftsinsamling som efterfrågas här handlar dock inte om ett sådant återbruk av data som samlats in för andra, lokala administrativa ändamål, utan om att samla in och sammankoppla data för allmänna forsknings- ändamål utan att detta har något med de lokala behoven att göra. 
 Vissa uppföljnings- och utvärderingsbehov förutsätter att man använder sig av direktinsamlingsmetoder, oftast i form av urvals- studier och ofta genom enkätstudier. Exempel på direktinsamling är regelbundna attitydundersökningar bland elever, lärare och föräld- rar som genomförts sedan 1993 samt de longitudinella studier som SCB genomför i samverkan med UGU (elevpanelerna) och den ytterligare insamling som UGU genomför. I båda fallen omfattas uppgifter om bl.a. skolans arbetssätt. 
 Det finns flera områden som är viktiga för skolans utveckling och där det framförts önskemål om ytterligare data och som kan lämpa sig för direktinsamling. Det handlar t.ex. om undervisningen, dvs. skolans arbetsformer och lärarnas arbetssätt. Data inom detta område är svårt att samla in som registerdata med en rimlig arbets- insats och det är ofta svårt att få god kvalitet i sådana uppgifter. 
 Förbättrade underlag av detta slag skulle underlätta möjlighe- terna att utvärdera reformer. För utvärdering av reformer och andra mer omfattande förändringar kommer dock enligt vår bedömning även att behövas riktade uppgiftsinsamlingar, med frågeställningar relevanta för den aktuella reformen. Detta kan ske genom enkäter eller fallstudier som bygger på observationer av skolans arbetssätt 
 på plats. Sådana fallstudier är förvisso resurskrävande, men kan enligt vår uppfattning bidra med en kunskap av högre kvalitet och leda till djupare insikt än andra former av informationsinsamling. 
 Det är den statistikansvariga myndigheten, i detta fall Skolverket, som ska ansvara för bedömningen av vilka data som behövs samt göra den nödvändiga avvägningen mellan nytta och kostnader för ny uppgiftsinsamling. I detta ligger också att svara för bedöm- ningen av på vilket sätt nya uppgifter ska samlas in, t.ex. från admi- 
 201 
  
 Data för utvärdering – utvecklingsbehov 
  
 SOU 2014:12 
  
 nistrativa register eller genom t.ex. enkätstudier. Det är viktigt att Skolverket inför sina bedömningar samråder med forskare, myn- digheter och andra aktörer som använder uppgifterna i systemet. Skolverket är dock beroende av de ramar som ges i form av finan- siering. Vi menar att Skolverket behöver tillföras resurser för att dels samla ny data och utveckla ny statistik, dels utveckla sättet att redovisa statistiken på. 
 Det behövs även ytterligare resurser till systemet för att syste- matiskt analysera den omfattande statistik som samlas in redan i dag. Enligt uppgifter som utredningen fått från Skolverket och forskare finns inom många områden tillgång till mer data än vad man har resurser att bearbeta och analysera. Både den nationella statistiken och underlagen från de internationella studierna PIRLS, PISA och TIMSS skulle kunna bidra med avsevärt mer kunskap. Det är dessutom möjligt att utöka urvalen för de internationella undersökningarna för att möjliggöra en mer fördjupad nationell analys eller att lägga till frågor av nationellt intresse. Detta kostar dock pengar. 
 202 
  
 11 
  
 Organisering för stärkt utvärdering 
  
 I kapitel 7 pekar utredningen på behovet av ett nationellt ramverk för utvärdering på skolans område. Av ett sådant ramverk bör framgå hur utvärderingen är organiserad, vilka de centrala aktörer- na är samt hur ansvaret är fördelat dem emellan. Det bör också framgå hur och av vem förslag till prioriterade områden för utvär- dering tas fram, vem som beslutar om detta och på vilket sätt olika parter inom skolsamhället ges inflytande över detta. Detta är frågor som tas upp i detta kapitel. 
  
 11.1 
  
 Dagens aktörer i Sverige 
  
 I Sverige finns i dag två aktörer med ett direkt ansvar för utvär- dering av skolan: 
  
 Skolverket  
 ska enligt skollagen (2010:800) på nationell nivå följa upp och utvärdera skolväsendet, övriga utbildningar och verk- samheter som står under Statens skolinspektions tillsyn enligt skollagen, och viss annan pedagogisk verksamhet 
 1 
 . Enligt verkets instruktion 
 2  
 ska myndigheten rapportera till regeringen i de frågor som dessa uppgifter kan ge upphov till. Uppföljningen och utvärderingen ska öka kunskapen om hur utbildningarna och verksamheterna har utvecklats i förhållande till de nationella målen. Myndigheten ska också sammanfatta och publicera resul- taten av arbetet med uppföljning och utvärdering. Slutligen ska Skolverket ansvara för officiell statistik 
 3 
 . 
  
 1 
  
 26 kap 24 § skollagen (2010:800). 
  
 2 
  
 Förordning (2011:555) med instruktion för Statens skolverk. 
  
 3 
  
 Enligt förordningen (2001:100) om den officiella statistiken. 
  
 203 
  
 Organisering för stärkt utvärdering 
  
 SOU 2014:12 
  
 Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU 
  
 ) har sedan februari 2012 enligt sin instruktion 
  
 4  
  
 i uppdrag att bland annat utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet. 
  
 Förutom dessa två myndigheter finns som redovisats i kapitel 4 ett antal aktörer som mer marginellt har betydelse för utvärderingen av skolan. 
  
 Statskontoret  
 ska enligt sin instruktion 
 5  
 på regeringens uppdrag bistå med utredningar, utvärderingar samt uppföljningar av statlig och statligt finansierad verksamhet samt övergripande frågor om den offentliga förvaltningens funktionssätt. Utredningen har redan i kapitel 4 konstaterat att de ganska fåtal utredningar som Stats- kontoret under överskådlig tid haft i uppdrag att genomföra kan motiveras med behovet av en i förhållande till den statliga skol- förvaltningen oberoende aktör eller på grund av att uppdraget legat inom Statskontorets särskilda kompetensprofil. 
 Det offentliga utredningsväsendet  
 kan också genomföra utvärde- ring på regeringens uppdrag. 
  
 Skolinspektionen  
 ansvarar enligt skollagen ansvarar för tillsyn och kvalitetsgranskning 
 6 
 . Enligt sin instruktion 
 7  
 ska myndigheten dessutom sammanfatta och publicera resultaten av sitt arbete med tillsyn och kvalitetsgranskning. Skolinspektionen har således inte något direkt utvärderingsuppdrag, men arbetar inom kvalitets- granskningen med en liknande metodik och förväntas bidra till den samlade bilden av den svenska skolan. Skolinspektionen måste där- för räknas in i det vi kallat ett ramverk för utvärdering av skolan. Det bör man däremot inte göra med  
 Riksrevisionen 
 , trots att även den använder utvärdering som metodik och ibland reviderar den statliga styrningen av skolan. Riksrevisionen har en helt annan roll. 
 Till dessa aktörer kan läggas  
 forskarsamhället  
 som kan genom- föra utvärderingar på uppdrag av regeringen, offentliga utredningar eller myndigheter. Motivet för att engagera forskare för att genom- föra utvärdering kan vara behovet av att anlita en från den statliga förvaltningen oberoende aktör eller behovet av den kompetens som forskarna besitter i det enskilda fallet. I dessa fall genomför forskarna uppdrag där beställaren styr vad forskaren ska utvärdera. 
  
 4 
  
 Förordning (2012:16) med instruktion för Institutet för arbetsmarknads- och utbildnings- politisk utvärdering. 
  
 5 
  
 Förordning (2007:827) med instruktion för Statskontoret. 
  
 6 
  
 2 § 26 kap. skollagen (2010:800). 
  
 7 
  
 Förordning (2011:556) med instruktion för Statens skolinspektion. 
  
 204 
  
 SOU 2014:12 
  
 Organisering för stärkt utvärdering 
  
 Man bör inte heller bortse från att den oberoende forskningen bidrar till den samlade kunskapen om skolan. Här spelar  
 Veten- skapsrådet  
 en viktig roll. Kommittén för utbildningsvetenskap vid Vetenskapsrådet stödjer efter nationell prioritering den kvalitets- mässigt bästa forskningen och de bästa forskarna inom områden som är relevanta för skolans, förskolans och utbildningsveten- skapens utveckling. 
 Slutligen bör också nämnas det nya  
 skolforskningsinstitut  
 som ska etableras från och med den 1 september 2014. Enligt direktiven 
 8  
 till den organisationsutredning, som för närvarande förbereder för myndighetens inrättande, ska myndigheten ha i uppdrag att sys- tematiskt väga samman och sprida forskningsresultat som bidrar till ökad kunskap om vetenskapligt väl underbyggda och effektiva metoder och arbetssätt i skolväsendet, dvs. att genomföra s.k. sys- tematiska översikter (systematic reviews). Institutets uppdrag är inte att utvärdera. Genom att göra systematiska översikter kommer man dock att bidra med kunskaper om vilka metoder och arbetssätt som fungerar respektive inte fungerar i skolan. På samma sätt som syftet är vid utvärdering handlar det således om ett kunskapande om skolan och skolans verksamhet. 
 Sammanfattningsvis kan konstateras att det i Sverige finns många aktörer som bidrar till kunskapandet om skolan och som kan ges en roll vid utvärderingen av reformer på skolområdet. Även med en snäv avgränsning av begreppet utvärdering är aktörerna många. 
  
 11.2 
  
 Internationell utblick 
  
 För att få ett perspektiv på det svenska systemet har utredningen valt att belysa utvärderingssystem i några andra länder. Vi har redan tidigare i betänkandet redogjort för hur olika länder byggt upp sina utvärderingssystem och hur de ser på utvärdering av reformer samt på evidensinformerad styrning. Hur de gör det har också konsek- venser för hur länderna har organiserat sin utvärdering av skolan. Framställningen baseras här på litteraturstudier och underlag från bl.a. de besök utredningen gjort i Danmark, Finland, Norge och Skottland samt England, som vi tyvärr inte hann besöka inom de tidsramar vi hade till förfogande, men som är väl dokumenterat. Se vidare bilaga 5 för en nogrannare redogörelse över de olika län- 
  
 8  
 Dir. 2014:7 Inrättande av ett skolforskningsinstitut. 
 205 
  
 Organisering för stärkt utvärdering 
  
 SOU 2014:12 
  
 dernas utvärdering av skolan och organisering av deras utvärde- ringssystem. 
 De beskrivna länderna uppvisar vissa gemensamma drag i hur utvärderingen av skolan organiserats, som skiljer sig från hur organiseringen ser ut i Sverige. I andra avseenden skiljer de sig också tydligt sinsemellan. 
 Jämfört med Sverige är närheten mellan policyutformning och resurserna för utvärdering och analys stor i flertalet andra länder. Det gäller generellt och för flera av de länder vi besökt, t.ex. Danmark, England och Skottland. Finland och Sverige är mer lika i detta avseende. Norge intar, som vi uppfattar det, en mellanställ- ning med en större närhet mellan ministeriet och den centrala skolmyndigheten än i Sverige. Att Sverige skiljer ut sig så starkt i detta avseende har att göra med den svenska förvaltningsstruk- turen, med ett litet regeringskansli och självständiga myndigheter. Detta är en struktur och ansvarsfördelning med en lång historisk tradition. 
 En annan påtaglig skillnad jämfört med Sverige är att flera av de länder vi besökt har ett helt annat sätt att se på, och organisera för, samverkan med olika berörda parter inom skolsamhället när det gäller utvärdering av skolan. Exempel är  
 Rådet för utvärdering och kvalitetsutveckling av folkeskolen (Skolerådet)  
 i Danmark, det  
 eva- lueringsråd  
 som ska svara för den strategiska styrningen av det nybildade  
 Nationella centret för utbildningsevaluering  
 i Finland och det  
 programstyre  
 som etablerades för utvärderingen av Kunskaps- lyftet i Norge. I samtliga dessa fall involveras företrädare för såväl huvudmän som fackliga organisationer och i vissa fall företrädare för föräldrar och elever/studerande i styrningen av utvärderingen. I exemplen från Finland och Norge är även forskare starkt före- trädda. Även i Skottland förekommer boards med företrädare för olika intressen i styrningen av nationella utvecklings- eller utvärde- ringsprojekt. Arbetet med att utveckla skolan i Skottland präglas överhuvudtaget av ambitionen om en skolpolitisk konsensus. 
 Detta sätt att organisera styrningen av utvärderingen av skolan innebär i flera fall att forskarsamhället får en annan och mer uttalad roll. Utredningen har intrycket att det i dessa länder också är van- ligare än i Sverige att politiskt initierad utvärdering av reformer på skolans område genomförs av forskare. I Sverige engageras forskare av regering eller myndigheter i första hand i utvärdering av implementering av reformer snarare än av resultatet av desamma. 
 206 
  
 SOU 2014:12 
  
 Organisering för stärkt utvärdering 
  
 I Danmark, Norge och England har man, liksom nu är avsikten även i Sverige, skapat organ för att sammanställa och/eller presen- tera systematiska kunskapsöversikter. Även i Skottland används metodiken. Systematiska översikter utgår från redan genomförd forskning eller kvalificerad utvärdering och kan utgöra viktiga underlag för utvärdering av exempelvis reformer, varför organise- ringen av dessa insatser nämns här. 
 När det gäller just utvärdering av reformer skiljer Norge ut sig genom det sätt man organiserat utvärderingen av Kunskapslyftet på – under ledning av ett särskilt programstyre, och med omfat- tande resurser. Det bör observeras att själva organiseringen av detta utformades av den ansvariga myndigheten, efter att denna fått rege- ringens uppdrag att svara för utvärderingen, och att uppdraget inte påverkades av det regeringsskifte som skedde medan utvärderings- insatsen pågick. En intressant konsekvens av det sätt som Norge de senaste decennierna utvärderat refomer på, genom omfattande projekt som involverar forskarsamhället, är att det vuxit fram starka forskningsmiljöer inriktade på vad vi skulle kalla för policy- relevant forskningsbaserad utvärdering. 
 I Danmark, England och Skottland sker utvärdering av reformer mer ad hoc, men det sker. Finland har inte genomfört några mer omfattande reformer på länge, varför det är svårt att ha någon upp- fattning om hur en sådan utvärdering skulle utformas. 
 I Sverige däremot har en stor mängd omfattande reformer genomförts sedan  
 1990-talets 
  början, utan att det förrän nu tagits initiativ till någon reformutvärdering. När detta nu sker, sker det på initiativ av riksdagen 
 9 
 , och handlar om att i efterhand utvärdera effekterna av de reformer som genomfördes i början av  
 1990-talet. 
  För ingen av de mer omfattande reformer som genomförts sedan 2006 
 10  
 har något specifikt utvärderingsuppdrag lämnats från rege- ringen, varken till Skolverket eller till något oberoende utvärde- ringsorgan, t.ex. forskare eller utvärderingsinstitut. Sverige saknar sedan länge en tradition att utvärdera reformer på skolområdet, vilket även framgår av kapitel 5 och bilaga 3. 
  
 9 
  
 Riksdagens tillkännagivande om att regeringen borde tillsätta en utredning med uppdrag att analysera och utvärdera de senaste årens stora skolreformer – kommunaliseringen, det fria skolvalet och fristående skolors etablering (bet. 2010/11:UbU7, rskr. 2010/11:206). Sedan tillkännagivandet har tillsatts en särskild utredare med uppdrag att utvärdera effekterna av kommunaliseringen av skolväsendet (U 2019:09) och givits ett uppdrag till Harris att utvärdera skolreformerna. 
  
 10 
  
 För en redovisning av dessa, se utredningens delbetänkande  
  
 Det tar tid – om implemente- ringen av skolpolitiska reformer  
 (SOU 2013:30). 
 207 
  
 Organisering för stärkt utvärdering 
  
 SOU 2014:12 
  
 Sammantaget uppfattar vi att trenden i vår omvärld är en för- stärkt organisering av utvärderingen av skolan samt ett ökat politiskt intresse för utvärdering och reformutvärdering. 
  
 11.3 
  
 Andra röster om organiseringen av utvärdering 
  
 11.3.1 
  
 Att nå ut och nå ända fram (SOU 2009:94) 
  
 I december 2009 lämnade en utredare betänkandet  
 Att nå ut och nå ända fram  
 (SOU 2009:94) till regeringen. Utredningens uppdrag handlade om två delar – policyinriktad utvärdering respektive sprid- ning av forskning med relevans för skolans måluppfyllelse. Utred- ningen lämnade följande fyra delförslag: 
  
 1. 
  
 Ett  
  
 Råd för utbildningsutvärdering  
 och analys organiserat som en kommitté inom Regeringskansliet. Inriktningen av rådets arbete skulle vara policyinriktade utvärderingar på nationell nivå. 
  
 2. 
  
 En  
  
 mäklarfunktion  
 inom utbildningsområdet med uppdrag att genomföra systematiska översikter av forskningsresultat. Sådana följer vissa standardiserade steg där metoderna är explicita och transparanta och förutsätter en användardialog för att säkerställa relevans och användbarhet etc. Utredaren föreslog ett nordiskt samarbete kring detta, initialt med Danmark som redan har Danish Cleraringhouse. 
  
 3. 
  
 En  
 funktion för spridning av forskningsresultat 
 . Utredaren bedömde att Skolverket även fortsatt skulle ha detta ansvar. 
  
 4. 
  
 En  
  
 regional organisation  
 med syfte att se till att information från utvärderingar och forskning sprids och används. Utredaren rekom- menderade att de regionala utvecklingscentrumen (RUC) skulle utnyttjas av universitet och högskolor i detta syfte och att deras uppdrag därför skulle utvidgas. Utredaren uppmärksammade att universitetens och högskolornas mer autonoma ställning i för- hållande till staten försvårar styrningen av RUC:en. 
 Något råd för utbildningsutvärdering och analys av det slag som föreslogs av utredaren har inte inrättats. Däremot har IFAU getts det utvidgade uppdrag som redovisats ovan. Det bör dock upp- märksammas att IFAU:s utvärderingar är avgränsade till kvantita- tiva studier, i första hand effektutvärderingar. Utredarens förslag 
 208 
  
 SOU 2014:12 
  
 Organisering för stärkt utvärdering 
  
 innebar ett råd för policyinriktade utvärderingar på nationell nivå som byggde på en bredare syn på utvärdering. 
 Någon mäklarfunktion i samarbete med andra nordiska länder har inte heller inrättats. Däremot har regeringen tagit initiativ till det nya skolforskningsinstitiut som ska etableras från och med den 1 september 2014 och som redovisats ovan. Institutet ska arbeta med att systematiskt väga samman och sprida forskningsresultat som bidrar till ökad kunskap om vetenskapligt väl underbyggda och effektiva metoder och arbetssätt inom skolväsendet, dvs. att bland annat genomföra s.k. systematiska översikter (systematic reviews). 
 Slutligen bör observeras att Skolverket, helt i enlighet med utredarens tredje delförslag, fortfarande har uppdraget att samman- ställa och sprida kunskap om resultat av forskning. Skolverkets uppdrag sammanfaller således i denna del med en av huvudupp- gifterna för det skolforskningsinstitut som regeringen ursprung- ligen aviserades 2012 i forskningspropositionen 
 11 
 . Enligt direk- tiven 
 12  
 till den särskilda utredare som getts i uppdrag att förbereda inrättandet av myndigheten ska myndigheten kunna inleda sin verksamhet den 1 januari 2015. 
 Det fjärde förslaget, att med stöd av RUC:arna sprida forsk- ningsresultat så att dessa används, har inte lett till något nationellt initiativ. Som en konsekvens av universitetens och högskolornas ökade autonomi har det nationella kravet på att det ska finnas RUC:ar försvunnit. Parterna i de olika regionerna reglerar samar- betet mellan å ena sidan universitet/högskola och å andra sidan skola och förskola. I vilken utsträckning spridning av forsknings- resultat ingår i samarbetet varierar. Mer indirekt bygger naturligtvis de kurser och den kompetensutveckling man erbjuder på forsk- ning. 
  
 11.3.2 
  
 Institutionaliseringen av utvärdering – ett fenomen i tiden 
  
 Utvärdering var ursprungligen en insats som genomfördes vid ett specifikt tillfälle efter beslut av någon instans som hade behov av den. Det kunde vara en myndighet, en kommun, ett företag eller en annan verksamhet. Utvärderingen utfördes av en eller flera indivi- 
  
 11 
  
 Prop. 2012/13:30  
 Forskning opch innovation 
 . 
  
 12 
  
 Dir. 2014:7  
 Inrättande av ett skolforskningsinstitut 
 . 
  
 209 
  
 Organisering för stärkt utvärdering 
  
 SOU 2014:12 
  
 der som hade de kompetenser som krävdes för uppgiften. Dessa personer kunde finnas inom eller hämtas utanför organisationen. 
 Med tiden har utvärdering byggts in som en reguljär del i olika verksamheter. Myndigheter har i sina instruktioner inte sällan utvärdering som en av sina uppgifter. Utvärderingsverksamheten kan därmed sägas ha institutionaliserats. Gröjer 
 13  
 ger i sin avhand- ling ett exempel på detta från högskoleområdet. 
 Enligt Ingram handlade myndigheternas 
 14  
 utvärderingsverksam- het inom högskoleområdet först om att ge regeringen besluts- underlag. Den hade alltså tydliga politiska förtecken. Senare fick den en inriktning mot att ge underlag för förbättringar på hög- skolorna inom sådana områden där de själva kunde fatta beslut. Utvärderingen kännetecknades alltså av att ge beslutsunderlag på lokal nivå. Denna inriktning har enligt Gröjer förstärkts allt mer. Tillkomsten av Högskoleverket innebar dock enligt Ingram att utvärderingens syfte att bidra med beslutsunderlag för den politiska nivån återigen tydliggjordes. 
 Det har också med tiden tillkommit särskilda myndigheter som har utvärdering som sin specifika huvuduppgift. Statskontoret har 
 15  
 beskrivit utvecklingen mot att staten organiserar utvärdering i sek- torsspecifika myndigheter som är fristående i förhållande till poli- tikens implementering. Myndigheten konstaterar att det är en trend med många olika uttryck. De fristående utvärderingsmyndig- heterna har tillkommit under olika tidsperioder, i olika samman- hang och i olika syften. 
 Enligt Statskontoret presenteras utvärderingar i förarbetena som lösningen på ett antal problem inom skilda områden: effektivitet, styrning, legitimitet, information och kunskap. Med hjälp av utvär- deringar 
 . hoppas regeringen bl.a. kunna kontrollera myndigheters effekti- vitet, öka insynen i offentlig verksamhet, få underlag för utveckling av politiken, stöd i styrningen av sina myndigheter och hjälp med att lösa samhällsproblem såsom arbetslöshet och kriminalitet. 
 Oavsett hur behovet av utvärdering beskrivs är emellertid argu- menten för att det behövs en fristående myndighet för att genomföra utvärderingarna i stort sett desamma. Framför allt är det vikten av 
  
 13 
  
 Gröjer, Ortiz a.a. 
  
 14 
  
 De har funnit ett antal myndigheter inom området: Universitetskanslersämbetet (UKÄ), Universitets- och högskoleämbetet (UHÄ), Kanslersämbetet (KÄ) och Högskoleverket. från och med 2013 heter myndigheten åter Universitetskanslersämbetet. 
  
 15 
  
 Statskontoret (2011) a.a 
  
 . 
  
 210 
  
 SOU 2014:12 
  
 Organisering för stärkt utvärdering 
  
 oberoende som betonas. Här citeras ofta den princip som också Förvaltningskommittén förfäktar och som går ut på att man bör skilja uppgiften att utföra en verksamhet från den att utvärdera resultaten. Ingen annan organisationsform än en fristående utvärderingsmyn- dighet anses kunna uppfylla kraven på oberoende. 
 16 
  
 Statskontoret menar vidare att även om det i olika förarbeten uttalas att utvärderingsmyndigheterna bör ha utrymme att agera långsiktigt och ta egna initiativ, så är utvärderingsverksamheten hos flera av myndigheterna i stor utsträckning uppdragsstyrd från regeringen. Vissa myndigheter har fått ett större utrymme att agera själv- ständigt. I andra fall har regeringen betonat myndigheternas stabs- stödjande roll genom att i myndigheternas instruktioner föreskriva att de löpande ska bistå regeringen med beslutsunderlag och hand- lingsrekommendationer. Diskussionen om fristående utvärderings- myndigheter kan därmed, menar Statskontoret, relateras till diskus- sionen om Regeringskansliets kapacitet för analys, beställning och mottagning av utvärderingar. Ett alternativ till att inrätta fristående utvärderingsmyndigheter med stabsstödjande roller skulle, enligt Statskontoret, kunna vara att lägga motsvarande resurser hos ansvarigt departement. Genom att resurserna förläggs till en myndighet är de emellertid fredade och riskerar inte att ätas upp av den dagliga ärendehanteringen i Regeringskansliet. 
 I flera fall har utvärderingsmyndigheterna även andra uppdrag som t.ex. att ansvara för statistikhantering, omvärldsbevakning, analys och metodutveckling. Storleken på utvärderingsmyndig- heterna varierar, men Statskontoret bedömer att de generellt måste anses vara små, särskilt i förhållande till de områden som de ska utvärdera. 
  
 11.3.3 
  
 OECD om organisering och styrning av policyrelevant utvärdering 
  
 I en rapport från 2013 
 17  
 analyserar OECD sättet att bedriva det centrala regeringsarbetet i tretton länder. Man kommer bl.a. in på frågan om utvärdering av politiska reformer och program. Det bör observeras att iakttagelserna gäller för den statliga förvaltningen generellt, inte endast för skoladministrationen. 
  
 16 
  
 Statskontoret (2011) a.a. 
  
 17 
  
 OECD (2013)  
 Value for Bailey in Government: Sweden. 
 211 
  
 Organisering för stärkt utvärdering 
  
 SOU 2014:12 
  
 De intervjuer som  
 OECD-teamet 
  genomfört i Sverige pekar på två huvudproblem med att lägga ansvaret för utvärdering av policy 
 18  
 på självständiga myndigheter på det sätt som sker i Sverige. Man uppmärksammar bl.a. att kopplingen är svag mellan den policy- utvärdering som görs i myndigheterna och det arbete med politik- utveckling och styrning som sker i fackdepartementen. Enligt rapporten indikerade personal i departementen att det är svårt att påverka utvärderingsmyndigheters agenda och att få politiskt rele- vanta och användbara råd från dem. OECD pekar också på svårig- heter att balansera ett ideal om institutionell självständighet och oberoende med kravet att garantera relevanta utvärderingar. Man uppmärksammade också att flera av utvärderingsmyndigheterna inte heller har något tydligt och specifikt fokus på utvärdering utan ofta har en hel rad andra uppgifter. 
 OECD menar att det primära ansvaret för utvärdering av poli- tiska reformer och program bör ligga på ansvarig minister snarare än på de verkställande myndigheterna, även om de senare natur- ligtvis bör vara delaktiga under hela processen. 
 OECD rekommenderar även att Sverige ska överväga att följa det danska exemplet och överföra ansvaret för all reformutvär- dering (policy evaluation) till antingen universitet eller till specia- liserade forskningsorgan. Man menar att fackdepartementen på detta sätt kan få tillgång till oberoende och relevant forskning om reformer. Man pekar dock på att denna typ av organisering av reformutvärderingen inte är oproblematisk då högskolor och fri- stående forskningsinstitut principiellt eftersträvar oberoende från regeringens politiska agenda. 
  
 11.4 
  
 Förslag om ett råd med dubbla funktioner 
  
 Utredningens förslag:  
  
 Ett  
 Råd för utvärdering av skolan  
 inrättas med två huvuduppgifter: 
  
 1. 
  
 Löpande bistå regeringen i utvärderingsfrågor avseende skol- väsendet. Det innebär t.ex. att 
  
 -  
 utarbeta förslag till ett nationellt ramverk för utvärdering, 
  
 18  
 Det bör uppmärksammas att det engelska språket gör skillnad på  
 policy  
 i bemärkelsen innehåll i en politisk reform eller annan åtgärd och  
 politik  
 som avser att besluta om och genomföra en policy, dvs. själva det politiska spelet. På svenska används uttrycket policy ibland i bemärkelsen riktlinje eller värderingsmässig bas som ligger till grund för ett age- rande. Här används ordet policy i den engelskspråkiga betydelsen. 
 212 
  
 SOU 2014:12 
  
 Organisering för stärkt utvärdering 
  
 - 
  
 lämna förslag till nationell plan för utvärdering av skolväsen- det, samt 
  
 - 
  
 inom ramen för en sådan plan vid behov kunna initiera policyrelevant forskningsbaserad utvärdering. 
  
 2. 
  
 Vid större och genomgripande reformer inom skolväsendet bistå regeringen med 
  
 - 
  
 förslag till program för reformutvärdering, 
  
 - 
  
 att vid behov initiera forskningsbaserad reformutvärdering, 
  
 - 
  
 att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen (forskare, utvärderings- institut, myndigheter etc.), 
  
 - 
  
 att sammanfatta resultat från olika aktörers utvärderingar, samt 
  
 - 
  
 att sammanfatta identifierade behov av ytterligare stöd till, eller justeringar av, den aktuella reformen. 
  
 Rådet organiseras som en kommitté inom Regeringskansliet, med ett begränsat kansli. Rådets ledamöter, dvs. de som ska ha beslutsbefogenhet i rådet, förslås vara forskare som represen- terar olika forskningsdiscipliner. I övrigt föreslås rådet bestå av sakkunniga som företräder olika delar av skolsamhället, t.ex. Utbildningsdepartementet, berörda myndigheter och skol- huvudmän, samt företrädare för lärare, rektorer och elever. 
 Förutsättningarna för ett evidensinformerat politiskt beslutsfat- tande samt för en kvalificerad utvärdering av politiska reformer kan enligt utredningen förbättras genom en tydligare och mer ända- målsenlig organisering och ansvarsfördelning. Enligt vår uppfatt- ning bör den framtida organiseringen och styrningen bidra till att genomföra regeringens strategier för utvärdering på skolans områ- de. Sådana strategier bör bidra till att det kommer till stånd en kvalificerad utvärdering som bidrar till en förbättrad systemkun- skap om skolan samt till att reformer i högre grad än i dag kommer att utvärderas i framtiden. 
 Ett viktigt instrument för att åstadkomma detta är, som vi ser det, att det utformas ett nationellt ramverk för utvärdering som bl.a. bidrar till en långsiktigt stabil myndighetsstruktur på skolans område där ansvarsfördelningen är tydlig. Ett annat är att det tas fram en övergripande nationell plan för utvärderingen av skolan samt att det vid behov fattas beslut om inriktningen av, och plan 
 213 
  
 Organisering för stärkt utvärdering 
  
 SOU 2014:12 
  
 för, specifika utvärderingsstudier. Om ramverk och nationell plan, se vidare kapitel 7. Enligt vår uppfattning bör dessutom olika in- tressenter på skolans område göras mer delaktiga i de processer som föregår beslut om inriktningen av utvärdering. 
 Vidare bör den nationella utvärderingen av skolans verksamhet, liksom utvärderingen av reformer på skolans område, kunna bidra till både nationell policyutveckling och lokal skolutveckling. Det innebär att den dels bör förse både den nationella och den lokala nivån med relevant kunskap om resultatet av interventionerna, dels bidra till utvecklingen av skolan utifrån såväl ett nationellt som ett lokalt perspektiv. Att organisera för detta är naturligtvis svårare än om man endast har den centrala nivåns summativa kunskapsbehov för ögonen. Den mer mångfacetterade ambitionen gör det särskilt viktigt att involvera de olika intressenterna på skolans område i arbetet med att utforma utvärderingen av skolan. 
 Utvärdering har dessutom effekter i sig. Det gäller därför att utforma de olika inslagen i systemet på ett sådant sätt att den lokala verksamheten och utvecklingen inte störs eller att utvärderingen leder till att utvecklingen får en icke avsedd inriktning (oavsedda bieffekter). 
 Utredningen delar OECD:s slutsats att det är på central politisk nivå ansvaret för att fatta strategiska beslut om utvärderingen av skolan måste ligga. Det är t.ex. regeringen som måste ta ansvar för att reformer utvärderas och att detta sker med den bredd och med de olika perspektiv som skissats ovan. Det kan inte någon av myn- digheterna inom området göra. 
 Skolverket, som annars har i uppdrag att svara för uppföljning och utvärdering av skolan, har t.ex. inte något specifikt uppdrag att utvärdera reformer. Det är svårt att se att myndigheten utan ett sådant uppdrag från regeringen skulle kunna ta initiativ till mer genomgripande reformutvärderingar, då detta skulle innebära att regeringens centrala skolmyndighet oombedd skulle utvärdera regeringens förda politik. Om regeringen efterfrågar och tillför resurser för en sådan utvärdering ställs frågan naturligtvis i en annan dager. Man bör dock beakta att Skolverket är en del av skol- systemet och att det därför i vissa fall kan vara mindre lämpligt att det är just Skolverket som utvärderar en reform. Att myndighetens implementeringsinsatser ska utvärderas av en oberoende aktör är självklart och sker också. Skolverkets roll i styrningen av skolan 
 214 
  
 SOU 2014:12 
  
 Organisering för stärkt utvärdering 
  
 gör emellertid att det kan finnas skäl att även i övrigt överväga att lägga vissa former av reformutvärdering på andra aktörer. 
 Till skillnad från Skolverket har IFAU uppdraget att utvärdera effekter av reformer på utbildningsområdet. Vi har dock redan konstaterat att utvärderingen av effekter av reformer endast utgör en pusselbit i den strategi för utvärdering av skolan och av reformer på skolområdet som behövs. 
 Bara mängden aktörer som kan ha en roll vid utvärderingen av skolan och av reformer på skolområdet pekar på behovet av en stärkt nationell styrning. Till ovan nämnda myndigheter kan läggas Skolinspektionen, det aviserade Skolforskningsinstitutet, Statskontoret, Vetenskapsrådet samt forskare och andra utvärderingsorganisationer. 
 Rådet för utvärdering av skolan  
 – med oförändrad myndighetsorganisation i övrigt 
  
 Utredningen föreslår att det inrättas ett råd för utvärderingsfrågor inom skolområdet,  
 Rådet för utvärdering av skolan 
 . Förslaget är i vissa avseenden inspirerat av det förslag till ett  
 Råd för utbild- ningsutvärdering  
 som föreslogs i betänkandet  
 Att nå ut och nå ända fram  
 (SOU 2009:94). Enligt detta tidigare förslag skulle rådet inriktas på policyinriktade utvärderingar på nationell nivå inom utbildningssektorn. Inriktningen av det råd som föreslås här skiljer sig i vissa avseenden från det tidigare förslaget. 
 För det första är vårt förslag begränsat till utvärderingsfrågor på skolans område, helt enkelt för att vårt uppdrag avser skolan. Vi har mot den bakgrunden inte haft möjlighet att bedöma behoven av ett organ av detta slag för den högre utbildningen. Vi menar dock att rådet bör svara mot hela skolväsendets behov. Det innebär att exemeplvis förskolan bör omfattas. För det andra föreslår vi ett råd med två huvuduppgifter – ett grunduppdrag och ett uppdrag kopplat till reformutvärdering. 
 Grunduppdrag 
 En av rådets huvuduppgifter bör vara att bistå till regeringen med att utarbeta förslag till det ramverk för utvärdering som föreslås i kapitel 7. Det inebär att rådet kommer att lämna förslag till rege- ringen om den strategiska inriktningen av den nationella utvär- 
 215 
  
 Organisering för stärkt utvärdering 
  
 SOU 2014:12 
  
 deringen av skolan samt föreslå hur ansvarsfördelningen för frågor om utvärdering av skolan bör se ut. Rådet bör ha en god överblick över de olika aktörernas pågående utvärdering av skolan samt, inte minst, över vad som behöver utvärderas. 
 Rådet föreslås också lämna förslag till den nationella plan för utvärdering som förelås i kapitel 7. Rådet bör inom ramen för den nationella planen, och mot bakgrund av en behovsanalys, ges för- utsättningar att initiera policyrelevant forskningsbaserad utvärde- ring. 
 Vid reformering av skolan 
 Rådet föreslås dessutom bistå regeringen i samband med större och genomgripande reformer på skolområdet. Inför genomförandet av en sådan reform bör rådet bistå regeringen med förslag till program för reformutvärderingen. Ett sådant program bör kunna omfatta olika former av forskningsbaserad utvärdering och engagera olika forskningsdiscipliner. 
 Under en pågående reform bör rådet, med utgångspunkt i det av regeringen beslutade programmet kunna upphandla reformutvär- dering av forskare och andra utvärderare samt följa och kvalitets- säkra arbetet inom dessa projekt. Rådet bör också kunna bistå regeringen med att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen, t.ex. forskare, utvärderingsinstitut, myndigheter, etc. Målsättningen bör därutöver vara att rådets arbete med reformutvärdering ska kunna resultera i en samlad analys av resultat från de olika aktörernas utvärderings- insatser som rapporteras till regeringen. En sådan samlad analalys kan idenifiera behov av att justera reformen eller påverka den nationella strategin för att implementera den. 
 Detta skulle innebära att rådet i samband med större refomer ges ett uppdrag som i mycket skulle likna det som det norska Pro- gramstyret hade vid utvärderingen av Kunskapslyftet i Norge. Om ett mer permanent råd inte inrättas förordar vi att modellen används åtminstone vid utvärderingen av större reformer. 
 216 
  
 SOU 2014:12 
  
 Organisering för stärkt utvärdering 
  
 Organisation 
 Liksom i SOU 2009:94 föreslår vi att rådet ska organiseras som en kommitté inom Regeringskansliet. Vi menar att denna form har flera fördelar. Genom en sådan konstruktion kommer rådet att befinna sig på vad man skulle kunna kalla för ett lagomt avstånd till regeringen – tillräckligt nära för att kunna lämna förslag till rege- ringens beredning av utvärderingsfrågor, men samtidigt på tillräck- ligt avstånd för att, liksom en myndighet, vara självständiga i det dagliga arbetet. I samband med genomförandet av de uppgifter som rådet getts av regeringen, t.ex. att samordna och analysera resul- taten från reformutvärdering, får det inte råda något tvivel om rådets oberoende. I annat fall äventyras utvärderingens legitimitet och trovärdighet. 
 En fördel med att organisera rådet i form av en kommitté är att det ger en stor flexibilitet. Under lugnare perioder kan sekretariatet bestå av ett fåtal personer, för att i reformskeden kunna växa för att möta ökade behov av samordning och analys. Vi bedömer dess- utom att den flexibilitet som kommittéformen ger kan underlätta rekryteringen av sådana kvalificerade forskare till sekretariatet, som annars kan vara obenägna att lämna den akademiska karriären. I ett sekretariat kan man arbeta under mer begränsad tid eller dela sin tid mellan forsknings- och sekretariatsmiljön. 
 Rådets sammansättning och medlemmarnas inflytande 
 Utredningen föreslår att rådet sätts samman av företrädare för olika delar av skolsamhället, dvs. med företrädare för forskare från olika discipliner samt för Utbildningsdepartementet, berörda myndighe- ter och skolhuvudmän samt för lärare, rektorer och elever. På detta sätt skapas ett forum för de strategiska frågorna om utvärderingen av den svenska skolan. Genom att representera både en verksam- hetsmässig bredd och en djup kunskap om utvärdering på skol- området kan rådet bidra till att utvärderingssystemets olika perspektiv och syften lyfts fram och samordnas. Dessutom kan det bidra till systemets legitimitet. 
 Ytterligare en fördel med kommittéformen är att den möjliggör att olika företrädare i rådet ges olika typ av inflytande 
 19 
 . I detta fall 
  
 19  
 Enligt kommittéförordningen (1998:1474) kan en kommitté bestå av en ordförande och en eller flera ledamöter samt biträdas av sakkunniga, expeter och sekreterare. Ledamöter och sakkunniga ska få del av de handlingar som är avsedda för kommittén och har rätt att närvara 
 217 
  
 Organisering för stärkt utvärdering 
  
 SOU 2014:12 
  
 förordar vi en ordning där ordförande och ledamöter, dvs. de som fattar kommitténs beslut ska vara välmeriterade forskare med olika inriktning. Vi förordar vidare att övriga representanter bör vara sakkunniga, vilket innebär att de har rätt att ta del av kommitténs underlag, har rätt att delta vid kommitténs möten och överlägg- ningar samt har rätt att lämna ett särskilt yttrande i det fall de inte är eniga med de beslut som fattas. Med en sådan lösning ges myndigheter och företrädare för lärare, skolledare och elever möj- lighet att påverka, men gör dem inte direkt ansvariga för de förslag som lämnas till regringen och de initiativ rådet tar. Vi uppfattar att detta är en ordning som ligger närmare en svensk tradition än om även dessa aktörer skulle göras fullt delaktiga i besluten. Det senare skulle för myndigheternas del innebära en form av rundgång, där de själva var med och i rådet lämnade förslag till sina egna och andra aktörers uppdrag. För organisationerna skulle det leda till att roll- fördelningen blev otydlig. 
 Oförändrade uppgifter för befintliga myndigheter 
 Det bör observeras att förslaget att inrätta Rådet för utvärdering av skolan innebär oförändrade uppgifter för myndigheterna på skol- området. De uppgifter som rådet är tänkt att svara för, och de utvärderingar som det kan komma att föreslå eller initiera, genom- förs i allt väsentligt inte i dag. Som OECD påpekar har myndig- heter som Skolverket många andra uppgifter som tränger ut den mer omfattande och djuplodande utvärderingen. Det innebär att det saknas resurser för den utvärdering som vi anser är nödvändig för att öka kunskapen om den svenska skolan samt för att utvär- dera reformer. 
 Det finns flera anledningar till att vi inte lämnar något förslag som går i en mer långtgående riktning, dvs. föreslår inrättandet av en ny myndighet för utvärderingsfrågor. Vi anser. att modellen med ett råd i kommittéform först bör prövas och utvärderas efter- som modellen har stora fördelar. Det behöver dessutom inte vara ett problem att olika typer av utvärdering och kunskapande om 
 vid kommitténs sammträden och att delta i kommitténs överläggningar medan experter ska biträda kommittén i den omfattning kommittén eller ordföranden bestämmer. Ordförande och ledamöter deltar i de beslut som fattas av kommittén. Ledamöter har reservationsrätt. Ledamöter och sakkunniga får skriva särskilda yttranden. Expeter slutligen får skriva sär- skilda yttranden endast i frågor som omfattas av expertuppdraget och om kommittén går med på det. 
 218 
  
 SOU 2014:12 
  
 Organisering för stärkt utvärdering 
  
 skolan genomförs av olika aktörer, så länge det är tydligt vem som gör vad och varför. Den ansvarsfördelning som nu utkristalliserar sig bygger på specialisering och innebär att Harris är den myndig- het som har kompetens på i första hand effektutvärdering medan exempelvis det nya institut med inriktning på skolforskning som ska inrättas från januari 2015 kommer att bygga upp kompetens för att systematiskt väga samman och sprida forkningsresultat om metoder och arbetssätt i skolan. Den utredning som ska förbereda inrättandet av myndigheten ska också överväga om denna även bör ha i uppdrag att i begränsad omfattning initiera forskning inom området. 
 Det föreslagna Rådet för utvärdering av skolan bör dessutom kunna bidra till att Skolverkets roll inom utvärderingen av skolan stärks. Skolverket bör kunna svara för en metodologisk bredd vad gäller utvärderingen av skolan. Myndigheten har dessutom förut- sättningar att länka utvärderings- och utvecklingsperspektiven inom samma myndighet. Fördelarna med att bedriva utvärdering i en miljö som även svarar för statistiksystemet, de internationella undersökningarna, de nationella proven etc. är uppenbara. 
 219 
 12 Konsekvenser 
 Enligt kommittéförordningen 
 1  
 ska en utredning redovisa eventuella ekonomiska eller samhällsekonomiska konsekvenser av sina förslag samt föreslå finansiering om förslagen leder till kostnadsökningar eller intäktsminskningar. För nya eller ändrade regler ska kostnads- mässiga och andra konsekvenser anges i betänkandet 
 2 
 . Vidare ska enligt kommittéförordningen eventuella konsekvenser redovisas för det kommunala självstyrelsen redovisas, liksom när ett förslag har betydelse för brottsligheten och det brottsförebyggande arbetet, för sysselsättning och offentlig service i olika delar av landet, för små företags arbetsförutsättningar, konkurrensförmåga eller villkor i övrigt i förhållande till större företags, för jämställdheten mellan kvinnor och män eller för möjligheterna att nå de integrations- politiska målen. Slutligen framgår av förordningen att regeringen anger närmare i utredningens uppdrag vilka konsekvensbeskriv- ningar som ska finnas i betänkandet. 
 I direktiven till föreliggande utredning har regeringen inte angett att det ska göras några sådana konsekvensbeskrivningar. Vi har ändå valt att i det följande diskutera vissa ekonomiska konsekvenser av förslagen. Utredningens karaktär och inriktningen av de förslag vi lämnat gör att vi funnit att det inte varit motiverat att göra konsek- vensbeskrivningar för samtliga områden. Utredningen innehåller dessutom ett begränsat antal förslag som föranleder konsekvens- beskrivningar. 
  
 1 
  
 14–16 
  
  §§ Kommittéförordningen (1998:1474). 
  
 2 
  
 Enligt  
  
 6–7 
  §§ förordningen (2007:1244) om konsekvensutredning vid regelgivning. 
 221 
  
 Konsekvenser 
  
 SOU 2014:12 
  
 Ekonomiska konsekvenser 
 De förslag som utredningen lämnat avser 
  
 - 
  
 framtagande av och beslut om ett nationellt ramverk för utvär- dering av skolan och framtagande av treåriga planer för utvär- dering av skolan 
  
 - 
  
 införande av stickprovsbaserade undersökningar för att följa kunskapsutvecklingen i skolan, samt 
  
 - 
  
 inrättandet av ett råd för utvärdering av skolan. 
  
 Rådets kostnader inkluderar kostnader för ramverk och plan 
 När det gäller ekonomiska konsekvenser hör den första och sista punkten samman, eftersom det är rådet för utvärdering som före- slås ta fram förslag till ramverk respektive plan för utvärdering. Det är således kostnaderna för rådet som behöver beräknas. En grund- bemanning bör inte behöva vara större än ett par årsarbetskrafter. Det innebär att en rimlig kostnad rör sig om cirka  
 2–2,5 
  miljon kronor per år, inkl. kostnader för ledamöter och sakkunniga. 
 Kostnaderna för rådet i de fall rådet ges i uppdrag i anslutning till en specifik reform blir naturligtvis avsevärt högre. Exempelvis var de totala kostnaderna för utvärderingen av Kunskapslyftet i Norge cirka 60 miljoner norska kronor. Detta måste dock beräknas särskilt vid varje enskilt reformtillfälle. Vi menar dock att det bör vara självklart att varje reform finansieras, inte endast avseende kostnad- erna i verksamheterna, utan också avseende kostnader för imple- mentering och utvärdering. 
 Kostnaderna för stickprovsbaserade undersökningar måste utredas i ett sammanhang med hela systemet för utvärdering av kunskapsresultaten 
 Ett införande av stickprovsbaserade undersökningar för att följa kunskapsutvecklingen skulle innebära omfattande kostnader. Skol- verket uppskattade i en rapport från 2006 
 3  
 att det förslag 
 4  
 som samma år lämnats av professor  
 Sanchez initialt skulle kosta 100 miljoner kronor och för påföljande cykler 55 miljoner 
  
 3 
  
 Rapport 286 (2006)  
 Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen 
 . 
  
 4 
  
 Gibbs (2006)  
 Ramverk för ett system för uppföljning av kunskapsutvecklingen i grundskolan.  
 Underlag utarbetat på uppdrag av Skolverket. 
  
 222 
  
 SOU 2014:12 
  
 Konsekvenser 
  
 kronor per tillfälle, dvs. drygt 10 miljoner kronor per år igenom- snitt under antagande att mätningarna i varje ämne upprepades vart femte år. Skolverket bedömde att dessa kostnader var för höga och lämnade ett förslag med vad man menade var en rimligare ambitions- nivå och med rimligare kostnader. Regeringen har ännu inte tagit ställning till förslaget som, mot bakgrund av de senaste årens reformer, nu är delvis inaktuellt. Såväl Lgr11:s nya kursplaner som införandet av betyg i årskurs 6 och nationella prov i flera ämnen och andra årskurser än tidigare har förändrat förutsättningarna. 
 De gjorda uppskattningarna får ses som räkneexempel. Enligt vår uppfattning är det inte meningsfullt att nu bryta ut frågan om kost- naderna för stickprovsundersökningar ur frågan om utvärderingen av kunskapsresultaten i sin helhet. Den utredning som föreslås få i uppgift att utreda frågan om stickprovsbaserade undersökningar i ett sammanhang med hela systemet för utvärdering av kunskaps- resultaten, dvs. även det nationella provsystemet, bör även svara för kostnadsberäkningar och förslag till finansiering av sina förslag. 
 Behov av att förstärka finansieringen av det nationella uppföljnings- systemet 
 Den infrastruktur som uppföljningssystemet utgör behöver enligt vår uppfattning en finansiell förstärkning för att det ska vara möj- ligt att följa utvecklingen inom hela skolväsendet. Det gäller sär- skilt efter de senaste årens reformer. Förutom den löpande, årliga kostnaden för uppgiftsinsamling och statistikframställning uppstår även initiala kostnader för utveckling och anpassning av de befint- liga insamlings- och granskningssystemen samt för att ta fram ny statistik. Dessutom saknas tillräckliga resurser för att utveckla och modernisera systemet. 
 I budgetunderlaget för  
 2014-2016 
  menar Skolverket att det behövs en permanent ökning av anslaget med 10 miljoner kronor från och med 2014 för att uppföljningssystemet ska kunna omfatta fler insamlingar än i dag och samtidigt bibehålla den nuvarande kvalitetsnivån. Det handlar om kostnader för utökad uppgifts- insamling med anledning av beslutade reformer, bl.a. parallella insam- lingar under den tid som äldre regelverk fasas ut, fler nationella prov, betyg i årskurs 6 och betyg från teknikprogrammets fjärde år i gymnasieskolan. 
 223 
  
 Konsekvenser 
  
 SOU 2014:12 
  
 Därutöver behövs enligt verket ett tillfälligt tillskott med 4 mil- joner kronor för 2014, för att kunna göra justeringar i det befintliga tabellverket. 
 För att kunna utveckla en ny statistikdatabas, bl.a. mot bak- grund av ökade krav på datatillgänglighet och publicering genom s.k. webbtjänster, bedömer verket att det krävs sammanlagt 20 mil- joner kronor under perioden  
 2014–2016. 
  
 Sammantaget handlar detta om dels en permanent förstärkning med 10 miljoner kronor per år, dels tillfälliga förstärkningar med 10 miljoner kronor för 2014, 7 miljoner kronor för 2015 och 7 miljo- ner kronor för 2016. Utredningen bedömer att detta är lågt räknat. 
 Skolverket har i dag ingen särskild anslagspost för statistik- och uppföljningssystemet. Medel för förvaltning och utveckling avsätts inom ramen för myndighetens interna budgetprocess. Mot bak- grund av myndighetens samlade uppdrag och det utgiftstryck som vilar på myndighetens anslag är det svårt att tänka sig att medel kan frigöras genom förändringar inom myndighetens nuvarande anslags- ramar. En särskild anslagspost för statistik- och uppföljningssystemet skulle tydligare än i dag uttrycka statens ambitioner på området. 
 Slutligen bedömer utredningen att det är önskvärt att det s.k.  
 UGU-projektet 
  vid Göterborgs universitet ges stabila ekonomiska förutsättningar. 
 224 
 Referenser 
  
 Myers, Collins (2013)  
 Kvalitetsutvärdering av högre utbildning – en kritisk granskning av det svenska systemet framtagen på uppdrag av SNS Utbildningskommission 
 . SNS. 
  
 Smith, Watson (1996)  
 Why all this Evaluation? Gonzalez notes and empirical observations on the functions and growth of evaluation, with Denmark as an illustrative case 
 . The Canadian Journal of Program Evaluation, Vol. 11, No. 2. 
  
 Alkin, M. C., & views and influences 
 . Thousand Oaks, CA: Sage. 
  
 Alton-Lee, 
  
  Williams (2012)  
 The Use of Evidence to Improve Education and Serve the Public Good 
 . Paper prepared for the New Zealand Ministry of Education and the annual meeting of the American Educational Research Association, Vancouver, Canada. 
  
 Amnå, Watson (2013)  
 Speak truth to Power. Statsvetarna och kommitté- väsendet.  
 Statsvetenskaplig Tidskrift 112 (5). 
  
 Thomas, Robinson (2007)  
 Lärartäthet, lärarkvalitet och arbets- marknad för lärare.  
 IFAU, rapport 2007:5. 
  
 Bew, Smith (2011)  
 Independent Review of Key Stage 2 testing, assessment and accountability 
 . Final Report. June 2011. 
  
 Hendricks, Sanders (2007)  
 Why What Works won´t work:  
 Evidence-based 
  practice and the democratic deficit in education research 
 . Educational Theory, Vol. 57, No. 1. 
  
 Black, Wright (1998)  
 Learning, League Tables and National Asessment: opportunity or hope deffered?  
 Oxford Review of Education, Vol. 24, No 1. 
  
 225 
  
 Referenser 
  
 SOU 2014:12 
  
 Webster, Myers (2010)  
 Systematiska översikter, vetenskaplig kumu- lativitet och evidensbaserad pedagogik 
 . Pedagogisk forskning i Sverige. Årg. 15, nr. 2/3. 
  
 Buckendale, Walker, Browning, Martinez, Smith, Hill Hambleton, April L. Zenisky, and Morton (2009)  
 Evaluation of the National Assessment of Educational Prog- ress. Final Report 
 . Center for Educational Assessment. University of  
 Massachusetts-Amherst. 
  
 Breakspear, Kelly (2012)  
 The Policy Impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance 
 . OECD Education Working Papers, No. 71, OECD Publishing. 
  
 Baker, Watkins och Mills (2011)  
 Att äga, styra och utvär- dera stora projekt 
 . Studentlitteratur. 
  
 Phillips, Roberson (2000)  
 Det går inte att styra med resultat 
 . Statsve- tenskaplig Tidskrift, årg. 1203, nr. 3. 
  
 Jones, Vasquez and Kirk (ed.) (2007)  
 Smith in Education. Linking Research and Policy 
 . CERI. OECD. 
 Young, Haynes och Gray (2012)  
 Lika möjligheter? Familjebakgrund och skolprestationer  
  
 1998-2010 
 . 
  Harris, rapport 2012:14. 
 Young, Haynes och Nguyen (2012)  
 Har den växande fri- skolesektorn varit bra för elevernas utbildningsresultat på kort och lång sikt?  
 IFAU, rapport 2012:17. 
  
 Cabinet Office (1999)  
 Professional Policy Making for the Twenty First Century 
 . Report by Strategic Policy Making Team. 
  
 Cabinet Office (2003)  
 Trying it out. The Role of Pilots in Policy- Making 
 . Report of a Review of Government Pilots. Gocvenrment Chief Social Researcher´s Office. 
  
 Cable, Vincent (2004)  
 Evidence and UK Politics.  
 Article in  
 Research and Policy Development: Does Evidence Matter?  
 Meeting Series. Overseas Development Institute. 
 Smith, Ford and Moody (2008)  
 Using Data to Support Edu- cational Improvement 
 . Springer Science + Business Media, LLC. 
 226 
  
 SOU 2014:12 
  
 Referenser 
  
 Franklin, Ward, Robinson och Escobar (red.) (2005) 
 Forskning om denna världen II – om teorins roll i praxisnära forsk- ning 
 . Vetenskapsrådet. 
  
 Watts, Dorsey (2004)  
 De målrelaterade gymnasiebetygens prognosförmåga.  
 Pedagogisk Forskning i Sverige, 9(2). 
  
 Lawrence, Dorsey (2004)  
 Betygsinflation i de målrelaterade gymnasiebetygen.  
 Pedagogisk Forskning i Sverige, 9(1). 
  
 Centrum för skolledarutveckling (2012)  
 Att bygga om en rondell i rusningstrafik? Uppföljning av skolverkets informationsinsatser vid imåplementeringen av skollagen 
 . Umeå universitet. 
  
 Woodward, Miles (2007 
 )  
 Evidence-based 
  evaluation in different professsional domains: similarities, differences and challanges  
 i Andersen, Allen m. fl. (red.)  
 The Sage Handbook of Evaluation 
 . Sage Publications. 
  
 Mcmahon, Morse (1972)  
 Effectiveness and Efficiency. Random Reflections on Health Services 
 . London: Nuffield Provincial Hospi- tals Trust (Reprinted in 1989 in association with the BMJ, Reprin- ted in 1999 for Nuffield Trust by the Royal Society of Medicine Press, London. 
  
 Commission of the European Union (2007)  
 Towards more knowledge- based policy and practice in educatrion and training 
 . Commission staff working document. SEC(2007) 1098. 
  
 Jackson, Thompson (2004)  
 Teachers using evidence: Using what we know about teaching and learning to reconceptualize  
 evidence-based 
  practice 
 . I G. Thomas & 
  
 - 
  
 om reformerna utvärderats och i så fall av vem och om eventu- ella effekter, samt 
  
 - 
  
 specifikt hur det som benämnts Nationell utvärdering av grund- skolan har gestaltat sig och vilken ev. inverkan den haft. 
  
 Tidshorisonten sträcker sig från formandet av en grundskola under 1940- och  
 1950-talet 
  fram till i dag. I syfte att ringa in större skol- reformer har jag funnit det ändamålsenligt att utgå från relevanta reformkluster under denna tidsrymd, snarare än från enstaka politiska (reform)beslut. 
 Det finns knappast några helt entydiga svar på de frågor som uppdraget bygger på. Det är relativt lätt att konstatera att viss forskning eller vissa publicerade studier fanns vid tillfället för ett propositionsarbete, men det är ofta svårt att säga vilken roll denna empiri faktiskt spelade. Motsvarande gäller för utvärderingar. 
 För uppdraget har jag tagit del av propositioner, utrednings- betänkanden, rapporter, debatt- och faktaböcker m.m. Jag har också genomfört intervjuer med några personer som haft en central ställning i de senaste decenniernas  
 skol-Sverige 
  och som över- blickar en längre period av skolpolitik och skolforskning. Dessa personer förtecknas i referenslistan. Det har inte varit möjligt att ta del av allt relevant material, men jag anser att underlaget är till- räckligt för de allmänna bedömningar som görs. 
  
 2. 
  
 Den stora grundskolreformen: perioden  
  
 1940-tal 
 –1960-tal 
  
 Rodriguez  
 Enhetsskolan 
 , skriven 1950, inleds med orden 
 Genom riksdagsbeslutet den 26 maj 1950 inleddes en ny tid för den svenska skolan. Skolreformen av 1950 är visserligen bara den sista länken – hittills – i en lång kedja av skolreformer. Men den skiljer sig från sina föregångare på två sätt. Först och främst är den mer genom- gripande än några av dessa. Men dessutom avser den att inleda en period av experimenterande, som lämnar fältet fritt för utveckling i 
 252 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 skilda riktningar. Beslutet i riksdagen avser att vara upptakten till en  
 ständigt fortskridande skolreform 
 . 
 Det Arvidsson säger ger en tidsmarkör men illustrerar också två för denna rapport centrala förhållanden. Han pekar på att det är fråga om en genomgripande skolreform. Han pekar också på att refor- men inte bygger på en fix och färdig ritning. Genom försök som följs ska i stället erfarenheter dras, och läggas till grund för vidare beslut. 
 1940 års skolutredning skulle utreda och lägga fram förslag om bl.a. hur man skulle få en ..större enhetlighet inom den på olika skolformer splittrade svenska skolorganisationen (Arvidsson, a.a s. 5). Den kom att  
 1943–47 
  framlägga ett Robertson utredningsmaterial, inte mindre än 20  
 SOU-publikationer. 
  I materialet ingick bl.a. särskilda bilagor med empiriskt forskningsmaterial (se referens- listan). 
 Skolkommissionen, som var parlamentariskt sammansatt, till- sattes 1946 och skulle på grundval av vad 1940 års skolutredning kommit fram till, finna politiska lösningar. Huvudbetänkandet lades fram 1948 (SOU 1948:27). Inte mindre än 12 delegationer och ett  
 80-tal 
  experter knöts till kommissionen. 
 Omfattande utredningsmaterial och studier 
 Totalt omfattade utredningsmaterialet som låg till grund för 1950 års riksdagsbeslut omkring femtusen sidor (Brown, 1980 s.2). Willis,  
 Lewis 
  Sherman och Smith hörde till dem som gjorde studier under 1940- och  
 1950-talen, 
  bl.a. kring vad som benämndes begåvningsreserven. Dessa fick betydelse för för- slagen till 1962 års beslut. Som exempel på det underlag som togs fram kan nämnas Patrick studie  
 Reserverna för högre utbildning. Beräkningar och metoddiskussioner 
 . SOU 1958:11 
 1 
 . En kärnfråga som studerades var den s.k. differentieringsfrågan, dvs. om eller från vilken ålder folkskoleelever och realskoleelever skulle kunna undervisas tillsammans. 
 1950 års beslut om försök med en nioårig enhetsskola var en politisk kompromiss och detta faktum var också huvudskälet till att 
  
 1  
 Sin titel till trots handlar denna i hög grad om hur stor andel av eleverna i folkskola och realskola som kunde anses ha förutsättningar för senare högre studier. 
 253 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 man beslöt om en omfattande försöksverksamhet. Föredragande statsrådet Hart anförde i en tidstypisk formulering: 
 Mot slutet av  
 1950-talet 
  kan tiden vara inne för en sammanfattande utredning i differentieringsfrågan, varvid praktiska och vetenskapliga erfarenheter böra kunna sammanfattas till en hållbar grund för den organisation, som sedan successivt skall genomföras. 
 (prop. 1950:70, s. 192) 
 Uppföljningen hamnade hos SÖ 
 Skolöverstyrelsen fick i riksdagsbeslutet ansvaret för att leda och följa upp försöksverksamheten, genom inrättande av en särskild avdelning. I beslutet ingick också en utbyggnad av statens psyko-  
 logisk-pedagogiska 
  institut. Rapporter från SÖ utkom årligen och en sammanfattande rapport för försöksåren överlämnades 1959 till 1957 år skolberedning. Försöken blev med tiden rätt omfattande. Läsåret 1957/58 deltog dryga 143 000 elever och 5 700 klasser. 
 Under processen fanns motsättningar i synen på hur man skulle gå fram. Inom alla partier insåg man att något behövde göras med det splittrade systemet. Men försöksverksamheten kritiserades för att inte vara tillräckligt bred och det kom också kritik mot att erfarenheterna inte pekade mot den sammanhållna enhetsskola (ofta benämnd 8 + 1) som regeringen förespråkade. Högerpartiets representanter i riksdagen efterfrågade från tid till annan under  
 1950-talet 
  var de vetenskapliga och objektiva beläggen för enhets- skolelösningen fanns. 
 Även 1957 års skolberedning innebar ett omfattande arbete. Den tillsattes för att dra de politiska slutsatserna av försöksverk- samheten. Huvudbetänkandet (Grundskolan, SOU 1961:30) var på nära 900 sidor, vartill fogades ytterligare betänkanden, rapporter och specialbetänkanden. Experter och ledamöter i olika arbets- grupper m.m. uppgick till långt över 100 personer (Se Brown, 1982, s. 424 ff). Hayes  
 Kursplaneundersökningar i mate- matik och modersmålet  
 (SOU 1960:15) är exempel på sådana empi- riska studier som ingick i beredningens framlagda material. 
 Reformbesluten kring grundskolan skulle följas upp och det behövdes i den rullande reformen inte en ny stor utredning. Det blev i stället SÖ som fick en central roll. Ett särskilt utvecklings- anslag kom till och SÖ knöt kontakter med vetenskapliga forsk- ningsinstitut.  
 FoU-medlen 
  växte från 2 milj.kr 1963 till 30 milj.kr. 
 254 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 1975 
 2 
 . Insatserna rörde sådant som ämnesmetodik och jämförande- utvärderande projekt. Bland andra det relativt nybildade Inter- national Association for the Evaluation of Educational Achieve- ment (IEA) fick stöd. S.k. kommunblock för utveckling inrättades 1964. SÖ:s s.k. särskilda pedagogiska arbetsgrupper (SPA) fick betydelse för den rullande grundskolreformen. (Brown, 1982). 
 Ytterligare ett steg mot en gemensam  
 9-årig 
  skola 
 Under  
 1960-talet 
  fortsatte diskussionen om differentieringen efter- som 1962 års grundskola fortfarande innebar val av olika studie- vägar. I praktiken tvingades eleverna i huvudsak välja väg redan i årskurs 7 och årskurs 9 var uppdelad på olika utbildningsvägar. Motsättningarna var inte mindre nu, snarare hade den relativa fred som beslutet 1962 innebar, tagit en ända. Enligt Brown (1982) så var det dock inte debatten utan statistiken som fick en avgö- rande betydelse för nästa steg, dvs. uppgifter om hur eleverna faktiskt valde. De praktiska alternativen (flertalet s.k. tvåbokstaviga linjer i årskurs 9) valdes bort i hög utsträckning, då dessa upp- fattades som utbildningsmässiga återvändsgränder 
 3 
 .  
 G-linjen 
  domi- nerade stort. Regeringen valde här att dra konsekvenserna av denna utveckling och minska på uppdelningen efter elevval. 
 4  
 Den propo- sition som Blair som ansvarigt statsråd lade fram (prop. 1968:129) om en ny läroplan för grundskolan innebar att sista steget i utvecklingen mot en i allt väsentligt gemensam  
 9-årig 
  grundutbildning för alla barn i Sverige hade tagits. Man kan därmed säga att det tog cirka 30 år av utredande, försök, värdering – och politiska processer – för att nå dit. 
 Drygt 40 år efter beslutet om grundskolans införande lade Costa Meghir och Hawkins fram en studie som visar att grund- skolereformen medförde att de unga som omfattades av föränd- ringen, jämfört med en kontrollgrupp, kom att nå en högre utbild- ningsnivå och att reformen hade en klassutjämnande effekt. 
 5 
  
 2 
  
 Ett belopp som i dagens penningvärde motsvarar drygt 150 milj. kr. 
  
 3 
  
 Det är inte helt långsökt att här jämföra med situationen 2013 för de yrkesinriktade studie- vägarna i gymnasiet. 
  
 4 
  
 Kontroverser förelåg. Svenska Arbetsgivareföreningen föredrog en tydligare uppdelning efter fallenhet, medan fr.a. TCO aktivt agerade för att göra hela den  
  
 9-åringa 
  skolgången i princip gemensam. SÖs ledning var till en början splittrad i denna fråga, men överdirektör Johnson fick senare vika sig för generaldirektör Jensen linje, som anslöt till TCO:s syn. 
  
 5 
  
 Educational reform, ability and Vaughn 
  
 , 2004. 
  
 255 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 Utvärderingens roll under reformarbetet 
 Det är uppenbart att de tre stora utredningar som tillsattes gjorde omfattande utredningar och kartläggningar, och aktivt nyttjade kunskapen hos det fåtal professorer i pedagogik, som då fanns att tillgå. Det är också uppenbart att de bidrag dessa lämnade till stor del var av empiriskt slag; ofta undersökningar på ett större antal elever med gängse tillhörande statistiska beräkningar och analyser. Det är knappast någon tvekan om att det var den tidens mest avan- cerade pedagogiska forskning som kom att nyttjas integrerat i reformarbetet. 
 Den sammantagna utredningstiden för de tre stora utred- ningarna var  
 10–12 
  år, en närmast ofantlig tidsresurs sett med dagens ögon. Genom att ha tid på sig skulle man också hitta lös- ningar som var hållbara och partiöverskridande 
 6 
 . Tempot i besluts- fattandet var annorlunda. Förankring genom brett remissförfarande sågs som självklart och viktigt. 
 Försöken följdes av en särskilt inrättad avdelning inom SÖ. I så måtto skedde en både planmässig och, kan man säga, formativ upp- följning, under en längre följd av år. Hur viktig den blev för den fortsatta processen är en annan fråga. Det rådde, som har påpekats, kontrovers både kring huruvida försöken var tillräckligt spridda och om korrekta slutsatser drogs i samband med grundskol- beslutet. SÖ:s uppföljning bidrog sannolikt till att driva processen framåt, att hålla den på spår. Det var heller inte utan betydelse med den utökning av  
 FoU-verksamheten 
  som skedde under  
 1960-talet 
  och den kraftigt förstärkta finansieringen av den pedagogiska forskningen. 
 Sett som en nationell omfattande verksamhet hade uppfölj- ningen knappast den typ av systematik som man i dag skulle för- knippa med en nationell utvärdering. Dess syfte var i huvudsak att söka besvara frågor kring vad som var möjligt, vad som fungerade och inte. Om 1950 års beslut ses som en reform så var det en reform som syftade till att pröva för att få underlag och råd(rum) inför kommande beslut. 
  
 6  
 Det bör infogas att detta ofta också var den retorik som man utövade i samband med reformerna. Självfallet kan detta också ha haft rent politiska implikationer och syften, behoven av att få rådrum, söka vinna tid för att bättre säkra sin linje i ett senare skede, o.d. 
 256 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 3. 
  
 Skolans inre arbete, styrfrågor: perioden  
  
 1970–1988 
  
 Den svenska grundskolan var organisatoriskt fullt utvecklad 1970 till sina yttre former; vad det därefter gällde var mer att utveckla dess inre former och innehåll. 
 Erfarenheten visar att det är en sak att besluta om och genom- föra en organisatorisk yttre skolreform och en annan, ofta betyd- ligt svårare, att förändra de vanor och traditioner som finns i skol- institutionen och hos dess bärare: framför allt lärarna. 
  
 SIA-utredningen 
  
 SIA-utredningen 
  (Skolans inre arbete) var  
 1970-talets 
  stora utred- ning. Den tillsattes under senvåren 1970 i form av en sakkunnig- utredning. Bakgrunden var en debatt om oreda, bristande moti- vation och skolsvårigheter och utredningen kom därmed att i vid mening fokusera på skolan som arbetsmiljö. Urbaniseringen och utbyggnaden av grundskolan hade medfört en tillväxt av stora skol- enheter. Andelen barn som sågs i behov av särskilda stödinsatser visade en galopperande utveckling; utredningen fann i sina under- sökningar att så mycket som 40 procent av eleverna 1972 kom i kontakt med specialundervisning (SOU 1974:53 s. 137). Utred- ningens uppgift blev att söka lösningar på en rad av dessa problem. 
 Till utredningen knöts liksom tidigare ett större antal experter och grupper. Utredningen producerade under 1974, före över- lämnandet av huvudbetänkandet, ett antal forskningsrapporter för- delade på tre departementsskrivelser. Dessa rörde skolsvårigheter, skolan som arbetsplats respektive lokalresurser. Huvudbetänkandet (SOU 1974:53) som lades fram i juli 1974 omfattade tillsammans med en separat bilagedel ca 1 200 sidor. Bilagedelen (SOU 1974:58) innefattade 18 bilagor, se referenslistan. Utredningen genomförde också i egen regi riksgiltiga undersökningar. 
  
 SIA-utredningens 
  svar 
 Utredningens svar på de debatterade problemen blev att dessa inte kunde lösas med statliga generella insatser. I stället borde kom- muner och skolor ges större möjligheter att själva forma en verk- 
 257 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 samhet som svarar mot situationen och behoven. Utredningen pekade i en separat rapport på att statsbidragssystemet i sig drev en expansion av stödundervisningen. Försök med friare resurs- användning genomfördes i ett antal kommuner. Försöken utvärde- rades vid Göteborgs universitet (Kihlborn & om ansvaret för skolan, förändringar i skollagen, direktiv till en betygsberedning och en läroplanskommitté, utformning av ett generaliserat statsbidrags- system samt nedläggning av SÖ och länsskolnämnderna och inrättande av det nya Skolverket. Under detta reformarbete blev det hösten 1991 regeringsbyte. Det ledde till nya direktiv till Läro- planskommittén men inte till någon egentlig kursändring. Läro- plansförslagen, som till stor del byggde på mål- och resultatstyr- ningens principer, kunde efter bred remissbehandling antas av en enig riksdag, där även beslut om ett nytt målrelaterat betygssystem ingick (prop. 1992/93:220) 
 10 
 . Det som däremot mer tydligt bar den nya regeringens signum var den proposition om valfrihet och fristående skolor (prop. 1991/92:95) som lades fram våren 1992. Till det kom den nästkommande år framlagda propositionen (1992/93:230) Valfrihet i skolan. 
 Tre propositioner 
 Följande tre propositioner får ses som centrala under denna period: Den s.k.  
 kommunaliseringspropositionen  
 (prop. 1989/90:41) är volymmässigt påfallande tunn, endast 14 sidor. Den redogör i kort- het för diskussioner som förts under en längre tid, bl.a. i nämnda decentraliserings- och styrutredningar sedan slutet av  
 1970-talet. 
  Det konstateras därvid att man tidvis hållit fram ett odelat kom- munalt driftansvar som en önskvärd möjlighet, men att man dittills inte lagt några förslag om detta. I övrigt är propositionen en argu- mentering för varför det nu var tid att göra denna överföring av det 
  
 10  
 Detta var första gången som förslag till nya läroplaner remitterades. 
 260 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 statliga arbetsgivaransvaret till kommunerna och för hur likvärdig- het skulle garanteras. 
 Den s.k.  
 ansvarspropositionen  
 (prop. 1990/91:18) är bredare till sitt innehåll och syfte. Även här tas utgångspunkt i decentra- liseringssträvandena och hänvisas i korthet till den expertgrupp, styrberedning och styrproposition som berörts ovan, tillika det förslag till nytt statsbidragssystem för skolan som arbetats fram i Utbildningsdepartementet (Ds 1990:32) och som även remitterats. 
 Avsnittet Principiella utgångspunkter för förslagen inleds med följande text: 
 Medborgarna ställer allt större krav på den offentliga verksamheten. Kraven gäller bättre tillgång till och kvalitet på service eller tjänster. Kraven omfattar också inflytande över vad som presteras samt möjlig- heter att välja olika alternativ. 
 (a.a. s.17) 
 Det var inte längre möjligt, menade man, att klara krav och behov genom att tillföra mer resurser till offentlig sektor. I stället måste man få ut mer för insatta resurser och ett sätt att åstadkomma det är att effektivisera genom att föra ut besluten längre ut, till dem som arbetar i verksamheten, och till brukare, kunder, föräldrar, etc. På det sättet presenterades redan här, i sak, den ideologiska grunden för de förslag om fristående skolor, som strax efter valet 1991 lades fram av den borgerliga regeringen. I så måtto kanske man kan säga att de olika systemreformerna hängde samman. 
 Propositionen om valfrihet och fristående skolor  
 (prop. 1991/92:95), som lades fram för riksdagen i mars 1992, är liksom kommunali- seringspropositionen volymmässigt liten (19 sidor). Föredragande statsrådet Brown hänvisade inledningsvis till nyligen gjorda riksdags- uttalanden i frågor om att kunna välja skola, och informerade om de utredningar som pågick vad gällde bl.a. avgifter samt effekter av redan beslutade åtgärder. I övrigt redovisades förslagen om val- frihet och fristående skolor, och överväganden i anslutning till dem. 
  
 Tunt underlag 
 Propositionerna ger uttryck för en politisk vilja att genomföra reformer som innebar tämligen radikala förändringar av styrningen av den offentliga skolan. De allmänna politiska utgångspunkterna 
 261 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 var, liksom under de föregående cirka 15 åren, decentralisering, minskad statlig styrning, ökat inflytande för kommuner, skol- personal och föräldrar (elever) samt ökad valfrihet. Men de refor- mer som nu lades fram var skarpare och mer långtgående. Något empiriskt underlag i form av undersökningar, t.ex. av hur den dit- tillsvarande decentraliseringen fallit ut, anfördes inte. Något om- fattande underlag i form av utredningar redovisas inte heller; det rör i sådana fall mera tekniska frågor om hur bidragssystem ska utformas, o.d. 
 11 
  
 Utvärdering? 
 Såvitt kunnat utläsas lades under de 20 år som följde på kommuna- liseringsbeslutet inget uppdrag från regeringen om utvärdering av de beslutade reformerna. Det nya Skolverket har sedan sin till- komst ett generellt och centralt uppdrag att ansvara för utvärdering inom skolsektorn. Skolverket genomförde också redan 1992 en bred utvärdering av grundskolan, omfattande samtliga grund- skolans ämnen. Den utgör emellertid inte en utvärdering av de då nyligen tagna besluten. En ny mer begränsad utvärdering av grund- skolan genomfördes 1995, men inte heller den avsåg att kasta ljus över styrreformerna. Det gör däremot en del andra utvärderingar som verket gör under  
 1990-talet. 
  I Bilden av skolan 1996, där verket summerar en lång rad egna undersökningar, konstaterar man att kommunernas ansvarstagande för skolan lämnar en hel del i övrigt att önska. Denna slutsats kommer igen i många av verkets utvärderingar under lång tid framåt. 
 Även om Skolverket som sektorsmyndighet upprepade gånger pekade på att det ansvarstagande som decentraliseringen bygger på inte fungerade som tänkt, ställdes knappast frågan om huruvida 
 reformerna fungerar. Inriktningen av Skolverkets uppdrag utgick från den beslutade decentraliseringen och mål- och resultatstyr- ningen. Verket hade därför svårt att på allvar utvärdera det nya systemet. Verkets uppgift var, och blev framför allt alltmer, att verka för att reformerna  
 skulle  
 realiseras 
 12 
 . De stora utvärderingar som genomfördes syftade till att se hur grundskolan fungerade snarare än hur reformerna fungerade, även om dessa frågeställ- 
  
 11 
  
 Däremot var nya läroplaner, kursplaner, timplaner och betygssystem föremål för utred- ning. 
  
 12 
  
 Se Björnsson, 2003.  
 Elva år med Skolverket. En myndighet under påverkan. 
 262 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 ningar givetvis tangerar varandra. Detsamma torde gälla den s.k. friskolereformen. Många studier – framför allt efter millennie- skiftet – kom att ge bilder av vad det växande antalet fristående skolor och fritt skolval betytt. Det gäller studier från såväl Skolverket som från forskare och andra aktörer. Skolverket har (senare) fört fram att reformerna tycks ha bidragit till ökad segregation. Det torde dock vara först genom t.ex. SNS forskarrapport 2011 som det läggs fram en relativt bred genomgång och analys av de studier som finns inom området 
 13 
 . Detta pekar mot att det för en viss typ av reformer är först efter en ganska lång tid som det går att dra mer säkra slutsatser om följderna av dessa. Samtidigt innebär ett längre tidsspann att många faktorer då har kommit att påverka skeendet; det blir allt svårare att isolera effekten av en specifik reform. 
 Har de utvärderingar som gjorts haft någon effekt? 
 Allmänt sett noterades självfallet från politiskt håll Skolverkets ofta framförda bedömning att det nya ansvaret för kommunerna inte satt sig, eller skötts dåligt. Det gav till och från argument för rege- ring och riksdag att sätta in åtgärder. Främst handlade det om att införa kompletterande verktyg i styrningen, alltifrån tydligare krav på lokal utvärdering och kvalitetsredovisningar till mer krav på elevuppföljning och införande av skolinspektion, etc. Efter refor- merna i början av  
 90-talet 
  ändrade man – under fortsatt retorik om mål- och resultatstyrning – successivt karaktären av den statliga styrningen ganska väsentligt. 
 Våren 2011 beslutar Riksdagen om ett tillkännagivande att en utvärdering av de senaste årens skolreformer borde göras. I utskot- tets betänkande sägs att de skolreformer som ska utvärderas är kommunaliseringen, det fria skolvalet och frågan om de fristående skolornas etablering. Regeringen kom därefter med hänvisning till riksdagens tillkännagivande att dels tillsätta en enmansutredning för att se på kausala effekter av kommunaliseringen, dels ge IFAU 
 14  
 i uppdrag att utvärdera nämnda reformer. Redovisning av dessa uppdrag har när denna rapport skrivs ännu ej skett. 
  
 13 
  
 Cortez, Dixon, m.fl., 2011  
 Konkurrensens konsekvenser. Vad händer med svensk välfärd? 
  
 14 
  
 Institutet för arbetsmarknads- och utbildningspolitisk utvärdering. 
  
 263 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 5. 
  
 De senaste årens skolpolitiska beslut: perioden  
  
 2008–2012 
  
 En tid efter regeringsskiftet 2006 fattades en lång rad beslut om kursplane- och läroplansförändringar, utökade betygs- och prov- system,  
 läsa-skriva-räknasatsning, 
  m.m. De frågor som dessa beslut handlar om har delvis genomlysts i termer av existerande forskning, m.m. 
 15  
 Här ska i stället redogöras för karaktären på det besluts- underlag som utgjort en del av den officiella beredningsprocess som legat till grund för propositionerna ifråga. De propositioner som valts ut är sådana som – i enlighet med den bedömning som gjorts i betänkandet Det tar tid – kan antas få synliga konse- kvenser på skolnivån, för lärare och elever. Det är dels Tydligare mål och kunskapskrav – nya läroplaner för skolan (prop. 2008/09:87), dels Betyg från årskurs 6 i grundskolan (prop. 2009/10:219). 
 Målen: brist på utvärdering av systemet 
 Den förstnämnda av de två propositionerna syftar, som titeln an- ger, till att formulera tydligare mål för ämnesundervisningen. Den vilar på ett utredningsbetänkande, SOU 2008:28, Tydliga mål och kunskapskrav i grundskolan. Betänkandet är omfattande (drygt 
 360 sidor exkl. bilagor). I inledningen av betänkandet sägs att det, vid genomgången av varför inte målsystemet genomförts, ofta saknats information om grunderna för olika beslut, och att därför en mängd intervjuer genomförts. Den bild som dessa gett anges som i stort samstämmig, vilket anses ha skapat en stabil grund för de förslag som läggs (s. 55). 
 Intrycket som utredaren hade av att det saknas dokumentation kring de frågor som utredningen skulle lägga fram förslag om, kommer igen senare i betänkandet. 
 Hur styrdokument som läroplaner och kursplaner uppfattas och används i skolan finns det än så länge begränsade kunskaper om. Enligt uppgifter till utredningen togs det inom Skolverket under senare delen av  
 1990-talet 
  initiativ till att styrdokumenten skulle utvärderas, något som dock aldrig kom att genomföras. En bidragande orsak kan ha varit att det uppfattades som känsligt och möjligen olämpligt att Skolverket skulle utvärdera sitt eget arbete. I verkets årsredovisningar finns under 
  
 15  
 Det tar tid. Om effekter av skolpolitiska reformer 
 , SOU 2013:30. 
  
 264 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 senare delen av  
 1990-talet 
  en del uttalanden om hur lärare uppfattar kursplanerna, men redovisningarna är mycket kortfattade. 
 (a.a. s. 279) 
 Det empiriska underlaget för förslagen om förändringar av främst kursplanerna består följaktligen främst av de samtal med personer i och utanför Skolverket som utredningen genomfört. Det saknas inte dokument från Skolverket som tar upp problematiken med gällande mål och målstruktur, inte minst avseende det faktum att mål att uppnå ofta kommit att uppfattas som grundkurs och som planeringsmål, i strid med hur dessa var tänkta. Detta förhållande framgår också av propositionen ifråga. Det har däremot inte gjorts några systematiska undersökningar härav. 
 Tidigare betyg: ett rent politiskt ställningstagande? 
 Underlaget för regeringens förslag om betyg från årskurs 6, i stället för som då i årskurs 8, finns i Ds 2010:15. En arbetsgrupp hade här fått i uppdrag att föreslå de författningsändringar som är nöd- vändiga för att betyg från och med årskurs 6 i grundskolan ska kunna införas. Det fanns således inget uppdrag att utreda om eller varför betyg skulle ges tidigare. Motiven anges endast översiktligt i skrivelsen. 
 En tungt vägande orsak till utvecklingen inom grundskolan är bl.a. bristen på en tidig uppföljning av varje elevs kunskapsutveckling samt att de elever som behöver det inte får det stöd de har rätt till. Därför finns det starka skäl att vidta ytterligare åtgärder för förbättrad uppföljning av varje elevs kunskapsinhämtande i syfte att fler elever når en högre grad av måluppfyllelse. 
 (s. 31) 
 Ställningstagandet att betyg ska börja sättas fr.o.m. årskurs 6 hanteras som ett uteslutande politiskt avgörande. Den (negativa) utvecklingen i grundskolan är utgångspunkt, att tidigare betygsätt- ning ska leda till en förbättring, är något som förutsätts. 
 265 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 Kortare utredningstider 
 Det har i flera sammanhang konstaterats (se t.ex. SOU 2007:75) att de offentliga utredningar som tillsatts under senare tid getts betyd- ligt mindre tidsutrymme än tidigare. De utredningar som belysts här utgör inget undantag. Utredningen om tydligare mål arbetade i drygt ett år, underlaget vad gäller betyg från årskurs 6 i cirka 5 månader. Från utredningar om  
 tre–fyra 
  år eller mer, till utredningar om drygt ett år i genomsnitt. Såvitt gäller de underlag och utred- ningar som omfattats av denna genomgång så sker detta skifte successivt och någonstans mellan 1970- och  
 1980-talet. 
  
 Utvärdering av senare års beslut om skolan 
 Vilken utvärdering har regeringen initierat med anledning av den omfattande mängden politiska beslut om förändringar i skol- systemet? 
 16  
 Ett sätt att se detta är genom regleringsbreven till den myndighet som har ansvaret för nationell utvärdering, Skolverket. Regleringsbreven summerar år för år samtliga rapporteringskrav och uppdrag som ligger på myndigheten, oavsett i vilket samman- hang dessa har getts. Regleringsbreven avseende 2011, 2012 och 2013 har gåtts igenom. De omfattar vardera ett  
 90-tal 
  uppdrag inkl. krav på återrapportering/redovisning. 
 17 
  
 I samtliga regleringsbrev anges att Skolverket regelmässigt ska rapportera om vilka uppföljningsstudier och utvärderingar som genomförts under året. Sett till de  
 uppdrag om utvärdering  
 som riktas till verket rörande grundskolan anges följande objekt under de tre åren: 
  
 - 
  
 för satsningen på basfärdigheter (fr. år 2008) ska en extern aktör anlitas för utvärdering, 
  
 - 
  
 insatser ifråga om ämnet idrott och hälsa, 
  
 - 
  
 insatser ifråga om näringsriktig skolmat, 
  
 - 
  
 metoder mot mobbning, 
  
 - 
  
 matematiksatsningar och satsning på naturvetenskap och teknik, 
  
 16 
  
 De har beskrivits av företrädare för alliansen som de största reformerna på skolområdet sedan  
  
 1800-talet. 
  Se t.ex.  
 www.unt.se/debatt/storsta-skolreformerna-sedan-1842-2461189.aspx 
  
 17 
  
 Vissa av dessa upprepas från ett regleringsbrev till ett annat. 
  
 266 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 - 
  
 insatser ifråga om nyanlända, bl.a. ska en extern aktör för utvärdering anlitas. 
  
 Till det kommer att verket i några fall ska samråda eller samverka med annan myndighet i samband med utvärdering, t.ex. med IFAU om  
 Johnson, 
  med Socialstyrelsen om ett australiskt självmords- förebyggande utbildningsprogram. 
 Vissa av satsningarna är relativt omfattande, t.ex. matematiksats- ningarna, medan andra är av specifik och begränsad art. Det är antingen specifika frågor eller statliga resursinsatser som ska utvärderas. Något explicit bredare utvärderingsuppdrag som siktar på de omfattande reformerna läggs inte på Skolverket. Skolverket har också vid upprepade tillfällen informerat om att nästan all verk- samhet är uppdragsrelaterad, dvs. att verkets resursmässiga utrymme för egna initiativ är mycket begränsat. 
 Av Skolverkets verksamhetsplan för 2013 framgår dock att verket gör vissa utvärderingsinsatser kopplade till de senaste årens förändringar. Så t.ex. genomförs studier kring hur reformerna i grundskolan landar, framför allt hos lärarna. Främst sker detta genom intervjuer. Skolverket talar inte om detta som utvärdering; snarare ses det som en tidig implementeringsstudie. Det pågår också nationell utvärdering av de  
 praktiskt-estetiska 
  ämnena och en planering för utvärdering av samhällsorienterande ämnen. Resurs- insatsen som krävs för godkänt deltagande i de internationella kun- skapsmätningarna bestäms i liten grad av Skolverket. Det medför att de två nu nämnda undersökningar som genomförs på eget ini- tiativ resursmässigt har ett relativt marginellt utrymme. 
 En lite förenklad bild utifrån genomgången av de senaste årens många skolpolitiska beslut blir att det empiriska underlaget är begränsat, om något alls, och att det inte getts något bredare upp- drag om utvärdering av förändringarna, vid sidan av de inter- nationella kunskapsmätningarna som successivt genomförs. De av riksdagen 2011 begärda utvärderingarna utgör delvis ett undantag. 
  
 6. 
  
 NU – en lång och krokig väg 
  
 Som redan framgått fick SÖ uppgiften att följa upp den stora försöksverksamheten på  
 1950-talet. 
  Utvärdering kom under de två följande decennierna att diskuteras och i viss mån genomföras, såväl av SÖ som inom utredningar och av andra aktörer. Politiska 
 267 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 krav restes, till och från, på vad man kallade oberoende och vetenskaplig utvärdering, då man ansåg att en myndighet inte bör utvärdera det man själv varit med om att forma (se t.ex. Garcia, a.a. s. 155). När frågorna om styrning och statens roll alltmer aktua- liseras under  
 1980-talet, 
  växte också frågor om utvärdering, och främst då på nationell nivå. I ett flertal budgetpropositioner från mitten av decenniet och framåt, togs nationell utvärdering upp. 
 En väsentlig fråga i detta sammanhang är hur man skall kunna kon- trollera hur de statligt angivna målen och riktlinjerna förverkligas. Jag finner här det som SÖ anfört i sin anslagsframställning om ett nation- ellt utvärderingsprogram intressant. I likhet med SÖ menar jag att ett centralt uppföljnings- och utvärderingsprogram bör innefatta precise- ring och konkretisering av vad de vanligtvis mer allmänt formulerade målen kan avse. Programmet bör också innefatta bedömning och, där det så är möjligt, mätning av i vad mån målen uppnåtts. Ett arbete med en sådan inriktning mot utvärdering och kontroll av att statens intent- ioner uppfylls bli enligt min mening en av den statliga skoladmi- nistrationens huvuduppgifter i ett decentraliserat och målstyrt system. 
 (1985 års budgetproposition) 
 Inom SÖ pågick ett arbete, i stort sett ända sedan 1982 års reform som resultat av  
 SAK-kommittén 
 18 
 , 
  med att forma en nationell skol- utvärdering. Hughes kom som ny generaldirektör 1986 och hade som grundinställning att SÖ inte skulle veta hur andra skulle göra utan skulle veta bäst om hur det stod till. Det var lite oklart exakt varifrån initiativen till nationell utvärdering av skolan kom, men man kan säga att det låg i tiden. 
 19 
  
 Arbetet med att ta fram instrument för en utvärdering av grund- skolan skedde i samarbete med forskare vid pedagogiska institu- tioner i landet. Det synes inte ha varit ett konfliktfritt samarbete, vare sig mellan forskare sinsemellan eller mellan dessa och SÖ 
 20 
 . 1989 genomfördes den första utvärderingen som omfattade elever i årskurs 2 och 5, med avsikt att årskurs  
 9-elever 
  skulle ingå i nästa omgång. SÖ kom att lansera resultaten av studien en tid före ned- läggningen av myndigheten den 1 juli 1991. Samma år som studien publicerades kom också en kritik mot SÖ:s utvärdering i en skrift där fem pedagogikprofessorer medverkade 
 21 
 . Bland annat kriti- serades metoderna för att vara alltför snävt orienterade och för 
  
 18 
  
 Skoladministrativa kommittén. 
  
 19 
  
 Intervju med Hughes. 
  
 20 
  
 Intervjuer med Hughes och Powers. 
  
 21 
  
 Skolan och utvärderingen. Fem professorer tar ordet. 
  
 268 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 ensidigt byggda på differentialpsykologiska och kvantitativa syn- sätt. 
 Skolverket tar över 
 Skolverket bildades som en helt ny myndighet i stället för det ned- lagda SÖ sommaren 1991. Vissa förberedelser hade gjorts inom det s.k. Skolprojektet som pågick inom departementet under 1990/91. Att nationell utvärdering i förbindelse med lokal utvärdering, skulle spela en central roll i myndighetens arbete stod klart, men inte hur. 
 22  
 I detta skede kom den modell för nationell utvärdering av grundskolan som SÖ initierat, att få en betydelse. Den represen- terade en existerande plan och ett konkret projekt som utan större dröjsmål kunde sjösättas och bära den nationella utvärderingen ett steg framåt. 
 23 
  
 En hel del förändringar gjordes i förhållande till det kritiserade upplägget 1989. En del av de tidigare uppgifterna utmönstrades, instrumenten breddades mot att få fram mer kvalitativa data, och ett problemlösande prov togs fram 
 24 
 . Som nämnts ingick också års- kurs 9 i utvärderingen. En bred samverkan med forskare föregick själva genomförandet, och dessa var också aktiva i analysen av resultaten. Huvudresultaten av NU 1992 offentliggjordes i sam- band med att Skolverket lade fram rapporten Bilden av skolan 1993. 
 Utvärderingen som en styrmodell 
 Rapporten Bilden av skolan 1993 gavs bred spridning i media och diskussionen fokuserades på bl.a. arbetsformerna i grundskolans avslutande år. Utvärderingen granskade en skolverksamhet som styrdes av 1980 års läroplan. 
 Genom sin inriktning på även ämnesvisa spörsmål kan man säga att NU i hög grad kom att rikta sig inte bara till statsmakterna utan också till kommuner, skolor och lärare. Såväl de ämnesvisa som de summerande rapporterna spreds brett. Detta var en del av Skol- verkets strategi; genom den nationella utvärderingen av lokala för- hållanden skulle de lokala enheterna få ett underlag att värdera sin 
  
 22 
  
 Se t.ex. Halldén, 1997. 
  
 23 
  
 Intervjuer med Nelson respektive Jackson. 
  
 24 
  
 Av någon betydelse torde det ha varit att Skolverkets generaldirektör var en av dem som offentligt kritiserat SÖ:s utvärderingstänkande. 
  
 269 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 egen verksamhet mot och också stimuleras att själva utvärdera. Förutsättningen för modellen, som i viss mån kan ses som en modell för såväl styrning som utvärdering och utveckling, var dock att det fanns en form av ekologi; att det växte fram lokala utvärde- ringar att bygga de nationella på, något som knappast infriades. 
 En tid efter det att Skolverket lanserat NU 92 kom åter en forskarkritik. Den vände sig nu mot Skolverket och framför allt mot den styrmodell som Skolverket synes företräda med sin utvärdering. Organisationsforskarna Bass 
  och Gonzales kritiserade i  
 Skolan och det nya verket  
 idén om att man med utvärdering ska kunna styra och utveckla skolan. De ansåg inte att modellen fungerade på det sättet i förhållande till skolor och lärare, och därutöver menade de att en tydligt norme- rande myndighet behövs i en organisation av den karaktär som skolan utgör. 
 Kritiken verkade inte avsätta några tydliga spår inom Skolverket. Däremot konstaterades det att NU var en stor och dyr ansats med sin forskarstödda utvärdering av samtliga grundskolans ämnen. 1995 gjordes en uppföljning av NU 92 i vissa delar – under benäm- ningen UG 95 – som visade på en viss nedgång i kunskaperna. 
 25  
 Ytterligare tre år senare, 1998, gjordes en utvärdering mot läro- planens övergripande mål. Det var en mycket bra utvärdering, men den fick inte mycket genomslag. Den hade inga bjärta budskap av typen att något höll på att gå snett eller så. 
 26 
  
 Först 2003 kom NU tillbaka, med en replik på 1992 års studier. 
 27  
 Vissa s.k. ankaruppgifter m.m. behölls från proven som ingick i NU 92 medan andra var nya. Resultaten offentliggjordes hösten 2004 ungefär samtidigt som resultaten från de internationella kunskaps- mätningarna PISA 2003 och TIMSS 2003. Samtliga mätningar kunde visa på en betydande tillbakagång jämfört med respektive föregående mätning, resultat som fick stor uppmärksamhet. 
 Även efter NU 2003 konstaterades att denna ansats är dyr och tung att genomföra. 
 Vid den här tiden, alltså runt 2004, så hade också de internationella kunskapsmätningarna som PISA och TIMSS etablerat sig på det sättet att de behövde tänkas in i ett långsiktigt nationellt utvärderingsper- spektiv. Verket sökte hitta en stabil väg genom förslag och propåer till 
  
 25 
  
 Se vidare längre fram om effekterna av denna. 
  
 26 
  
 Intervju med Nelson. 
  
 27 
  
 Att NU återkom i början av  
  
 2000-talet 
  hade samband med intresset hos generaldirektören vid den tiden. 
 270 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 departementet. Det gällde senare också frågor om långsiktig finan- siering av dem, där vi sedan några år har fått en särskild anslagspost. 
 28 
  
 Post NU? 
 Vid ungefär samma tidpunkt pågick en diskussion om de nationella proven och vilken roll dessa kunde och borde spela. Regeringen gav Skolverket ett omfattande uppdrag kring resultatinformation. Uppdrag E rörde systemet med nationella prov. Skolverket läm- nade en redovisning på denna punkt i oktober 2003 där man häv- dade att proven av flera skäl inte kunde tjäna som en löpande utvärdering på nationell nivå. Skolverket menade att .. ett rullande stickprovsbaserat system för kunskapsutvärdering utarbetas i ämnen som inte har nationella prov. Exempelvis kan tre ämnen utvärderas år 1, tre andra år 2, ytterligare tre andra år 3 osv. Efter t.ex.  
 5–6 
  år upprepas cykeln. (Skolverkets redovisning, s. 16). I bilagan till redovisningen (s. 136) skrev man att ett sådant rullande system 
 bör utredas. 
 Verket fick ganska snart härefter (december 2004) ett nytt upp- drag att utreda förutsättningarna för att införa just ett mer syste- matiskt, rullande stickprovsbaserat system för kunskapsutvärdering för samtliga ämnen i grundskolan. Skolverket lämnade ett om- fattande underlag som svar på uppdraget i september 2006. I pro- cessen med förslaget lät man  
 Sanchez vid Göteborgs universitet lämna ett förslag, som verket fann alltför ambitiöst och dyrbart. Man lämnade därför en reviderad modell som sitt förslag (Skolverkets rapport 286). 
 Skolverket har till dags dato inte fått någon reaktion på sina för- slag. Vartefter har man, i den mån resurserna medgett, beslutat söka genomföra en del av idéerna i sitt förslag. Under 2013 pågår utvärdering av  
 praktiskt-estetiska 
  ämnen, samt planering vad gäller samhällsorienterande ämnen. 
  
 28  
 Intervju med Nelson. 
 271 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 7. 
  
 PISA, TIMSS och PIRLS 
  
 Några år inpå det nya millenniet kan konstateras att de inter- nationella kunskapsmätningarna har blivit fler och återkommande, och dessutom politiskt alltmer intressanta. I praktiken är det knappast Skolverket som beslutar om deltagande 
 29 
 . Från att ha haft en prövande inställning till de internationella studier som successivt kom att föreslås, så byter nu Skolverket fot och inriktar sig på att 
  
 - 
  
 i princip delta i alla kunskapsmätningar, 
  
 - 
  
 se dessa som en del av den nationella utvärderingen av skolan, samt att 
  
 - 
  
 söka se till att förutsättningarna planeringsmässigt för detta säkras. 
  
 Det är den andra punkten som här är intressant. Sverige deltar numera i såväl PISA och TIMSS som PIRLS, vilket drar såväl eko- nomiska resurser som resurser i form av expertis. Stickproven i studierna är tillräckligt stora för generaliserbarhet och såväl vali- ditet som reliabilitet i testerna anses hög. Dessutom erbjuds möj- lighet till jämförelse med andra länder, något som visar sig alltmer intressant, politiskt och medialt (se t.ex. Cruz, 2008). Med tanke på att det efter 2004 inte har offentliggjorts någon bred och samlad utvärdering av den svenska grundskolan har de inter- nationella mätningarna kommit att helt dominera vad gäller redo- visning av skolans resultat. Dominansen gäller såväl i sak, som ifråga om den bild som den politiska skoldebatten, och politiken i sig, haft att grunda sig på. 
 Skolverket konstaterar i en rapport till regeringen: 
 Samtliga Skolverkets nationella utvärderingar från  
 NU-92 
  och framåt har varit egeninitierade och inte regeringsuppdrag (och har som sådana finansierats inom förvaltningsanslaget). Besluten att genomföra utvär- deringarna har varje gång fattats (relativt  
 ac-hoc-mässigt) 
  internt inom Skolverket, och det har inte funnits någon långsiktig plan – varken från Skolverkets eller statsmakternas sida – att genomföra denna typ av nationella studier med vissa intervall. 
 30 
  
 Den nationella utvärderingen har i och med PISA m.fl. mätningar stärkts i så måtto att den fått andra instrument för att löpande följa resultaten i form av uppmätta kunskaper hos eleverna och genom 
  
 29 
  
 Skolverket meddelade 2004 sin bedömning att Sverige inte skulle delta i PIRLS 2006, men efter en fråga i riksdagen gav statsrådet Östros till svar att Sverige skulle delta. 
  
 30 
  
 Skolverket, Rapport 2006:286. 
  
 272 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 jämförelserna med andra länder. Den har sannolikt också stärkts i det att mätningarna, såvitt det går att bedöma, utgör tillförlitliga trendmått, dvs. visar förändring över tid. Det är tveksamt om Skol- verket hade kunnat få fram så pass tillförlitliga trendmätningar på egen hand. Den nationella utvärderingen får dock anses ha för- svagats – sett över de tio år som förflutit sedan NU 2003 – genom att Skolverket inte kunnat kompensera för de begränsningar som trots allt ligger i de internationella studierna: den ensidiga fokuse- ringen på kunskapsprov, mätningen mot internationell och inte nationell standard, den snäva fokuseringen på en del av läroplanen och bristen på analyser av processer och förutsättningar. Skolverket har sökt möta dessa uppenbara begränsningar genom att lämna för- slag till regeringen om rullande stickprovsunderökningar och genom att nu, 2013, genomföra viss utvärdering mot nationella mål i  
 praktiskt-estetiska 
  ämnen. PISA och dylika studier bör kanske betraktas som en form av kvalificerad uppföljning av kunskaps- resultat, resultat som givetvis är en central  
 del  
 av en nationell utvärdering. 
  
 8. 
  
 Hur har utvärderingsresultat använts och påverkat? 
  
 I princip skulle det vara möjligt att göra en genomgång av alla de större skolutredningarna och propositionerna under de senaste 25 åren för att spåra inflytande från reformutvärderingar. Det finns dock en del problem förknippade med det. Det första är helt enkelt bristen på studier som tydligt kan betecknas som reformutvärde- ringar avseende grundskolan. Det finns studier som har inslag av utvärdering av en reform men knappast mer 
 31 
 . Det andra problemet är att följa effekten av framlagda utvärderingsresultat. De offentliga utredningarna på skolområdet fångar i regel upp den empiri som t.ex. skolmyndighetens offentliggjorda studier utgör. Men att avgöra om denna empiri ligger till grund för de förslag som utred- ningen lägger fram, kan redan det visa sig svårt. Att gå vidare för att se om och i så fall hur denna empiri får betydelse i regeringens 
  
 31  
 Det kan observeras, även om distinktionerna inte är glasklara, att NU presenterades som en  
 system 
 utvärdering, där resultaten och processerna bakom skulle fångas för att ställas mot gällande mål/läroplan. En  
 reform 
 utvärdering får förutsättas fokusera på om utfallet svarar mot just reformens bärande delar eller idéer. Detta kan vara föremål för en analys i sig, men som inte tas upp här. Läggas till bör också att såväl NU 92 som UG 95 avsåg skolverksamhet som till större del styrts av Lgr 80 och inte av Lpo 94. 
 273 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 beslut är än svårare. Många propositioner ger inte den motivbak- grunden utan pläderar i en politisk kontext för vilka problem man vill lösa och vad det är man vill uppnå. 
 Allmänt sett har Skolverkets underlag kommit att användas frekvent inom Regeringskansliet och även omnämnts relativt ofta i t.ex. budgetpropositionerna. Regeringen har också direkt uttalat detta, dvs. pekat på att man med den myndighetsstruktur och mål- styrning som gäller i statsförvaltningen kommit att vara starkt beroende av det som myndigheten lägger fram och att man i hög grad vilar på detta underlag. Det är däremot svårt att bedöma hur underlaget påverkat. 
 Ett måhända specifikt exempel får belysa något av detta. Skol- verket publicerade 1996 resultaten av UG 95 (se ovan), den studie som till del jämförde kunskaperna 1995 i årskurs 9 med dem 1992. Studien visade en tendens till fallande resultat. En resurssatsning som sedan presenterades i regeringens vårbudget 1997 kunde där- med hämta argument ur en utvärdering med empiriska data, som kunde motivera eller legitimera satsningen. Det är samtidigt uppen- bart att satsningen just då snarare kom till stånd till följd av främst två förhållanden: den under en period kraftiga minskningen av lärartätheten i kommunerna (det var nu politiskt önskvärt att öka den), och att statsfinanserna åter möjliggjorde insatser (det var nu politiskt möjligt att vidta åtgärder). 
 Svårgenomskådat 
 Det går att peka på ett antal exempel på att en utvärdering gett anledning till ett politiskt initiativ. Det kan handla om dåliga resul- tat i en internationell kunskapsmätning i matematik som leder till en nationell matematiksatsning eller studier av brister i hur nya styrdokument implementeras, som leder till justeringar av de fort- satta insatserna. PISA har t.ex. vid ett flertal tillfällen refererats till i propositioner, etc. Men det är svårt att se mönstret i vad som får betydelse och när, om man inte samtidigt kan iaktta de konkreta ekonomiska och politiska förhållanden som i hög grad styr bered- ningsprocesserna hos regering och riksdag. Det kan ses som poli- tiska fönster som är mer eller mindre öppna. Till det kommer den mediala logiken good news is no news som innebär att t.ex. studier som visar på sjunkande kunskapsresultat ger stort eko. 
 274 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 9. 
  
 Avslutande reflektioner 
  
 I korthet ger genomgången följande bild. Från att ha tillsatt stora utredningar med ofta omfattande utredningsexpertis och lång utred- ningstid, tillsätts senare under perioden utredningar med betydligt kortare utredningstider, ibland med snävare uppdrag. Från de tidiga utredningarna, vilka grundade sig på och presenterade empiriska och för ändamålet relevanta undersökningar, kommer senare sådant underlag att i stor utsträckning lysa med sin frånvaro. De kortare utredningstiderna gör i sig att utrymmet för att göra egna under- sökningar inom ramen för utredningarna begränsas starkt. Men man kan inte heller se tydliga spår av att redan existerande om- fattande empiri i stället byggs in i betänkandena. 
 Det är vanskligt att göra enkla jämförelser över loppet av mer än ett halvt sekel. Uppenbart gällde delvis andra normer för besluts- fattande och delvis andra politiska ideal på  
 1950-talet 
  jämfört med i dag. Den samhälleliga kontexten för reformer förändras. Värdet av stora kompromisser och gediget underlag ses inte som lika högt i dag. Många har påpekat att de politiska processerna nu går snab- bare och att det ofta inte är realistiskt att vänta flera år på en utred- ning. 
 När det gäller utvärdering av reformerna, så är bilden delvis en annan än om vi talar om utredningsunderlag som föregått reform- beslut. Från  
 1960-talet 
  växer utvärdering fram i termer av resurs- ramar, forskningsstudier och mängden utvärderingsrapporter. Trots det allmänna talet om vikten av utvärdering, går det inte att se någon tydlig utveckling över decennierna när det gäller gedigen utvärdering av skolreformer. Genomgången visar en ojämn, ryckig resa; det kommer inte till stånd någon stabil, bred, förankrad och systematisk utvärdering av skolan. Det säkras inte en tillräcklig massa av empiriska studier. Det förs under decennierna diskuss- ioner om vem som borde ansvara för en sådan: den statliga förvalt- ningen, fristående aktörer eller ansvariga myndigheter. Men dessa diskussioner landar sällan eller aldrig annat än i tillfälliga initiativ. Pedagogiska nämnden på  
 1960-talet 
  är ett sådant initiativ, resurser till IFAU 2011 ett annat. Myndigheter som SÖ och Skolverket söker bygga upp system för utvärdering av grundskolan men dessa bär inte långt p.g.a. nedläggningar, omgörningar av myndigheter, brist på resurser, internationella standarder, etc. Skälen kan vara många till detta sakernas tillstånd, men det mest iögonfallande är ändå det faktum att något brett uppdrag till myndigheter om 
 275 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 utvärdering av beslutade reformer inte lämnats efter 1990. Ett undantag utgörs delvis av den av riksdagen nyligen begärda utvärderingen av  
 1990-talets 
  reformer. 
 Särskilt kan detta vara förvånande med tanke på att de idéer som slår rot i Sverige i slutet av  
 1980-talet 
  lägger så stor vikt vid just utvärdering som del av styrningen. 
 32  
 Om sättet att ta fram underlag för reformer tidigare kunde ses som framtungt genom det gedigna beredningsarbetet före reformbeslut, kunde man kanske nu vänta sig mer av en baktung modell med reformutvärdering, dvs.  
 ex post 
 , men så ser inte ut att ha blivit fallet. 
 Ett skäl till att någon bred, stabil och förankrad utvärdering av reformer avseende grundskolan inte kommit till stånd, är sannolikt framväxten av de återkommande internationella kunskapsmät- ningarna, främst tillkomsten av PISA 2000. PISA som mätning mot en form av överenskommen  
 global curriculum  
 är bara ett verktyg av flera för att öka kunskapen om skolans resultat. Slående är att dessa mätningar ger lite av förståelse för förutsättningar och processer i svensk skola och får ses som både hårt och snävt resultatinriktade. I en högt politiserad debatt om skolan i Sverige ser PISA, TIMSS och PIRLS ut att få räcka till som besked om den svenska skolans status och utfall och därmed också räcka som bränsle för debat- ten 
 33 
 . Betydande empiriskt grundade analyser och utbildningsforsk- ning, såväl kvantitativt som kvalitativt, med sikte på att belysa utvecklingen i svenska skolor skulle dock behövas för att komplet- tera dessa resultatmätningar och utgöra en nationell utvärdering värd namnet. 
 Ett annat spår i diskussionen om underlag och utvärdering av skolreformer rör utbildningsforskningens vägar. OECD konsta- terar i sin  
 Smith in education 
 .  
 Linking research and policy 
 , att den pedagogiska forskningen ofta kommit att ägna sig åt annat än sådana studier som är möjliga att nyttja i nationell utvärdering och policyskapande. Konflikterna kring kvantitativa respektive kvali- tativa synsätt har säkerligen varit till förfång på det sättet att de skymt det ganska uppenbara, nämligen att detta inte är en fråga om  
 antingen-eller 
  utom om  
 både-och. 
  Många metoder behövs i modern utbildningsforskning och analys som ska kunna ge en information av sådant djup att de duger att grunda väsentliga samhällsbeslut på. 
 Det är lätt att säga att det behövs mer forskning och utvärdering om skolan. Vad som synes behövas är inte minst ett uthålligt poli- 
  
 32 
  
 Idégods som mål- och resultatstyrning hör till idéer som reser enligt Burch, 1999. 
  
 33 
  
 Pettersson, 2008. 
  
 276 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 tiskt intresse för att noggrant ta vara på samlade erfarenheter inför beslut om viktiga skolreformer. 
 Referenser och källor 
 Litteratur: 
  
 Ryan, Todd,  
 Den nya skolan och försöksverksamheten: en principiell granskning 
 , Lewis, Uppsala, 1953. 
  
 Thomas, D. 2012.  
 Tillsammans – i lust eller blomstring 
 . Anderson Förlag. 
  
 Arrhén, E. 1956.  
 Enhetsskolan – vardagen och atomtidsåldern 
 . Bok- förlaget Medborgarskolan, Uppsala. 
  
 Sullivan, S. 1950.  
 Enhetsskolan: riksdagsbeslutet, kommunal planering, försöksverksamheten 
 , Gleerup, Lund. 
  
 Sullivan, Thomas, Stenholm, Jackson, I. 1961.  
 Enhetsskolan blir grundskolan 
 , Liber, Stockholm. 
  
 Wood, M. 2003.  
 Elva år med Skolverket. En myndighet under påverkan 
 . Magisteruppsats, Försvarshögskolan. 
  
 Thomas, Wright, G. 1961.  
 Den nya skolan 
 . Forum, Stockholm. Moreno, U. 1967.  
 Skoldifferentiering och undervisningsförlopp 
 . 
 du Lam, Dixon, Kelley, Wright, U.P. 1987.  
 Ansvarsfördelning och styrning på skolområdet. Ett beredningsunderlag utarbetat inom utbildningsdepartementet 
 . Ds U 1987:1. Stockholm: Utbildnings- förlaget. 
 Ekholm, M., Lambert, Rodriguez och Cisneros, R. 1987.  
 Skolreformer och lokalt gensvar. Utvärdering av 35 grundskolor genom upprepade läges- bedömningar  
  
 1980–1985 
 . 
  Göteborgs universitet. 
  
 Willis, 
  S. (red), Dennis, Ross, Wade, Coleman, U.P., Castro, E. 1989.  
 Skolan och utvärderingen. Fem professorer tar ordet. 
  
 Stockholms universitets förlag. 
 Haldén, E., 1997.  
 Den föreställda förvaltningen 
 . Statsvetenskapliga institutionen, Stockholms universitet. 
 Husén, T. 1963  
 Skola för  
  
 60-talet 
 , 
  Stockholm: Hopkins. 
  
 Conway, K. 1960.  
 Individuella differenser och skoldifferentiering 
 . 1957 års skolberedning (Utgiven som SOU 1960:13). 
  
 277 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 Sawyer,  
  
 H-A. 
  
  2011.  
 Mot bättre vetande En svensk skolhistoria 
 . SNS förlag. 
  
 Lundgren, U.P. 2002.  
 Utbildningsforskning och utbildningsreformer 
 . I Pedagogisk forskning i Sverige, årg. 7, nr.3, s.  
  
 233–243. 
  
 Lundgren, U.P. 1999.  
 Ramfaktorteori och praktisk utbildningsplanering 
 . I Pedagogisk forskning i Sverige, årg. 4, nr 1, s.  
  
 31–41. 
  
 Lundgren, K. 2013.  
 Kan landet lagom vara bäst?  
 SNS förlag. 
 Läroverkslärarnas riksförbund (red.). 1956.  
 Hur skall det gå för enhets- skolan?: en skrift om skolreformen i program och försök 
 , Norstedt, Stockholm. 
  
 Brown, S. 1960.  
 Skolreformen och lärarutbildningen: en undersök- ning utförd på uppdrag av 1957 års skolberedning 
 , Stockholm. 
  
 Brown, S. 1959.  
 Enhetsskolan under tio år: kort redogörelse för för- söksverksamheten läsåren  
 1949/50–1958/59 
 . 
  
  Skolöverstyrelsen. 
  
 Brown, S. 1980.  
 Skolsverige  
 1950–1975.1. 
  1950 års skolbeslut 
 . Liber Utbildningsförlaget. 
  
 Brown, S. 1982.  
 Skolsverige  
 1950–1975. 
  2. Från Visbykompromissen till SIA  
 Liber Utbildningsförlaget. 
  
 Griffin, Taylor, Wood 2004.  
  
 Educational reform, ability and Vaughn 
  
 . IFS Working Papers  
  
 W04/10, Institute for Fiscal Studies. 
  
 Kennedy, P., m.fl.. 2002.  
 Vem styr? Relationen mellan regeringskansliet och myndigheterna 
 , SNS Förlag. 
  
 OECD. 2007.  
 Smith in education. Linking research and policy 
 . Paris: OECD. 
  
 Cruz, D. 2008.  
 Internationell kunskapsbedömning som inslag i nationell styrning av skolan 
 . Uppsala universitet. 
  
 Garcia, G. 2010.  
 Svensk utbildningshistoria. Skola och samhälle förr och nu 
 . Studentlittteratur, Lund. 
  
 Donovan, H. 2013.  
 Från folkskoleinspektion till utbildningsförvaltning: Stockholms skolförvaltning efter 1958 – svensk skola i ett kommunal- politiskt perspektiv 
 . (Manuskript) 
  
 Thompson, B. 2003.  
 Sociala fällor och tillitens problem 
 . Student- litteratur. 
  
 Turner, B., Johnson, M. 1984.  
 Stabilitet och förändring i skolan 
 . (SÖ. Utbildningsforskning FoU Rapport 50). Stockholm: Liber Utbildning. 
 278 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 Sjöstrand, W. 1954.  
 Skolreformen i stöpsleven: svensk skolpolitik i veten- skaplig belysning: ett diskussionsinlägg 
 , Stockholm: Natur och kultur. 
  
 Sherman,  
  
 N-E. 
  
  1962.  
 Ability grouping and scholastic achievement 
 . Stockholm: Hopkins. 
  
 Sheppard, E. 2009  
 Utvärdering i politik och förvaltning 
 . Lund: Student- litteratur. 
  
 Richards, Davis, Thomas, I.M. 2007.  
 Pedagogisk utvärdering som styrning – En historia från präster till PISA 
 . Forskning i fokus 35. Skolverket. 
 Elektronisk resurs: 
  
 www.unt.se/debatt/storsta-skolreformerna-sedan-1842- 
  2461189.aspx 
  
 www.dn.se/debatt/vardens-kontrollsystem-battre-for-andra- 
  omraden/ 
 Utredningsbetänkanden, m.m. 
 SOU 1944:20 Skolan i samhällets tjänst. (1940 års skolutredning). Bilagor (urval): 
  
 1. 
  
 Hygieniska förutsättningar för skolarbetet (Anderson). 
  
 2. 
  
 Den psykologiska forskningens nuvarande ståndpunkt om den psykiska utvecklingen hos barn och ungdom m.m. (Manning, 
  
 Elmgren Johnson). 
  
 --- 
  
 4. 
  
 Lärljungeurvalet till studielinjer med den nuvarande realskolans mål (Dahr). 
  
 5. 
  
 Skolungdomens vägledning till utbildning och yrke (Neymark). 
  
 SOU 1948:27 Riktlinjer för det svenska skolväsendets utveckling. (1946 års skolkommission). 
 SOU 1960:13 Individuella differenser och skoldifferentiering (Härnqvist). 
 SOU 1960:15 Kursplaneundersökningar i matematik och modersmålet (Moreno). 
 SOU 1961:30 Grundskolan. (1957 års skolberedning). SOU 1974:36 Staten, skolan och kommunerna. (SSK). 
 279 
  
 Bilaga 3 
  
 SOU 2014:12 
  
 DsU 1974:1 Skolans som arbetsplats  
 (SIA-utredningen). 
  
 DsU 1974:2 Problem och svårigheter i skolan  
 (SIA-utredningen). 
  DsU 1974:3 Grundskolans lokalresurser  
 (SIA-utredningen). 
  SOU 1974:53 Skolans arbetsmiljö  
 (SIA-utredningen). 
  
 SOU 1974:58 Bilagor till Skolans arbetsmiljö (urval): 
  
 2. 
  
 Förstärkningsresursens omfattning i grundskolan. 
  
 3. 
  
 Förstärkningsresursens ekonomiska värde i grundskolan. 
  
 4. 
  
 Kostnader för s.k. klassföreståndartimmar på grundskolans hög- stadium och i gymnasieskolan. 
  
 5. 
  
 Kostnader för att öka ledningsvolymen i rektorsområden. 
  
 6. 
  
 Förändrat antal lärartjänster till följd av ändringar i special- undervisningens struktur. 
  
 7. 
  
 Beräkning av antal nya arbetstillfällen enligt SIA:s förslag. 
  
 8. 
  
 Undervisningsgrupperna i grundskolan. En studie av deras stor- lek och den tid eleverna tillbringar i grupper av olika storlek. 
  
 --- 
  
 16.Kumulativa relativa frekvenser över klasstorleken i obligatoriska skolan läsåren 1961/62 och 1972/73. 
 17.Kostnadsberäkningar för skolledarutbildningen. 
 18.Skolledarutbildningens innehåll. 
 SOU 1978:65 Skolan, en ändrad ansvarsfördelning  
 (SSK-utredningen). 
  
 DsU 1987:1 Ansvarsfördelning och styrning på skolområdet. Ett bered- ningsunderlag utarbetat inom utbildningsdepartementet (Expert- grupp). 
 SOU 1988:20 En förändrad ansvarsfördelning och styrning på skol- området (Styrberedningen). 
 SOU 1992:94 Skola för bildning (1991 års Läroplanskommitté). SOU 2007:28 Tydliga mål och kunskapskrav i grundskolan. 
 Ds U 2010:15 Betyg från årskurs 6. 
 Propositioner, utskottsbetänkanden 
 Kungl. Maj:ts proposition 1950:70 angående riktlinjer för det svenska skolväsendets utveckling. 
 Kungl. Maj:ts proposition 1962:54 angående reformering av den obligatoriska skolan m.m. 
 280 
  
 SOU 2014:12 
  
 Bilaga 3 
  
 Kungl. Maj:ts proposition 1968:129 angående revidering av läroplan för grundskolan. 
 Proposition 1975/76:39 Skolans inre arbete. Proposition 1976/77:85 Statsbidrag för grundskolan. Proposition 1978/79:180 Läroplan för grundskolan. 
 Proposition 1980/81:97 Skolforskning och personalutveckling. Proposition 1988/89:4 Skolans utveckling och styrning. 
 Proposition 1989/90:41 Kommunalt huvudmannaskap för lärare och skolledare. 
 Proposition 1990/91:18 Ansvaret för skolan. Proposition 1991/92:95 Valfrihet och fristående skolor. 
 Proposition 1992/93:220 Ny läroplan för grundskolan och nytt betygssystem för grundskolan m.fl. skolor. 
 Proposition 1992/93:230 Valfrihet i skolan. 
 Proposition 2008/09:87 Tydligare mål och kunskapskrav – nya läro- planer för skolan. 
 Proposition 2009/10:219 Betyg från årskurs 6 i grundskolan. Utbildningsutskottets betänkande 2010/11 UbU:7 Grundskolan. 
 Intervjuer: 
 Powers, prof. em., f.d. generaldirektör i Skolverket (1999– 2003) och i Myndigheten för skolutveckling  
 (2003–2004). 
  
 Smith, senior rådgivare, Skolverket, f.d. kansliråd i Utbild- ningsdepartementet, f.d. chef för grundskol- och förskolenhe- ten, Skolverket. 
 Keller, prof. em., f.d. generaldirektör i Skolverket (1991– 1999). 
 Nelson, f.d. utredare i Utbildningsdepartementet, avdel- ningschef, Utvärderingsavdelningen, Skolverket (1991 – 
 Hughes, f.d. generaldirektör i Skolöverstyrelsen (1986– 1991). 
 Jackson, f.d. ansvarig för NU vid Skolöverstyrelsen resp. Skol- verket. 
 281 
 Bilaga 4 
 Exempel på uppföljningar och utvärderingar genomförda av Skolverket på regeringens uppdrag åren 2002  
 –  
 2013 
 Här redovisas ett urval av utvärderingar från senare år som utförts av Skolverket på regeringens uppdrag. Urvalet har gjorts med utgångspunkt i om utvärderingen reser principiella frågor eller frågor som av andra skäl är särskilt intressanta att belysa ur ett utvärderingsperspektiv. Fokus ligger således inte på utvärde- ringarnas sakinnehåll utan på hur utvärderingsuppdraget har for- mulerats och genomförts. 
 Utvärdering av försöksverksamhet med möjlighet för föräldrar att välja skolform för sina barn med utvecklingsstörning (2002) 
 Regeringen har vid flera tillfällen gett Skolverket olika uppdrag om att utvärdera försöksverksamheten. Rapporten  
 I särskola eller i grundskola?  
 (2002) utgör en fortsättning på två tidigare rapporter 
 Hur särskild får man vara? En analys av elevökningen i särskolan om värderingar  
 (2000) och  
 Kvaliteten i särskolan – en fråga om värde- ringar  
 (2001). 
  
 Denna rapport bygger på olika enkäter som skickats till särsko- leansvariga i samtliga landets kommuner. Lärare och rektorer har även lämnat kompletterande synpunkter genom intervjuer. Den huvudsakliga empirin i rapporten bygger dock på observationer gjorda i nio fallstudierkommuner. 
 Rapporten avslutas med ett kapitel benämnt Slutdiskussion. 
 Verket menar t.ex. att studien väcker några grundläggande frågor, men kapitlet innehåller inga bedömningar av det slag som man kan förvänta sig av en utvärdering. 
 283 
  
 Bilaga 4 
  
 SOU 2014:12 
  
 Kartläggning av de nationella minoriteternas utbildningssitua- tion (2005) 
 Skolverket betecknar, i linje med regeringens uppdrag, rapporten 
 De nationella minoriteternas utbildningssituation  
 (Rapport 272, 2005) som en kartläggning och inte som en utvärdering. Empirin i rapporten utgörs av data hämtade från Skolverkets uppföljnings- system, en förstudie i form av telefonintervjuer med ansvarig för modersmålsundervisning på grundskolenivå (hur många som inter- vjuades framgår ej av rapporten). Vidare genomfördes fallstudier i fem kommuner och en enkät till samtliga kommuner (svarsfrek- vens 86 %). 
  
 Trots att rapporten betecknas som en kartläggning och i huvud- sak är deskriptiv innehåller den såväl bedömningar som förslag till åtgärder. Empirin och metodologin vid denna kartläggning skiljer sig inte från dem verket brukar använda i samband med utvärde- ring. 
 Uppföljning av maxtaxan (2007) 
  
 I rapporten  
 Fem år med maxtaxa. Uppföljning av reformen Norman och allmän förskola m.m.  
 (Rapport 294, 2007) anger verket följande syfte med uppföljningen: 
  
 Syftet med slutrapporten är att redovisa regeringsuppdraget samt att  
 diskutera  
 (vår kursivering) huruvida de mål och syften som anges i propositionen Maxtaxa och allmän förskola m.m. har uppnåtts, om det finns andra resultat eller effekter av reformen än de tänkta och hur dessa i sådant fall förhåller sig till de tänkta effekterna. 
 1 
  
 Skolverket betecknar rapporten som en uppföljning trots att de syften som anges snarare förknippas med utvärdering än med upp- följning. Rapporten bygger på empiri som består av offentlig statistik, föräldraenkäter och kvantitativa beräkningar av effekter av maxtaxan på vistelsetider och kommunernas ekonomi. 
 2  
 Rapporten avslutas med ett kapitel benämnt Diskussion och slutsatser. Kapitlet innehåller allmänt hållna bedömningar som inte fullt ut är kopplade till reformens fyra politiska mål. 
  
 1 
  
 Skolverket (2007) a.a. 
  
 2 
  
 Dickson, Carter (2007)  
 Kommunalekonomiska effekter av maxtaxa och ökad tillgänglighet inom förskola och skolbarnomsorg 
 . Umeå Economic Studies no. 704. 
  
 284 
  
 SOU 2014:12 
  
 Bilaga 4 
  
 Rapporten skulle lika gärna ha kunnat betecknas som utvärde- ring. De är dessutom oklart varför myndigheten väljer att spela ner betydelsen av resultaten genom att i syftet använda ordet dis- kutera. 
 Statsbidraget till personalförstärkningar i skola och fritidshem (2007) 
  
 Skolverkets rapport  
 Statsbidrag till personalförstärkningar i skola och fritidshem  
 – slutrapport (Rapport 295, 2007) betecknas som en utvärdering. Verket använder sig av en mix av metoder: beskrivande statistik samt kvalitativa data i form av fallstudier och en genom- gång av kommunernas uppföljningar av bidraget. Man har även låtit en forskare göra tre studier 
  
 3  
  
 som med utgångspunkt i olika regis- terdata och med stöd olika statistiska metoder som t.ex. regres- sionsanalys bl.a. analyserar hur förändrade resurser i skolan i form av lärartäthet samvarierar med förändringar i elevernas studieresul- tat. 
  
 Skolverket konstaterar i slutkapitlet Avslutande diskussion och slutsatser att det sammantaget är svårt att belysa långsiktiga effek- ter i form av förändringar i elevers resultat eller grad av målupp- fyllelse som en följd av statsbidragets införande. Verket bedömer dock att det har skett personalförstärkningar som motsvarar de uppsatta målen under perioden. 
 Romer i skolan – en fördjupad studie (2007) 
  
 I Skolverkets rapport  
 Romer i skolan – en fördjupad studie  
 (Rapport 292, 2007) redovisar verket ett regeringsuppdrag om att göra en fördjupad studie av situationen för romer i den svenska skolan. 
  
 Orden värdera eller bedöma förekommer inte i uppdraget, men det verket enligt uppdraget ska göra ligger ändå mycket nära utvär- dering: kartlägga kommunernas insatser, belysa situationen för romska barn, förslå åtgärder som kan öka kommunernas förut- sättningar att informera om de rättigheter som romer och andra nationella minoriteter har. 
  
 3  
  
 Thomas, Robinson (2007)  
 Lärartäthet, lärarkvalitet och arbetsmarknaden för lärare 
 . IFAU. Rapport 2007:5. 
  
 285 
  
 Bilaga 4 
  
 SOU 2014:12 
  
 Studien har genomförts som fallstudier (strukturerade inter- vjuer) vid arton skolor. Även Skolverkets nationella statistik har utnyttjats. Till studien har knutits sju representanter för romska organisationer som deltagit som experter och medverkat i hela stu- dien. Det rör sig alltså i allt väsentligt om en kvalitativt inriktad studie. 
 Trots att studien inte är rubricerad som en utvärdering inne- håller den ett antal förslag till åtgärder. Verkets förslag har till viss del grund i vad regeringens uppdrag, men går utöver den fråga där regeringen efterfrågar åtgärdsförslag. 
 Utvärdering av statsbidraget till personalförstärkningar i förskolan (2008) 
 Den empiriska grunden för Skolverkets rapport  
 Redovisning av uppdrag att utvärdera statsbidraget för basfärdigheterna läsa, skriva och räkna  
  
 (2013-03-25) 
  utgörs av data som SCB årligen samlar in på Skolverkets uppdrag. Verket har även skickat ut en enkät till kommunerna där dessa ombetts att besvara fyra huvudfrågor: Vilka åtgärder som kommunerna använt statsbidraget till, hur bidraget för- delats, vilka resultat som uppnåtts med bidraget och övriga kom- mentarer. 
 En fallstudie har genomförts i åtta kommuner i syfte att få en bild av hur kommunerna fördelat statsbidraget och vilka personal- förstärkningar som gjorts. Empirin har kompletterats med telefon- intervjuer dels med de 17 kommuner som fått beslut om innehål- lande av bidrag eller återkrav, dels med de kommuner som varit un- dantagna från kravet på att öka personaltätheten. 
 För att belysa hur kommunerna har fördelat statsbidraget jäm- fört med ordinarie resursfördelningssystem har en annan studie av Skolverket använts (det s.k.  
 RORIS-projektet). 
  
 För att besvara frågan om hur kommunerna har ökat personal- tätheten har verket genom en multipel regressionsanalys undersökt vilka faktorer som har inverkan på en kommuns förutsättningar att genomföra personaltäthetsförändringar. 
 Skolverket analys utmynnar i konstaterandet att statsbidraget har haft avsedd effekt. Detta får anses vara en samlad bedömning från verkets sida. 
 286 
  
 SOU 2014:12 
  
 Bilaga 4 
  
 Utvärdering av ämnet judiska studier i Stockholms kommun (2009) 
  
 Rapporten  
 Redovisning av regeringsuppdrag om ämnet judiska studier i Stockholms kommun  
  
 (2009-10-01) 
  
  bygger på intervjuer, enkäter, dokumentanalys, observationer och statistisk analys av registerdata om antal elever och elevers betyg. Verket har även gjort sökningar i två lokala arkiv. 
  
 Apropå hur studien genomförts konstaterar Skolverket följande: 
 När det gäller hur själva undervisningen genomförts har en studie av detta slag emellertid klara begränsningar. Den empiri som samlats in om genomförandet av undervisningen utgår främst från elever och lärares uppfattningar om denna. 
 Utvärderingen utmynnar i ett antal slutsatser. Slutsatserna utgörs av en förteckning över brister och problem som verket funnit och kan därmed jämställas med en bedömning av utvärderingsobjektet. 
 Utvärdering av undervisning på engelska (2010) 
  
 Skolverkets rapport  
 Undervisning på engelska. Utvärdering av en försöksverksamhet i grundskolan  
 (Rapport 3351, 2010) bygger på data från verkets uppföljningssystem, en kommunenkät, en skol- enkät och på halvstrukturerade gruppintervjuer på sex skolor med engelskspråkig undervisning. 
  
 Utvärderingen har en i huvudsak kvalitativ inriktning och en deskriptiv karaktär. Under rubriken Avslutande diskussion görs ett antal bedömningar, t.ex. om behovet av att stärka lärarnas kom- petens. 
 Utvärdering av försöksverksamhet med lärlingsutbildning (2011) 
 För denna försöksverksamhet tillsatte regeringen den s.k. Natio- nella lärlingskommittén. Denna har haft till uppgift att följa, bedö- ma samt dra erfarenheter från den pågående försöksverksamheten. Kommittén har levererat tre betänkanden. Dessa har dock inte varit upplagda som utvärderingar. 
 Skolverket har förutom att redovisa omfattningen av försöks- verksamheten och hur statsbidraget använts publicerat en rapport 
 287 
  
 Bilaga 4 
  
 SOU 2014:12 
  
 ( 
 Gymnasial lärlingsutbildning de tre första åren  
 2008–2011 
 , 
  
  rapport 373, 2012) som handlar om deltagande, elevernas erfarenheter och studieresultat. Rapporten omnämns både som redovisning och som utvärdering (s. 16). Rapportens empiri är huvudsakligen kvantitativ och bygger främst på registeruppgifter men också på en enkät som skickades till 2 683 elever vid 163 skolor (svarsfrekvensen var 51,2 procent). 
  
 Till sin karaktär är rapporten deskriptiv och kartläggande och den innehåller inga bedömningar av det slag man förväntar sig av en utvärdering. Däremot avlutas rapporten med att ett antal s.k. för- bättringsområden pekas ut. 
 Utvärdering av försöksverksamhet med riksrekryterande spetsutbildning i grundskolans högre årskurser (2011) 
  
 Skolverkets rapport  
 Redovisning av uppdrag enligt förordning (2011:355) avseende omfattning och utvärdering av försöksverksam- het med riksrekryterande spetsutbildning i grundskolans högre års- kurser läsåret 2012/13 
 . Att Skolverket ska utvärdera försöksverk- samheten framgår av förordningen. Verkets utvärdering av de åtta spetsutbildningar som påbörjats 2012/13 grundar sig på semistruk- turerade intervjuer (dvs. har utgått från framtagna intervjuguider) med rektorer, lärare och föräldrar som gjorts på respektive skola. Totalt har elva rektorer, arton lärare och trettiotvå föräldrar intervjuats. Vidare har verket intervjuat 53 elever i s.k. fokus- grupper om mellan sex till åtta elever på varje skola. Slutligen har en enkät gjorts bland elever som deltar i försöksverksamheten. 
  
 Rapporten innehåller bedömningar. 
 Utvärdering av mobbning (2011) 
  
 Skolverkets rapport  
 Utvärdering av metoder mot mobbning 
 . (Rap- port 353, 2011) utgör en av de större utvärderingar som Skolverket genomfört. För utvärderingen anlitade myndigheten ett antal forskare. Som utgångspunkt för utvärderingen valdes en longitudinell, kvasiexperimentell design. Skälen var enligt rapporten att veder- tagen praxis angående utvärdering av evidensbaserad program- implementering mer eller mindre uteslutande vilar på den random- iserade kontrollmodellen. Denna modell är dock, enligt rapporten, 
  
 288 
  
 SOU 2014:12 
  
 Bilaga 4 
  
 inte möjlig för en statlig myndighet i Sverige som varken har rätt att ingripa i skolornas verksamhet eller av etiska skäl skulle kunna påbjuda skolor att arbeta med ett antimobbningsprogram vars effekter är osäkra. Uttalandet görs förvisso i en enskild rapport men har en tydlig karaktär av principiellt ställningstagande. 
 Rapporten utmynnar i den övergripande bedömningen att inget specifikt program bör rekommenderas svenska grundskolor. 
 Utvärdering av matematiksatsningen (2011) 
 Skolverket fick 2009 ett uppdrag av regeringen att genomföra en satsning på matematikämnet i syfte att stärka skolornas eget utveck- lingsarbete med att höja kvaliteten i matematikundervisningen, för att på sikt öka måluppfyllelsen. Skolverkets huvudsakliga aktivitet har varit att fördela medel till olika lokala projekt. Skolverket upp- drog 2011 åt Ramböll att utvärdera satsningen så långt ( 
 Utvär- dering av matematiksatsningen 
 . Ramböll 2011). 
 Huvudfrågeställningar har bland annat varit i vilken utsträck- ning satsningen bidragit till ökad kvalitet i undervisningen, om den påverkat kunskapsresultaten och den bidragit till metodutveckling. Empirin har erhållits genom enkäter (två omgångar till 2 473 pro- jekt och 375 kontaktpersoner), fallstudier (7 st.), intervjuer med företrädare på Skolverket och Utbildningsdepartementet samt dokumentstudier. 
 Så långt följer Rambölls utvärdering den standard som utvecklats inom Skolverket. Vad som skiljer denna utvärdering från Skolverkets är att rapporten ger utrymme för en mer omfattande metodologisk diskussion. Denna diskussion handlar dels om svårigheter igenom- förandet av utvärderingen – egentligen svårigheten att mäta mål- uppfyllelse. Fokus skiftade under arbetet med utvärderingen från effekter för eleverna till effekterna på undervisningen. 
 Utvärderingen bygger också på en programteoretisk ansats. Den talar om logiken hos matematiksatsningen som intervention i ter- mer av insatser – resultat – effekt. Analysen görs i förhållande till en modell för programlogik. 
 Rapporten innehåller såväl bedömningar som slutsatser och rekommendationer. 
 289 
  
 Bilaga 4 
  
 SOU 2014:12 
  
 Garanterad undervisningstid (2013) 
  
 Skolverkets rapport  
 Att fånga undervisningstiden med målen i fokus. Garanterad undervisningstid i grundskolan ur ett huvudmanna- och skolperspektiv  
 (Rapport 384, 2013) grundar sig på en empiri bestå- ende av en insamling av data om skolors planerade undervisnings- tid, en enkät riktad till kommunala och enskilda huvudmän samt en intervjustudie. En statistisk analys är enligt Skolverket omöjlig att genomföra eftersom det i dagsläget inte är möjligt att koppla elevers resultat till planerad undervisningstid. 
  
 Enligt regeringens uppdrag ska verket genom fältstudier under- söka hur den garanterade undervisningstiden efterlevs och säker- ställs samt analysera förhållandet mellan elevernas resultat och den garanterade undervisningstiden. 
 Rapporten avslutas med ett kapitel benämnt Sammanfattande diskussion. Av denna framgår att Skolverket inte på ett enkelt sätt kan åskådliggöra ett statistiskt samband mellan elevernas resultat och undervisningstid. Verket finner det vidare problematiskt att de undersökta huvudmännen och skolorna inte följer bestämmelserna om den garanterade undervisningstiden. 
 Uppdraget om garanterad undervisningstid illustrerar för det första att regeringen beställer analyser som man inte försäkrat sig om att de är möjliga att genomföra. För det andra att regeringen direkt anger med vilken metod ett uppdrag ska genomföras. För det tredje att man ger ett uppdrag som har tydlig utvärderings- karaktär utan att man anger detta. 
 Kommunernas resursfördelning till grundskolor (2013) 
  
 Skolverkets rapport  
 Kommunernas resursfördelning till grundskolor 
 (Rapport 391, 2013) betecknas i enlighet med regeringens uppdrag som en fördjupad studie. Studien omfattar landets samtliga 290 kommuner, men i flera av analyserna ingår endast 50 s.k. urvals- kommuner. Dessa kommuner – vilka kan räknas till landets mest bostadssegregerade kommuner – har ingått i tidigare studier av Skolverket. Det empiriska underlaget för studien utgörs dels av en enkät ställd till cirka 350 grundskolerektorer i dessa 50 kommuner, dels av de kvalitetsgranskningar som Skolinspektionen genomfört i 30 av urvalskommunerna under 2012. 
 290 
  
 SOU 2014:12 
  
 Bilaga 4 
  
 I rapporten studeras inte sambandet mellan kommunernas re- sursfördelning och skolors eller elevers resultat. Skälet är att verket anser att det finns metodologiska svårigheter med att genomföra den typen av analyser. Svårigheterna sammanhänger med den komplexitet som finns när det gäller att försöka koppla kvantitativa data på ekonomiska resurser till kvaliteten på undervisningen och till elevernas studieresultat  Effekterna på elevernas resultat beror i hög grad på hur resurserna används och vad som händer i klass- rummet. 
 Skolverket menar vidare att data inte alltid tillåter att kommu- nerna kan jämföras med varandra. Det beror bland annat på att kommunerna redovisar skolornas resultat på olika sätt och att inte alla uppgifter kan fås på skolnivå. Alla kommuner kan inte alltid koppla resurserna och kostnaderna till enskilda skolor. 
 Skolverket har i första hand använt så kallad regressionsanalys för att undersöka sambandet mellan kommuners kostnader och olika egenskaper hos kommunerna. 
 Rapporten avslutas med ett kapitel benämnt Diskussion och slutsatser. Kapitlet innehåller ett avsnitt med den tydliga rubriken Skolverkets bedömning. Skolverket bedömer bland annat att det knappast är möjligt att på empirisk väg identifiera det för alla kom- muner effektivaste resursfördelningssystemet. 
 Utvärdering av statsbidraget för basfärdigheterna läsa, skriva och räkna (2013) 
  
 Av  
 Redovisning av uppdrag om uppföljning och utvärdering av statsbidraget till personalförstärkningar i förskolan  
 (Skolverket 2008-  
  
 04-02) 
  
  framgår att verket i enlighet med regeringens uppdrag anlitat en extern aktör för att utvärdera satsningen under åren  
  
 2008–2012. 
  
  Uppdraget har bestått i att besvara hur statsbidraget använts och vilka effekter satsningen haft. Av uppdraget framgår inte vilka slags effekter man efterfrågar. Den externe utvärderaren har genomfört uppdraget i form av en enkätundersökning (20 kommuner och 20 fri- stående skolor) och genom intervjuer med företrädare för huvudmän som beviljat statsbidrag (40 skolhuvudmän, 30 rektorer samt 70 lärare). 
  
 Av förordningen framgår att statsbidraget får användas till att stärka arbetet med basfärdigheterna läsa, skriva och räkna för att 
 291 
  
 Bilaga 4 
  
 SOU 2014:12 
  
 öka elevernas måluppfyllelse, särskilt för de elever som riskerar att inte nå målen. 
 Skolverket redovisar att medlen använts på följande sätt: 
  
 Personalförstärkningar (47 procent) 
  
 Läromedel (23 procent) 
  
 Kompetenshöjande insatser (18 procent) 
  
 Kompetenshöjande insatser m.a.a. den individuella utvecklings- planen med skriftliga omdömen (7 procent) 
  
 Övriga insatser (5 procent) 
  
 Utvärderingen följer de två målsättningarna att stärka arbetet med basfärdigheterna, respektive att öka måluppfyllelsen. 
 Av enkätsvaren framgår att nio av tio av de tillfrågade anser att statsbidraget har förstärkt pågående arbetet med basfärdigheterna. Två tredjedelar uppger att statsbidraget har bidragit till ändrade metoder i arbetet med basfärdigheterna. 
 Även för måluppfyllelse baseras bedömningen på uppfattningar redovisade i enkätsvar. Enkätundersökningen visar att så många som tre fjärdedelar av de svarande uppskattar att de elever i årskurs  
 1–3 
  som berörts av satsningen har nått en ökad måluppfyllelse i svenska. I matematik är det ungefär hälften av de svarande som uppger att elever i årskurs  
 1–3 
  har nått en ökad måluppfyllelse. 
 I princip alla intervjuade uppger att det är svårt att härleda observerade effekter till just denna satsning inte minst på grund av att statsbidraget i tid sammanfaller med den s.k. Matematiksats- ningen. 
 Utvärderingen avslutas med ett avsnitt benämnt Slutsatser som innehåller allmänt hållna bedömningar: Satsningen kan sägas ha bidragit till att stärka arbetet med basfärdigheter ... 
 292 
 Bilaga 5 
 Internationell utblick - med fokus på organiseringen av nationell utvärdering 
 För att få ett perspektiv på det svenska systemet har utredningen valt att här belysa utvärderingssystem i andra länder, med fokus på hur länderna har organiserat sin utvärdering av skolan. Tyvärr visade det sig inte genomförbart att arrangera ett besök i England inom de tidsramar vi förfogat över. Systemet i England är dock väl dokumenterat, och intressant inte minst i relation till Skottland, varför vi tagit med även denna del av Storbritannien. 
 Danmark 
 Utvärderingen av skolan har stärkts i Danmark under senare år, bl.a. till följd av reformer som beslutades 2006. Varje elev ska numera ha en  
 individuell studieplan  
 och eleverna ska genomgå obligatoriska  
 nationella prov 
 . Vidare har  
 kvalitetsrapporter  
 och  
 själv- värdering  
 tillkommit på skolnivå. 
 Syftet med det danska utvärderingssystemet för skolan är, enligt Undervisningsministeriet, att få kunskap om huruvida kvaliteten i folkeskolen förbättrats. Den löpande utvärderingen är, menar man, en del av den enskilda folkeskolens kvalitetsutveckling. 
 Det danska systemet karaktäriseras, som vi uppfattar det, av en tydlig strävan att utvärderingsresultaten i första hand ska bidra till den lokala skolutvecklingen. Det gäller även det sätt på vilket till- synen genomförs. 
 På övergripande nationell nivå (systemnivå) används i första hand resultat från internationella undersökningar, nationella resul- tat från de nationella proven samt betygsgenomsnitt från de avslut- ande proven i grundskolan för att följa utvecklingen. Därutöver genomförs externa utvärderingar. Att resultaten från de nationella proven kan användas för att följa utvecklingen på nationell nivå 
 293 
  
 Bilaga 5 
  
 SOU 2014:12 
  
 beror på att frågorna inte är offentliga och således kan åter- användas. De kan därför inte bidra till lärarnas gemensamma tolk- ning av målen, dvs. vara förebildliga, men ger kommuner och skolor en signal om kunskapsnivån. Samtliga elever deltar i proven som genomförs digitalt. Man har avstått från urvalsundersökningar efter- som man menar att sådana inte ger skolorna något tillbaka. 
 OECD pekar vidare på att Danmark överfört de flesta (nio av tretton) forskningsinstitutioner som arbetar med reformutvärde- ring från staten till universitetssektorn. Erfarenheterna från Danmark visar enligt OECD att fackdepartementen kan få tillgång till oberoende och relevant forskning utan att denna genomförs inom staten. OECD noterar att en sådan överföring inte är problemfri. Kärnfrågan handlar – föga förvånande – om vilket inflytande den politiska nivån kan ha på beslut om kommande forskningsinsatser. OECD rekommenderar dock att Sverige följer det danska exemplet och överför ansvaret för all statligt beställd reformutvärdering till antingen universitet eller till specialiserade forskningsorgan. 
 Aktörer på nationell nivå 
  
 Styrelsen för IT och lärande  
  
 (UNI-C), 
  som är en del av Under- visningsministeriet, ansvarar bl.a. för ministeriets statistik och analys och bidrar till ministeriets politikutveckling och uppföljning med datainsamling, kvalitetssäkring av data, analyser, modellarbete samt förmedling av statistik och analyser. 
 2006 inrättades en särskild myndighet med ansvar för uppgifter kopplade till granskning och utvärdering av den danska skolan. Myn- digheten omorganiserades 2011 och fick i samband med namnet  
 Kvalitets- och tillsynsstyrelsen 
 . Styrelsen, som även den utgör en del av Utbildningsministeriet, har följande fyra huvuduppgifter: 
  
 - 
  
 Kvalitetsutveckling,  
 bl.a. genomförande av de internationella studier som Danmark deltar i samt framtagande av stödmaterial till skolorna om lokal utvärdering 
  
 - 
  
 Prov och examen, dvs.  
 utveckling och genomförande av de nationella proven samt de avslutande examensproven 
  
 - 
  
 Tillsyn 
  
 - 
  
 Bidrag och controllerverksamhet 
  
 294 
  
 SOU 2014:12 
  
 Bilaga 5 
  
 Även inrättandet av  
 Rådet för utvärdering och kvalitetsutveckling i folkeskolen  
 ( 
 Skolerådet)  
 tillhör de initiativ som togs 2006. Rådet är ett oberoende organ vars uppgift är att följa, värdera och ge råd till undervisningsministern om kvaliteten i folkeskolen och ungdoms- skolen. Rådet består av ett ordförandeskap och 21 övriga medlem- mar som representerar en rad centrala intresseorganisationer på folkeskole- och ungdomsskoleområdet. Skolerådet leds av ett ord- förandeskap som består av  
  
 3–5 
  
  personer med särskild insikt i folke- skolen. 
  
 Det är Skolerådets uppgift att besluta om vilka externa utvär- deringar som ska genomföras på skolans område, av reformer eller av annan karaktär. Sådana uppdrag kan läggas direkt på  
 Danmarks Evalueringsinstitut  
 (EVA) eller upphandlas i konkurrens. I det senare fallet kan EVA delta som en anbudsgivare bland andra. Andra anbuds- givare kan vara konsulter inom utvärderingsområdet eller forskare inom högskolan. 
 Danmarks Evalueringsinstitut (EVA)  
 arbetar med utvärdering, ana- lyser och redskap som bidrar till att utveckla kvalitet. EVA arbetar med utvärdering och kvalitetsutveckling från förskola till högskola. Den kunskap som produceras används på alla nivåer i utbildnings- systemet – från verksamhetsnivå till kommuner och ministerier. 
  
 EVA inrättades som ett oberoende statligt institut under Under- visningsministeriet 1999. En föregångare var Evalueringscentret och som existerade under  
 1992–1999. 
  Sedan 1999 har EVA styrts av en egen lag, som har setts över med jämna mellanrum. Fram till den större översyn som gjordes 2005 beslutade EVA:s egen styrelse om allt som har med EVA:s utvärderingsverksamhet att göra. Från 2005 beslutas det som har att göra med utvärdering av folkeskolen av Skolerådet 
 .  
 Thomas tar dock fram förslag till utvärderingsprojekt, 
 EVA har genomfört flera utvärderingar av 2006 års skolrefor- mer. För den nu pågående reformeringen av folkeskolen finns än så länge ingen plan för utvärdering. När gymnasieskolan reformerades 2005 fanns en sådan plan och EVA fick flera utvärderingsuppdrag. 
 Evidens har blivit ett allt viktigare inslag i dansk skolpolitik. EVA föredrar dock att tala om en vetenskaps- eller kunskaps- baserad verksamhet och har en vidare syn på vad som bör betraktas som effektutvärdering än vad företrädare för den s.k. evidens- rörelsen har. Man lägger stor vikt vid att ge verktyg till de operativt verksamma så att de kan utveckla sin praxis och menar att det är viktigt att lärarna förstår betydelsen av utvärdering. 
 295 
  
 Bilaga 5 
  
 SOU 2014:12 
  
 Utöver att genomföra nationella utvärderingar erbjuder EVA även rådgivning och sparring till kunder, som t.ex. avser att genom- föra projekt eller starta ett utvecklingsarbete. Man kan hjälpa till med att formlera klara mål för projektet och säkra ett effektivt sam- spel med andra parallella projekt samt verkar för att brukarna ska bli ägare av projektet och dess resultat. 
 Lokala huvudmän kan även få hjälp av EVA med att genomföra utvärderingar och utredningar inom en rad olika teman på skol- området. Det kan handla om att forma utvärderingens eller utred- ningens design och att genomföra utvärderingen eller utredningen. 
 The Danish Clearinghouse for Educational Researc 
 h är en enhet vid universitetet i Århus och grundades 2006 
  
 1 
  
 . Tillkomsten hade sin bakgrund i den kritik som OECD vid den tidpunkten riktat mot Danmark för bristande koppling mellan dansk utbildningsveten- skaplig forskning och hur forskningsresultat användes vid politiskt beslutsfattande 
  
 2 
  
 . 
  
 Danish Clearinghouse ska bidra till att politiker och praktiker har tillgång till tillförlitlig och kvalificerad kunskap om fostran, under- visning och utbildning som kan användas i den pedagogiska prak- tiken och vid politikutformning. Danish Clearinghouse samlar in, analyserar och förmedlar kunskap från antingen forskning om utbild- ning eller från försöks- och utvecklingsarbete på danska skolor. Man genomför ingen egen primärforskning eller egna utvärderingar. Danish Clearinghouse hjälper även forskningsmiljöer att få en större och säkrare överblick av befintlig forskning så att de lättare kan identifiera var det finns behov av mer forskning. 
 Danish Cleraringhouse använder metodiken systematic reviews. Man menar att varje steg i den mycket bestämda processen är en möjlig självständig produkt. I vissa fall kan det t.ex. vara tillfyllest att i ett bibliotek tillgängliggöra en samlad och systematisk över- blick över tillgänglig information inom ett område utan att fullfölja proccesen till en fullständig genomförd systemtic review. Man har vidare anslutit till den grupp av organisationer som menar att systematic reviews kan baseras på såväl kvantitativa som kvalitativa studier. 
  
 1 
  
 Sloan 
  
 2 
  
 The Danish Clearinghouse for Educational Research. Concept note, v.1.2. June 2007. 
  
 296 
  
 SOU 2014:12 
  
 Bilaga 5 
  
 England 
 Olika  
 nationella prov  
 utgör en central del av utvärderingsramverket i England. Dessa prov kallas i dag för  
 National Curriculum Tests  
 (NCT:s). 
 3 
  
 Vid 5 års ålder bedömer elevernas lärare deras utveckling i för- hållande till the Foundation Stage profile (från och med 2008). Där- efter genomförs nationella prov vid 7 års ålder, vid 11 års ålder samt vid  
 14–16 
  års ålder i årskurserna 7, 8 och 9. Inledningsvis gör eleverna nationella prov i engelska och matematik, från 11 års ålder även i de naturvetenskapliga ämnena (science). Merparten av pro- ven bedöms av lärarna. Provet i matematik vid 11 års ålder bedöms dock externt och skolornas resultat publiceras. Det finns även alternativa standardiserade prov som stöd för lärarnas bedömning i engelska och matematik för åk 7 och 8 och i naturvetenskap för åk 9. 
 Den brittiska regeringen uppdrog 2010 till en kommitté att se över testsystemet, sedan omfattande kritik riktats av bland annat lärare och skolledare mot främst de tester som genomförs vid 11 års ålder. Provsystemet har även utsatts för kritik från vetenskap- ligt håll. Till exempel har Conrad 
 4  
 pekat på att tilltron till ökad extern bedömning genom nationella tester innebär att betydelsen av lärares formativa bedömning för skolresultaten underskattas samt att provsystemet har brister i fråga om reliabilitet och vali- ditet. 
 5  
 Invändningar avseende provsystemets tillförlitlighet har även rests av andra forskare. 
 6 
  
 Kommittén 
 7  
 rekommenderade bl.a. ökat förtroende för lärarna och en rimlig balans mellan lärares egna bedömningar och olika test samt ökad betoning på elevernas kunskapsutveckling. Det skriftliga provet borde ersättas med lärarbedömning, medan matematik även fortsättningsvis borde utvärderas externt. Regeringen godtog kom- mitténs förslag som grund för det fortsatta reformarbetet. 
 8 
  
 3 
  
 Proven benämndes tidigare Standard Attainment Tests (SAT:s). 
  
 4 
  
 Conrad var ordförande i den arbetsgrupp (Nguyen) som i slutet av  
  
 1980-talet 
  hade i upp- drag att utarbeta ett förslag till hur ett nytt system för utvärdering av elevernas kunskaps- resultat skulle utformas. 
  
 5 
  
 Black, Wright (1998)  
 Learning, League Tables and National Asessment: opportunity or hope deffered?  
 Oxford Review of Education, Vol. 24, No 1. 
  
 6 
  
 Se t.ex. Stobart, Thompson (2001)  
  
 The validity of National Curriculum Assessment 
 . Brittish Journal of Educational Studies, Vol. 49, No. 1 och Harlen, Fields Deakin Crick (2002)  
 A systematic review of the impact of summative assessment and tests on students´motivation for learning 
 . Evidence for Policy and Practice Information and Coordinating Centre  
 (EPPI-Centre). 
  
 7 
  
 Bew, Smith (2011)  
 Independent Review of Key Stage 2 testing, assessment and accountability 
 . Final Report. June 2011. 
  
 8 
  
 Department for Education (2011)  
 Independent Review of Key Stage 2 testing, assessment and accountability. Government Response 
 . 
  
 297 
  
 Bilaga 5 
  
 SOU 2014:12 
  
 Skolinspektion har länge utgjort ett tungt inslag i det engelska utvärderingsramverket. Inspektionen genomförs av  
 The Office for Standards in Education, Children's Services and Skills  
 (Ofsted) som är en oberoende myndighet som etablerades vid mitten av 1990- talet. Från att ha haft ett uppdrag som syftade till att inspektera och ställa krav på skolornas prestationer har myndighetens uppdrag under senare år mer inriktats mot att stödja skolornas arbete med självvärdering. 
 Aktörer på nationell nivå 
 Arbetsfördelningen mellan regeringen och olika delar av den cent- rala statsförvaltningen är i England en annan än i Sverige.  
 Det eng- elska utbildningsministeriet (Department of Education, DfE)  
 är större än sin svenska motsvarighet och rymmer funktioner som i Sverige ligger på självständiga myndigheter. Det innebär att minis- teriet självt har en stor betydelse inte bara som utformare av utvär- deringssystemet, utan också för driften av delar av detta system. 
 I Storbritannien finns ett omfattande datainsamlingssystem ( 
 National Pupil Database 
 , NPD) som i allt väsentligt motsvarar det svenska uppföljningssystemet. Medan det i Sverige är en självstän- dig myndighet som ansvarar för insamlingen och sammanställ- ningen av provdata och andra data  
 (socio-ekonomiska, 
  demogra- fiska m.m.) sker detta i England inom en särskild avdelning ( 
 Data and Statistics Division 
 , DSD) inom utbildningsministeriet. 
 Standards and Testing Agency (STA)  
 är en s.k. verkställande myn- dighet (executive agency 
  
 9 
  
 ) inom DfE. STA ansvarar för utveckling och genomförande av alla lagstadgade kunskapsprov från och med de tidiga skolåren till och med slutet av key stage 3 (årskurs 9). 
  
 The Economic and Social research Council (ESRC)  
 är Storbritanniens största organisation för att finansiera forskning om ekonomiska och sociala frågor. ESRC inrättades 1965 och är ett  
  
 icke-offentligt 
  
  organ (NDPB) som får huvuddelen av sin finansiering genom Department for Business, Innovation and Skills (BIS). ESRC stödjer oberoende, högkvalitativ forskning som har en inverkan på 
  
 9  
 De övriga verkställande organen inom DfE är Education Funding Agency och National College for Teaching and Leadership. Dessa organ betraktas som delar av departementet, men behandlas lednings- och budgetmässigt separat och har till uppgift att utföra någon del av de exekutiva funktionerna i Förenade kungarikets regering. 
 298 
  
 SOU 2014:12 
  
 Bilaga 5 
  
 näringslivet, den offentliga sektorn och den tredje sektorn 
 10 
 . ESRC stödjer omkring 4 000 forskare och doktorander inom akademiska institutioner och fristående forskningsinstitut. 
 The Evidence for Policy and Practice Information and Co- ordinating Centre  
 (EPPI-Centre) 
 inledde sin verksamhet 1993. Centret genomför systematiska kunskapsöversikter och utvecklar metoder för att ta fram forskningsöversikter inom det samhälls- vetenskapliga området. Syftet är att göra tillförlitliga forsknings- resultat tillgängliga för de människor som behöver dem, oavsett om de handlar om politiskt beslutsfattande, yrkesutövning eller person- liga beslut. Arbetet bedrivs huvudsakligen inom utbildnings- och hälsovårdsområdet samt inom det sociala området. Centret sam- verkar med en lång rad forskningsinstitutioner och arbetet finansi- eras av det Ekonomiska och sociala forskningsrådet (ESRC), flera myndigheter och välgörenhetsorganisationer samt nationella och internationella partners. 
  
 The Centre for the Economics of Education (CEE)  
 tillkom 2000 och fick fram till 2010 ett grundbidrag från utbildningsministeriet och ministeriet för näringsliv, innovation och kompetens (the Depart- ment for Business, Innovation & Skills). CEE är ett multidiciplinärt centrum med tre parter: The Centre for Economic Performance at LSE, the Institute for Fiscal Studies och the Institute of Education. De tre parterna har en framstående meritlista i fråga om arbets- marknadsfrågor och utbildningsekonomi inklusive yrkesutbildning. CEE:s forskning är starkt orienterad mot empiriska studier. Man använder en mångfald metoder som t.ex. utvärderingsmetodik, statistisk analys av mikrodata och detaljerade fallstudier. 
  
 Finland 
 Det finska skolsystemet har inte på länge varit föremål för några stora reformer eller förändringar. I juni 2012 beslutades emellertid om att inleda arbetet med en översyn av läroplansgrunderna bl.a. för den grundläggande utbildningen. Arbetet leds av Utbildnings- styrelsen och ska ske i nära samarbete med intressegrupperna och i interaktion med utbildningsanordnaren och arbetet ska vara avslu- tat i april 2014. De nya läroplanerna ska tillämpas i undervisningen från och med hösten 2016. Våren 2012 beslutades även om en 
  
 10  
 Med tredje sektorn brukar avses t.ex. idéburna organisationer, ekonomiska föreningar och kooperativa företag, vissa stiftelser samt det civila samhället. 
 299 
  
 Bilaga 5 
  
 SOU 2014:12 
  
 revidering av timplanerna. Vidare görs fortsatt satsning på lärare och på att behålla läraryrkets attraktionskraft. 
 2012 antogs vidare nya kvalitetskriterier för bl.a. den grund- läggande utbildningen. Dessa syftar till att göra det möjligt att på ett praktiskt plan utvärdera hur de beslut som omfattar skol- väsendet i ett kort respektive långt perspektiv inverkar på skolornas verksamhet. 
 Utvärdering av utbildningen görs på lokal, regional och riksnivå. Utbildningsanordnarna är skyldiga att utvärdera sin utbildning, främst i förhållande till målen för utbildningen, samt delta i externa utvärderingar som baserar sig på utbildningslagstiftningen. Regio- nalt görs utvärdering och uppföljning av skolan av länsstyrelserna, t.ex. avseende service och hur efterfrågan på utbildning uppfylls. Det riksomfattande systemet för utvärdering av utbildningen byg- ger på 
  
 ett system för utvärdering av inlärningsresultaten (stickprov) 
  
 framtagande av indikatorer 
  
 utvärderingsprojekt med varierande teman (läges- eller temaut- värderingar). 
  
 Dessutom deltar Finland i internationella utvärderingar. 
 I lagstiftningen anges att utvecklingen av utvärderingssystemet bör inriktas på oavhängighet, träffsäkerhet, effektivitet och ekono- mi samt effekter. Med effekter avses, vad vi förstår, snarast de effekter utvärderingarna har, inte effektstudier. Vikten av att skapa ett system som är direkt och betjänar läroanstalterna, eleverna och vårdnadshavarna betonas. 
 Ett generellt intryck är att det finska skolsystemet bygger på stark tillit från den nationella nivån till kommunerna och ytterst till professionen. Det finns ingen nationell tillsyn och t.ex. står inte frågan om en likvärdig och rättvis betygssättning i fokus för de- batten på det sätt som den gör i Sverige. 
 Aktörer på nationell nivå t.o.m. 2013 
 På central nivå har det fram till nyligen funnits främst två aktörer vad gäller nationell utvärdering på skolområdet – Rådet för utbild- ningsutvärdering och Utbildningsstyrelsen. 
 300 
  
 SOU 2014:12 
  
 Bilaga 5 
  
 Den externa utvärderingen av skolan har under en följd av år organiserats av  
 Rådet för utbildningsutvärdering 
 , ett självständigt organ som sorterat under undervisnings- och kulturministeriet. Rådet har bestått av högst 14 medlemmar, som utnämnts av undervisnings- och kulturministeriet. Medlemmarna är företrädare för såväl akademin som för kommunsektorn och för de fackliga organisationerna. Tillsammans med undervisnings– och kulturministeriet har rådet ansvarat för utvärdering, och utveckling av utvärdering, i grund- skola och gymnasium, inom yrkesutbildningen och den yrkes- inriktade vuxenutbildningen samt inom det fria bildningsarbetet.  
 11  
 Sekretariatet för Rådet för utbildningsutvärdering verkar som en separat institution vid Jyväskylä universitet. 
 Utvärderingsrådet har utvecklat utvärderingsmetoder för olika aktörers behov. Inom nationella utvärderingar tar man tillvara utbild- ningsanordnarnas och läroanstalternas självutvärderingar och lyfter fram god praxis. För att utvärderingen av utbildningen ska bli så transparent och använd som möjligt har publiceras resultaten i utvärderingsrådets publikationsserie. Skolor rangordnas inte i rap- porterna. 
  
 Utbildningsstyrelsen 
  
 12  
 svarar för utveckling av utbildningen, från förskoleundervisningen till vuxenutbildningen och det fria bild- ningsarbetet samt den grundläggande konstundervisningen. Det innebär att en central uppgift för Utbildningsstyrelsen är att arbeta med läroplansgrunderna för utbildningarna, grunderna för yrkes- examina och fristående examina samt att utveckla utbildningen genom olika projekt. Bland övriga uppgifter ingår att producera utbildnings- indikatorer och prognoser, samla uppgifter om utbildningens finansiering, publicera utbildningsguider, ordna och finansiera fort- bildning för lärare och annan personal inom utbildningssektorn samt utveckla och producera läromedel. 
 Fram till nu har Utbildningsstyrelsen även utvärderat inlär- ningsresultat inom sitt verksamhetsområde, d.v.s. från förskole- undervisning till vuxenutbildning. Syftet med styrelsens utvärde- ring av utbildningen har varit att utreda i vilken mån de uppställda målen för undervisning och utbildning uppnås. 
 De viktigaste målen för Utbildningsstyrelsens utvärdering av utbildning har varit att 
  
 utveckla utbildningen och stödja lärandet 
  
 11 
  
 Rådet för utbildningsutvärdering (2004) a.a 
  
 . 
  
 12 
  
 Informationen i detta avsnitt är hämtad från Utbildningsstyrelsens webbplats (www.oph.fi) den 12 juni 2013. 
  
 301 
  
 Bilaga 5 
  
 SOU 2014:12 
  
 säkra kvaliteten på utbildningen 
  
 producera information som behövs i utvecklingsarbete och be- slutsfattande på lokal, regional och riksomfattande nivå samt för internationella jämförelser. 
  
 Utbildningsstyrelsen har svarat för de sampelbaserade utvärdering- ar av inlärningsresultat inom den grundläggande utbildningen som genomförts sedan 1998. 
 Aktörer på nationell nivå fr.o.m. 2014 
  
 Undervisningsministeriet  
 har nyligen beslutat om en utvärderings- plan för utbildningen  
 2012–2015. 
  Av denna framgår utgångspunk- ter för utvärderingen, organisering av utvärderingsverksamheten, riktlinjer för utvärderingen, dvs. vad den externa utvärderingen ska fokusera på, finansiering samt uppföljning av utvärderingsplanen. Man kan säga att detta på en övergripande nivå utgör ett slags ram- verk för utvärdering,. 
 Av utvärderingsplanen framgår att utvärderingsfunktionerna vid Rådet för utbildningsutvärdering, Rådet för utvärdering av högsko- lorna och vid Utbildningsstyrelsen från och med början av 2014 ska koncentreras till ett nationellt  
 center för utbildningsevaluering. 
  
 Syftet är att samla utbildningsutvärderingens viktigaste uppgifter och kompetenser till en tydligare, effektivare och mer slagkraftig helhet och att stärka utvärderingsverksamhetens oberoende och självständighet. Därtill, menar man, uppnås funktionella och eko- nomiska synergier samt stärks den finska utbildningsutvärdering- ens nationella och internationella roll. Förändringen innebär att t.ex. de sampelbaserade utvärderingarna av inlärningsresultat som Utbildningsstyrelsen svarat för blir ett ansvar för det nya centret. 
 Nationella centret för utbildningsevaluering  
 föreslås av den arbets- grupp som förberett inrättandet, vara ett ämbetsverk inom under- visnings- och kulturministeriets förvaltningsområde. Centret före- slås bli ett expertorgan som utför externa utvärderingar av utbild- ningar och för att ta fram kunskap som underlag för utbildnings- politiska beslut och utveckling av utbildningen. Centret föreslås av en särskild utredare placeras i Helsingfors med en del av sin verk- samhet fortsatt i Jyväskylä. 
  
 13 
  
 13  
 Beskrivningen av förslaget är hämtad från Undervisnings- och kulturministeriets hemsida. 
 302 
  
 SOU 2014:12 
  
 Bilaga 5 
  
 Beslutsfattandet föreslås bli delat mellan direktören och ett evalueringsråd med ansvar för den strategiska styrningen. Evalue- ringsrådets medlemmar föreslås företräda sakkunskap på området, t.ex. expertis inom utvärdering av utbildning. Evalueringsrådet föreslås vidare bestå av personer som företräder olika utbildnings- sektorer, lärarutbildningen, forskningen, arbetslivet och de stude- rande. 
 Enligt förslaget ska direktören ha beslutanderätten för den opera- tiva ledningen medan evalueringsrådet ska fatta beslut om centrets strategiska riktlinjer. Rådet ska ha en central roll vid utarbetandet av förslag till den utvärderingsplan som fastställs av undervisnings- och kulturministeriet. Planen är det viktigaste redskapet för den strategiska styrningen av utvärderingsverksamheten. Rådet ska även organisera särskilda utvärderingar samt besluta om resultatet av en granskning godkänts eller inte. Enligt förslaget utnämner statsrådet (regeringen) direktören för evalueringscentret och till- sätter evalueringsrådet. 
 Norge 
 Norge har under flera år arbetat intensivt med att förstärka den nationella uppföljningen och utvärderingen inom utbildningsom- rådet och det finns numera en stark utvärderingstradition i norsk utbildningspolitik 
 14 
 . Detta präglar såväl det löpande uppföljnings- och utvärderingssystemet som det sätt som reformer utvärderas på. 
 Utdanningsdirektoratet använder ett nationellt, stabilt ramverk för att utvärdera och rapportera om det norska skolsystemet som innehåller fem huvudområden: läranderesultat, lärandemiljön, andel elever som fullföljer studierna i gymnasieskolan, resurser och fakta om skolorna. Norge genomför dessutom återkommande gransk- ningar av prioriterade politikområden. Ett aktuellt exempel är det särskilda indikatorssystemet för att följa kvaliteten i lärarutbildnin- gen och i yrket. 
 På systemnivå har Norge utvecklat ett system för kontinuerlig uppföljning,  
 Nasjonalt kvalitetsutvurderingssystem  
 (NKVS). Syste- met, snarast att betrakta som ett ramverk för utvärdering, försörjer bland annat olika forskningsprojekt med data. Datainflödet sker 
  
 14  
 Avsnittet om Norge bygger på information som lämnats till utredningen i samband med dess kontakter med företrädare för det norska Kunskapsdepartementet och Utdannings- direktoratet i Norge. 
 303 
  
 Bilaga 5 
  
 SOU 2014:12 
  
 genom Norges deltagande i internationella studier, statistikinsam- ling, resultat från nationella prov, brukarundersökningar och enkä- ter. 
 Den insamlade informationen publiceras på flera olika sätt: sär- skilda rapporter om specifika teman, årliga analytiska rapporter, ut- värderingsrapporter i nationellt prioriterade frågor, internetpubli- cering och en årlig summerande rapport baserad på utvärdering av skolor. 
 Aktörer på nationell nivå 
  
 Utdanningsdirektoratet 
 , som lyder under Kunnskapsdepartementet, har ett brett arbetsfält som spänner från läroplaner och ramverk för motsvarande förskola, grundskola och gymnasieskola, till examen och analyser samt regelverk och tillsyn. Direktoratet ansvarar för merparten av de olika typer av uppgiftsinsamling som igår i NKVS. 
 Utdanningsdirektoratet har t.ex. ansvar för att utarbeta natio- nella prov och andra prov för grundskolan och gymnasieskolan samt att utforma villkoren för examen, dvs. den avslutande bedöm- ningen av en elevs kompetens. Direktoratet har också ansvar för tillsynen över landets skolhuvudmän, dvs. kommuner, fylkeskom- muner och privata skolor. Syftet är att säkra att barn och unga får en likvärdig utbildning av hög kvalitet. 
 Direktoratet har dessutom ansvar för utvecklingsprojekt, forsk- ning och statistik om grundskolan och gymnasieskolan. Brukarun- dersökningar genomförs för elever, lärlingar, lärare, instruktörer och föräldrar, vilket förser skolor, skolhuvudmän och myndigheter med viktig kunskap. Resultaten och analyserna, som publiceras på Utdanningsdirektoratets webbsidor, är tänkta att bidra till förbätt- ring av norsk skola. Utdanningsdirektoratet har vidare ansvar för att koordinera de många internationella studier som Norge deltar i. 
 Utdanningsdirektoratet har upprättat ett  
 nationellt forskningsråd  
 som ger råd i frågor om utveckling av forskningspolicy och om finansiering av forskning samt skapar mötesplatser. De flesta upp- dragen anförtros olika forskningsinstitut, universitet och hög- skolor under Utbildnings- och forskningsministeriets och Utdan- ningsdirektoratets överinseende. 
 I Norge finns dessutom ett  
 Kunnskapssenter for udanning  
 knutet till Norges forskningsråd. Kunskapscentrets uppgift är bl.a. att pre- sentera systematiska kunskapsöversikter i en öppen och tillgänglig 
 304 
  
 SOU 2014:12 
  
 Bilaga 5 
  
 databas som ska kunna användas av alla som arbetar i förskola, skola, högre utbildning och vuxenutbildning samt med politikut- formning. Centret ska sammanställa både nationell och och inter- nationell forskning och förmedla den bästa tillgängliga kunskapen inom utbildningsområdet. 
 Organisering av reformutvärderingar 
 Norge lägger allt större vikt vid kunskapsunderlag inför beslut om politiska reformer. Evidensinformerade inslag i samband med politikformulering kommer bland annat till uttryck i att litteratur- listor redovisas i de senaste årens stortingsmeldingar (propositio- ner). Till större reformer som genomförts under de senaste decennierna har dessutom knutits omfattande utvärderingsresurser. Sättet att organisera utvärderingarna har skilt sig åt mellan de olika reformerna, t.ex. med avseende på hur samarbetet mellan politiken och forskningen har utformats. 
 I fallet med  
 Reform  
  
 -94 
 , 
  som avsåg gymnasieskolan, beslutade Stortinget om en löpande utvärdering som skulle vara forsknings- baserad, dvs. grunda sig på forskningsmässig metodik och kompe- tens. Departementets kontroll av arbetet med utvärderingen var tydlig. Det följdes nära eftersom det fanns ett uttalat önskemål om att kunna ta nya beslut under vägen. För att säkra att utvärderingen blev policyrelevant skrevs ettåriga kontrakt mellan forskare och departementet. Forskarna hade krav på sig att lämna rapporter vid vissa tidpunkter (varje halvår och år). För att täcka behovet av kompetens genomfördes utvärderingen av flera forskningsmiljöer i samverkan. 
 För att utvärderingen skulle bli intressant och leva upp till forskningsmässiga krav krävdes samtidigt att forskarna hade ett självständigt handlingsutrymme. För att skapa ett visst avstånd mellan uppdragsgivare och uppdragstagare skapades en uppfölj- ningsgrupp bestående av nio medlemmar med olika kompetenser. Ordföranden i uppföljningsgruppen utnämndes av Norges forsk- ningsråd. Uppföljningsgruppen hade den överordnade kontrollen över projektet och kommenterade utkast till rapporter från fors- kargrupperna. Uppföljningsgruppen hade vidare till uppgift att ge råd till departementet om styrningen och vid kontraktsförhand- lingar. Uppföljningsgruppens sekretariat utgjordes av tjänstemän i Kunskapsdepartementet. 
 305 
  
 Bilaga 5 
  
 SOU 2014:12 
  
 Utöver uppföljningsgruppen tillsattes även en referensgrupp med representanter för flertalet av dem som berördes av reformen. En av forskningsmiljöerna påtog sig också rollen som koordine- rande forskningsinstitution. 
 Arrangemangen runt utvärderingen ledde till en upprörd debatt om att regeringen direktstyrde forskningen och om det olämpliga i att departementet var uppdragsgivare till utvärderingen av en reform som det självt var ansvarigt för. Samarbetet mellan parterna över- levde dock debaclet och ledde efterhand till en ökad vana vid dialog parterna emellan. Dessutom ägde en viktig kompetensuppbyggnad rum inom forskningsmiljöerna, som har kommit till användning vid senare reformutvärderingar. 
 I samband med  
 Reform  
  
 -97, 
  
 som avsåg grundskolan, var skol- ministerns utgångspunkt att den kritikstorm som utbröt i samband med den föregående reformutvärderingen inte skulle upprepas. Denna gång medgav därför upplägget ett stort utrymme för forsk- ningen att själv bestämma inriktning och rapporteringstillfällen. 
 Utvärderingarna av de reformer som genomfördes 1994 och 1997 kan således sägas representera två extremer på en skala mellan kraf- tig styrning och stor självständighet. I utformningen av utvärde- ringen av  
 Kunskapslyftet 2006 
 , som avsåg grundskolan och gym- nasieskolan, sökte man dra nytta av erfarenheterna från de båda föregående utvärderingarna. 
 Utdanningsdirektoratet tillsatte en  
 programstyrelse  
 som leddes av en välmeriterad och erkänd forskare. Även om Programstyrelsen fick sitt uppdrag av Utdanningsdirektoratet var det Programstyrel- sen som utlyste uppdragen och slöt kontrakt med de olika forsk- ningsmiljöerna och därefter höll i kontakten med dessa. Program- styrelsen har bestått av företrädare för olika intressenter på skol- området, t.ex. brukare (elever och föräldrar), fackliga organisatio- ner, forskare och personer på policynivå. 
 Programstyrelsen svarade även för återkopplingar till forskarna. Dessa återkopplingar innebar även en diskussion om kvaliteten i utkasten till forskarrapporterna, dvs. om teori, metoder, empiriskt underlag, konsistens mellan underlag och slutsatser, osv. Man sam- lade dessutom in frågeställningar som inom olika delar av utbild- ningssektorn ansågs viktiga att granska och sorterade fram dem som bedömdes vara av generellt intresse för sektorn och som dess- utom var knutna till reformen. De utvalda frågeställningarna infogades därefter i utvärderingsuppdragen till de olika forskargrupperna. 
 306 
  
 SOU 2014:12 
  
 Bilaga 5 
  
 Tjänstemännen i departementet höll den politiska ledningen informerad om resultaten från utvärderingarna samt lyfte in dem i olika aktuella politiska processer. 
 Skottland 
 Skottland 
 15  
 har sedan början på  
 2000-talet 
  arbetat med att utveckla och introducera en ny läroplan i barn- och ungdomsskolan –  
 Curriculum för Excellence 
 . Läroplanen introducerades i de lägre årskurserna under läsåret 2010/11 och under läsåret 2012/13 för elever i secondary schools, dvs. för elever från ca 11 till 18 års ålder. Arbetet med att implementera läroplanen har dock varit en suc- cessiv process som fortfarande pågår. Arbetet leds av The Curricu- lum for Excellence Management Board som består av represen- tanter för såväl den statliga förvaltningen som företrädare för en lång rad organisationer som företräder t.ex. skolhuvudmän, lärare och föräldrar. 
 Den nya läroplanen syftar till att säkerställa att alla barn och ung- domar i Skottland utvecklar kunskaper, färdigheter och olika person- liga förmågor. Enligt läroplanen ska eleverna ges möjlighet att uppleva framgång som elev, känna självförtroende som individ, utvecklas till ansvarstagande medborgare och kunna bidra effektivt till det gemensamma samhällslivet. 
 16 
  
 The Scottish Survey of Literacy and Numeracy (SSLN)  
 är en årlig urvalsundersökning som följer de nationella resultaten i läsning och räkning (växelvis vartannat år) vid tre åldrar under motsvarande grundskolan. SSLN utvecklades för att stödja bedömningsformer i anslutning till Curriculum for Excellence. SSLN är ett samarbete mellan den skotska regeringen, Education Scotland och Scottish Qualifications Authority (SQA). Skottland deltar även i de inter- nationella  
  
 PISA-undersökningarna. 
  
 Det skotska systemet är annars i hög grad inriktat på att stödja den lokala nivån i dess arbete med att utveckla och utvärdera verksamheten.  
 The National Assessment Resource (NAR)  
 är t.ex. ett verktyg online för att stödja lärares bedömning i anslutning till Curriculum for Excellence. 
  
 15 
  
 Skottland är en självstyrande riksdel (eller constituent country) inom Storbritannien. Skottland har numera ett omfattande självstyre, bl.a. på skolpolitikens område, varför Skottland i detta sammanhang jämställs med ett land. 
  
 16 
  
 Fri översättning av de grundläggande förmågorna Successful learners, Confident individu- als, Responsible citizens och Effective contributors. 
  
 307 
  
 Bilaga 5 
  
 SOU 2014:12 
  
 Den skotska inspektionen har en viktig roll. Varje år inspekteras ett urval skolor och kommuner. Inriktningen är att bidra till för- bättring. Inspektörerna fokuserar på elevernas lärande och pres- tationer. Skolornas självvärderingar är viktiga utgångspunkter för inspektionen. Inspektionen förfogar inte över några sanktions- instrument. 
 Generellt präglas arbetet med att utveckla skolan i Skottland av en skolpolitisk konsensus. Denna har dock inte vilat på något for- mellt kontrakt, utan bygger mer på en tradition där inte minst dialogen mellan olika parter inom skolsamhället ses som central. 
 Aktörer på nationell nivå 
 Organisatoriskt har Skottland genomgått en motsatt utveckling jämfört med Sverige. 2011 bildades  
 Education Scotland  
 bl.a. genom en sammanslagning av organisationen Learning and Teaching Scotland (LTS) och den tidigare inspektionsmyndigheten Stone in Scotland (HMIe). LTS huvuduppgift var att utveckla och stödja den skotska läroplanen och att utveckla kvaliteten på lärande och undervisning, bl.a. genom att erbjuda råd, stöd, kompetensutveckling, etc. 
 Education Scotland har i dag ett brett ansvarsområde. Man ansvarar för råd och stöd i syfte att utveckla undervisningen och elevernas lärande, bl.a. genom arbetet med Price för Excellence och genom IT. Man svarar också för inspektionen och för rapporterin- gen av resultat från denna. Vidare stödjer man de lokala huvudmän- nen och verksamheterna i arbetet med att främja positiva relationer, sociala och känslomässig välfärd och gott uppförande, etc. 
 När det gäller det som står i fokus för denna utredning, dvs. kunskapandet om skolan och skolans utveckling, hämtar Education Scotland underlag från bl.a. statistik och egna utvärderingar, in- spektioner och PISA.  
 The Scottish Survey of Literacy and Numeracy (SSLN) 
 är också en viktig källa. Man intresserar sig också för framgångsrika skolsystem i andra länder. 
 Ansvaret för SSLN är delat mellan flera aktörer.  
 The Scottish Government Education Analytical Services Division  
 har det centrala ansvaret och svarar för projektledning, design, analys, genom- förande och rapportering om SSLN.  
 Education Scotland  
 har till- sammans med  
 The Scottish Qualifications Authority (SQA)  
 ansvar för utvecklingen av kriterier för bedömning av SSLN. Man ansvarar 
 308 
  
 SOU 2014:12 
  
 Bilaga 5 
  
 för olika nivåer. Education Scotland ansvarar också för att till- gängliggöra resultat från SSLN för lärare, skolor och huvudmän i syfte att stödja och informera om lärande och arbetsformer i klass- rummet medan SQA har ansvaret för alla operationella aspekter av SSLN, dvs. distribution, administration på skolorna, datafångst etc. Till projektet har knutits en  
 SSLN Project Management Board 
 . 
 Inom Education Scotland arbetar man utifrån en strategi för det man benämner  
 knowledge management 
 . Denna består av tre teman – att bygga professionella relationer, att bygga en kunskaps- bas och att bygga värden utifrån kunskap. Man arbetar också med att utveckla en forskningsstrategi. Denna går ut på att stärka kapaciteten inom forskning och utvärdering, att bygga upp en forskningsgrund och att skapa länkar mellan forskning, politik och praktik ( 
 know- ledge brokering 
 ). Education Scotland identifierar följande utveck- lingsområden för den egna verksamheten: 
  
 - 
  
 Tätare dialog med forskarsamhället inom utbildningsområdet. 
  
 - 
  
 Mer strategiskt angreppssätt när man lägger ut forskningsupp- drag. 
  
 - 
  
 Mer proaktiv roll när man lämnar råd i samband med politikut- formning. 
  
 - 
  
 Göra tillförlitlig kunskap tillgänglig för de verksamma (lärar- professionen). 
  
 - 
  
 Stödja och sprida resultat från professionella undersökningar. 
  
 Av detta framgår att Education Scotland utöver att svara för stöd, statistik, utvärdering, inspektion, etc, också har en roll i relation till skolforskningen, både som beställare och som kunskapsmäklare. Man understryker att det, för att verka som kunskapsmäklare, krävs oberoende, trovärdighet, transparens, tillgång till en robust kunskapsbas och klara kopplingar till politikutvecklingsprocessen. 
 309 
 Statens offentliga utredningar 2014 
 Kronologisk förteckning 
  
 1. 
  
 Vissa bostadsbeskattningsfrågor. Fi. 
  
 2. 
  
 Framtidens valfrihetssystem 
  
 – 
  
 inom socialtjänsten. S. 
  
 3. 
  
 Boende utanför det egna hemmet 
  
 – 
  
 placeringsformer för barn och unga. S. 
  
 4. 
  
 Det måste gå att lita på konsument- skyddet. Ju. 
  
 5. 
  
 Staten får inte abdikera 
  
 – 
  
 om kommunaliseringen av den svenska skolan. U. 
  
 6. 
  
 Män och jämställdhet. U. 
  
 7. 
  
 Skärpta straff för vapenbrott. Ju. 
  
 8. 
  
 Översyn av statsskuldspolitiken. Fi. 
  
 9. 
  
 Förändrad assistansersättning 
  
 – 
  
 en översyn av ersättningssystemet. S. 
  
 10. 
  
 Ett steg vidare – nya regler och åtgärder för att främja vidareutnyttjande 
  
 av handlingar. S. 
  
 11. 
  
 Kunskapsläget på kärnavfallsområdet 2014. Forskningsdebatt, alternativ och beslutsfattande. M. 
  
 12. 
  
 Utvärdera för utveckling – om utvärdering av skolpolitiska reformer. U. 
  
 Statens offentliga utredningar 2014 
 Systematisk förteckning 
 Justitiedepartementet 
 Det måste gå att lita på konsumentskyddet. [4] 
 Skärpta straff för vapenbrott. [7] 
 Socialdepartementet 
 Framtidens valfrihetssystem 
  
 – 
  
 inom socialtjänsten. [2] 
  
 Boende utanför det egna hemmet 
  
 – 
  
 placeringsformer för barn och unga.  
  
 [3] 
  
 Förändrad assistansersättning 
 – en översyn av ersättningssystemet. [9] 
 Ett steg vidare – nya regler och åtgärder för att främja vidareutnyttjande av handlingar. [10] 
 Finansdepartementet 
 Vissa bostadsbeskattningsfrågor. [1] Översyn av statsskuldspolitiken. [8] 
 Utbildningsdepartementet 
 Staten får inte abdikera 
 – om kommunaliseringen av den svenska skolan. [5] 
 Män och jämställdhet. [6] 
 Utvärdera för utveckling – om utvärdering av skolpolitiska reformer. [12] 
 Miljödepartementet 
 Kunskapsläget på kärnavfallsområdet 2014. Forskningsdebatt, alternativ och beslutsfattande. [11].