sou · H2B312 · 2014-03-12 00:00:00 — Att denna typ av utvärderingar ska genom- föras av en extern aktör fastställs ofta redan i regeringens uppdrag till , men beslutet kan också vara verkets eget. På motsvarande sätt som uppdrag kan läggas på forskare inom universitet och högskolor kan uppdrag också läggas ut på andra externa utvärderare, t.ex. på konsultföretag som inriktat sig på utredning och utvärdering inom offentlig sektor. Utvärderarna kan även i dessa fall ha en forskarutbildning, men behöver inte ha det. Konsultföretag har dessutom ofta specifika modeller för hur de lägger upp och genomför utvärdering och analys, modeller som i skiftande grad ansluter till forskningsbaserade modeller och meto- der. Den oberoende forskningen har inte som sin primära uppgift att vara policyrelevant på det sätt som det förutsätts att uppdrags- forskning eller rapporteringen från ett nationellt utvärderings- system ska vara, och är det oftast inte heller. Genom att systema- tiskt sammanställa resultat från forskning kan dock även den oberoende forskningen bidra till ett evidensinformerat besluts- fattande och, inte minst, till en evidensinformerad praktik. Det finns också exempel på oberoende forskning som i hög grad är policyrelevant. Exempel på detta är den forskning som bedrivits, bland annat vid IFAU, om friskolereformens effekter på studie- resultaten22, om betygssättningens effekter på studieresultaten23 samt om långsiktiga effekter av ökad lärartäthet24. Merparten av denna forskning utgörs av kvantitativt inriktade effektstudier. Dessa forskningsinsatser kan inte på egen hand fylla det behov av utvärdering av skolan som utredningen pekat på, men de visar att det finns både kapacitet och kompetens att genomföra forsknings- baserad utvärdering av reformer på skolans område i , även om de inte ingår i något nationellt utvärderingsprogram. () har som huvuduppgift att fördela medel till forskning. VR stödjer grundforskning inom utbildningsveten- skap, dvs. forskning om bildning, utbildning, undervisning och lärande. Bland de projekt som får stöd från VR finns forskning som avser effekter av reformer. Det handlar dock inte om någon full- ständig reformutvärdering utan om utvärdering av avgränsade inslag i reformer. VR arbetar även med att göra forskningsresultat tillgängliga. Som ett led i detta arbete sammanställer rådet under namnet Resultatdialog kunskapsöversikter över olika områ- den och redogör för den senaste forskningen inom utbildnings- 22Se t.ex. , (red. ), , , , m.fl. (2011) Kon- kurrensens konsekvenser – vad händer med svenskt välfärd? och (2012) Lika möjligheter? Familjebakgrund och skolprestationer 1998- 2010. IFAU, rapport 2012:14. och (2012) Har den växande friskolesektorn varit bra för elevernas utbildningsresultat ? IFAU, rapport 2012:17. 23Se t.ex. , (2010) Betygssatta barn – spelar det någon roll i längden? IFAU, rapport 2010:8 och (2004) De målrelaterade gymnasiebetygens prognos- förmåga. Pedagogisk Forskning i , 9(2) samt (2004). Betygs- inflation i de målrelaterade gymnasiebetygen. Pedagogisk Forskning i , 9(1). 24Fredriksson, , och (2012) Långsiktiga effekter av mindre klasser. IFAU, rapport 2012:4. Det gemensamma för de redovisade projekten är att de alla har finansierats av Vetenskapsrådet.25 4.1.4Hur kommer reformutvärderingen in? Som nämnts inledningsvis kan reformer utvärderas inom ramen för det fortlöpande uppföljnings- och utvärderingssystemet. Det bygger då på att systemet är så heltäckande och har sådana kvaliteteter att svaren på de frågor man har anledning att ställa så att säga faller ut av sig själva, dvs. att de utvecklingstendenser man kan se kan här- ledas till en specifik reform. Det är dock sannolikt ett önske- tänkande att systemet skulle ge en så kvalificerad kunskap att det inte finns behov av att genomföra särskilda utvärderingar av en reform eller ett reformskede. I de flesta fall behövs också särskilda utvärderingar. Utvärderingen av en reform handlar ju inte bara om huruvida utvecklingen av resultaten på de internationella studierna går i rätt riktning eller inte, utan även om denna utveckling faktiskt kan härledas till själva reformen. Utvärderingen av en reform kan behöva fokusera på om de mekanismer som reformen bygger på verkligen fungerar som förväntat. Om de inte gör det kan utvärderingen behöva svara på varför de inte gör det och vad som kan göras för att få detta att inträffa, etc. Det vanligaste är kanske att något fungerar, men inte fullt ut och/eller med stora variationer. Det finns alltså ofta utrymme för förbättringar. För att i sådana fall kunna bidra till förbättringar av systemets prestationer räcker det inte med att känna till utfallet, det krävs även kunskap och förståelse för hur systemet fungerar och varför resultaten varierar. Även med ett väl fungerande fortlöpande uppföljnings- och utvärderingssystem kommer därför särskilda reformutvärderingar att behöva genomföras. Sådana särskilda utvärderingsprojekt är att betrakta som utvärderingsstudier i modellen ovan. Sådana särskilda utvärderingsstudier kan hämta empiriskt underlag från hela eller delar av uppföljnings- och utvärderingssystemet, men också ta fram egna underlag. De kan genomföras av en myndighet eller av fors- kare på uppdrag av regeringen eller av en myndighet. Det utvidgade uppföljnings- och utvärderingssystem som redo- gjorts för ovan har, med dess kvaliteter och utvecklingsbehov, stor betydelse för möjligheterna att utvärdera reformer. Det består av ett stort antal olika aktiviteter som i vissa fall kompletterar varandra. I andra fall är gränsdragningen mellan olika aktiviteter inte helt tydlig. Det gäller t.ex. mellan utvärdering och Skolinspektionens kvalitetsgranskning. Det finns också exempel där de syften som tillskrivs ett specifikt instrument knappast är möjliga att infria med ett och samma instrument. Det gäller för de natio- nella proven. Slutligen har systemet luckor, dvs. det finns frågor som det inte kan besvara på ett tillfredsställande sätt. Det gäller t.ex. hur skolans resultat och måluppfyllelse utvecklas . De internationella studiernas trendanalyser behöver enligt vår uppfatt- ning kompletteras med nationella trendanalyser. Vi återkommer till detta i kapitel 9. Vid sidan om det nationella utvärderingssystemet finns ett stort antal andra aktörer som genomför studier och utvärderingar som avser skolan, t.ex. organisationer som t.ex. Kommuner och Landsting (SKL), lärar- och skolledarorganisationer, Studieför- bundet Näringsliv och Samhälle (SNS), etc. Även Expertgruppen för Studier i Offentlig ekonomi () genomför i vissa fall studier med koppling till skolan. 5Reformutvärdering – historik och nuläge I detta kapitel görs inledningsvis en historisk tillbakablick över reformutvärdering i på skolans område och framför allt över den diskussion som förts om reformutvärdering. Därefter redogör vi för dagens situation vad gäller reformutvärdering och för vissa övriga iakttagelser vi gjort avseende dagens nationella utvärdering av skolan. Av bilaga 31 framgår att utvärdering, initierad av regering och riks- dag, av olika reformers utfall historiskt har varit mycket ovanlig i . Vi har kunnat konstatera att frågan om utvär- deringens roll och utvärdering av reformer på skolområdet åter- kommande har diskuterats i olika sammanhang. 5.1.11900-talets mitt – en period av stora utredningar2 grundskolereform var slutet på en lång process som startade med skolutredning, följd av skolkom- mission. Ett viktigt steg var beslut om ett försök med en nioårig enhetsskola, ett försök som följdes av (). Slutligen utvärderades försöket politiskt av skolberedning, som också lämnade förslag till inrät- tande av . infördes rullande och SÖ fick återigen uppdraget att följa reformen. 1Björnsson, (2013) Kunskap och skolreform. En studie om underlag för och utvärdering av reformer på skolområdet. 2Avsnittet baseras på bilaga 3. Reformutvärdering – historik och nuläge Karaktäristiskt för 1900-talets mitt är att reformer förbereddes noggrant med offentliga utredningar som var omfattande i både tid och betänkandenas omfång. Till flera av betänkandena hörde ett stort antal bilagor av bl.a. forskare och andra experter. Försöks- verksamhet genomfördes och utvärderades. Hela processen präg- lades av ett formativt förhållningssätt och den tidens mest avan- cerade pedagogiska forskning användes i reformarbetet. Utformningen av reformerna måste således anses vara baserade på evidens. Det formativa inslaget var också påtagligt under den successiva utformningen av det som kom att bli . Man kan däremot inte påstå att det togs några initiativ från regering eller riksdag till att utvärdera utfallet av införande. Fokus låg på att så långt som möjligt i förväg säkra de beslut som fattades och att justera under väg, inte att utvärdera i efterhand. har forskare visat att reformen bidrog till en högre utbildningsnivå samt att den hade en klassutjämnande effekt3. Frånvaron av reformutvärdering har sedan uppmärksammats åter- kommande. konstaterade t.ex. professorn i pedagogik att: Systematiska undersökningar som syftar till att följa upp och utvärdera skolreformer lyser ännu med sin frånvaro. Det går i dagens läge inte att få någon samlad bild av läget vare sig på kunskapssidan eller i andra avseenden. argumenterade för att utvärderingen av skolan inte fick utformas alltför snävt. Han underströk att utvärderingen påverkas av att skolan har både ett kunskapsmål och ett demokrati- mål, och att den därtill ska fungera socialt utjämnande. Utvärde- ringen av skolan måste därför, utöver elevernas resultat, även omfatta de organisatoriska ramar som omger skolverksamheten (studievägar, timplaner, klassindelningar, lokaler, läromedel m.m.) samt de processer som försiggår där (undervisnings- och arbets- former, den tid som i praktiken tas i anspråk för olika kunskaps- och färdighetsmoment m.m.). 3Meghir, och (2004) Education reform, ability and family background. IFS Working Papers, W04/10, . 4Dahllöf, (1971) Svensk utbildningsplanering under . Reformutvärdering – historik och nuläge konstaterade att ett och samma system beroende på olika faktorer kan ha olika verkningsgrad och att det därför är vik- tigt att försöka förstå samspelet mellan mål, ramar, processer och resultat. Han menade att sådana analyser bör användas vid upp- följning och utvärdering av reformer i skolan och genomföras rela- tivt snart efter en reform. Detta för att kunna tjäna som vägledning när det gäller beslut om vilka (kompletterande) åtgärder som i första hand måste sättas in för att få det nya systemet att fungera enligt intentionerna. menade att inriktningen bör vara att studera undervisningsprocessen och dess relation till de yttre orga- nisatoriska ramarna och slutresultaten. Enligt behövdes en breddning av utvärderingsprogram- met från resultattestningar – redan de sällsynta – till studier i syfte att förstå hela sambandet mellan utgångsläge, undervisningsprocess och resultat i relation till uppställda mål. Utvärderingen borde enligt vara allsidig och täcka olika ämnen såväl som olika aspekter av skolans mål. Den borde läggas upp för att ge underlag för beslut om vilken åtgärd, eller vilken kombina- tion av åtgärder som är de mest adekvata i varje enskilt fall. Vi (behöver) inte bara veta att skolan fungerar mer eller mindre väl i olika sammanhang utan också varför. Vi behöver få ett betydligt bättre grepp om de olika mekanismerna i undervisningsprocessen, vilken roll som olika metoder och yttre ramar spelar för vad som faktiskt händer i skolarbetet både från den effektiva inlärningens och den sociala fostrans synpunkt. Här gäller om någonsin satsen att ingenting är så praktiskt som en god teori. En bättre förståelse av hur skolsystemet faktiskt fungerar i sitt inre arbete gentemot de givna målen blir också av stor betydelse då det är dags att göra en storrevision som innefattar en omprövning av målen.5 5.1.3Den fortsatta debatten om den nationella utvärderingen pågick således ett arbete med att forma en natio- nell utvärdering av skolan inom SÖ. 1989 genomfördes en första studie, som omfattade elever i årskurs 2 och 5 i . Resul- taten publicerades innan myndigheten lades ned. har sedan genomfört resultatmätningar med varierande inriktning och omfattning 1992, 1995, 1998 och 2003. Se vidare kapitel 4 samt bilaga 3. 5 , (1971) a.a. Reformutvärdering – historik och nuläge Den form som SÖ gav utvärderingen kritiserades i en skrift av fem professorer i pedagogik.6 Man menade att resultatmätningarna på elevnivå tilldelats alltför stor tyngd i förhållande till kunskaper om undervisningens ramar och processer och att det i SÖ:s pro- gram knappast klargjordes hur data skulle analyseras och tolkas, samt hur och till vad de skulle användas. Man menade att de redo- visade syftena var otydliga och att intresset för hur resultaten skulle återkopplas till lokal nivå var ytterst svagt. Till exempel hänvisade till att en rad pedagogikforskare ställt sig öppet kritiska inte mot kunskapsprövningar som sådana utan till att testprogrammet blivit överdimensionerat och felbalan- serat. Man menade att en bättre balans mellan resultatinformation samt information om vad undervisningen innehållit och med vilka metoder den bedrivits i olika skolmiljöer och för skilda elevgrupper skulle göra det betydligt lättare att förklara bakgrunden till even- tuella brister. Ju bättre förklaringar man kan ge till starka och svaga sidor i undervisningen, desto lättare blir det att genomföra ett åtgärdsprogram i syfte att förbättra den . menade vidare att SÖ aldrig hade tagit något samlat grepp över utvärderingsfrågan. Han hävdade att en nationell utvär- dering inte endast kan begränsa sig till att ange vad som är bra och dåligt. Den måste även kunna svara på frågor om varför och om vilka åtgärder som bör vidtas och att detta ställer krav på olika former av utvärdering. menade att man måste fråga sig vilket huvud- syftet med det nationella utvärderingsprogrammet var och borde vara. Var det kontroll/styrning eller förändring/förbättring? . menade att förändringen mot ett alltmer decentraliserat skolsystem ställde specifika krav på hur utvärde- ringen skulle utformas centralt, regionalt och lokalt. De metoder och modeller som används påverkar styrningen av skolan, såväl vad gäller balansen mellan politisk och professionell styrning som vad gäller balansen mellan central och lokal styrning, och möjliggör utvecklandet av kunskap om skolan. Kritiken mot skolan byggde dock enligt sällan på kunskap om vad den producerade och till vilket pris. Utvärderingen av skolan måste därför bl.a. ske utifrån ett brett samhällsteoretiskt perspektiv. Det innebär att tolkningarna av utvärderingen enligt 6 , (red. ), , , . och (1989) Skolan och utvärderingen. Fem professorer tar ordet. Reformutvärdering – historik och nuläge borde ske med hänsyn till övergripande kunskap om relationer mellan utbildning, produktion och samhällsliv. menade vidare att förändringar av skolan krävde fort- bildning såväl av lärare som av den centrala skoladministrationen. I en vidgad kompetens ligger en vidgad förmåga att ta tillvara kun- skap och erfarenheter, att föra en öppen diskussion, att lyssna till kritik och att bygga upp ett eget minne. Det är inte uppgiften att genomföra ett nationellt utvärderingsprogram jag sett som problemet, utan förmågan att se detta program i ett samman- hang och att kunna bygga det stegvis, så att det skapar en användbar och tillgänglig kunskap. Detta är en utmaning som ett nationellt utvärd- eringsprogram ställer i en administrativ struktur med rötter i central kontroll och där makt i bland förväxlas med kunskap.7 5.1.4Övergången till mål- och resultatstyrning Den övergång till mål- och resultatstyrning av den svenska skolan som skedde ingick i en mer omfattande för- ändring av den statliga styrningen generellt. För skolans del skedde övergången som en följd av beslut om två propositio- ner – propositionen om skolans utveckling och styrning samt pro- positionen om ansvaret för skolan. Propositionen om skolans utveckling och styrning I propositionen om skolans utveckling och styrning8 konstaterades att traditionen att utvärdera verksamheten varit svag i svensk skola om man med utvärdering menar att verksamhetens resultat ställs i relation till målen. Vidare konstaterades att målstyrning förut- sätter att läroplanens mål närmare preciseras i det lokala planerings- arbetet. Ett styrsystem som i större utsträckning skulle bygga på målstyrning förutsatte, enligt regeringen, kraftigt utökade insatser för utvärdering på alla nivåer av skolväsendet. Enligt regeringen borde uppgiften att välja undervisningsmetod och att prioritera vid urval av stoff, både av principiella och prak- tiska skäl, alltjämt förbehållas lärarna och eleverna, så som läropla- 7Franke-Wikberg, (red. ), , , . och (1989) Skolan och utvärderingen. Fem professorer tar ordet. 1988/89:4 Skolans utveckling och styrning. Reformutvärdering – historik och nuläge Den centrala skolmyndigheten förväntades dock noga följa och låta utvärdera undervisningens resultat och vid behov kräva förändringar och förbättringar. De ökade kraven på utvärdering gällde såväl undervisningens resultat i relation till uppsatta mål och riktlinjer som hela den genom- förandeprocess, varigenom målen och intentionerna skulle förverk- ligas. Regeringen menade att de skolpolitiskt ansvariga måste få kunskap om hur deras intentioner förverkligas, och i vilken grad de mål som de angett verkligen uppnås, för att med detta som utgångspunkt effektivt kunna styra skolans utveckling i önskad rikt- ning. På alla nivåer torde särskilt den mer kvalitativt betonade utvärderingen behöva förbättras. Regeringen omnämnde i propositionen det arbete som vid den- na tidpunkt pågick inom SÖ med att utveckla innehåll och former för en nationell utvärdering av skola och vuxenutbildning. Detta var enligt regeringen en naturlig arbetsuppgift för SÖ, men den all- männa inriktningen av en sådan utvärdering borde dock avgöras av riksdag och regering. Att SÖ tilldelades ett ansvar för utvärde- ringen hindrade inte, enligt regeringen, att också vetenskapliga institutioner eller andra organ kunde komma ifråga för särskilda utvär- deringsuppdrag initierade av eller regeringen. Regeringen menade att det var angeläget att utvärderingskompe- hos SÖ förstärktes. Som ett led i denna förstärkning och för att få en bredare vetenskaplig förankring föreslogs att SÖ skulle knyta en referensgrupp eller rådgivargrupp av vetenskaplig expert- karaktär till det särskilda nationella utvärderingsprogram, som SÖ efter principbeslut av och regeringen arbetade med att utveckla. Gruppens uppgift skulle vara att biträda vid utformningen av programmet, vid värderingen av de data som insamlats för utvärderingen samt vid bedömningen av vilka delar av programmet som borde ägnas särskild uppmärksamhet. SÖ och läns- skolnämnderna föreslogs regelbundet publicera sammanställningar av de resultat som de centrala och regionala uppföljningarna och utvärderingarna gav. Med utvecklingen av informationsteknologin skapades nya möjligheter att få tillgång till data om skolan och att länka olika data och utvärderingar till varandra. Regeringen menade därför att en utredning borde genomföras om behovet och utformningen av ett bättre informationssystem för skolan och vuxenutbildningen. Utöver en genomgång av tillgången till infor- mation genom den befintliga forskningen och utvärderingen, och av Reformutvärdering – historik och nuläge den existerande informationen i övrigt, skulle analyseras vilket behov av information som övergången till en ökad målstyrning medförde. I det föreslagna utredningsarbetet föreslogs också ingå att utfor- ma bättre modeller för uppföljning och utvärdering på olika nivåer. Därvid skulle möjligheterna att effektivisera den mer kvalitativt betonade utvärderingen särskilt uppmärksammas. Även möjlighe- terna att bedöma effekterna av den förda utbildningspolitiken och den förändrade styrningen och ansvarsfördelningen skulle upp- märksammas, liksom effekterna av att använda utvärdering som kontroll- och förändringsinstrument. Någon utredning av det slag som föreslogs blev aldrig tillsatt. Regeringen återkom i stället till frågan i den s.k. ansvarsproposi- tionen och i det interna beredningsarbete som följde på denna. I den s.k. ansvarspropositionen9 konstaterade regeringen återigen att uppföljning och utvärdering skulle bedrivas såväl i den enskilda skolan som på och nationell nivå. De av och regeringen fastställda målen måste kunna följas upp och utvärderas nationellt. Avsikten var att och regeringen regelbundet skulle få en bild av tillståndet i skolan genom rapporter och utvär- deringar. Den då befintliga uppföljningen och utvärderingen av verksamheten i skolan betraktades som osystematisk och fragmen- tarisk. Det var svårt att få en helhetsbild, som det sak- nades uppgifter om hur olika kommuner drev sin verksamhet och vilka resultat som uppnåddes. I anslutning till arbetet med att utforma riktlinjerna för det kom- mande läroplansarbetet pågick också ett arbete med att ta fram rikt- linjer för den nationella utvärderingen av undervisningsresultat. Regeringen menade att denna utvärdering måste kompletteras av en nationell uppföljning som ger möjligheter till att mer systematiskt mellan kommunerna jämföra prestations- och kostnadsutveckling- en i de olika skolformerna, för de samlade statliga och kommunala resurserna. Det nationella utvärderingsprogram som SÖ påbörjat skulle enligt regeringen komma att utvecklas successivt. En viktig uppgift förväntades bli att planera och samordna arbetet så att en samlad bild av skolans verksamhet skulle kunna presenteras, som underlag 1990/91:18 Ansvaret för skolan. Reformutvärdering – historik och nuläge för ställningstaganden i fråga om skolans framtida styrning och utveckling. Det borde, enligt propositionen, ankomma på rege- ringen att ge riktlinjer för det fortsatta arbetet. Som nämnts ovan tillsattes aldrig den utredning om ett informa- tionssystem för skolan och vuxenutbildningen som regeringen avi- serade i styrpropositionen. Inte heller fullföljdes SÖ:s nationella utvärderingsprogram. Ansvaret för utvärderingen kom i stället att föras till när detta inrättades 1991 som SÖ lades ned. fick ansvaret för uppföljning och utvärdering. Inför inrättandet av genomfördes ett internt arbete med att utforma uppföljningssystemet inom . har sedan sin tillkomst på eget initiativ genomfört flera nationella utvärderingar av . Den senaste stora utvär- deringen genomfördes (NU 03)10. Några riktlinjer för det fortsatta arbetet med att utforma ett nationellt utvärderings- program för skolan, på det sätt ansvarspropositionen aviserar, har inte getts av regeringen. 5.1.5Sammantaget – ingen reformutvärdering att tala om Sammantaget kan konstateras att det inte finns några exempel på summativa reform- utvärderingar på skolans område som initierats av regering eller riksdag. Införandet av föregicks dock av omfattande utredningar och försöksverksamheter som utvärderades. Det fanns således i det fallet ett starkt formativt inslag, där den bästa kunska- pen togs tillvara. Utvärdering diskuterades dock livligt , av såväl regering som forskare. Endast i begränsad omfattning har denna debatt gällt explicit reformutvärdering. I högre grad har de ambi- tioner som uttryckts gällt uppföljnings- och utvärderingssystemet generellt, dvs. handlat om hur en ökad kunskap om skolan och sko- lans prestationer ska kunna etableras. 10 Om de nationella utvärderingarna av se bl.a. bilaga 3. Reformutvärdering – historik och nuläge 5.2Var står vi ? Ser man tillbaka på perioden och jäm- för med perioden därefter kan man konstatera att mycket känns igen och att inte mycket har hänt, åtminstone inte när det gäller reformutvärdering. När det gäller uppföljnings- och utvärderings- systemet har en utveckling skett, men det kvarstår också ambi- tioner att infria.