sou · H2B312 · 2014-03-12 00:00:00 — I finns två aktörer med ett direkt ansvar för utvär- dering av skolan: ska enligt skollagen (2010:800) på nationell nivå följa upp och utvärdera skolväsendet, övriga utbildningar och verk- samheter som står under Statens skolinspektions tillsyn enligt skollagen, och viss annan pedagogisk verksamhet1. Enligt verkets instruktion2 ska myndigheten rapportera till regeringen i de frågor som dessa uppgifter kan ge upphov till. Uppföljningen och utvärderingen ska öka kunskapen om hur utbildningarna och verksamheterna har utvecklats i förhållande till de nationella målen. Myndigheten ska också sammanfatta och publicera resul- taten av arbetet med uppföljning och utvärdering. Slutligen ska ansvara för officiell statistik3. 126 kap 24 § skollagen (2010:800). 2Förordning (2011:555) med instruktion för . 3Enligt förordningen (2001:100) om den officiella statistiken. Organisering för stärkt utvärdering utvärdering (IFAU) har enligt sin instruktion4 i uppdrag att bland annat utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet. Förutom dessa två myndigheter finns som redovisats i kapitel 4 ett antal aktörer som mer marginellt har betydelse för utvärderingen av skolan. Statskontoret ska enligt sin instruktion5 på regeringens uppdrag bistå med utredningar, utvärderingar samt uppföljningar av statlig och statligt finansierad verksamhet samt övergripande frågor om den offentliga förvaltningens funktionssätt. Utredningen har redan i kapitel 4 konstaterat att de ganska fåtal utredningar som Stats- kontoret haft i uppdrag att genomföra kan motiveras med behovet av en i förhållande till den statliga skol- förvaltningen oberoende aktör eller på grund av att uppdraget legat inom Statskontorets särskilda kompetensprofil. Det offentliga utredningsväsendet kan också genomföra utvärde- ring på regeringens uppdrag. Skolinspektionen ansvarar enligt skollagen ansvarar för tillsyn och kvalitetsgranskning6. Enligt sin instruktion7 ska myndigheten dessutom sammanfatta och publicera resultaten av sitt arbete med tillsyn och kvalitetsgranskning. Skolinspektionen har således inte något direkt utvärderingsuppdrag, men arbetar inom kvalitets- granskningen med en liknande metodik och förväntas bidra till den samlade bilden av den svenska skolan. Skolinspektionen måste där- för räknas in i det vi kallat ett ramverk för utvärdering av skolan. Det bör man däremot inte göra med , trots att även den använder utvärdering som metodik och ibland reviderar den statliga styrningen av skolan. har en helt annan roll. Till dessa aktörer kan läggas forskarsamhället som kan genom- föra utvärderingar på uppdrag av regeringen, offentliga utredningar eller myndigheter. Motivet för att engagera forskare för att genom- föra utvärdering kan vara behovet av att anlita en från den statliga förvaltningen oberoende aktör eller behovet av den kompetens som forskarna besitter i det enskilda fallet. I dessa fall genomför forskarna uppdrag där beställaren styr vad forskaren ska utvärdera. 4Förordning (2012:16) med instruktion för politisk utvärdering. 5Förordning (2007:827) med instruktion för Statskontoret. 62 § 26 kap. skollagen (2010:800). 7Förordning (2011:556) med instruktion för . Organisering för stärkt utvärdering Man bör inte heller bortse från att den oberoende forskningen bidrar till den samlade kunskapen om skolan. Här spelar Veten- skapsrådet en viktig roll. vid stödjer efter nationell prioritering den kvalitets- mässigt bästa forskningen och de bästa forskarna inom områden som är relevanta för skolans, förskolans och utbildningsveten- skapens utveckling. Slutligen bör också nämnas det nya skolforskningsinstitut som ska etableras . Enligt direktiven8 till den organisationsutredning, som förbereder för myndighetens inrättande, ska myndigheten ha i uppdrag att sys- tematiskt väga samman och sprida forskningsresultat som bidrar till ökad kunskap om vetenskapligt väl underbyggda och effektiva metoder och arbetssätt i skolväsendet, dvs. att genomföra s.k. sys- tematiska översikter (systematic reviews). Institutets uppdrag är inte att utvärdera. Genom att göra systematiska översikter kommer man dock att bidra med kunskaper om vilka metoder och arbetssätt som fungerar respektive inte fungerar i skolan. På samma sätt som syftet är vid utvärdering handlar det således om ett kunskapande om skolan och skolans verksamhet. Sammanfattningsvis kan konstateras att det i finns många aktörer som bidrar till kunskapandet om skolan och som kan ges en roll vid utvärderingen av reformer på skolområdet. Även med en snäv avgränsning av begreppet utvärdering är aktörerna många. För att få ett perspektiv på det svenska systemet har utredningen valt att belysa utvärderingssystem i några andra länder. Vi har redan tidigare i betänkandet redogjort för hur olika länder byggt upp sina utvärderingssystem och hur de ser på utvärdering av reformer samt på evidensinformerad styrning. Hur de gör det har också konsek- venser för hur länderna har organiserat sin utvärdering av skolan. Framställningen baseras här på litteraturstudier och underlag från bl.a. de besök utredningen gjort i , , och samt , som vi tyvärr inte hann besöka inom de tidsramar vi hade till förfogande, men som är väl dokumenterat. Se vidare bilaga 5 för en nogrannare redogörelse över de olika län- 8 Dir. 2014:7 Inrättande av ett skolforskningsinstitut. Organisering för stärkt utvärdering dernas utvärdering av skolan och organisering av deras utvärde- ringssystem. De beskrivna länderna uppvisar vissa gemensamma drag i hur utvärderingen av skolan organiserats, som skiljer sig från hur organiseringen ser ut i . I andra avseenden skiljer de sig också tydligt sinsemellan. Jämfört med är närheten mellan policyutformning och resurserna för utvärdering och analys stor i flertalet andra länder. Det gäller generellt och för flera av de länder vi besökt, t.ex. , och . och är mer lika i detta avseende. intar, som vi uppfattar det, en mellanställ- ning med en större närhet mellan ministeriet och den centrala skolmyndigheten än i . Att skiljer ut sig så starkt i detta avseende har att göra med den svenska förvaltningsstruk- turen, med ett litet regeringskansli och självständiga myndigheter. Detta är en struktur och ansvarsfördelning med en lång historisk tradition. En annan påtaglig skillnad jämfört med är att flera av de länder vi besökt har ett helt annat sätt att se på, och organisera för, samverkan med olika berörda parter inom skolsamhället när det gäller utvärdering av skolan. Exempel är Rådet för utvärdering och kvalitetsutveckling av folkeskolen () i , det som ska svara för den strategiska styrningen av det nybildade Nationella centret för utbildningsevaluering i och det programstyre som etablerades för utvärderingen av Kunskaps- lyftet i . I samtliga dessa fall involveras företrädare för såväl huvudmän som fackliga organisationer och i vissa fall företrädare för föräldrar och elever/studerande i styrningen av utvärderingen. I exemplen från och är även forskare starkt före- trädda. Även i förekommer boards med företrädare för olika intressen i styrningen av nationella utvecklings- eller utvärde- ringsprojekt. Arbetet med att utveckla skolan i präglas överhuvudtaget av ambitionen om en skolpolitisk konsensus. Detta sätt att organisera styrningen av utvärderingen av skolan innebär i flera fall att forskarsamhället får en annan och mer uttalad roll. Utredningen har intrycket att det i dessa länder också är van- ligare än i att politiskt initierad utvärdering av reformer på skolans område genomförs av forskare. I engageras forskare av regering eller myndigheter i första hand i utvärdering av implementering av reformer snarare än av resultatet av desamma. Organisering för stärkt utvärdering I , och har man, liksom nu är avsikten även i , skapat organ för att sammanställa och/eller presen- tera systematiska kunskapsöversikter. Även i används metodiken. Systematiska översikter utgår från redan genomförd forskning eller kvalificerad utvärdering och kan utgöra viktiga underlag för utvärdering av exempelvis reformer, varför organise- ringen av dessa insatser nämns här. När det gäller just utvärdering av reformer skiljer ut sig genom det sätt man organiserat utvärderingen av på – under ledning av ett särskilt programstyre, och med omfat- tande resurser. Det bör observeras att själva organiseringen av detta utformades av den ansvariga myndigheten, efter att denna fått rege- ringens uppdrag att svara för utvärderingen, och att uppdraget inte påverkades av det regeringsskifte som skedde medan utvärderings- insatsen pågick. En intressant konsekvens av det sätt som utvärderat refomer på, genom omfattande projekt som involverar forskarsamhället, är att det vuxit fram starka forskningsmiljöer inriktade på vad vi skulle kalla för policy- relevant forskningsbaserad utvärdering. I , och sker utvärdering av reformer mer ad hoc, men det sker. har inte genomfört några mer omfattande reformer på länge, varför det är svårt att ha någon upp- fattning om hur en sådan utvärdering skulle utformas. I däremot har en stor mängd omfattande reformer genomförts , utan att det tagits initiativ till någon reformutvärdering. När detta nu sker, sker det på initiativ av riksdagen9, och handlar om att i efterhand utvärdera effekterna av de reformer som genomfördes . För ingen av de mer omfattande reformer som genomförts sedan 200610 har något specifikt utvärderingsuppdrag lämnats från rege- ringen, varken till eller till något oberoende utvärde- ringsorgan, t.ex. forskare eller utvärderingsinstitut. saknar en tradition att utvärdera reformer på skolområdet, vilket även framgår av kapitel 5 och bilaga 3. 9Riksdagens tillkännagivande om att regeringen borde tillsätta en utredning med uppdrag att analysera och utvärdera de senaste årens stora skolreformer – kommunaliseringen, det fria skolvalet och fristående skolors etablering (bet. 2010/11:UbU7, rskr. 2010/11:206). Sedan tillkännagivandet har tillsatts en särskild utredare med uppdrag att utvärdera effekterna av kommunaliseringen av skolväsendet (U 2019:09) och givits ett uppdrag till IFAU att utvärdera skolreformerna. 10För en redovisning av dessa, se utredningens delbetänkande Det tar tid – om implemente- ringen av skolpolitiska reformer (SOU 2013:30). Organisering för stärkt utvärdering Sammantaget uppfattar vi att trenden i vår omvärld är en för- stärkt organisering av utvärderingen av skolan samt ett ökat politiskt intresse för utvärdering och reformutvärdering. 11.3Andra röster om organiseringen av utvärdering 11.3.1Att nå ut och nå ända fram (SOU 2009:94) lämnade en utredare betänkandet Att nå ut och nå ända fram (SOU 2009:94) till regeringen. Utredningens uppdrag handlade om två delar – policyinriktad utvärdering respektive sprid- ning av forskning med relevans för skolans måluppfyllelse. Utred- ningen lämnade följande fyra delförslag: 1.Ett Råd för utbildningsutvärdering och analys organiserat som en kommitté inom . Inriktningen av rådets arbete skulle vara policyinriktade utvärderingar på nationell nivå. 2.En mäklarfunktion inom utbildningsområdet med uppdrag att genomföra systematiska översikter av forskningsresultat. Sådana följer vissa standardiserade steg där metoderna är explicita och transparanta och förutsätter en användardialog för att säkerställa relevans och användbarhet etc. Utredaren föreslog ett nordiskt samarbete kring detta, initialt med som redan har Danish Cleraringhouse. 3.En funktion för spridning av forskningsresultat. Utredaren bedömde att även fortsatt skulle ha detta ansvar. 4.En regional organisation med syfte att se till att information från utvärderingar och forskning sprids och används. Utredaren rekom- menderade att de regionala utvecklingscentrumen (RUC) skulle utnyttjas av universitet och högskolor i detta syfte och att deras uppdrag därför skulle utvidgas. Utredaren uppmärksammade att universitetens och högskolornas mer autonoma ställning i för- hållande till staten försvårar styrningen av RUC:en. Något råd för utbildningsutvärdering och analys av det slag som föreslogs av utredaren har inte inrättats. Däremot har IFAU getts det utvidgade uppdrag som redovisats ovan. Det bör dock upp- märksammas att IFAU:s utvärderingar är avgränsade till kvantita- tiva studier, i första hand effektutvärderingar. Organisering för stärkt utvärdering innebar ett råd för policyinriktade utvärderingar på nationell nivå som byggde på en bredare syn på utvärdering. Någon mäklarfunktion i samarbete med andra nordiska länder har inte heller inrättats. Däremot har regeringen tagit initiativ till det nya skolforskningsinstitiut som ska etableras och som redovisats ovan. Institutet ska arbeta med att systematiskt väga samman och sprida forskningsresultat som bidrar till ökad kunskap om vetenskapligt väl underbyggda och effektiva metoder och arbetssätt inom skolväsendet, dvs. att bland annat genomföra s.k. systematiska översikter (systematic reviews). Slutligen bör observeras att , helt i enlighet med utredarens tredje delförslag, fortfarande har uppdraget att samman- ställa och sprida kunskap om resultat av forskning. uppdrag sammanfaller således i denna del med en av huvudupp- gifterna för det skolforskningsinstitut som regeringen ursprung- ligen aviserades 2012 i forskningspropositionen11. Enligt direk- tiven12 till den särskilda utredare som getts i uppdrag att förbereda inrättandet av myndigheten ska myndigheten kunna inleda sin verksamhet . Det fjärde förslaget, att med stöd av RUC:arna sprida forsk- ningsresultat så att dessa används, har inte lett till något nationellt initiativ. Som en konsekvens av universitetens och högskolornas ökade autonomi har det nationella kravet på att det ska finnas RUC:ar försvunnit. Parterna i de olika regionerna reglerar samar- betet mellan å ena sidan universitet/högskola och å andra sidan skola och förskola. I vilken utsträckning spridning av forsknings- resultat ingår i samarbetet varierar. Mer indirekt bygger naturligtvis de kurser och den kompetensutveckling man erbjuder på forsk- ning. 11.3.2Institutionaliseringen av utvärdering – ett fenomen i tiden Utvärdering var ursprungligen en insats som genomfördes vid ett specifikt tillfälle efter beslut av någon instans som hade behov av den. Det kunde vara en myndighet, en kommun, ett företag eller en annan verksamhet. Utvärderingen utfördes av en eller flera indivi- 2012/13:30 Forskning opch innovation. 2014:7 Inrättande av ett skolforskningsinstitut. Organisering för stärkt utvärdering der som hade de kompetenser som krävdes för uppgiften. Dessa personer kunde finnas inom eller hämtas utanför organisationen. har utvärdering byggts in som en reguljär del i olika verksamheter. Myndigheter har i sina instruktioner inte sällan utvärdering som en av sina uppgifter. Utvärderingsverksamheten kan därmed sägas ha institutionaliserats. Gröjer13 ger i sin avhand- ling ett exempel på detta från högskoleområdet. Enligt Gröjer handlade myndigheternas14 utvärderingsverksam- het inom högskoleområdet först om att ge regeringen besluts- underlag. Den hade alltså tydliga politiska förtecken. fick den en inriktning mot att ge underlag för förbättringar på hög- skolorna inom sådana områden där de själva kunde fatta beslut. Utvärderingen kännetecknades alltså av att ge beslutsunderlag på lokal nivå. Denna inriktning har enligt Gröjer förstärkts allt mer. Tillkomsten av innebar dock enligt Gröjer att utvärderingens syfte att bidra med beslutsunderlag för den politiska nivån återigen tydliggjordes. Det har också med tiden tillkommit särskilda myndigheter som har utvärdering som sin specifika huvuduppgift. Statskontoret har15 beskrivit utvecklingen mot att staten organiserar utvärdering i sek- torsspecifika myndigheter som är fristående i förhållande till poli- tikens implementering. Myndigheten konstaterar att det är en trend med många olika uttryck. De fristående utvärderingsmyndig- heterna har tillkommit under olika tidsperioder, i olika samman- hang och i olika syften. Enligt Statskontoret presenteras utvärderingar i förarbetena som lösningen på ett antal problem inom skilda områden: effektivitet, styrning, legitimitet, information och kunskap. Med hjälp av utvär- deringar hoppas regeringen bl.a. kunna kontrollera myndigheters effekti- vitet, öka insynen i offentlig verksamhet, få underlag för utveckling av politiken, stöd i styrningen av sina myndigheter och hjälp med att lösa samhällsproblem såsom arbetslöshet och kriminalitet. Oavsett hur behovet av utvärdering beskrivs är emellertid argu- menten för att det behövs en fristående myndighet för att genomföra utvärderingarna i stort sett desamma. Framför allt är det vikten av 14De har funnit ett antal myndigheter inom området: (), Universitets- och högskoleämbetet (UHÄ), () och . heter myndigheten åter . 15Statskontoret (2011) a.a. Organisering för stärkt utvärdering oberoende som betonas. Här citeras ofta den princip som också förfäktar och som går ut på att man bör skilja uppgiften att utföra en verksamhet från den att utvärdera resultaten. Ingen annan organisationsform än en fristående utvärderingsmyn- dighet anses kunna uppfylla kraven på oberoende.16 Statskontoret menar vidare att även om det i olika förarbeten uttalas att utvärderingsmyndigheterna bör ha utrymme att agera långsiktigt och ta egna initiativ, så är utvärderingsverksamheten hos flera av myndigheterna i stor utsträckning uppdragsstyrd från regeringen. Vissa myndigheter har fått ett större utrymme att agera själv- ständigt. I andra fall har regeringen betonat myndigheternas stabs- stödjande roll genom att i myndigheternas instruktioner föreskriva att de löpande ska bistå regeringen med beslutsunderlag och hand- lingsrekommendationer. Diskussionen om fristående utvärderings- myndigheter kan därmed, menar , relateras till diskus- sionen om kapacitet för analys, beställning och mottagning av utvärderingar. Ett alternativ till att inrätta fristående utvärderingsmyndigheter med stabsstödjande roller skulle, enligt Statskontoret, kunna vara att lägga motsvarande resurser hos ansvarigt departement. Genom att resurserna förläggs till en myndighet är de emellertid fredade och riskerar inte att ätas upp av den dagliga ärendehanteringen i . I flera fall har utvärderingsmyndigheterna även andra uppdrag som t.ex. att ansvara för statistikhantering, omvärldsbevakning, analys och metodutveckling. Storleken på utvärderingsmyndig- heterna varierar, men Statskontoret bedömer att de generellt måste anses vara små, särskilt i förhållande till de områden som de ska utvärdera. 11.3.3OECD om organisering och styrning av policyrelevant utvärdering I en rapport från 201317 analyserar sättet att bedriva det centrala regeringsarbetet i tretton länder. Man kommer bl.a. in på frågan om utvärdering av politiska reformer och program. Det bör observeras att iakttagelserna gäller för den statliga förvaltningen generellt, inte endast för skoladministrationen. 16Statskontoret (2011) a.a. 17OECD (2013) Value for Money in Government: . Organisering för stärkt utvärdering De intervjuer som OECD-teamet genomfört i pekar på två huvudproblem med att lägga ansvaret för utvärdering av policy18 på självständiga myndigheter på det sätt som sker i . Man uppmärksammar bl.a. att kopplingen är svag mellan den policy- utvärdering som görs i myndigheterna och det arbete med politik- utveckling och styrning som sker i fackdepartementen. Enligt rapporten indikerade personal i departementen att det är svårt att påverka utvärderingsmyndigheters agenda och att få politiskt rele- vanta och användbara råd från dem. pekar också på svårig- heter att balansera ett ideal om institutionell självständighet och oberoende med kravet att garantera relevanta utvärderingar. Man uppmärksammade också att flera av utvärderingsmyndigheterna inte heller har något tydligt och specifikt fokus på utvärdering utan ofta har en hel rad andra uppgifter. menar att det primära ansvaret för utvärdering av poli- tiska reformer och program bör ligga på ansvarig minister snarare än på de verkställande myndigheterna, även om de senare natur- ligtvis bör vara delaktiga under hela processen. rekommenderar även att ska överväga att följa det danska exemplet och överföra ansvaret för all reformutvär- dering (policy evaluation) till antingen universitet eller till specia- liserade forskningsorgan. Man menar att fackdepartementen på detta sätt kan få tillgång till oberoende och relevant forskning om reformer. Man pekar dock på att denna typ av organisering av reformutvärderingen inte är oproblematisk då högskolor och fri- stående forskningsinstitut principiellt eftersträvar oberoende från regeringens politiska agenda. 11.4Förslag om ett råd med dubbla funktioner Utredningens förslag: Ett Råd för utvärdering av skolan inrättas med två huvuduppgifter: 1.Löpande bistå regeringen i utvärderingsfrågor avseende skol- väsendet. Det innebär t.ex. att - utarbeta förslag till ett nationellt ramverk för utvärdering, 18 Det bör uppmärksammas att det engelska språket gör skillnad på policy i bemärkelsen innehåll i en politisk reform eller annan åtgärd och politik som avser att besluta om och genomföra en policy, dvs. själva det politiska spelet. På svenska används uttrycket policy ibland i bemärkelsen riktlinje eller värderingsmässig bas som ligger till grund för ett age- rande. Här används ordet policy i den engelskspråkiga betydelsen. Organisering för stärkt utvärdering -lämna förslag till nationell plan för utvärdering av skolväsen- det, samt -inom ramen för en sådan plan vid behov kunna initiera policyrelevant forskningsbaserad utvärdering. 2.Vid större och genomgripande reformer inom skolväsendet bistå regeringen med -förslag till program för reformutvärdering, -att vid behov initiera forskningsbaserad reformutvärdering, -att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen (forskare, utvärderings- institut, myndigheter etc.), -att sammanfatta resultat från olika aktörers utvärderingar, samt -att sammanfatta identifierade behov av ytterligare stöd till, eller justeringar av, den aktuella reformen. Rådet organiseras som en kommitté inom , med ett begränsat kansli. Rådets ledamöter, dvs. de som ska ha beslutsbefogenhet i rådet, förslås vara forskare som represen- terar olika forskningsdiscipliner. I övrigt föreslås rådet bestå av sakkunniga som företräder olika delar av skolsamhället, t.ex. , berörda myndigheter och skol- huvudmän, samt företrädare för lärare, rektorer och elever. Förutsättningarna för ett evidensinformerat politiskt beslutsfat- tande samt för en kvalificerad utvärdering av politiska reformer kan enligt utredningen förbättras genom en tydligare och mer ända- målsenlig organisering och ansvarsfördelning. Enligt vår uppfatt- ning bör den framtida organiseringen och styrningen bidra till att genomföra regeringens strategier för utvärdering på skolans områ- de. Sådana strategier bör bidra till att det kommer till stånd en kvalificerad utvärdering som bidrar till en förbättrad systemkun- skap om skolan samt till att reformer i högre grad än kommer att utvärderas . Ett viktigt instrument för att åstadkomma detta är, som vi ser det, att det utformas ett nationellt ramverk för utvärdering som bl.a. bidrar till en långsiktigt stabil myndighetsstruktur på skolans område där ansvarsfördelningen är tydlig. Ett annat är att det tas fram en övergripande nationell plan för utvärderingen av skolan samt att det vid behov fattas beslut om inriktningen av, och plan Organisering för stärkt utvärdering för, specifika utvärderingsstudier. Om ramverk och nationell plan, se vidare kapitel 7. Enligt vår uppfattning bör dessutom olika in- tressenter på skolans område göras mer delaktiga i de processer som föregår beslut om inriktningen av utvärdering. Vidare bör den nationella utvärderingen av skolans verksamhet, liksom utvärderingen av reformer på skolans område, kunna bidra till både nationell policyutveckling och lokal skolutveckling.