sou · H2B312 · 2014-03-12 00:00:00 — Det innebär att den dels bör förse både den nationella och den lokala nivån med relevant kunskap om resultatet av interventionerna, dels bidra till utvecklingen av skolan utifrån såväl ett nationellt som ett lokalt perspektiv. Att organisera för detta är naturligtvis svårare än om man endast har den centrala nivåns summativa kunskapsbehov för ögonen. Den mer mångfacetterade ambitionen gör det särskilt viktigt att involvera de olika intressenterna på skolans område i arbetet med att utforma utvärderingen av skolan. Utvärdering har dessutom effekter i sig. Det gäller därför att utforma de olika inslagen i systemet på ett sådant sätt att den lokala verksamheten och utvecklingen inte störs eller att utvärderingen leder till att utvecklingen får en icke avsedd inriktning (oavsedda bieffekter). Utredningen delar slutsats att det är på central politisk nivå ansvaret för att fatta strategiska beslut om utvärderingen av skolan måste ligga. Det är t.ex. regeringen som måste ta ansvar för att reformer utvärderas och att detta sker med den bredd och med de olika perspektiv som skissats ovan. Det kan inte någon av myn- digheterna inom området göra. , som annars har i uppdrag att svara för uppföljning och utvärdering av skolan, har t.ex. inte något specifikt uppdrag att utvärdera reformer. Det är svårt att se att myndigheten utan ett sådant uppdrag från regeringen skulle kunna ta initiativ till mer genomgripande reformutvärderingar, då detta skulle innebära att regeringens centrala skolmyndighet oombedd skulle utvärdera regeringens förda politik. Om regeringen efterfrågar och tillför resurser för en sådan utvärdering ställs frågan naturligtvis i en annan dager. Man bör dock beakta att är en del av skol- systemet och att det därför i vissa fall kan vara mindre lämpligt att det är just som utvärderar en reform. Att myndighetens implementeringsinsatser ska utvärderas av en oberoende aktör är självklart och sker också. roll i styrningen av skolan Organisering för stärkt utvärdering gör emellertid att det kan finnas skäl att även i övrigt överväga att lägga vissa former av reformutvärdering på andra aktörer. Till skillnad från har IFAU uppdraget att utvärdera effekter av reformer på utbildningsområdet. Vi har dock redan konstaterat att utvärderingen av effekter av reformer endast utgör en pusselbit i den strategi för utvärdering av skolan och av reformer på skolområdet som behövs. Bara mängden aktörer som kan ha en roll vid utvärderingen av skolan och av reformer på skolområdet pekar på behovet av en stärkt nationell styrning. Till ovan nämnda myndigheter kan läggas Skolinspektionen, det aviserade , , samt forskare och andra utvärderingsorganisationer. Rådet för utvärdering av skolan – med oförändrad myndighetsorganisation i övrigt Utredningen föreslår att det inrättas ett råd för utvärderingsfrågor inom skolområdet, Rådet för utvärdering av skolan. Förslaget är i vissa avseenden inspirerat av det förslag till ett Råd för utbild- ningsutvärdering som föreslogs i betänkandet Att nå ut och nå ända fram (SOU 2009:94). Enligt detta tidigare förslag skulle rådet inriktas på policyinriktade utvärderingar på nationell nivå inom utbildningssektorn. Inriktningen av det råd som föreslås här skiljer sig i vissa avseenden från det tidigare förslaget. För det första är vårt förslag begränsat till utvärderingsfrågor på skolans område, helt enkelt för att vårt uppdrag avser skolan. Vi har mot den bakgrunden inte haft möjlighet att bedöma behoven av ett organ av detta slag för den högre utbildningen. Vi menar dock att rådet bör svara mot hela skolväsendets behov. Det innebär att exemeplvis förskolan bör omfattas. För det andra föreslår vi ett råd med två huvuduppgifter – ett grunduppdrag och ett uppdrag kopplat till reformutvärdering. En av rådets huvuduppgifter bör vara att bistå till regeringen med att utarbeta förslag till det ramverk för utvärdering som föreslås i kapitel 7. Det inebär att rådet kommer att lämna förslag till rege- ringen om den strategiska inriktningen av den nationella utvär- Organisering för stärkt utvärdering deringen av skolan samt föreslå hur ansvarsfördelningen för frågor om utvärdering av skolan bör se ut. Rådet bör ha en god överblick över de olika aktörernas pågående utvärdering av skolan samt, inte minst, över vad som behöver utvärderas. Rådet föreslås också lämna förslag till den nationella plan för utvärdering som förelås i kapitel 7. Rådet bör inom ramen för den nationella planen, och mot bakgrund av en behovsanalys, ges för- utsättningar att initiera policyrelevant forskningsbaserad utvärde- ring. Vid reformering av skolan Rådet föreslås dessutom bistå regeringen i samband med större och genomgripande reformer på skolområdet. Inför genomförandet av en sådan reform bör rådet bistå regeringen med förslag till program för reformutvärderingen. Ett sådant program bör kunna omfatta olika former av forskningsbaserad utvärdering och engagera olika forskningsdiscipliner. Under en pågående reform bör rådet, med utgångspunkt i det av regeringen beslutade programmet kunna upphandla reformutvär- dering av forskare och andra utvärderare samt följa och kvalitets- säkra arbetet inom dessa projekt. Rådet bör också kunna bistå regeringen med att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen, t.ex. forskare, utvärderingsinstitut, myndigheter, etc. Målsättningen bör därutöver vara att rådets arbete med reformutvärdering ska kunna resultera i en samlad analys av resultat från de olika aktörernas utvärderings- insatser som rapporteras till regeringen. En sådan samlad analalys kan idenifiera behov av att justera reformen eller påverka den nationella strategin för att implementera den. Detta skulle innebära att rådet i samband med större refomer ges ett uppdrag som i mycket skulle likna det som det norska Pro- gramstyret hade vid utvärderingen av i . Om ett mer permanent råd inte inrättas förordar vi att modellen används åtminstone vid utvärderingen av större reformer. Organisering för stärkt utvärdering Liksom i SOU 2009:94 föreslår vi att rådet ska organiseras som en kommitté inom . Vi menar att denna form har flera fördelar. Genom en sådan konstruktion kommer rådet att befinna sig på vad man skulle kunna kalla för ett lagomt avstånd till regeringen – tillräckligt nära för att kunna lämna förslag till rege- ringens beredning av utvärderingsfrågor, men på tillräck- ligt avstånd för att, liksom en myndighet, vara självständiga i det dagliga arbetet. I samband med genomförandet av de uppgifter som rådet getts av regeringen, t.ex. att samordna och analysera resul- taten från reformutvärdering, får det inte råda något tvivel om rådets oberoende. I annat fall äventyras utvärderingens legitimitet och trovärdighet. En fördel med att organisera rådet i form av en kommitté är att det ger en stor flexibilitet. Under lugnare perioder kan sekretariatet bestå av ett fåtal personer, för att i reformskeden kunna växa för att möta ökade behov av samordning och analys. Vi bedömer dess- utom att den flexibilitet som kommittéformen ger kan underlätta rekryteringen av sådana kvalificerade forskare till sekretariatet, som annars kan vara obenägna att lämna den akademiska karriären. I ett sekretariat kan man arbeta under mer begränsad tid eller dela sin tid mellan forsknings- och sekretariatsmiljön. Rådets sammansättning och medlemmarnas inflytande Utredningen föreslår att rådet sätts samman av företrädare för olika delar av skolsamhället, dvs. med företrädare för forskare från olika discipliner samt för , berörda myndighe- ter och skolhuvudmän samt för lärare, rektorer och elever. På detta sätt skapas ett forum för de strategiska frågorna om utvärderingen av den svenska skolan. Genom att representera både en verksam- hetsmässig bredd och en djup kunskap om utvärdering på skol- området kan rådet bidra till att utvärderingssystemets olika perspektiv och syften lyfts fram och samordnas. Dessutom kan det bidra till systemets legitimitet. Ytterligare en fördel med kommittéformen är att den möjliggör att olika företrädare i rådet ges olika typ av inflytande19. 19 Enligt kommittéförordningen (1998:1474) kan en kommitté bestå av en ordförande och en eller flera ledamöter samt biträdas av sakkunniga, expeter och sekreterare. Ledamöter och sakkunniga ska få del av de handlingar som är avsedda för kommittén och har rätt att närvara Organisering för stärkt utvärdering förordar vi en ordning där ordförande och ledamöter, dvs. de som fattar kommitténs beslut ska vara välmeriterade forskare med olika inriktning. Vi förordar vidare att övriga representanter bör vara sakkunniga, vilket innebär att de har rätt att ta del av kommitténs underlag, har rätt att delta vid kommitténs möten och överlägg- ningar samt har rätt att lämna ett särskilt yttrande i det fall de inte är eniga med de beslut som fattas. Med en sådan lösning ges myndigheter och företrädare för lärare, skolledare och elever möj- lighet att påverka, men gör dem inte direkt ansvariga för de förslag som lämnas till regringen och de initiativ rådet tar. Vi uppfattar att detta är en ordning som ligger närmare en svensk tradition än om även dessa aktörer skulle göras fullt delaktiga i besluten. Det senare skulle för myndigheternas del innebära en form av rundgång, där de själva var med och i rådet lämnade förslag till sina egna och andra aktörers uppdrag. För organisationerna skulle det leda till att roll- fördelningen blev otydlig. Oförändrade uppgifter för befintliga myndigheter Det bör observeras att förslaget att inrätta Rådet för utvärdering av skolan innebär oförändrade uppgifter för myndigheterna på skol- området. De uppgifter som rådet är tänkt att svara för, och de utvärderingar som det kan komma att föreslå eller initiera, genom- förs i allt väsentligt inte . Som påpekar har myndig- heter som många andra uppgifter som tränger ut den mer omfattande och djuplodande utvärderingen. Det innebär att det saknas resurser för den utvärdering som vi anser är nödvändig för att öka kunskapen om den svenska skolan samt för att utvär- dera reformer. Det finns flera anledningar till att vi inte lämnar något förslag som går i en mer långtgående riktning, dvs. föreslår inrättandet av en ny myndighet för utvärderingsfrågor. att modellen med ett råd i kommittéform först bör prövas och utvärderas efter- som modellen har stora fördelar. Det behöver dessutom inte vara ett problem att olika typer av utvärdering och kunskapande om vid kommitténs sammträden och att delta i kommitténs överläggningar medan experter ska biträda kommittén i den omfattning kommittén eller ordföranden bestämmer. Ordförande och ledamöter deltar i de beslut som fattas av kommittén. Ledamöter har reservationsrätt. Ledamöter och sakkunniga får skriva särskilda yttranden. Expeter slutligen får skriva sär- skilda yttranden endast i frågor som omfattas av expertuppdraget och om kommittén går med på det. Organisering för stärkt utvärdering skolan genomförs av olika aktörer, så länge det är tydligt vem som gör vad och varför. Den ansvarsfördelning som utkristalliserar sig bygger på specialisering och innebär att IFAU är den myndig- het som har kompetens på i första hand effektutvärdering medan exempelvis det nya institut med inriktning på skolforskning som ska inrättas kommer att bygga upp kompetens för att systematiskt väga samman och sprida forkningsresultat om metoder och arbetssätt i skolan. Den utredning som ska förbereda inrättandet av myndigheten ska också överväga om denna även bör ha i uppdrag att i begränsad omfattning initiera forskning inom området. Det föreslagna Rådet för utvärdering av skolan bör dessutom kunna bidra till att roll inom utvärderingen av skolan stärks. bör kunna svara för en metodologisk bredd vad gäller utvärderingen av skolan. Myndigheten har dessutom förut- sättningar att länka utvärderings- och utvecklingsperspektiven inom samma myndighet. Fördelarna med att bedriva utvärdering i en miljö som även svarar för statistiksystemet, de internationella undersökningarna, de nationella proven etc. är uppenbara. Enligt kommittéförordningen1 ska en utredning redovisa eventuella ekonomiska eller samhällsekonomiska konsekvenser av sina förslag samt föreslå finansiering om förslagen leder till kostnadsökningar eller intäktsminskningar. För nya eller ändrade regler ska kostnads- mässiga och andra konsekvenser anges i betänkandet2. Vidare ska enligt kommittéförordningen eventuella konsekvenser redovisas för det kommunala självstyrelsen redovisas, liksom när ett förslag har betydelse för brottsligheten och det brottsförebyggande arbetet, för sysselsättning och offentlig service i olika delar av landet, för små företags arbetsförutsättningar, konkurrensförmåga eller villkor i övrigt i förhållande till större företags, för jämställdheten mellan kvinnor och män eller för möjligheterna att nå de integrations- politiska målen. Slutligen framgår av förordningen att regeringen anger närmare i utredningens uppdrag vilka konsekvensbeskriv- ningar som ska finnas i betänkandet. I direktiven till föreliggande utredning har regeringen inte angett att det ska göras några sådana konsekvensbeskrivningar. Vi har ändå valt att i det följande diskutera vissa ekonomiska konsekvenser av förslagen. Utredningens karaktär och inriktningen av de förslag vi lämnat gör att vi funnit att det inte varit motiverat att göra konsek- vensbeskrivningar för samtliga områden. Utredningen innehåller dessutom ett begränsat antal förslag som föranleder konsekvens- beskrivningar. 114–16 §§ Kommittéförordningen (1998:1474). 2Enligt 6–7 §§ förordningen (2007:1244) om konsekvensutredning vid regelgivning. De förslag som utredningen lämnat avser -framtagande av och beslut om ett nationellt ramverk för utvär- dering av skolan och framtagande av treåriga planer för utvär- dering av skolan -införande av stickprovsbaserade undersökningar för att följa kunskapsutvecklingen i skolan, samt -inrättandet av ett råd för utvärdering av skolan. Rådets kostnader inkluderar kostnader för ramverk och plan När det gäller ekonomiska konsekvenser hör den första och sista punkten samman, eftersom det är rådet för utvärdering som före- slås ta fram förslag till ramverk respektive plan för utvärdering. Det är således kostnaderna för rådet som behöver beräknas. En grund- bemanning bör inte behöva vara större än ett par årsarbetskrafter. Det innebär att en rimlig kostnad rör sig om cirka 2–2,, inkl. kostnader för ledamöter och sakkunniga. Kostnaderna för rådet i de fall rådet ges i uppdrag i anslutning till en specifik reform blir naturligtvis avsevärt högre. Exempelvis var de totala kostnaderna för utvärderingen av i . Detta måste dock beräknas särskilt vid varje enskilt reformtillfälle. Vi menar dock att det bör vara självklart att varje reform finansieras, inte endast avseende kostnad- erna i verksamheterna, utan också avseende kostnader för imple- mentering och utvärdering. Kostnaderna för stickprovsbaserade undersökningar måste utredas i ett sammanhang med hela systemet för utvärdering av kunskapsresultaten Ett införande av stickprovsbaserade undersökningar för att följa kunskapsutvecklingen skulle innebära omfattande kostnader. Skol- verket uppskattade i en rapport från 20063 att det förslag4 som lämnats av professor initialt skulle kosta och för påföljande cykler 55 miljoner 3Rapport 286 (2006) Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen. 4Jan-Eric (2006) för ett system för uppföljning av kunskapsutvecklingen i . Underlag utarbetat på uppdrag av . kronor per tillfälle, dvs. igenom- snitt under antagande att mätningarna i varje ämne upprepades . bedömde att dessa kostnader var för höga och lämnade ett förslag med vad man menade var en rimligare ambitions- nivå och med rimligare kostnader. Regeringen har ännu inte tagit ställning till förslaget som, mot bakgrund av de senaste årens reformer, nu är delvis inaktuellt. Såväl Lgr11:s nya kursplaner som införandet av betyg i årskurs 6 och nationella prov i flera ämnen och andra årskurser än har förändrat förutsättningarna. De gjorda uppskattningarna får ses som räkneexempel. Enligt vår uppfattning är det inte meningsfullt att nu bryta ut frågan om kost- naderna för stickprovsundersökningar ur frågan om utvärderingen av kunskapsresultaten i sin helhet. Den utredning som föreslås få i uppgift att utreda frågan om stickprovsbaserade undersökningar i ett sammanhang med hela systemet för utvärdering av kunskaps- resultaten, dvs. även det nationella provsystemet, bör även svara för kostnadsberäkningar och förslag till finansiering av sina förslag. Behov av att förstärka finansieringen av det nationella uppföljnings- systemet Den infrastruktur som uppföljningssystemet utgör behöver enligt vår uppfattning en finansiell förstärkning för att det ska vara möj- ligt att följa utvecklingen inom hela skolväsendet. Det gäller sär- skilt efter de senaste årens reformer. Förutom den löpande, årliga kostnaden för uppgiftsinsamling och statistikframställning uppstår även initiala kostnader för utveckling och anpassning av de befint- liga insamlings- och granskningssystemen samt för att ta fram ny statistik. Dessutom saknas tillräckliga resurser för att utveckla och modernisera systemet. I budgetunderlaget för 2014-2016 menar att det behövs en permanent ökning av anslaget med för att uppföljningssystemet ska kunna omfatta fler insamlingar än och bibehålla den nuvarande kvalitetsnivån. Det handlar om kostnader för utökad uppgifts- insamling med anledning av beslutade reformer, bl.a. parallella insam- lingar som äldre regelverk fasas ut, fler nationella prov, betyg i årskurs 6 och betyg från teknikprogrammets fjärde år i gymnasieskolan. Därutöver behövs enligt verket ett tillfälligt tillskott med 4 mil- joner kronor , för att kunna göra justeringar i det befintliga tabellverket. För att kunna utveckla en ny statistikdatabas, bl.a. mot bak- grund av ökade krav på datatillgänglighet och publicering genom s.k. webbtjänster, bedömer verket att det krävs sammanlagt 20 mil- joner kronor –2016. Sammantaget handlar detta om dels en permanent förstärkning med , dels tillfälliga förstärkningar med , och 7 miljo- ner kronor . Utredningen bedömer att detta är lågt räknat. har ingen särskild anslagspost för statistik- och uppföljningssystemet. Medel för förvaltning och utveckling avsätts inom ramen för myndighetens interna budgetprocess. Mot bak- grund av myndighetens samlade uppdrag och det utgiftstryck som vilar på myndighetens anslag är det svårt att tänka sig att medel kan frigöras genom förändringar inom myndighetens nuvarande anslags- ramar. En särskild anslagspost för statistik- och uppföljningssystemet skulle tydligare än uttrycka statens ambitioner på området. Slutligen bedömer utredningen att det är önskvärt att det s.k. vid ges stabila ekonomiska förutsättningar. , (2013) Kvalitetsutvärdering av högre utbildning – en kritisk granskning av det svenska systemet framtagen på uppdrag av SNS . Albæck, (1996) Why all this Evaluation? Theoretical notes and empirical observations on the functions and growth of evaluation, with as an illustrative case. 11, No. Alkin, M. C., & , C. (2004). An evaluation theory tree. C. Alkin (Ed. ), Evaluation roots: Tracing theorists; views and influences. Thousand Oaks, CA: . , (2012) The Use of Evidence to Improve Education and Serve the Public Good. Paper prepared for the and the annual meeting of the , , . Amnå, (2013) Speak truth to . Statsvetarna och kommitté- väsendet. Statsvetenskaplig 112 (5). , (2007) Lärartäthet, lärarkvalitet och arbets- marknad för lärare. IFAU, rapport 2007:5. Bew, (2011) Stage 2 testing, assessment and accountability. Biesta, (2007) Why What Works won´t work: practice and the democratic deficit in education research. Educational Theory, Vol. 57, No. , (1998) Learning, League Tables and National Asessment: opportunity or hope deffered? 24, No 1. , (2010) Systematiska översikter, vetenskaplig kumu- lativitet och evidensbaserad pedagogik. Pedagogisk forskning i . 15, nr. 2/3. Buckendale, W., . , , . Sireci, , April L. Zenisky, and (2009) Evaluation of the National Assessment of Educational Prog- ress. Breakspear, (2012) The Policy Impact of : An Exploration of the Normative Effects of International Benchmarking in Performance. Education Working Papers, No. , och (2011) Att äga, styra och utvär- dera stora projekt. , (2000) Det går inte att styra med resultat. Statsve- tenskaplig , årg. 1203, nr. Burns, and Tom Schuller (ed.) (2007) Evidence in Education. Böhlmark, och (2012) Lika möjligheter? Familjebakgrund och skolprestationer 1998-2010. IFAU, rapport 2012:14. Böhlmark, och (2012) Har den växande fri- skolesektorn varit bra för elevernas utbildningsresultat ? IFAU, rapport 2012:17. Cabinet Office (1999) Professional Policy Making for the Twenty First Century. Report by Strategic Policy Making Team. Cabinet Office (2003) Trying it out. Report of a Review of Government Pilots. Gocvenrment Chief Social Researcher´s Office. Cable, (2004) Evidence and UK Politics. Article in Research and Policy Development: Does Evidence Matter? , and (2008) to Support Edu- cational Improvement. Springer Science + Business Media, LLC. , , och (red.) Forskning om denna världen II – om teorins roll i praxisnära forsk- ning. , (2004) De målrelaterade gymnasiebetygens prognosförmåga. Pedagogisk Forskning i , 9(2). , (2004) Betygsinflation i de målrelaterade gymnasiebetygen. Pedagogisk Forskning i , 9(1). 2012) Att bygga om en rondell i rusningstrafik? Uppföljning av informationsinsatser vid imåplementeringen av skollagen. , (2007) evaluation in different professsional domains: similarities, differences and challanges i , m. fl. (red.) The of Evaluation. Cochrane, (1972) Effectiveness and Efficiency. Random Reflections on . : Nuffield Provincial Hospi- tals Trust (Reprinted in 1989 in association with the BMJ, Reprin- ted in 1999 for Nuffield Trust by the Press, . Commission of Union (2007) Towards more knowledge- based policy and practice in educatrion and training. Commission staff working document. SEC(2007) 1098. Cordingley, (2004) Teachers using evidence: Using what we know about teaching and learning to reconceptualize evidence-based practice. I G. . Pring (red.) practice in education. S., . Noakes, and . Schröter (2011) A Evaluation Practice From 1990 to 2009. 32(2) 199–226. , (2011) Uppföljning och utvärdering av resultat i komplexa situationer. En begrepps-och metodutforskande uppsats med ett utfall från internationellt utvecklingsarbete. , (2003) Det politiske i evaluering. Studies in Educational Policy and Educational Philosophy. , (2005) Vaikuttavuuden arviointi. (Utvärdering av effektivitet). (1971) Svensk utbildningsplanering under . Danish Clearinghouse for (2007) Concept Note, v. 12. (2000) The Relevance of Systematic Reviews to Educational Policy and Practice. 26, Nos. 3 & 4. , (2004) Is Ecidence-Based Government Possible? 4th Annual Campell Collaboration Colloquium, D.C. , , and (2006) Government as structural context for evaluation i , , . and . (Ed.) The of Evaluation. Policies, programs and Practicies. and skills and Office for standards in education (2004) A new Relationship with Schools. (2010) The Importance of Teaching. The schools 2010. (2011) Stage 2 testing, assessment and accountability. (2013) . Ds 2000:34 Samhällets grundläggande information – Inventering. Ds 2005:16 Att fånga kunnandet om lärande och undervisning. Om villkoren för skolledare och lärare att ta del av systematiskt framtagen kunskap om utbildningsverksamhet. Utbildnings- och kulturdeparte- mentet. Education, () (2009) National Testing of Pupils in Europé: Objectives, Organisation and Use of Results. (2006) Effektutvärdering. Att välja upplägg. , och , (2001) Systematic Reviews of : does the model fit? British Educatio- nal , Vol. 27, No. Fazekas, Mihály and (2012) Exploring the Complex Interaction Between Gowernance and Knowledge in Education.