sou · H2B312 · 2014-03-12 00:00:00 — Utöver att tydliggöra utvärderingssystemets olika delar och deras syften bör ramverket också tydliggöra vilka myndigheter och andra aktörer som har ansvar för systemets olika delar. Det kan synas självklart var ansvaret ligger när vi har stora centrala skol- myndigheter, som och Skolinspektionen. finns det dock flera ytterligare aktörer på den svenska utvärderingsscenen med uppdrag om utvärdering som berör skolan. På nationell nivå handlar det om politisk utvärdering (IFAU), Statskontoret, samt universitet och högskolor. Vidare står () för insamling av statistik från huvudmän och skolor. SCB publicerar dessutom regelbundet statistik om skolan samt svarar för de s.k. elevpanelerna. Slutligen genomför även andra aktörer, exempelvis kommuner och landsting (SKL), viss uppgifts- insamling och publicerar vissa nyckeltal. Utredningen menar att det av ett nationellt ramverk bör framgå vilken roll utvärderingen har i samband med större reformer, dvs. såväl inför, under och efter en reform, samt hur sådan utvärdering kan organiseras. Den konkreta utvärderingen av en specifik reform måste dock utformas i förhållande till just den aktuella reformen. Syftet med ramverket är därför att utgöra en infrastruktur för 6 Observera att forskningen kan vara oberoende eller genomföras på uppdrag. Att forsk- ningen tas med som en aktivitet i ett ramverk inskränker inte på något vis den oberoende forskningens oberoende. för utvärdering av skolan – för bättre överblick och styrning utformningen av en sådan utvärdering, inte att vara en handbok om hur den ska genomföras i det specifika fallet. Vi föreslår även att ramverket kompletteras med regelbundet återkommande planer för utvärdering av skolan, t.ex. . Av dessa bör framgå regeringens övergripande prioritering för ut- värderingen av skolan för den aktuella perioden. Enligt vår uppfatt- ning skulle sådana planer kunna bidra till att utvärderingen av skolan blir mer långsiktig och i högre grad kommer att baseras på en analys av de verkliga kunskapsbehoven. I en reformfas kommer en sådan plan i stor utsträckning att präglas av reformutvärdering. och planen bör beslutas på politisk nivå Som redovisats ovan finns bara på statlig nivå många aktörer med ansvar för olika delar i ett tänkt ramverk för utvärdering. Vi före- slår därför att det nationella ramverket för utvärdering ska fast- ställas av regeringen, förslagsvis i form av en skrivelse till . I arbetet med ramverket skulle ansvarsfördelningen mellan myn- digheter och andra aktörer tydliggöras och eventuella luckor i systemet identifieras. Ett nationellt ramverk skulle därmed bidra till överblick och ett bättre helhetsgrepp. Enligt vår uppfattning är det dessutom viktigt att ramverket utarbetas i former som tar hänsyn till den samlade kunskap som olika parter inom skolans område har, dvs. lärare, skolledare, kom- muner, myndigheter, forskare, etc. Vi återkommer till hur detta inflytande skulle kunna organiseras i kapitel 11 om organisation och ansvarsfördelning. Utredningen vill dessutom understryka värdet av långsiktighet när det gäller utvärderingen av skolan. Det är centralt såväl med hänsyn till användbarhet och kvalitet som ur ett demokratiperspek- tiv. Elever och föräldrar, lärare, rektorer, politiker, media, allmän- het – dvs. alla – ska kunna förvänta sig en kontinuitet när det gäller informationen om den svenska skolan, oavsett om denna beskriver en positiv eller negativ utveckling. När det gäller utformningen av ramverket vore det därför önskvärt med en bred politisk överens- kommelse som kan säkerställa att det får fortleva . Ett nationellt ramverk bör på så vis kunna bidra till att etablera en stabilitet och förutsägbarhet när det gäller t.ex. inter- nationella och nationella kunskapsmätningar. för utvärdering av skolan – för bättre överblick och styrning Ett ramverk som beslutas på regeringsnivå måste hållas på en övergripande nivå, dvs. handla om principer och de stora dragen, snarare än om detaljer. Annars försvåras berörda myndigheters och andra aktörers arbete med att ge det ett konkret innehåll. Avsikten bör därför vara att ge berörda myndigheter och andra aktörer tyd- liga förutsättningar för att genomföra sina uppdrag. bör även utformas så att det medger viss flexibilitet och anpassning i förhållande till framtida förändringar utan att behöva revideras. Även detta talar för att det inte bör utformas alltför detaljerat. Arbetet med att utforma ett ramverk kan leda till omprövning Arbetet med att utforma ett nationellt ramverk för utvärdering av skolan skulle tydliggöra vad faktiskt har i form av underlag för att utvärdera skolan. skulle utarbetandet av ramverket identifiera vad som saknas, vilka frågor som inte kan besvaras med nuvarande system samt vad som är otydligt med avseende på gräns- dragning mellan olika aktiviteter och aktörer. Ett sådant arbete skulle med allra största sannolikhet leda till en omprövning av vissa delar av systemets utformning. Utredningen har inte sett som sin uppgift att lämna förslag till ett färdigt ramverk för utvärdering av den svenska skolan. Vårt arbete kan dock ses som starten på en process mot ett sådant ram- verk. Vissa frågor som skulle aktualiseras i samband med ett sådant arbete kommer vi dessutom att ta upp i de följande kapitlen. 8Försöksverksamhet – för ökad evidens vid reformer Användningen av försöksverksamhet i samband med reformer eller andra förändringar har nära koppling till utvärdering. Själva poäng- en med en försöksverksamhet är ju att den ska utvärderas innan beslut fattas om huruvida försöket ska permanentas eller avslutas. Även stegvis införande av en reform kan betraktas som en form av försöksverksamhet. Det finns flera fördelar med att genomföra försöksverksamhet inför en reform eller större förändring. Genom att pröva i liten skala kan man undvika misstag i full skala. Försök kan därför lämpa sig i de fall utfallet av en åtgärd inte i förväg kan förutses genom resultat från tidigare forskning och utvärdering. I ett försök är det också möjligt att lära av de erfarenheter försöket ger och vid behov göra justeringar innan reformen eventuellt permanentas. Genom att försöksverksamhet ger förutsättningar för att skapa en kontroll- grupp möjliggörs dessutom användningen av utvärderingsdesigner som annars kan vara svåra att få till stånd. Det bör dock under strykas att det finns andra metoder att skapa kontrollgrupper än genom försök (se vidare kapitel 3). Dessutom måste hänsyn tas till effekterna för berörda elever, vilket vi återkommer till i det följande. Försöksverksamhet är inte någon okänd reform- eller utvecklings- strategi inom svensk skolpolitik. Användningen av försöksverk- samhet är dock en tradition som försvagats i Sverige.1 Ett skäl till detta är sannolikt att tempot i politiken har ökat . 1 Se bilaga 3. Försöksverksamhet – för ökad evidens vid reformer ningstiderna i är långa, som mandatpe- rioderna kan uppfattas som korta. Utredningen har låtit göra en historisk genomgång av utvär- deringens roll i samband med svenska skolreformer (se bilaga 3). Av denna framgår att försöksverksamhet användes i betydande omfattning i samband med parallellskolans avveckling och enhets- skolans införande.2 Även inom ramen för genom- fördes viss försöksverksamhet.3 genom- fördes senare de s.k. ÖGY-försöken i regi av syn av den Gymnasiala Yrkesutbildningen. Försöken handlade om en förlängning av gymnasieskolans yrkesutbildningar och ett ökat inslag av teoretiska ämnen.4 Vidare beslutade 1999 om Timplaneförsöket, en från början femårig försöksverksamhet som innebar att grundskolor i högst 80 kommuner, inom ramen för det totalt garanterade antalet timmar för , fick bedriva utbildning utan att tillämpa timplanens bestämmelser om antalet timmar per ämne eller ämnesgrupp i . Förutom dessa mer omfattande försöksverksamheter har det även förekommit, och förekommer, försök som rört mer avgrän- sade frågeställningar, nämligen -försöken med föräldrastyrelser i och elevstyrelser i gymnasieskolan, -försöksverksamhet med möjlighet för föräldrar att välja att pla- cera barn med utvecklingsstörning i i stället för i särskolan, -försöksverksamhet med lärlingsutbildning, -försöksverksamhet med undervisning på engelska i , samt -försöksverksamhet med spetsutbildning. 2Se även , (1981) Skolsverige 1950-1975. Del .3 Försöksverksamheten. Reformutvärdering i – Historisk tillbakablick. 4Se t.ex. , (2009) Förlängningen av yrkesutbildningarna på gymnasiet: effekter på utbildningsavhopp, utbildningsnivå och inkomster. IFAU, rapport 2009:7. 5Försöket bedrevs med stöd av förordningen (1999:903) om försöksverksamhet med utbild- ning utan timplan i . Denna kom senare att förlängas i omgångar fram till den nya skollagen (2010:800) trädde i kraft. Timplanedelegationen (dir. 1990:90 och 2003:173) hade uppdraget att förbereda, leda, stödja och utvärdera försöksverksamheten. Försöksverksamhet – för ökad evidens vid reformer Varierande grad av utvärdering Flera av dessa försöksverksamheter har pågått och förlängts genom nya beslut. Det gäller bl.a. Timplaneförsöket som förlängdes tills den nya skollagen (2010:800) trädde i kraft och försöken med föräldrastyrelser i respektive elevstyrel- ser i gymnasieskolan samt försöket att välja skolform för elever med utvecklingsstörning. Försöksverksamheten har i vissa fall varit utformad som ett stegvis genomförande, t.ex. i samband med över- gången till enhetsskolan. Några exempel på utvärderingar av försöksverksamhet utgörs av rapporter om försöket med möjlig- het för föräldrar att välja skolform för elever med utvecklings- störning6, Statskontorets rapport av försöket med för- äldrastyrelser7, utvärdering av försöket med undervisning på engelska i grundskolan8 och om spetsutbildning9. Försöket med lärlingsutbildning var organiserat som en offentlig utredning och har rapporterats i tre betänkanden från Lärlingskommittén10. har senare redo- visat en rapport om den gymnasiala lärlingsutbildningens tre första år.11 Inom ramen för ÖGY-försöken pågick en viss utvärdering, men i det fallet genomfördes reformeringen av gymnasieskolan innan slutrapporten från försöksverksamheten hann framläggas. Flertalet av ovan nämnda rapporter har karaktären av kartlägg- ningar genom intervjuer och enkäter. utmynnar de i bedöm- ningar. Man kan således inte säga att de har utvärderats enligt någon vedertagen definition av begreppet utvärdering, dvs. en systematiskt utförd undersökning av om försöket varit fram- gångsrikt eller inte (i förhållande till uppsatta mål eller förvänt- ningar om positiv verksamhetsutveckling). 6Skolverket (1999) Uppföljning och utvärdering av försöksverksamheten med ökat föräldra- inflytande över val av skolform för utvecklingsstörda barn – Slutrapport – (dnr. 96:565) och (2002) I särskola eller grundskola? 7Statskontoret (2002) Regeringsuppdrag att göra en utvärdering av försöksverksamheten med lokala styrelser (dnr. 2001/320-5). 8Skolverkets rapport 351 (2010) Undervisning på engelska Utvärdering av en försöksverksam- het i . 9Skolverket (2013) Redovisning av uppdrag enligt förordning (2011:355) avseende omfattning och utvärdering av försöksverksamhet med riksrekryterande spetsutbildning i högre årskurser /13 (dnr. 10SOU 2009:85 Gymnasial lärlingsutbildning – Hur blev det? Erfarenheter från första försöksåret, SOU 2010:75 Gymnasial lärlingsutbildning – Utbildning för jobb Erfarenheter försök med lärlingsutbildning och SOU 2011:72 Gymnasial lärlingsutbildning – med fokus på kvalitet – Hur stärker vi kvaliteten i gymnasial lärlingsutbildning. 11Skolverkets rapport 373 (2012) Gymnasial lärlingsutbildning 2008–2011. Försöksverksamhet – för ökad evidens vid reformer Timplaneförsöket skiljer ut sig genom det sätt på vilket det till försöket knöts omfattande resurser för både forskning och utvär- dering. Det resulterade i sammantaget tio forsknings- och utvärde- ringsprojekt, varav några använde metodik med kontrollgrupp. Fler- talet av studierna byggde på små urval och kvalitativa studier, i några fall med klassrumsobservationer. Det genomfördes dock även statistiskt säkerställda kvantitativa analyser. Utredningen genom- förde dessutom sådana statistiska analyser av t.ex. underlaget till nationella utvärdering av (NU 03). Tim- planedelegationen sammanfattade resultaten i två betänkanden och publicerade en forsknings- och utvärderingsantologi.12 Få metodologiska ställningstaganden i exemplen ovan Det finns flera viktiga överväganden som behöver göras om en försöksverksamhet ska bli utvärderingsbar, och inte bara framstå som ett successivt införande av karaktären trial-and-error. Framför allt behöver man tydligt formulera vad det är försöket ska pröva – vad är det man vill veta? – och hur det ska utvärderas. Man bör också ta ställning till hur urvalet ska göras av de individer eller verksamheter som ska ingå i försöket och av de som ska utgöra kontrollgrupp. Ska man t.ex. göra ett representativt urval? Eller ska det vara frivilligt att delta i försöket, och vilka konsekvenser får i så fall det för utvärderingen? För flertalet av de försök som redovisats ovan har inte denna typ av överväganden gjorts, eller gjorts i liten utsträckning, vilket påverkat förutsättningarna för att utvärdera försöken. Typiskt är att deltagandet i försöken byggt på frivillighet. Uppdrag om att utvärdera försöken har i vissa fall lämnats efter att dessa pågått . Man kan säga att fokus har legat på vad som skulle prövas, inte på hur det sedan skulle vara möjligt att dra några säkra slut- satser av försöken. När det gäller Timplaneförsöket fördes en kortfattad diskussion om förutsättningarna för utvärdering i den proposition som före- gick försöket. Regeringen resonerade där om att det omfattande urvalet (80 kommuner) skulle göra det möjligt att i ett nästa steg göra lämpliga urval för utvärdering, och att detta skulle skapa goda förutsättningar för utvärdering av god kvalitet. 12 SOU 2004:35 Utan timplan – med målen i sikte, SOU 2005:101 Utan timplan – för mål- nriktat lärande och SOU 2005:102 Utan timplan – forskning och utvärdering. Försöksverksamhet – för ökad evidens vid reformer ingen diskussion om konsekvenserna för utvärderingens validitet av att det var frivilligt att delta i försöket samt att det dessutom ställdes kvalitetskrav på kommunerna för att få delta. Regeringens beslut föregicks dock av en departemental utredning13. 8.2Försöksverksamhet som strategi i andra länder Utredningen konstaterar att det finns länder som har som strategi att använda antingen försöksverksamhet inför att reformer ska genomföras eller stegvis införande av reformer. I exempelvis har försöksverksamheter getts en allt viktigare roll. De brittiska regeringar som suttit vid makten under har målmedvetet drivit på en utveckling i riktning mot evidensinformerade arbetsformer i regeringsarbetet. I en rapport från Cabinet Office14 heter det t.ex. att det fullskaliga införandet av nya reformer, och de mekanismer för implementering som man avser att använda, om möjligt alltid bör föregås av nog- grant kontrollerade försöksverksamheter. Man menar att ett inför- ande som sker stegvis inte bara bidrar till att informera de som berörs av implementeringen, utan även gör det möjligt att identi- fiera och förebygga oavsedda konsekvenser. Ett försök ses som ett viktigt första steg i en reguljär, långsiktig granskning och utvär- dering av reformer. Att försöksverksamhet är förenat med kost- nader i form av tid och resurser och kan medföra vissa politiska risker balanseras, enligt rapporten, av den större risken att bädda in brister i den slutliga reformen, som med ett försök hade kunnat undvikas. ska konstateras att utvecklingen tar sig olika vägar i olika länder. Exempelvis har från och med 1980- talet gått från att genomföra utvärdering av försöksverksamheter utförda av olika kommittéer, till att i stället mer kontinuerligt följa utvecklingen genom ett nationellt uppföljningssystem och genom inspektionsverksamhet.15 Detta ska dock förstås som en följd av att landet bytt reform- och utvecklingsstrategi och gått från strategier som byggde på centralt initierade nationella reformer till en mer stegvis inriktad strategi. Den nuvarande nederländska utvecklings- 13Ds 1999:1 Utan timplan – med oförändrat uppdrag. 14Cabinet Office (2003) Trying it out. Report of a Review of Government Pilots. Government Chief Social Researcher´s Office. 15OECD (2012) Country Background Report for the . on Evaluation and Assessment Frameworks for . Försöksverksamhet – för ökad evidens vid reformer strategin kan därför betecknas som en kontinuerligt pågående, småskalig strategi som har många kännetecken gemensamma med just försöksverksamhet. Slutligen kan konstateras att behovet av försöksverksamheter med kontrollgrupper varierar mellan olika länder. I en federalt upp- byggd stat som till exempel beslutas merparten av skol- politiken på delstatsnivå. Exakt samma förändringar införs sällan i alla delstater. Det innebär att det uppstår vad man skulle kunna kalla naturliga kontrollgrupper. När en reform eller ett sär- skilt program införs i skolorna i en delstat kan elever i en annan delstat utgöra kontrollgrupp.16 8.3Försöksverksamhet stärker förutsättningarna för reformutvärdering Försöksverksamhet kan bidra till både formativ och summativ utvärdering av en reform. Genom en försöksverksamhet kan före- ställningar testas, om på vilket sätt en åtgärd kommer att påverka ett visst problem respektive om den kommer att åstadkomma ett visst förväntat resultat. Utöver att ge svar på vilka resultat en försöksverksamhet ger upphov till kan den också ge svar på om det föreligger stor varia- tion i hur reformen genomförs. Utvärdering av försöksverksamhet kan vidare ge svar på om reformen ger upphov till oavsedda negativa effekter, bedöma i vilken omfattning de förekommer och vilka konsekvenser de riskerar att få. I bästa fall kan utvärderingen även bidra med förklaringar till varför variationer och negativa effekter uppkommer och ge rekommendationer om vad som kan göras för att förhindra dem. Utvärdering av en försöksverksamhet kan även leda till att man avstår från att införa en reform. Det gäller t.ex. där det är oklart hur reformen skulle fungera och risken för ett misslyckande bedöms vara överhängande. Att i förväg testa och utvärdera en tilltänkt reform genom ett försök kan vara särskilt viktigt i de fall reformen i någon mening är innovativ, dvs. inte har prövats tidigare, är 16 Denna skillnad i förutsättningarna för försöksverksamhet i olika länder uppmärksammas även i det brittiska dokumentet Trying it Out. Cabinet Office, 2003. Försöksverksamhet – för ökad evidens vid reformer experimentell till sin natur eller av något annat skäl är förenad med en hög grad av osäkerhet.17 8.4Etiska överväganden i samband med försöksverksamhet En förutsättning för att genomföra en försöksverksamhet är att enskilda individer, i vårt fall elever, utsätts för olika behandling. Vissa omfattas av försöket medan andra utgör kontrollgrupp. Om en utvärdering ska ske med experimentella metoder finns det olika tekniker att skapa kontrollgrupper. Även om en utvärdering inte är utformad med kontrollgrupper innebär försöksverksamhet i de flesta fall att vissa elever blir föremål för en intervention av något slag, medan andra elever inte blir det. Det kan gälla även vid steg- visa införanden av förändringar, men behöver inte göra det. Invändningar av etisk karaktär har i olika sammanhang fram- förts mot att elever behandlas olika på grund av försöksverksamhet. Om en åtgärd leder till positiva resultat för den grupp som omfat- tas av åtgärden kan det anses som orättvist att övriga elever inte omfattas av åtgärden. Om en åtgärd i stället leder till negativa resul- tat kan det anses att en orättvisa har begåtts mot dem som omfat- tats av åtgärden. Denna typ av etiska överväganden görs av forskare inom olika discipliner i samband med forskning eller utvärdering som bygger på experimentella ansatser. Det råder därför ingen brist på forskarreferenser om ämnet. Clarke18 menar t.ex. att en grundläggande princip vid experi- mentell forskning är att experiment endast ska vidtas när för- hållandena är sådana att det råder osäkerhet kring effekterna av en specifik intervention. I sådana fall uppkommer inte de etiska pro- blemen som annars sammanhänger med skapandet av slumpvisa kontrollgrupper. Där det inte finns någon kunskap om huruvida en åtgärd fungerar utgör det faktum att kontrollgruppen inte berörs av åtgärden inte nödvändigtvis ett etiskt problem. Vid varje enskilt utvärderingstillfälle – och en försöksverksamhet kan här uppfattas 17HM Treasury (2011) . Guidance for evaluation. 18Clarke, (2007) evaluation in different professional domains: similarities, differences and challanges i , m. fl. (red.) The of Evaluation. Försöksverksamhet – för ökad evidens vid reformer som ett utvärderingstillfälle – ligger ansvaret enligt på utvär- deraren att redogöra för möjligheten att anlägga ett experimentellt förhållningssätt och visa på vilket sätt fördelarna med slumpvisa experiment väger tyngre än att inte göra det. Andra forskare går längre. Weisburd19 menar att man snarare bör börja med att fråga sig varför en experimentell design inte ska användas. Det ansvar som bör åligga forskaren är att förklara varför en mindre valid metod skulle läggas till grund för slutsatser om åtgärder och praxis. Weisburd menar att det etiska problemet består i att valet av icke-experimentella metoder kan komma att inkräkta på forskarens grundläggande professionella skyldighet att erbjuda de mest svar som forskaren kan få på frågor som han/hon har blivit ombedd att besvara. Clarke20 menar att undersökningar av hur patienter, sjukvårds- personal och andra berörda ställer sig till experiment med slumpvis utvalda kontrollgrupper, visar att dessa i mycket mindre omfatt- ning uttrycker motstånd mot detta slags experiment än en del sam- hällsforskare gör. En slutsats som kan dras från dessa undersök- ningar är enligt att man i samband med experiment med slumpvis utvalda kontrollgrupper behöver lägga både tid och enga- gemang på att klarlägga varför en sådan forskningsdesign behöver användas. Utredningen konstaterar att etiska överväganden alltid måste göras innan en försöksverksamhet inleds. När det finns starka etiska invändningar ska en försöksverksamhet givetvis inte initieras. All försöksverksamhet, som kan komma ifråga på skolans område, har dock inte samma etiska problematik. I många fall bör denna kunna hanteras på ett ansvarsfullt sätt. Om exempelvis en försöksverksamhet snabbt visar så stora positiva effekter att det kan uppfattas som oförsvarligt att endast låta försöksgruppen omfattas av dem, är det inget som hindrar att man beslutar att tidigarelägga genomförandet av reformen för samtliga elever. I det fall en försöksverksamhet i stället visar starka oförutsedda negativa effekter kan försöket naturligtvis avbrytas eller justeras så att de negativa effekterna inte uppstår. Eftersom det gäller ett försök handlar det om ett begränsat och 19Weisburd, (2003) Ethical practice and evaluation of interventions in crime and : the moral imperative for randomized trials. , 27(3). Här citerad efter , (2007) a.a. 20Clarke, (2007) a.a. Försöksverksamhet – för ökad evidens vid reformer kontrollerbart antal berörda elever. Det bör därför vara möjligt att kompensera de elever som har deltagit i försöket för eventuella negativa effekter. Det är inte lika enkelt att på detta sätt kompensera elever om det visar sig uppstå negativa effekter vid en intervention i full skala. Vi menar därför att de etiska övervägandena ofta är lika viktiga när en reform ska genomföras i full skala utan föregående försök, som i samband med en försöksverksamhet. I det första fallet drabbas samtliga elever av de negativa effekterna av en inte tillräckligt väl förberedd reform. 8.5Förutsättningarna för försöksverksamhet i skollagen Utgör kraven på likvärdighet och rättssäkerhet hinder för försöksverksamhet?