sou · H1B330 · 2013-05-03 00:00:00 — Däremot finns generell forskning om implementering av reformer som har gett stöd för vår analys av hur det kan förväntas ta till dess att implementeringen kommit så långt att reformernas effekter kan börja bli synliga och mätbara. Implementeringsforskningen kan också bidra till att identifiera faktorer som är av betydelse för möj- ligheterna att förstå och utvärdera reformer, något som utredning- en återkommer till i slutbetänkandet. Det finns dessutom en hel del forskning om implementering av förändringar i skolan. Denna har dock ofta ett lokalt perspektiv och knyter inte ihop nationella initiativ med vad som händer i klassrummet. Att den internationella forskningen inte fokuserar effekter av nationella läroplansreformer av det slag som genomförts i beror delvis på att det i andra länder är förhållandevis ovanligt med denna typ av nationella reformer. Forskningen kan trots detta ge betydelsefulla bidrag till förståelsen av vad som är viktigt för att förändringar ska få genomslag i klassrummet. Frågan om implementering belyses vidare i avsnitt 2.3, kapitel 10 och 11 samt i bilaga 2. Bedömning – inte utvärdering Det finns således ett flera svårigheter som är förknippade med upp- draget. Dessutom har utredningen inte haft förutsättningar att ge- nomföra egna undersökningar. Att mäta effekter som ännu inte kunnat uppstå låter sig helt enkelt inte göras. Att studera på vilket sätt lärarnas praktik förändras till följd av åtgärderna är en forsk- ningsuppgift som behöver löpa över . Vi konstaterade tidigt under arbetets gång att det inte går att fastställa ett fixt datum från vilket de olika åtgärderna i samverkan kommer att få avsedda effekter. Vi har dock sökt att, med stöd av forskning, beprövad erfarenhet och kloka bedömningar, skaffa oss en uppfattning om vad som trots allt kan vara en någorlunda ini- tierad bedömning av när åtgärderna kan förväntas få genomslag – om inte på elevernas studieresultat, så på faktorer som forskningen visar har betydelse för studieresultaten. Ett exempel på detta är om lärare ändrar sina undervisningsstrategier eller inte. Med detta som utgångspunkt har vi sedan sökt bedöma när det i sin tur tidigast kan tänkas uppstå avläsbara effekter i de internationella studierna. Den tid det tar för att få genomslag för de olika reformerna och åtgärderna beror på vad olika aktörer i systemet gör. Vi belyser där- för även hur implementeringen kan påverka reformernas genom- slag. Utredningen har arbetat brett och öppet. Vi har exempelvis samta- lat med ett stort antal personer med för oss viktig kunskap och överblick. Det handlar om medarbetare på berörda myndigheter, som , och betsmarknads- och utbildningspolitisk utvärdering (IFAU). Det handlar vidare om verksamma i kommuner, forskare inom olika discipliner (pedagogik, företagsekonomi, nationalekonomi, statsve- tenskap, etc.) och företrädare för olika organisationer inom utbild- ningsområdet. Utöver möten med enskilda medarbetare vid myndigheterna har utredningen dessutom sammanträffat med en re- ferensgrupp med medarbetare vid och . Gruppen har bidragit med sin djupa och breda kun- skap och erfarenhet om skolan och styrningen av skolan. Vi har dessutom samrått med berörda myndigheter. Utredningen har genomfört ett seminarium med forskare från och . Vid detta diskuterades bland annat karaktären på de olika åtgärderna, hur mer eller mindre genomgripande dessa är, hypoteser man kan ha beträffande deras möjliga effekter, hur de olika insatserna kan förväntas samverka eller motverka varandra, förutsättningarna att följa utvecklingen och slutligen när eventuella effekter kan tänkas uppstå. Både referensgruppen med medarbetare från myndigheterna och de forskare från som deltog i seminariet har dessutom getts möjlighet att läsa och lämna synpunkter på utkast till detta be- tänkande, vilket har fört arbetet vidare på ett positivt sätt och varit uppskattat från vår sida. Vi vill understryka att det är utredningen som ansvarar för såväl redovisning, analys som slutsat- ser. Utredningen har haft ett möte med företrädare för kommuner och landsting (SKL) för att diskutera uppdraget. Utredningen har dessutom haft många och olikartade kontakter med skolchefer. Tillsammans med Föreningen har utredningen anordnat ett seminarium med deltagare från olika delar av landet. Inför seminariet besvarade ett mindre antal skol- chefer en enkät från utredningen. Vi har också deltagit vid en sam- mankomst med skolchefer anordnad av län (KSL). Sammantaget har utredningen genom dessa olika aktiviteter samlat intryck om implementeringen av de olika refor- merna och andra åtgärderna från ett trettiotal skolchefer. Allt från till små kommuner i glesbygd har represen- terats. Utredningen har också besökt kommun och där sam- manträffat med skolchef, rektorer, forskare verksamma i skolan m.fl. samt med skolchefen för kommun. Vidare har vi besökt kommun och sammanträffat med skolchef, grund- skolechef m.fl. Slutligen har vi haft ett särskilt möte med skol- chefen i . Vid kommunbesöken har bland det lokala arbetet med, och förutsättningarna för, implementeringen av reformerna diskuterats. Utredningen har träffat en grupp med företrädare för , och bland annat diskutera hur de verksamma i skolan ser på reformerna och förutsättningarna för implementeringen. Vidare har utredningen sammanträffat med Friskolornas riks- förbund och för att diskutera reformerna och implementeringen ur ett friskoleperspektiv. Utredningen har därutöver besökt för mate- matik (NCM) i och samhällsvetenskap- liga ämnenas didaktik (CSD)i . Utredningen har också mött en företrädare för Svenska läro- medel, Läromedelsförlagens branschorganisation. På förfrågan har organisationen tillskrivit utredningen med underlag om hur den nya läroplanen med kursplaner (Lgr11) har påverkat läromedels- utgivningen och läromedelsförsäljningen. Utredningen har träffat företrädare för Kunskapsdepartementet och Utdanningsdirektoratet i för att ta del av deras erfaren- heter av implementeringen och utvärderingen av reformen Kun- skapslyftet . Vidare har vi deltagit i den slutkonferens som genomfördes med anledning av . Erfarenheterna från våra besök i har relevans för detta delbetänkande lik- som för det kommande slutbetänkandet. Utredningens expertgrupp har haft tre möten under arbetet med delbetänkandet. Gruppen har bestått av representanter för Utbild- ningsdepartementet. I kapitel 2 Utgångspunkter utvecklas bakgrunden till de åtgärder som vidtagits och diskuteras på vilket sätt studieresultat och måluppfyllelse kan mätas på ett relevant sätt. Vidare fördjupas frågorna om att mäta effekter, om implementering och om utred- ningens metod. I kapitlen 3–9 redogörs för och analyseras områdesvis de olika åtgärder som vidtagits. Det finns samband mellan åtgärder som re- dovisas inom skilda kapitel. Den sammantagna analysen av dessa samband görs inte här utan i kapitel 10–11. I kapitel 10 redovisas och analyseras de insatser som genomförts för att stödja implementeringen av reformerna. I kapitel 11 görs slutligen en sammantagen analys och bedömning. Utredningen ska bedöma när de i direktiven utpekade reformerna får avsedda effekter. I detta kapitel diskuteras därför inledningsvis hur vi tolkar effektbegreppet samt hur sådana effekter om möjligt kan mätas. Som ett ytterligare analysstöd för utredningens arbete redogörs också för kunskapsläget vad gäller implementering av reformer. Effektbegreppet är centralt i utredningsdirektiven. Ekonomistyr- ningsverket (ESV) har tagit fram en handledning för effektutvärde- ring inom statlig verksamhet1. ESV definierar en effekt som en för- ändring som inträffat som en följd av en vidtagen åtgärd och som annars inte skulle ha inträffat. Vedung2 diskuterar olika slags effekter och hur de förhåller sig till varandra. huvudeffekter som beslutsfattaren primärt och medvetet önskar uppnå, nolleffekter som innebär att en insats inte får några konsekven- ser, dvs. att ingenting alls inträffat eller att den förändring som skett skulle ha skett även utan insatsen, perversa effekter som innebär att reformen får rakt motsatta kon- sekvenser än de som avsågs; perversa effekter kan vara både positiva och negativa och uppstår ofta långt fram i styrkedjan och , samt bieffekter som antingen kan vara förutsedda (avsedda) eller oförutsedda (oavsedda) samt positiva eller negativa. 1Ekonomistyrningsverket (2006:8) Effektutvärdering. Att välja upplägg. 2Vedung, (2009) Utvärdering i politik och förvaltning. Effekter kan uppstå såväl inom det område som satts upp som mål för en intervention eller en reform, som utanför denna. Effekter kan ingå i en effektkedja, dvs. uppstå i flera led där en insats leder till en effekt som i sin tur leder till en ny effekt och så vidare. Vid utvärdering är det vanligt att en analys av en effektkedja tar sin utgångspunkt i en verksamhetslogik, eller programteori, dvs. i en beskrivning av förväntade relationer mellan exempelvis resursin- sats, aktiviteter, prestationer och effekter. Att göra en effektutvärdering innebär att göra en noggrann efter- handsbedömning, dvs. en bedömning som görs efter det att en åt- gärd har vidtagits. Utvärderingen förväntas spela en roll i framtida praktiska beslutssituationer. I en effektutvärdering försöker utvär- deraren fastställa ett orsakssamband mellan en insats och en för- ändring av ett tillstånd som organisationen i fråga försökt påverka.3 En förutsättning för effektutvärdering är således att det tillstånd utvärderaren är intresserad av är möjligt att mäta. I en redovisning till regeringen skriver Statskontoret4: Att utvärdera effekter innebär att försöka fastställa ett orsakssamband mellan en insats och en förändring av ett tillstånd som insatsen varit tänkt att påverka. Det räcker alltså inte att kunna konstatera att en förändring skett, utvärderaren måste också kunna argumentera för att förändringen beror på insatsen i fråga. Det är dock enligt Statskontoret inte alltid möjligt att direkt fånga det tillstånd man är intresserad av. Utvärderaren måste då försöka identifiera olika mätbara aspekter av, eller referensalternativ till, det tillstånd man avser att utvärdera. För att kunna jämföra resultatet av en insats med utfallet om en insats inte vidtagits måste utvär- deraren dessutom både känna till utfallet i utgångsläget och vad som skett efter insatsen. En nödvändig förutsättning vid effekt- utvärdering är därför oftast att det finns data . Det finns enligt ESV ett flertal olika metoder att mäta effekter. En effektutvärdering kan till exempel göras med eller utan kon- trollgrupp. Man kan även skilja mellan effektstudier som har ett empiriskt upplägg och sådana som har ett teoretiskt upplägg. 3Ekonomistyrningsverket (2006:8) och Vedung a.a. 4Statskontoret (dnr. 2008/23-5) Att utvärdera fortbildningens effekter – förutsättningar och möjligheter. med ett teoretiskt upplägg utgår inte från empiri utan framför allt från logiska resonemang byggda på till exempel verksamhetslogik, statistiska modeller och litteraturstudier. En effektstudie kan också kombinera både en empirisk och en teoretisk ansats. Att mäta effekterna av en statlig insats kan enligt ESV vara svårt. Effekterna kan uppstå först på , in- satserna kan vara heterogena och bestå av många olika delinsatser, insatserna kan påverkas av andra reformer eller samhällsföränd- ringar, etc. Beslutet om att en utvärdering ska göras kommer dess- utom ofta , dvs. först sedan reformen sjösatts. Samman- taget innebär detta att en empiriskt inriktad effektutvärdering ofta inte låter sig göras. Resultaten av en teoretisk utvärdering har van- ligen inte samma tyngd som en väl utförd empiriskt baserad ut- värdering, konstaterar ESV, och bör därför presenteras försiktigt. Även styrutredningen5 pekar på några av de grundläggande problem som sammanhänger med utvärdering av offentlig verk- samhet. För det första handlar det om svårigheten att definiera och mäta de förändringsvariabler man är intresserad av. Det krävs ofta en operationalisering av variablerna för att de ska kunna hanteras i en utvärdering, vilket skapar en viss osäkerhet om vad det egent- ligen är man mäter (reliabilitets- och validitetsproblematiken). För det andra är det ofta svårt att ringa in och definiera den insats som ska leda till en viss förändring. Avgränsningar kan göras på olika sätt. Även om de två första svårigheterna kan hanteras så kvarstår ett tredje, mer svårlöst problem, nämligen det s.k. kausalitetsproble- met. Att fastställa ett samband är en sak, att fastställa orsaker till sambandet är en annan. Orsakssamband är enklast att fastställa om antalet variabler som har betydelse är begränsat. När antalet variab- ler som kan påverka ett visst förlopp eller utfall ökar blir de möjliga sambanden alltför komplexa för att kunna hanteras av de analys- verktyg som är tillgängliga. För att kunna identifiera effekter måste man enligt Styrutred- ningen kunna utröna hur mycket av förändringarna i målvariablerna som är en direkt följd av de gjorda insatserna. Problemet fördjupas ju det gått från det att initiativet togs till dess att effekterna studeras. Likaså försvåras effektutvärderingen ju flera led som finns i effektkedjan. Särskilt problematiskt blir det om kopplingen är svag mellan de förväntade samhällseffekterna och 5 SOU 2007:75 Att styra staten – regeringens styrning av sin förvaltning. vad en eller flera myndigheter har kontroll över, och befogenhet, att vidta åtgärder om. Som nämnts i inledningen stannar forskning vid att effekter inte kan påvisas, vilket enligt inte be- höver betyda att effekter saknas. Effekter kan mycket väl finnas, men inte framträda på grund av brister i det empiriska underlaget eller i de analysverktyg som kommit till användning. Det är vidare viktigt att skilja mellan effekten av själva åtgärden och effekten av genomförandet av samma åtgärd. Man måste till exempel skilja på å ena sidan effekten av nya kursplaner på elever- nas studieresultat och å andra sidan effekterna av imp- lementeringsinsatser. Effekter bedöms ofta utifrån mål som staten (eller huvud- mannen) satt upp. Om målen inte är tillräckligt tydliga behöver, enligt ESV, indikatorer på måluppfyllelsen tas fram. En indikator kan baseras på både kvantitativa och kvalitativa data. Syftet med en indikator kan vara att förutsäga förändringar i utvecklingen, att etablera en baslinje mot vilken förändringar kan mätas eller att visa på behov av och identifiera möjligheter till åtgärder. 2.1.2Vad betyder detta för utredningen? För utredningen är effektutvärdering av betydelse, inte för att vi har i uppgift att utvärdera effekterna av de åtgärder regering och riksdag har vidtagit, utan därför att vi knappast kan uttala oss om tidpunkten för när effekter uppstår utan att ha en uppfattning om vilka effekter som kan förväntas uppstå, och under vilka omstän- digheter dessa kan antas bli infriade. Sammantaget ger utredningens uppdrag exempel på flertalet av de försvårande faktorer vid effektbedömning som redovisats ovan. För merparten av åtgärderna kan exempelvis effekter ännu inte ha uppstått, vilket gör att det saknas kvantitativa data. Det gör det i sin tur svårt att påvisa samband mellan orsak och verkan (kausali- tet). Dessutom är åtgärderna många och av olika karaktär, vilket gör det svårt att bedöma vilka relationerna mellan åtgärderna är, hur de samverkar och eventuellt motverkar varandra. Vidare påver- kas skolans praktik även av andra samhällsförändringar och effekt- kedjan mellan åtgärd och avsett utfall är för en del av åtgärderna lång. Det är således en mycket komplex verklighet som utred- ningen har att hantera. Utredningen kan mot denna bakgrund i de flesta fall knappast uttala sig på empiriska grunder om när de åtgärder som har vidta- gits för att höja kunskapsnivån och öka måluppfyllelsen i kan förväntas få avsedd effekt. Vi har i stora delar fått anta ett teoretiskt perspektiv. I stället för att utvärdera effekter av vad som har hänt har vi fått arbeta med hypoteser om vilka effekter som kan tänkas uppstå med anledning av de vidtagna åtgär- derna, och försöka bedöma när lämpliga mättidpunkter infaller. Vi har då huvudsakligen sökt ta utgångspunkt i logiska resonemang, erfarenheter av tidigare genomförda förändringar, erfarenheter från andra länder – bland annat har genomfört och utvärderat en stor reform, – och från prognoser om den framtida utvecklingen, till exempel det framtida lärarbehovet. I detta arbete har studier av forsknings- och annan litteratur varit centrala inslag liksom samtal och seminarier med forskare och andra nyckelpersoner. Det är följaktligen knappast möjligt att leda i bevis att just en viss åtgärd leder till förbättrade studieresultat, vilket är det yttersta målet för de flesta av reformerna och de övriga insatserna. Inte heller är det möjligt att fastställa hur mycket en viss åtgärd, till- sammans med andra åtgärder, bidrar med till en total effekt. Vi har därför fått vända på perspektivet och fråga oss vad som utifrån forskning och beprövad vetenskap är de viktigaste faktorerna för att påverka elevernas studieresultat, dvs. vilka framgångsfaktorerna är för goda studieresultat. Utifrån det har vi sedan härlett vilka åtgärder som måste betraktas ha störst respektive minst potential att påverka studieresultaten. En praxisförändring i klassrummet kan till exempel indikera att det ska uppstå förbättrade stu- dieresultat. Med avsedda effekter förstår utredningen förbättrade kunskaps- resultat och ökad måluppfyllelse. Vi tolkar måluppfyllelse som ett vidare begrepp än kunskapsresultat. Kunskapsresultaten är en delmängd av måluppfyllelsen som dessutom även kan omfatta läroplanens mål, om till exempel normer och värden samt ansvar och inflytande. Ökad måluppfyllelse kan också avse förändringar i systemet som är betydelsefulla av andra anledningar än att de bidrar till bättre kunskapsresultat. Det kan handla om ökad likvärdighet eller ökad rättssäkerhet för elever, till exempel i samband med bedömning och betygssättning eller för elever i behov av särskilt stöd. Merparten av de åtgärder som vidtagits och framåt har av regeringen motiverats med de försämrade resultaten i den svenska , som de mäts i internationella och nationella undersökningar. Det gör att vi har uppfattat att förbättrade studie- resultat är den avsedda effekten för de allra flesta av åtgärderna. Det innebär också att det ytterst är i internationella och nationella kunskapsmätningar som effekterna av de olika åtgärderna förväntas visa sig. Vi har dock diskuterat även andra mått på måluppfyllelse där så är motiverat. 2.2.1Hur kan vi mäta avsedda effekter? har under en följd av år påtalat att resultaten i den svenska har försämrats . Slutsatsen har grundat sig på utvecklingen av resultaten i de internationella studierna PIRLS6, TIMSS7 och PISA8 och i nationella utvärde- ringar, till exempel den nationella utvärderingen av 2003 (NU 03). De internationella undersökningarna och de nationella utvärde- ringarna av är i stort sett de enda undersökningar utredningen kan relatera till som är utformade för att beskriva trender. Varken de nationella proven eller betygssystemet är ut- formade med ett sådant syfte. De internationella undersökningarna får således tillsammans med de nationella utvärderingarna av grund- skolan en central roll om man ska försöka följa upp effekterna av reformerna. En nackdel med de internationella studierna är att de endast gör det möjligt att följa trender för ett begränsat antal ämnen. 6PIRLS (Progress in Reading Literacy Study) är en internationell studie som undersöker elevers läsförmåga i årskurs 4. Studien organiseras av The Achievement (IEA) och genomförs . 7TIMSS (Trends in International Mathematics and Science Study) undersöker kunskaper i matematik och NO hos elever i årskurs 4 och årskurs 8. Studien organiseras av The Inter- national () och genomförs . 8PISA (Programme for International Student ) är ett OECD-projekt som syftar till att undersöka i vilken grad respektive lands utbildningssystem bidrar till att femtonåriga elever, som snart kommer att ha avslutat den obligatoriska skolan, är rustade att möta framtiden. Studien genomförs för kunskapsområdena matematik, naturveten- skap och läsförståelse, med olika huvudområden vid de olika undersökningstillfällena. Det hävdas ofta att skolans framgång bäst utvärderas längre fram i systemet, dvs. genom mått som belyser till exempel hur stor andel som går över till den högre utbildningen, genomströmningen i denna, landets ekonomiska tillväxt och innovativa förmåga etc. Vi har valt att hålla oss till mått som ligger närmare själva verksam- heten. Utredningen återkommer i sitt slutbetänkande till behovet av information för att det ska vara möjligt att bättre följa upp och utvärdera genomförande och resultat av reformer. Budgetpropositionens indikatorer för måluppfyllelse I budgetpropositionen för 20129 aviserade regeringen att målupp- fyllelsen inom utbildningsområdet framgent ska följas med hjälp av ett antal indikatorer. Indikatorerna redovisas i budgetpropositionen för 201310. Regeringen understryker att indi- katorerna inte ger en heltäckande bild av respektive verksamhet, men menar att de belyser delar av måluppfyllelse och resultat som regeringen bedömer är centrala. För används följande indikatorer: Resultat på nationella prov Andel elever som uppnått målen i samtliga ämnen i årskurs 9 Genomsnittligt meritvärde i årskurs 9 Andel elever i årskurs 9 som uppnår behörighet till gymnasie- skolans nationella program Resultat på internationella studier i de fall någon ny studie pre- senterats sedan föregående års budgetproposition För specialskolan och sameskolan presenteras motsvarande indika- torer. För grundsärskolan presenteras uppgifter om lärare samt uppgifter om utvecklingen av andelen elever. Utredningen bedömer att det kommer att ta tid innan de nya bedömningssystemen satt sig. Det gäller bland annat den nya 2011/12:1 Budgetproposition . 2012/13:1 Budgetproposition . betygsskalan och införandet av betyg från årskurs 6. Flertalet av budgetpropositionens indikatorer bör därför tolkas med stor försiktighet . Det gäller särskilt för att mäta effekterna av om de reformer och åtgärder som vidtagits . Detta eftersom flertalet av dessa indikatorer påverkas av de genomförda reformerna. Det gäller frånsett resultaten från de internationella undersökningarna, och möjligen lärarbehörigheten. Att indikatorerna påverkas av reformerna innebär att det uppstår brott i tidsserier som tar utgångspunkt i läget innan åtgärderna vidtagits. Framför allt innebär det att indikatorernas kvalitet påver- kas. Både resultaten på nationella prov och betygssättningen påver- kas till exempel av att såväl kursplaner och kunskapskrav som be- tygsskalan är nya. Erfarenheten visar att det tar tid innan nya bedömningssystem sätter sig. I samband med att betygs- system introducerades visade det sig att lärare inledningsvis inte använde hela betygsskalan. Mycket tyder på att samma fenomen kommer att upprepa sig , både vad gäller bedömningen av resul- taten på nationella prov och vid betygssättningen (se vidare kapitel 4). Detta förhållande kan enligt vår uppfattning påverka kvaliteten på de första fyra indikatorerna ovan under kanske ända upp till . Om samma fenomen uppstår som när det nya betygssystemet introducerades , kan flera av måtten komma att indi- kera förbättrade resultat under utan att detta behöver svara mot en verklig förbättring av kunskaperna. Detta som en konsekvens av att lärarna brukar vara försiktiga med at använda de högre betygen i början och först successivt ta hela skalan i besitt- ning. Andelen elever som uppnår behörighet till nationella program i gymnasieskolan påverkas av att även detta mått utgår från betygs- resultat. Resultat på de internationella undersökningarna Trots att deltagit i internationella undersökningar är det inte meningsfullt att jämföra resultat från dagens studier med resultat från studier som genomförts . De framgår av den sammanfattning av utvecklingen av kunskaps-