sou · H2B312 · 2014-03-12 00:00:00 — Det är emellertid inte lämpligt att nu endast lägga till ytterligare ett instrument i form av stickprovsundersökningar till ett redan hårt belastat provsystem utan att utreda konsekvenserna av detta för övriga delar av systemet. Vi föreslår därför att en utredning till- sätts med uppdrag att i ett sammanhang utforma systemet för trendmätning genom stickprovsundersökningar och utreda hur det framtida systemet för utvärdering av kunskapsresultat ska vara utformat i sin helhet. Det gäller framför allt de nationella proven som har många olika syften. Arbetet bör inriktas på att klargöra vilka syften som kan och ska knytas till systemet, vilka instrument som bör knytas till respektive syfte och vilka aktörers informa- tionsbehov de olika instrumenten ska svara mot. Data för utvärdering – utvecklingsbehov (kapitel 10) Utökade och förbättrade registerdata kan underlätta möjligheterna att utvärdera reformer. För utvärdering av reformer behövs dock ofta även riktade uppgiftsinsamlingar, med frågeställningar rele- vanta för den aktuella reformen. Det nationella uppföljningssystemet har en potential att utveck- las vad gäller ny uppgiftsinsamling, utökad analys av befintliga data från uppföljningssystemet och de internationella studierna samt det sätt på vilket informationen presenteras på. Vid utvecklingen bör ställning tas till vilka uppgifter som lämpar sig för att samla in i form av registerdata, vilka uppgifter som bör utgöras av direkt- insamlade data och ingå i det nationella uppföljningssystemet samt vilken information som inte lämpar sig för att ingå i detta. bedömningar som löpande bör göras av som statistik- ansvarig myndighet. Det har ingått i utredningens uppdrag att bedöma behovet av vilka relevanta data som behövs för att utvärdera reformer. Våra bedömningar avser informationsbehov avseende exempelvis under- visningens förutsättningar och undervisningens genomförande. Vidare avser bedömningarna informationsbehov om undervis- ningens resultat samt om sambandet mellan kostnader och resultat. I kapitel 10 redovisas dessa bedömningar område för område. Vi föreslår vidare att ges möjlighet att i enlighet med verkets hemställan kunna samla in individdata för skolan i sin hel- het, dvs. även för modersmålsundervisning och skolgång i spe- cialskola, särskola och sameskola. Detta bland annat mot bakgrund av att målen för specialskolan och sameskolan ska motsvara dem som gäller för För att det ska vara möjligt att utveckla och modernisera det nationella uppföljningssystemet behöver denna infrastruktur för- stärkas finansiellt. Med anledning av att det pågår två utredningar som arbetar med frågor kopplade till hur förutsättningarna för registerbaserad forskning kan förbättras, lämnas inte här några för- fattningsförslag. Det är emellertid viktigt att regeringen i detta sammanhang bevakar de långsiktiga förutsättningarna för den s.k. UGU-databasen. Organisering för stärkt utvärdering (kapitel 11) Ansvaret för att fatta strategiska beslut om utvärderingen av skolan måste ligga på central politisk nivå. Det är t.ex. regeringen som måste ta ansvar för att reformer utvärderas och att detta sker med den bredd och med de olika perspektiv som skissats ovan. Mängden aktörer som kan ha en roll vid utvärderingen av skolan och av reformer på skolområdet pekar på ett behov av en stärkt nationell styrning. Mot denna bakgrund föreslår utredningen att ett Råd för utvär- dering av skolan inrättas. Rådet föreslås få följande två huvud- uppgifter: 1.Löpande bistå regeringen i utvärderingsfrågor avseende skol- väsendet. Det innebär t.ex. att -utarbeta förslag till ett nationellt ramverk för utvärdering, -lämna förslag till nationell plan för utvärdering av skol- väsendet, samt -inom ramen för en sådan plan vid behov kunna initiera policyrelevant forskningsbaserad utvärdering. 2.Vid större och genomgripande reformer inom skolväsendet bistå regeringen med -förslag till program för reformutvärdering, -att vid behov initiera forskningsbaserad reformutvärdering, -att samordna utvärderingsinsatserna i det fall flera aktörer är involverade i reformutvärderingen (forskare, utvärderings- institut, myndigheter etc.), -att sammanfatta resultat från olika aktörers utvärderingar, samt -att sammanfatta identifierade behov av ytterligare stöd till, eller justeringar av, den aktuella reformen. Förslaget innebär oförändrade uppgifter för myndigheterna på skol- området. De uppgifter som rådet är tänkt att svara för, och de utvärderingar som det kan komma att föreslå eller initiera, genom- förs i allt väsentligt inte . Rådet föreslås bli organiserat som en kommitté inom , med ett begränsat kansli. Rådets ledamöter, dvs. de som ska ha beslutsbefogenhet i rådet, förslås vara forskare som repre- senterar olika forskningsdiscipliner. I övrigt föreslås rådet bestå av sakkunniga från olika delar av skolsamhället, t.ex. Utbildnings- departementet, berörda myndigheter och skolhuvudmän, samt före- trädare för lärare, rektorer och elever. På detta sätt skapas ett forum för de strategiska frågorna om utvärderingen av den svenska skolan där de som har de största kunskaperna om behovet av, och förut- sättningarna för, utvärdering samlas. Konsekvenser (kapitel 12) I direktiven till utredning har regeringen inte angett att det ska göras några specifika konsekvensbeskrivningar. Utredningen inne- håller dock ett begränsat antal förslag som har föranlett oss att i korthet diskutera vissa ekonomiska konsekvenser av förslagen. Kostnaden för en grundbemanning för det föreslagna rådet för utvärdering av skolan bör röra sig om cirka 2–2,, inkl. kostnader för sekretariat, ledamöter och sakkunniga. Kost- naderna för rådet blir naturligtvis avsevärt högre i de fall rådet ges särskilda uppdrag i anslutning till en specifik reform. Detta måste dock beräknas särskilt vid varje enskilt reformtillfälle. Det bör vara självklart att varje reform får sin finansiering, inte endast avseende kostnaderna i verksamheterna, utan också för implementering och utvärdering. Kostnaderna för att införa ett stickprovsbaserat system för att följa kunskapsutvecklingen i skolan bör beräknas av den utredning som föreslås för att utreda frågan om stickprovsbaserade undersökning- ar i ett sammanhang tillsammans med övriga delar av systemet för utvärdering av kunskapsresultaten, dvs. även det nationella prov- systemet. Den finansiella förstärkning som utredningen bedömer behövs för att förstärka och utveckla statistik- och uppföljnings- system har både permanenta och tillfälliga inslag. För att systemet ska kunna omfatta fler insamlingar än , vilket krävs till följd av de senare årens reformer, och bibehålla den nuvarande kvalitetsnivån, behövs enligt en permanent förstärkning med . För att utveckla och modernisera systemet behövs dessutom, enligt verket, tillfälliga förstärkningar med , och . Utredningen bedömer att detta är lågt räknat. En särskild anslagspost för statistik- och uppföljningssyste- met skulle tydligare än kunna uttrycka statens ambitioner på området. Slutligen bedömer utredningen att det är önskvärt att det s.k. vid ges stabila ekonomiska förutsättningar. beslutade regeringen att tillkalla en särskild utredare med uppdrag1 att i ett första steg bedöma när de åtgärder som har vidtagits , för att höja kunskapsnivån och öka måluppfyllelsen i , kan förväntas få avsedd effekt. Ut- redningen redovisade denna första del i delbetänkandet Det tar tid – om effekter av skolpolitiska reformer (SOU 2013:30). I ett andra steg ska utredaren analysera förutsättningarna för utvär- dering av reformer2. Utvärdering av skolpolitiska reformer kan syfta till att ge besked om huruvida en viss åtgärd fått några effekter och vilka dessa i så fall har varit – positiva, negativa, avsedda eller oavsedda. Utvärde- ring kan även syfta till att upptäcka samband mellan olika förete- elser och om möjligt bidra till att finna orsaker (förklaringar) till dessa. En utvärdering kan vidare syfta till fördjupad systemkun- skap, t.ex. genom att öka förståelsen för varför en viss reform eller åtgärd får olika genomslag i olika verksamheter. Utvärdering av reformer kräver med andra ord god tillgång till data av både kvalitativt och kvantitativt slag. I har frågan om hur utvärderingskulturen inom skolom- rådet kan förstärkas – både på lokal och nationell nivå – varit aktuell inte minst av skolan och det mål- och resultatstyrda styrsystemet infördes . Det betyder inte att frågan alltid befunnit sig i centrum för den skol- politiska debatten eller varit föremål för politiska initiativ. Av bilaga 3 framgår att så inte har varit fallet. 2012:53 (bilaga 1). 2013:73 (bilaga 2). dock direktiven som att nu behöver lägga en ökad vikt vid frågor som har med utvärdering av skolan att göra. Denna ökade betoning på utvärdering delar med andra länder, bl.a. med våra nordiska grannländer och övriga . Det finns flera skäl till att många länder fäst ökad vikt vid utvär- dering av skolans verksamhet och prestationer i allmänhet och ele- vernas kunskapsresultat i synnerhet. Utbildningens betydelse för sysselsättning och tillväxt betonas.3 Den internationella konkur- rensen om högutbildad arbetskraft har ökat liksom kraven på att avsatta medel för finansiering av offentlig verksamhet ska användas effektivt.4 Slutligen har föräldrars krav på information om skolors och de egna barnens resultat ökat, i bl.a. mot bakgrund av det fria skolvalet. Bakom det ökade intresset för uppföljning och utvärdering av kunskapsresultat har funnits, och finns, uppfattningen att uppfölj- ning och utvärdering kan utgöra en drivkraft för utveckling och förbättring av skolans prestationer och resultat. 1.2Uppdraget mer i detalj Enligt direktiven ska utredaren i detta slutbetänkande utreda vilka relevanta data som behövs för att i ökad utsträck- ning kunna utvärdera reformer inom de obligatoriska skolfor- merna, dvs. , grundsärskolan, specialskolan och sameskolan, om det behövs, lämna författnings- eller andra förslag för att öka tillgången till sådana data, och belysa hur reformer inom de obligatoriska skolformerna bör genomföras för att underlätta utvärdering av reformerna. Enligt direktiven har utvärdering av reformer och politiska beslut spelat en ganska undanskymd roll inom utbildnings- området. Enligt regeringen innebär dock det omfattande reform- arbetet inom sektorn att behovet av utvärderingar har förstärkts. 3Se t.ex. Hanushek, och (2010) The cost of Low Educational Achie- vement in Union. on Economics of Education. EENEE Analytical Report No. 4Se t.ex. (2013) Synergies for Better Learning: Perspective on Evaluation and Assessment. Områdets politiska och ekonomiska vikt medför dessutom, enligt regeringen, att behovet av beslutsunderlag av hög kvalitet ökar. Direktiven pekar också på att det även internationellt inom EU, och i enskilda länder pågår en diskussion om hur använd- ningen av utvärderingar kan öka och hur utformningen av offentlig verksamhet i högre grad ska kunna baseras på kunskap. En utgångspunkt för arbetet med uppdraget är, som utredningen ser det, regeringens intentioner att utformningen av offentlig verk- samhet i högre grad än tidigare ska kunna basera sig på tillförlitlig kunskap (evidens). En annan är att utbildningen enligt skollagen (2010:800) ska vila på vetenskaplig grund och beprövad erfarenhet. Utredningen definierar reform på skolans område som en för- ändring av bärande delar av skolsystemet som är reglerade i lag eller förordning. Det som sägs i detta betänkande om reformutvärdering avser utvärdering av sådana refomer, men även utvärdering av olika politiskt initierade åtgärder av betydelse, om än av annan mer till- fällig karaktär, t.ex. satsningar på läs-skriva-räkna eller på matema- tik och naturvetenskap. I flera avseenden har vi kunnat konstatera att vårt uppdrag, trots det primära fokuset på utvärdering av reformer, är vittomfattande och berör hela uppföljnings- och utvärderingssystemet för skolan. Även om vi har uppfattat att uppdraget i första hand har ett nationellt perspektiv på utvärdering av reformer går det exempelvis inte att bortse från den lokala nivån och verksamhetsnivån. En nationell utvärdering har, och bör ha, betydelse även för huvud- mannens och verksamhetens utvärdering och utveckling, och behö- ver utformas med hänsyn taget till detta. Man kan utgå från att reformer som utvärderas ytterst syftar till att utveckla verksamhe- ten lokalt. Det är därför viktigt att belysa sambanden mellan systemets olika nivåer. Den lokala nivån och verksamhetsnivån bidrar dessutom med underlag för den nationella nivåns utvär- dering. Fokuset på reformer och utvärdering skulle kunna leda till slut- satsen att det räcker att enbart belysa förutsättningrna för just särskilda utvärderingar av reformer. Vi menar dock att reform- utvärdering i vissa fall kan genomföras integrerat med det befintliga uppföljnings- och utvärderingssystemet och är under alla omstän- digheter, i de allra flesta fall, beroende av information från detta. Uppföljnings- och utvärderingssystemet som helhet – med statistik, trendstudier, internationella studier, utvärderingar och till viss del även granskning och forskning – har därför getts en central roll i vårt arbete. Det är också i bl.a. detta system som de relevanta data som behövs för utvärdering av reformer kan återfinnas. Reformutvärdering har en nära relation till implementering av reformer, dvs. till de slags frågor som utredningen belyste i sitt delbetänkande. Vi har därför knutit an till den modell för imple- mentering som presenterades i delbetänkandet och diskuterar utvärderingens roll inför en reform, under pågående implementering och efter att en reform institutionaliserats. Det innebär att reform- utvärdering, enligt vår uppfattning, kan ha olika karaktär. Den kan t.ex. vara formativ i ett skede och summativ i ett annat. Metod- mässigt innebär detta att det finns många olika sätt att se på utvärdering, vilket redogörs för i kapitel 3. Ytterligare en fråga som har att göra med hur reformer genom- förs gäller hur de organiseras med avseende på utvärdering. Det handlar bland annat om hur reformutvärderingens oberoende kan säkerställas och om hur forskning och forskarkompetens kan kny- tas till reformutvärderingen. Sammantaget har det visat sig att direktiven väcker en rad vik- tiga frågor om uppföljnings- och utvärderingssystemet och dess funktion – generellt och i samband med reformutvärdering – samt om organiseringen av både utvärdering generellt och av reform- utvärdering specifikt. Utredningen konstaterar att det både inom akademin och bland olika utvärderingsinstitut och nätverk av utvärderare länge pågått en diskussion om värdet av olika utvärde- ringsansatser. Diskussionen handlar bland annat om vad som kan och inte kan betecknas som utvärdering, samt om vilka slags metoder som kan ligga till grund för tillförlitliga utvärderingar. Utredningen konstaterar att såväl OECD5 och Europeiska kom- missionen6 har en bred syn på utvärdering som ger utrymme för en variation av designer och metoder. Utredningen ansluter till detta breda synsätt i kapitel 3. De frågor som detta betänkande behandlar är slutligen av en så generell karaktär att det inte har varit meningsfullt att begränsa framställningen till endast aspekter av utvärdering av refomer som 5Se t.ex. (2007) Evidence in Education. Linking research and policy och (2013) Synergies for Better learning. An international perspective on evaluation and assessment. 6Se t.ex. /europeaid/evaluation/methodology/methods/mth_att_en.htm avser och motsvarande skolformer, även om vi med hänsyn till direktiven har haft ett huvudfokus på dessa skolformer. Våra bedömningar och förslag avser dock skolväsendet i sin helhet. Liksom inför delbetänkandet har utredningen haft ambitionen att samla kunskap från många olika aktörer, genom omfattande littera- turstudier och genom möten med personer i och andra länder. Centralt för utredningen har varit den grupp av medarbetare från berörda myndigheter, dvs. , och utvärdering (IFAU), som utredningen träffat . Utredningen har dessutom fått hjälp med underlag från myndigheterna och slutligen samrått med dem. Inför slutfasen av arbetet har utredningen även haft kontakt med . Utredningen har dessutom sammanträffat med flera nationella forskare och andra experter inom området. Inför slutbetänkandet har utredningen även gjort en internatio- nell utblick. Vi har fördjupat oss särskilt i litteraturstudier av utvär- dering och utvärdering av reformer på skolans område i , , , , , , , och . Vi har dessutom besökt , , och och på plats kunnat diskutera frågeställning- arna med företrädare för ministerier och/eller berörda myndighe- ter. Utredningen har sammanträffat med Kommuner och Landsting (SKL) för att diskutera uppdraget. Vi har slutligen träffat en grupp med företrädare för , och diskutera hur de verksamma ser på utvärdering och reformer. Efter denna inledning är betänkandet disponerat i tre huvuddelar: I kapitel 2–4 ges en bakgrund avseende - evidensinformerad politik och praktik, -utvärdering, samt -dagens utvärderingsystem. I kapitel 5–6 avhandlas frågan om reformutvärdering övergripande, i kapitel 5 med avseende på historik och nuläge och i kapitel 6 med avseende på strategi för framtiden. Kapitel 6 är således ett centralt kapitel i utredningen. Kapitel 7–11 behandlar sedan, med kapitel 6 som utgångspunkt, ett antal mer konkreta frågor. -behovet av ett ramverk för utvärdering, -användningen av försöksverksamhet, -behovet att utveckla systemet för att följa kunskapsutveck- lingen, -behovet av data för utvärdering, samt -behovet att stärka organiseringen för utvärdering på skolans område. Utredningens ambition är att det ska vara möjligt att läsa kapitlen 7–11 för sig, varför texten innehåller vissa smärre upprepningar. Slutligen görs i kapitel 12 vissa konsekvensbedömningar. 2Om evidensinformerad politik och praktik Intentionen att offentlig verksamhet i högre grad ska utformas med utgångspunkt i evidens är en central utgångspunkt för utredning- ens arbete. I detta kapitel redovisas fortsättningsvis vissa utgångs- punkter och begrepp som har betydelse för förståelsen av betän- kandets fortsatta analys. 2.1Evidens – ett begrepp med flera betydelser Evidens är ett begrepp som fått en allt större spridning. Begreppet kan syfta på tre olika företeelser: Evidensinformerad politik innebär att beslutsfattare, på olika nivåer och inom olika samhällsområden, så långt möjligt bör fatta beslut som baseras på tillförlitlig kunskap. De förväntas ha informerat sig om den samlade kunskap som finns inom det aktuella området, i form av forskning, utvärderingar, särskilda utredningar, uppfölj- ningsdata m.m. innan de beslutar om en reform eller annan åtgärd. Det varierar hur starkt olika länder har betonat betydelsen av ett evidensbaserat arbetssätt. Exempelvis har mycket målmedvetet försökt införa ett sådant arbetssätt vid all politikutformning. Även i har det funnits ett intresse för metoder som tar utgångspunkt i evidens, inte minst inom den federala utbildningspolitiken. Inom EU har Kommissionen strävat efter att införa evidensbaserade arbetsmetoder och har framstått som en kraftfull tillskyndare av, och pådrivare för, sådana metoder. Evidensinformerad praktik syftar till att den dagliga verksamhe- ten inom ett område ska vila på systematiskt utvecklad kunskap (evidens). Denna tanke utvecklades först inom det medicinska Om evidensinformerad politik och praktik området, men har senare spritt sig till exempel till det sociala området och utbildningsområdet. En vanlig tanke är att man genom sys- tematiska översikter av forskning inom ett område ska kunna fastställa best practice. Genom att kontinuerligt införa sådana metoder kan verksamheten successivt förbättras, dvs. verksam- hetens insatser (behandling, undervisning etc.) blir effektivare och utbytet av insatta resurser bli större. Evidens kan också användas i en mer metodologisk betydelse där begreppet avser en särskild utvärderingsmetodik som bygger på meta-anlyser och systematiska kunskapsöversikter som i sin tur bygger på kvantitativa data insamlade genom en experimentell, kontrafaktisk design1. Inom den så kallade evidensrörelsen menar man att endast resultat som baserar sig på dessa metoder kan anses utgöra evidens. Metodfrågor i anslutning till den så kallade evidens- rörelsen behandlas i kapitel 3 om utvärdering. Utredningen tar upp alla tre ovan beskrivna aspekter av evidens, dvs. evidens som utgångspunkt för politikutveckling, för praktisk verksamhet och som utvärderingsmetodik. Som en följd av utred- ningsdirektivens fokus har vi dock lagt större vikt vid evidens- baserad politik snarare än vid evidensbaserad praktik. 2.2Evidens i politik och praktik Ett evidensbaserat arbetssätt förutsätter att det finns tillgång till systematiskt framtagen kunskap som täcker samtliga väsentliga frågor inom det aktuella verksamhetsområdet. Ett viktigt problem i samband med evidensbaserat arbete – såväl vid politiskt beslutsfat- tande som vid utformningen av verksamhetens praktik – är att det finns bristfälligt forskningsstöd inom många politikområden. Det gäller både för själva verksamheten och dess resultat som avseende vilka åtgärder som kan förväntas åstadkomma önskat resultat. Detta förhållande gäller inte minst det politiska beslutsfattandet om reformer och andra åtgärder på skolans område. Enligt direktiven till utredningen har utvärdering av reformer och politiska beslut spelat en relativt undanskymd roll på skolans område. Utredningens direktiv kan tolkas som ett uttryck för en ambition att stärka evidensens betydelse vid utformningen av reformer och 1 Om begreppen närmare betydelse se vidare kapitel 3. Om evidensinformerad politik och praktik politiska beslut på nationell nivå, något som i sin tur ställer krav på mer kvalificerade underlag för det politiska beslutsfattandet. När det gäller skolans verksamhet är kravet på evidens fastställd i lag. Utbildningen ska enligt skollagen (2010:800) vila på veten- skaplig grund och beprövad erfarenhet.2 2.2.1Evidens i politiskt beslutsfattande Det är inte ovanligt att politiska beslutsfattare menar att det saknas information som är möjlig att använda som utgångspunkt för ett beslutsfattande grundat på evidens. Det kan saknas policyrelevant forskning eller saknas forskning som ger tillräckligt entydiga svar. Man kan säga att forskningsläget spretar. Mängden forskning kan också vara så stor att det är svårt att identifiera vilken forskning som är relevant och tillförlitlig. Situationen kan emellertid även vara en följd av att beslutsfattare i allt för liten utsräckning faktiskt intresserar sig för hur kunskapsläget kan förbättras inom det aktu- ella verksamhetsområdet. Att många politik- och yrkesområden saknar stöd av omfattan- de och väl utförd forskning påverkar förutsättningarna för att utgå från evidens såväl vid det politiska beslutsfattandet som vid utform- ningen av själva verksamheten. Davies3 konstaterar att politiker behöver beakta information från många olika håll: enskilda studier, pilotstudier, fallstudier, expertutlåtanden, utvärderingar, beskriv- ande analyser, attitydundersökningar, statistiska modeller m.m. Davies4 understryker att beslutsfattare utöver denna typ av evidens måste lyssna på såväl den egna politiska organisa- tionen som på den allmänna opinionen och olika intresseorganisa- tioners uppfattningar. Evidensbaserad kunskap, dvs. kunskap som är systematiskt insamlad och sammanställd och bygger på veten- skapligt utförda studier av hög kvalitet, bör därför enligt ingå i det beslutsunderlag som en beslutsfattare har att tillgå. Själva beslutsfattandet kan däremot aldrig förväntas vara endast evidens- baserat. 21 kap. 5 § skollagen (2010:800). 3Davies, (2004) Is Evidence-Based Government Possible? Annual , Wahington D.C. 4Davies, (2004) a.a. Om evidensinformerad politik och praktik