sou · GXB394 · 2009-12-10 00:00:00 — Utgångspunkter för policyinriktade utvärderingar either inquiries into the cause of a given effect, or into the effects or properties of a given cause.18 När det talas om effektutvärderingar i detta sammanhang är det visserligen en mätning av effekterna av en politisk insats. Den variabel som ska mätas är vanligtvis bestämd. Men det finns också utvärderingar/forskning som inte har en specifik politisk åtgärd som utgångspunkt men likväl är effektmätningar. Det kan handla rent allmänt om hur resursförstärkningar, klasstorlek eller lärarnas didaktik påverkar elevresultaten. Dessa analyser försöker förklara ett utfall eller ett skeende, där en reform eller liknande kan vara, men inte behöver vara, utgångspunkten för en sådan studie. Man försöker hitta orsaksfaktorer till ett visst tillstånd. Dessa studier är naturligtvis en viktig och nödvändig information för att förstå vilka faktorer som t.ex. påverkar skolresultaten, men har en annan utgångspunkt än en utvärdering av ett politiskt beslut. Den här typen av studier med inriktning på orsaker görs av såväl myndigheter som av forskare. har analyserat varför elever lämnar skolan utan fullständiga betyg eller hur modersmålsundervisningens organisering påverkar elevers resultat. IFAU genomför, vid sidan av att studera reformers effekter, orsaksanalyser, exempelvis utbildningens betydelse för inkomstskillnader, invandrares avkastning på utbildning i , lärartäthet och systematiska avvikelser mellan slutbetyg och provresultat. Forskning inom utbildningsområdet är omfattande och berör en mängd olika aspekter. I serie om forskningsöversikter finns titlar som handlar om ekonomiska resursers betydelse för pedagogiska resultat, kunskapsutnyttjande och studieresultat och social bakgrund. översikt om forskning om lärande i högre utbildning behandlar hur ämnesdidaktiken eller informations- och kommunikationsteknologi (IKT) bör vara utformad för att ge bäst resultat eller om lärarutbildningens innehåll.19 Andra exempel är betygens prognosförmåga, internationella mätningars påverkan på läroplaner eller betydelsen av olika ämnens språkbruk i skriftliga prov. Det finns således en mängd olika studier med inriktning på effekt-/orsakssamband som inte alltid har en politisk reform som 18Mills 1967, s. 253. En utvärdering som utgår ifrån det som ska förklaras brukar ibland kallas för en orsaksanalys, medan en utvärdering som utgår ifrån det som ska förklara kallas för en effektanalys. Resultatet av utvärderingen ska dock bli detsamma oavsett vilken utgångspunkt som väljs. Se 1984, s. 140 ff. 19En sådan översikt är forskningsserie 2003. Utgångspunkter för policyinriktade utvärderingar utgångspunkt, men som ibland indirekt beskriver specifika effekter av olika politiska reformer i sina analyser. Dessa studier behövs och är lika policyrelevanta inför olika typer av beslut. En utvärderingsfunktion som det talas om i direktiven behöver således göra effektstudier av politiska beslut, men den behöver också genomföra effekt/orsaksanalyser som inte nödvändigtvis eller explicit har politiska beslut som utgångspunkt. Önskemål om effektutvärderingar är en sak. En annan sak kan vara möjligheterna att genomföra dessa. En nödvändig förutsättning, vilket kan verka självklart, är att det finns data att tillgå. Hur många effektutvärderingar har inte beställts långt efter det att en insats är genomförd och där data saknas innan insatsen genomfördes? Men det kan också vara så att det saknas data även efter insatsen. Statskontoret har t.ex. fått i uppdrag av regeringen att utvärdera satsningen på lärarfortbildning. Myndigheten skulle i samråd med föreslå hur en långsiktig utvärderingsmodell kan utformas för att följa och bedöma skolans resultat i förhållande till kunskapsmålen och dess samband med satsningen på fortbildning av lärare.20 Statskontoret gör bedömningen att en effektutvärdering för tillfället inte är möjlig eftersom en sådan förutsätter att det finns tillgång till resultatdata och individdata för att kunna koppla ihop lärare och elev.21 Ovanstående berör en annan ofta helt avgörande förutsättning för en effektmätning och som också uttrycktes i intervjuerna, nämligen att det finns en planering när en reform sjösätts. Det innebär inte att allting därmed går att utvärdera, bara att det finns en diskussion om vad som är möjligt att utvärdera och att denna utvärdering kan underlättas. Planering blir än viktigare eftersom det inom utbildningsområdet talas om att effekter vanligtvis visar sig först . Detta kräver också att beställarfunktionen och mottagarkapaciteten utvecklas inom . Den är viktig och anknyter till direktiven där det sägs att utvärderingarna ska vara tillgängliga. Här vill utredningen påpeka att utvärdering inte bara är en produkt utan också en process. Ju fler inblandade i utvärderingen desto större blir sannolikheten att utvärderingen inte bara blir en produkt som lämnas över. Ett ökat deltagande i sjösättandet och en kontinuerlig diskussion under utvärderingens gång ökar förhoppningsvis också användbarheten. 20Statskontoret 2009, s. 5. 21Ibidem, s. 28. Utgångspunkter för policyinriktade utvärderingar I direktiven finns ytterligare ett begrepp som nämns i samband med effektutvärderingar och hög vetenskaplig kvalitet nämligen evidens. Vilken är då innebörden i begreppet evidens? Följande citat speglar vad den så kallade evidensrörelsen handlat om: Evidensrörelsen sätter således fokus på effekter av insatser och interventioner och arbetar för att syntetisera redan föreliggande kunskap samt att synliggöra den aktuellt bästa kunskapen och förmedla den till beslutsfattare i politiken och i praktiken.22 Begreppet evidens har i debatten varit fokuserat på effekter, syntetisering och på att förmedla den för tillfället bästa kunskapen. Fokuseringen har bland annat lett till en intensiv och delvis infekterad debatt om metodfrågor, framför allt om för- och nackdelar med den experimentella designen (RCT: Randomized Controlled Trials). Frågor om effekter handlar väldigt ofta om metoder och hur man säkrar den inre validiteten. Men är evidens bara en designfråga? Begreppet vetenskap förknippas vanligtvis med ett systematiskt och metodiskt inhämtande av kunskap byggd på empiri liksom ofta experiment. Begreppet evidens (från engelskans evidence) innebär att kunskap, inom forskningen, ska bygga på bästa möjliga vetenskapliga grund. Evidens som betyder bevis (tydlighet) kan presenteras på en mängd olika sätt. Bevis inom naturvetenskapen uppfattas ofta som något som antingen kan observeras naturligt eller utföras i form av experiment. Bevis i en rättssal eller vad en historiker eller en geolog anför som bevis har ofta en annan karaktär än bevis inom det medicinska området. Bevis är inte alltid heller säker kunskap. Bevis diskuteras av en jury. En vetenskaplig expertkommitté diskuterar också om bevisen är rimliga, relevanta, tillräckliga eller tendentiösa. Evidens kommer oftast från flera olika källor (triangulering) och kan inte begränsas till en fråga om val av metod. Dessutom är den kunskap vi bedömer vara sann inte så sällan omkullkastad av andra insikter . Det är därför som det ofta talas om den bästa rådande evidensen. 22 Bhatti, m.fl. 2006, s. 1. Översatt från danska. Utgångspunkter för policyinriktade utvärderingar talar om evidensstyrka som bedöms efter vilket bevisvärde som studierna har och hur många studier som stöder varandra i en slutsats:23 En slutsats med evidensstyrka 1 stöds av minst två studier med högt bevisvärde i det samlade vetenskapliga underlaget. En slutsats med evidensstyrka 2 stöds av minst en studie med högt bevisvärde och två studier med medelhögt bevisvärde. En slutsats med evidensstyrka 3 stöds av minst två studier med medelhögt bevisvärde. Om det finns studier i det samlade vetenskapliga underlaget som talar emot slutsatsen kan dock evidensstyrkan i samtliga fall bli lägre. När det finns olika studier som har samma bevisvärde men vilkas resultat är motsägande, anges det vetenskapliga underlaget som motsägande och inga evidensbaserade slutsatser kan dras. Hur ska man då betrakta den kunskap som kommer fram i dessa slutsatser? Är det en instruktion som är generellt överförbar i enskilda situationer? Inom t.ex. det medicinska området finns det säkert sådan kunskap som kan ses som klara rekommendationer i vissa fall, medan sådan kunskap i skolans värld i högre grad måste situationsanpassas till klassen eller den enskilde eleven. Best practice må vara best practice i vissa fall men . I den evidensdebatt som förs klassificerar förespråkarna för den experimentella designen gärna olika metodansatser efter vilken metodisk styrka de har, en så kallad evidenshierarki. Nedanstående tabell är ett exempel på en sådan hierarki:24 Ett exempel på en evidenshierarki Systematiska sammanställningar med RCT. Enskilda RCT med god kvalitet. Kontrollerade men inte randomiserade försök. Systematiska översikter med kohortstudier. Systematiska översikter över fallkontrollstudier. Fallserier eller kohortstudier eller fallkontroll med Expertvärderingar, konsensuskonferenser. 24Bhatti, m.fl 2006, s. 19. Utgångspunkter för policyinriktade utvärderingar Företrädarna för den experimentella designen menar att den designen bäst svarar på frågan om en insats haft effekt eller inte. Vidare menar de att studierna med icke-experimentella metoder har större variation och ibland visar på helt motstridiga resultat.25 I en studie av 308 utvärderingar avseende insatser mot kriminalitet i klassificerades utvärderingarna enligt the Science Method Scale, som är en femgradig skala för att gradera vetenskaplig säkerhet (där 5 är högst):26 randomisering mellan program och kontroll, för- och eftermätning med kontrollgrupp och statistisk kontroll för andra förklaringsvariabler, 3)för- och eftermätning med kontrollgrupp men utan statistisk kontroll, 2)för- och eftermätning utan kontrollgrupp och 1)sambandsstudier. Denna undersökning visade att ju lägre kvalitet på utvärderingsdesignen desto effektivare verkade insatserna. av sambandsstudierna (värde 1 på skalan ovan) var säkerställt effektiv medan av studierna där randomiserad design använts (värde 5). Det experimentella upplägget har ett starkt grepp, särskilt i . Följande uttalande från det amerikanska får illustrera detta:27 Proposed evaluation strategies that use neither experimental designs with random assignment nor quasi-experimental designs using a matched comparison group nor regression discontinuity designs will not be considered responsive to the priority when sufficient numbers of participants are available to support those designs. Många av kritikerna av experimentell design vill hävda att detta upplägg inte tar hänsyn till den så kallade svarta lådan. Att analysera den svarta lådan innebär att man gör en vidare analys av varför eller varför inte en viss insats ger effekt.28 En resursförstärkning t.ex. kanske visar sig verkningslös i en effektstudie. Men det behöver egentligen inte innebära att resursförstärkningar är ett verkningslöst medel i sig. Förklaringen till att resursförstärkningen 25Boruch 2007, s. 60 ff. 26Socialstyrelsen 2008, s. 73 f. 27Department of Education, US. 28Man brukar ibland skilja mellan kausal deskription och kausal förklaring. Utgångspunkter för policyinriktade utvärderingar inte gav resultat kanske berodde på lärarnas oförmåga att undervisa. Då hjälper inga resursförstärkningar. Det behöver alltså inte vara felaktiga antaganden som insatsen bygger på (programteorin) som gör att effekten inte inträffar, utan det kan lika väl handla om felaktigheter i genomförandet. Genomförandeteorin tillsammans med programteorin är det som kallar för the theory of change.29 Sociologen hävdar att randomiserade studier inte kan förklara vilka mekanismer som gör att saker och ting får effekt: Det är genom att söka mekanismer som vi, enligt honom, lär oss att förstå vad som ska påverkas. The traditional ´does it work? ´question transforms instantly into at least five different lines of inquiry: what is it about this kind of intervention that works, for whom, in what circumstances, in what respects and why.30 Enligt Pawson kan man inte renodla kontexten eftersom det är den som har störst betydelse i detta sammanhang. Det finns heller ingen hierarki av evidens att bedöma varje studie emot, menar han, utan varje enskild studie bidrar med olika typer av information.31 I vilken utsträckning som den experimentella designen är den enda designen att påvisa kausalitet, och som därmed ger en hög grad av evidens, är således en av de frågor som diskuterats livligt, liksom vilken förklaringskraft den har. Mycket av den diskussion som förs om evidens handlar i grunden om vilken kunskapsteoretisk syn respektive forskare har. Den speglar också synen på de kvantitativa respektive kvalitativa metodernas för- och nackdelar. Praktikerns omhändertagande och makt över skolans arbete är en annan aspekt som betonas av pedagogerna i debattartikeln Evidensbaserat skolarbete och demokrati.32 Att pedagogisk praktik ska utgå från bästa möjliga vetenskapliga kunskaper och beprövade erfarenheter har artikelförfattarna ingenting emot. Vem kan argumentera mot en sådan idé, menar de. Vad de i stället vänder sig emot är om vetenskapliga positionsförskjutningar där en viss forskningstradition försöker få ensamrätt på hur relationen mellan forskning och praktik bör förstås. Evidensidén bygger på att forskningen ska producera användbar kunskap men där en viss metod (randomiserad design) 29Weiss 1998, s. 55. 30Pawson 2006, s. 94. 31Ibidem, s. 91, s. 110 och s. 178. 32Evaldsson & Nilholm 2009, s. 73 ff. Utgångspunkter för policyinriktade utvärderingar har företräde samt att praktiken ska vila på vetenskaplig grund. Konsekvensen av detta, förutser författarna, blir att endast den forskning som är användbar i skolan får ekonomiskt stöd.33 Dessutom frågar sig och om forskarna är eniga i beskrivningen av ur verkligheten ser ut och om detta är ett önskvärt tillstånd. Kontextens betydelse framhålls också mycket starkt ovan av exempelvis som menar att ett program inte alltid är något ensartat eller statiskt utan kan införas och tolkas på olika sätt av genomföraren. Effekten blir då beroende av hur implementeringen sker och hur kontexten i övrigt ser ut.34 metoder i socialt arbete inom menar att det man kallar evidensbaserad praktik innebär att flera kunskapskällor inkluderas. Här integreras tre kunskapskällor: nämligen den för tillfället bästa vetenskapliga kunskapen, brukarens erfarenhet och önskemål och den professionelles erfarenhet och förmågor. Synsättet illustreras i följande figur:35 Figur 2.1 Delar av en evidensbaserad praktik Det är kombinationen av de olika kunskapskällorna som ska generera en lämplig insats i det enskilda fallet och som utmärker det som kallas en profession. Bästa rådande evidens är inget som bara ska tas rakt av utan måste kombineras med övriga aspekter i figur 2.1. Vidare bör det uppmärksammas att när det talas om bästa 33Ibidem, s. 69. 34Pawson 2006, s. 51. 35IMS 2008, s. 12 f. Utgångspunkter för policyinriktade utvärderingar rådande evidens och när detta uttrycks med hjälp av en metaanalys, som är en statistisk metod för att syntetisera, är det ett genomsnittligt värde. Det innebär att ett sådant värde inte kan användas oreflekterat utan måste kombineras med praktikerns egen beprövade erfarenhet och elevens/elevernas förutsättningar. Även om utredningens resonemang handlat om den metoddebatt som förs, kan man konstatera att all forskning, som grundprincip eller ingångsvärde söker evidens eller bevis för att skapa eller stödja en teori eller förkasta ett tidigare påstående. Det gäller oavsett om det handlar om hur lärande går till, hur faktiskt byggdes eller varför dinosaurierna försvann etc. Ambitionen är alltid att söka stöd och hitta evidens för det man påstår. Sedan kan forskarna visserligen vara oense om bevisen verkar relevanta, tillräckliga eller tendentiösa. Att söka evidens handlar således sammanfattningsvis inte bara om att hitta evidens för effekter lika lite som det handlar om att göra experimentella upplägg. Utredningens syn när det gäller effektutvärderingar är att typ av metod eller design avgörs av frågeställningen och inte av en i förväg bestämd design. 2.2Vilka behov ska tillgodoses? Att det finns ett behov av utvärderingar av effekter, enligt direktiven, har utredningen ingen anledning att ifrågasätta. Det har också framkommit vid intervjuerna. Det finns ett uttryckt behov av bredd, djup och långsiktighet i en policyinriktad utvärderingsverksamhet, liksom ett önskemål om att utvärderingarna ska vara av hög (vetenskaplig) kvalitet och genomföras oberoende av dem som implementerar policyn. Utredningen har i detta kapitel försökt precisera det territorium som en tänkt utvärderingsfunktion ska hantera genom att ge exempel på möjliga kommande utvärderingar. Det går dock inte, av naturliga skäl, att säga vilka reformer eller policyer som skulle kunna bli aktuella att utvärdera eftersom dessa blir ett utslag av kommande politik. Däremot ska denna utvärderingsfunktion genomföra egeninitierade utvärderingar eller andra typer av analyser och i tider av låg efterfrågan ökar detta utrymme. Utbildningsområdet är ett oerhört stort område. Det innebär att utvärdering av effekter är en företeelse som är aktuell för både ekonomer, pedagoger, psykologer och sociologer med flera. Utgångspunkter för policyinriktade utvärderingar enskild person eller enskild akademisk disciplin kan svara på alla de möjliga effektfrågor som t.ex. regeringen vill ha svar på. Därför behövs en mångfald av studier och infallsvinklar. Att kunna kombinera kunskap om effektmätning och sakkunskap är en god förutsättning för att kunna göra en meningsfull analys. Effektmätning i sig kräver en särskild kompetens och en problemformuleringsfråga kräver sakkunskap. För att kunna göra egeninitierade utvärderingar, som direktiven talar om, krävs bland annat just denna sakkunskap. Det ska ställas höga krav på utvärderingarna som sådana. När en policy genomförs måste även utvärdering av densamma planeras för att möjliggöra en träffsäker utvärdering och tillgång till data. Om behovet av användbarhet ska öka och det finns ett faktiskt intresse av ovan nämnda studier från regeringens sida, kräver detta också en god beställar- och mottagarkapacitet hos regeringen. Det handlar både om process och produkt. Det är dessa utgångspunkter som utredningen har att ta hänsyn till när förslagen om hur denna utvärderingsverksamhet ska organiseras framöver. 3Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet 3.1Kartläggning av befintliga utvärderingsresurser I detta kapitel beskriver utredningen de aktörer som genomför eller har planer på att genomföra policyinriktade utvärderingar. Med policyinriktade avses här inte enbart effektutvärderingar utan även andra typer av utvärderingar. Utredningen har, i samråd med berörda organisationer, endast valt sådana studier som faller inom ramen för det utredningen menar med utvärdering, dvs. studier som innehåller såväl en analys som en bedömning. Utredningen har utifrån detta identifierat följande typer av huvudaktörer: Myndigheter inom utbildningsområdet som , Myndigheten för , och . Generella utredningsmyndigheter som , och Statskontoret. Universitet och högskolor samt forskningsråden. Om utredningen anknyter till resonemanget i kapitel 2 om vad policyinriktade utvärderingar är, finns det således en mängd olika aktörer där utvärdering och analys är en del som direkt eller indirekt berör utbildningspolitiken. Se vidare figur 3.1. Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet Figur 3.1 Aktörer som genomför någon form av utvärdering och analys inom utbildningsområdet I det följande gör utredningen en genomgång av de aktörer som nämns i figuren ovan även om den av naturliga skäl inte kan bli helt fullständig. Det finns t.ex. svårigheter, vilket diskuterats i kapitel 2, att fånga alla de policyinriktade utvärderingar som universitet och högskolor genomför. Att tas upp beror på att utredningen vill peka på att det genomförs ett antal studier som har karaktären av policyinriktade utvärderingar på utbildningsområdet, även om revisionen förmodligen inte själv kallar dessa för utvärderingar. Skolinspektionen kan också ses som ett gränsfall mellan uppföljning eller utvärdering. Inspektionen håller på att införa inslag av mer tematiska inspektioner. De myndigheter som är utpekade i direktiven och vars utvärderingsfunktion utredningen i första hand gjort en bedömning av är , , Statskontoret och IFAU. Det här kapitlet tar endast upp finansiella resurser och antalet anställda men inte personalens kompetens. Den diskuteras i kapitel 4. Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet är förvaltningsmyndighet för det offentliga skolväsendet och för den av det allmänna anordnade förskoleverksamheten och skolbarnsomsorgen. Inom ansvarsområde finns också de fristående skolorna och förskoleverksamhet m.m. som drivs av andra enskilda huvudmän.1 Myndigheten har till uppgift att följa upp och utvärdera skolväsendet, förskoleverksamheten, skolbarnsomsorgen och vuxenutbildningen. genomför utvärderingar med huvudsyftet att ge en nationell bild av tillståndet inom skolväsendet. Därtill ser verket över kursplaner och betygskriterier samt svarar för nationella prov. Att sprida kunskap om forskning och kunskapsbaserade metoder och erfarenheter som har betydelse för skolledare och pedagoger är en annan uppgift liksom att vara nationellt statistikansvarig inom sektorn. Myndigheten har även vissa andra uppgifter.2 är en enrådighetsmyndighet som leds av en generaldirektör. Antalet anställda uppgick till 397 årsarbetskrafter.3 Finansiering sker över statsbudget och uppgår till för år 2009.4 I sin verksamhet deltar i nio aktuella internationella komparativa studier , exempelvis PISA.5 uppgår kostnaden för internationella studier till . Av det totala antalet rapporter som producerade –2008 avsåg åtta regeringsuppdrag i syfte att utvärdera vissa satsningar och reformer inom förskole- och skolområdet. Exempel på genomförda studier av denna karaktär är bland annat Hur används individuella utvecklingsplaner? En studie efter införandet av nya bestämmelser, Den verksamhetsförlagda delen av lärarutbildningen och Tillgänglighet till grund- och gymnasieskolors lokaler, medan efter förskolereformen utvärderats på eget initiativ av . De direkta och indirekta kostnaderna sammantaget för regeringsuppdragen beräknas uppgå till 2007 och . 1Förordning (2008:612) med instruktion för . 2Se vidare i instruktion. 3Antalet anställda uppgick per till 252 tillsvidareanställda och 73 tidsbegränsat anställda. Genom verksamhetsövergång har verket tagit emot 52 medarbetare och 206 medarbetare har övergått till Skolinspektionen (Årsredovisning 2008). 4Regleringsbrev för avseende . 5OECD:s internationella kunskapsmätning Programme for International Student (). Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet Därutöver genomförde sju egeninitierade utvärderingar –2008 bland annat en metautvärdering av NU03.6 Myndigheten för skolutveckling (MSU) lades ned och stora delar av verksamheten överfördes till . –2008 hade MSU inte något regeringsuppdrag av utvärderingskaraktär men har initierat utvärderingar på eget initiativ. är en myndighet inom universitets- och högskoleområdet. Det är en enrådighetsmyndighet som leds av en universitetskansler och har cirka 141 årsarbetskrafter.7 Under disponerar ett ramanslag på cirka 172 miljoner kronor.8 I uppdrag ingår flera arbetsuppgifter. En av dessa är att granska kvaliteten på högre utbildning och att utvärdera lärosätenas kvalitetsarbete. Myndigheten genomför utvärderingar av utbildning på grundnivå, avancerad nivå och forskarnivå.