sou · GXB394 · 2009-12-10 00:00:00 — Som en konsekvens av detta har regeringen uttryckt en önskan om att få ökad tillgång till beslutsunderlag av hög vetenskaplig kvalitet. Intentionerna bakom de politiska besluten behöver följas upp och utvärderas. Dessutom behöver större ekonomiska satsningar inom utbildningsområdet bedömas ur både ett effektivitetsperspektiv och ur ett bredare samhällsekonomiskt perspektiv. Det är i detta sammanhang som utvärdering av utbildning är tänkt att spela en viktig roll. Önskemålet från regeringens sida gäller emellertid inte bara tillgången på utvärderingar utan även inriktningen på dessa. Enligt utredningens direktiv3 behöver studier med sikte på effekter av utbildningspolitiska beslut öka. Även de pedagogiskt verksamma inom skolan har, enligt regeringen, behov av att få tillgång till forskningsresultat. För att uppfylla detta behov behöver dels formerna för att kartlägga och 1Utbildning och universitetsforskning omfattar förskoleverksamhet, skolbarnsomsorg och skola, vuxenutbildning, kvalificerad yrkesutbildning, högre utbildning och forskning samt myndigheter inom utbildningsområdet (Utgiftsområde 16). Regeringens proposition 2009/10:1. sammanställa forskningsresultat utvecklas, dels en funktion inrättas med uppgift att på ett mer samlat sätt sprida den forskning som bedrivs inom skolans område. Utredningens uppdrag består av två delar: policyinriktad utvärdering och forskning med relevans för skolans måluppfyllelse och pedagogiskt verksamma. I det första deluppdraget, som avser policyinriktad utvärdering, ska utredningen:4 kartlägga befintliga resurser för policyinriktad utvärdering inom utbildningsområdet, bedöma behovet av resurser för sådan utvärdering, föreslå hur den policyinriktade utvärdering som genomförs kan göras mer tillgänglig för beslutsfattare, redovisa vilka arbetsformer som behövs för att säkra kompetens och kvalitet i utvärderingsverksamheten, och ta ställning till om resurser för policyinriktad utvärdering bör kvarstå i den befintliga myndighetsstrukturen eller samlas och inordnas i en särskild myndighet. I det andra deluppdraget, som rör spridning av forskningsresultat, ska utredningen:5 översiktligt beskriva den forskning som finns inom olika discipliner med relevans för skolans måluppfyllelse, föreslå hur former för att kartlägga, beskriva och särskilt sammanställa forskningsresultat med relevans för skolans måluppfyllelse kan utvecklas, analysera och föreslå hur de statliga insatserna inom området ska vara organiserade och särskilt pröva om en skolmyndighet ska ges ett utökat ansvar för att sammanställa och sprida kunskap om forskning och forskningsresultat, och göra internationella utblickar och jämförelser. 4Ibidem, s. 1. 5Ibidem, s. 2. Utredningen redovisar deluppdragen var för sig även om det finns vissa beröringspunkter. Båda uppdragen handlar om att öka eller förbättra tillgången till beslutsunderlag. Det första uppdraget har dock primärt regeringen som mottagare medan det senare främst riktar sig till verksamma inom skolan. I praktiken påverkar delarna varandra på så sätt att genomförda utvärderingar kommer att spridas tillsammans med övrig forskning till skolans verksamma liksom att befintlig forskning är ett viktigt material i de utvärderingar som görs. Utredningen har under arbetets gång hållit nio sammanträden med dess experter samt haft kontakt med ett stort antal referenspersoner. 1.2.1Del I – Policyinriktad utvärdering Sammantaget har ett tjugotal intervjuer genomförts med företrädare för . Vidare har bland annat myndigheter som genomför utvärderingar/uppföljningar inom utbildningsområdet intervjuats om befintliga resurser för policyinriktad utvärdering, arbetsformer och framtida utvärderingsverksamhet. Intervjuer har gjorts med företrädare för , (), av utbildning och forskning (), Myndigheten för (Yh), (Skolinspektionen) och (). Även ledningsrepresentanter för utvärderingsorgan inom andra samhällssektorer har intervjuats såsom (Brå), metoder i socialt arbete (IMS) och (). Därutöver har utredningen intervjuat och besökt representanter för Rådet för utbildningsvärdering i . Beskrivningarna av de olika myndigheterna i kapitel 3 baseras på underlag från respektive myndighets instruktion, regleringsbrev, årsredovisning samt information på webbplatser. Skrivningarna har granskats av respektive aktör. inom andra samhällssektorer (bilaga 3) bygger på liknande information som anges ovan vad avser myndighetsbeskrivningarna. Utredningen har även gett utbildningskonsult i uppdrag att ta fram underlag avseende utvärderingssystem i de nordiska länderna (se vidare i bilaga 4). 1.2.2Del II – Spridning av forskningsresultat Ett tiotal intervjuer har genomförts med representanter vid , Regionalt utvecklingscentrum i RUC), Resurscentrum för mångfaldens skola i (RMS), Skolporten, , (), Kommuner och Landsting (SKL) och (). Vidare har utredningen besökt och intervjuat företrädare för the Danish Clearinghouse (DCU) i samt Evidence for Policy and Practice Information and () i . Utredningen har genomfört två enkätundersökningar med frågor om behov, spridning och användning av forskningsresultat. En enkät är ställd till deltagare i forskningscirklar som Resurscentrum för mångfaldens skola i arrangerat. Initialt ställdes enkäten till 169 respondenter. Bortfallet uppgick till elva deltagare, vilket innebär att totala antalet respondenter reducerats till 158 stycken. Motsvarande enkät är ställd till alla skolchefer, dvs. Bortfallet uppgick här till 44 chefer, vilket betyder att det totala antalet respondenter är 418 stycken. Den första enkäten är inte representativ för landets lärare eftersom den avser lärare/skolledare m.fl. som deltagit i forskningscirklar. Utredningen antar att de som har haft kontakt med forskning är intresserade och därmed lättare kan uttrycka behov av och ha synpunkter på forskningsresultat samt hur de bäst når ut till de yrkesverksamma i skolorna. Den andra enkäten skickades till i stort sett alla skolchefer, som enligt utredningen har en viktig ställning såväl gentemot skolorna som mot politikerna. Syftet var att få deras syn på forskning och forskningsspridning. Svarsfrekvensen för båda enkäterna uppgår till , vilket gör att resultaten ska tolkas med en viss försiktighet. Utöver detta har utredningen, avseende hela uppdraget, tagit del av forskning, utredningar, utvärderingar, studier, rapporter och annan dokumentation i stor omfattning. Utredningen har också haft kontakt med internationella mäklarorganisationer och andra relevanta aktörer. Enligt direktiven har utredningen samrått med , , Myndigheten för , , och Statskontoret. Utredningen har även gett samhällsekonomen i uppdrag att ta fram underlag avseende ekonomiska konsekvenser och finansiering av utredningens förslag (kapitel 10). Fortsättningsvis är betänkandet uppdelat i två delar: policyinriktad utvärdering respektive spridning av forskningsresultat. I det närmast följande kapitlet, Utgångspunkter för policyinriktade utvärderingar, beskrivs vad utredningen anser vara viktiga förutsättningar för arbetet. I kapitel 3 beskrivs befintliga resurser. I fjärde kapitlet presenteras utredningens överväganden och förslag avseende policyinriktad utvärdering. Kapitel 5 handlar om utgångspunkter för att sprida forskningsresultat. Vidare följer en översiktlig beskrivning av forskning med relevans för skolans måluppfyllelse i kapitel 6. Kapitel 7 beskriver spridning och användning av forskningsresultat . I kapitel 8 presenteras resultaten från enkätundersökningarna. Kapitel 9 innehåller utredningens överväganden och förslag om att sprida forskningsresultat och kapitel 10 slutligen en konsekvensbedömning av uppdragets båda delar. Därutöver innehåller betänkandet bilagor med kommittédirektiv, tilläggsdirektiv, kartläggning av utvärderingsorgan i andra samhällssektorer, en nordisk utblick samt en internationell utblick och jämförelse av mäklarorganisationer. 2Utgångspunkter för policyinriktade utvärderingar Regeringen har i direktiven till denna utredning uttryckt ett behov av policyinriktade utvärderingar, bland annat effektutvärderingar. Behovet uttrycks på följande sätt: Mål- och resultatstyrning inom utbildningsområdet förutsätter att det finns en fungerande uppföljning och utvärdering av verksamheten. Det politiska och ekonomiska fokus som finns på utbildningsområdet medför också att kraven på beslutsunderlag av hög kvalitet ökar. Det är angeläget att väl gjorda analyser och annat kunskapsunderlag finns tillgängliga vid beslutsfattande som rör framtida utbildningsfrågor. Tillgången till bl.a. policyrelevanta studier av hög vetenskaplig kvalitet som tar sikte på effekter av utbildningspolitiska beslut behöver öka. Reformer och åtgärder behöver följas upp och utvärderas utifrån de intentioner som har legat till grund för besluten. Större ekonomiska satsningar inom utbildningsområdet behöver vidare kunna analyseras ur ett effektivitetsperspektiv och ur ett bredare samhällsekonomiskt perspektiv. För att få en något fylligare bild av behovet har utredningen, som tidigare nämnts, genomfört ett antal intervjuer inom . Det uttrycks ett behov av djupare och systemövergripande analyser, dvs. sådana som täcker hela utbildningsområdet. Utvärdering bör i högre grad än ingå som en självklar del i varje större reform, enligt respondenterna. Bredd, djup, långsiktighet och en bättre planering är sammanfattningsvis önskemålen när det gäller policyinriktade utvärderingar. Övriga utgångspunkter som utredningen har att beakta är att utvärderingsfunktionens oberoende ska säkerställas i förhållande till genomförandet av utbildningspolitiken. Myndigheternas nationella uppdrag ska däremot inte prövas. Regeringen ska vidare kunna beställa utvärderingar av denna funk- Utgångspunkter för policyinriktade utvärderingar tion men den ska också kunna genomföra utvärderingar och andra analyser på eget initiativ. Utifrån ovan nämnda behov finns det, som utredningen ser det, två övergripande frågor att ta ställning till. Den första frågan handlar om hur själva territoriet ser ut, dvs. vad är det som ska uppfyllas? Vad innebär policyinriktade utvärderingar? Hur omfattande är denna typ av utvärderingsverksamhet och vilken inriktning ska den ha? Utredningen kommer att diskutera denna fråga relativt utförligt eftersom den är avgörande för utredningens analys och ställningstaganden. Den andra frågan handlar om hur denna utvärderingsverksamhet ska organiseras, när den väl är bestämd. I det här kapitlet kommer utredningen att diskutera den första frågan. Utifrån behovet av policyinriktade utvärderingar, har utredningen tagit fasta på fyra viktiga aspekter. Den första aspekten är att det finns ett behov, rent allmänt, av att väl gjorda analyser och annat kunskapsunderlag finns tillgängliga vid beslutsfattande. Utvärdering är bara ett av flera policyrelevanta underlag som ett politiskt beslut kan bygga på. Den andra aspekten är att det finns önskemål om vilka objekt som i första hand ska utvärderas, nämligen policyer (reformer, åtgärder eller liknande) och företrädesvis effekterna av dessa policyer. Den tredje aspekten är att det finns ett uttryckt behov och ett fokus på just utvärdering. Den sista aspekten är att utvärderingarna ska hålla en vetenskaplig kvalitet även om det i direktiven också talas om hög kvalitet. Slutligen tas begreppet evidens upp. Alla dessa aspekter kommer att beröras nedan. Utredningen börjar med begreppet policy. Policy och policyinriktad (utvärdering) är ett centralt begrepp i utredningen. Med policyinriktad utvärdering avses följande, enligt direktiven: Utgångspunkter för policyinriktade utvärderingar Med policyinriktad utvärdering avses i dessa direktiv studier som främst tar sikte på effekter på måluppfyllelse eller resultat av olika politiska beslut, reformer och åtgärder. Själva begreppet policy skulle kunna tolkas som en programförklaring, en uppsättning uttryckligen deklarerade riktlinjer för en verksamhet.1 En policy kan sägas vara konkretiseringen, själva innehållet i de reformer eller åtgärder som politikerna fattat beslut om. Däremot ingår inte i utredningens uppdrag, vilket nämnts tidigare, att pröva myndigheternas nationella uppdrag. Det innebär att uppdrag att löpande utvärdera högre utbildning i eller t.ex. i instruktionen fastlagda nationella utvärderingar ligger utanför utredningens uppdrag. Det som direktiven avser med policyinriktade utvärderingar och som används som exempel är de särskilda uppdrag som myndigheter fått, såväl inom som utanför den specifika utbildningssektorn. Exempel på nämnda policyinriktade utvärderingar är lärosätenas arbete med breddad rekrytering och särskild lärarutbildning för obehöriga lärare (). Vidare nämns Statskontorets utvärdering om fortbildning av lärare2, utvärdering av maxtaxan3 och utvärdering av hur regionala utvecklingscentrum samt vissa nationella resurscentrum fungerat i ett skolutvecklingsperspektiv.4 Exempel på beslut inom utbildningsområdet som tagits är införandet av nationella prov i årskurs tre, nytt målsystem i kursplaner och att nytt betygssystem och läsa-skriva-räkna-satsning har införts i årskurs ett till tre. Andra satsningar av regeringen, som kan bli föremål för utvärdering, är t.ex. gymnasial lärlingsutbildning och försöksverksamhet med gymnasial spetsutbildning, forskarskola för lärare, förändringar i forskningsfinansieringen och en ny lärarutbildning. Territoriet för policyinriktade utvärderingar är således ganska stort men kommer också att fluktuera eftersom det är politiskt styrt. I den tänkta utvärderingsfunktionen är emellertid avsikten att det ska finnas utrymme för egeninitierade utvärderingar. Det innebär att en sådan funktion inte behöver vänta på uppdrag. 1Premfors 1989, s. 9. Rapport 2009:1 R. Utgångspunkter för policyinriktade utvärderingar menar utredningen att funktionen ska kunna initiera andra typer av analyser än bara policyinriktade utvärderingar. Begreppet utvärdering har, som så många andra ofta använda begrepp, blivit en semantisk magnet, dvs. många typer av utrednings- och analysverksamhet samlas under paraplyet utvärdering.5 Den amerikanska statsvetaren något slitna uttryck när det gäller planering, dvs. if planning is everything, maybe it´s nothing, skulle lätt kunna appliceras på begreppet utvärdering och kanske också på begreppet evidens.6 Den semantiska magneten får till följd att det är svårt att beräkna hur mycket resurser som läggs på utvärderingsverksamhet inom utbildningssektorn. uppskattade den sammanlagda kostnaden för utvärderingsverksamheten hos myndigheter och till (exklusive den utvärderingsverksamhet som staten reglerar men inte själva utvärderar).7 I denna beräkning ingick då inte bara utvärdering utan även uppföljningsverksamhet.8 Ett stort antal definitioner av utvärdering har lanserats . Det beror inte bara på begreppets allmänna spridning, det utredningen kallade en semantisk magnet ovan, utan också på att utvärdering som fenomen har fått en mängd olika inriktningar.9 Även om definitionerna är olika och med olika betoning finns det mycket gemensamt. 5Weiss 1998, s. 3. 7SOU 2007:75, s. 139 f. 8Det svåra att hålla en åtskillnad mellan utvärdering och uppföljning är 2006 ett exempel på. Trots titeln, , handlar exemplen i boken främst om uppföljning och inte utvärdering. 9Scriven 1991, s. 139, ger exempelvis följande definition av utvärdering: Evaluation refers to the process of determining the merit, worth, or value of something, or the product of that process. 1998, s. 4, definierar utvärdering som the systematic assessment of the operation and/or the outcomes of a program or policy, compared to a set of explicit or implicit standards, as means of contributing to the improvement of the program or policy. Patton 1997, s. 23, som betonar användning som en viktig komponent i utvärdering, menar att: Utilization-focused program evaluation (as opposed to program evaluation in general) is evaluation done for and with specific, intended primary users for specific, intended users. I The Programme Evaluation Standards , s. 2, definieras utvärdering som The systematic investigation of the worth or merit of an object. Vedung 2009, s. 22, slutligen, definierar utvärdering som en noggrann bedömning i efterhand av utfall, slutprestationer, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänkes spela en roll i praktiska beslutssituationer. Utgångspunkter för policyinriktade utvärderingar systematik och värdering/bedömning som gemensamma kriterier.10 definierar t.ex. utvärdering som noggrant bedöma värdet av en ny verksamhet.11 Den definition som statsvetaren använder, nämligen en noggrann bedömning i efterhand av utfall, slutprestationer, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänkes spela en roll i praktiska beslutssituationer, är på sätt och vis en sammanfattning av övriga definitioner, även om inte alla håller med om att utvärdering måste vara en efterhandsbedömning.12 Ur dessa definitioner är det tre specifika faktorer eller nyckelord som kännetecknar och som många anser är viktiga i en utvärdering, nämligen systematisk eller noggrann insamling av data, värdering eller bedömning och användning. Hur noggrann en utvärdering ska vara (prefixet ut i utvärdering betyder just noggrann) leder oss in på ett annat nyckelbegrepp i direktiven, nämligen hög vetenskaplig kvalitet. Utvärdering och noggrannhet eller systematik har ofta likställts med eller knutits till forskningsmetoder. ... program evaluation is the application of systematic research methods to the assessment of program design, implementation, and effectiveness uttalade sig Chelimsky i mitten av 1980-talet.13 , även hon en av pionjärerna på utvärderingsområdet, kallade en av sina första böcker Evaluation research. Hon menade att alla de metoder som används inom forskning som uppläggningar, mätmetoder och analyser också gäller för att utföra en utvärdering. Det som skiljer utvärdering från forskning är inte metoderna eller objekten i sig utan syftet.14 Samma resonemang kan överföras på den effektivitetsrevision som bedriver. Utgångspunkten för revisionen är visserligen kontroll men metoderna kan i många fall vara desamma som i utvärdering. Men just syftet med utvärdering gör, enligt en annan av de tidigare utvärderingsforskarna inom utbildningsområdet, Cronbach, att utvärderingar inte alltid kan hålla den absolut högsta vetenskapliga standarden i praktiska situationer. Det kanske inte ens är lika viktigt eller önskvärt. Utvärdering skiljer sig från 10Åberg 1997, s. 11 ff., menar, när det gäller definitioner av utvärdering att dessa innehåller två grundläggande komponenter: för det första att – noggrant och systematiskt – samla kunskap, och för det andra att göra en bedömning. menar att den vanligaste betoningen ligger på den första komponenten. 12Vedung 2009, s. 22. 13Chelimsky 1985, s. 7. 14Weiss 1972, s. 6. Utgångspunkter för policyinriktade utvärderingar vetenskaplig forskning, enligt Cronbach, eftersom ... evaluation is more art than science and should be oriented toward meeting needs of program decisionmakers and stakeholders ... and to inform action.15 För Cronbach är användning viktigare än vetenskaplig kvalitet. Det finns även andra skillnader som brukar framhållas: forskning söker slutsatser medan utvärdering söker bedömningar. Forskaren ställer frågorna, dvs. äger problemställningen, vilket utvärderaren vanligtvis inte gör. Problemformuleringen står antingen beställaren eller utvärderaren och beställaren tillsammans för.16 Forskaren söker generalitet medan en utvärdering kan vara applicerbar endast för dem som beställt informationen. Forskaren är knuten till en disciplin medan utvärderaren snarare arbetar tvärdisciplinärt. Bedömningskriterierna kan också vara annorlunda. För forskningen är kriterierna dels intern validitet, dvs. att metoderna gör det möjligt att dra säkra slutsatser, men också extern validitet, dvs. att utifrån undersökningen kunna överföra detta till andra liknande situationer (att kunna generalisera). För utvärdering kan det främsta kriteriet däremot vara nytta för användaren.17 Gränsen är naturligtvis flytande. Om en forskare bedömer en statlig insats på eget initiativ, utifrån egna uppsatta kriterier, använder vetenskapliga metoder, kanske i teoriskapande syfte, är detta utvärdering eller är det forskning? Det är således inte skillnaden i ansats eller metodval som skiljer forskning och utvärdering åt, eftersom utvärdering är en viktig del av forskningen. Inte ens syftet behöver skilja utvärdering och forskning åt (vilket inte gäller all forskning). kombineras begreppen utvärdering och forskning och benämns utvärderingsforskning. För några är innebörden av utvärderingsforskningen utvärdering med vetenskapliga metoder. För andra betyder det forskning om utvärdering. I det här sam- 15Citerat i m.fl. 1999, s. 29. 16Se Rieper 2004, s. 16. 17Fitzpatrick m.fl. 2004, s. 6 f., 1998, s. 15 ff. och Vedung 2002, s. 12. I m. fl. 2007, s. 17 ff. ges följande sammanfattande beskrivning av forskning: 1) Forskning är teoretisk i betydelsen kumulativ, man tittar alltid på tidigare forskning som utgångspunkt. 2) Forskning är teoretisk i betydelsen att den använder sig av vetenskapligt språk, dvs. använder en tydlig terminologi och gärna väldefinierade begrepp. 3) Forskning är empirisk i betydelsen att observationer av verkligheten fäller avgörandet. 4) Forskning är empirisk i betydelsen att den genomför systematiska och hederliga undersökningar. 5) Forskning är intersubjektiv i betydelsen forskaroberoende, genomskinlig och värderingsfri. 6) Forskning har i princip förklarande ambitioner. 7) Forskning har i princip generaliserande ambitioner. Utgångspunkter för policyinriktade utvärderingar manhanget är det inte så viktigt vad utvärderingsforskning betyder, utan det viktiga är att utvärdering genomförs med så tillförlitliga och sammansatta metoder som möjligt. Utredningen menar att utvärdering således i många fall kan likställas med forskning och att de vetenskapliga metodkraven bör, där det är möjligt, vara desamma som i forskning. Utvärdering är däremot i fråga om analys, omfattning och inriktning en helt annan typ av verksamhet än exempelvis uppföljning. Bedömningsmomentet är också en viktig del i en utvärdering (utvärdera). En utvärdering bör, enligt utredningen, för att också bli mer användbar, t.ex. inte bara påvisa att en insats givit en viss effekt utan effekten måste bedömas mot en måttstock. Måttstocken kan exempelvis avse uppsatta mål, i förhållande till tidigare resultat, ett absolut mått, någon liknande verksamhet, i jämförelse med en annan typ av insats, kostnadseffektivitet osv. Policyinriktade utvärderingar ska enligt direktiven vara inriktade på studier som främst tar sikte på effekter på måluppfyllelse eller resultat. Utredningen tolkar detta som att det inte bara är intressant att mäta effekter på måluppfyllelse utan även att analysera andra typer av effekter, dvs. sådana effekter som inte kunde förutses när insatsen genomfördes. För att kunna tillgodose detta behov krävs ett antal förutsättningar. Effekt innebär per definition alltid en jämförelse, nämligen mellan den faktiskt mätta utvecklingen och den utveckling som vi tror skulle ha inträffat utan den gjorda insatsen, den så kallade kontrafaktiska utvecklingen. Skillnaden (om den är tillräckligt stor) mellan den faktiska och den kontrafaktiska utvecklingen utgör effekten. Att mäta sluteffekten är, av olika skäl, inte alltid så lätt. Det är därför som man ofta får mäta mellanliggande effekter: det som brukar beskrivas som en effektkedja eller en mål – medelskedja. finns det en terminologisk skillnad, som vissa kanske bara uppfattar som en akademisk fråga, men som har en reell betydelse för att bestämma hur mycket resurser som läggs på policyinriktad utvärdering. Det är skillnaden mellan begreppet effekt och begreppet orsak. Det är inte en faktisk skillnad utan snarare en skillnad i utgångspunkt, eller med terminologi