sou · H2B312 · 2014-03-12 00:00:00 — Genom att redogöra för de olika sätt som en intervention kan tänkas påverka en verksamhet, en situation eller ett resultat kan man klarlägga vilka mekanismer som fungerar och hur de gör det. Programteorin ger stöd för vad som bör undersökas i utvärderingen och i vilken ordning samt är ett viktigt led i bedömningen av en eller flera effekter. Programteorin bör därför utformas som själva utvärderingsfrågan formuleras. Programteorin uttrycks sällan explicit i ett visst beslut eller i de underlag som tagits fram inför beslutet. 30www.ec.europa.eu/regional_policy/information/evaluations/impact_faq_theor_en.cfm 31Dahler-Larsen, (2005) Vaikuttavuuden arviointi. (Utvärdering av effektivitet). utvärdering har det utvecklats olika metoder för hur en program- teori kan konstrueras i efterhand. Programteorin bör utarbetas med stöd av olika källor som kan ge en uppfattning om t.ex. en regerings antaganden om relationen mellan åtgärd och utfall för en tänkt reform. Källor kan i detta fall vara t.ex. bakomliggande dokument eller information från intervjuer med personer som haft insyn i förberedelserna för reformen. Svaret ges sällan i en proposition. Programteorin utformas ofta med hjälp av formen om – så32. För detta finns olika metoder, t.ex. kan man ta fram s.k. CMO- konfigurationer (context-mechanism-outcomes) som visar hur en viss mekanism producerar ett visst resultat under vissa för- hållanden. Försök har även gjorts att fastställa effekten av sådana mekanismer med hjälp av experiment. De metoder som utvecklats för att göra effektutvärderingar har på så sätt visat sig användbara för att bekräfta eller förkasta de resultat som framkommit i studier med en programteoretisk ansats33. 3.2.3Utvärdering av komplexa system Utgångspunkten för den typ av programteori som den teori- baserade utvärderingsansatsen bygger på, är att det föreligger linjära orsakssamband (kausalitet), dvs. att saker inträffar i en viss följd. Om A görs, så inträffar B och resultatet blir C . Många har dock konstaterat att offentlig verksamhet sällan består av sådana enkla situationer. Snarare präglas offentlig verksamhet, som till exempel, sjuk- och hälsovård, socialt arbete och utbildning, av att verksamheten är komplex. Man skiljer ofta på enkla, komplicerade och komplexa situa- tioner eller verksamheter. En intervention i en enkel situation karaktäriseras av det är enkelt att utforma åtgärden och att effekten av en denna enkelt kan förutses och upprepas med gott resultat. Inom sjukvården brukar man exemplifiera med att ta en huvudvärkstablett. En intervention i en komplicerad situation karaktäriseras av att åt- gärden visserligen är komplicerad, men att effekten kan förutses och upprepas. Inom sjukvården brukar knäledsoperationen ges som exempel. Ett exempel från ett annat område gäller rymdfärder, som visserligen bygger på en komplicerad teknik, men när denna väl har (2003) a.a. 33Ludwig, . Kling & Sendhil Mullainathan (2011) Mechanism Experiments and Policy Evaluations, , Vol 25 No 3. utvecklats kan färden upprepas med förväntat resultat. En inter- vention i en komplex situation kännetecknas däremot av att en åtgärd inte självklart får samma effekt när den upprepas. Barnuppfostran har angivits som ett exempel på en komplex situation.34 Komplexa situationer kännetecknas av icke-linjär kausalitet, dvs. att sambandet mellan orsak och verkan inte är tydligt, direkt eller proportionerligt. Komplexa situationer präglas även av oförutsäg- barhet eftersom det finns många aktörer som påverkar och påverkas av varandras beteenden, och som i sin tur påverkar och påverkas av systemet som externa faktorer ständigt påverkar situa- tionen. Vidare kan det finnas flera samtidiga eller flera alternativa kausala vägar, dvs. det finns flera olika sätt som verksamheten kan genom- föras på för att de slutgiltiga effekterna ska uppstå. Forskare35 talar till exempel om framväxande resultat (emergent outcomes), dvs. att de specifika resultaten uppstår under hand under implementeringen av en intervention. Fenomenet med framväxande resultat är kopp- lat till att människors beteendemönster inte är konstanta i kom- plexa, föränderliga system. När systemets omgivning förändras så förändras även beteendet hos de som agerar i systemet, och, som en följd av detta, förändras systemet som helhet. Sådana framväxande resultat är vanliga i samband med omfattande samhälleliga interven- tioner. Det är lätt att konstatera att utbildning är en komplex verksamhet, där samma åtgärd långt ifrån alltid leder till samma effekt inom alla skolenheter. Ett skäl till detta är att interventioner i skolan i hög grad är beroende av mänskligt beteende. Skolan är därtill ett omfat- tande socialt system med flera olika ansvarsnivåer. Insatser av olika slag beslutas på en nivå i systemet men implementeras i en lokal verksamhet där varje miljö är unik. Som en följd av detta uppstår varierande (eller heterogena) effekter. Eftersom mänskligt beteende varierar under påverkan av olika kontexter är det nödvändigt att intressera sig för teorier som kan bidra till att förklara och förutsäga hur särskilda kontexter påver- kar individer att agera på ett visst sätt och därigenom åstadkomma ett visst specifikt utfall eller resultat. 34Glouberman, (2002) Complicated and : What Would Successful Reform of Medicare look like? Commision on the Future of Helth Care in . Discussion paper, no. 35Rogers, (2008) Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions. Evaluation, 14:29. Forskningen har gjort vissa framsteg i fråga om möjligheten att formulera detta slags förklaringar och sådan förutsägbarhet. Realist evaluation36 är en ansats som bland annat fokuserar vilka grupper som gynnats respektive inte gynnats av ett program eller en åtgärd. Bedömningen av en åtgärds effektivitet handlar då inte endast om att bedöma utfallet i termer av orsak och verkan, t.ex. genom att ställa en grupp som berörts av åtgärden mot en grupp som inte berörts, utan också om att bedöma variationen inom den grupp eller mellan de grupper som berörts av åtgärden. Slutsatsen är således inte att det är omöjligt att utvärdera inter- ventioner inom en komplex verksamhet som skolan. Däremot krävs en god utvärderingsdesign, som i många fall bygger på en variation av olika metoder och är utformad med utgångspunkt i en väl genomtänkt reformstrategi (se vidare kapitel 6). En systematisk översikt (systematic review) är inte en utvärde- ringsdesign utan en sammanställning av bästa möjliga kunskap inom ett visst område. Arbetet med att ta fram en systematisk översikt följer ett rigoröst protokoll som syftar till att säkerställa att den slutliga bedömningen bygger på ett urval av relevanta studier av högsta vetenskapliga kvalitet. Av protokollet framgår vad som krävs i form av sökstrategi vid sökning i databaser, transparens vad gäller urvalsmetoder och former för att säkerställa vetenskaplig kvalitet. En vanlig metod är peer review, dvs. att kvalificerade oberoende forskare granskar metoder och resultat. Systematiska översikter har kommit att bli en viktig beståndsdel i den strömning för evidensbaserad politik och praktik som vuxit sig stark i många länder.37 Strömningen går tillbaka till den brittiske läkaren som hävdade att medicinsk behandling skulle kunna bli mycket effektivare om man i större utsträckning arbetade med vetenskapligt kvalitetssäkrade metoder38. 36Pawson, (1997) Realistic Evaluation. 37Framställningen utgår från , (2010) Systematiska översikter, vetenskaplig kumulativitet och evidensbaserad pedagogik. Pedagogisk forskning i , årg. 15, nr. 2/3. 38Cochranes, (1972) Effectiveness and Efficiency: Random Reflections on . : Nuffield Trust, 1972. (Reprinted in 1989 in associa- tion with the BMJ, Reprinted in 1999 for Nuffield Trust by the Press, . Det stora genomslaget för Cochranes idéer kom sedan andra forskare39 utvecklat en metod för att jämföra effekter av olika behandlingar och att genom ett enhetligt mått, effektstorlek, göra individuella undersökningar jämförbara. En metaanalys är den term som används när en sammanvägning görs av ett stort antal studiers effektstorlek till ett sammanvägt mått. Metoden att fastställa effektstorlekar medförde att de systema- tiska översikterna till en början helt kom att bygga på kvantitativa metoder. Tidigt började dock en kritik växa fram mot att metoden uteslöt andra, mer kvalitativt inriktade forskningsdesigner. Fors- kare med samhällsvetenskaplig och social inriktning menade att det är både möjligt och nödvändigt att göra systematiska översikter byggda även på kvalitativt inriktade studier. Annars kommer helt enkelt inte ett stort antal frågor att kunna besvaras. Successivt har ståndpunkten vunnit mark att även kvalitativa studier, som bygger på t.ex. observationer och intervjuer, kan ingå i underlaget för systematiska översikter. Metasyntes har kommit att bli en samlings- beteckning för metoder med vars hjälp resultaten av kvalitativa studier kan integreras. Inom vetenskapssamhället har en intensiv diskussion förts om den evidensbaserade ansatsens anspråk och begränsningar. Å ena sidan finns ett brett stöd för behovet av kunskapsöversikter och synteser av forskningsläget inom olika områden – dels som grund för den fortsatta inomvetenskapliga utvecklingen, dels som grund för professionell praktik och beslutsfattande på policynivå. Å andra sidan har det funnits en diskussion om vad som kan utgöra evidens och därmed vilken slags forskning som kan ingå i en systematisk översikt. Diskussionen har även rört hur forskningsresultat kan omsättas i god praktik och vilka förutsättningar som krävs för att detta ska kunna ske. Systematiska översikter syftar till att ta fram bästa möjliga kunskap som grund för politiska beslut eller för praktiskt verksammas beslut om handlingar, aktiviteter, processer m.m. De har alltså en viktig roll att spela i den evidensinformerade politik och verksam- het som diskuterades i föregående kapitel. Systematiska översikter syntetiserar redan befintlig kunskap. Om det saknas studier (nationella eller internationella), eller om 39 tillsammans med . dessa inte håller tillräcklig vetenskaplig kvalitet, kan inte heller några systematiska översikter produceras. Genomgången av utvärderingslitteraturen tydliggör att det kan vara svårt att orientera sig rätt bland alla olika teorier och utgångs- punkter. Det framgår att det också finns goda möjlig- heter att genomföra utvärdering, även i de fall förutsättningarna i förstone inte verkar finnas. Gemensamt för god utvärdering av en reform eller insats är sammanfattningsvis att det finns en systematisk insamling av data (kvantitativ eller kvalitativ) till grund för analys, tolkningar och bedömningar, en metodik vid behandlingen av data (kvantitativ eller kva- litativ) som uppfyller rimliga krav på validitet och reliabilitet, samt en värdering (av utvärderingsobjektets nytta, effekter, påverkan eller motsvarande) i förhållande till något slags måttstock (rikt- värden, kriterier eller referenspunkter). Utöver dessa krav kan utvärderingar vara av en mängd olika slag, för att möta olika krav och förutsättningar: effektutvärdering, pro- gramteoretisk utvärdering, processutvärdering, etc. Det behövs en mångfald av metoder Genomgången av forskning inom området visar att flertalet utvär- deringsexperter och utvärderingsforskare är överens om att metoder för utvärdering bör väljas med utgångspunkt i själva objektet för utvärderingen och i de frågeställningar som ska utvärderas. Fler- talet forskare menar också att kombinationer av olika metoder kan vara en god strategi för att fånga olika aspekter av en mer eller mindre sammansatt verklighet. I likhet med flertalet forskare och utvärderare ansluter vi oss till ett utvärderingsbegrepp som kan omfatta såväl att mäta effekter och skatta samband som att bedöma eller värdera ett utvärderings- objekt, att söka efter förklaringar till varför vissa effekter eller resultat uppstått (eller inte uppstått) samt att försöka förstå olika processer och variationer i utfall. Valet av metod för en specifik utvärdering bör vidare göras utifrån den eller de aktuella utvärderingsfrågorna och kvantitativt och kvalitativt inriktade metoder bör inte ställas mot varandra. Det behövs utvärdering av båda slagen. Utvärdering av reformer ställer krav på att beställaren har en hög metodisk medvetenhet. En sådan medvetenhet innebär bland annat att vara uppmärksam på att det kan vara riskabelt, direkt olämpligt, att slå fast vilken slags utvärderingsmetod som ska användas – metodfrågor hanteras bäst av utvärderaren. För att åstadkomma relevanta utvärderingar av god kvalitet bör beställaren av utvärderingen däremot noga överväga vad det är för kunskaper man vill få ut som resultat av utvärderingsinsatsen, dvs. i vilket syfte utvärderingen ska genomföras, och hur man vill att utvärderingens resultat ska användas. Utvärderingssystemet bör kunna hantera komplexitet Forskningen har tagit fasta på att många offentliga verksamheter är sammansatta till sin karaktär. Man har använt olika begrepp för att beteckna denna karaktär – enkla respektive komplexa situationer, tama respektive svårlösta samhällsproblem40 – men den verklighet man velat komma åt uppfattar vi är densamma. Distinktionen mellan enkla och komplexa situationer är av stor betydelse för hur en utvärdering kan utformas och vilken slags vetande en utvärdering kan resultera i. Skolans verksamhet uppvisar alla kännetecken på en komplex och svårlöst verklighet. Detta får till följd att även interventioner i skolan i de flesta fall har en komplex karaktär, vilket både den övergripande reformstrategin och valet av metoder för utvärdering bör förhålla sig till. Effektstudier med RCT-metodik kan i många sammanhang vara lämpliga. I andra sammanhang kan de leda till att regeringen endast får svar på mer begränsade frågeställningar och kommer att bli utan svar på angelägna frågor, som den kunde fått svar på om även andra utvärderingsmodeller använts. För att regeringen ska få maximalt utbyte av sina utvärderingsuppdrag ställs därför krav på beställar- kompetens och på att metodval inte låses i onödan. 40 Begreppen tama respektive svårlösta samhällsproblem diskuteras t.ex. i betänkandet Att tänka nytt för att göra nytta – om perspektivskiften i offentlig verksamhet (SOU 2013:40). Mångfald och komplexitet påverkar organiseringen Utvärdering har en roll i olika skeden av en reform (före, under och efter) och kan genomföras med skilda strategier och metoder. Det medför att utvärderingen kan behöva organiseras på olika sätt. Det kan ske helt eller delvis inom ramen för ett existerande utvär- deringssystem, men det kan också ske genom att det skapas sär- skilda projekt eller uppdrag kopplade till en viss reform. Här väcks frågor om hur ett utvärderingssystem bör vara utformat för att kunna bidra med den kunskap som behövs, inte minst för att kunna identifiera behov av framtida politiska reformer eller andra åtgärder. Vilka beståndsdelar behöver det bestå av, hur hör de ihop, vem ansvarar för vad, vilken information/data behövs, etc? Här aktualiseras även frågor om när det behövs mer oberoende särskilda utvärderingar av reformer och hur dessa i så fall ska organiseras och förhålla sig till det befintliga utvärderingssystemet. Utredningen återkommer till dessa frågor i det följande. För den fortsatta diskussionen om utvärdering av reformer, och behovet av data för sådan utvärdering, behöver utgångspunkt tas i dagens nationella system för uppföljning och utvärdering av skolan. Utöver uppföljning och utvärdering består systemet av viss tillsyn och granskning samt viss forskning. Systemet bidrar fortlöpande till systemkunskap om skolan, och utgör underlag för utvärdering av reformer. Här redogörs därför för dagens nationella uppfölj- nings- och utvärderingssystem. Redovisningen avser de väsentli- gaste inslagen i utvärderingssystemet och de aktörer som ansvarar för utvärderingen. 4.1Det nationella uppföljnings- och utvärderingssystemet Huvudobjektet för detta avsnitt är det nationella systemet för upp- följning och utvärdering av skolan. Figur 4.1 är ett försök att schematiskt åskådliggöra den nationella uppföljningen och utvärde- ringens olika beståndsdelar och dess placering i gränslinjen mellan den nationella politikens styrning och skolans praktik. Modellen är extensiv i den meningen att den utöver vad som självklart kan räknas in som uppföljning och utvärdering även omfattar viss inspektion och granskning samt viss forskning. Gränserna mellan de olika aktiviteterna är inte skarpa. Till exempel kan en utvärdering genomföras med underlag från statistiksystemet eller med utgångs- punkt i data från t.ex. de internationella studierna. En utvärdering kan också genomföras som ett forskningsprojekt, etc. Modellen syftar till att skapa en översiktlig struktur för den fortsatta fram- ställningen. Modellen syftar till att tydliggöra att det nationella systemet å ena sidan vilar på lärares bedömning och betygssättning och på skolans och huvudmännens uppgiftslämning, dvs. på uppgifter från verk- samheten, och å andra sidan kan bidra till lokal skolutveckling. Vad som inte framgår av bilden är bland annat det uppgiftslämnande från den lokala nivån som består i att elever, lärare och skolledare svarar på enkäter eller på annat sätt bidrar med underlag till olika regelbundna studier, liksom det uppgiftslämnande som är för- knippat med sådana unika utvärderingsstudier som inte ingår i den regelbundna uppgiftsinsamlingen. Vad som dessutom inte framgår, men som vi återkommer till i det följande, är vilka de centrala aktörerna är och ansvarsfördel- ningen dem emellan. Eftersom bilden ovan fokuserar det nationella uppföljnings- och utvärderingssystemet framgår inte heller de vik- tiga utvärderingsaktiviteter som bör genomföras av skolan och huvudmannen för att svara på lokala behov. har det huvudsakliga ansvaret för det nationella uppfölj- ningssystemet. Nationella utvärderingsstudier genomförs av Skol- verket och av även andra aktörer. är statistikansvarig myndighet för den officiella statistiken om skolväsendet1. Det är dock () som på uppdrag svarar för att samla in uppgifterna från skolhuvudmännen. Syftet är att den officiella statistiken ska ge en samlad bild av skolans verksamhet. samlas uppgifter in om barn, elever, personal, kostnader och utbildningsresultat. Uppgifterna samman- ställs till statistik per verksamhetsform och skolform. Statistiken presenteras på såväl riks-, läns-, kommun- som skolnivå. För finns strukturella uppgifter om t.ex. -antal elever och grundskolor, fördelat på huvudman, årskurs samt kön, -moderna språk, svenska som andraspråk och modersmål, -antal lärare och annan pedagogisk personal som arbetar i sko- lorna, lärartäthet och andelen lärare med pedagogisk högskole- examen samt vilka ämnen lärarna undervisar i, samt -totalkostnader och kostnader per elev samt kostnader för undervisning, lokaler, läromedel, elevvård, skolmåltider m.m. Dessutom finns statistik över studieresultaten. Den består av slut- betyg för eleverna i årskurs 9 bland annat i form av genomsnittligt meritvärde, behörighet till nationella program i gymnasieskolan och betyg per ämne. finns även betygsresultat för eleverna i årskurs 6. Betygsuppgifterna fördelas på huvudman, års- kurs, kön, svensk respektive utländsk bakgrund och i vissa fall även efter invandringsår samt på föräldrarnas utbildningsnivå. Vidare finns statistik över resultat från de nationella proven för eleverna i årskurs 9. finns även resultat från årskurs 5 och årskurs 3. ersätter resultat från årskurs 6 de tidigare resultaten från årskurs 5. Uppgifter fördelas på andel elever totalt, per kön, utländsk bakgrund och i vissa fall efter föräldrarnas högsta utbildningsnivå. (Se vidare nedan.) Karaktäristiskt för den officiella statistiken är att den är stabil . Justeringar med hänsyn till förändrade strukturer och 1 Enligt förordningen (2001:100) om den officiella statistiken. bestämmelser måste naturligtvis genomföras, men stor vikt läggs vid att det ska vara möjligt att följa utveckling . En hel del uppgifter lämpar sig dock inte särskilt väl för jämförelser . När man vill följa reformer är det t.ex. ett problem att statistiken över betyg och resultat på nationella prov knappast lämpar sig för trendanalyser. Det gäller särskilt i samband med en reformperiod av det slag som vi nu befinner oss i, då förändringar i både betygs- och provsystemet ingår i det samlade reformpaketet. Vi har belyst detta i vårt delbetänkande2 och återkommer till frågan i kapitel 9. Utöver den officiella statistiken samlar regelbundet in uppgifter om attityder till skolan, som publiceras i rapporten till skolan, och som måste anses ingå i det nationella upp- följningssystemet. Samma sak gäller t.ex. uppföljning om it-användning respektive om simkunnighet. Andra aktörers insamling av longitudinella uppföljningsdata har () i samverkan med olika forskningsinstitutioner genomfört uppfölj- ningsundersökningar inom skolväsendet. Dessa undersökningar är sammanslagna till ett forskningsprojekt vid benämnt Utvärdering Genom Uppföljning (UGU), fortfarande i samarbete med SCB. Uppföljningsundersökningarna är ett led i den nationella utvär- deringen av skolan och utgör underlag för forskning inom fram- förallt det samhällsvetenskapliga forskningsområdet. har nio uppföljningsundersökningar (s.k. elevpaneler), som baseras på stora och riksrepresentativa stickprov från olika årskullar av elever, startat. Det första urvalet gjordes bland födda . För varje stick- prov insamlas administrativa data och enkätuppgifter. Vidare ingår resultat från olika kognitiva test och kunskapsprov. Dessa görs av vid . De har varit de samma ända sedan den första kohorten, vilket gör databasen unik även i ett internationellt perspektiv. Panelerna följs sedan de slutat med hjälp av registerdata samt genom enkätunder- sökningar som vänder sig till elever, lärare och föräldrar. Avsikten med de omfattande datainsamlingarna är att möjlig- göra såväl längdsnitts- som tvärsnittsundersökningar av stora och representativa elevurval. Härigenom har man bl.a. kunnat belysa 2 SOU 2013:30 Det tar tid – om effekter av skolpolitiska reformer. hur olika faktorer i uppväxtmiljön successivt påverkat studieval och studieprestationer, i vilken grad denna påverkan förändrats mellan olika årskullar samt vilken betydelse olika utbildningspolitiska insatser haft i detta sammanhang. Insamlade data har också gett underlag till ett antal studier inom andra discipliner inom det samhällsveten- skapliga forskningsområdet samt ett antal utvecklingspsykologiska studier. svarar SCB för de s.k. elevpanelerna för longitu- dinella studier, vilka ingår i den officiella statistiken. SCB:s insam- ling utgör även ett av underlagen för UGU, som dock kompletterar underlaget med egna tester och enkäter. SCB följer ett urval av elever genom från och med skolår 3. Eleverna följs sedan vidare genom gymnasium, högskola och ut i arbetslivet. har paneler startats åren 1980 för elever i årskurs 6 samt 1982, 1987, 1992, 1997, 2002 respektive 2008 för elever i års- kurs 3. Frågor ställs till skolan så länge som eleven går i grund- skolan. Datainsamlingen sker genom en enkät som ställs till skolan om bl.a. stödundervisning, hemspråksundervisning, språkval och betyg. Dessa data kompletteras sedan med uppgifter ur register för att följa eleven efter slut. Elevpanelerna är i första hand ett samarbete mellan SCB och UGU vid . har regeringens uppdrag att svara för det nationella provsystemet, som består av nationella prov och andra bedöm- ningsstöd. De nationella proven utformas dock inom universitets- institutioner, på uppdrag av . Det är regeringen som beslutar om i vilka ämnen, årskurser och skolformer som nationella prov ska genomföras. För årskurs 3 i ges obligatoriska nationella ämnesprov i mate- matik samt svenska och svenska som andraspråk.