sou · H2B312 · 2014-03-12 00:00:00 — Totalt har elva rektorer, arton lärare och trettiotvå föräldrar intervjuats. Vidare har verket intervjuat 53 elever i s.k. fokus- grupper om mellan sex till åtta elever på varje skola. Slutligen har en enkät gjorts bland elever som deltar i försöksverksamheten. Rapporten innehåller bedömningar. Utvärdering av mobbning (2011) av metoder mot mobbning. (Rap- port 353, 2011) utgör en av de större utvärderingar som genomfört. För utvärderingen anlitade myndigheten ett antal forskare. Som utgångspunkt för utvärderingen valdes en longitudinell, kvasiexperimentell design. Skälen var enligt rapporten att veder- tagen praxis angående utvärdering av evidensbaserad program- implementering mer eller mindre uteslutande vilar på den random- iserade kontrollmodellen. Denna modell är dock, enligt rapporten, inte möjlig för en statlig myndighet i som varken har rätt att ingripa i skolornas verksamhet eller av etiska skäl skulle kunna påbjuda skolor att arbeta med ett antimobbningsprogram vars effekter är osäkra. Uttalandet görs förvisso i en enskild rapport men har en tydlig karaktär av principiellt ställningstagande. Rapporten utmynnar i den övergripande bedömningen att inget specifikt program bör rekommenderas svenska grundskolor. Utvärdering av matematiksatsningen (2011) fick 2009 ett uppdrag av regeringen att genomföra en satsning på matematikämnet i syfte att stärka skolornas eget utveck- lingsarbete med att höja kvaliteten i matematikundervisningen, för att öka måluppfyllelsen. huvudsakliga aktivitet har varit att fördela medel till olika lokala projekt. upp- drog 2011 åt Ramböll att utvärdera satsningen så långt (Utvär- dering av matematiksatsningen. Ramböll 2011). Huvudfrågeställningar har bland annat varit i vilken utsträck- ning satsningen bidragit till ökad kvalitet i undervisningen, om den påverkat kunskapsresultaten och den bidragit till metodutveckling. Empirin har erhållits genom enkäter (två omgångar till 2 473 pro- jekt och 375 kontaktpersoner), fallstudier (7 st.), intervjuer med företrädare på och samt dokumentstudier. Så långt följer Rambölls utvärdering den standard som utvecklats inom . Vad som skiljer denna utvärdering från är att rapporten ger utrymme för en mer omfattande metodologisk diskussion. Denna diskussion handlar dels om svårigheter igenom- förandet av utvärderingen – egentligen svårigheten att mäta mål- uppfyllelse. Fokus skiftade under arbetet med utvärderingen från effekter för eleverna till effekterna på undervisningen. Utvärderingen bygger också på en programteoretisk ansats. Den talar om logiken hos matematiksatsningen som intervention i ter- mer av insatser – resultat – effekt. Analysen görs i förhållande till en modell för programlogik. Rapporten innehåller såväl bedömningar som slutsatser och rekommendationer. Garanterad undervisningstid (2013) fånga undervisningstiden med målen i fokus. Garanterad undervisningstid i ur ett huvudmanna- och skolperspektiv (Rapport 384, 2013) grundar sig på en empiri bestå- ende av en insamling av data om skolors planerade undervisnings- tid, en enkät riktad till kommunala och enskilda huvudmän samt en intervjustudie. En statistisk analys är enligt omöjlig att genomföra eftersom det inte är möjligt att koppla elevers resultat till planerad undervisningstid. Enligt regeringens uppdrag ska verket genom fältstudier under- söka hur den garanterade undervisningstiden efterlevs och säker- ställs samt analysera förhållandet mellan elevernas resultat och den garanterade undervisningstiden. Rapporten avslutas med ett kapitel benämnt Sammanfattande diskussion. Av denna framgår att inte på ett enkelt sätt kan åskådliggöra ett statistiskt samband mellan elevernas resultat och undervisningstid. Verket finner det vidare problematiskt att de undersökta huvudmännen och skolorna inte följer bestämmelserna om den garanterade undervisningstiden. Uppdraget om garanterad undervisningstid illustrerar för det första att regeringen beställer analyser som man inte försäkrat sig om att de är möjliga att genomföra. För det andra att regeringen direkt anger med vilken metod ett uppdrag ska genomföras. För det tredje att man ger ett uppdrag som har tydlig utvärderings- karaktär utan att man anger detta. Kommunernas resursfördelning till grundskolor (2013) (Rapport 391, 2013) betecknas i enlighet med regeringens uppdrag som en fördjupad studie. Studien omfattar landets samtliga 290 kommuner, men i flera av analyserna ingår endast 50 s.k. urvals- kommuner. Dessa kommuner – vilka kan räknas till landets mest bostadssegregerade kommuner – har ingått i tidigare studier av . Det empiriska underlaget för studien utgörs dels av en enkät ställd till cirka 350 grundskolerektorer i dessa 50 kommuner, dels av de kvalitetsgranskningar som Skolinspektionen genomfört i 30 av urvalskommunerna . I rapporten studeras inte sambandet mellan kommunernas re- sursfördelning och skolors eller elevers resultat. Skälet är att verket anser att det finns metodologiska svårigheter med att genomföra den typen av analyser. Svårigheterna sammanhänger med den komplexitet som finns när det gäller att försöka koppla kvantitativa data på ekonomiska resurser till kvaliteten på undervisningen och till elevernas studieresultat Effekterna på elevernas resultat beror i hög grad på hur resurserna används och vad som händer i klass- rummet. menar vidare att data inte alltid tillåter att kommu- nerna kan jämföras med varandra. Det beror bland annat på att kommunerna redovisar skolornas resultat på olika sätt och att inte alla uppgifter kan fås på skolnivå. Alla kommuner kan inte alltid koppla resurserna och kostnaderna till enskilda skolor. har i första hand använt så kallad regressionsanalys för att undersöka sambandet mellan kommuners kostnader och olika egenskaper hos kommunerna. Rapporten avslutas med ett kapitel benämnt Diskussion och slutsatser. Kapitlet innehåller ett avsnitt med den tydliga . bedömer bland annat att det knappast är möjligt att på empirisk väg identifiera det för alla kom- muner effektivaste resursfördelningssystemet. Utvärdering av statsbidraget för basfärdigheterna läsa, skriva och räkna (2013) Av Redovisning av uppdrag om uppföljning och utvärdering av statsbidraget till personalförstärkningar i förskolan (2008- 04-02) framgår att verket i enlighet med regeringens uppdrag anlitat en extern aktör för att utvärdera satsningen –2012. Uppdraget har bestått i att besvara hur statsbidraget använts och vilka effekter satsningen haft. Av uppdraget framgår inte vilka slags effekter man efterfrågar. Den externe utvärderaren har genomfört uppdraget i form av en enkätundersökning (20 kommuner och 20 fri- stående skolor) och genom intervjuer med företrädare för huvudmän som beviljat statsbidrag (40 skolhuvudmän, 30 rektorer samt 70 lärare). Av förordningen framgår att statsbidraget får användas till att stärka arbetet med basfärdigheterna läsa, skriva och räkna för att öka elevernas måluppfyllelse, särskilt för de elever som riskerar att inte nå målen. redovisar att medlen använts på följande sätt: Kompetenshöjande insatser () Kompetenshöjande insatser m.a.a. den individuella utvecklings- planen med skriftliga omdömen () Övriga insatser () Utvärderingen följer de två målsättningarna att stärka arbetet med basfärdigheterna, respektive att öka måluppfyllelsen. Av enkätsvaren framgår att nio av tio av de tillfrågade anser att statsbidraget har förstärkt pågående arbetet med basfärdigheterna. Två tredjedelar uppger att statsbidraget har bidragit till ändrade metoder i arbetet med basfärdigheterna. Även för måluppfyllelse baseras bedömningen på uppfattningar redovisade i enkätsvar. Enkätundersökningen visar att så många som tre fjärdedelar av de svarande uppskattar att de elever i årskurs 1–3 som berörts av satsningen har nått en ökad måluppfyllelse i svenska. I matematik är det ungefär hälften av de svarande som uppger att elever i årskurs 1–3 har nått en ökad måluppfyllelse. I princip alla intervjuade uppger att det är svårt att härleda observerade effekter till just denna satsning inte minst på grund av att statsbidraget sammanfaller med den s.k. Matematiksats- ningen. Utvärderingen avslutas med ett avsnitt benämnt Slutsatser som innehåller allmänt hållna bedömningar: Satsningen kan sägas ha bidragit till att stärka arbetet med basfärdigheter ... Internationell utblick - med fokus på organiseringen av nationell utvärdering För att få ett perspektiv på det svenska systemet har utredningen valt att här belysa utvärderingssystem i andra länder, med fokus på hur länderna har organiserat sin utvärdering av skolan. Tyvärr visade det sig inte genomförbart att arrangera ett besök i inom de tidsramar vi förfogat över. Systemet i är dock väl dokumenterat, och intressant inte minst i relation till , varför vi tagit med även denna del av . Utvärderingen av skolan har stärkts i , bl.a. till följd av reformer som beslutades . Varje elev ska numera ha en individuell studieplan och eleverna ska genomgå obligatoriska nationella prov. Vidare har kvalitetsrapporter och själv- värdering tillkommit på skolnivå. Syftet med det danska utvärderingssystemet för skolan är, enligt , att få kunskap om huruvida kvaliteten i folkeskolen förbättrats. Den löpande utvärderingen är, menar man, en del av den enskilda folkeskolens kvalitetsutveckling. Det danska systemet karaktäriseras, som vi uppfattar det, av en tydlig strävan att utvärderingsresultaten i första hand ska bidra till den lokala skolutvecklingen. Det gäller även det sätt på vilket till- synen genomförs. På övergripande nationell nivå (systemnivå) används i första hand resultat från internationella undersökningar, nationella resul- tat från de nationella proven samt betygsgenomsnitt från de avslut- ande proven i för att följa utvecklingen. Därutöver genomförs externa utvärderingar. Att resultaten från de nationella proven kan användas för att följa utvecklingen på nationell nivå beror på att frågorna inte är offentliga och således kan åter- användas. De kan därför inte bidra till lärarnas gemensamma tolk- ning av målen, dvs. vara förebildliga, men ger kommuner och skolor en signal om kunskapsnivån. Samtliga elever deltar i proven som genomförs digitalt. Man har avstått från urvalsundersökningar efter- som man menar att sådana inte ger skolorna något tillbaka. pekar vidare på att överfört de flesta (nio av tretton) forskningsinstitutioner som arbetar med reformutvärde- ring från staten till universitetssektorn. Erfarenheterna från visar enligt att fackdepartementen kan få tillgång till oberoende och relevant forskning utan att denna genomförs inom staten. noterar att en sådan överföring inte är problemfri. Kärnfrågan handlar – föga förvånande – om vilket inflytande den politiska nivån kan ha på beslut om kommande forskningsinsatser. rekommenderar dock att följer det danska exemplet och överför ansvaret för all statligt beställd reformutvärdering till antingen universitet eller till specialiserade forskningsorgan. Aktörer på nationell nivå Styrelsen för IT och lärande (UNI-C), som är en del av Under- visningsministeriet, ansvarar bl.a. för ministeriets statistik och analys och bidrar till ministeriets politikutveckling och uppföljning med datainsamling, kvalitetssäkring av data, analyser, modellarbete samt förmedling av statistik och analyser. 2006 inrättades en särskild myndighet med ansvar för uppgifter kopplade till granskning och utvärdering av den danska skolan. Myn- digheten omorganiserades 2011 och fick i samband med namnet . Styrelsen, som även den utgör en del av , har följande fyra huvuduppgifter: -Kvalitetsutveckling, bl.a. genomförande av de internationella studier som deltar i samt framtagande av stödmaterial till skolorna om lokal utvärdering -Prov och examen, dvs. utveckling och genomförande av de nationella proven samt de avslutande examensproven -Bidrag och controllerverksamhet Även inrättandet av Rådet för utvärdering och kvalitetsutveckling i folkeskolen () tillhör de initiativ som togs 2006. Rådet är ett oberoende organ vars uppgift är att följa, värdera och ge råd till undervisningsministern om kvaliteten i folkeskolen och ungdoms- skolen. Rådet består av ett ordförandeskap och 21 övriga medlem- mar som representerar en rad centrala intresseorganisationer på folkeskole- och ungdomsskoleområdet. leds av ett ord- förandeskap som består av 3–5 personer med särskild insikt i folke- skolen. Det är uppgift att besluta om vilka externa utvär- deringar som ska genomföras på skolans område, av reformer eller av annan karaktär. Sådana uppdrag kan läggas direkt på () eller upphandlas i konkurrens. I det senare fallet kan delta som en anbudsgivare bland andra. Andra anbuds- givare kan vara konsulter inom utvärderingsområdet eller forskare inom högskolan. () arbetar med utvärdering, ana- lyser och redskap som bidrar till att utveckla kvalitet. arbetar med utvärdering och kvalitetsutveckling från förskola till högskola. Den kunskap som produceras används på alla nivåer i utbildnings- systemet – från verksamhetsnivå till kommuner och ministerier. inrättades som ett oberoende statligt institut under Under- visningsministeriet 1999. En föregångare var Evalueringscentret och som existerade –1999. har styrts av en egen lag, som har setts över med jämna mellanrum. Fram till den större översyn som gjordes 2005 beslutade EVA:s egen styrelse om allt som har med EVA:s utvärderingsverksamhet att göra. beslutas det som har att göra med utvärdering av folkeskolen av . tar dock fram förslag till utvärderingsprojekt, har genomfört flera utvärderingar av skolrefor- mer. För den nu pågående reformeringen av folkeskolen finns än så länge ingen plan för utvärdering. När gymnasieskolan reformerades 2005 fanns en sådan plan och fick flera utvärderingsuppdrag. Evidens har blivit ett allt viktigare inslag i dansk skolpolitik. föredrar dock att tala om en vetenskaps- eller kunskaps- baserad verksamhet och har en vidare syn på vad som bör betraktas som effektutvärdering än vad företrädare för den s.k. evidens- rörelsen har. Man lägger stor vikt vid att ge verktyg till de operativt verksamma så att de kan utveckla sin praxis och menar att det är viktigt att lärarna förstår betydelsen av utvärdering. Utöver att genomföra nationella utvärderingar erbjuder även rådgivning och till kunder, som t.ex. avser att genom- föra projekt eller starta ett utvecklingsarbete. Man kan hjälpa till med att formlera klara mål för projektet och säkra ett effektivt sam- spel med andra parallella projekt samt verkar för att brukarna ska bli ägare av projektet och dess resultat. Lokala huvudmän kan även få hjälp av med att genomföra utvärderingar och utredningar inom en rad olika teman på skol- området. Det kan handla om att forma utvärderingens eller utred- ningens design och att genomföra utvärderingen eller utredningen. The Danish Clearinghouse for är en enhet vid i och grundades 20061. Tillkomsten hade sin bakgrund i den kritik som riktat mot för bristande koppling mellan dansk utbildningsveten- skaplig forskning och hur forskningsresultat användes vid politiskt beslutsfattande2. Danish Clearinghouse ska bidra till att politiker och praktiker har tillgång till tillförlitlig och kvalificerad kunskap om fostran, under- visning och utbildning som kan användas i den pedagogiska prak- tiken och vid politikutformning. Danish Clearinghouse samlar in, analyserar och förmedlar kunskap från antingen forskning om utbild- ning eller från försöks- och utvecklingsarbete på danska skolor. Man genomför ingen egen primärforskning eller egna utvärderingar. Danish Clearinghouse hjälper även forskningsmiljöer att få en större och säkrare överblick av befintlig forskning så att de lättare kan identifiera var det finns behov av mer forskning. Danish Cleraringhouse använder metodiken systematic reviews. Man menar att varje steg i den mycket bestämda processen är en möjlig självständig produkt. I vissa fall kan det t.ex. vara tillfyllest att i ett bibliotek tillgängliggöra en samlad och systematisk över- blick över tillgänglig information inom ett område utan att fullfölja proccesen till en fullständig genomförd systemtic review. Man har vidare anslutit till den grupp av organisationer som menar att systematic reviews kan baseras på såväl kvantitativa som kvalitativa studier. 1www.eippee.eu/cms/Default.aspx?tabid=3240 2The Danish Clearinghouse for . Concept note, v.1.2. Olika nationella prov utgör en central del av utvärderingsramverket i . Dessa prov kallas för National Curriculum Tests (NCT:s).3 bedömer elevernas lärare deras utveckling i för- hållande till the Foundation Stage profile (). Där- efter genomförs nationella prov , samt vid 14–i årskurserna 7, 8 och 9. Inledningsvis gör eleverna nationella prov i engelska och matematik, även i de naturvetenskapliga ämnena (science). Merparten av pro- ven bedöms av lärarna. Provet i matematik bedöms dock externt och skolornas resultat publiceras. Det finns även alternativa standardiserade prov som stöd för lärarnas bedömning i engelska och matematik för åk 7 och 8 och i naturvetenskap för åk 9. Den brittiska regeringen uppdrog 2010 till en kommitté att se över testsystemet, sedan omfattande kritik riktats av bland annat lärare och skolledare mot främst de tester som genomförs . Provsystemet har även utsatts för kritik från vetenskap- ligt håll. Till exempel har pekat på att tilltron till ökad extern bedömning genom nationella tester innebär att betydelsen av lärares formativa bedömning för skolresultaten underskattas samt att provsystemet har brister i fråga om reliabilitet och vali- ditet.5 Invändningar avseende provsystemets tillförlitlighet har även rests av andra forskare.6 Kommittén7 rekommenderade bl.a. ökat förtroende för lärarna och en rimlig balans mellan lärares egna bedömningar och olika test samt ökad betoning på elevernas kunskapsutveckling. Det skriftliga provet borde ersättas med lärarbedömning, medan matematik även fortsättningsvis borde utvärderas externt. Regeringen godtog kom- mitténs förslag som grund för det fortsatta reformarbetet.8 3Proven benämndes tidigare Standard Attainment Tests (SAT:s). 4Paul var ordförande i den arbetsgrupp (TGAT) som hade i upp- drag att utarbeta ett förslag till hur ett nytt system för utvärdering av elevernas kunskaps- resultat skulle utformas. 5Black, (1998) Learning, League Tables and National Asessment: opportunity or hope deffered? 24, No 1. 6Se t.ex. Stobart, (2001) The validity of National Curriculum Assessment. 49, No. 1 och , and (2002) A systematic review of the impact of summative assessment and tests on students´motivation for learning. Evidence for Policy and Practice Information and (EPPI-Centre). 7Bew, (2011) Stage 2 testing, assessment and accountability. 8Department for Education (2011) Stage 2 testing, assessment and accountability. Skolinspektion har länge utgjort ett tungt inslag i det engelska utvärderingsramverket. Inspektionen genomförs av The Office for Standards in Education, Children's Services and Skills (Ofsted) som är en oberoende myndighet som etablerades vid mitten av 1990- talet. Från att ha haft ett uppdrag som syftade till att inspektera och ställa krav på skolornas prestationer har myndighetens uppdrag mer inriktats mot att stödja skolornas arbete med självvärdering. Aktörer på nationell nivå Arbetsfördelningen mellan regeringen och olika delar av den cent- rala statsförvaltningen är i en annan än i . Det eng- elska (, DfE) är större än sin svenska motsvarighet och rymmer funktioner som i ligger på självständiga myndigheter. Det innebär att minis- teriet självt har en stor betydelse inte bara som utformare av utvär- deringssystemet, utan också för driften av delar av detta system. I finns ett omfattande datainsamlingssystem (National Pupil Database, NPD) som i allt väsentligt motsvarar det svenska uppföljningssystemet. Medan det i är en självstän- dig myndighet som ansvarar för insamlingen och sammanställ- ningen av provdata och andra data (socio-ekonomiska, demogra- fiska m.m.) sker detta i inom en särskild avdelning (Data and Statistics Division, DSD) inom . Standards and () är en s.k. verkställande myn- dighet (executive agency9) inom DfE. STA ansvarar för utveckling och genomförande av alla lagstadgade kunskapsprov från och med de tidiga skolåren till och med slutet av key stage 3 (årskurs 9). The Economic and Social research Council (ESRC) är största organisation för att finansiera forskning om ekonomiska och sociala frågor. ESRC inrättades 1965 och är ett icke-offentligt organ (NDPB) som får huvuddelen av sin finansiering genom , Innovation and Skills (BIS). ESRC stödjer oberoende, högkvalitativ forskning som har en inverkan på 9 De övriga verkställande organen inom DfE är och . Dessa organ betraktas som delar av departementet, men behandlas lednings- och budgetmässigt separat och har till uppgift att utföra någon del av de exekutiva funktionerna i . näringslivet, den offentliga sektorn och den tredje sektorn10. ESRC stödjer omkring 4 000 forskare och doktorander inom akademiska institutioner och fristående forskningsinstitut. The Evidence for Policy and Practice Information and Co- ordinating Centre (EPPI-Centre) inledde sin verksamhet 1993. Centret genomför systematiska kunskapsöversikter och utvecklar metoder för att ta fram forskningsöversikter inom det samhälls- vetenskapliga området. Syftet är att göra tillförlitliga forsknings- resultat tillgängliga för de människor som behöver dem, oavsett om de handlar om politiskt beslutsfattande, yrkesutövning eller person- liga beslut. Arbetet bedrivs huvudsakligen inom utbildnings- och hälsovårdsområdet samt inom det sociala området. Centret sam- verkar med en lång rad forskningsinstitutioner och arbetet finansi- eras av det Ekonomiska och sociala forskningsrådet (ESRC), flera myndigheter och välgörenhetsorganisationer samt nationella och internationella partners. () tillkom 2000 och fick ett grundbidrag från och ministeriet för näringsliv, innovation och kompetens (the Depart- ment for Business, Innovation & Skills). CEE är ett multidiciplinärt centrum med tre parter: at LSE, och . De tre parterna har en framstående meritlista i fråga om arbets- marknadsfrågor och utbildningsekonomi inklusive yrkesutbildning. CEE:s forskning är starkt orienterad mot empiriska studier. Man använder en mångfald metoder som t.ex. utvärderingsmetodik, statistisk analys av mikrodata och detaljerade fallstudier. Det finska skolsystemet har inte på länge varit föremål för några stora reformer eller förändringar. beslutades emellertid om att inleda arbetet med en översyn av läroplansgrunderna bl.a. för den grundläggande utbildningen. Arbetet leds av Utbildnings- styrelsen och ska ske i nära samarbete med intressegrupperna och i interaktion med utbildningsanordnaren och arbetet ska vara avslu- tat . De nya läroplanerna ska tillämpas i undervisningen . beslutades även om en 10 Med tredje sektorn brukar avses t.ex. idéburna organisationer, ekonomiska föreningar och kooperativa företag, vissa stiftelser samt det civila samhället. revidering av timplanerna. Vidare görs fortsatt satsning på lärare och på att behålla läraryrkets attraktionskraft. 2012 antogs vidare nya kvalitetskriterier för bl.a. den grund- läggande utbildningen. Dessa syftar till att göra det möjligt att på ett praktiskt plan utvärdera hur de beslut som omfattar skol- väsendet i ett kort respektive långt perspektiv inverkar på skolornas verksamhet. Utvärdering av utbildningen görs på lokal, regional och riksnivå. Utbildningsanordnarna är skyldiga att utvärdera sin utbildning, främst i förhållande till målen för utbildningen, samt delta i externa utvärderingar som baserar sig på utbildningslagstiftningen. Regio- nalt görs utvärdering och uppföljning av skolan av länsstyrelserna, t.ex. avseende service och hur efterfrågan på utbildning uppfylls. Det riksomfattande systemet för utvärdering av utbildningen byg- ger på ett system för utvärdering av inlärningsresultaten (stickprov)