sou · GYB367 · 2010-10-20 00:00:00 — Idén är att en flexibel och således mer individanpassad skolstart, utifrån barnets mognad, ska leda till att eleverna bättre kan utvecklas utifrån sina förutsättningar och därmed nå ökad måluppfyllelse (dir. 2009:98, s. 9–10). För att beskriva hur en insats är tänkt att fungera, dvs. hur medel och mål hänger samman, kan en verksamhetslogik användas (ESV 2001). Verksamhetslogiken kan ge vägledning i vad som kan förväntas hända inom en försöksverksamhet och genom vilka mekanismer effekter kan tänkas uppstå. Verksamhetslogiken tydliggör därmed en tänkt effektkedja, en hypotes, från starten av en försöksverksamhet till effekter på kortare eller . Distinktionen mellan prestationer och effekter är mycket viktig. Ett deltagande i en insats är inte en effekt av den. Med utgångs- punkt i intentionerna med satsningen och den tänkta vägen mellan att införa en försöksverksamhet med flexibel skolstart och för- bättrade elevresultat som framgår av direktiven, kan en kedja från insats till utfall illustreras såsom i figur 7.1. Införande av försöks- verksamhet Verksamhetslogik för en försöksverksamhet med flexibel skolstart enligt intentionerna i utredningens direktiv Effekter/Utfall------------------ -Ökad valfrihet för föräldrar -Stöd för föräldrar för val av tidpunkt för skolstart Övriga reformer på skolområdet etc. Värdet av en verksamhetslogik är att det för samtliga parter blir tydligt vad som förväntas uppnås och vilka antaganden som ligger bakom de förväntade orsakssambanden. Pilarna i figuren represent- erar ett förväntat orsak-verkan-samband. Effekterna representerar uppställda mål, dvs. det som förväntas ska hända vid införandet av en försöksverksamhet med flexibel skolstart. Verksamhetslogiken gör det möjligt att förebygga eventuella glapp i en kausal länk som annars inte upptäcks förrän resultaten av insatsen har utvärderats. Med verksamhetslogiken kan således en bedömning göras av vad som är möjligt att mäta och hur långt utvärderarens ansvar kan sträcka sig med hänsyn till exempelvis andra faktorer och aktörer i omvärlden. Om förväntade effekter inte inträffar kan det bero på att insatsen har varit felaktig eller att insatsen inte genomförts på rätt sätt. Har insatsen bidragit till avsedda resultat på kort sikt finns det också förutsättningar att den kommer att bidra till avsedda resultat på . Mot bakgrund av kunskapsöversikterna, se bilagorna 2–5, kan den redovisade verksamhetslogiken för en försöksverksamhet med flexibel skolstart emellertid ifrågasättas om den inte inkluderar fortbildning av lärare. Den s.k. individualiserade undervisning, som den ofta kommer till uttryck i de svenska klassrummen, tycks inte leda till ökad måluppfyllelse. Genom fortbildning av lärare ökar möjligheten att motverka att individualiseringen av under- visningen tar formen av eget arbete i stället för reell individ- anpassning. 7.2Vad ska följas upp och utvärderas? Av direktiven framgår att utredningen ska lämna förslag till hur en löpande uppföljning och utvärdering av en försöksverksamhet ska genomföras. Utvärderingen ska belysa effekterna av en försöks- verksamhet med flexibel skolstart på elevernas resultat samt om försöksverksamheten har haft ekonomiska konsekvenser. Inför ett eventuellt förslag till generellt införande av flexibel skolstart i och motsvarande skolformer ska förslag lämnas till en slutlig utvärdering av effekterna på elevernas resultat kan genomföras. Andra aspekter, t.ex. elevernas sociala utveckling, bör även belysas i den slutliga utvärderingen (dir. 2009:98, s. 11–12). 7.3Utvärdering av effekter på elevers resultat och sociala utveckling Mitt förslag: Utvärderingen av effekter på elevers resultat och sociala utveckling ska utformas med hänsyn tagen till de mål- konflikter som finns. Hur en utvärdering bör utformas beror på vilka frågor den ska besvara. Det finns en mängd olika utvärderingsmodeller som var och en lägger ett perspektiv på en fråga och ger ett svar. Effekt- utvärderingar med kontrollerad utformning är designade för att belägga orsakssamband. I sin rena form ger utvärderingar av detta slag endast information om konsekvens, och inte vilka mekanismer som fungerar (Vedung 2009). I detta avsnitt problematiseras möjligheten att mäta effekter på elevers resultat och sociala utveckling. Dessutom redogörs kort- fattat för de målkonflikter som utgör begränsningar för att en försöksverksamhet med en randomiserad, kontrollerad design ska kunna föreslås. 7.3.1Att hänföra effekter till ett försök En central fråga är om, och i vilken utsträckning, som eventuella observerade förändringar är effekter av de processer och presta- tioner som har producerats inom en försöksverksamhet. Uppmätta eller på annat sätt konstaterade förändrade tillstånd, är inte självklart en effekt av försöket i fråga. Att på ett vetenskapligt säkert sätt fastställa att en konstaterad förändring i skolans värld är en effekt av just en vidtagen åtgärd, är mycket svårt. Problemet ligger i det faktum att elever, lärare och föräldrar påverkas av en mängd kringfaktorer som det inte går att ha kontroll över, dvs. de är kontextberoende. Det är därför riskabelt att i skolans värld utgå ifrån att ett konstaterat tillstånd kan tillskrivas en specifik insats. befinner sig dessutom den svenska skolan i en mycket reformintensiv period, se (2010c). Detta försvårar ytterligare möjligheten att särskilja effekterna av den specifika insats som en försöks- verksamhet med flexibel skolstart utgör. Såväl som pekar i sina kunskaps- översikter (se bilagorna 3 och 4) på att metodologiska brister i forskningen gör det svårt att dra säkra slutsatser av många studier, bl.a. av sambandet mellan elevers ålder och studieresultat. En försöksverksamhet som utformas så att den också kan utvärdera effekterna på elevers resultat och sociala utveckling skulle därför kunna bidra med värdefull ny kunskap inom detta område. Det metodmässiga idealet för att kunna få fram säkerställda resultat om orsakssamband sägs vara det randomiserade, kontrol- lerade experimentet, hämtat från naturvetenskapen, där en försöks- grupp jämförs med en kontrollgrupp som är identisk med den förra i alla relevanta avseenden. Helst ska varken de personer som ingår i experimentet eller de som leder det veta vem som ingår i vilken grupp. Denna metod syftar till att i möjligaste mån renodla och därmed möjliggöra att mäta effekter av vidtagna åtgärder. Med denna metod kan också de säkraste påståendena om orsaks- samband, dvs. att det finns ett samband mellan en vidtagen åtgärd och en konstaterad förändring, erhållas. En sådan strikt utformning är sällan eller aldrig praktiskt möjlig att åstadkomma inom samhällsvetenskapen och den kanske inte heller är lämplig, exempelvis av etiska skäl. I stället för kontrollerade experiment kan alternativa utformningar för att utvärdera effekter användas, se t.ex. ESV (2006), Statskontoret (2009) och Vedung (2009). Någon helt invändningsfri lösning på hur kunskap ska kunna erhållas, som med säkerhet visar att det är en viss insats och inte något annat som har orsakat uppmätta effekter, finns inte. Vad som hade hänt om insatsen inte genomförts (det kontrafaktiska tillståndet) kan inte observeras och därmed inte med säkerhet fastställas. Skillnaden mellan den faktiska och den kontrafaktiska utvecklingen utgör effekten. Om det vid en insats finns dels grupper av individer som får ta del av insatsen, dels grupper av individer som inte får ta del av insatsen, ökar emellertid möjlig- heten att utvärdera insatsen (m.fl. 2010). 7.3.2Att mäta effekter på lång sikt En annan komplicerande faktor är att effekterna från en försöks- verksamhet med flexibel skolstart kanske inte visar sig förrän på mycket lång sikt. Ofta är det viktigt att utvärdera ett försök efter det att har gått för att avläsa om insatsen har haft effekt även senare eller om effekten har avtagit. I vissa fall kan det vara intressant att göra mätningar då åtgärden sätts in. På det sättet kan utvärderaren inte bara bedöma om åtgärden har haft effekt, utan också få idéer om varför den haft effekt. Med hjälp av en verksamhetslogik tydliggörs möjligheten till att utvärdera de effekter som har identifierats på kort och medellång sikt. Om dess avsedda effekter har uppnåtts, finns förutsättningar att de kommer att bidra till avsedda resultat även på . Relevanta utvärderingsfrågor på kort och medellång sikt avser, i detta fall, om undervisningen blivit mer individanpassad och om den ger eleverna bättre möjlighet att utvecklas utifrån sina förutsättningar och behov. En bred longitudinell studie av en försöksverksamhet med flexibel skolstart kan tillföra användbar kunskap. Långsiktigheten är viktig även om sambanden blir mer oklara ju som går från det att åtgärden sattes in. Det ligger ett egenvärde i att få en bred longitudinell studie av flexibel skolstart och pedagogik i relaterad till elevers kognitiva och sociala utveckling om en försöksverksamhet genomförs. Exempel på frågor att studera är om effekten av förskjutning av skol- startsålder klingar av , huruvida sociala effekter av en sådan förskjutning kommer till uttryck i tonåren och övergången till gymnasieskolan. Genom en försöksverksamhet ska flexibel skolstart prövas ut i liten skala inför ett eventuellt generellt införande av en reform. Därmed kan sägas att det finns höga krav på med vilken säkerhet det ska gå att uttala sig om effekter på elevers resultat och sociala utveckling av flexibel skolstart. Vad gäller en försöksverksamhet med flexibel skolstart finns det målkonflikter mellan de i kunskapsöversikterna redovisade forskningsresultaten, direktivens utvärderingskrav, krav på ökad valfrihet för föräldrar, etiska aspekter samt kommunernas och skolornas genomförandemöjligheter. Därför måste utvär- deringskraven för en effektutvärdering, utformad som vid ett randomiserat, kontrollerat försök som sägs vara den design som bäst svarar på frågan om en insats har haft effekt eller inte, stå tillbaka i det förslag till försöksverksamhet som redovisas i kapitel 8. Detta innebär att effekter på elevers resultat och sociala utveck- ling inte kommer att kunna utvärderas med samma precision och tillförlitlighet. Effekterna kan till och med bli icke-utvärderings- bara. Den effektutvärdering som föreslås utgörs av en kontrollgrupp, eftermätningar och statistisk kontroll för andra faktorer. Uppgifter om elevers resultat och sociala utveckling bör löpande registreras för hela elevpopulationen i försöket, dvs. för både kontrollgruppen och de elever som börjar flexibelt. Möjligheten att genomföra mät- ningar, exempelvis i form av tidiga diagnoser, tester och bedöm- ningar, bör övervägas för att så långt möjligt konstanthålla elevers ingångsvärden. Vid analyserna av elevers resultat och sociala utveckling bör hänsyn tas till kön, socioekonomi, skolstartsålder, tid i förskola och/eller förskoleklass samt verksamheten i klass- rummet m.m. För en något mer utvecklad redovisning av databehov och datatillgång, se avsnitt 7.7. Vilka mätinstrument och datainsamlingsmetoder samt med vilken regelbundenhet data ska samlas in, ska de ansvariga för uppföljningen och utvärderingen av försöksverksamheten svara för att detaljplanera. 7.4Uppföljning av ekonomiska konsekvenser Mitt förslag: En löpande uppföljning av nyckeltal som beskriver ekonomiska konsekvenser av försöket ska genomföras. I utvärderingen av försöksverksamheten ska det ingå att se över om försöksverksamheten medfört några ekonomiska konsekvenser och i så fall vilka. (dir 2009:98, s. 11). Har försöksverksamheten krävt mer resurser och till vad har dessa i så fall använts? Har tröskeleffekter uppstått? Försöks- verksamheten innebär sannolikt en omfördelning av resurser mellan förskola, förskoleklass, fritidshem och grundskola. De eko- nomiska konsekvenserna måste följas i alla dessa verksamheter. I möjligaste mån bör de nyckeltal som nämns i avsnitt 7.7 kunna jämföras med utbildningsstatistik så att denna kan utgöra referenspunkter på nationell, huvudmanna- och skolnivå. 7.5Annan uppföljning och utvärdering Mitt förslag: Tillfället att följa upp och utvärdera även andra aspekter ska tillvaratas. Det är effekter av den flexibla skolstarten på elevers resultat och sociala utveckling samt ekonomiska konsekvenser som är i fokus för den utvärdering och uppföljning som efterfrågas i direktiven. Därutöver reses ett antal specifika frågor i samband med införandet av försöksverksamheten, vilka framgår av kapitel 8. Inom ramen för uppföljningen och utvärderingen av försöksverksamheten finns emellertid även andra relevanta aspekter och frågeställningar som bör studeras. Det material som samlas in inom försöksverk- samheten bör användas i så stor utsträckning som möjligt. Till exempel kan analyser av processerna mellan insatsens införande och dess utfall; genomförande och organisering liksom mot- tagandet av den flexibla skolstarten hos olika målgrupper vara av intresse. Listan över möjliga frågeställningar och aspekter att studera kan göras lång. Några exempel: Påverkas lärarens möjligheter att bedriva en bra undervisning för alla om elever tillkommer suc- cessivt i gruppen? Hur används de individuella utvecklingsplanerna för att följa och stödja elevernas utveckling? Hur säkerställs en likvärdig utbildning för elever i behov av särskilt stöd vid flexibel skolstart? Även frågan om försöksverksamhetens påverkan på samverkan mellan verksamheter och hur förskola, förskoleklass och fritidshem påverkas kan vara av intresse. Därutöver bör frågor som har med föräldrars valfrihet att göra följas upp och utvärderas. Svarar den flexibla skolstarten mot föräldrars önskemål och uppfattar de att den har ökat deras valfrihet? Vilka föräldrar är det som väljer en flexibel skolstart för sitt barn? 7.6Tidpunkt för en slutlig utvärdering Mitt förslag: Resultat från försöksverksamheten ska rapporteras successivt. En samlad redovisning ska lämnas . Enligt direktiven ska utredningen: lämna förslag till , inför ett eventuellt förslag till generellt införande av flexibel skolstart i och motsvarande skolformer, en slutlig utvärdering av effekterna på elevernas resultat kan genomföras. (dir. 2009:98, s. 12) En utvärdering av en försöksverksamhet med flexibel skolstart kräver en longitudinell utformning. Effekter på elevers resultat kan visa sig på kort sikt, men också på . Både den kognitiva och den sociala utvecklingen bör därför följas över en längre tidsperiod. Den försöksverksamhet som föreslås i kapitel 8 omfattar möjlighet till flexibel skolstart under tre läsår. Om utvärderingen ska behandla data från samtliga elever inom försöket (inklusive en kontrollgrupp) genom hela skulle en slututvärdering inte kunna redovisas förrän efter det att försöks- verksamheten inleddes. Komplikationerna med att mäta effekter efter en insats och att kunna påvisa att effekterna just är ett resultat av insatsen har nämnts. Därför är det inte rimligt att föreslå en slututvärdering så långt fram i tiden. I stället bör utvärderingens resultat rapporteras successivt. En samlad rapport av resultaten bör kunna lämnas efter det att de sista eleverna som har berörts av försöket lämnat årskurs tre. De nationella proven i årskurs 3 skulle därmed kunna användas som ett resultatmått för samtliga elever inom försöket. Det är emellertid angeläget att de berörda eleverna kan följas åtminstone genom hela för att eventuella långsiktiga effekter, inte minst i socialt avseende, ska kunna studeras. Med denna form av rapportering kan bedömningar av försökets effekter och uppföljningen av de ekonomiska konsekvenserna göras successivt. Beroende av resultatens tydlighet får man avgöra när och om de utgör ett tillräckligt underlag för att fatta beslut. Det är dock viktigt att inte dra slutsatser på grundval av den första kohortens resultat, eftersom den flexibla skolstarten utgör en ny verksamhet som kan lida av barnsjukdomar. Man bör också beakta att negativa sociala effekter kan visa sig först när barnen når tonåren. En sådan erfarenhet finns bland forskare och pedagoger i fråga om de elever som har börjat skolan i det nuvarande systemet, dvs. det kalenderår de fyllde . Ur forskningssynpunkt är det således angeläget att data om eleverna samlas in och analyseras även efter det att försöket avslutats så att individerna kan följas genom hela utbildnings- systemet och vid arbetsmarknadsinträdet. Mitt förslag: En longitudinell databas ska byggas upp. För att kunna följa upp och utvärdera försöksverksamhetens effekter på elevers resultat krävs tillgång till individstatistik. Befintliga data bör därvid användas i möjligaste mån för att minska skolornas och huvudmännens uppgiftsbörda. uppföljn- ingssystem innehåller individdata för samtliga elever i förskoleklass och grundskola fr.o.m. år 2008.1 Uppgifter samlas in per . Till dessa uppgifter, om elev och skola, läggs registerdata, bl.a. från registret över rikets totalbefolkning om elevens hemkommun och från utbildningsregistret om föräldrars utbildningsnivå. gör en totalinsamling av resultaten från de nationella proven i årskurs 3. Insamlingen innehåller inte enbart uppgift om eleven har nått godkänt-nivån, utan även varje elevs poäng på provet. När de nationella proven i årskurs 6 införs kommer troligtvis resultaten att redovisas på liknande sätt som resultaten för årskurs 9, dvs. Om uppgifter från lärarregister kan användas bör uppgiftsbördan minska ytterligare, vilket är angeläget. Till upp- gifterna i lärarregistret läggs registerdata, bl.a. uppgifter från Hög- skoleverkets register om lärarnas examen. Dessa registerdata behöver kompletteras med uppgifter om vissa försöksspecifika variabler. Kompletterande data avser exempelvis elevers skolstartstidpunkt och hur skolan väljer att organisera den flexibla skolstarten. Uppgifter om identiteten på de lärare som undervisar ett givet barn behöver också samlas in samt eventuella ytterligare lärarkaraktäristika. Det kommer sannolikt att behövas instrument utöver de nationella proven, som ges första gången i årskurs 3, för att följa elevers kognitiva utveckling. resultatmått, resultatmått och för ämnen som inte omfattas av de nationella proven bör övervägas av ansvariga för uppföljningen och utvärderingen. 1 har inte individdata för elever i konfessionella grundskolor. Uppföljning och utvärdering av andra aspekter, t.ex. elevers sociala utveckling kräver en annan typ av data, där elevernas egna röster inte får glömmas bort. Lämpliga sätt att samla in denna information kan vara elevernas egna bedömningar i form av själv- skattningar, genom intervjuer eller observationer. Även uppgifter om och från föräldrar kan i dessa och andra frågeställningar vara relevanta. Tidpunkten för när olika uppgifter ska samlas in och val av datainsamlingsmetod bör detaljplaneras av dem som ansvarar för uppföljningen och utvärderingen av försöket. Om befintliga register inte kan används behöver motsvarande uppgifter samlas in ånyo. Detta skulle medföra ökad belastning på deltagande skolor och huvudmän samt ökade kostnader för utvärderingen. Så länge informationen hanteras enligt gällande regler om behandling av personuppgifter bör dock, enligt min bedömning, samkörning av register vara möjligt. Uppgifter från den enskilde bör inhämtas med samtycke om behandling och om att uppgifterna får användas i uppföljnings- och utvärderingssyfte. Om uppgifterna bedöms utgöra känsliga person- uppgifter ska den särskilda reglering som gäller för sådana uppgifter beaktas. Hänsyn måste även tas till gällande bestäm- melser till skydd för den personliga integriteten, se kapitel 12. Kunskapsöversikterna i bilagorna 2–5 ger stöd för uppfattn- ingen, att utformningen av den pedagogiska verksamheten kan vara betydligt viktigare för hur elever lyckas i skolan än tidpunkten för skolstart. Verksamheten i klassrummet utgör därmed en stor osäkerhetsfaktor om den inte dokumenteras på ett systematiskt sätt inom försöksverksamheten. Information om verksamheten i klassrummet och hur den är organiserad, lärarnas arbetssätt och metodval m.m. skulle kunna inhämtas genom enkäter. Problematiken kring individualiserad och individanpassad undervisning torde dock bli välkänd bland de berörda lärarna i och med den fortbildningsinsats som föreslås, vilket gör att felkällorna vid en enkät kan bli omfattande. Intervjuer med lärare och omfattande observationer av den faktiska verksam- heten i klassrummen bör därför utgöra en betydande del av datainsamlingen i samband med ett försök. Detta gäller även för kontrollgruppen. Endast på detta sätt kan effekten av skolstarts- ålder utskiljas från andra väsentliga faktorer. Observationer är visserligen en tidskrävande och kostsam metod att använda för datainsamling, men denna typ av datainsamling bedöms vara nödvändig i sammanhanget. Skolinspektionens erfarenheter av omfattande observationer i samband med genomförda kvalitetsgranskningar bör tillvaratas. Övriga intressen vad gäller utvärderingsfrågor och forskning i samband med försöksverksamheten bör beaktas vid utformning av observationsstudier, då tillfället att bygga upp en longitudinell databas bör tillvaratas så långt som möjligt. Kunskapsöversikterna, framför allt översikt (se bilaga 4), visar att olika grupper av elever, t.ex. pojkar och flickor samt hög- och lågpresterande, påverkas olika av olika verksamheter. Det finns därför anledning att om möjligt utvärdera effekterna av tidpunkt för skolstart på olika elevgrupper, inte minst effekterna på gruppen elever i behov av särskilt stöd. Det bör i detta sammanhang påpekas att de undergrupper av elever som ska kunna särredovisas behöver ha en viss storlek för att effekter ska kunna påvisas. En särredovisning för flickor och pojkar bör därvid utgöra en miniminivå. Detta är en viktig utgångspunkt vid bedömningen av försökets totala omfattning. För att kunna följa upp ekonomiska konsekvenser som försöksverksamheten pågår ska nyckeltal avseende lärartäthet, klasstorlek, kostnader för personal och lokaler etc. samlas in kontinuerligt. Vissa nya nyckeltal som är specifika för försöksverksamheten behöver troligtvis tas fram för att följa utvecklingen . I övrigt bör strävan vara att hitta referens- punkter i befintlig utbildningsstatistik. 7.8Ansvar för uppföljning och utvärdering Mitt förslag: Ansvaret för uppföljning och utvärdering av försöksverksamheten ska ligga på . Ansvaret för uppföljning och utvärdering av försöksverksamheten bör ligga på . I kapitel 8 förslås att ansvaret för ledning och samordning av försöksverksamheten också ska ligga på . Det finns principiella skäl att hålla isär ledningsansvaret för en försöksverksamhet och ansvaret för uppföljning och utvär- dering av densamma. Försöket har emellertid för liten omfattning för att motivera att ett fristående utvärderingsorgan skapas. En fördel med att låta även hålla i uppföljningen och utvärderingen är att det finns dels en närhet till ledningen av försöket, dels tillgång till kunskap och kompetens avseende såväl pedagogiska frågor som uppföljning och utvär- dering. Inte minst i fråga om utbild- ningsstatistik underlättar genomförandet av uppföljningen och ut- värderingen av försöksverksamheten. kommer därmed att kunna ta det nödvändiga helhetsgreppet om försöksverksam- heten. Jag utgår från att arbetet kan organiseras på ett sådant sätt att ovidkommande hänsyn inte ska påverka utformningen av försöket eller värderingen av resultaten. Det är angeläget att extern expertis anlitas såväl vid planeringen av utvärderingen som vid analysen av resultaten, så att kunskap om effektmätning och sak- kunskap kombineras. I detta kapitel lämnas, som nämnts, förslag rörande inriktning och huvudsaklig utformning av uppföljning och utvärdering av försöksverksamheten. Det bör vara ansvar att i detalj utforma metoder och ta fram instruktioner och instrument för uppföljningen och utvärderingen samt planera för rapporteringen av resultaten med hänsyn bl.a. till de resurser som ställs till förfogande för ändamålet.