sou · H2B312 · 2014-03-12 00:00:00 — Utredningen ska enligt direktiven utreda vilka data som behövs för att i ökad utsträckning kunna utvärdera reformer inom skolan samt, om det behövs, lämna författnings- eller andra förslag för att öka tillgången till sådana data. I det föregående kapitlet fördjupade vi oss specifikt i frågan om hur utvecklingen av kunskapsresultaten i skolan kan följas , dvs. hur trender kan mätas. I detta kapi- tel redovisar vi huvuddragen i det nuvarande statistiksystemet samt översiktligt den omfattande lagstiftning som finns inom området. Mot denna bakgrund analyseras dels vilka ytterligare data, förutom de som beskriver kunskapsutvecklingen , som behövs för att förbättra möjligheterna för utvärdering av skolpolitiska reformer, dels förutsättningarna för att samla in dessa data. 10.1Den nationella statistiken om skolan – en infrastruktur för systemförståelse Liksom för andra samhällsområdet utgör statistiksystemet för sko- lan en form av infrastruktur för förståelse av skolan och skolans utveckling. Begreppet statistik definieras inte i något regelverk. Av statistiklagen1 framgår dock att officiell statistik (SOS) ska finnas för allmän information, utredningsverksamhet och forskning. 10.1.1Kort om skolstatistikens framväxt Den enda utbildningsstatistik som fanns i första årtionden var den statistik som () förde över folkskolor och läroverk. 1 Lag (2001:99) om den officiella statistiken. Data för utvärdering – utvecklingsbehov grundskolestatistiken endast uppgifter om antalet elever och deras ålder.2 1968 inrättade () i samarbete med ett lärarregister. Registret innehåller uppgifter om alla lärare, även vikarier, som är i tjänst hela eller delar av en viss vecka . Uppgifterna samlas in från alla skolor, både grund- skolan och de frivilliga skolformerna. ingår numera, liksom elevregistret, i nationella uppföljningssystem och benämns Registret över pedagogisk personal. Registret inne- håller identifikationsuppgifter och uppgifter bl.a. om befattning, utbildning och tjänstgöringstidens omfattning.3 1978 gav SCB ut Utbildningsstatistisk årsbok. Denna publikation har därefter utgetts årligen.4 1988 började SCB publicera statistik om slutbetyg för grund- skolan. Inledningsvis redovisades endast rikssiffror. redovisades uppgifterna även på kommunnivå, vilket bidrog till att intresset för statistiken ökade.5 Fram till och med /92 bestod statistiken över utbildningskostnader endast av en sammanställning av statsbudge- tens kostnader. Därefter har kostnadsuppgifter samlats in från kom- munerna och de fristående huvudmännen för olika skol- och verk- samhetsformer. överfördes ansvaret för statistiken för för- skoleverksamheten och skolbarnsomsorgen från till , till följd av att bestämmelserna om dessa verksamheter fördes från socialtjänstlagen till skollagen. Särskilda datainsamlingar utgörs av de longitudinella uppgifts- insamlingarna som genomförs av SCB respektive projektet vid . SCB svarar för de s.k. elevpanelerna som ingår i den officiella statistiken, men också utgör underlag för . Det senare genomför dessutom ytterligare datain- samling. Elevpanelerna utgör underlag för att beskriva elevström- mar inom skolväsendet. har SCB samlat in och redovisat uppgifter som beskriver elevers vägar genom utbildnings- systemet för olika kohorter. SCB ansvarar för urvalsdragningar, driften av panelerna, sammanställning av bakgrundsdata och insam- ling av elevdata från skolorna medan 2Jorner, (2008) Summa summarum. 3Jorner, (2008) a.a. 4Jorner, (2008) a.a. 5Jorner, (2008) a.a. Data för utvärdering – utvecklingsbehov bearbetar och analyserar uppgifter som samlas in direkt från elever, föräldrar och lärare.6 Det framgår att ansvarig myndighet för statistiken om skolan har varierat . ansvarade SÖ för skolstatisti- ken. Från detta år tog SCB över ansvaret.7 I samband med en senare statistikreform8 blev 1994 ansvarig för den officiella sta- tistiken om skoläsendet.9 SCB kvarstår dock som den myndighet som på uppdrag svarar för själva datainsamlingen och för de s.k. elevpanelerna. 201210 konstaterar att begreppet statistik inte kan sägas ha någon helt entydig definition. Det kan enligt statistik- utredningen avse en viss form av information, nämligen sifferupp- gifter som beskriver en företeelse eller en verksamhet. Statistik kan också avse metoder för att samla in, bearbeta och analysera statis- tiska material. Statistik är därtill benämningen på en vetenskaplig disciplin. använder begreppet som beteck- ning för numeriska sammanställningar av elementära observationer som kan hänföras till händelser, flöden eller tillstånd. konstaterar vidare att uppbyggnaden av ett statistiskt system kräver tre olika typer av data: Makrodata: Det som vi kallar statistik i dagligt tal, dvs. aggre- gerade data om populationer och klasser av objekt, t.ex. summor, frekvenser och medelvärden. Mikrodata: Data om enskilda objekt. t.ex. företag, individer och händelser, som ligger till grund för statistik, och som kan aggrege- ras till statistik på ett flexibelt sätt. Metadata: Data om data eller information om data, dvs. data som definierar och beskriver mikro- och makrodata. 6Att elevpanelerna inte ingår i statistikansvar för den officiella statistiken har sannolikt att göra med att undersökningen är longitudinell och redan pågick när bildades. Ett annat skäl kan vara att elevpanelerna innehöll tidsseriedata med personnummer och bedömdes passa bättre inom SCB:s ansvar då vid sin tillkomst saknade möj- lighet att hantera hopkopplingsbara registerdata. 7Murray, (2011) Projektet som utredning- och beslutsunderlag i (red.) Utvärdering Genom Uppföljning. Longitudinell individforskning under . Studies in Educational Sciences 305. 8Statistikreformen berörde inte endast skolstatistiken, utan ett stort antal samhällssektorer. 9Förordningen (2001:100) om den officiella statistiken. 10SOU 2012:36 Vad är officiell statistik? En översyn av statistiksystemet och SCB. Data för utvärdering – utvecklingsbehov sig om beskrivningar av innehållet i och/eller strukturen för en viss datainsamling. Med utgångspunkt i denna terminologi handlar detta kapitel i huvudsak om tillgången på mikrodata för olika typer av bearbet- ning och om möjligheterna att öka tillgången på sådana data. Distinktionen mellan registerdata och direktinsamlade data är central för de resonemang som förs i detta kapitel. Med register- data menar vi data som samlas in via befintliga lokala administrativa system, som i flertalet fall upprättats för andra ändamål än natio- nella uppföljningsbehov11. Med direktinsamlade data menar vi data som samlas in genom olika enkäter, t.ex. till huvudmän och skolor. Utvärdering kan slutligen genomföras på många olika sätt och varje utvärderingsdesign har sina särskilda behov av data och krav på hur dessa ska vara tillgängliga. Longitudinella studier innebär exempelvis att man följer ett antal individer och gör upp- repade mätningar för samma individ. Tvärsnittsstudier, där jäm- förelser görs för en eller flera variabler , kräver oftast att det är möjligt att samköra register från olika samhälls- områden. I många fall handlar det även här om uppgifter på individ- nivå. Regeringen beslutar om vilka myndigheter som ska vara statistik- ansvariga för officiella statistik (SOS) samt om vilka ämnes- och statistikområden som statistikansvaret ska omfatta. Vilken myndighet som är statistikansvarig inom olika områden framgår av bilagan till statistikförordningen. Den statistikansvariga myndighe- ten beslutar därefter om statistikens innehåll och omfattning inom sitt statistikområde.12 Enligt förordningen om den officiella statistiken är ansvarig myndighet för den officiella statistiken inom skolväsendet och barnomsorgen13. Vidare har verket enligt skollagen14 och sin instruktion15 ansvar för att följa upp och utvärdera skolväsendet samt vissa övriga utbildningar och annan pedagogisk verksamhet. 11Enligt SOU 2012:36 baseras den officiella statistiken till på administra- tiva data, vilka ursprungligen har samlats in för andra ändamål än statistik. 12Förordningen (2001:100) om den officiella statistiken. 13Barnomsorgsbegreppet är borttaget i skollagen (2010:800), men någon följändring i för- ordningen har ännu inte gjorts. 15Förordning (2011:555) med instruktion för . Data för utvärdering – utvecklingsbehov Enligt verkets instruktion ska uppföljningen och utvärderingen öka kunskapen om hur utbildningarna och verksamheterna har ut- vecklats i förhållande till de nationella målen för utbildningen. ges stor frihet att avgöra hur man bäst går till väga för att öka kunskapen om skolan, ett friutrymme som i praktiken begränsas av det stora antal uppdrag som ges i de årliga reglerings- breven och i form av regeringsuppdrag som ges i särskild ordning. arbete med uppföljningssystemet är inriktat på för- valtning och vidareutveckling av de stora informationssystem som ska ge faktabaserat underlag för diskussion och beslut om förskola, fritidshem, skola och vuxenutbildning. Man kan säga att statistik- systemet erbjuder en infrastruktur för systemförståelse och system- analys. beslutar i praktiken om innehållet i skolstatistiken De ämnes- och statistikområden som anges i bilagan till statistik- förordningen – för del skolväsende och barnomsorg – är övergripande. Det innebär att det är den statistikansvariga myndigheten som i praktiken definierar variabler och objekt och beslutar vilken eller vilka metoder som ska användas för att samla önskad statistik till önskad kvalitet. Den statistikansvariga myn- digheten avgör slutligen vilka skattningar av statistiska storheter som utgör den officiella statistiken, dvs. vilka mått som ska redo- visas.16 Det råd för den officiella statistiken som är inrättat vid SCB har dock beslutat om riktlinjer för beslut om innehåll och omfattning av SOS17. Av riktlinjerna framgår bland annat att SOS i regel bör vara av löpande karaktär så att man kan följa utvecklingen , men engångsundersökningar och periodiskt återkommande (inter- mittenta) undersökningar kan också vara officiell statistik. De elev- paneler som SCB svarar för i samarbete med Pedagogiska institu- tionen vid är exempel på detta. Den statistikansvariga myndigheten bör enligt rådet anpassa sta- tistikens innehåll och omfattning till samhällsutvecklingen och basera denna anpassning på omvärldsbevakning, inklusive dialog 16Rådet för den officiella statistiken (2012) Riktlinjer för beslut om innehåll och omfattning av den officiella statistiken. 17Rådet för den officiella statistiken (2012)a.a. Data för utvärdering – utvecklingsbehov Myndigheten bör även samråda med organisa- tioner som företräder uppgiftslämnarna. Statistikansvarig myndighet avgör om statistikens kvalitet är till- räckligt god i relation till hur den är avsedd att användas. I kva- litetskravet ingår att beakta aktualitet kontra t.ex. precision. Myn- digheten kan även besluta att en undersökning som inte ingår i SOS från en viss tidpunkt ska definieras om till att ingå i systemet. Inom ramen för ansvar för officiella statistik (SOS) om förskola, fritidshem, skola, vuxenutbildning och annan pedagogisk verksamhet samlas in uppgifter om barn, elever, personal, kostnader och utbildningsresultat. Uppgifterna samman- ställs till statistik per verksamhetsform och skolform. Statistiken presenteras som SOS på riksnivå. Uppgifterna presenteras dess- utom av på huvudmannanivå eller skolnivå. Den övervägande delen av uppgifter om elever sam- las in på individnivå, vilket möjliggör redovisningar uppdelat på kön, socioekonomisk bakgrund och eventuell utländsk bakgrund. Uppgifter som samlas in aggregerat samlas alltid in uppdelat på kön. Det är SCB som står för den databas där den insamlade infor- mationen lagras. Det har tillgång till är utdrag ur data- basen där de enskilda individerna avidentifierats. Av detta följer att om en forskare avser att göra en registerbaserad studie och even- tuellt samköra olika register, så är det SCB som tillhandahåller data. redovisar en del av statistiken i den årliga publikatio- nen Beskrivande data. Den statistik som ingår i SOS presenteras i de tre årliga rapporterna Utbildningsresultat, Barn elever och perso- nal, samt Kostnader. De uppgifter som samlar in är även i sin helhet tillgänglig på verkets webbplats, bl.a. i databaserna , och . För en mer omfattande presentation av innehållet i det nationella uppföljningssystemet hänvisas till kapitel 4 samt till föreskrifter om uppgiftslämning18. 18 Se t.ex. SKOLFS 2012:91 och SKOLFS 2014:1. Data för utvärdering – utvecklingsbehov Den nationella statistiken ska ge information om resurser, orga- nisation och resultat och utvecklingen ska kunna följas . Det är därför väsentligt att systemet är långsiktigt och stabilt . Det är särskilt viktigt för den officiella statistiken som enligt lagen (2001:99) om den officiella statistiken ska finnas för allmän information, utredningsverksamhet och forskning och som ska vara objektiv och allmänt tillgänglig. För den officiella statistiken anges kvalitetskriterier i lagen om den officiella statistiken19 avseende följande punkter: 1.Relevans (i vilken grad statistiken tillgodoser användarnas nuvar- ande och potentiella behov) 2.Noggrannhet (överensstämmelse mellan skattning och det skatt- ningen avser att mäta) 3.Aktualitet (tiden mellan att de uppgifterna finns tillgängliga och den aktuella händelsen/företeelsen som uppgiften avser) 4.Punktlighet (den tid det tar för statistikansvarig myndighet att göra uppgifter tillgängliga efter det datum de ska ha lämnats in) 5.Tillgänglighet och tydlighet (hur användarna kan få tillgång till, använda och tolka uppgifter) 6.Jämförbarhet (för statistik från olika geografiska områden eller sektorsområden eller från olika tidsperioder) 7.Samstämmighet (i vilken utsträckning uppgifterna med tillför- litlighet kan kombineras på olika sätt och för olika ändamål) Generellt gäller att data blir värdefull för utvärdering och forskning om den har samlats in systematiskt . Med systema- tiskt menas här att det handlar om samma data som samlas in på samma sätt. Det handlar bl.a. om -med vilka intervall som datainsamlingen görs, t.ex. varje eller , -att urvalet görs på samma sätt vid varje mättillfälle, t.ex. samtliga i en ålderskohort eller varje årskurs 3 eller 6, -att det är samma information som samlas in vid de olika mät- tillfällena (tidsseriedata), 19 § 3 a lag (2001:99) om den officiella statistiken. Data för utvärdering – utvecklingsbehov -att informationen samlas in på ett enhetligt sätt vid de olika mättillfällena, dvs. med samma metoder, begrepp, definitioner, mått, frågor etc. Datainsamlingen bör således vara regelbunden och systemet måste bygga på enhetliga definitioner, indelningar och tidsperioder som gör det möjligt att aggregera data till nationell nivå och göra jäm- förelser mellan huvudmän och verksamhetsområden och . Uppföljningen ska spegla verksamhetsformernas särart, som det är viktigt att statistiken presenteras på ett likartat sätt. Den befintliga statistiken om skolan bedöms generellt hålla en hög kvalitet. Det finns dock en kritik vad gäller tillförlitligheten avseende vissa data, bland annat inom ett så central område som likvärdigheten i betygssättning respektive bedömning av de natio- nella proven. Det handlar dock mer om hur dessa system är utfor- made än om statistiksystemets funktionssätt. Långsiktighet och stabilitet påverkas av förändringar som statistiksystemet måste värna om långsiktighet för- väntas det svara mot behovet av snabb styrinformation och ett flertal andra, delvis motsägelsefulla, behov. En svårighet för alla longitudi- nella databaser är att de är känsliga för förändringar, till exempel av lagar och andra bestämmelser, som kan innebära att informationen inte förblir jämförbar . Politiskt beslutade förändringar, som t.ex. förändringar i betygssystemet, kan därför leda till att tids- serier bryts. Sådana brott är ofrånkomliga – om än beklagliga för statistiker, forskare och andra användare av statistiken. Andra aktu- ella exempel som påverkat uppgiftsinsamlingen är införandet av betyg i årskurs 6 samt förändringar av i vilken årskurs och i vilka ämnen de nationella proven ges. Även förändringar i omvärlden kan föranleda behov av att utveckla uppgiftsinsamlingen och statistiken, t.ex. tillkomsten av enskilda huvudmän. För att en förändring av uppgiftsinsamlingen ska kunna träda i kraft måste den beredas och aviseras för att de administra- tiva systemen och insamlingsrutinerna hos både uppgiftslämnarna och myndigheten ska kunna ses över. Data för utvärdering – utvecklingsbehov Registerdata hämtas ur skolornas administrativa system Skolornas IT-baserade administrativa system är konstruerade för att tillgodose både nationella krav och lokala behov. De nationella kraven består dels av krav på dokumentation som ställs i styrdo- kumenten, dels av krav på uppgifter till det nationella uppföljningssystemet. De lokala administrativa systemen är uppbyggda kring eleven, även om vissa uppgifter om ansvarig lärare också ingår. Schema- läggningsmoduler används av många skolor, dock främst i grund- skolans högre årskurser och i gymnasieskolan. Lärarna kan även för varje genomförd lektion registrera närvaro och giltig eller oanmäld frånvaro respektive sen ankomst. Den faktiska användningen av skolornas administrativa system avgörs lokalt. Detta får till följd att uppgifter inte alltid registreras även om funktionaliteten finns. Det är inte heller säkert att uppgif- terna om genomförda lektioner avser den lärare som faktiskt under- visade. Om en vikarie undervisar ändras i all- mänhet inte lärarens namn i systemet och lektionen registreras som om den ordinarie läraren hade varit där. Inte heller då en lärare slutar och ersätts med en ny lärare under läsåret är det säkert att skolan ändrar lärarens namn i systemet. Enligt prioriterar de största leverantörerna av skolor- nas administrativa system registreringen av betyg och att uppgif- terna hanteras rättsäkert i systemen med kontroll av behörigheter och versionshantering. Uppgiften om vilken lärare som har satt vil- ket betyg bedöms därmed ha god kvalitet. Registrering av resultat på nationella prov bedöms däremot ha lägre prioritet på skolorna. Eftersom provens utformning varierar mellan åren ökar risken för felregistrering och systemet blir inte heller lika användbart lokalt då det inte redovisas vilka olika förmågor som provuppgifterna prövar i de olika delproven. konstaterar att de administrativa systemen nu byggs ut för att ge stöd för lärarnas pedagogiska dokumentation. Man menar att då allt fler lärare har tillgång till egen dator, kan de administrativa systemen komma att få en ökad betydelse för statens möj- ligheter att implementera reformer men även ge ökade möjligheter att samla in nya uppgifter. Att införa förändringar i skolornas administrativa system kräver dock enligt lång förberedelsetid, ibland upp till . Dels ska systemleverantörerna bygga om systemen och sprida den Data för utvärdering – utvecklingsbehov nya versionen till sina användare, dels ska skolorna uppdatera till den nya systemversionen och ändra sina arbetsrutiner kring de uppgifter som ska läggas in. Om systemen inte hinner uppgraderas innan en förändring träder i kraft försvåras huvudmännens upp- giftslämnande. Behov av utveckling och modernisering Intresset för deltagande i enkätundersökningar minskar. erfarenheter av detta bekräftas av 201220. Det innebär att behovet av registerdata ökar. Vidare ställs allt större krav på statistikens innehåll och systemens användarvänlighet. Att parallellt med den årliga datainsamlingen tekniskt modernisera uppföljningssystemet kommer enligt bedömning att utgöra en stor och resurskrävande utmaning . Utredningen återkommer till denna fråga i slutet av kapitlet. samlar in en mycket stor mängd uppgifter från skolhuvudmän och verksamheter för den nationella uppföljningen, vilket innebär en belastning för uppgiftslämnarna. Utredningen har försökt få fram uppgifter om vilka kostnaderna är för uppgiftslämnandet. Detta har visat sig vara svårt eftersom det inte finns någon enhetlig definition för vilka kostnader som ska räknas in. En stor del av de uppgifter som finns i det nuvarande uppföljningssystemet består dock av data som huvudmännen själva behöver för sin administration av verksamheten, dvs. uppgifter som de skulle behöva samla in oavsett om de efterfrågades för den nationella uppföljningen eller inte. SCB har uppskattat tidsåtgången och kostnaderna för det sam- lade uppgiftslämnande som krävs för officiella statistik (SOS), dvs. den statistik som de statistikansvariga myndigheterna har beslutat ska vara officiell. Kostnaden för uppgiftslämnandet har beräknats till för kommuner och landsting.21 Det framgår inte hur stor andel av detta belopp som avser skolan. 20SOU 2012:83 Vad är officiell statistik? En översyn av statistiksystemet och SCB. 21Statistiska centralbyrån (2013) officiella statistik – årlig rapport . Rådet för den officiella statistiken. Data för utvärdering – utvecklingsbehov Dessa kostnader hänför sig dock endast till själva arbetet med att ta fram de uppgifter som SCB efterfrågar vid datainsamlingen. Det innebär att t.ex. kostnader för att anskaffa och underhålla de administrativa systemen inte är medräknade, inte heller kostnader- na för den lokala uppgiftsinsamlingen. De samlade kostnaderna för uppgiftslämnarbördan är sannolikt betydligt högre än den SCB uppgivit. uppger att verkets kostnad för arbetet med den officiella statistiken var 201222. Enligt deltar uppskattningsvis 10 000 personer hos huvudmännen i arbetet med att lämna uppgifter till SCB, varav var- je år omkring 1 000 bedöms vara nya. Antalet involverade och anta- let oerfarna uppgiftslämnare påverkar sannolikt tillförlitligheten i data. Arbetsinsatsen uppskattas till cirka 70 årsarbetskrafter (samt- liga huvudmän inom tretton skolformer). Ett annat mått på komplexi- teten i uppgiftsinsamlingen är att SCB, enligt uppgift från , tar emot elevuppgifter via 33 olika administrativa program som utvecklats av olika it-företag och i vissa fall av enskilda kommuner. Utredningen har inte haft möjlighet att närmare undersöka vad detta betyder för kvaliteten i de insamlade uppgifterna. Det är dock sannolikt att en mer ändamålsenlig organisation av uppgiftslämnan- det dels skulle innebära tidsbesparingar för både de som lämnar uppgifterna som de som tar emot dem, dels förbättra kvaliteten i de data som samlas in. har vid kontakter med utredningen kraftigt understrukit att utrymmet för att öka kraven på skolhuvudmännens uppgifts- lämnande är starkt begränsat. Enligt förordningen om den officiella statistiken23 ska uppgifter för denna samlas in på ett sådant sätt att uppgiftslämnandet blir så enkelt som möjligt, står i proportion till användarnas behov, och är en rimlig arbetsbörda för uppgiftslämnarna. De statistikansvariga myndigheterna ska vid framställning av officiell statistik i så stor utsträckning som möjligt använda uppgifter ur befintliga register. har dock påpekat att förutsättningarna att hantera uppgiftslämnandet skiljer sig mycket åt mellan olika huvudmän. Det finns fortfarande mindre skolor och huvudmän som inte har något administrativt system alls. Uppgiftsinsamlingen får då ske genom direktinsamling via enkäter. Den administrativa bördan för 22Statistiska centralbyrån (2013) a.a. 23Förordning (2001:100) om den officiella statistiken. Data för utvärdering – utvecklingsbehov dessa skolor kan bli oproportionerligt tung vid förändringar och då nya data ska samlas in. samråder med kommuner och landsting kring nya uppgiftsinsamlingar i enlighet med den samrådsrutin som anges i förordning om statliga myndigheters inhämtande av uppgif- ter från näringsidkare och kommuner24. Samrådet omfattar bl.a. vil- ka uppgifter som ingår i undersökningen, tidpunkt för genomför- andet, urvalets storlek och kostnader för uppgiftslämnarna.