sou · H2B312 · 2014-03-12 00:00:00 — Det är också ett välbekant fenomen att variationen i bedömningen ökar vid frågor som kräver längre självproducerade svar. Iaktta- gelsen ligger i linje med svensk och internationell forskning om bedömarreliabilitet. Utredningen bedömer, i likhet med , att det finns goda möjligheter att utveckla och, om det behövs, reglera formerna för kollegial bedömning i . Här finns förebilder att tillgå, t.ex. i som . Man talar där om modering och har skapat olika institutionella arrangemang för detta. En möjlighet är att utforma ett system där prov från en skola på lärare på en eller flera andra skolor för extern medbedömning. Insamling av provresultat på poängnivå Forskare har efterfrågat att rapporteringen av resultat på nationella prov genomgående borde ske på poängnivå. För vissa årskurser samlas resultaten endast in på betygsnivå. För att kunna ana- lysera elevernas resultat på nationella prov med den precision som krävs för att olika svårigheter – och mönster bakom dessa svårig- heter – ska framträda, vill man kunna fingradera bedömningen mer Data för utvärdering – utvecklingsbehov än vad som är möjligt i ett antal betygssteg. Provbetyg döljer även alla underliggande resultatskillnader för elever med samma betyg. De nationella proven består av ett antal delprov. Betyg sätts på varje delprov. De olika betygen på delproven vägs sedan samman till ett sammanfattande provbetyg. samlar in betygen per ämne från de nationella proven i årskurs 6 och 9, både del- provsbetygen och det sammanfattande provbetyget. För årskurs 3 samlas uppgifter om delprovspoäng in, liksom om eleven nått krav- nivån för godtagbara kunskaper eller inte. Innan betyg infördes i årskurs 6, samlades uppgifter in om den poäng eleverna uppnått på respektive delprov både i årskurs 3 och årskurs 6. Syftet med insamlingen var att kunna analysera hur väl eleverna klarade de olika delproven (hur väl de hade förvärvat den förmåga som testades på just det delprovet) samt hur fördelningen såg ut, dvs. hur stor andel av elevresultaten som befann sig i gräns- landet av de mål som skulle uppnås, inte ens var i närheten eller hade uppnått kravnivån med råge. har inte några data på uppgiftsnivå. De institutioner som gör proven genomför dock egna insamlingar av fullständiga lösningar av provuppgifterna. Dessa insamlingar baseras emellertid enbart på lösningar från elever som är födda på vissa, fördefiniera- de, datum, vilket möjliggör vissa fördjupade analyser av elevernas provresultat. Vad vi har förstått varierar det sätt som insamlingen sker mellan institutionerna och urvalen kan inte förväntas vara så stora att dessa insamlingar svarar mot forskarnas behov av underlag på poängnivå. anser inte att nyttan med poänginsamling står i pari- tet med den uppgiftslämnarbörda den skulle orsaka. Man menar att den insamling som sker av betyg i årskurserna 6 och 9 i grund- skolan och av provbetyg från årskurserna 3, 6 och 9 är tillräcklig för uppföljningens behov. Man menar vidare att den nya betygsskalan med fler steg ger mer preciserade resultat än den tidigare. Insam- lingarna av poäng har enligt verket visat sig vara mycket krävande. Även felrapporteringar är vanligt förekommande när det gäller rapportering av poängnivåer. För en poängrapportering argumenterar bl.a. m.fl. i en nyligen utkommen SNS-rapport59. Författarna konstateras att information från de nationella proven kan förväntas vara av 59 , , och (2014) Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter. Data för utvärdering – utvecklingsbehov intresse för uppföljnings- och forskningsändamål och att den där- för bör samlas in. Man menar vidare att det är viktigt att insam- lingen av provresultat inte begränsas till det sammanfattande prov- betyget, och inte heller till de olika delbetygen. Det är i stället nödvändigt att göra storskaliga insamlingar även av de poängtal som eleverna når på de olika delproven. Som stöd för sina slutsaster hänvisar författarna till Koretz60 som visat att prestationsmått som sammanfattas i så grova kategorier som fyra till sex betygssteg knappast är användbara för uppföljningsändamål, eftersom presta- tionsförändringar i allmänhet är relativt små. Utredningen bedömer att det är angeläget att resultaten från de nationella proven samlas in på poängnivå, för att möjliggöra analy- ser med högre precision. Vi inser att hindren för en sådan rapportering handlar om såväl de administrativa systemens funktionssätt och hur vissa prov är konstruerade61 som de rutiner och tidsplaner som institutionerna som utarbetar proven arbetar med. Det bör emellertid undersökas om det med rimliga insatser går att kortsiktigt komma till rätta med dessa problem. Utred- ningen har föreslagit att hela frågan om ett nationellt system för kunskapsbedömning och de nationella proven bör ut- redas i ett sammanhang. Frågan om insamling av resultat på poäng- nivå bör ingå i uppdraget till en sådan utredning. Forskare62 vill kunna utvärdera hur insatser i de lägre åldrarna påverkar elever med olika förutsättningar. För att kunna bedöma effekterna av olika insatser behövs, menar man, mätningar av elev- ernas förmågor och färdigheter , gärna redan innan de börjar i skolan, dvs. Det har konstaterats att (2008) Measuring Up. What Educational Testing Really Tells Us. Har- vard Press. , , , . 61Bland annat förekommer det att betyg på delprov inte endast grundas på det samlade antalet poäng på delprovet, utan att eleven också måste ha fått visst antal poäng på delar av delprovet för att betyget ska kunna sättas. Sådana konstruktioner försvårar naturligtvis möjligheterna att låta administrativa system beräkna delprovsbetyget. 62Se (red.) (2011) Utvärdering genom Uppföljning. Longitudinell individ- forskning under . Studies in Educational Sciences 305. Se även , och (2012) En god start – en om tidigt stöd i skolan. Rapport till Expertgruppen för studier i offentlig ekonomi, 2012:2. Data för utvärdering – utvecklingsbehov en del huvudmän kartlägger t.ex. barns språkutveckling genom olika diagnos- och bedömningsmaterial. Utredningen bedömer att denna fråga aktualiserar den grund- läggande frågan om samhällets och forskningens nytta i förhållande till den enskildes integritet. Frågan om insamling av tidiga bedömningar av kognitiv förmåga skiljer sig på flera sätt från de övriga önskemålen om ytterligare data. Utredningen har i ett tidigare avsnitt redovisat den kompli- cerade lagstiftning som gäller inom området. När det gäller exempelvis de tester som görs inom ramen för UGU-databasen krävs den enskildes samtycke till att delta. Sannolikheten för stora bortfall är stor om detta skulle göras i nationell skala. Att genom lagstiftning tvinga föräldrarna att låta sina barn delta i tester av barnens kognitiva förmåga förefaller att gå utöver det rimliga. Enligt vår upp- fattning lämpar sig denna typ av uppgiftsinsamling bättre för den typ av forskningsdatabaser som exempelvis UGU utgör, och där de deltagande har gett sitt medgivande. Även den efterfrågan som finns på insamling av resultat från de olika diagnos- och bedömningsmaterial som ibland används i för- skolan för att framför allt kartlägga barns språkutveckling anser vi problematisk. Det är en sak vad enskilda förskolor och skolor gör lokalt för att diagnosticera barn och elever, t.ex. i samband med planering och genomförande av undervisning. Det är en helt annan sak vad som är lämpligt att samhället samlar in på nationell nivå – särskilt om detta sker på individnivå för hela populationer. Det går knappast att samla in sådana data utan att bli mer eller mindre föreskrivande om att det ska genomföras denna typ av diagnoser och hur de ska genomföras. Att genomföra särskilda studier som utgår från resultaten från befintliga diagnoser bör däremot vara möjligt under förutsättning att föräldrarna har gett sitt godkän- nande till det. Myndigheter och forskare har konstaterat att huvudmännen använ- der sig av olika system för att hämta in uppgifter om elever och lärare och föreslår att dessa system vidareutvecklas för att möjlig- göra nationell insamling av uppgifter om elever och lärare. Data för utvärdering – utvecklingsbehov Forskare har konstaterat att det finns begränsad kunskap om effekterna av kompensatoriska inslag i huvudmännens resursfördel- ning och av hur olika typer av resurser påverkar elevers resultat. Enligt forskare vore det önskvärt att kostnadsdata samlas in på skolnivå, gärna uppdelat på olika utgiftsposter. Man önskar också att få tillgång till information om de principer som ligger bakom kommunernas resursfördelningssystem. Utredningen bedömer att det är svårt att göra något åt att kom- munerna använder sig av olika administrativa och ekonomiska sys- tem63 med mindre än att staten genom lagstiftning föreskriver ett enhetligt system för samtliga kommuner och landsting, något vi bedömer vara mindre realistiskt. Man har vidare olika system för budgetuppföljning. Det är enligt svårt att få in jämför- bara uppgifter. Detta är givetvis problematiskt. Det är dock värt att notera att valt en annan väg. Där inleddes, i samband med övergången till målstyrning , ett utvecklingsarbete av statistiken inom kom- munsektorn under rubriken (Kommun-Stat-Rapporte- ring)64. Arbetet inriktades på att skapa ett sammanhållet produk- tionssystem för definitionsmässigt enhetlig ekonomisk statistik och verksamhetsstatistik. ingår alla kommuner och fylken i KOSTRA. Även OECD65 har noterat att de svenska kommunerna har olika system för datainsamling, att de inte är standardiserade och inte kan användas för att göra jämförelser mellan kommunerna. Detta gäller även för de fristående skolorna. Varje utbildningsanordnare samlar in sina egna data och det finns inte någon strävan att harmo- nisera denna datainsamling. Även på skolnivå är datasystemen mycket olika och ojämna och en del skolor saknar system för att hantera data. konstaterar att det inte finns någon nationell plan för att hantera frågan om standardisering av system för datainsamling i syfte att möjliggöra jämförelser av detta slag. konstaterar slutligen att varken kommuner och landsting eller Fristående skolors riksförbund har tagit några initiativ för att standardisera eller aggregera data. 63När det gäller elevdata arbetar SCB enligt uppgift från mot 33 olika system- leverantörer. 64SOU 2009:25 Samordnad kommunstatistik för styrning och uppföljning. 65OECD (2011) Reviews of Evaluation and Assessment in Education. Data för utvärdering – utvecklingsbehov När det gäller specifikt analyser av hur resursfördelningen påverkar elevers skolresultat är det värt att notera att den stora posten, och sannolikt även den viktigaste, utgörs av under- visande personal. Den går att mäta på annat sätt än i utgiftstermer, varför det ändå bör vara möjligt att genomföra meningsfulla analyser. Frågan om hur kommunernas resursfördelningssystem påverkar elevernas resultat kan med nuvarande redovisningsformer endast studeras genom särskilda studier. har i flera rapporter pekat på komplexiteten i att försöka koppla kvantitativa data om ekonomiska resurser till kvaliteten på undervisningen och elevernas studieresultat66. Det har också visat sig svårt att identifiera tydliga alternativa resursfördelningssystem. Möjligheterna att belysa detta i ett registerbaserat statistiksystem måste därför anses begränsade. 10.3.6Utveckling, modernisering och resurser Vid utvecklingen av uppföljningssystemet måste ställning tas till vilken information som lämpar sig för ett nationellt uppföljnings- system och vilken information som bör hanteras vid sidan av detta. Det innebär dock inte att vi utesluter möjligheten att införliva mer data från enkäter (urval eller totalundersökningar) i systemet, under förutsättning att frågor bedöms ha en sådan karaktär att den information de ger upphov till är stabila . Detta är en fråga som bör bedömas av som statistikansvarig myndighet. Vi uppfattar att det sammantaget finns olika utvecklingsmöjlig- heter för det nationella uppföljningssystemet. Förutom de föränd- ringar som följer av regeringens reformer finns också ett behov av att modernisera uppföljningssystemet som helhet. Användarna ställer stora krav på såväl statistikens innehåll och aktualitet som användarvänligheten. För att tillgodose användarnas behov behöver dels samla ny data och utveckla ny statistik, vilket har diskuterats ovan, dels utveckla en modern, sammanhållen publi- ceringsdatabas med uppgifter om alla verksamhetsformer på alla befintliga redovisningsnivåer (riket, län, kommun, skola, huvud- man). I praktiken måste dock i första hand fokusera på driften av det befintliga systemet. Detta är resurskrävande. Vad vi kan bedöma saknas därför tillräckliga resurser för att utveckla och modernisera systemet. Som redan nämnts måste dessutom 66 Se t.ex. 391 (2013) Kommunernas resursfördelning till grundskolor. Data för utvärdering – utvecklingsbehov hänsyn tas till huvudmännens uppgiftslämnarbörda, vilket innebär att ny uppgiftsinsamling bör motsvaras av avlastning i någon annan del av systemet. Den infrastruktur som uppföljningssystemet utgör behöver därför enligt vår uppfattning en finansiell förstärkning för att det ska vara möjligt att följa utvecklingen inom hela skolväsendet. Det gäller särskilt efter de senaste årens reformer. Förutom den löpan- de, årliga kostnaden för uppgiftsinsamling och statistikframställ- ning uppstår även initiala kostnader för utveckling och anpassning av de befintliga insamlings- och granskningssystemen samt för att ta fram ny statistik. har inget särskilt anslag för insamling av data för statistikändamål, utan resurserna för detta bestäms genom ver- kets interna budgetprioriteringar. i perspektivet av myndig- hetens samlade åtagande kan knappast förväntas några större omfördelningar mellan olika verksamhetsområden till förmån för utveckling av uppföljningssystemet. Vid eventuella förändringar av uppföljningssystemet behöver regeringen därför se till att resurser avsätts inte bara för att samla in nya data utan också för att hantera dem vidare. 10.3.7Inga förslag om författningsändringar Enligt direktiven ska utredningen om det behövs lämna författ- ningsförslag för att öka tillgången på data som behövs för att i ökad utsträckning kunna utvärdera reformer. Insamling, lagring och användning av registerdata som avser individer är omgärdade av ett omfattande, och ibland svårgenom- trängligt, regelverk som i första hand syftar till att skydda den enskilde individen. Detta är nödvändigt, men påverkar förutsätt- ningarna för utvärdering och forskning. Mot bakgrund av att det pågår två utredningar som arbetar med frågor kopplade till hur förutsättningarna för registerbaserad forskning kan förbättras, har vi avstått från att läm- na förslag om registerförfattningar på skolans område. Vi bedömer dock att exempelvis den s.k. UGU-databasen vid kan komma att beröras av resultatet av utred- ningarna. Det är i så fall viktigt att regeringen tar hänsyn till den betydelse som denna internationellt unika databas har för forskning Data för utvärdering – utvecklingsbehov inom flera vetenskapliga discipliner och att de långsiktiga förut- sättningarna för UGU-databasen inte äventyras. Utvärdering av reformer kan baseras på data som samlats in till det löpande uppföljningssystemet och på särskilt insamlad data. Vilken metod som bör väljas i samband med en reformutvärdering hänger samman med reformens innehåll, vad det är man vill veta och vad man vill använda utvärderingsresultaten till. Kvantitativt inriktade utvärderingar kräver ofta tillgång till registerdata medan kvalitativt inriktade utvärderingar oftast bygger på direktinsamlade data. Kännetecknande för de registerdata som ingår i statistiksystemet är att de samlas in , hämtas ur de lokala administrativa systemen samt att de består av hela kohorter, dvs. alla elever, alla lärare och alla huvudmän. samlar i princip inte in registerdata som inte är avsedda att ingå i den officiella statistiken. Direktinsamlad data kännetecknas av att den samlas in via enkäter, observationer eller på annat sätt, att insamlingen sker periodiskt (t.ex. ) samt att insamlingen sker genom urval. Direktinsamlad data kan ingå i uppföljningssystemet, som i fallet med attitydunder- sökning, eller genomföras särskilt i anslutning till utvärdering av en specifik reform. Ett väl fungerande uppföljningssystem med registerdata som möj- liggör olika typer av analyser och framför allt bidrar till en system- kunskap är en viktig grund för reformutvärdering. Utredningen konstaterar att det ofta för utvärdering av reformer behövs kompletterande uppgiftsinsamling, som utgår från just de frågeställningar som ska belysas i utvärderingen. Det är dessutom ofta värdefullt att utvärderingar som baseras på registerdata kombi- neras med utvärderingar som grundas på annan slags empiri. Detta för att åstadkomma en tillräckligt bred och fördjupad utvärdering av reformer och andra mer omfattande åtgärder. När utredningen behandlat de olika önskemål som framkommit om ytterligare data i det nationella uppföljningssystemet har avväg- ningar fått göras mellan dels de kunskapsintressen som efterfrågan återspeglar, dels de praktiska och ekonomiska förutsättningarna för att genomföra uppgiftsinsamlingen, nyttan av en sådan insamling samt lämpligheten ur bl.a. ett etiskt perspektiv. Data för utvärdering – utvecklingsbehov Utredningens slutsats är att långt ifrån all information, t.ex. om skolans arbetsformer och undervisningssätt, lämpar sig för att sam- las in regelbundet för att bilda registerdata. För att sådana data ska vara användbara för statistiska analyser krävs att de upp- gifter som lagras inte påverkas av yttre förändringar eller . Vi menar dessutom att hänsyn måste tas till att frågor som ställs vid en regelbunden insamling av data i ett nationellt uppföljnings- system kan ha en indirekt styrande effekt på verksamheten. Den svenska skolan och de svenska lärarna har stor frihet att, inom ramen för läro- och kursplanerna, organisera och genomföra under- visningen, välja läromedel etc. Det vore därför olyckligt om det sätt som uppgiftsinsamlingen utformas leder till en indirekt och oav- sedd styrning. Den stora variationen i undervisningsformerna gör dessutom att det är svårt att fånga dessa med mindre än att fördju- pade studier genomförs på plats. I flera fall har önskemålen om ytterligare datainsamling handlat om att öka den information som hämtas ur lokala administrativa regis- ter. Det handlar t.ex. om planerad och genomförd undervisning, undervisningsgruppens sammansättning samt om möjligheterna att koppla samman lärare och elev. Utredningen anser att det vore värdefullt om det gick att hämta fler uppgifter från de administrativa systemen än vad som är möj- ligt . Flera av de uppgifter som efterfrågas lämpar sig i princip och till sin karaktär för denna typ av registrering, t.ex. uppgifter om planerad och genomförd undervisning respektive undervis- ningsgruppernas sammansättning. Som vi bedömt ovan blir dock sannolikt kvaliteten i sådana data inte tillräckligt god, helt enkelt för att skolorna inte registrerar de uppgifter man ur ett utvärde- ringsperspektiv skulle kunna önska att de gör, och inte heller är skyldiga att göra det. Att ålägga skolan, och i praktiken läraren, en skyldighet att utöka registreringen i de administrativa systemen är inte realistiskt i ett läge där ambitionen i stället är att minska den administrativa bördan. bör dock undersöka möjlighe- terna att successivt utöka uppgiftsinsamlingen från de administra- tiva systemen i de fall uppgifter registreras i tillräcklig omfattning och med acceptabel kvalitet. I det fall de administrativa systemen inte kan erbjuda de data som efterfrågas med tillräcklig kvalitet bör annan uppgiftsinsamling väljas, genom enkäter eller genom observationer på plats. Behovet av empiri för att studera t.ex. den faktiska organiseringen av under- Data för utvärdering – utvecklingsbehov visning i undervisningsgrupper löses troligen bäst genom att data samlas in vid ett urval av skolor genom enkäter eller observations- studier. Utredningen konstaterar vidare att ändamålsbestämmelserna i tar sikte på bl.a. den vetenskapliga användningen av adminis- trativa data. PUL medger vetenskaplig användning av data som ursprungligen samlats in för andra ändamål. Den uppgiftsinsamling som efterfrågas här handlar dock inte om ett sådant återbruk av data som samlats in för andra, lokala administrativa ändamål, utan om att samla in och sammankoppla data för allmänna forsknings- ändamål utan att detta har något med de lokala behoven att göra. Vissa uppföljnings- och utvärderingsbehov förutsätter att man använder sig av direktinsamlingsmetoder, oftast i form av urvals- studier och ofta genom enkätstudier. Exempel på direktinsamling är regelbundna attitydundersökningar bland elever, lärare och föräld- rar som genomförts samt de longitudinella studier som SCB genomför i samverkan med UGU (elevpanelerna) och den ytterligare insamling som UGU genomför. I båda fallen omfattas uppgifter om bl.a. skolans arbetssätt. Det finns flera områden som är viktiga för skolans utveckling och där det framförts önskemål om ytterligare data och som kan lämpa sig för direktinsamling. Det handlar t.ex. om undervisningen, dvs. skolans arbetsformer och lärarnas arbetssätt. Data inom detta område är svårt att samla in som registerdata med en rimlig arbets- insats och det är ofta svårt att få god kvalitet i sådana uppgifter. Förbättrade underlag av detta slag skulle underlätta möjlighe- terna att utvärdera reformer. För utvärdering av reformer och andra mer omfattande förändringar kommer dock enligt vår bedömning även att behövas riktade uppgiftsinsamlingar, med frågeställningar relevanta för den aktuella reformen. Detta kan ske genom enkäter eller fallstudier som bygger på observationer av skolans arbetssätt Sådana fallstudier är förvisso resurskrävande, men kan enligt vår uppfattning bidra med en kunskap av högre kvalitet och leda till djupare insikt än andra former av informationsinsamling. Det är den statistikansvariga myndigheten, i detta fall , som ska ansvara för bedömningen av vilka data som behövs samt göra den nödvändiga avvägningen mellan nytta och kostnader för ny uppgiftsinsamling. I detta ligger också att svara för bedöm- ningen av på vilket sätt nya uppgifter ska samlas in, t.ex. från admi- Data för utvärdering – utvecklingsbehov nistrativa register eller genom t.ex. enkätstudier. Det är viktigt att inför sina bedömningar samråder med forskare, myn- digheter och andra aktörer som använder uppgifterna i systemet. är dock beroende av de ramar som ges i form av finan- siering. Vi menar att behöver tillföras resurser för att dels samla ny data och utveckla ny statistik, dels utveckla sättet att redovisa statistiken på. Det behövs även ytterligare resurser till systemet för att syste- matiskt analysera den omfattande statistik som samlas in . Enligt uppgifter som utredningen fått från och forskare finns inom många områden tillgång till mer data än vad man har resurser att bearbeta och analysera. Både den nationella statistiken och underlagen från de internationella studierna PIRLS, och TIMSS skulle kunna bidra med avsevärt mer kunskap. Det är dessutom möjligt att utöka urvalen för de internationella undersökningarna för att möjliggöra en mer fördjupad nationell analys eller att lägga till frågor av nationellt intresse. Detta kostar dock pengar. 11Organisering för stärkt utvärdering I kapitel 7 pekar utredningen på behovet av ett nationellt ramverk för utvärdering på skolans område. Av ett sådant ramverk bör framgå hur utvärderingen är organiserad, vilka de centrala aktörer- na är samt hur ansvaret är fördelat dem emellan. Det bör också framgå hur och av vem förslag till prioriterade områden för utvär- dering tas fram, vem som beslutar om detta och på vilket sätt olika parter inom skolsamhället ges inflytande över detta. Detta är frågor som tas upp i detta kapitel.