rir · H3B53 · 2015-03-17 00:00:00 — Utformningen av den nuvarande matchar inte de kvalitetskriterier som har förts in i lagen om den officiella statistiken. Därför har SCB tillsatt en arbetsgrupp som ser över både MIS och . Arbetet måste, utöver att fokusera på de nya kvalitetskriterierna, ta hänsyn till vad som händer på EU-nivå. Enligt tidplanen ska gruppen presentera ett första förslag till ny handledning eller april 2015.218 Rådet för den officiella statistiken gör i sin årsrapport en uppföljning av aktualiteten i myndigheternas beskrivningar av statistiken. En svaghet med uppföljningen har varit att den endast inkluderar de statistikansvariga myndigheter som lägger upp sina BAS på SCB:s webbplats. I årsrapporten kommer dock även övriga myndigheter att inkluderas. Vid uppföljningen av 2013 hade av produkterna en aktuell beskrivning av statistiken upplagd på SCB:s webbplats medan beskrivningen var eller mer, alternativt saknades helt, för av produkterna.219 Under granskningen genomförde vi en genomgång av BAS för samtliga officiella statistikprodukter och då framgick att ett fåtal myndigheter har valt att tillhandahålla uppdaterade beskrivningar på den egna webbplatsen istället för att skicka över dem till SCB. till samtliga myndigheter så bekräftades dock bilden av att ett stort antal produkter saknar en aktuell beskrivning. Från Rådet för den officiella statistikens sida för man en dialog med myndigheterna om den stora andelen produkter som inte har aktuella beskrivningar och försöker ge information och stöd. Rådet har dock inte möjlighet att kräva att myndigheterna gör årliga uppdateringar, utan det är myndigheterna själva som måste ta sitt ansvar för uppdateringen av Det kan också konstateras att SCB:s samordning innefattar 219Intervju SCB samt Rådet för den officiella statistiken (2013), officiella statistik – årlig rapport . GRANSKAR: OFFENTLIGA FINANSER stöd och dialog, inte granskning och kontroll. Det finns med andra ord ingen som har till uppgift att granska innehållet i de kvalitetsdeklarationer som myndigheterna gör för sina statistikprodukter.220 Att det inte finns någon funktion för att granska kvaliteten i officiella statistikprodukter är något som även peer review-teamet har observerat och i deras rapport framhålls att det dels bör etableras mekanismer för att granska kvaliteten i officiella statistikprodukter, dels bör införas ett ramverk som säkerställer att statistikkvaliteten övervakas, bedöms och dokumenteras regelbundet.221 Vid samtalen med de andra statistikansvariga myndigheterna om arbetet med dokumentation och kvalitetsdeklarationer hade de flesta inga större synpunkter på utformningen av . Flera anger dock att man ser positivt på och inväntar SCB:s arbete med att göra den förenlig med de nya kvalitetskriterierna. Vissa myndigheter anger också att de på eget initiativ tar fram mer djupgående dokumentation om sina produkter. Ett par myndigheter uttryckte lite mer detaljerade synpunkter. inte eftersom man inte tycker att den passar för biblioteksstatistiken. Myndigheten har i stället utvecklat en egen kvalitetsrapportering som bifogas när statistiken publiceras.222 använder men tycker att beskrivningen hamnar på en för övergripande nivå och att den inte passar så bra för att beskriva statistik som bygger på register.223 Att hitta dokumentation och kvalitetsdeklarationer På finns en lista över alla produkter som tas fram inom den officiella statistiken. För varje produkt finns information om vilken myndighet som ansvarar för den och myndigheterna har också möjlighet att lägga upp en BAS och rapporter som publiceras avseende statistikprodukten.224 Vid vår genomgång av BAS för de officiella statistikprodukterna konstaterade vi att det är värdefullt med en gemensam portal till den officiella statistiken. Ett problem är dock att det är svårt för en användare att veta om det är den mest aktuella informationen som finns att tillgå på SCB:s webbplats, när det är andra myndigheter som ansvarar för statistiken. Om den senaste BAS som finns upplagd exempelvis är kan det antingen bero på att den ansvariga 221Peer review report on compliance with the Code of Practice and the coordination role of the , , January 2015. 224I förordning (2001:100) om den officiella statistiken anges i § 13 att de statistikansvariga myndigheterna utan avgift ska offentliggöra och hålla officiell statistik allmänt tillgänglig i elektronisk form genom ett allmänt nätverk. DEN OFFICIELLA STATISTIKEN – EN RÄTTVISANDE BILD AV SAMHÄLLSUTVECKLINGEN? myndigheten inte har uppdaterat den eller att myndigheten bara har lagt upp den senaste versionen på sin egen webbplats. Möjligheten för användare att enkelt få åtkomst till den officiella statistiken är även något som lyfts i peer review-rapporten. Det konstateras där att länkarna på SCB:s webbplats ibland bara går till den aktuella myndighetens huvudsida och att det är svårt för användarna att hitta information inom flera statistikområden. Det konstateras också att många statistikansvariga myndigheter inte har någon statistikdatabas. review-teamet föreslår därför att det skapas en mer användarorienterad lösning, till exempel en gemensam portal för hantering och spridning av den officiella statistiken.225 När vi diskuterade SCB:s webbplats med sekretariatet för Rådet för den officiella statistiken framgick att det visserligen finns ett krav på att den officiella statistiken ska vara återkommande men inte med vilken frekvens. En produkt kan vara officiell även om den bara publiceras vart femte eller . Rådet använder en webblankett för att samla in namnen på myndigheternas produkter och publiceringsplanen för produkten. Det är dock upp till myndigheterna att skicka över rapporter och BAS om man vill att dessa ska läggas upp på SCB:s webbplats. Ett problem är också att de länkar som finns till myndigheternas egna statistiksidor ibland slutar att fungera. påminner myndigheterna om att se till att länkarna som myndigheterna har på SCB:s webbplats fungerar. SCB och rådet har inte möjlighet att bevaka detta utan att det krävs att myndigheterna meddelar när de gör ändringar på sina webbplatser som medför att länkarna slutar fungera.226 Förutsättningarna för att bedriva produktion av officiell statistik ser olika ut för olika statistikansvariga myndigheter. Myndigheterna skiljer sig åt vad gäller både storleken på myndigheten och statistikproduktionen. Det ligger dessutom på myndigheterna själva att prioritera mellan statistikproduktionen och den övriga verksamheten. Det finns både myndigheter som uppger att det satsas mycket på statistiken och myndigheter som uppger att det satsas för lite. Flera statistikansvariga myndigheter uppger att det är svårt att beräkna kostnaden för deras statistik. Det är också komplicerat att bedöma hur statistikens omfattning har utvecklats . Detta gör det svårt att ge en helhetsbild av kostnadsutvecklingen för statistiksystemet. 225Peer review report on compliance with the Code of Practice and the coordination role of the , , January 2015. GRANSKAR: OFFENTLIGA FINANSER Det finns betydande skillnader mellan hur aktivt de statistikansvariga myndigheterna arbetar med att fånga upp användarnas behov och synpunkter. Det är inte ovanligt att de statistikansvariga myndigheternas utbud av statistikprodukter förklaras av historiska faktorer. Myndigheterna bedriver ofta ett utvecklingsarbete avseende befintliga produkter men det är mindre vanligt att nya produkter tillkommer. Det beskrivs som svårt att ta bort produkter och det finns exempel på myndigheter som drar sig för att införa nya produkter eftersom det är ett stort åtagande. Det finns oklarheter och tolkningsutrymme avseende riktlinjerna för hur de statistikansvariga myndigheterna ska arbeta med kvalitet i sin statistik. Nya kvalitetskriterier infördes i lagen om den officiella statistiken, men Rådet för den officiella statistiken arbetar fortfarande med att ta fram en beskrivning av hur dessa ska tolkas och hur de relaterar till de tidigare riktlinjerna om tillräcklig kvalitet samt till EU:s code of practice. De flesta statistikansvariga myndigheter bedriver någon form av kvalitetsarbete men när det gäller anpassningen till EU:s code of practice så ligger olika myndigheter olika långt framme. Att Rådet för den officiella statistiken nu rekommenderar myndigheterna att följa code of practice innebär visserligen att det är aktuellt med utfästelser avseende tillräcklig kvalitet, men det är värt att notera att det endast var två myndigheter som gjorde någon utfästelse när det fortfarande var aktuellt. En betydande andel av de statistikansvariga myndigheterna följer inte kravet på att det kontinuerligt ska tas fram en uppdaterad beskrivning av statistiken (BAS) och en kvalitetsdeklaration. De nya kvalitetskriterierna i lagen är formulerade på ett sätt som gör dem svåra att använda som grund för utvärdering och kontroll. Det finns inte heller någon som har till uppgift att granska eller utvärdera myndigheternas kvalitetsarbete och de kvalitetsdeklarationer som ska finnas för varje produkt. Det är upp till varje enskild myndighet att bedöma hur väl man lever upp till kvalitetskraven. DEN OFFICIELLA STATISTIKEN – EN RÄTTVISANDE BILD AV SAMHÄLLSUTVECKLINGEN? GRANSKAR: OFFENTLIGA FINANSER För att systemet för den officiella statistiken ska kunna fungera ändamålsenligt och effektivt behöver det vara utformat på ett sätt som underlättar för de statistikansvariga myndigheterna att möta och hantera olika typer av utmaningar som uppstår vid statistikproduktionen. Följande kapitel behandlar därför de statistikansvariga myndigheternas förutsättningar för att hantera utmaningar inom systemet för den officiella statistiken (revisionsfråga 4). Ett exempel på utmaningar som möter många statistikansvariga myndigheter är svårigheten att få individer och företag att lämna uppgifter, vilket medför bortfall i undersökningarna. Ett annat exempel är ökade krav från EU. I kapitlet beskrivs dessa utmaningar och hur de berörda myndigheterna arbetar för att hantera dem. Detta syftar till att ge en bild av hur förutsättningarna att möta den här typen av utmaningar ser ut inom systemet för den officiella statistiken. Det kan också betraktas som ett test av hur väl systemet fungerar i praktiken. 6.1Bortfallet i officiell statistik – en växande utmaning I många typer av statistiska undersökningar är bortfall en av de vanligaste felkällorna. Med bortfall avses en avsaknad av värden på en eller flera variabler som ska inhämtas i undersökningen. I vanliga fall förknippas bortfall med undersökningar som samlar in uppgifter från individer eller företag, till exempel via enkäter och intervjuer. Ett visst bortfall kan även förekomma när uppgifter hämtas från administrativa register, men den typen av bortfall åsyftas inte när begreppet används i det här kapitlet. Det finns en mängd olika faktorer som kan leda till bortfall. Bland individer kan det handla om en ovilja att delta på grund av till exempel tidsbrist, rädsla för registrering eller avsaknad av motivation. Det kan också handla om att personen är bortrest, har hemligt telefonnummer, felaktig adress eller språksvårigheter. För företag kan det handla om ovilja att lämna ut uppgifter, olämplig tidpunkt, brist på tid, dåliga underlag, ointresse med mera. I granskningen har vi pratat med forskare vid på och då bland annat diskuterat ökningen av bortfall i statistiken. De gör bedömningen att en av de bidragande orsakerna till att bortfallen ökar är den snabba teknikutvecklingen, som exempelvis gjort det enkelt att blockera telefonnummer för den som inte önskar fler telefonsamtal DEN OFFICIELLA STATISTIKEN – EN RÄTTVISANDE BILD AV SAMHÄLLSUTVECKLINGEN? från en viss organisation. Teknikutvecklingen har också medfört en ökning av antalet aktörer i undersökningsbranschen. Mycket tyder på att människors lust att delta i undersökningar har minskat eftersom många blir kontaktade av olika undersökare . Det är en krävande uppgift för myndigheterna att möta och anpassa sig till den här teknikutvecklingen.227 6.1.1Problem till följd av bortfall Vid förekomst av bortfall är det främst två problem som brukar framhållas. För det första uppstår större felmarginaler (bredare konfidensintervall) i undersökningen vid ökande bortfall. För det andra uppstår ett allvarligare problem om de som inte svarat avviker från dem som deltar, i något avseende som är intressant för undersökningen. I en sådan situation uppstår ett snedvridet resultat (även kallat ett systematiskt fel eller bias). Det är normalt inga större svårigheter att mäta storleken på bortfallet i en undersökning, men det är betydligt svårare att veta om bortfallet har en snedvridande effekt. Ett bortfall på i en undersökning kan vara betydligt allvarligare än i en annan. Det går därför inte att ge något generellt svar på vad som är ett acceptabelt bortfall.228 Vid en intervju med () angavs att man kan fundera på om det är lämpligt att publicera undersökningar som har ett bortfall på , men att det är en bedömningsfråga som måste göras i varje enskilt fall.229 Det går att få lite mer information genom att undersöka bortfallsandelarna för olika grupper i en undersökning. Om dessa uppvisar stora skillnader kan det finnas en ökad risk för snedvridning. Det enda som kan sägas säkert är dock att om bortfallsandelarna är låga och jämt fördelade bland de olika grupperna i undersökningen är risken för snedvridning liten.230 Ytterligare ett problem är att bortfall kan orsaka extra kostnader, till exempel genom att statistikproducenten måste göra fler kontaktförsök och lägga stora resurser på att hitta aktuella telefonnummer. Enligt SCB skapar bortfallet kostnader för dem på flera sätt. Det är svårt att ligga steget före och förutse hur stor resursinsats som kommer att krävas i en insamling för att uppnå en viss svarsfrekvens. uppstår dessutom situationer där myndigheten måste genomföra extraordinära och kostnadsdrivande åtgärder för de viktigaste undersökningarna, till exempel bevilja övertid eller nedprioritera andra undersökningar. SCB har dock inte tvingats ställa in någon undersökning av detta skäl utan undersökningar som eventuellt prioriteras 228SCB (1997), Minska bortfallet, sid 25–29. 229Intervju nr 1 SCB . 230SCB (2014), Metoder för bortfallsanalys. GRANSKAR: OFFENTLIGA FINANSER ned kompenseras i möjligaste mån i efterhand med utökade resurser. Förutom kostnaderna för dessa omplaneringar innebär också det ökade bortfallet att SCB lägger mer resurser på att i efterhand kontrollera tillförlitligheten i insamlade data.231 6.1.2Bortfall i svensk officiell statistik Många statistikansvariga myndigheter har produkter där det förekommer bortfall. En uppskattning baserat på en genomgång av BAS för myndigheternas statistikprodukter är att drygt hälften av myndigheterna har en eller flera produkter där bortfall förekommer i någon utsträckning. För att upprätthålla en hög kvalitet i statistiken, där hög svarsfrekvens är en pusselbit, finns det i lagen (2001:99) om den officiella statistiken (statistiklagen) regler om uppgiftsskyldighet. Detta möjliggör för en statistikansvarig myndighet att vitesförelägga uppgiftslämnare som inte svarar. omfattar dock inte privatpersoner. Tabell 6.1 nedan ger en sammanställning av bortfallsnivå och uppgiftsskyldighet för de statistikprodukter där det anges att det finns bortfall i undersökningen och där en nivå specificeras. Tabell 6.1 Bortfallsnivåer i officiella statistikprodukter Källa: BAS för respektive statistikprodukt. Not: för vissa statistikprodukter redovisas flera bortfallsnivåer och det förekommer olika sätt att beräkna bortfallet. Sammanställningen bör därför tolkas med viss försiktighet. Tabellen visar att drygt hälften av de 91 statistikprodukter som anger en bortfallsnivå i sin BAS har ett bortfall som inte överstiger och att sju produkter har ett bortfall på . Tabellen visar också att det föreligger uppgiftsskyldighet för nästan två tredjedelar av Det framgår dessutom att det, som väntat, finns en koppling mellan låga bortfallsnivåer och uppgiftsskyldighet. Andelen produkter med uppgiftsskyldighet är betydligt högre bland de produkter som har lägst bortfall. 231 Intervju nr 1 SCB . DEN OFFICIELLA STATISTIKEN – EN RÄTTVISANDE BILD AV SAMHÄLLSUTVECKLINGEN? Utöver de statistikprodukter som ingår i tabellen finns det ytterligare produkter som har bortfall men där ingen nivå anges. Det kan exempelvis bero på att bortfallet är svårt att mäta eller att det är väldigt litet. Även om storleken på bortfallet anges i BAS är det mycket ovanligt att det redovisas hur utvecklingen har sett ut . genomfört en bortfallsanalys för tre av sina stora intervjuundersökningar.232 Detta ger möjlighet att presentera längre tidsserier över bortfallet för dessa undersökningar (se figur 6.1 nedan). Figur 6.1 Bortfall i Arbetskraftsundersökningarna (), Partisympatiundersökningen (PSU) och Undersökningarna av levnadsförhållanden (), procent Källa: SCB. Not: PSU genomförs (). De årsvärden som presenteras för PSU i figuren är medelvärden av bortfallet . Av ovanstående figur framgår att bortfallet i Arbetskraftsundersökningarna () har uppvisat en ökande trend , under den första låg bortfallet på nivåer . nådde bortfallet en nivå på strax . För var bortfallet . Det här är en utveckling som även påverkar andra undersökningar som har med frågor i AKU-insamlingen. Ett exempel på detta är som ansvarar för undersökningar där data samlas in i direkt anknytning till . 232 SCB (2014), Deskriptiv analys av bortfallet i , och . GRANSKAR: OFFENTLIGA FINANSER Av figur 6.1 framgår att även Undersökningarna av levnadsförhållanden () har ett betydande bortfall. Undersökningen samlar in information om boende, ekonomi, hälsa, fritid med mera för olika grupper i samhället. var huvudsakligen en besöksundersökning fram , varefter SCB började använda telefonintervjuer som huvudsaklig metod för Förändringen fick inga större effekter på bortfallet till en början men har det skett en kraftig ökning av bortfallet.233 Den tredje undersökningen i figuren är Partisympatiundersökningen (PSU) som SCB genomför . Utvecklingen av bortfallet i den undersökningen påminner om den i , med en snabb ökningstakt efter 2009. Vid mätningen var bortfallet och var det . följde SCB bortfallsutvecklingen för sina undersökningar i den så kallade Bortfallsbarometern. redovisas i stället bortfallet för SCB har dock observerat att det finns ett intresse av en mer samlad redovisning av bortfallet. Det finns exempelvis uppdragsgivare som är intresserade av vilka förväntningar man bör ha när det gäller bortfallet och vilka andra undersökningar som går att jämföra med. SCB har därför planer på att ta fram en ny bortfallsbarometer som även inkluderar andra nyckeltal än bortfall.234 Artikeln officiella statistik hotar att bli missvisande som publicerades i beskriver problemet med ökande bortfall i SCB:s undersökningar. Det anges bland annat att detta är en trend som kraftigt försämrar kvaliteten och är en av de undersökningar som lyfts fram.235 SCB kommenterar artikeln i ett pressmeddelande och anger att det ökande bortfallet i individ- och hushållsundersökningar är välkänt och att det är ett problem som myndigheten tar på största allvar. Det framhålls också i pressmeddelandet att SCB försöker förbättra och förenkla möjligheterna för de utvalda att svara på det sätt som är det bästa för just dem. SCB delar den oro som uttrycks i artikeln rörande och andra undersökningar. När det gäller menar dock SCB att undersökningen fortfarande håller hög kvalitet för redovisningar på riksnivå och för många stora undergrupper. Detta eftersom AKU-urvalet är relativt stort och man använder effektiva metoder för att korrigera för bortfallet.236 Flera andra statistikansvariga myndigheter har också produkter med betydande bortfall. Ett exempel är som har några individbaserade 233SCB (2014), Deskriptiv analys av bortfallet i , och . 234Intervju nr 1 SCB . 235Dagens Nyheter (2015), officiella statistik hotar att bli missvisande. 236SCB (2015), SCB tar bortfallen i urvalsundersökningarna på största allvar. DEN OFFICIELLA STATISTIKEN – EN RÄTTVISANDE BILD AV SAMHÄLLSUTVECKLINGEN? undersökningar med ett bortfall på 40–. Dessa nivåer har dock legat relativt och inte uppvisat den typ av ökning som har gjort. I de av undersökningar som riktar sig till företag är bortfallet betydligt lägre.237 Ett annat exempel på betydande bortfall är Trafikanalys undersökning om resvanor.238 Bortfall i andra länder Problem med bortfall är inte något unikt för svensk statistik. Det finns dock relativt lite internationellt jämförbara data om utvecklingen av bortfall, och den som finns bör tolkas med försiktighet eftersom det finns skillnader mellan hur olika länder organiserar och genomför sina undersökningar. I en artikel konstaterar en statistiker från statistikbyrå att det finns stöd för påståendet att bortfallet i hushållsundersökningar ökar i många länder, men att trenden skiljer sig åt mellan olika länder. I vissa länder syns en tydlig trend med ökande bortfall medan läget är mer stabilt i andra länder. Det påpekas dock även att nivån på bortfallet kan påverkas av statistikproducenten själv, till exempel genom utformningen av undersökningen och vilka resurser som läggs på den. Det kan därför finnas fall där ett stabilt läge köps genom ökad resursinsats.239 I sin bortfallsanalys använder SCB EU:s Labour Force Survey (LFS)240 för att jämföra utvecklingen i ett antal olika länder. 239De Heer, (1999), International Response Trends: Results of an International Survey. 240LFS är en arbetsmarknadsundersökning som genomförs inom samtliga EU-länder och som bland annat mäter arbetslösheten och antalet personer i arbetskraften. GRANSKAR: OFFENTLIGA FINANSER Figur 6.2 Bortfall i Labour Force Survey (LFS) i ett antal europeiska länder, procent Källa: SCB. Av figuren ovan framgår att , och uppvisar en likartad trend med ökande bortfall , trots att det i föreligger uppgiftslämnarplikt för LFS. I och varierar bortfallet mer men ligger på en högre nivå. Intressant att notera är att , som ligger på en något lägre nivå än , 2012 och 2013 haft ett svagt sjunkande bortfall. 6.1.3SCB:s arbete med bortfall Generellt sett finns det två olika vägar att arbeta med bortfallsproblematiken. Den första är att genomföra åtgärder för att öka andelen svarande. Den andra består av åtgärder för att justera undersökningens skattningar så att hänsyn tas till bortfallet. Ett exempel på den senare typen av åtgärder är kalibrering där vägningstal räknas fram för de enskilda svaren i syfte att kompensera för bortfallets snedvridande effekt. Metoden kräver dock att det finns tillgång till bra bakgrundsinformation. SCB använder genomgående metoder för att justera för bortfallet i sina undersökningar, även inom de undersökningar som görs på uppdragsbasis. Hur långt det går att komma med den här typen av åtgärder skiljer sig dock åt mellan olika statistikprodukter och vad data ska användas till. SCB framhåller därför att det är viktigt att vara tydlig i kommunikationen med användarna om hur uppgifterna kan användas och vad de håller för kvalitet.241 241 Intervju nr 1 SCB . DEN OFFICIELLA STATISTIKEN – EN RÄTTVISANDE BILD AV SAMHÄLLSUTVECKLINGEN? SCB beslutade att börja arbeta samlat med utvecklingsarbetet kring bortfall. Därför bildades ett paraplyprojekt som samlade alla insatser och initiativ på detta område. Projekten som ingår omprövas inför och SCB resonerar kring vilka som är de viktigaste områdena att arbeta med. Projektets fokus har legat på den del av intervjuinsamlingen som riktas till individer. De stora undersökningarna förknippade med bortfall är intervjuundersökningar (till exempel ) och det är där de stora kostnaderna ligger.242 Bortfallet ökar även i de undersökningar som vänder sig till företag, och projektet överväger därför vilka satsningar som ska göras på företagssidan. Men eftersom problemen med bortfall är större för intervjuundersökningarna riktade till individer är företagssidan ett lägre