sou · H0B383 · 2012-12-11 00:00:00 — att det finns vetenskapligt underbyggd kunskap om vad en bra statistikdokumentation skall innehålla, och hur den skall tas fram och göras tillgänglig för olika behov att det finns bra metoder, verktyg och standarder för prak- tiskt dokumentationsarbete att det finns erforderlig kompetens och ändamålsenliga rutiner inom berörda organisationer, främst SCB och andra statistikansvariga myndigheter, men även hos marknads- aktörer som utför tjänster inom statistikområdet för SCB:s och andra statistikansvariga myndigheters räkning att det finns ett styrsystem som säkerställer att dokumenta- tion av god kvalitet för olika behov fortlöpande tas fram som en integrerad del av statistikproduktionsprocessen I vilken utsträckning föreligger de förutsättningarna i det svenska statistiska systemet , och vad återstår att göra? En hel del kunskap finns, i stor utsträckning framtagen i aktivt internationellt samarbete. Kunskapen bör vidareut- vecklas, inte minst beträffande hur man på lämpligt sätt skall tillgängliggöra statistik och statistikdokumentation, så att både statistiken och dokumentationen verkligen kommer till nytta. Fyra verktyg av betydelse för dokumentationsarbetet finns f.n. vid SCB: -SCBDOK för processorienterad dokumentation och detaljerad dokumentation av datamaterial för återanvänd- ning -BaS, Beskrivningar av Statistiken med administrativ information och kvalitetsdeklarationer av statistikpro- dukter -MetaPlus, en databas med strukturerade och samordna- de metadata om populationer, variabler, klassifikationer m.m. -Verksamhetsstödet, stödsystem för utveckling och genomförande av statistikproduktion De tre första verktygen används nu i stor utsträckning vid SCB. BaS används även av andra statistikansvariga myndig- heter. Verksamhetsstödet är under utveckling. SCB har etablerat en ändamålsenlig organisation för doku- mentationsarbetet. Man har en central enhet med kompetens och ansvar för utbildning och stöd i dokumentationsfrågor, och man har en dokumentationsansvarig på varje avdelning, som granskar alla dokumentationer innan de blir godkända. Dokumentationsarbetet är dock inte ingegrerat med verksam- hetens processer utan görs fortfarande i efterhand, vilket måste ses som en stor brist ur effektivitets- och kvalitetssyn- punkt. Styrsystemet är den svagaste länken i dokumentationsarbetet (liksom när det gäller tillgänglighets- och kvalitetsfrågorna) i det svenska statistiska systemet. SCB:s roll som överva- kare av det svenska statistiska systemet bör ersättas med ett fristående tillsynssystem, förankrat i och med flexibel tillgång till kvalificerad expertis för löpande eller regelbundet återkommande granskningsinsatser. I rapporten görs en genomgång av dokumentationsproblemen enligt följande struktur: -internt inom statistikansvariga myndigheter -det statistiska systemet som helhet direkta användare av officiell statistik entreprenörer som utvecklar och tillandahåller pro- dukter och tjänster baserade på officiell statistik, helt eller delvis -konsulter och underleverantörer till statistikansvariga myndigheter -statsmakterna i rollen som finansiär och beställare -utvärderare och förbättrare av den officiella statistiken och det statistiska systemet Väsentliga omvärldsfaktorer för den fortsatta utvecklingen av det svenska statistiska systemet är den förväntade utvecklingen av det europeiska statistiska systemet -stuprörsmodellen ersätts med integrerade produktions- system runt datalager -direktinsamlade data ersätts i stor utsträckning med ad- ministrativa data -direktinsamling från företag samordnas med företagens administrativa system -insamlade data återanvänds i stället för att samlas in -data måste vara bättre samordnade för att kunna belysa komplexa samhällsproblem där det finns behov av att kombinera data från olika domäner -insamlade data måste snabbt och flexibelt kunna kombi- neras och återanvändas ad hoc, när nya och viktiga sam- hällsproblem blir akuta -mer statistik kommer att produceras direkt för EU-nivån från mikrodata på nationell nivå den förväntade skärpningen av PSI-direktivet och kraven på open data i syfte att stimulera innovationer och konkurrens på marknaderna för informationsprodukter och informa- tionstjänster Den förväntade utvecklingen ställer ökade krav på dokumen- tation och metadata. Insamlade data – vare sig de kommer från direktinsamling eller från administrativa system – måste dokumen- teras på ett sådant sätt att de kan kombineras och återanvändas på många olika sätt, även på sådana sätt som inte har förutsetts när man samlade in data. Slutprodukterna kommer ofta att baseras på halvfabrikat, och dokumentationen av slutprodukterna måste kunna framställas snabbt och helst automatiskt på basis av doku- mentationerna av de indata och halvfabrikat, som ingår i slutpro- dukten I rapporten redovisas förslag till åtgärder enligt följande struktur: System för tillsyn (av tillgänglighet, kvalitet och dokumen- tation) Fri tillgång till metoder och verktyg (program, databaser, register, metadata, dokumentation m.m.) som utvecklats för produktion av officiell statistik inom ramen för allmänna medel (anslag, EU-medel etc) Ständig vidareutveckling av kunskap, metoder och gene- rella verktyg, finansierad inom ramen för SCB:s anslag för generell metodutveckling och bedriven bl.a. genom inter- nationellt samarbete, samarbete med andra statistikansvariga myndigheter, upphandling från marknadsaktörer Systematiskt införande av best practices inom det stati- stiska systemets alla delar Förslagen är utformade så, att de inte är begränsade till enbart doku- mentation utan även skulle kunna tillämpas inom flera av de andra områden som skall analysera, bl.a. tillgänglig- het och kvalitet. Vad är dokumentation av statistik? Vilka behov har olika användare? Vilka formella krav på dokumentation finns ? Vilka formella krav ställer nationella och internationella regelverk? I detta avsnitt går jag igenom de viktigaste kraven på dokumentation som man kan härleda ur svensk och europeisk lagstiftning och ur regelverk som hänger ihop med lagstiftningen (förordningar, före- skrifter, riktlinjer etc). Lagen om den officiella statistiken (SFS 2001:99) innehåller bara en paragraf, som (mycket indirekt) har koppling till behovet av doku- mentation: 3 § Officiell statistik skall finnas för allmän information, utrednings- verksamhet och forskning. Den skall vara objektiv och allmänt tillgäng- lig. Förordningen om den officiella statistiken (SFS 2001:100) inne- håller en paragraf som berör dokumentation: 13 § Den officiella statistiken skall av de statistikansvariga myndigheter- na dokumenteras, kvalitetsdeklareras samt utan avgift offentliggöras och hållas allmänt tillgänglig i elektronisk form genom ett allmänt nätverk. får meddela närmare föreskrifter efter att ha hört samtliga statistikansvariga myndigheter. SCB har efter samråd med övriga statistikansvariga myndigheter, beslutat om föreskrifter och allmänna råd för offentliggörande m.m. av officiell statistik (SCB-FS 2002:16). Föreskrifterna inne- håller följande paragrafer: 1 § Myndighet som ansvarar för officiell statistik skall upprätta aktuella beskrivningar av statistiken. Beskrivningarna skall innehålla en kvalitets- deklaration samt allmänna uppgifter om statistiken. Beskrivningarna skall offentliggöras och hållas allmänt tillgängliga med och i anslutning till den officiella statistiken. Officiell statistik som publice- ras i tryckt form skall innehålla en sammanfattning av beskrivningen av statistiken. 2 § Officiell statistik skall dokumenteras i sådan omfattning att framtida användning av bevarade datamaterial underlättas. 3 § Officiell statistik skall offentliggöras så snart den är framställd. 4 § Officiell statistik skall innehålla uppgift om tidigare publicering, om det inte är uppenbart att detta är onödigt. 5 § Officiell statistik skall innehålla en översättning till engelska i sådan utsträckning att engelsktalande användare kan bilda sig en uppfattning om statistikens huvudinnehåll. 6 § Hos en myndighet som ansvarar för officiell statistik skall det finnas en årlig publiceringsplan för den officiella statistik som myndigheten ansvarar för. Planen skall löpande uppdateras. I anslutning till dessa föreskrifter ger SCB föjande allmänna råd: Beskrivningarna av statistiken, som offentliggörs med den officiella statistiken, utformas enligt mall som SCB tillhandahåller. En- ligt omfattar beskrivningarna av statistiken kvalitetsdeklarationer och administrativa uppgifter för statistikprodukterna. Kvalitetsdekla- rationen i beskrivningarna av statistiken bygger på det kvalitetsbegrepp med riktlinjer för kvalitetsredovisning som SCB tagit fram (MIS 2001:1) Kravet på att beskrivningarna av statistiken skall vara aktuella för- utsätter att de upprättas i anslutning till att ny statistik offentliggörs. För kortperiodisk statistik är det dock tillräckligt att beskrivningar av statistiken upprättas en gång , såvida inte betydande förändringar av undersökningen ägt rum SCB svarar för att en samlad sammanställning av alla beskrivningar av officiell statistik offentliggörs och hålls allmänt tillgänglig i elektro- nisk form genom ett allmänt nätverk. Då officiell statistik publiceras bör en länk till beskrivningarna av statistiken finnas. Därigenom får användarna tillgång till en aktuell kvalitetsdeklaration. Kvalitetsdeklaration av sekundärpublicerad statistik (t.ex. årsböcker som innehåller offentliggjord statistik från flera källor) bör ske genom SCB tillhandahåller riktlinjer för hur man dokumenterar datamaterial som ligger till grund för den officiella statistiken (s.k. observations- register). Offentliggörande sker då statistiken för publiceras första gången. Det är viktigt för syftet med och förtroendet för den officiella stati- stiken att den offentliggörs efter det att den är framställd. En lika behandling av användarna förutsätter att statistiken blir tillgänglig för alla användare . Publicerad officiell statistik bör kunna följas över tiden oberoende av eventuella förändringar i publiceringsform, titel eller delserie. Sådana förändringar anges bl.a. i Beskrivningarna av statistiken. För att utländska läsare skall kunna bilda sig en uppfattning om redo- visningens huvudinnehåll bör en engelsk översättning göras som åt- minstone omfattar titel, beteckningen officiella statistik, tabell- förteckning och tabellrubriker. Därutöver bör en ordlista med centrala termer i text, tabeller och diagram eller en särskild sammanfattning översättas till engelska. Tillgängligheten för utländska användare ökar om även andra delar av redovisningen översätts till engelska. Uppgifterna över planerad publicering av officiell statistik avser bl.a. planerade tidpunkter för offentliggörande. SCB tillhandahåller en mall för utformningen av publiceringsplaner. Enligt 12 a § förordningen (1988:137 senaste ändring 2001:996) med instruktion för SCB skall Rådet för den officiella statistiken sam- manställa en årlig publiceringsplan. Rådets sekretariat svarar för att denna publiceringsplan för all officiell statistik ställs samman och hålls allmänt tillgänglig i elektronisk form genom ett allmänt nätverk. Myndigheterna bör rapportera in ändringar i publiceringsplanen till rådets sekretariat. I de allmänna råden ovan hänvisar SCB till följande dokument: Kvalitetsbegrepp och riktlinjer för kvalitetsdeklaration av officiell statistik (MIS 2001:1) Riktlinjer för hur man dokumenterar datamaterial som ligger till grund för den officiella statistiken; här avses förmodligen bl.a. följande dokument (vilka dock inte finns tillgängliga på SCB:s externa webbplats): Dokumentation för återanvändning av mikromaterial från SCB:s undersökningar, SCB 1991 Att dokumentera statistiska undersökningar, observa- tionsregister och statistikproduktionssystem – Användar- , SCB 2001 I föreskrifterna 1 § talas om beskrivningar av statistiken, som skall innehålla en kvalitetsdeklaration samt allmänna uppgifter om stati- stiken, och i de allmänna råden sägs att beskrivningarna skall utformas enligt en mall som SCB tillhandahåller. Denna mall finns dock inte tillgänglig på SCB:s externa webbplats, . Däremot finns såväl som användarhandboken för SCBDOK tillgängliga på SAM-Forum, dvs. det elektroniska nätverk (en sida på webben med inloggning) som alla statistikansvariga myndigheter har tillgång till. Ett viktigt dokument på EU-nivån är European Statistics Code of Practice1, som antogs 2005 av (), numera ersatt av (). Riktlinjerna har två huvudsyften: Improving trust and confidence in the independence, integrity and accountability of both , and in the credibility and quality of the statistics they produce and disseminate (i.e. an external focus); Promoting the application of best international statistical prin- ciples, methods and practices by all producers of European Statistics to enhance their quality (i.e. an internal focus). Riktlinjerna baseras på 15 principer, och för varje princip har man formulerat ett antal indikatorer som uttrycker good practice. Dessa indikatorer används vid de peer reviews som görs av hur medlems- staterna lever upp till principerna i Code of Practice. De 15 principerna är: 1 I den officiella svenska översättningen har olyckligtvis code of practice översatts med uppförandekod, en översättning som måste anses vara felaktig eller åtminstone grovt miss- visande. En bättre översättning vore riktlinjer. Principle 1: professional independence The professional independence of statistical authorities from other policy, regulatory or administrative departments and bodies, as well as from privatesector operators, ensures the credibility of European statistics. Principle 2: mandate for data collection Statistical authorities must have a clear legal mandate to collect infor- mation for European statistical purposes. Administrations, enter- prises and households, and the public at large may be compelled by law to allow access to or deliver data for European statistical pur- poses at the request of statistical authorities. Principle 3: adequacy of resources The resources available to statistical authorities must be sufficient to meet European statistics requirements. Principle 4: quality commitment All ESS members commit themselves to work and cooperate accor- ding to the principles fixed in the Quality declaration of statistical system. Principle 5: statistical confidentiality The privacy of data providers (households, enterprises, administra- tions and other respondents), the confidentiality of the information they provide and its use only for statistical purposes must be abso- lutely guaranteed. Principle 6: impartiality and objectivity Statistical authorities must produce and disseminate European stati- stics respecting scientific independence and in an objective, profes- sional and transparent in which all users are treated equitably. Principle 7: sound methodology Sound methodology must underpin quality statistics. This requires adequate tools, procedures and expertise. Principle 8: appropriate statistical procedures Appropriate statistical procedures, implemented from data collec- tion to data validation, must underpin quality statistics. Principle 9: non-excessive burden on respondents The reporting burden should be proportionate to the needs of the users and should not be excessive for respondents. The statistical authority monitors the response burden and sets targets for its re- duction over time. Principle 10: cost effectiveness Resources must be effectively used. Principle 11: relevance European statistics must meet the needs of users. Principle 12: accuracy and reliability European statistics must accurately and reliably portray reality. Principle 13: timeliness and punctuality European statistics must be disseminated in a timely and punctual . Principle 14: coherence and comparability European statistics should be consistent internally, over time and comparable between regions and countries; it should be possible to combine and make joint use of related data from different sources. Principle 15: accessibility and clarity European statistics should be presented in a clear and understandable form, disseminated in a suitable and convenient , available and accessible on an impartial basis with supporting metadata and guidance. Princip 15 är den princip som mest explicit relaterar till dokumenta- tionskrav. Det kan därför vara särskilt intressant att titta på de indi- katorer som anges för utvärdering av om ett statistiskt system upp- fyller princip 15. De indikatorer som anges för princip 15 i Code of Practice är följande: Statistics are presented in a form that facilitates proper inter- pretation and meaningful comparisons. Dissemination services use modern information and communi- cation technology and, if appropriate, traditional hard copy. Custom-designed analyses are provided when feasible and are made public. Access to microdata can be allowed for research purposes. This access is subject to strict protocols. Metadata are documented according to standardised metadata systems. Users are kept informed on the methodology of statistical pro- cesses and the quality of statistical outputs with respect to the ESS quality criteria. Många av de andra principerna – kanske alla – implicerar också behov av dokumentation, särskilt som principerna och indikatorerna an- vänds för att utvärdera medlemsländernas (och EU:s) statistiska system genom s.k. peer reviews. Man kan likna dessa utvärderingar vid revisioner, och liksom vid revisioner behövs god dokumenta- tion av processer m.m. På den europeiska nivån finns även andra viktiga dokument i sammanhanget, t.ex. Definition of Quality in Statistics, . Standard Quality Report, . Vissa internationella organisationer, t.ex. () har även ganska ambitiösa kvalitetssäkringssystem, som de använder sig av när de utvärderar länders statistiska system, t.ex. när länderna söker stöd från IMF. Se t.ex. denna länk. Vilka krav på dokumentation borde ställas? I detta avsnitt listas ett antal rimliga krav på dokumentation av offi- ciell statistik. Gällande regelverk uttrycker inte dessa krav på ett lika explicit och preciserat, men merparten av de dokumentationskrav som kommer fram ur analysen nedan är också naturliga konsekven- ser av de svenska och internationella regelverken beträffande kvalitet och andra egenskaper hos officiell statistik och statistiska system. Sammanfattningsvis kan man säga att dokumentation av officiell statistik borde tillgodose följande behov och krav: 1.Dokumentationen skall möjliggöra och underlätta för poten- tiella statistikanvändare att, givet en viss frågeställning, a.få en överblick över tillgänglig officiell statistik, som kan vara relevant för frågeställningen; b.mera exakt identifiera och lokalisera den potentiellt relevant statistiken; c.mera exakt bedöma den potentiellt relevanta statistikens verk- liga användbarhet för det tilltänkta ändamålet, med hänsyn till statistikens innehåll (definitioner) och kvalitet i olika av- seenden; d.få tillgång till statistiken på ett lämpligt sätt med hänsyn till ändamålet; e.kunna analysera den tillgängliggjorda statistiken och få svar på följdfrågor i sammanhanget. 2.Dokumentationen skall möjliggöra och underlätta för produ- center av officiell statistik att exekvera och övervaka produk- tionsprocesserna som frambringar den officiella statistiken, s.k. produktionsdokumentation. 3.Dokumentationen skall möjliggöra och underlätta för statistik- ansvariga att fortlöpande initiera och genomföra förbättringar av statistiken med avseende på bl.a. innehåll, kvalitet i olika av- seenden samt kostnadseffektivitet. 4.Dokumentationen skall möjliggöra för finansiärer och beställare av officiell statistik att bedöma statistikens och de bakomliggan- de produktionssystemens effektivitet för avsedda ändamål, med utgångspunkt i bl.a. kostnadsredovisningar, användningsstatistik och kundnöjdhetsrapporter. 5.Dokumentationen skall bidra till såväl specifik som mera generell metodutveckling kring officiell statistik, så att utveckling av ny statistik kan dra nytta av tidigare erfarenheter, och så att t.ex. de svenska och europeiska statistiska systemen kan utvecklas på önskat sätt. 6.Dokumentationen skall vara offentlig och lätt tillgänglig för alla. Eventuella undantag från detta måste vara explicit motiverade utifrån gällande sekretesslagstiftning. Vilka intressenter behöver dokumentation? Av föregående avsnitt kan man dra slutser om vilka kategorier av intressenter, som behöver dokumentation av statistik, statistikpro- cesser och statistiska system: 1.Användare av statistik, vilka i sin tur kan indelas i olika katego- rier, t.ex. a.analytiker, utredare, planerare i offentlig och privat sektor c.politiker och deras medarbetare 2.Producenter av statistik: de som sköter statistikproduktions- system och tar fram statistikprodukter enligt givna instruktioner 3.Statistikplanerare: de som utformar (designar) och konstru- erar statistik och statistikproduktionssystem utifrån användar- behov och beställningar 4.Beställare: de som finansierar och beställer statistik utifrån kun- ders och allmänhetens behov (medborgare och näringsliv) 5.Utvärderare: de som utvärderar hur väl statistiken och produk- tionssystemen uppfyller användares och beställares behov 6.Metodutvecklare: som utvecklar, utvärderar och förbättrar metoder för statistikproduktion och statistikanvändning För vilka ändamål behövs dokumentation? Olika intressenter behöver olika slags dokumentation för olika ända- mål: 1.Användare av statistik behöver information om vilken statistik som finns tillgänglig, och som möjligen kan vara relevant för de frågeställningar, som användarna vill besvara eller belysa med hjälp av statistiken. Man behöver ytterligare information om statistikens innehåll, kvalitet och kostnader för att mera exakt kunna bedöma statistikens relevans och användbarhet för det aktuella ändamålet. Olika användare har olika förutsättningar och olika krav för olika användningar. En forskare har t.ex. gott om tid men är priskänslig, medan en aktör på finansmarknaden har extremt ont om tid och är föga priskänslig. Vissa användare har goda insikter i hur man använder statistik på rätt sätt, andra inte. 2.Producenter av statistik behöver god dokumentation av produk- tionsprocesserna och detaljerade och tydliga instruktioner om hur dessa skall utföras. Under pågående produktion behöver producenterna fortlöpande få återföring av information om hur processerna fungerar, s.k. processdata eller paradata, så att pro- duktionsresurserna kan allokeras och omallokeras på ett optimalt sätt, och så att felaktigheter och problem upptäcks snabbt och kan åtgärdas adekvat. 3.Statistikplanerare behöver dokumentation som gör det möjligt att hitta och använda sig av a.relevant generell kunskap om hur man designar statistik och statistiksystem; samt b.relevanta erfarenheter avseende liknande statistik och pro- duktionssystem som den statistik och det system, som man nu planerar för. 4.Beställare behöver under planeringsfasen information om före- liggande användarbehov, olika sätt att tillgodose dessa, kost- nader för olika lösningar; samt under uppföljningsfasen infor- mation om faktiska utfall vad gäller behovsuppfyllelse i olika avseenden: kvalitetskomponenter, kostnader, kundnöjdhet, etc. 5.Utvärderare behöver liknande information som beställare, men man behöver också tillsammans med statistikplanerarna kunna ta fram förslag till förbättringar av statistik och statistiksystem. Utvärderingar sker också ofta mera övergripande för större systemkomplex eller speciellt inriktat mot särskilda delproces- ser eller kvalitetskrav. 6.Metodutvecklare arbetar på ett mera generellt och övergripande plan än planerare och utvärderare men har liknande informa- tionsbehov. Vilken information behöver dokumentationen innehålla? En mera exakt specifikation av vilken information som en doku- mentation behöver innehålla kräver en analys av de olika intressen- ternas informationsbehov.