sou · H0B383 · 2012-12-11 00:00:00 — Sådana analyser har gjorts i internationellt tillgänglig metodlitteratur. Se referenslistan i slutet av denna rapport. Gemensamma drag i informationsbehoven Oberoende av vilka intressenters och användningars behov, som dokumentationen skall tillgodo, kan man säga en hel del om den erforderliga informationens innehåll, karaktär och struktur. Sedan kan vissa typer av informationsinnehåll vara viktigare för vissa in- tressenter och användningar än för andra. Informationsinnehållet i en dokumentation av statistik kan struk- tureras i en matris med dokumentationsobjekt i den ena dimen- sionen och dokumentationsvariabler i den andra. Dokumentations- objekt är det som dokumenteras. Dokumentationsvariabler är det som dokumenteras om respektive dokumentationsobjekt. Dokumentationsobjekten i en statistikdokumentation kan indelas i tre huvudkategorier: 1.Datamängder som innehåller den information som är intressant för respektive intressent, t.ex. statistisk information, admini- strativ information. Dokumentationsobjektet datamängd kan i sin tur underindelas i a. informationsinnehåll, som i sin tur kan underindelas i i.objekttyper och populationer, t.ex. personer, företag, fastigheter ii.objektrelationer och relationsobjekt, t.ex. ägande, trans- aktioner iii.variabler och värdemängder, t.ex. kön, inkomst, belägen- het b.fysisk datamängd, t.ex. en datafil eller en databas 2.Processer och system som anskaffar, utnyttjar, transformerar, producerar, analyserar, tillgängliggör och kommunicerar data- mängder. Ett system kan ses som en process på en högre ab- System kan brytas ner i delsystem och processer i ett antal steg. Flera system kan ha gemensamma delsystem och processer. 3.Instrument som processerna använder sig av, t.ex. metoder, algo- ritmer, program, frågeformulär och andra mätinstrument, register och andra hjälpdatamängder, metadata, dokumentation. Man kan notera att dokumentationen själv alltså ingår som dokumenta- tionsobjekt i dokumentation av statistik. De informationsslag om olika dokumentationsobjekt, som olika in- tressenter behöver, kan struktureras i termer av dokumentations- variabler. Liksom andra variabler kan dokumentationsvariabler (eller egentligen deras värdemängder) vara kodade (t.ex. enligt en standardklassifikation) eller av typen fri text formaliserade (t.ex. härledningsformler) eller oformaliserade (verbala beskrivningar) Dokumentationsvariablernas värden kan betraktas som metadata. Vissa metadata är i första hand avsedda för människor, t.ex. verbala beskrivningar, medan andra i första hand är avsedda för datorisera- de processer, t.ex. koder. Vissa metadata kan användas både av män- niskor och datoriserade processer. När metadata används av datori- serade processer kan detta ske på ett aktivt eller passivt sätt. Aktiva metadata bidrar till styrningen av datoriserade processer, t.ex. i s.k. metadatadrivna system, medan passiva metadata bara används i kom- munikationen med människor. Några konkreta exempel på typiska informationsslag (dokumen- tationsvariabler) för de olika typerna av dokumentationsobjekt: 1.Information om datamängder: a.definitioner av de begrepp (objekt, variabler etc) som respek- tive datamängd innehåller information om – formella här- ledningsformler eller verbala beskrivningar b.information om kvaliteten (uppdelad i olika kvalitetskom- ponenter) hos den information som respektive datamängd innehåller c.teknisk information om respektive datamängd, t.ex. lagrings- format 2.Information om processer och system: a.referenser till indata (inputdatamängder) och beskrivningar av dessa b.referenser till utdata (outputdatamängder) och beskrivningar av dessa c.referenser till program/algoritmer/regler som transformerar indata till utdata och beskrivningar av dessa (formaliserade och/eller verbalt beskrivande) processdata eller paradata, dvs. information om hur processen fungerar i olika avseenden, t.ex. information om fel som upptäcks, hur de åtgärdas, etc; processdata genereras när en process utförs, medan beskrivningar av hur en pro- cess skall utföras skapas när processen utformas eller för- ändras 3.Information om de instrument och hjälpmedel, som processerna använder sig av, t.ex.: a.referenser till metoder, algoritmer, regler, program och be- skrivningar av dessa b.referenser till frågeformulär in extenso c.referenser till andra mätinstrument och metoder för data- anskaffning d.referenser till register, klassifikationer och andra hjälp- datamängder e.referenser till dokumentationer, metadata, processdata och beskrivningar av dessa Dokumention består till stor del av mer eller mindre formaliserade verbala beskrivningar. Men man använder sig också av vissa typer av grafiska visualiseringar, bl.a. objektgrafer och processgrafer. Figur 1 visar en objektgraf som illustrerar informationsinnehållet i utbildningsstatistik. Figur 2 visar en processgraf som ger en övergripande beskrivning av styrning och exekvering av stati- stikproduktion, och figur 3 ger en något mera detaljerad bild av de operativa delarna av en statistikproduktionsprocess. Skillnader i informationsbehoven mellan olika typer av intressenter Även om olika intressenter helt eller delvis har gemensamma krav beträffande vilken slags information de behöver om den officiella statistiken, så finns det givetvis också stora skillnader, t.ex. vad gäller informationens djup och detaljeringsgrad, och vad som är priori- terat eller mindre viktigt. Det finns också stora skillnader vad gäller hur informationen lämpligen presenteras och tillgängliggörs. En fråga, som då inställer sig, är om man måste bygga upp helt olika dokumentationssystem för olika intressenter och behov, eller om man kan skapa ett enhetligt, grundläggande system, som sedan kan anpassas till olika behov, t.ex. genom att man anpassar, struk- turerar och presenterar informationen på olika sätt i olika samman- hang. Jag tror starkt på den senare strategin, men det gäller då att man utformar det grundläggande dokumentationssystemet och dess processer på ett genomtänkt sätt. Det är i detta sammanhang vik- tigt att man skapar ett system där dokumentation för olika behov växer fram på ett naturligt sätt, som en integrerad del av själva statistikproduktionsprocessen. Figure 1 Conceptual model of UOE education statistics. Figure 2 Control and execution of a statistical production system. Figure 3 Basic operations in a database-oriented statistical production system. När och hur skall man skapa och underhålla dokumentation? En gammal dålig tradition är att man dokumenterar efteråt, efter att processer har genomförts, och produkter har framställts. Det gäller inte bara i samband med statistikproduktion. Ett liknande felaktigt synsätt gäller arkivering, som ofta har betraktats som en slutför- av föga intresse för den verksamhet som arkiverade data kommer från. Dessbättre finns numera modernare insikter och synsätt både vad det gäller arkivering och dokumentation. Både arkivering och dokumentering ses som integrerade och synkroniserade delar av verksamheten. En fortlöpande arkivering och återanvändning av vik- tiga data, som naturligt genereras i en verksamhet, understöds med lämpliga processer och verktyg, t.ex. ett s.k. corporate data ware- house, ett gemensamt datalager, där väldokumenterade data och meta- data lagras på ett standardiserat sätt, så att de lätt kan återanvändas av andra processer, både planerade och oplanerade. Figurerna 2 och 3 ovan illustrerar den naturliga livscykeln, in- klusive återkopplingar (feed-back), för officiell statistik: planering (design/utformning, konstruktion, test, implementering), genom- förande (datainsamling, databeredning, datatransformationer, aggre- gering och estimation, analys, tillgängliggörande, kommunikation), uppföljning (utvärdering, omplanering). Under planeringsfasen tas en rad beslut om statistikens och stati- stikprocessernas innehåll, kvalitet och utformning. Om dessa beslut dokumenteras på ett strukturerat sätt, så skapas väsent- liga delar av dokumentationen av statistiken och statistikprocesserna. Denna dokumentation lagras successivt, allteftersom den framkom- mer, på ett förplanerat sätt och i form av s.k. metadata i det gemen- samma datalagret, varifrån den kan återanvändas och vidareförädlas för olika syften. Under genomförandefasen genereras på ett naturligt sätt en mängd användbara processdata eller paradata, som de också kallas, dvs. information om hur processerna fungerar och om kvaliteten i olika avseenden. Under planeringsfasen bör man besluta om, vilka processdata som är av intresse att generera och lagra på ett struktu- rerat sätt i det gemensamma datalagret, och hur dessa processdata skall kunna återanvändas på olika sätt, både kortsiktigt genom dyna- misk återföring till de processer där processdata genereras, och i senare skeden av livscykeln. Huvuddragen i vad som skall genereras, lagras och återanvändas bör framgå av den generella metodik (best practices) för statistikproduktion, som den statistikansvariga myn- digheten använder sig av. Observera att genomförandefasen också inbegriper användningen av den producerade statistiken av olika statistikanvändare, och att man bör se till att även denna process genererar processdata, t.ex. i form av frågor, klagomål, kundnöjdhets- information m.m. Under uppföljningsfasen återanvänds dokumentation och pro- cessdata av olika intressenter (producenter, statistikansvariga, finan- siärer m.fl.) för att utvärdera och föreslå förbättringar av statistiken och statistikprocesserna. Förbättringsförslagen omsätts sedan i beslut om omplanering av statistiken och processerna. Så snart det tas beslut om förändringar av statistik och statistk- processer, så skall dessa beslut på ett systematiskt och, så långt som möjligt, automatiserat sätt återspeglas i dokumentationen, på samma sätt som när de ursprungliga planeringsbesluten togs. att man säkerställer att underhållet av dokumentationen sker sam- ordnat och integrerat med underhållet och vidareutvecklingen av själva statistikprocesserna, och att man förhoppningsvis alltid har en aktuell och korrekt dokumentation. Om dokumenterandet och genererandet av metadata och processdata organiseras enligt den ovan beskrivna livscykelmodellen, så kom- mer det gemensamma data/metadatalagret att innehålla dokumen- tation och metadata (inklusive processdata), som är av god kvalitet, aktuella och organiserade på ett sådant sätt att de lätt kan återanvän- das av olika intressenter för många olika kända och okända syften – både på kort sikt och mera långsiktigt, t.ex. i samband med metod- utveckling för den officiella statistiken och dess processer och system. På kort sikt är det viktigt att dokumentation och metadata an- vänds och presenteras på olika sätt, som är väl anpassade till de olika informationsbehov och användningar som olika statistikanvändare har. Dokumentation och metadata skall stödja användarna i deras vanligen mycket interaktiva arbete med att söka, identifiera, lokali- sera, bearbeta och analysera statistiska data. Här finns utrymme för kreativt utvecklingsarbete framöver. Lite skämtsamt brukar man tala om mänskliga och omänsk- liga användare av statistiska data och metadata, som man påpekar att de omänskliga användarna blir allt viktigare. Med omänskliga användare avser man i detta sammanhang datorisera- de tillämpningar (applikationer eller appar), som använder sig av statistiska data och metadata. Givetvis är dessa tillämpningar i sin tur utvecklade av människor för människor, och ofta är de dessutom interaktiva, så mer omänskliga än så är de inte. Betydelsen av att tillgängliggöra officiell statistik och andra pub- lika data för dessa omänskliga användare har accentuerats av EU:s direktiv om Public Sector Information, det s.k. PSI-direktivet och motsvarande nationella lagstiftningar, i PSI-lagen. Syften är att bl.a. kreativa entreprenörer skall ges praktiska möjligheter att använda publika data i nya produkter och tjänster, som de utvecklar och marknadsför. I , där myndigheter inte får ta betalt för sina data, växer denna sektor av ekonomin mycket snabbt – och defini- tivt mycket snabbare än inom EU, vilket var bakgrunden till att EU tog fram PSI-direktivet. Tyvärr har PSI-direktivet och den svenska PSI-lagen visat sig vara lite av en papperstiger, eftersom direk- tivet och lagen inte säger särskilt mycket konkret och operationellt om hur myndigheterna skall tillgängliggöra sina data, och eftersom standarder för detta fortfarande saknas. En skärpning av PSI-direk- tivet är dock på gång enligt ett uttalande av EU-kommissio- nären Neelie Kroes. I vårt nu aktuella sammanhang, där det gäller tillgängligheten till dokumentation av den offentliga statistiken, så finns det anledning att fundera över hur denna dokumentation på bästa sätt skulle kunna tillgängliggöras för de omänskliga användarna. Jag har intervjuat några av de mera framstående entreprenörerna inom detta område i , och hans son , grundare av respektive verk- samhetschef för , . De och andra entreprenörer som jag har pratat med är eniga om att man i första hand behöver enkel tillgång till själva data i standardiserat format – tillsammans med ganska rudimentära metadata, så att man vet var data kommer ifrån, dvs. vem som svarar för kvaliteten i data, och så att man vet vad data handlar om, och hur man kan få tag i mer detal- jerad dokumentation, t.ex. via länkar. Sammanfattande krav på ett effektivt, kvalitetssäkrat och hållbart system för dokumentation av officiell statistik Vi har konstaterat att det finns en rad olika användare och använd- ningar av dokumentation. Alla dessa användare och användningar är viktiga och måste tillgodses på något rimligt sätt. Det är ganska väl utrett och dokumenterat inom statistikvärlden, vilken slags doku- mentation som olika intressenter behöver för olika ändamål. Många nationella statistikbyråer och internationella organisationer använ- der sig av strukturerade mallar för att dokumentera, och det finns en betydande samstämmighet mellan dessa mallar, även om formell standardisering ännu saknas. Den dokumentation som man får med hjälp av dessa mallar kan vara mer eller mindre komplett med avse- ende på olika intressenter och ändamål, men kunskap finns, och det är mer en fråga om prioriteringar och ambitionsnivåer. Det handlar också om att olika intressenter är olika starka ifråga om att få gehör för sina önskemål och krav. Den egna organisationens krav har givetvis lättast att få gehör. Statistikanvändarnas krav har fått ökat genomslag genom statistikens synlighet på Internet, vilket även ökar synligheten för brister – både ifråga om själva statistiken och dokumentationen av den. Finansiärer och beställare, i främst , har i princip goda möjligheter att få genom- slag för sina behov, men kraven måste i så fall vara mycket tydliga och uppföljningsbara, och uppföljningar måste också genomföras. Information av god kvalitet Liksom när det gäller själva statistiken så måste kvaliteten hos doku- mentation bedömas i förhållande till de tilltänkta användarna och användningarna. Återigen så finns numera ganska god kunskap om vilka kvalitetskrav som en god dokumentation, och de nämnda doku- mentationsmallarna och instruktionerna till dessa kan säkerställa god dokumentationskvalitet, om de används på rätt sätt av personer med rätt kvalifikationer. Det finns två nyckelfrågor i sammanhanget: att se till att dokumenterandet sker integrerat med rätt processer i verksamheten, dvs. i första hand i samband med att ett statistik- produktionssystem utvecklas och förändras, i andra hand (främst när det gäller s.k. processdata) i samband med att processerna exekveras – fånga informationen, där den naturligt uppkom- mer, som en biprodukt att se till att dokumentationen granskas och godkänns av identi- fierade personer med rätt kompetens Den grundläggande och i princip heltäckande dokumention som tas fram i direkt anslutning till design- och produktionsprocesserna måste ofta anpassas på olika sätt för att bli begriplig, tillgänglig och optimalt användbar för olika intressenter. Olika intressenter och inte minst olika statistikanvändare har tämligen olika krav på doku- mentationen vad gäller t.ex. bredd och djup, presentationsformer, koppling till olika uttagssystem etc. Vissa användare kan kräva att dokumentationen omstruktureras på något särskilt sätt, t.ex. för att passa tidsserieanalyser. En relativt ny typ av tillgänglighet som ökar snabbt i betydelse är dokumentationens tillgänglighet för olika pro- gramvaror i form av metadata, som överförs automatiskt t.ex. i form av s.k. Application Program Interfaces (API:er). För att uppfylla intentionerna i EU:s direktiv för Public Sector Information (PSI), så måste producenterna av officiell statistik tillgodose denna typ av krav. Tvärtemot vad många hävdar behöver det inte vara särskilt dyrt att få fram dokumentation av officiell statistik, t.o.m. högklassig sådan. Myten om att det är dyrt att dokumentera bygger kanske på att många tycker att det är tråkigt att dokumentera, särskilt om det görs på fel sätt. Man kan nog inte heller utesluta att det verkliga skälet för mot- stånd mot att dokumentera är att en del berörda personer fruktar att de skall bli mera umbärliga och utbytbara. Sådana personer kan i och för sig uppträda mycket serviceorienterat: Om någon har frågor, så finns jag här, och jag skall gärna hjälpa till. Å andra sidan finns det också personer med mångårig erfarenhet av en viss statistikprodukt, som när de kommer igång med att dokumentera, t.ex. i samband med att de skall gå i pension, upptäcker att det är rik- tigt intressant att dokumentera, och som medger att t.o.m. de själva lär sig nya saker genom att på detta sätt gå på djupet i sin produkt och processerna bakom den. bör man förstås i allmänhet inte dokumentera på det sätt som antyddes, dvs. i efterhand, t.ex. i samband med att en per- son skall lämna verksamheten. Dokumentationen skall som sagt gene- reras, så naturligt och automatiskt som möjligt, som en biprodukt av andra processer i verksamheten. I samband med att man utveck- lar eller förändrar en statistikprodukt, dvs. under den s.k. design- processen, så fattar man en rad viktiga beslut, som bör formaliseras och dokumenteras; denna beslutsdokumentation kan antingen helt automatiskt eller efter viss redigering då direkt in i dokumentationen av statistikprodukten. Dokumentation bör också utformas så att den kan återanvändas för olika syften, och man bör undvika att kräva in ungefär samma dokumentation vid olika tillfällen och för olika ändamål. Om man följer dessa relativt enkla regler, så kan dokumentations- arbete utföras på ett mycket kostnadseffektivt sätt. Experiment visar att en grundläggande dokumentation av en statistikprodukt och processerna bakom den inte behöver kosta mer än någon procent av den totala budgeten för produkten. Den verkliga utmaningen när det gäller dokumentation av officiell statistik är (a) att kvalitetssäkra dokumentationen och processerna bakom den; och (b) att se till att systemet för detta är hållbart över tiden. är kraven på dokumentation av mycket övergripande karak- tär, icke konkreta, icke operationella, och icke uppföljningsbara. Det är i allt väsentligt upp till statistikproducenterna själva att välja ambitionsnivå, innehåll, metoder, rutiner och verktyg för dokumen- tationsarbetet. När olycksfall i arbetet inträffar, p.g.a. bristfällig dokumentation, sker brandkårsutryckningar, men det är inte säkert att det leder till några bestående förbättringar. Hur fungerar statistikdokumentationen ? Hur är dagsläget? Grad av genomförande? Hur har utvecklingen varit ? Finns exempel på statistikansvariga myndigheter som är bra resp. mindre bra på dokumentation? Hur lever myndigheterna upp till de formella kraven? Frågor till SCB – och svaren på dessa För att få SCB:s syn på hur dokumenterandet av den officiella sta- tistiken och de därmed sammanhängande statistikprocesserna fun- gerar , så har jag ställt ett antal frågor till SCB, som jag också har fått svar på. Jag redovisar frågorna och mina relativt kortfattade uttolkningar av SCB:s svar nedan. Både frågeformuläret och SCB:s svar in extenso finns med som bilaga till denna rapport. När jag har refererat SCB:s svar nedan, har jag tagit hänsyn de kompletteringar som jag har fått in från SCB efter kompletterande frågor. Mina frågor till SCB är grupperade under fyra huvudrubriker: SCB:s metoder, verktyg och processer för dokumentation SCB:s deltagande i internationellt samarbete inom detta område SCB:s ansvar för det statistiska systemet som helhet SCB:s roll gentemot marknadsaktörer på statistikområdet SCB:s metoder, verktyg och processer för dokumentation Begreppet dokumentation skall här tolkas i vid mening och inklu- derar t.ex. processorienterad dokumentation, strukturerade metadata och kvalitetsdeklarationer. 1.Vilka metoder och verktyg använder sig SCB av för process- orienterad dokumentation, t.ex. SCBDOK? Hur stor andel (på ett ungefär) av den officiella statistik, som SCB ansvarar för, är dokumenterad enligt SCBDOK? När uppnås , och hur? Hur kvalitetssäkras denna dokumentation? publikt tillgänglig, i första hand via Internet? (Ge gärna exem- pel med länkar.) SCB hänvisar till det s.k. Verksamhetsstödet, där man har generella beskrivningar och anvisningar om hur statistikproduktionsprocesser- na skall utformas och utföras. Processer och delprocesser definieras, och metoder, verktyg och arbetssätt som finns tillgängliga beskrivs. Här anges också, för varje delprocess, vilken input respektive out- put, bland annat i form av metadata, som förväntas. I SCBDOK skall man beskriva, vad som gjorts i de olika processstegen, och det skall utmynna i en komplett dokumentation av den specifika statistiska undersökningens framställning. Verksamhetsstödet finns inte publikt tillgängligt på SCB:s webb- plats, och det är oklart i vilken utsträckning det ännu används inom SCB. Viktiga delar saknas ännu, och i de exempel som jag har tagit del av, saknas referenser till relevanta kunskapskällor, t.ex. svenska och internationella metodrapporter, tidskriftsartiklar och böcker. Verksamhetsstödet synes ännu inte ha fått någon styrande, norme- rande eller integrerande roll i det praktiska arbetet med att utforma, genomföra och dokumentera den officiella statistiken och dess processer. Genom en uppföljningsfråga till SCB har jag fått kännedom om att det pågår nya utvecklingsprojekt som syftar till att ta fram ut- vecklings- och statistikproduktionsverktyg, som på ett mera integrerat sätt använder sig och och genererar metadata och dokumentation. Ett sådant verktyg är , som stöder datainsamlingsprocessen, och som bl.a. genererar s.k. processdata, dvs. metadata om själva pro- duktionsprocessen, i samband med att processen utförs. Som jag ser det bör Verksamhetsstödet integreras med denna nya typ av processtödjande verktyg. Alla dessa verktyg bör göras tillgängliga för hela det statistiska systemet och dess underleveran- törer, så att arbetet med den officiella statististiken totalt sett be- drivs så effektivt och väl samordnat som möjligt. Information om verktygen och länkar till själva verktygen bör finnas öppet tillgäng- liga på SCB:s webbplats. Verksamhetsstödet bör, när det uppnått en rimligt kvalitet och fullständighet, i sin helhet göras tillgängligt på SCB:s webbplats, eftersom det då kommer att ge en god infor- mation om de processer som används det svenska statistiska systemet, och om de standarder och best practices som används både i och internationellt. Det skulle också ge god information om hur SCB och andra statistikansvariga myndigheter och deras under- leverantörer kvalitetssäkrar sina processer. När det gäller hastigheten och fullständigheten i dokumente- randet enligt SCBDOK, så anger SCB följande uppgifter: av produkter var dokumenterade enligt SCBDOK . Resten skall vara dokumenterade ; har man gjort en särskild satsning på dokumentation, och den kommer att fullföjas till dess har uppnåtts.