sou · H0B383 · 2012-12-11 00:00:00 — Några av de åtgärder som SCB har gjort för att bättre möta be- hoven är: Definitionerna av vissa begrepp, som används i dokumentatio- nerna, har gjorts om på webbplatsen för att det ska vara lättare att förstå skillnaden mellan de olika dokumentations- typerna Länken till Dokumentation av mikrodata går till produktnivå i databasen istället som förut till ämnesområdesnivå. Detta gör det lättare för användarna att hitta till rätt dokumentation Mina kommentarer till svaren från SCB i detta frågeavsnitt: Med frågorna i detta avsnitt avsåg jag, som framgår av rubriken - SCB:s roll gentemot marknadsaktörer på statistikområdet (service providers, konsulter, entreprenörer etc). SCB har valt att begränsa sina svar till traditionella statistikanvändare i mera snäv mening. I en senare komplettering av sitt svar säger följande: Frågan om tillgång till denna typ av dokumentation (processdokumen- tation, dokumentation av befintliga produktionssystem och registerdoku- mentation) som underlag för övertagande av statistikproduktionen har varit aktuell vid ett fåtal tillfällen hos SCB och då i specifika situationer. En bedömning har då gjorts om vad som kan lämnas ut mot bakgrund av myndighetens behov av att inte röja affärshemligheter. Det har bl.a. inneburit att viss information som avser det generella statistikproduk- tionssystem och statistikprodukter inte gjorts tillgängliga medans annat har lämnas över. Enligt min mening bör det här ses över om det verkligen finns behov av att åberopa affärshemligheter för att förhindra ett fritt infor- mationsutbyte mellan alla aktörer i det svenska statistiska sytemet. Så länge det handlar om officiell statistik så är den i alla avseenden finansierad med offentliga medel, och några affärshemligheter borde därmed inte behöva skyddas. Sammanfattande bedömning av dokumentationsläget Det finns några viktiga förutsättningar för att statistikdokumenta- tion skall fungera bra inom det svenska statistiska systemet: att det finns vetenskapligt underbyggd kunskap om vad en bra statistikdokumentation skall innehålla, och hur den skall tas fram och göras tillgänglig för olika behov att det finns bra metoder, verktyg och standarder för praktiskt dokumentationsarbete att det finns erforderlig kompetens och ändamålsenliga rutiner inom berörda organisationer, främst SCB och andra statistik- ansvariga myndigheter, men även hos marknadsaktörer som ut- för tjänster inom statistikområdet för SCB:s och andra stati- stikansvariga myndigheters räkning att det finns ett styrsystem som säkerställer att dokumentation av god kvalitet för olika behov fortlöpande tas fram som en inte- grerad del av statistikproduktionsprocessen I vilken utsträckning föreligger de förutsättningarna i det svenska statistiska systemet , och vad återstår att göra? Jag skall försöka besvara dessa frågor punkt för punkt. Vetenskapligt underbyggd kunskap om statistikdokumentation Enligt min mening finns vetenskapligt underbyggd kunskap om vad en bra statistikdokumentation skall innehålla, och hur den skall tas fram och göras tillgänglig för olika behov, och denna kunskap är av sådan omfattning och kvalitet, att kunskapsbrist inte är något stort hinder som står i vägen för en väl fungerande statistikdokumenta- tion. Kunskapen har i stor utsträckning tagits fram genom internatio- nellt samarbete mellan statistikbyråer och internationella organi- sationer, men även genom internationella forskningsprojekt, t.ex. inom ramen för EU:s forskningsprogram, och då ofta i nära sam- arbete mellan statistikproducenter, universitet, statistikanvändare och marknadsaktörer, t.ex. genom s.k. Triple Helix-projekt. Den vetenskapligt underbyggda kunskapen bör givetvis vidare- utvecklas, inte minst beträffande hur man på lämpligt sätt skall till- gängliggöra statistik och statistikdokumentation, så att både stati- stiken och dokumentationen verkligen kommer till nytta. Metoder, verktyg och standarder för dokumentationsarbete För att vetenskaplig kunskap skall kunna komma till praktisk nytta, måste den kompletteras med bra metoder, verktyg och standarder. Även inom detta område har en relativt god nivå uppnåtts, inte minst genom internationellt samarbete mellan statistikbyråer och inter- nationella organisationer (FN, , , IMF m.fl.). och SCB har spelat en aktiv och pådrivande roll i detta samarbete . De embryon till standarder som successivt har kom- mit fram är dock inte i någon större utsträckning formella standar- der, utan de har snarare karaktären av de facto-standarder eller best practices, vilket i och för sig inte behöver vara någon större brist eller nackdel. Allvarligare är möjligen att det inte har utveck- lats någon kommersiell marknad för verktyg inom detta område, delvis beroende på att den potentiella marknaden inte är särskilt stor, som just statistikområdet ställer större och svårare krav på dokumentationsverktygen än de flesta andra sektorer. Detta beror i sin tur på att statistisk information är komplex och – tillsammans med dokumentationen – används för många olika och delvis okända syften. Inom SCB finns f.n. fyra huvudverktyg av betydelse för doku- mentationsarbetet: SCBDOK med en dokumentationsmall som styr mot en till- räckligt detaljerad processdokumentation, samtidgt som den säkerställer att de datamaterial, som skall bevaras för eftervärlden blir tillräckligt väl dokumenterade BaS, Beskrivning av Statistiken, med en dokumentationsmall för statistikprodukter bestående av två delar: administrativ information om statistikprodukten kvalitetsdeklaration av produkten, samordnad med en EU- standard MetaPlus, databasorienterat system för strukturerad och sam- ordnad dokumentation (i form av strukturerade metadata) av informationsinnehållet i statistiksystem, register och andra data- material; systemet innehåller bl.a. populationer, variabler och klassifikationer Verksamhetsstödet, ett system som innehåller stöd för statistik- produktion baserad på standardiserade processer; systemet inne- håller bl.a. information om metoder och best practices De tre första verktygen verkar numera ha ett betydande genomslag i det praktiska arbetet vid SCB, vilket har lett till att dokumenta- tionsgraden nu (äntligen) börjar närma sig . Det fjärde verk- tyget, Verksamhetsstödet, borde ha en mycket stor potential i en processorienterad organisation (som SCB strävar efter att bli), men detta verktyg verkar fortfarande vara tämligen outvecklat och har inte ännu fått någon större praktisk betydelse, vad jag kan se. Ett processorienterat dokumentationssystem som SCBDOK kan i själva verket ses som all dokumentations moder, särskilt om det förankras i en processorienterad organisation med stöd av ett verktyg som Verksamhetsstödet. All annan dokumentation, t.ex. kvali- tetsdeklarationer och dokumentation som anpassas till olika intres- senters särskilda behov, kan i princip härledas ur den process- orienterade dokumentationen, inklusive dess databeskrivande delar. Ett aktivt och konstruktivt internationellt samarbete, liksom även bilaterala och multilaterala samarbeten mellan statistikbyråer, är även här en beprövad framgångsväg, som bör fortsättas och kanske intensifieras – med och SCB fortsatt i ledande roller. Kompetens och rutiner inom berörda organisationer SCB har etablerat en till synes ändamålsenlig organisation för doku- mentationsarbetet. Man har en central enhet med kompetens och ansvar för utbildning och stöd i dokumentationsfrågor, och dess- utom har man en särskilt utpekad person på varje avdelning, som personligen skall granska alla dokumentationer som tas fram inom avdelningen, innan de blir godkända. Dokumentationsarbetet görs fortfarande – enligt vad SCB säger i sina svar på mina frågor – till största delen som en separat aktivitet i efterhand, dvs. efter det att en statistikprodukt eller ett statistik- produktonssystem har utformats och genomförts. Detta står helt klart i strid med best practice för hur dokumentationsarbete skall bedrivas. Ett väl fungerande Verksamhetsstöd med tillhörande verk- tyg för design och produktionsstöd skulle kunna råda bot på denna brist i organisationen och rutinerna. Ett väl fungerande Verksamhetsstöd är dock inte tillräckligt för att säkerställa ett rationellt och effektivt framtagande och vidmakt- hållande av dokumentation av hög kvalitet. Minst lika viktigt är att själva produktionssystemen utformas på ett standardiserat och pro- cessorienterat sätt, och att lämpliga IT-metoder och arkitekturer används, som gynnar systemens standardisering, transparens och dokumentation, t.ex. en konsekvent genomförd tjänstebaserad arki- tektur, s.k. Service-Oriented Architecture (), där processerna interagerar via ett gemensamt datalager, ett s.k. corporate data ware- house med standardiserad datalagring, standardiserade metadata och god dokumentation. SCB är i princip en tillräckligt stor och stark organisation för att alltid kunna hålla sig med den erforderliga kompetensen för att kunna hantera dokumentationsfrågorna på ett professionellt och effektivt sätt. Jag har inte haft tid att undersöka hur den konkreta kompetenssituationen ser ut , hur den ovan beskrivna organisationen fungerar i praktiken, eller hur den faktiska kvali- teten ser ut i de dokumentationer som tas fram. Detta skulle behöva utvärderas, inte bara som , i samband med en särskild utredning, utan fortlöpande, som en del av en väl fungerande styrning av SCB och det svenska statistiska systemet. Jag återkommer till den frågan längre fram i denna rapport. Statistikdelen av övriga statistikansvariga myndigheter är av så pass liten omfattning, att man tyvärr måste befara att det är svårt att i egen regi hålla sig med specialiserad kompetens på statistik- dokumentationsområdet (liksom inom många andra metodområden). Jag har dock inte haft tid och möjlighet att undersöka den saken på något mera systematiskt sätt, t.ex. genom intervjuer med personal från de berörda statistikansvariga myndigheterna. När det gäller marknadsaktörerna inom statistikproduktions- området, så har jag haft tillfälle att göra en djupintervju med en före- trädare för en ledande aktör, , VD för statistik- konsultföretaget med ca 25 anställda. Han hävdade att Statisticon löst problemet med att motivera personalen att se doku- mentationsarbetet som en viktig och integrerad del av verksamheten, bl.a. genom att man inte låter någon enskild person ha ansvaret för alla moment i genomförandet av ett uppdrag, och systematiskt arbetar på ett processorienterat sätt, så att ingen arbetsuppgift blir personberoende. Med ett sådant sätt upplever alla att god doku- mentation är helt nödvändig, enligt . Styrsystemet är uppenbarligen den svagaste länken när det gäller dokumentation (och många andra frågor) – både inom SCB (och andra statistikansvariga myndigheter) och inom det svenska stati- stiska systemet som helhet. Svagheterna inom SCB (och övriga statistikansvariga myndigheter) är egentligen en konsekvens av svag- heterna i det övergripande systemet och ytterst i styrningen från statsmakterna. Enligt det nuvarande regelverket har SCB visserligen möjlig- heter att utfärda mera detaljerade förskrifter inom ramen för de mycket allmänt hållna ramar som ges av statistiklagen och statistik- förordningen. Som SCB påpekar i sina svar på mina frågor, måste man dock i praktiken uppnå konsensus med de andra statistikansva- riga myndigheterna, innan man kan utfärda föreskrifter, åtminstone om man vill ha några utsikter att nå efterlevnad och framgång med föreskrifterna. SCB har inte heller tillgång till några tvångsmedel eller sanktioner för att framtvinga efterlevnad av de föreskrifter, som man utfärdar – och sådana är heller inte möjliga, eftersom en myn- dighet inte får ge order till en annan myndighet – utan man måste i så fall föra upp frågan på regeringsnivå, vilket i praktiken inte är någon bra framgångsväg, även om den är formellt möjlig. Ett annat problem är att SCB själv är en statistikansvarig myndig- het och därmed måste följa sina egna föreskrifter – och helst vara bäst i klassen när det gäller efterlevnaden. Detta leder å ena sidan till att SCB drar sig för att utfärda föreskrifter, som man tror skulle kunna leda till problem i den egna verksamheten, och det leder å andra sidan till att andra statistikansvariga myndigheter upplever den faktiska situationen vid SCB som ett tak för vilka ambitioner som krävs när det gäller frågor som kvalitet och dokumentation. En lösning på denna typ av problem vore att regeringen regel- bundet anlitar fristående expertis, som genomför granskningar, revisioner, av hur SCB och andra statistikansvariga myndigheter lever upp till kraven, och som rapporterar och föreslår åtgärder till regeringen. Ett alternativ vore att ha en permanent myndighet, statistikinspektionen som utför denna typ av granskning, men en sådan lösning har flera nackdelar. Bl.a. vore det svårt för en sådan myndighet att rekrytera och behålla fast personal med erforderlig kompetens, och det vore dessutom svårt för denna personal att vid- makthålla sin kompetens. Sammanfattande svar på de inledningsvis i detta avsnitt ställda frågorna Hur är dagsläget? Grad av genomförande? Vid SCB närmar man sig den punkt där alla statistikprodukter är dokumenterade enligt SCBDOK, Kvalitetsdeklarationsmallen och MetaPlus. Utvecklingen initierades i GD-beslut , och där sades att alla produkter och system skulle vara dokumenterade enligt SCBDOK . Hastigheten i genomförandet har alltså inte varit imponerande. Ändå har alla generaldirektörer (när GD-beslutet togs) och framåt drivit dokumentationsfrågan hårt och tagit upp den nästan vid varje chefsmöte. När man snabbt tittar på den dokumentation som finns publice- rad på Internet, verkar den vara av god kvalitet. Ambitionerna verkar vara goda. Om man granskar dokumentation ingående, brukar man dock hitta allvarliga brister, ofta baserade på missförstånd. Mera omfattande och djupgående granskningar skulle vara önskvärda. En effektiv förbättringskraft vore också om dokumentationerna kom till större användning, framför allt användning av kvalificerade stati- stikanvändare och andra intressenter (t.ex. beställare) med god kom- petens och viktiga behov. Genom flitig användning av dokumenta- tion (liksom av själva statistiken) upptäcks fel oftare och snabbare, vilket kan leda till en positiv förbättringsspiral – förutsatt att det är lätt för användarna att ge feedback på konstigheter i dokumenta- tionen (eller statistiken), och att det finns någon instans som fångar upp och bearbetar denna feedback på ett systematiskt sätt, t.ex. de statistikansvariga själva – men även av regeringen utsedda granskare, revisorer. Hur har utvecklingen varit ? Det har gått mycket långsamt. brister det i motivationen hos personalen. Finns exempel på statistikansvariga som är bra resp. mindre bra på dokumentation? Jag vågar inte uttala mig om det. Andra statistikansvariga myndig- heter än SCB har i stort sett bara BaS, Beskrivningar av Statistiken. Processorienterade dokumentationer, typ SCBDOK, är sällsynta, skulle jag tro, och mig veterligen finns ingen annan statistikansvarig myndighet än SCB som använder sig av MetaPlus. Hur lever myndigheterna upp till de formella kraven? Eftersom de formella kraven är mycket diffust formulerade och lågt ställda (åtminstone som de tolkas), så kan nog de flesta stati- stikansvariga myndigheter hävda att man lever upp till kraven – och det är i vilket fall som helst svårt att bevisa motsatsen. Vilka problem finns avseende dokumentation? För vilka aktörer finns problem? Hur ser problemen ut för olika aktörer? Vad beror problemen på? Inom statistiksystemet i stort? Dokumentationsproblem vs andra problem: Går dokumenta- tionsproblemen att studera isolerat eller är de del av ett större systemfel? Hur viktiga är dokumentationsproblemen jämfört med annat? Flera viktiga problem har framkommit i de tidigare avsnitten av denna rapport. Här skall jag åter framhålla de viktigaste av dessa problem – samt lägga till ytterligare några. Jag strukturerar problemen enligt följande: internt inom statistikansvariga myndigheter det statistiska systemet som helhet direkta användare av officiell statistik entreprenörer som utvecklar och tillandahåller produk- ter och tjänster baserade på officiell statistik, helt eller delvis konsulter och underleverantörer till statistikansvariga myn- digheter statsmakterna i rollen som finansiär och beställare utvärderare och förbättrare av den officiella statistiken och det statistiska systemet Organisation och styrning av dokumentationsarbetet Organisation och styrning internt inom statistikansvariga myndigheter Jag har bara hunnit studera hur dokumentationsarbetet är organi- serat och styrs inom SCB. Gissningsvis är problemen knappast mindre inom andra statistikansvariga myndigheter, bl.a. eftersom statistikverksamheten där bara är en mindre del av den totala verk- samheten vid respektive myndighet. SCB har i vissa avseenden organiserat dokumentationsarbetet på ett ändamålsenligt sätt. Produkt- och systemansvariga utför det prak- tiska dokumenterandet i direkt anslutning till respektive produkt eller system. Man har en central funktion som sörjer för att det finns ändamålsenliga verktyg och instruktioner för dokumenteran- det, och man genomför både grundutbildningar och vidareutbild- ningar av den berörda personalen. Den centrala funktionen kan även ge råd och dåd i knepiga fall. I förlängningen av denna centrala organisation finns ute på varje avdelning en dokumentationsansvarig, som skall vara en person med kvalificerad kompetens både när det gäller statistiska metoder och dokumentationsfrågor. Den doku- mentationsansvarige måste granska alla dokumentationer som upp- rättas på avdelningen, innan de blir godkända för publicering och användning. En stor brist i den nuvarande organisationen, som SCB själv pekar på, är att den fortfarande görs i efterhand och inte som en inte- grerad del av de processer, där den dokumenterade informationen naturligen uppkommer, t.ex. i designprocessen, när det gäller t.ex. informationsinnehåll, urvalsdesign, datainsamlingsmetoder, etc, eller i själva genomförandet av statistikproduktionen, när det gäller s.k. processdata. Om dokumentationsarbetet integrerades med de processer som dokumenteras, så skulle det påverka dokumentationsarbetets effek- tivitet vad gäller kostnader, kvalitet och aktualitet. Det skulle också med all säkerhet öka förståelsen och motivationen för dokumenta- tionsarbetet hos personalen, dels genom att dokumentationsarbetet kommer att upplevas som mindre betungande, och dels genom att man får omedelbar nytta av dokumentationen i sitt arbete. Att genomföra en integration av dokumentationsarbetet med verk- samheten borde inte vara någon oöverkomlig uppgift. En relativt liten organisation som Statisticon verkar ha lyckats med detta. grationen skulle naturligtvis underlättas om SCB hade tillgång till bra verktyg för ändamålet, t.ex. en fullgången version av det s.k. Verksamhetsstödet, i kombination med ändamålsenliga arkitekturer, standarder och IT-verktyg för verksamhetens processer. Det skulle underlätta integration och automatisering av metadata- och doku- mentationsarbetet. En integration av dokumentationsarbetet med verksamheten skulle som sagt motivera personalen att medverka till att dokumentation kommer fram som en naturlig del av det vanliga arbetet med stati- stikprodukterna och statistiksystemen, och behovet av särskild ordergivning för att få fram dokumentation skulle därmed minska eller kanske försvinna helt. Ordergivningsmodellen (med GD- beslut etc) för att få fram god dokumentation verkar inte ha fun- gerat särskilt bra trots den högsta ledningens påtagliga engagemang i dessa frågor – vilket i och för sig har varit bra och nödvändigt; annars skulle dokumentationsläget med all sannolikhet ha varit ännu mycket sämre än det faktiskt nu är. Men det är givet- vis helt oacceptabelt att det skall ta () att få till stånd en rimlig dokumentation av den officiella statistiken och de processer som sammanhänger med den. Ytterligare ett sätt att underlätta och strömlinjeforma dokumen- tationsarbetet vore – som redan har nämnts – att fullfölja den på- började processorienteringen och standardiseringen av SCB:s verk- samhet. Standardiserade processer är mycket lättare att dokumentera och kvalitetssäkra på ett effektivt sätt även om bara små resurser avsätts för dokumentation. Resursargumentet framförs för övrigt ofta som en förklaring till varför dokumention inte blir gjord, och varför det har tagit så att få ett någorlunda rimligt dokumentationsläge vid SCB. Detta argument är nonsens. Det kan nog vara så att många upplever doku- mentationsarbetet som resurskrävande, särskilt när det genomförs som en separat aktivitet i efterhand, men objektiva experiment som har genomförts visar att även ett dokumentationsarbete som utförs på ett mindre effektivt sätt än vad som är idealt, bara kräver någon procent av SCB:s budget – även om man sätter höga mål för doku- mentationens kvalitet. Övergripande organisation och styrning inom det statistiska systemet En viktig förklaring till att det tagit så att få fram rimlig dokumentation vid SCB och andra statistikansvariga myndigheter, trots ett starkt engagemang hos SCB:s verksledning, är att det har saknats ett tillräckligt starkt externt tryck. Många statistikanvän- dare, inte minst forskare, framför visserligen regelmässigt bristen på dokumentation som en av de största bristerna hos SCB (i paritet med de förment höga kostnaderna), men detta verkar inte ha fått något riktigt genomslag i den operativa verksamheten på SCB – och förmodligen inte heller på andra statistikansvariga myndigheter, särskilt som dessa helt naturligt ofta betraktar SCB som en förebild i olika avseenden. Statsmakterna har förstås i sin roll som finansiär och beställare det yttersta ansvaret för den officiella statistiken och för bl.a. doku- mentationen och kvalitetssäkringen av densamma. måste man konstatera, att statsmakterna inte har (eller har försett sig med) några riktigt skarpa verktyg för ändamålet. Lagar och förordningar är som vi har sett tämligen allmänt hållna, oprecisa och tandlösa, och någon effektiv och regelbunden granskning, revision, förekom- mer inte; ibland sker brandkårsutryckningar, t.ex. i samband med flagranta fel av det slag som har inträffat i SCB:s verksam- het, men detta kan inte ses som någon systematisk eller särskilt effektiv och uthållig styrning och uppföljning av statistikverksam- heten i . Olika aktörers problem med statistikdokumentation Direkta användare av officiell statistik Som har nämnts och exemplifierats i denna rapport finns det många olika typer av statistik med ganska olikartade behov av dokumentation – och även olika möjligheter att tillgodogöra sig dokumentation. Min bedömning är att det allra mesta av den infor- mation om den officiella statistiken och de processer som hänger ihop med statistiken täcks in av de dokumentationsmallar som an- vänds : processdokumentation enligt SCBDOK, Beskrivningar av Statistiken (BaS) samt metadatasystemet MetaPlus. det betydande och ännu inte tillgodosedda behov av att presentera och tillgängliggöra denna information på många olika sätt, så att den passar olika användare och användningssituationer. SCB anser att den befintliga dokumentationen används i mycket liten utsträckning, och att det vore önskvärt att även mindre kva- lificerade statistikanvändare tog del av viktig dokumentation, så att man undviker feltolkningar och felanvändning av den officiella stati- stiken. Till att börja med måste man konstatera att det finns en viktig grupp av kvalificerade statistikanvändare, främst analytiker och forskare, som faktiskt efterfrågar djup dokumentation av statistiken och statistikprocesserna. Denna grupp har – med rätta – klagat över bristen på dokumentation.