sou · GNB396d2 · 2000-01-01 00:00:00 — Det verkar behövas en mera kraftfull och tydlig extern styrning från statsmakterna och statistikanvändarna för att komma till rätta med problemen, oavsett graden av centra- lisering/decentralisering i det statistiska systemet. 1.1En tidig ansats (1970): det arkivstatistiska systemet (ARKSY) Det har dock inte saknats ansatser att komma tillrätta med tillgänglig- hetsproblemen. , när datorer just börjat användas i statistikproduktionen, tog den dåvarande verksledningen vid SCB, generaldirektören och planeringschefen, sedermera överdirektören, initiativ till införandet av ett s.k. arkivstatistiskt system (ARKSY) för att möjliggöra flexiblare och mera användaranpassade statistikbearbetningar. Inspirationen kom från , då avdelningschef vid i , sedermera professor i informationsvetenskap vid och chef för kontor i . Figur 1 åskådliggör det arkivstatistiska systemet. Sedan primärdata till statistiken inhämtats från uppgiftslämnare (personer, företag och/- eller myndigheter), och indata i vederbörlig ordning kodats, registrerats, granskat och rättats, skulle de lagras och organiseras på ett stan- dardiserat sätt, i form av s.k. flata filer, enhetligt dokumenterade i en s.k. variabelkatalog. De flata filerna, innehållande vad som senare kom att benämnas mikrodata, skulle användas på två sätt: ·dels , som underlag för den reguljära publiceringen av standardiserade statistiska redovisningar, s.k. statistiska meddelanden () ·dels vid behov, ad hoc, och vanligen på uppdragsbasis, som underlag för mera skräddarsydda statistikprodukter, speciellt anpassade till olika användarbehov I bägge fallen skulle de erforderliga bearbetningarna (selekteringar, matchningar, aggregeringar m.m.) utföras på ett standardiserat sätt med hjälp av standardprogram. Utgående från mikrodata i de flata filerna, och med hjälp av databeskrivningar, s.k. metadata, skulle man med hjälp av de standardprogramstyrda men ändå flexibla bearbetnings- processerna framställa såväl standardiserad som mera användar- anpassad statistik, s.k. makrodata, och tillhörande beskrivningar, meta- data. Det är värt att notera, att magnetband var den enda praktiskt till- gängliga tekniken för lagring av stora datamängder . Ända kan man konstatera, att det arkivstatistiska konceptet som sådant ligger mycket nära modern databasteknik, med relationstabeller motsvarande de flata filerna och SQL-språket (Structured Query Language) motsvarande standardprogrammen. Man kan t.o.m. hävda att det arkivstatistiska systemets dataarkiv har stora likheter med ett modernt datalager, s.k. data warehouse. Den dåvarande verksledningen vid SCB gick så långt att man ut- arbetade ett detaljerat förslag till radikal omorganisation av SCB enligt den arkivstatistiska modellen. De flesta statistikbyråer i världen hade dittills, och har fortfarande, en s.k. stovepipe organisation, där statis- tiken produceras, från ax till limpa, inom tämligen självständiga och parallellt arbetande små organisatoriska enheter, s.k. statistikgrenar. Vid en statistisk centralbyrå kan det typiskt finnas ett par hundra statistikgrenar, grupperade hierarkiskt till statistikprogram, sektioner, enheter, avdelningar eller vad nu benämningarna kan vara. Organisa- tionen är i grunden datainsamlingsbaserad, och samordningen mellan statistikgrenarna är vanligen svag. Personalen på statistikgrenarna har ett starkt kunskapsmonopol; de är de enda som har förstahandskunskap om de data och processer, som statistiken baseras på. DATA- INDAT A HOS INSAMLANDE UPPGIFTS- STATISTIK- LÄMNARE G R E N A R S T A N D A R D P R O G R A M M E T A D A T A M I K R O D A T A "flata filer" S T A N D A R D - P R O G R A M M A K R O D A T A G R E N A R P R O D U K T E R Schematisk modell av det arkivstatistiska systemet (ARKSY) som det konceptualiserades kring 1970. Statistikanvändare har ofta behov av att kombinera statistik från olika statistikgrenar. Även de som primärt är ute efter ekonomisk statistik, har t.ex. inte sällan ett starkt behov av kompletterande bakgrundsdata från befolkningsstatistiken. En datainsamlingsbaserad statistikgrens- organisation av traditionellt slag är dåligt anpassad till användar- och användningsstrukturerna. Få har en överblick över all statistik, som i princip är tillgänglig vid en statistisk centralbyrå, och de som har en viss överblick, t.ex. någon form av informationstjänst, har i allmänhet en alltför ytlig kunskap, bl.a. därför att det är personalen på statistik- grenarna som har monopol på förstahandskunskaperna om sina respek- tive statistikprodukter och bakomliggande data och processer. De flesta försök till ökad användaranpassning i en sådan organisation stupar på detta och på det faktum att den erforderliga samordningen mellan statistikgrenarna blir mycket komplicerad, tungrodd och resurskrävande och inte heller är säskilt populär hos de traditionellt mycket självständiga statistikgrenarna. I den tilltänkta, arkivstatistiskt inspirerade organisationen skulle de traditionella statistikgrenarna delas upp i indata- och utdataorienterade processer, sammankopplade i ett många-till-många-mönster via ett centralt clearing-house, en s.k. databascentral, svarande för vården av dataarkivet (mikrodata, makrodata, metadata) och de standardiserade bearbetningsverktygen. De indataorienterade processerna skulle svara för att producera mikrodata och tillhörande metadata till dataarkivet. Eventuellt skulle de också kunna svara för den rutinmässiga framställ- ningen av resultatrapporter () från respektive datainsamling; det skulle då ske med hjälp av standardverktygen. De utdataorienterade processerna skulle struktureras efter användare och användningar. Tack vare den standardiserade lagringen av data och metadata i dataarkivet skulle den användarorienterade personalen själv snabbt och effektivt kunna framställa skräddarsydda statistikprodukter för olika behov med hjälp av standardverktygen. Verksledningens förslag till ny organisation möttes av sådana hög- ljudda protester från stora delar av personalen och från de fackliga organisationerna, att det aldrig officiellt lades fram. (Ett komplett utkast på flera hundra sidor finns dock tillgängligt för den intresserade.) För- slaget ansågs bygga på en alldeles för mekanisk syn på statistikpro- duktionen; det beaktade inte betydelsen av personalens unika kompetens och behovet av handpåläggning i de olika produktionsmomenten. Kort sagt skulle det leda till ett totalt kvalitetsmässigt haveri för den officiella statistiken. Ambitionerna att med hjälp av ett arkivstatistiskt system öka använ- daranpassningen av och tillgängligheten till den officiella statistiken och bakomliggande datamaterial drabbades ungefär av ytterligare ett bakslag. I spåren av Folk- och bostadsräkningen 1970 (FoB 70) och den integritetsdebatt, som då utbröt, utbredde sig en stark rädsla, inte minst hos SCB:s verksledning, att på ett alltför aktivt sätt använda sig av mikrodata i den sekundära statistikproduktionen, d.v.s. efter det att de primära statistikresultaten framställts och publicerats. Man befarade att det skulle kunna föranleda ytterligare opinions-stormar, vilka i sin tur skulle kunna försämra uppgiftslämnarklimatet och öka bortfallet i de statistiska undersökningarna. Av dessa skäl tonade SCB:s verksledning ner det arkivstatistiska konceptet och speciellt de användar- och mikrodataorienterade delarna av det. Organisationen förblev i stort sett oförändrad. Dock fortsatte man att satsa på det tekniska utvecklingsarbete, som ARKSY-modellen förutsatte, men med huvudinriktningen att rationalisera de interna produktionsprocesserna vid SCB. ringen, först i form av flata filer, senare som relationsdatabaser, och en hel familj av användarvänliga och flexibla standardprogram, den s.k. TAB68-familjen, utvecklades och infördes i stor skala med pedagogiskt understöd i form av en standardiserad systemutvecklingsmetod, SCB:s systemeringsmodell. Ämnespersonal utan omfattande ADB-kunskaper kunde därefter, i stor utsträckning på egen hand, utan omfattande insat- ser av IT-specialister, både utveckla statistikproduktionssystem och sköta dem driftmässigt. Statistikproduktionen ökade kraftigt i omfattning , som antalet anställda kontinuerligt minskade, särskilt bland s.k. smör-och-bröd-programmerare och bland icke-handläggare. I ett senare skede kunde även kostnaderna för datordrift skäras ner kraftigt, efter outsourcing och införande av persondatorer i nätverk. En mera användar- och tillgänglighetsorienterad del av det arkiv- statistiska konceptet blev dock förverkligad. öppnade SCB sin första externt riktade databasservice. Den baserades enbart på aggregerade data, d.v.s. makrodata, och bestod innehålls- mässigt av en regionalstatistisk databas () och en tidsseriedatabas (), bägge hanterade av den egenutvecklade, multidimensionella databashanteraren . Databaserna var tillgängliga för externa användare via telefonförbindelse med SCB:s stordator. Systemet var avancerat för sin tid, bl.a. genom sin metadatahantering och den multi- dimensionella datamodellen. Det är fortfarande i drift, men det kommer , trogen tjänst, helt att ersättas av statistiska databaser, det moderna Internetbaserade systemet, som sattes i drift . En annan effekt av teknikutvecklingen kring ARKSY-modellen, som onekligen kom användarna till godo, var att många uppdrag därefter snabbt och förhållandevis billigt kunde utföras med hjälp av de framtagna standardprogrammen, utan tidsödande planerings- och pro- grammeringsarbete. Användarna fick därigenom en indirekt förbättring av den tillgängligheten till mikrodata, även om denna tillgänglighet med dagens mått mätt ter sig otillräcklig, dyr och inte särskilt använ- darvänlig. 1.2Tydligare krav från statsmakterna och tunga användare (1990) Det arkivstatistiska utvecklingsarbetet hade i vissa avseenden drivits fram av starka användarkrav från de samhälls- planerare på central, regional och lokal nivå, som då hade en mycket stark ställning och numerär i den svenska förvaltningen. I minst lika hög grad var dock utvecklingen resultatet av ett starkt och visionärt engagemang hos SCB:s dåvarande verksledning. När verksledningen fick kalla fötter p.g.a. integritetsdebatten och det interna motståndet, tappade utvecklingen mot ökad tillgänglighet för externa användare momentum, helst som det externa trycket minskade i takt med att de nämnda samhällsplanerarna successivt förlorade terräng på alla nivåer inom förvaltningen. , omkring , vaknade dock vissa grupper av statistikanvändare till liv igen och krävde allt ihärdigare, och med viss makt bakom orden, att SCB skulle öka tillgängligheten till den officiella statistiken och, inte minst, till de bakomliggande mikrodatamate-rialen. personal, som hade upptäckt den moderna teknikens möjligheter, och som hade börjat bygga avancerade simuleringsmodeller i PC-miljö för att snabbt kunna ta fram ändamålsenliga beslutsunderlag inför viktiga politiska beslut kring reformer av olika slag, bl.a. skattereformen. Modellerna krävde effektiv och flexibel hantering av mycket stora mängder av statistiska mikrodata, inte bara i form av engångsbearbetningar, utan alltmer i höginteraktiva statistiska och analytiska processer, där användaren testar och modifierar sina förutsättningar och hypoteser gång på gång och med krav på mycket korta väntetider mellan iterationerna. Även inom forskarsamhället hade man vid den här tidpunkten lärt sig använda den moderna teknikens möjligheter på egen hand, och man förväntade sig alltmer otåligt att få en ändamålsenlig tillgänglighet till SCB:s mikrodata inom ramen för statistiksekretessen. Forskarna har inte ensamma så stora möjligheter att påverka SCB:s verksamhet, men tillsammans med tongivande tjänstemän på bildade de en ganska effektiv påtryckargrupp. Situationen förstärktes också av att SCB hade en generaldirektör, , som själv var forskare, och som hade stor förståelse för forskarnas behov och även för liknande behov hos andra analyserande statistikanvändare, t.ex. vid privata eller offentliga utredningsorgan och inom förvaltningen. Uttalade klagomål, krav och önskemål kom som sagt från tunga statistikanvändare: , forskarsamfundet, utredare och massmediarepresentanter. Några viktiga synpunkter var: ·Det är svårt att få reda på vilken statistik som faktiskt finns, och som skulle kunna vara av intresse för att belysa ett visst problem. Inte ens på SCB kan man ge bra svar på sådana frågor, eftersom man har en alltför datainsamlingsorienterad organisation. Det saknas en god överblick över hela statistikfältet, och en sådan överblick är ofta nöd- vändig, eftersom ett visst problem ofta belyses bäst av en kombination av statistik från flera olika ämnesområden. ·När man som användare, tillsammans med SCB, lyckats identifiera intressant statistik för att belysa ett visst problem, så visar det sig ofta svårt att rent tekniskt få fram statistiken, särskilt om man vill ha tillgång till den i datorläsbar form för egna fortsatta bearbetningar och analyser. Det beror på att SCB använder sig av gammalmodiga, stordatorbaserade och illa dokumenterade system, som inte är gjorda för snabba, oförberedda uttag. ·De omoderna, inflexibla och ofullständigt dokumenterade systemen gör också att uttag och bearbetningar blir oerhört tids- och arbetskrävande och, inte minst, kostsamma. ·Som kvalificerad statistikanvändare har man ofta både vilja, kunska- per och tekniska möjligheter att själv bearbeta statistiken och de bakomliggande datamaterialen för olika vidareanvändningar och analyser. SCB verkar inte särskilt beredvilligt att konstruktivt med- verka till sådana lösningar utan vill hellre lösa användarnas problem inom ramen för sin egen uppdragsverksamhet. SCB överutnyttjar därvid vissa kvalitets- och sekretessargument: (i)de efterfrågade bearbetningarna och analyserna kräver sådana kun- skaper om datamaterialen och deras kvalitet, som bara finns hos SCB:s personal (ii)finfördelad statistik kan inte lämnas ut till statistikanvändarna, och det kan inte heller mikrodata, inte ens om de avidentifierats, efter- som det för sådana data alltid finns en risk att en användare genom matematiska härledningar kan röja känslig information om enskilda objekt (personer eller företag) i statistiken Det var ett antal viktiga klagomål, krav och önskemål från statistik- användarna, som ledde statsmakterna och SCB att initiera projekt och verksamheter som ·Framtagandet av ett dokumentationssystem för statistiska undersök- ningar (SCBDOK) ·Framtagandet av ett kvalitetsredovisningssystem ·Omläggning av SCB:s produktionssystem från stordator till person- datorbaserad client/serverteknik; det s.k. plattformsbytet ·Uppbyggnaden av statistiska databaser för spridning av statistik via Internet 1.3En samlad attack för att lösa dokumentationsproblemet 1.3.1SCBDOK-modellen: begrepp och dokumentationsmallar hade själv upptäckt ett avgö- rande hinder för tillgängligheten till SCB:s data: dokumentationen – eller snarare bristen på dokumentation. Han uppdrog åt två experter, , den ena professor i statistik och den andra i informationsbehandling, att utforma en begreppsapparat och ett beskrivningssystem för statistiska undersökningar i syfte att möjliggöra en så fullödig dokumentation av SCB:s datamaterial ur såväl statistisk som informationsteknisk synpunkt, att datamaterialen skulle kunna återanvändas av forskare , d.v.s. av personer som inte skulle ha någon förstahandskunskap om vare sig datamaterialen som sådana, eller om de bakomliggande statistiska undersökningarna, eller ens om det samhälle och den tid, där undersökningarna genomfördes. Arbetet resulterade i en sammanhängande och detaljerad beskriv- ningsmodell för statistiska undersökningar (i vid mening) och arkiverade mikrodatamaterial, s.k. slutliga observationsregister.3 Beskriv- ningsmodellen integrerade produktionsstatistiska, metodstatistiska och informationstekniska begrepp och lades till grund för ett dokumenta- tionssystem, SCBDOK, baserat på dokumentationsmallar, som imple- menterades med hjälp av en vanlig ordbehandlare. På en övergripande nivå strukturerar en doku- mentationen i ett antal dokumentationsavsnitt, svarande mot de typiska momenten i en statistisk undersökning. fungerar därvid som en checklista för vad man bör överväga att ta upp i dokumentation. 3 , , Bo: "Dokumentation för återanvändning av mikromaterial från SCB:s undersökningar", 1991. Finns även i engelsk översättning. göra tröskeln för dokumentationsarbetet så låg som möjligt, kan merparten av informationen ges i form av löpande text, på samma sätt som när man framställer vilket dokument som helst med hjälp av sin ordbehandlare. På vissa punkter, t.ex. variabel- och postbeskrivningar, skall informationen tillhandahållas enligt mera formaliserade delmallar, med stöd av mallar och s.k. makros i ordbehandlaren. Kriteriet för vad som måste behandlas i en SCBDOK-dokument-ation är i princip enkelt och klart. Med hjälp av dokumentationen skall en framtida (åter)användare av ett arkiverat observationsregister från en statistisk undersökning kunna tolka och analysera datamaterialet på ett självständigt och statistiskt ansvarsfullt sätt, även om han eller hon inte har möjlighet att konsultera några som själva medverkat i den bakom- liggande undersökningen. Användaren måste givetvis ha erforderliga statistiska metodkunskaper eller kunna rådfråga sådan expertis, men i övrigt skall dokumentationen ge all den information om datamaterialet, som användaren behöver. Figur 2 åskådliggör huvuddragen i version 2.0 av . Mera detaljerade instruktioner, checklistor och delmallar finns i den handbok som åtföljer dokumentationssystemet.4 4 "Att dokumentera statistiska undersökningar – för SCBDOK version 2.0", SCB 1996. Innehåll: statistiska storheter Ansvarig myndighet, person etc 1.3 Utflöden: statistik och mikrodata Erfarenheter från senaste under- 4 Statistisk bearbetning och redovisning 4.1 Skattningar: antaganden och beräknings- Huvudstrukturen i dokumentationsmallen SCBDOK 2.0. På basis av samma begrepps- och beskrivningsmodell, som låg till grund för dokumentationssystemet SCBDOK, utarbetades sedermera också en standard för kvalitetsdeklarationer.5 En kvalitetsdeklaration har ett delvis 5 Standarden är utförligt beskriven och exemplifierad i "Kvalitetsbegrepp och riktlinjer för kvalitetsdeklaration av officiell statistik SCB, Meddelanden i annat syfte än en observationsregisterdokumentation, vilket återspeglas i den dokumentationsmall, som ligger till grund för kvalitetsdeklarationen. Det handlar i många stycken om samma information som i SCBDOK- men presenterad på ett annat sätt, för andra användningar och användare. Figur 3a åskådliggör strukturen i en standardiserad kvalitetsdekla- ration för officiell statistik enligt MIS 1994:3. Figur 3b åskådliggör en engelsk översättning av kvalitetsbegreppets struktur.6 Det handlar om en reviderad version, där författarna även tagit hänsyn till olika synpunkter som inkommit, i första hand från . Jämförbarhet med annan statistik Kvalitetsbegreppets struktur för officiell statistik. samordningsfrågor (MIS) 1994:3, utarbetad av , och , samtliga vid SCB. 6 Den i samarbete med föreslagna strukturen beskrivs och kommenteras i och : "Quality Concept for Official Statistics", R&D Report 1997:2, SCB. Coherence, especially comparability Presentation of accuracy measures Quality concept for official statistics är i första hand till för mycket kvalificerade och självständiga statistikanvändare, t.ex. forskare, som inte utan vidare vill acceptera de antaganden om det ena och det andra, t.ex. bortfallets effekter, som den ursprungliga statistikproducenten gjort, utan som kanske vill pröva alternativa antaganden. En kvalitetsdeklaration är däremot i första hand till för en användare, som inte går tillbaka till bakomliggande observationsregister för att göra nya bearbetningar, utan en användare, som utgår från den statistik på aggregerad nivå, makrodata, som den ursprungliga producenten publicerat. Även denna typ av användare har naturligtvis behov av god information om olika förutsättningar och omständigheter kring statistiken och dess fram- tagande, men informationen behöver inte vara lika djupgående och detaljerad som för en användare, som vill tränga djupt in i underliggande mikrodata. Däremot väger pedagogiska aspekter tungt för användaren av publicerad statistik, som inte sällan har ont om tid, och som kanske inte har så goda statistiska metodkunskaper. En kvalitetsdeklaration av publicerad statistik kan alltså vara något ytligare och mera översiktlig än en observationsregisterdokumentation, men i gengäld måste den vara mera pedagogiskt utformad. Den fokuse- rar också på makrodata, medan observationsregisterdokumentationen fokuserar på mikrodata. För vissa syften behövs mera kortfattade, översiktliga och lättillgängliga beskrivningar av den officiella statistiken. För att tillgodose dessa behov, har en standardiserad mall för s.k. produktbeskrivningar tagits fram. Enligt föreskrifter från SCB,7 baserade på förordningen om den officiella statistiken,8 skall en sådan produktbeskrivning tas fram av respektive statistikansvariga myndigheter för varje statistikprodukt, som ingår i den officiella statistiken, och den skall aktualiseras en gång . SCB har utarbetat en dokumentationsmall för produktbeskrivning- arna.9 Även denna mall är baserad på den begrepps- och beskrivnings- modell, som ligger bakom dokumentationssystemet SCBDOK. Figur 4 åskådliggör produktbeskrivningsmallen. Som synes har den stora strukturella likheter med för kvalitetsdeklarationer, bortsett från att ett avsnitt 0 med administrativa uppgifter lagts till. Av anvisningarna till produktbeskrivningsmallen framgår dock, om man jämför med MIS 1994:3, att det ställs lägre krav på omfattning och djup i en produktbeskrivning jämfört med vad som gäller för en fullödig kvalitetsdeklaration. 7"Föreskrifter och allmänna råd om offentliggörande av officiell statistik", SCB, Meddelanden i samordningsfrågor (MIS) 1995:5, utarbetade av Per , 8"Förordningen of den officiella statistiken", SFS 1992:1668, ändrad i SFS 1994:1108, omtryck. 9"Produktbeskrivningsmall 1997 för officiell statistik – Med anvisningar", SCB 1997, reviderad version 1998, utarbetad av , , Per , m.fl. 0 Administrativa uppgifter om Ansvarig myndighet, person etc Jämförbarhet med annan statistik 3 Uppläggning och tillförlitlighet Statistik: publicering och spridning (inkl elektroniska media och databaser) Primärmaterial: lagring och åtkomstmöjlig Produktbeskrivningsmall för officiell statistik. 1.3.4Mot ett integrerat metadatasystem Dokumentationsarbete upplevs ofta av dem som måste göra det, delvis obefogat, som tråkigt och tidsödande. Det är därför viktigt, att det läggs upp på ett sådant sätt, att ansträngningarna kan minimeras, och att de som dokumenterar känner sig så välmotiverade som möjligt. Ett sätt att minimera ansträngningarna är att se till att dokumenta- tionsarbetet blir så integrerat med andra arbetsuppgifter som möjligt, och att en dokumentation som utarbetats för ett visst syfte också så långt som möjligt utnyttjas för andra syften, d.v.s. man skall aldrig behöva dokumentera samma sak två gånger. Sålunda bör dokumentationsarbetet påbörjas redan när man börjar utforma en statistisk undersökning, så att den fullständiga dokumen- tationen växer fram mer eller mindre som en biprodukt av planerings- och genomförandeprocesserna. Ett och samma dokument kan användas först som ett underlag för ett designbeslut och senare, när det diskuterats färdigt och frysts, infogas som ett bidrag till dokumentationen av det färdiga systemet. Med hjälp av ordbehandlare, mallar och andra IT-baserade verktyg kan man stödja dokumentationsarbetet och säkerställa att man inte behöver göra om en dokumentationsinsats, som man redan gjort i ett annat sammanhang.