sou · GXB325 · 2009-03-09 00:00:00 — Ett sådant projekt är utredningen om statistikinsamlingen avseende ekonomi och verksamhet där utredaren ska föreslå åtgärder för hur den officiella statistiken kan förändras för att bli mer användbar för uppföljning, styrning och verksamhetsutveckling; både på nivå och för intressenterna på den nationella nivån (se Dir. 2007:146). I den här rapporten diskuteras primärt informationsbehovet för intressenter i och kring de kommunala organisationerna såsom det har gestaltat sig i studier kring användning och effekter av nyckel- talsjämförelser. Dessutom diskuteras vilka implikationer de före- stående valfrihetsreformerna och det i samband med dessa större nyttjandet av externa leverantörer får för informationsbehovet. förefaller nämligen de kommunala organisationerna och staten knyta förhoppningar till att tillhandahållandet av välfärd ska kunna effektiviseras genom ett intensifierat arbete med jämförelser och genom att brukarna får möjlighet att fritt välja serviceleve- rantörer. Det ökade intresset för jämförelser har bland annat visat sig i Kommuner och Landstings (SKL:s) Jämförande kva- litetsnätverk, i två statliga utredningar kring nyckeltalsjämförelser (SOU 2001:75 och SOU 2005:110), i tillhandahållandet av jäm- förelsedatabaser, i där till- sammans med Rådet för främjande av kommunala analyser (RKA) och SKL initierat ett omfattande projekt där nätverk bildas och jämförelser sker med hjälp av nyckeltal och i Öppna jämförelser där SKL tillsammans med statliga myndigheter belyser resultaten i regionernas, landstingens och kommunernas verksamhet. Att på detta sätt få kunskaper om hur verksamheten står sig i jämförelse med andra förväntas förbättra beslutsfattandet och resursfördel- ningen samt stimulera ett kontinuerligt förbättringsarbete, åtmin- stone i de enheter där förbättringspotential upptäcks. Den andra omtalade idén – att brukarna får möjlighet att fritt välja serviceleverantör – har prövats av kommuner och lands- ting tidigare och det finns exempel på kommuner som har hållit fast vid modellen (Kastberg, 2005). Efter en period av avstannat intresse generellt sett är modellen återigen högaktuell, både inom kommuner och landsting (se SOU 2008:37 och Prop. 2008/09:1). Syftet med valfrihet är att stimulera kon- kurrens, stärka brukarnas ställning och skapa incitament för förvaltningar och externa serviceleverantörer att vara mer lyhörda för brukarnas önskemål. Vidare är syftet att stödja etableringen av fler serviceleverantörer, vilket förhoppningsvis ger positiva effekter på tillgängligheten. I syfte att generera kunskaper om vilken statistik som kan stödja kommunala organisationer i uppföljning, styrning och verk- samhetsutveckling redovisas inledningsvis i rapporten hur kom- munerna arbetar med nyckeltalsjämförelser, vilken koppling det finns mellan olika sätt att arbeta och vilka effekter som nås och varför arbetet med nyckeltalsjämförelser emellanåt inte når de uppställda målen. De nyckeltal som används på nivå är en form av tillämpad statistik i meningen att de består av nationellt och/eller lokalt insamlad data och därför rymmer studierna av nyckeltalsjämförelser viktiga implikationer för den statliga sta- tistikinsamlingen. I det därpå följande avsnittet diskuteras vilken information som är relevant om allt fler offentliga organisationer öppnar upp för valfrihet (marknadsstyrning) där brukarna måste kunna ställa olika serviceleverantörer mot varandra. Avslutningsvis sammanfattas några slutsatser avseende informationsbehovet i regioner, landsting och kommuner. 2 Nyckeltalsjämförelser i kommunala organisationer Internationellt finns det i både privat och offentlig sektor ett stort intresse för att informera sig om sin egen verksamhet genom att utveckla nyckeltal och jämföra sig med andra (och , 2007). Intresset har uppenbarligen spritt sig till före- trädare för svenska regioner, landsting och kommuner eftersom dessa har blivit allt mer intresserade av att få veta hur väl deras organisationer presterar i jämförelse med liknande organisationer. Jämförelser är i och för sig inget nytt i kommunala organisationer men vad som betonas är att det inte är tillräckligt att endast mäta vad aktiviteter kostar och hur de genomförs utan också verk- samhetens produktivitet och kvalitet. Detta intresse för presta- tioner och resultat är enligt (1995) en del i utvecklingen från progressiv offentlig styrning (, PPA) till ny offentlig styrning (, NPM) (se Figur 1). Figur 1 Vad styrningen inriktas på vid progressiv respektive ny offentlig styrning I svenska kommunala organisationer har kostnader kartlagts noggrant därtill kommer ett långvarigt arbete med kost- nadsjämförelser med hjälp av olika former av nyckeltal. Infor- mation om aktiviteter – det vill säga hur verksamheten bedrivs – har också varit förhållandevis tillgänglig, exempelvis genom informa- tion om personaltäthet, andel anställda med rätt formell kom- petens och andra nyckeltal som indikerar hur aktiviteterna bedrivs. Prestationer i form av produktivitetsmått har i ökande grad börjat kartläggas liksom resultat i form av kvalitetsmått och liknande, men här har arbetet med att få fram relevant information pågått och det har varit svårare att finna relevanta och tillförlitliga nyckeltal. Det generella intresset för nyckeltalsjämförelser är som framgår av den första stapeln i Figur 2 påfallande stort i den svenska kom- munsektorn. Alla kommuner tycks i någon grad arbeta med sådana jämförelser, men då görs ingen närmare specifikation av hur respek- tive kommun arbetar med jämförelserna. Vid närmare betraktande finns tydliga skillnader i hur intensivt kommunerna arbetar med nyckeltalsjämförelser och vilken sorts nyckeltal som används, det vill säga om det enbart är kostnads- och aktivitetsmått som utveck- las (vilket vore exempel på progressiv offentlig styrning) eller om även prestations- och resultatmått används (ny offentlig styrning). Variationen i den svenska kommunsektorn i dessa avseenden framgår av de fem sista staplarna i Figur 2. Uppgifterna kommer från en enkätundersökning riktad till ekonomicheferna i samtliga kommuner (se , 2007). Andel användare av olika former av nyckeltalsjämförelser, 2007. Med höganvändare menas att kommunen i ganska hög eller mycket hög utsträckning använder jämförelseformen (svarsfrekvens , N=194). Av Figur 2 framgår att ungefär en tredjedel av kommunerna är att betrakta som höganvändare – utan vidare specifikation – av nyckel- talsjämförelser. Två tredjedelar är höganvändare av kostnadsmått i jämförelserna och av aktivitetsmått medan av kommunerna är höganvändare av prestations- och resultatmått. En analys av vad som förklarar framgångar vid nyckeltals- jämförelser visar att de kommuner som är höganvändare generellt och de som är höganvändare av prestations- och resultatmått oftare når goda effekter av sitt arbete med nyckeltalsjämförelser (se , 2007, för en mer detaljerad redovisning). De lyckas oftare att effektivisera, att stimulera lärande och verksamhetsutveckling samt att redovisa för medborgare och brukare hur verksamheten fungerar. De kommuner som är höganvändare känner dessutom oftare än låganvändare att de lyckas ta reda på hur verksamheten står sig i jämförelse med andra kommuner och förefaller dessutom oftare nå besparingsmål. Sammanfattningsvis: studier baserade på ekonomichefernas uppfattningar om arbetet med nyckeltalsjämförelser visar att kom- muner som arbetar intensivt med nyckeltalsjämförelser och lyckas mäta prestationer och resultat, når större framgångar med sitt arbete än andra kommuner. Den senare observationen ger impli- kationen att en viktig roll för den officiella statistiken är att så långt som möjligt fånga verksamheternas prestationer och resultat. 3 Svårigheter kring nyckeltalsjämförelser Det samlade intrycket från den nationella och internationella forsk- ningen kring anammandet och användandet av nyckeltalsjäm- förelser i kommuner och landsting är att arbetet emellanåt ger vissa positiva effekter såsom de som redovisats ovan1 men att nyckeltals- jämförelser ofta stöter på implementerings- och användnings- problem. Det gäller , , , och Sverige.2 En del problem är hänförliga till implementeringen, det vill säga när nyckeltalen ska väljas och tas fram, och en del är hänförliga till användningen, det vill säga när nyckeltalen ska nyttjas av verksamhetsansvariga och politiker. Det är dock viktigt att betona att problemen inte uppfattas på samma sätt i organi- sationerna. Generellt sett förefaller det vara de aktörer som har högst ambitioner med nyckeltalsjämförelserna och som arbetar mest med dem som problematiserar implementering och använd- ning. I första hand handlar implementeringsproblemen om att det för vissa aktiviteter är svårt att finna mätetal som på ett bra sätt avspeglar prestationer och resultat.3 Svårigheterna är i stort sett förväntade eftersom det är känt att det är komplicerat att mäta resultatet av många aktiviteter i offentliga organisationer (se exempelvis Ouchi, 1977; Hofstede, 1981; de Lanzer Julnes och 1Se även och , 2000; Lapsley och , 2004; och , 2005; och , 2006; et al. 2008; , 2007. 2Se och , 2003; och , 2000; et al., 2002; Northcott och , 2005; Dorsch och , 1998; Cavalluzzo och Ittner; de Bruijn och van Helden, 2006; et al. 2008; , 2007; och , 2007; , 2008. 3Även när det gäller kostnadsjämförelser och aktivitetsjämförelser finns problem, inte minst med kostnadskalkylering (Pilcher, 2005; Northcott and , 2003; and Northcott, 2005). Holzer, 2001; Cavalluzzo och Ittner, 2004; , 2005; Modell och , 2006; , 2008) och att felaktigt valda mätetal kan leda till skenstyrning (pseudo control) (Hofstede, 1981), det vill säga en falsk upplevelse av att verksamheten kan kontrolleras och styras med hjälp av nyckeltalen. Andra problem när nyckeltalen ska väljas och tas fram är att se till att de är tillförlitliga och kommer i rätt tid som de inte är alltför kostsamma att få fram (Cavalluzzo och Ittner, 2004). Det handlar alltså om att ha tillräcklig administrativ kapacitet för att kunna ta fram ett relevant underlag – exempelvis i form av tid och kom- petens (et al. 1996; och , 2001) – utan att för den sakens skull dra på organisationen för höga administra- tionskostnader. I SOU 2005:110 påpekades särskilt vikten av att tidigarelägga publiceringen av statistiken så att ledningarna för de kommunala organisationerna får tillgång till ett relevant jämförelse- underlag i planerings- och budgeteringsarbetet. Ytterligare en försvårande omständighet när jämförelsenyckeltal ska väljas är att det kan råda delade meningar inom verksamheter om vad som är ett lämpligt resultatmått. I värsta fall kan olika uppfattningar i frågan skapa infekterade diskussioner som leder fram till så kallade frånstötningsprocesser, det vill säga att inflytelserika grupper i organisationen kraftfullt motsätter sig valda resultatindikatorer (, 2008). Att förklara varför informationen som tas fram i nyckeltals- jämförelser inte används är komplicerat eftersom de förklarings- faktorer som framträder i genomförda studier i många fall påverkar varandra. En ofta återkommande förklaring är att användarna har låg tilltro till mätetalen: de befarar att nyckeltalen inte är korrekt beräknade eller att de är beräknade på olika sätt i olika enheter och därför inte är jämförbara (Pilcher, 2005; Northcott och , 2003; van Helden och Tillema, 2005; , 2005; och , 2005; , 2008). En annan förklaringsfaktor som påverkar användningen är att mätetalen är svåra att tolka. Användarna kan ha dubier om huruvida de enheter som jämförs verkligen är jämförbara och frågar sig om inte skillnaderna främst avspeglar olika förutsättningar (et al. Användarna kan även uppleva att de nyckeltal som implementerats ger en ofullständig bild av verksamheten (Mayston, 1985; Ettorre, 1993). Vidare är prestationsnyckeltal och resultat- nyckeltal ganska ofta svåra att uttolka och använda som underlag för styrning (Modell och , 2006). När det gäller resultat- analyser är det svårt att fastställa i vilken utsträckning en enhet har bidragit till att resultatet uppnåtts och när det gäller prestations- nyckeltal är det ofta svårt att veta om det verkligen finns en koppling mellan enhetens prestation och det resultat som verk- samheten syftar till att åstadkomma. Svårigheterna har medfört att de aktörer – politiker eller tjänstemän – som är ansvariga för verk- samheter där det är svårt att tolka prestationer och resultat är motvilliga till att acceptera att ansvar utkrävs baserat på sådana mått (Pallot, 2001; ter Bogt, 2004). En tredje förklaring till avsaknad av användning är att infor- mationen inte är tillräckligt intressant för att motivera handling (jämför Cavalluzzo och Ittner, 2004). För att motivera användning är det viktigt med någon form av resultatindikatorer som tillsam- mans med information om kostnader ger användarna kunskap om verksamhetens effektivitet (, 2008, se även och , 2001). Här noteras alltså en koppling mellan imple- menteringsproblem och avsaknad av användning. Om intressantare indikatorer hade kunnat tas fram hade det påverkat användningen. I sammanhanget är det dock viktigt att påminna om att resultat- indikatorer också kan upplevas som hotfulla och ge upphov till frånstötningsprocesser och att de är svårtolkade. En fjärde förklaring till avsaknad av användning är att användarna inte ser någon anledning att nyttja informationen. Det kan givetvis bero på att nyckeltalen ger en bild av att verksamheten fungerar bra eller i alla fall inte sämre än genomsnittligt (och , 2003; et al., 1997) men det kan också bero på att den ekonomiska situationen är stabil. Låg grad av ekonomisk stress minskar användningsbenägenheten (, 2008). Dess- utom kan information som exempelvis tycks indikera kostnads- problem omtolkas av användarna och istället framställas som indikationer på höga ambitioner och hög kvalitet. En femte förklaringsfaktor är hur syftet med mätningen uppfattas. I princip kan nyckeltalsjämförelser användas på två sätt: 1) som underlag för att värdera enheters effektivitet och därigenom i någon utsträckning chefernas kompetens och 2) som ett sätt att identifiera problemverksamheter där åtgärder bör vidtas för att förbättra verksamheten. Från rapporteras att många chefer har uppfattat att de jämförelser som görs där i första hand syftar till att värdera hur kompetenta de är som chefer och det har gett upphov till ett defensivt förhållningssätt till jämförelserna. Dels blir det inte särskilt mycket fokus på verksamhetsförbättring och dels blir cheferna inriktade på att inte visa upp svagheter, vilket givetvis hämmar utvecklingsarbete (och , 2000; et al., 2002; och , 2003; de Bruijn och van Helden, 2006). En sjätte förklaringsfaktor, avslutningsvis, hänger samman med flera av de ovan nämnda och handlar om att det emellanåt kan ligga i politikers och andra befattningshavares intresse att ifrågasätta och bortse från nyckeltalsjämförelser. För den politiska majoriteten kan det vara viktigt att deras politik inte kopplas samman med ineffektivt bedriven verksamhet och för verksamhetschefer skapas en besvärlig situation om jämförelserna indikerar att de borde ta krafttag i sin verksamhet (Mayston, 1985; et al., 2002; Lapsley och , 2004; , 2005; van Helden och Tillema, 2005). Sammanfattningsvis: svårigheter kring nyckeltalsjämförelser handlar både om implementeringsproblem och avsaknad av använd- ning. Det finns viss koppling mellan avsaknad av användning och implementeringsproblemen och det finns givetvis mycket som kan förbättras när det gäller nyckeltalens riktighet, informations- innehåll, aktualitet och plats i planeringsprocessen men det går inte att hänföra användningsobenägenhet enbart till tekniska problem. Förklaringar måste även sökas i att aktörsgrupper emellanåt har intresse av att ifrågasätta och bortse från informationen. 4 Informationsbehov vid kundval Mycket av den information som samlas in och används vid nyckel- talsjämförelser aggregeras till region-, landstings- eller kommun- nivå, det vill säga jämförelser sker i första hand mellan kommunala organisationer. Även den officiella statistiken är ofta aggregerad till denna nivå. Sådan information är sannolikt värdefull för staten (som vill överblicka kommunsektorn), organisationsledningarna (som vill vara informerade om hur kommunen ligger till i jäm- förelse med andra) och eventuellt för medborgarna (som vill bilda sig en uppfattning om huruvida skattemedlen används effektivt). Däremot förefaller sådan information inte vara särskilt användbar för att stödja brukarna när de ska fatta beslut om vilken service- leverantör de ska vända sig till. Som kunder på en marknad bestående av konkurrerande leverantörer bör brukarna ha infor- mation om vilken kvalitetsnivå respektive leverantör håller och även andra aspekter som är betydelsefulla för den enskilda bruka- ren. Om sådan information saknas kommer marknaderna inte att fungera särskilt bra. I sammanhanget är det emellertid nödvändigt att reflektera över om inte kvalitetsinformationen måste brytas ner ännu längre för att vara relevant för kunderna på valfrihetsmarknaderna. För den enskilde skoleleven eller patienten är det ju egentligen inte särskilt mycket vunnet att informationen redovisas på serviceleverantörs- nivå istället för på kommunnivå om det avgörande är färdigheten hos den enskilde läraren eller läkaren. En annan fråga är hur mycket den nationella statistikinsamlingens utformning bör skräddarsys till dagens organisationsmode. Det är inte alls säkert att det nuvarande intresset för valfrihetsmodeller kommer att hålla i sig. För det första rymmer själva idén en ideologisk dimension vilket gör den sårbar för politiska majoritetsskiften. För det andra är modellen svårare att införa i kommunala organisationer belägna i delar av landet där det inte är lönsamt för externa leverantörer att etablera sig. För det tredje avstannar i allmänhet intresset för specifika organisationsmodeller och just när det gäller kundval är erfarenheten från tidigare försök att valfrihet begränsas eller avvecklas när kommunala organisationer får ekonomiska problem. När kostnader måste kontrolleras till varje pris blir det viktigare att ha fullt kapacitetsutnyttjande än att värna valfrihet. Huruvida bedömningen om valfrihetsmodellernas varaktighet i de kommunala organisationerna är korrekt eller inte kommer att visa sig men det finns ett annat starkt argument för att den nationella statistiken bör stödja informationsinsamling på mindre aggregerad nivå än region-, landstings- och kommunnivå. Argumentet är att nerbruten information på ett bättre sätt stödjer nämndspolitiker, förvaltningschefer och verksamhetsansvariga i deras arbete med uppföljning och verksamhetsutveckling. Ett sådant arbete bör vägledas av specifik information om olika enheters resurser, aktiviteter, prestationer och resultat. Att ta fram information som är användbar för aktörer i den operativa verk- samheten ligger i linje med det som emellanåt benämns modern verksamhetsstyrning (se exempelvis , 2001). En intressant fråga är vilken instans som ska ta på sig ansvaret för att tillhandahålla informationen. Flera instanser är tänkbara: statliga statistikansvariga myndigheter, de kommunala organisa- tionerna, externa serviceleverantörer och konsumentorganisationer. Det faller utanför ambitionen med den här rapporten att utvärdera för- och nackdelar med att placera ansvaret på respektive nivå. I den mån de kommunala organisationerna själva väljer att införa valfrihetsmodeller är det emellertid svårt att tänka sig att de ska avstå från att göra åtminstone någon form av kvalitetsbedömning av de externa aktörerna. Om valfrihetsmodeller införs på initiativ av den nationella nivån blir det mer oklart om det är den nationella eller kommunala nivån som är ansvarig för kvalitetsbedömningen. Oavsett vilken instans som kommer att tillhandahålla informa- tionen kommer det inom många verksamhetsområden vara kompli- cerat för brukarna på kundvalsmarknaderna att göra kvalitets- bedömningar och göra rätt val av serviceleverantör. Exempelvis är det svårt att utan ingående kunskaper värdera resultatnyckeltal inom hälso- och sjukvården eftersom vad som uppfattas som sämre behandlingsresultat kan förklaras av annat än kvali- teten på den medicinska behandlingen. Det är också svårt för brukarna att värdera vad för slags kvalitet som egentligen har mätts när olika serviceleverantörer visar upp resultaten från sina brukar- undersökningar. Om utvecklingen fortsätter med att allt fler kommunala organisationer tillskapar kundvalsmarknader är det svårt att bortse från att ett behov av konsumentvägledning upp- kommer. 5 Sammanfattning och slutsatser Den övergripande frågan i den här rapporten är hur den nationella statistikinsamlingen kan stödja uppföljning, styrning och verksam- hetsutveckling i kommunala organisationer. I detta avslutande avsnitt besvaras frågan genom att sammanfatta det förda resone- manget i rapporten och peka på några implikationer. Den forskning som har genomförts kring nyckeltalsjämförelser indikerar att de kommunala organisationerna oftare uppnår sina mål med nyckeltalsjämförelserna om man i talen lyckas fånga verk- samhetens prestationer och resultat. Följaktligen är organisation- erna betjänta av att dessa aspekter av verksamheten täcks in av den officiella statistiken så långt som det är möjligt, inte minst av kvalitetssäkrings- och jämförbarhetsskäl. De implementerings- och användningsproblem som nyckeltalsjämförelser emellanåt möter kan mildras av att den statistik de baseras på uppfattas som kvalitetssäkrad och tillhandahålls i tillräckligt god tid för att kunna ingå i organisationernas planerings- och budgeteringsprocesser. informationen samlas in och bearbetas – antingen av SKL eller av statliga myndigheter – på nationell nivå och presenteras i rapporter och på webbplatser kan också mildra problemen med att vissa organisationer saknar administrativ kapacitet att själva bearbeta informationen. Därutöver är det upp till de enskilda kommunala organisationerna att utveckla statistik (eller nyckeltal) som behövs för lokal uppföljning och styrning eller för att tillgodose lokala intressenter. Det finns dock även hinder mot användning som inte har med tekniska tillkortakommanden att göra utan snarare måste kopplas samman med att olika aktörsgrupper har starka motiv för att bortse från den framtagna informationen. Dagens intresse för valfrihetsmodeller ger argument för att framtidens statistik bör insamlas och presenteras på mindre aggre- gerad nivå än region-, landstings- och kommunnivå. Aggregerad information är av begränsat värde när brukarna själva ska välja serviceleverantör och kanske behöver brukarna till och med ännu mer nerbruten information. Huruvida valfrihetsmodellerna blir varaktiga eller inte i de kommunala organisationerna återstår att se men även om intresset för dem minskar finns andra argument för att samla in och redovisa statistik nerbrutet, nämligen att sådan information på ett helt annat sätt stödjer uppföljning och verksamhetsutveckling på operativ nivå. , J., Å. , Å. och K.A. Christophersen (2008), Factors behind organizational learning from benchmarking: Experiences from Norwegian Municipal Benchmarking Net- works, 18, 2: 297–320. Bogt, H. ter (2004), Politicians in search of performance infor- mation? Survey research on Dutch aldermens use of per- formance information, 22, 3: 221–252. , M. och A. (2000), Great expectations: bench- marking for best value, , April- : 21–26. , M., G. , A. och J. (2002), The evo- lution of benchmarking in UK local authorities, Benchmarking: 9, 5: 429–449. Bruijn, H. de och G.J. van Helden (2006), A plea for dialogue driven performance-based management systems; evidence from the Dutch public sector, Financial Accountability & Mana- gement 22, 4: 405–423. Cavalluzzo, K.S. och C.D Ittner (2004), Implementing per- formance measurement innovations: evidence from govern- ment, Accounting, Organizations and Society 29: 243–267.