prop · H90338 · 2021-11-01 00:00:00 — Däremot är resultatpresentationen i databasen både välanvänd200 och anses vara mer användarvänlig än presentation av resultat. I de kommuner vi intervjuat är det vanligt att hämta resultat från både och i Kolada. Det är däremot ofta Kolada som används för att arbeta med resultaten, laborera med data, göra analyser och jämförelser.201 Det överensstämmer med SKR:s undersökning där Kolada har en större upplevd nytta än samtliga produkter.202 Av intervjuerna framkommer att det både är enklare att hämta och att arbeta med resultatet i Kolada än på webbplats. Det är också enkelt att få fram sammanställningar och jämförelser, till exempel genom funktioner med automatiska jämförelser med diagram och trender. Kolada blir även mer av en helhet då flera indikatorsammanställningar är samlade i databasen och det finns därmed andra mått som till exempel kostnader att komplettera sina analyser med.203 Det webbverktyg som upphandlat för brukar- och enhetsundersökningen inom äldreomsorgen anses också vara användarvänligt. En av de intervjuade kommunföreträdarna menar att verktyget är uppskattat då det tar fram i princip färdiga Powerpointpresentationer med enskilda kommuners resultat. Det går också att göra djupare analyser direkt i verktyget.204 Den bilden delas av företrädare för Socialstyrelsen.205 4.3.5 RSS:ernas stöd har minskat och varierar mellan län RSS:erna har varit ett viktigt stöd för kommunerna i att använda öppna jämförelser. RSS:ernas stöd till kommunerna för öppna jämförelser varierar dock mellan olika län och det har minskat.206 198Faktabladen som började publiceras 2018 upplevs vara till mindre nytta än Excelfilerna. Användarguiderna, som inte publicerats , uppgav kommunerna att de haft lägre nytta av än av både Excelfilerna och faktabladen. (SKR 2019). 199Telefonintervju med företrädare för , . 200Enligt RKA:s mätningar är samtliga av landets kommuner aktiva i Kolada på årsbasis. Intervju med företrädare för , . 201Intervjuer med kommunföreträdare, , , 2020-11-16a, 2020-11-19d, . 202SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019. 203Intervjuer med kommunföreträdare, , , 2020-11-16a, . 204Intervju med kommunföreträdare, . 205Intervju med företrädare för , . För jämförelser mellan verksamheterna inom kommunerna inom äldreomsorgen tillhandahåller också verktyget Äldreguiden, som främst är riktat till brukare som ska välja hemtjänst eller boende. Äldreguiden stängdes dock ned . Ett nytt webbverktyg för att kunna jämföra hemtjänst och äldreboende är under utveckling. Telefonintervju med företrädare för . ”Äldreguiden”, hämtad . 206Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020. Intervjuer med företrädare för RSS:er, , . EN GRA N SKN I N GSRA PPO RT FRÅ N R IKS REV I EN Eftersom RSS:ernas verksamhet i huvudsak bedrivs på uppdrag av kommunerna och oftast finansieras av dem, beror deras stöd i viss mån på vilket stöd kommunerna efterfrågar. En anledning till det minskade stödet är att RSS:erna inte längre finansieras av staten efter att satsningen på evidensbaserad praktik upphörde och att de därmed har ett mindre utrymme för att ge stöd.207 En annan anledning till det minskade stödet är att kommunerna blivit mer vana vid öppna jämförelser och att frågorna i enkäterna blivit tydligare. Därmed har kommunernas behov av stöd i att tolka enkätfrågorna i öppna jämförelser minskat.208 En RSS-företrädare menar också att kommunerna med tiden blivit mer vana att hantera de stora Excelfilerna med resultat, och bättre på att sortera ut det som är viktigt för just den egna kommunen. En sorts mognad syns därmed hos kommunerna. sågs öppna jämförelser även som den enda uppföljningen medan man numera ser öppna jämförelser som en del av den uppföljning som bedrivs, vilket skulle kunna förklara ett minskat behov av stöd.209 Likadana synpunkter framförs av RKA.210 RSS:ernas stöd har därför förändrats något. De ger kommunerna stöd till att analysera resultat och använda dem för kvalitetsutveckling i större utsträckning . En del RSS:er sammanställer även kommunernas svar och identifierar gemensamma utvecklingsområden. Men även om vissa RSS:er ger mer stöd till analys så visar granskningen att stödet som helhet har minskat.211 Det innebär att kommunernas behov av stöd i just analys och användning av resultaten i öppna jämförelser för kvalitetsutveckling riskerar att inte uppfyllas. Av våra intervjuer med kommunföreträdarna framgår också att RSS:ernas stöd för öppna jämförelser varierar mellan olika län.212 Kommunernas upplevda nytta av RSS:erna stöd i arbetet med öppna jämförelser varierar också enligt SKR:s medlemsundersökning. Variationen gäller inte mellan delområden utan är generell för samtliga delområden.213 Alla RSS:er arbetar inte heller med socialtjänstfrågor.214 207Intervju med företrädare för , . 208SKR, svar från faktagranskning, . 209Intervju med företrädare för , . 210Intervju med företrädare för , . 211Riksrevisionen, Enkätundersökning till regionala samverkans- och stödstrukturer, 2020. Intervjuer med företrädare för RSS:er, , , , . 212Den ena kommunen har en RSS som inte alls arbetar med frågor som rör socialtjänst och har därmed inte fått något stöd. Den andra kommunen har inte fått något stöd av sin RSS trots att de arbetar med frågor som rör , medan den tredje kommunens RSS i ett tidigare skede haft utbildningar i att tolka frågorna i enkäterna. Intervju med kommunföreträdare, , , , 2020-11-16a. 213SKR, Medlemsundersökning om ÖJ socialtjänst 2019, 2019. 214Alla län har någon form av RSS men omfattningen och vilka frågor som RSS:erna arbetar med varierar. Vissa arbetar till exempel enbart mot hälso- och sjukvård, andra enbart mot eller mot välfärdsområdet mer allmänt. Intervju med företrädare för , . , Enkätundersökning till regionala samverkans- och stödstrukturer, 2020. ÖPPN A JÄ M FÖ RELS ER I SOC I A LTJÄ N – BEGRÄ N SA T G TI LL GO D KVA LIT ET 5Begränsad nytta för statlig uppföljning och styrning I kapitlet redovisar vi våra iakttagelser för delfråga 3: Bidrar öppna jämförelser till statens uppföljning och styrning av ? en sammanfattning av iakttagelserna. Vår sammantagna bedömning är att öppna jämförelsers bidrag till den statliga uppföljningen och styrningen av är begränsat. och regeringen använder öppna jämförelser till att följa trender i . De uppger att resultaten ger en bra lägesbild av hur det ser ut inom olika verksamhetsområden. uppger dock att de i begränsad utsträckning har analyserat resultaten i öppna jämförelser, även om de vill utöka sina resultatanalyser. Regeringen använder också bara ett fåtal, främst verksamhetsnära, indikatorer från öppna jämförelser för att visa på utveckling och bedöma kommunernas resultat. För att uppföljning ska ha ett värde bör den omsättas i åtgärder. Det är i granskningen inte tydligt om den nationella uppföljningen via öppna jämförelser lett till åtgärder för att styra . 5.1Socialstyrelsen analyserar resultaten i öppna jämförelser i begränsad utsträckning Öppna jämförelser ingår som en del av samlade uppdrag att bidra till nationell uppföljning inom . Myndigheten har ett brett uppdrag där nationell uppföljning innebär att följa, jämföra och utvärdera insatser och åtgärder, samt utvärdera kvalitet.215 Enligt strategin som 2009 fastslog den övergripande inriktningen för öppna jämförelser ska de främja och stödja nationella policybeslut.216 uttrycks det istället som att öppna jämförelser ska kunna användas för att följa nationella trender.217 Det är i huvudsak också på detta sätt uppger att de använder öppna jämförelser.218 Resultat från öppna jämförelser inom publiceras i tre av årliga lägesrapporter: Individ- och familjeomsorg, Insatser och stöd 215Governo, Förstudie: Utveckling av öppna jämförelser inom socialtjänst och hälso- och sjukvård, på uppdrag av , 2020, s. 6. 216Regeringsbeslut S2009/5079/ST. 217Socialstyrelsen, ”Om öppna jämförelser av socialtjänst och hälso- och sjukvård”, hämtad 218Intervjuer med företrädare för , . EN GRA N SKN I N GSRA PPO RT FRÅ N R IKS REV I EN till personer med funktionsnedsättning och Omsorg till äldre.219 Resultaten redovisas även i årsredovisningar. I lägesrapporterna och årsredovisningarna redovisas sammanställningar och analyser av resultaten i öppna jämförelser. Produkterna innehåller inga fördjupade analyser för att till exempel utvärdera kvalitet eller stödja nationella policybeslut. har inte heller genomfört fördjupade eller systematiska analyser av resultaten i öppna jämförelser i syfte att utveckla indikatorer. uttrycker dock en ambition om att använda och analysera resultaten i öppna jämförelser mer.220 Den omorganisation som genomfördes , där arbetet med öppna jämförelser placerades på analysavdelningen istället för på statistikavdelningen, var ett led i den riktningen.221 Syftet med omorganisationen var bland annat att öka förutsättningarna för fler interna analyser, något som för vår granskning ännu inte realiserats.222 har även en förstudie genomförts för att undersöka kommunernas användning och nytta av öppna jämförelser, och hur jämförelserna kan bli en större del i den nationella uppföljningen.223 5.2 Oklar nytta för regeringens uppföljning och styrning presenterar resultaten från öppna jämförelser för i samband med publicering.224 Regeringen använder resultaten från öppna jämförelser i sin uppföljning av . I handlingsplanen –2018 bedömer regeringen att öppna jämförelser leder till att kvaliteten i förbättras och därmed att ett ökat värde uppnås för de medborgare som verksamheterna är till för.225 uttrycker att de genom öppna jämförelser kan följa trender då resultaten ger en bra lägesbild om hur det ser ut inom olika verksamhetsområden.226 uppger också att resultaten från öppna jämförelser vid behov används som kunskapsunderlag tillsammans med andra källor inom ramen för till exempel lagstiftningsarbeten eller som underlag till regeringsuppdrag och propositioner.227 219Socialstyrelsen, Öppna jämförelser socialtjänst och hemsjukvård - Slutrapport utifrån handlingsplanen –2018, 2019 och Intervju men företrädare för . 220Intervjuer med företrädare för , , . Telefonintervju med företrädare för . 221Intervjuer med företrädare för , . 222Intervju med företrädare för , . 223Intervju med företrädare för , . 224Intervju med företrädare för , . 225Socialdepartementet, Öppna jämförelser inom och hemsjukvården, handlingsplan –2018, 2015. 226Intervju med företrädare för , . ÖPPN A JÄ M FÖ RELS ER I SOC I A LTJÄ N – BEGRÄ N SA T G TI LL GO D KVA LIT ET uttrycker att öppna jämförelser bara är ett av många underlag som de använder för att följa och styra . gör sällan egna analyser baserat på resultat i öppna jämförelser men kan be om vissa fördjupningar av resultat.228 Sammantaget är det inte tydligt av granskningen i vilken mån resultaten omsätts i styrning av socialtjänstområdet. Det tydligaste nationella användningsområdet av resultaten i öppna jämförelser, och också det enda regelbundna, är i regeringens årliga budgetproposition. I budgetpropositionen används resultatet för att visa på utveckling inom olika verksamheter. I budgetpropositionen användes hänvisningar till öppna jämförelser inom sammanlagt 18 gånger.229 I budgetpropositionen använder regeringen också ett antal resultat- och bakgrundsindikatorer för att bedöma resultatet inom de olika politikområdena. Ett fåtal av indikatorerna från öppna jämförelser används av regeringen i detta syfte.230 uttrycker att ambitionen är att använda samma resultatindikatorer inom ett område över tid.231 Sju av de totalt nio indikatorer från öppna jämförelser som regeringen använder kan kategoriseras som verksamhetsnära. Strukturindikatorerna aktuell överenskommelse om samverkan inom ekonomiskt bistånd och rutiner för att säkra rätten till skolgången för barn i skyddat boende inom våld i nära relationer ligger på en hög beslutsnivå i kommunerna i förhållande till det arbete som utförs Inom äldreomsorgsområdet är tre av fyra indikatorer brukarbedömningar som hämtas från brukarundersökningen Vad tycker de äldre om äldreomsorgen? Dessa tillhör även gruppen resultatindikatorer inom öppna jämförelser. Den fjärde, olämpliga läkemedel i gruppen (i särskilt boende eller hemtjänst), är en registerindikator som kategoriseras som processindikator inom öppna jämförelser. 228Intervju med företrädare för , . 22918 hänvisningar till totalt 13 unika indikatorer. 2020/21:1 utgiftsområde 9, bet. 2020/21:SoU1, rskr. 2020/21:156. 230Regeringens indelning av resultat- och bakgrundsindikatorer motsvarar inte kategorisering av resultat-, struktur-, process- och bakgrundsindikatorer i öppna jämförelser. 231Intervju med företrädare för , . EN GRA N SKN I N GSRA PPO RT FRÅ N R IKS REV I EN Följande 9 indikatorer från öppna jämförelser används i budgetpropositionen : •Andel äldre som uppger att de är ganska eller mycket nöjda med eller särskilt boende. •Bemötande, förtroende och trygghet i äldreomsorgen. •Andel äldre som upplever inflytande och tillräckligt med tid i utförandet i hemtjänst ellersärskilt boende. •Olämpliga läkemedel i gruppen (i särskilt boende eller hemtjänst). •Antal mottagare av ekonomiskt bistånd. •Andel kommuner som har en aktuell överenskommelse om samverkan med Arbetsförmedlingen. Social barn- och ungdomsvård •Antal anställda handläggare med socionomexamen och erfarenhet av barnutredningar samt erfarenhet av barnutredningar. Våld i nära relationer •Antal kommuner som använder standardiserade bedömningsinstrument för våld i nära relationer. •Antal kommuner som har rutiner för att säkra rätten till skolgången för barn i skyddat boende. Källa: Prop. 2020/21:1 utgiftsområde 9, s. 126–128, bet. 2020/21:SoU1, rskr. 2020/21:156. ÖPPN A JÄ M FÖ RELS ER I SOC I A LTJÄ N – BEGRÄ N SA T G TI LL GO D KVA LIT ET Öppna jämförelser i är en sammanställning av indikatorer som tas fram av i samverkan med SKR för att bidra till god kvalitet De ska användas av kommunerna till uppföljning, jämförelser och utveckling av sin verksamhet och bör svara mot deras behov. De ska vara ett medel för statens styrning med kunskap och kunna användas för nationell uppföljning och styrning. Vår övergripande slutsats är att öppna jämförelser ger ett visst, men begränsat, bidrag till en mer jämlik socialtjänst av god kvalitet. Granskningen visar att öppna jämförelser fyller ett behov för såväl kommunerna som staten. Eftersom det finns få alternativ till de årliga nationella mätningar som öppna jämförelser utgör bedömer vi att de bör finnas kvar. är kommunernas nytta av öppna jämförelser för uppföljning och kvalitetsutveckling begränsad i förhållande till deras omfattning. Kommunerna uppfattar de signaler som staten ger genom öppna jämförelser, men genomslaget av den statliga styrningen med kunskap är litet. Nyttan av öppna jämförelser för uppföljning och styrning på nationell nivå är också begränsad. bör därför utveckla öppna jämförelser till ett mer ändamålsenligt medel för kommunerna, kunskapsstyrning och nationell uppföljning. Och regeringen bör ge bättre förutsättningar för en sådan utveckling. I följande avsnitt utvecklar vi och diskuterar våra slutsatser. Öppna jämförelsers bidrag till kvalitetsutveckling varierar Öppna jämförelser ska fungera som ett medel för en kommun att följa sin verksamhet . Granskningen visar att ur ett kostnads–nytto-perspektiv har öppna jämförelser i som helhet ett begränsat värde för en kommun. Inom vissa av delområden uppger en stor andel av kommunerna att de använder öppna jämförelser för kvalitetsutveckling. Men i förhållande till de totalt omkring 400 indikatorerna är det få som används för detta ändamål. Det är framför allt inom delområden som innehåller resultatindikatorer och indikatorer som mäts på enhetsnivå som kommunerna uppger att de använder och har nytta av öppna jämförelser. Kommunerna som intervjuats i granskningen har med något undantag inte heller använt indikatorerna i öppna jämförelser särskilt systematiskt . Dessutom upplevs inrapporteringen av de många indikatorerna som förhållandevis krävande. Tyngdpunkten i arbetet med öppna jämförelser ligger för många kommuner också snarare i att tolka och fylla i enkäterna än i att använda resultaten i nästa steg, för uppföljning och kvalitetsutveckling. EN GRA N SKN I N GSRA PPO RT FRÅ N R IKS REV I EN Den benchmark-idé som öppna jämförelser ursprungligen mynnar ur syftar i främst till att kommuner ska lära av varandra. De intervjuade kommunerna i granskningen har visserligen koll på hur de ligger till i öppna jämförelser, men de lägger inte så stor vikt vid om de är sämre än andra kommuner. De förhåller sig självständigt till ett dåligt resultat och väljer vilka frågor som det lämpar sig för den egna kommunen att satsa på. Det lärande utbytet med andra kommuner är också begränsat till enstaka fall. Att kommunerna jobbar efter sina egna förutsättningar är naturligt, men det innebär också att den jämförande mekanismen i öppna jämförelser inte är så stark. Det bekräftas av att kommunerna enligt vår statistiska analys inte förbättrar sina resultat i öppna jämförelser i förhållande till jämförelsekommuner. Öppna jämförelser är också en del av statens styrning med kunskap. Det kunskapsstyrande syftet har fått större vikt i arbete med öppna jämförelser. Genom att en indikator ingår i öppna jämförelser får kommunerna en signal från staten om att en kvalitetsaspekt inom är önskvärd att arbeta med. Det ger kommunerna en för dem välkommen checklista på vad staten anser är viktigt för god kvalitet, och utgör en grund för prioriteringar. Indikatorerna ger också information om vilka kunskapsbaserade arbetssätt och metoder som finns att använda. För är resultaten i öppna jämförelser en kartläggning av hur kunskapsstyrningen fungerar. Men för majoriteten av de indikatorer vi undersökt i vår statistiska analys ser vi inga tydliga resultatförbättringar , vilket indikerar att kunskapsstyrningen inte har så stort genomslag i kommunerna. I många fall torde den upplevda nyttan av en indikator för kommunerna sammanfalla med nyttan för staten och dess styrning med kunskap. Men i vissa fall behöver öppna jämförelser innehålla indikatorer som kommunerna inte ser någon omedelbar nytta med. Det kan till exempel handla om att införa en kunskapsbaserad handläggningsmetod som menar är lämplig för ökad kvalitet men som kommunerna kanske inte ser behovet av eller inte har resurser att implementera. väljer kommunerna själva hur de ska utveckla sin verksamhet och kunskapsstyrningen i öppna jämförelser kan därför inte vara för långtgående. Men en brist är att inte har gett kommunerna tillräckligt stöd i hur de kan använda indikatorerna för kvalitetsutveckling. har inte heller tydligt definierat hur öppna jämförelser ska ingå i det övriga arbetet med kunskapsstyrning på myndigheten. Öppna jämförelser ska också kunna användas av och regeringen för att följa utvecklingen i . För att uppföljningen ska ha ett värde bör den också omsättas i åtgärder. Granskningen visar att och regeringen endast använder en mindre andel av indikatorerna i öppna jämförelser för uppföljning, och precis som kommunerna följer de främst resultatindikatorer ÖPPN A JÄ M FÖ RELS ER I SOC I A LTJÄ N – BEGRÄ N SA T G TI LL GO D KVA LIT ET och verksamhetsnära indikatorer. Det är exempelvis sådana indikatorer som regeringen regelbundet följer i budgetpropositionen. uppger också att de i begränsad utsträckning har analyserat resultaten i öppna jämförelser, även om de vill utöka sina resultatanalyser. Det är i granskningen inte heller tydligt om den nationella uppföljningen via öppna jämförelser omsatts i åtgärder. Många av de indikatorer som inte används av kommunerna för kvalitetsutveckling tjänar därför inte heller något tydligt syfte på nationell nivå. Risken finns att vissa indikatorer mer är ”bra att ha”, än är till nytta. måste kommunerna lägga tid på inrapportering av dessa indikatorer. bör göra en kritisk översyn av indikatorer Det är svårt att definiera vad som är kvalitet i . En brist på individbaserad statistik och evidensbaserade metoder begränsar möjligheter att utveckla indikatorer. Det gör också datainsamlingen tidskrävande för kommunerna och försvårar kontroll av datakvaliteten. En konsekvens är att majoriteten av indikatorerna i öppna jämförelser är struktur- eller processindikatorer och mäter förutsättningar för kvalitet snarare än kvalitet följer dock inte systematiskt upp hur dessa indikatorer implementeras av kommunerna och därmed om de leder till en kvalitetshöjning i . Att de indikatorer som mäter förutsättningar för kvalitet fångar kvalitetsutveckling bygger därför till viss del på antaganden som inte verifierats. Det finns därmed en lucka i och regeringens kunskaper om huruvida öppna jämförelser verkligen mäter det som är dess slutmål – god kvalitet i . kan ge kommunerna bättre förutsättningar att öka kvaliteten i genom öppna jämförelser. bör systematiskt se över indikatorerna och förbättra sitt stöd till kommunerna att använda dem för kvalitetsutveckling. För att endast de indikatorer som är till tydlig nytta för kvalitetsutveckling ska ingå i öppna jämförelser behöver : •undersöka vilka indikatorer som inte används av och inte är till nytta för kommunerna •undersöka om och hur de indikatorer som används av kommunerna bidrar till kvalitetsutveckling •undersöka vilka indikatorer som inte används eller uppfylls men som kan vara till nytta om de förstås bättre av kommunerna, genom att tydliggöra kopplingen till statens kunskapsstyrning •ta bort de indikatorer som varken är till nytta för kommunerna, den statliga kunskapsstyrningen eller statlig uppföljning. I denna översyn och analys bör kommunerna involveras. Utifrån analysen kan dels minska antalet indikatorer i öppna jämförelser, dels förbättra EN GRA N SKN I N GSRA PPO RT FRÅ N R IKS REV I EN de kvarvarande indikatorerna och i samarbete med SKR, RKA och RSS:erna ge ett mer precist stöd till kommunerna i att använda öppna jämförelser för kvalitetsutveckling. har inlett ett fördjupat arbete med att utveckla indikatorer och förbättra stödet till kommunerna, och det bör fortsätta. har också förbättrat den interna systematiken i arbetet med öppna jämförelser i förhållande till myndighetens andra uppgifter, men den kan utvecklas ytterligare. Vi bedömer att det är särskilt viktigt att tydliggör hur öppna jämförelser ska vara en del av övriga insatser för statens styrning med kunskap. kan också förbättra sina kontroller av datakvaliteten i öppna jämförelser. Regeringen bör ta initiativ till bättre uppföljning av har begränsade rättsliga möjligheter att hämta in och hantera individbaserad statistik från kommunerna. Det är ett hinder för uppföljning av och har upprepade gånger uppmärksammat regeringen på behovet av ökade statistikbefogenheter. Regeringen bör ta initiativ till att de lagändringar som i så fall krävs kommer till stånd. Frågan om statistikinsamling är bredare än öppna jämförelser, och det är inte givet att just öppna jämförelser är det rätta verktyget för presentation av sådana data. Dessutom bör nyttan vägas mot integritet för individen och initiala kostnader för kommunerna. Men bättre möjligheter till statistikhantering skulle underlätta uppföljning, och skulle datainsamlingen från kommunerna troligtvis kunna automatiseras och förenklas. Regeringen bör vidta åtgärder för att samordna den indikatorbaserade uppföljningen av Det finns vinster med att samordna uppföljningen av och regeringen bör vidta åtgärder för att skapa ett mer sammanhållet system för indikatorbaserad uppföljning. Öppna jämförelser har ökat kunskaperna om . När de utvecklades fanns inte någon motsvarighet, och de är fortfarande ett viktigt medel för uppföljning i avsaknad av andra regelbundna mätningar som täcker in alla kommuner. Men granskningen visar att öppna jämförelser har minskat Kommunerna i granskningen och företrädare för RSS:erna uttrycker att öppna jämförelser spelar mindre roll nu än när de infördes.