sou · H7B359d6 · 2019-12-12 00:00:00 — Perioden som bedömts är eftersom det vid genomförandet av studierna är det senaste helåret med tillgängliga statistikuppgifter (t ex summa utbetalningar ). Eventuella förändringar som skett eller 2018 har dock beaktats av experterna i bedömningarna.1 Enligt Delegationen för korrekta utbetalningar definieras en felaktig utbetalning på följande sätt: ”En utbetalning är felaktig om det slutliga beloppet blir för högt, för lågt eller i sin helhet fel i förhållande till gällande regler och avtal.” I definitionen ingår både upptäckta fel (innefattar således fel där återkrav skett) och oupptäckta fel. Se även appendix Definition av felaktiga utbetalningar för hela beskrivningen av denna definition. De felaktiga utbetalningarna grupperas utifrån delegationens orsaksindelning: 1. Felaktiga uppgifter vid ansökan 1Regelverket för samordning mellan myndigheter ändrades från 1/1 2018 och gör den myndighet som avser att betala ut i efterhand för en period (oftast ) en kontroll mot den andra myndigheten så att det inte redan har betalats ut ersättning för den nu begärda tiden. Den sammanlaga omfattningen för utbetalningen för perioden kan max bli . Risken för felaktigheter i denna kategori har således minskat radikalt för studiemedel . I uppskattningen för studiemedel i har experterna tagit hänsyn till denna regeländring så denna tidigare risk och osäkerhet kring omfattningen är exkluderad. 2.Ej anmält ändrade förhållanden 3.Ej tillräckliga uppgifter (i ärendet) för att fatta korrekt beslut 4.Tillräckliga och korrekta uppgifter, fel beslut 5.Utbetalning felaktig, trots rätt beslut 6.Ändrade förhållanden ej omhändertagna (av myndigheten) Se appendix Orsaksindelning inom omfattningsstudierna för en beskrivning av de sex orsaksindelningarna och hur de avgränsar mot varandra. Bedömningen av de felaktiga utbetalningarna redovisas i för mycket respektive för lite utbetalt. 1.4.2.Fel i systemöverskridande uppgifter För sjukpenning och sjukersättning uppskattades även felaktiga utbetalningar som orsakats av fel i två systemöverskridande uppgifter. Dessa uppgifter är sådana som har betydelse för rätten till eller ersättningens storlek i flera olika ersättningssystem. För sjukpenning uppskattades fel orsakade av fel i sjukpenninggrundande inkomst (SGI) och för sjukersättning uppskattades fel orsakade av fel i försäkringstillhörighet (FTH). Se vidare under respektive kapitel. 1.5.Tillvägagångssätt för att bedöma omfattning Bedömningarna av omfattningen sker baserat på riktlinjer för tillämpning av Expert Elicitation. I detta avsnitt beskrivs hur det praktiska arbetet gått till vid bedömningen av omfattningen av felaktiga utbetalningar med hjälp av Expert Elicitation. Utgångspunkten har varit utgiftsnivå. För att ta reda på en populations egenskaper (t.ex. omfattningen av alla felaktigheter inom ett utbetalningssystem) ger undersökningar av hela populationen den säkraste kunskapen. I praktiken är dock totalundersökningar sällan möjliga på grund av praktiska eller ekonomiska hinder. Därför tillämpas ofta stickprovsunderökningar där statistisk inferens tillämpas för att från en slumpmässigt urval av populationen uppskatta hela populationens egenskaper. I vissa fall finns det även praktiska, ekonomiska eller juridiska hinder för att få fram information om alla relevanta egenskaper för att kunna göra uppskattningar om dessa. När det gäller felaktiga utbetalningar kan vissa risker vara mycket svåra att upptäcka med exempelvis slumpmässiga kontroller. Detta beskrivs i vissa sammanhang som ett mörkertal. En möjlighet är då att komplettera data och annat empiriskt grundat material med kunskap och erfarenheter som experter på området besitter, för att skaffa sig en helhetsbild. Expert Elicitation är en teknik att extrahera ämnesexperters kunskap för att uppskatta okända kvantiteter. De riktlinjer som förespråkas för hur man ska gå till väga för att göra uppskattningar med hjälp av ämnesexperter baserar sig på tvärvetenskaplig forskning där flertalet forskningsämnen bidragit (t ex forskning inom statistik och psykologi, som åskådliggörs med Juslins och Horas arbete i avsnitt 1.5.2 nedan). Genom en systematisk process skapas sannolikhetsbaserade uppskattningar. Den procedur som tillämpas syftar till att göra underlagen för beslut så transparenta, välgrundade och objektiva som möjligt. Experterna har tillgång till befintliga fakta (data, statistik och annan relevant information) och kombinerar fakta med sin specifika expertis på området (t.ex. från kontrollverksamhet, handläggning, forskning, utredningsverksamhet). Liksom i fallet med stickprovsundersökningar finns en osäkerhet i uppskattningarna som redovisas i form av spridningsmått eller osäkerhetsintervall. Osäkerhetsintervallet beskriver spridningen i experternas sammantagna bedömningar av felens omfattning. Till skillnad från de osäkerhetsintervall som anges vid stickprovsundersökningar (konfidensintervall baserade på ett urval av data), så baseras osäkerhetsintervallen på subjektiva sannolikheter utifrån experternas ämneskunskap. Det är alltså experternas sammanvägda bedömning för sannolikheten att omfattningen ligger inom olika intervall som ligger till grund för framtagna osäkerhetsintervall. För ett 90 procents osäkerhetsintervall har extremvärdena, de lägsta och högsta värdena exkluderats (i båda ändar) i experternas aggregerade sannolikhetskurva. Osäkerheten (osäkerhetsintervallet) i uppskattningarna blir normalt större ju mindre empiriskt grundat underlag som finns tillgängligt. En redovisning av osäkerhetsintervall ger ansvariga beslutsfattare en uppfattning om den osäkerhet som är förknippade med bedömningarna, vilket kan påverka dessas slutsatser kring t.ex. lämpliga åtgärder eller prioriteringar. Expert Elicitation började tillämpas , då den myndighet i som hanterar kärnavfall, Nuclear Regulatory Commission, upplevde problem att tolka och sammanväga experters olika bedömningar. NCR tog därför hjälp av forskare för att utveckla en teknik för detta. Riktlinjerna för Expert Elicitation baseras på grundläggande metodik snarare än ämnesspecifika egenskaper, t ex statistisk metodik och forskningsresultat i psykologi avseende tillämpning av inuitiva bedömningar för att undvika olika typer av bias. finns goda förutsättningar att tillämpa tekniken även inom andra områden, vilket också skett, exempelvis inom ekonomisk tillväxt.2 1.5.2.Tidigare omfattningsbedömningar med Expert Elicitation genomfördes omfattningsstudier inom ramen för FUT-delegationens arbete och resultatet presenterades i rapporten ”Vad kostar felen?”. I det arbetet tillämpades Expert Elicitation på totalt 16 ersättningssystem. genomfördes en studie inom ramen för Samverkansuppdrag mot felaktiga utbetalningar från välfärdssystemen (Samverkansuppdraget) som samordnade.3 Syftet var att kunna ta ställning till en lämplig metod för att genomföra omfattningsstudier. Ett krav var att metoden även skulle fånga det så kallade mörkertalet. En möjlig metod är då att genomföra omfattande djupstudier för respektive system. Inom ramen för Samverkansuppdraget bedömdes detta som alltför omfattande och dyrt om det skulle genomföras med viss kontinuitet. Dessutom skulle denna metod inte fånga och därmed ändå behöva kompletteras. Rekomendationen blev att omfattningsstudierna skulle genomföras med hjälp av expertbedömningar. Därför tillämpades Expert Elicitation även inom ramen för Samverkansuppdraget. Metodansvarig för omfattningsbedömningarna som genomfördes av FUT-delegationen och Samverkansuppdraget och även de nu aktuella bedömningarna har varit . De steg som tillämpats för att ta fram uppskattningar utifrån riktinjer inom Expert Elicitation har varit desamma vid de olika tillfällena. Däremot har kategoriseringen av orsakerna till de felaktiga utbetalningarna förändrats. Även definitionen av felaktiga utbetalningar har ändrats, vilket särskilt påverkar ersättningssystem med stora inslag av bedömning. Felen ska vara uppenbart utanför bedömningsutrymmet för att inkluderas i denna omfattningsbedömning. års omfattningsbedömning var , professor i statistik på , involverad som metodstöd i arbetet. Vid omfattningsbedömning inom ramen för Samverkansuppdraget fungerade , professor i kognitiv psykologi vid Universitetsom metodstöd. Båda har bidragit aktivt med forskningsresultat inom Expert Elicitation4. 2The accountability imperative for quantufying the ucertainty of emission forecasts, Puig and Morales- Nápoles 2017 3Se bl.a. Samverkansuppdrag mot felaktiga utbetalningar från välfärdssystemen 2010 (2011:11) ESV, dnr 10- 152/2009. 4Exempel på artiklar är Expert elicitation methods and tools, Hora 2009, Expert Judgement, Hora 2008, Acquistition of Expert Judgement, Hora 1992, Controlled information integration and Bayesian inference, Juslin 2015, Decisions from experience Juslin 2006, subjective probability intervals. I har Expert Elicitation tillämpats för att uppskatta omfattningen av missbruk inom sjukpenning.5 Inom varje utbetalningssystem väljs 5-6 ämnesexperter ut. Detta är det antal experter som rekommenderas av 2014.6 Det illustreras även i en figur från statistikprofessor , (som granskade tidigare genomförda omfattningsbedömningar med Expert Elicitation, FUT 2007). Figuren baseras på ett empiriskt test med för honom kända men för experterna okända värden. Tabellen visar att träffsäkerheten i experternas sammanvägda uppskattning ökar ju fler experter som involveras, men med en avtagande marginalnytta efter 5-6 experter. % of Perfect Calibration Average Calibration Score of De utvalda personerna ska inneha sådan kunskap att de baserat på sin specialistkompetens och med hjälp av bakgrundsmaterial kan göra en kvalificerad bedömning av den kvantitet som ska bedömas. Utgångspunkten för dessa omfattningsbedömningar har varit att en heterogen grupp av experter väljs ut i syfte att få fram de som kan svara på frågeställningen bäst som olika synvinklar finns representerade. ”Misbruk av sykepengeordningen i folketrygden” 6Use of Expert Elicitation in support of decision making for public policy, M Grange 2014 Inför att experterna påbörjar arbetet görs en kunskapsöversyn och ett kunskapsunderlag skapas. Det består av befintlig kunskap i form av data, statistik, rapporter, riskanalyser och arbetsmaterial som anses relevant för att uppskatta omfattningen av felaktiga utbetalningar. Detta görs för varje utbetalningssystem och underlagen beskrivs i resultatdelens appendix. Materialet är dock inte heltäckande. Underlagen tar inte upp alla risker till felaktiga utbetalningar och innehåller inte alla nödvändiga kvantifieringar av de felaktiga utbetalningarna som uppstår. Därför granskar och utvärderar experterna materialet samt kompletterar underlaget med eget arbetsmaterial och egna erfarenheter. Syftet är att ta fram individuella expertbedömningar som tar hänsyn till alla risker för felaktigheter inom utbetalningssystemet. Experternas insats i omfattningsarbetet består av följande moment: 1)Läsa igenom och bidra med eventuella komplement till kunskapsunderlag 2)Delta på seminarium 1 3)Ta fram preliminär bedömning av omfattningen av de felaktiga utbetalningarna 4)Delta på seminarium 2 5)Ta fram definitiv bedömning av omfattningen av de felaktiga utbetalningarna 6)Läsa igenom och godkänna rapport Syftet med första seminariet är att gå igenom frågeställningen och diskutera kunskapsunderlaget. Detta medger även möjlighet till kunskapsutbyte mellan experterna. Under det första seminariet diskuteras och tydliggörs avgränsningar, orsakindelning och definitioner tillsammans med en representant från . Dessutom får experterna öva sig i att uttrycka sig med hjälp av sannolikheter och de uppmärksammas på psykologiska fallgropar som är vanliga i samband med intuitiva bedömningar.7 Experterna får efter seminarium 1 i uppgift att arbeta fram en individuell omfattningsbedömning. 7Se t ex Gilovich, T., , D. W., & Kahneman, D. (2002). Inferences, heuristics, and biases: New directions in judgment under uncertainty, : Under seminarium 2 redovisar experterna sina respektive uppskattningar. Diskussioner förs i syfte att förstå experternas olika sätt att bedöma de felaktiga utbetalningarna samt ge möjlighet att ifrågasätta varandras tillvägagångssätt och antaganden. Syftet är att kvalitetssäkra det arbete och de bedömningar som gjorts. Experterna får efter seminarium 2 möjlighet att justera sina bedömningar om nya insikter framkommit under seminariet. Därefter skickar experterna in sina definitiva uppskattningar som ligger till grund för resultatet för respektive ersättningssystem. Experterna lämnar in individuella uppskattningar baserade på sina respektive erfarenheter och expertkunskaper samt informationen i det framtagna kunskapsunderlaget (samlade relevant kunskap och data/statistik på området). En bedömning som inkluderar alla identifierade felaktigheter inom utbetalningssystemet görs. Den uppskattade omfattningen av fel fördelas på olika orsaker enligt den fastställda orsaksindelning som grundar sig på var i ärendekedjan felen uppstår. Detta ökar möjligheterna att kunna vidta lämpliga åtgärder för att reducera de felaktiga utbetalningarna. Beloppen för omfattningsbedömningarna är avrundade men redovisas med upp till en decimals noggrannhet. Avrundningarna är anpassade till det sammanhang de redovisas i8 och ska inte tolkas som att resultatet är säkrare ju mindre det är avrundat. För att beskriva osäkerheten i bedömningarna av de totala felaktiga utbetalningarna redovisas ett osäkerhetsintervall. För att beskriva osäkerheten i bedömningarna av respektive orsakskategori redovisas istället ett spridningsmått, kvartilavstånd. Måtten visar på olika sätt hur stor spridning det är mellan experternas bedömningar. Detta mått är en indikation på uppskattningens säkerhet och hur bra kunskap som finns om de felaktiga utbetalningarna på ansvarig myndighet eller kommun. Andelen felaktiga utbetalningar där för mycket utbetalats redovisas utifrån experternas individuella sannolikhetskurvor för andelen fel.9 Experternas svar vägs samman genom att slå samman de individuellt inlämnade bedömningarna och relaterade sannolikheter.10 8Vid framräknande av alla enskilda resultat utgår beräkningarna från de ursprungliga exakta siffrorna, varav härledning via de redovisade avrundade talen kan ge marginellt andra resultat. 9Experten får ange sannolikheterna för att andelen fel ligger inom olika intervall. Därav skapas en sannolikhetskurva som innefattar det experten anser är alla möjliga intervall (nivåer) andelen kan vara. 10Empirisk utvärdering visar att matematisk aggregering ger bättre resultat än intuitiv sammanvägning av experternas resultat, se and . Winkler, Aggregation of Expert Probability Judgments, kapitel 9, s 27. Denna medelvärdesprocedur har egenskapen att gruppfördelningen blir bredare än individernas fördelningar. är just detta en av fördelarna med metoden eftersom individernas fördelningar kan vara ”överkonfidenta” (den enskilda expert har en övertro på sin egen förmåga att bedöma omfattningen) och det kan förekomma slumpmässiga avvikelser (en individs bedömning kan skilja sig åt beroende på tidpunkt svaret ges trots att informationsmängden är densamma, det finns alltså en slumpmässighet i svaret som reduceras mha att tillämpa bedömningar från flera experter).11 Baserat på den aggregerade kurvan beräknas ett väntevärde12, det förväntade värdet på andelen fel. För att åskådliggöra inom vilket intervall andelen ”sannolikt” respektive “med stor säkerhet“ ligger kompletteras väntevärdet med osäkerhetsintervall. Dessa intervall inrymmer det sanna värdet respektive säkerhet givet den subjektiva sannolikhetsfördelningen. Experterna får även ange en bedömning av omfattningen av felaktiga utbetalningar som felaktigt inte har betalats ut (inte alls eller till ett för lågt belopp). Omfattningen av för lite utbetalt redovisas i form av experternas medianvärde som antas vara det mest sannolika värdet). För att illustrera spridningen av experternas uppskattningar redovisas även kvartilavstånd.13Spridningen är ett transparent sätt att illustrera osäkerheten i bedömningen. Omfattningen av felaktiga utbetalningar redovisas därmed som två separata fel, dvs utbetalningar som blir för höga respektive för låga. 1.6.2.Orsak till de felaktiga utbetalningarna Felaktiga utbetalningar som blir för höga fördelas enligt orsaksindelningen som framgår av appendix 2. Experternas bedömningar och kvantifiering av respektive orsak redovisas i form av median (mest sannolika värdet) och kvartilavstånd (spridning). Kvartilavstånden jämförs för orsakskategorierna inom respektive ersättningssystem. De kvartilavstånd som storleksmässigt är i mitten av de sex kategorierna anges genomsnittliga i storlek då de olika orsakskategoriernas osäkerhet i resultatet jämförs med varandra Experterna har också fått ta ställning till hur stor del av felen – när de orsakats av den enskilde (orsakskategori 1 och 2) – som kan anses vara misstänkt avsiktliga fel. Närmare precisering finns i appendix Orsaksindelning inom omfattningsstudierna. 11Se t ex Erev, I., , T. S., & Budescu, D. V. (1994). Simultaneous over- and underconfidence: The role of random error in judgment processes. , 101, 519-527. 12Väntevärdet är ett lägesmått som anger vart sannolikhetskurvan har sin tyngdpunkt 13Experternas individuella bedömningar delas upp i fyra lika stora delar (kvartiler). Skillnaden i värde mellan den övre och den nedre kvartilen mäter kvartilavstånd. Experterna bedömer även fel i utbetalningar som härrör från fel i vissa systemöverskridande uppgifter. För dessa bedömningar redovisas medianvärdet. Delegationen genomför även ett antal empiriska studier av felaktiga utbetalningar som en följd av fel i systemöverskridande uppgifter. I det studieprotokoll som togs fram innan arbetet med uppskattningarna startade sattes följande kriterier upp för när enskilda experters resultat ska strykas från det aggregerade resultatet. -Experten deltar inte på det inledande seminariet. -Experten lämnar inte in ett preliminärt resultat -Experten ger ingen förklaring till hur det egna resultatet tagits fram, t ex redovisar inte för sin bedömning under seminarium två eller lämnar inte in underlag med förklaring för sitt preliminära resultat. -Experten lämnar inte in ett definitivt resultat -Expertens definitiva resultat är inte korrekt ifyllt I de fall det varit aktuellt att stryka en experts bedömning från det aggregerade resultatet redogörs det i anslutning till respektive ersättningssystem. Experternas bedömningar avidentifieras genom att experternas namn stryks och ersätts med ett nummer i samband med analys och beräkningar av resultat. I resultatavsnitten redovisas experternas sammanvägda resultat. Utgångspunkt för bedömningarna är utgifterna för som uppgick till . Nedan ges en summering av resultatet. Detaljer kring vilka felorsakerna är och den osäkerhet som är förknippad med respektive bedömning redovisas i kapitel 2.1-2.8 Totalt uppskattas av det utbetalda beloppet vara felaktigt vilket motsvarar . Därtill uppskattas att betalats ut för lite. Det innebär att för varje korrekt utbetald ersättning begås felaktigheter motsvarande . Nedan illustreras hur de 1,2 mdkr som felaktigt betalats ut för mycket fördelar sig enligt den på förhand definierade orsaksindelningen. Sjukpenning kan betalas ut till den som har nedsatt arbetsförmåga med minst en fjärdedel på grund av sjukdom eller skada. Ersättningen kan lämnas till den som arbetar i och är försäkrad för arbetsbaserade förmåner. Sjukpenninggrundande inkomst (SGI) är det belopp som räknar ut baserat på den sökandes årsinkomst och arbetstid. SGI är därför en förutsättning och en viktig parameter för att kunna betala ut rätt ersättning till den enskilde. erhöll 606 000 personer sjukpenning, totalt betalade ut i sjukpenning. Givet de i studieprotokollet förspecificerade kriterier på experter inom alla utbetalningssystem valdes experter för deltagande i sjukpenningsbedömningen ut. Inspektionen för socialförsäkringen (ISF) tillfrågades om att delta med experter men avböjde. Därmed deltog enbart experter från inom följande områden: -Verksamhetsutvecklare, Avd. sjukförsäkring (tillämpningsfrågor, handläggning och lagstiftning) -Controller, enheten för Intern försäkringskontroll, Avd. för gemensamma försäkringsfrågor. (Granskar all försäkringshandläggning) -Controller och ledningsstöd, Avd. för gemensamma försäkringsfrågor – (kontrollutredningsverksamheten som främst jobbar med avsiktliga fel) -Analytiker, Avd. Analys och Prognos (inriktning sjukpenning) 2.3.Precisering av frågeställning och definition Under seminarium 1 diskuterades frågeställningen och definitionen på felaktiga utbetalningar och följande förtydligande gjordes. En utbetalning är felaktig om det slutliga beloppet blir för högt, för lågt eller i sin helhet fel i förhållande till gällande regler och avtal Slutligt belopp är det belopp som innefattas i grundbeslut. Detta under förutsättning att beslutet inte ligger uppenbart utanför lagens ramar/bedömningsutrymme. Även hur stor andel fel som beror på att vissa systemöverskridande uppgifter är felaktiga uppskattas i kapitel 2.5.8 för sjukpenning: Andel av samtliga felaktiga utbetalningar som beror på felaktig SGI Inför första seminariet gjordes en översyn av befintlig kunskap i form av data/statistik och rapporter på området. En sammanställning av kunskapsunderlaget gjordes och delades med experterna. Under seminarium 1 diskuterades möjligheten att bearbeta statistik på Intern försäkringskontroll (IFK) för att ge ytterligare underlag. Det resulterade i att IFK från sin stickprovsundersökning genomförd tog fram för denna omfattningsbedömning anpassad statistik (appendix avsnitt 7.4-Faktiska felutbetalningar i sjukpenning ). Denna statistik har varit användbar vid uppskattningar av fel orsakade av myndigheten. Samtliga kunskapsunderlag som användes av experterna finns redovisade i appendix. 2.5.Resultat - Omfattning av felaktiga utbetalningar för sjukpenning I detta kapitel redovisas uppskattad omfattning av alla felaktigheter som sker inom sjukpenning. Det finns många orsaker till att en felaktig utbetalning kan uppstå. I denna rapport är felen kategoriserade enligt den fördefinierade orsaksindelningen baserat på när i ärendekedjan felet uppstår. De specifika orsaker enligt orsaksindelningen som föranleder de felaktiga utbetalningarna beskrivs i nedan i separata avsnitt. Andel för mycket utbetalt uppskattas till av totalt utbetalt på . De felaktiga utbetalningarna bedöms motsvara . Det råder stor osäkerhet i uppskattningen och osäkerhetsintervallet i skattningen visar att sannolikhet ligger det sanna värdet inom intervallet 1,9-5,, säkerhet ligger det sanna värdet inom intervallet 1,2-7,. 1,-5, 1,-7, Underlag som experterna lyfter fram i sin uppskattning: Experterna har haft tillgång till kunskapsunderlag (se appendix ) för att göra sina uppskattningar. De har sedan fått välja hur de använder underlaget i sina individuellt framtagna uppskattningar. Nedan beskrivs hur tre av experterna resonerat generellt kring uppskattningensarbetet, inom varje orsaksindelning finns mer detaljer kring de underlag som primärt har använts och den osäkerhet som finns i uppskattningen: Expert 1) Har utgått från Kontrollutredningsverksamheten på . Här måste man göra ett antagande om mörkertalet för att få en skattning på fel från sökande. Därtill summeras fel från myndigheten, baserat på uppgifter från IFK och rättsliga kvalitetsgranskningarna 2014:2, som granskar bifalls- och avslagsbeslut används för att dra slutsatser om 2017 års nivå. Expert 2) Utgått från kunskapsunderlaget, använt statistiken från IFK och förlitat mig på min erfarenhet inom området. Expert 3) Utgick i huvudsak från riskanalysen 2019 samt underlaget från Intern försäkringskontroll samt använde övrigt kunskapsunderlag som referens. 2.5.2.Felaktig uppgift vid ansökan (1) De största felen inom denna kategori är: -Uppgift om arbetsförmåga