# Urval

---

Många av de viktigaste metodologiska och strategiska valen kopplat till rättslig kvalitetsuppföljning handlar om urvalet – den så kallade urvalspopulationen. Detta gäller både på övergripande nivå (vilket verksamhetsområde/ärendetyp som ska följas upp) och på detaljerad nivå (principer för hur man ska välja ut de ärenden som ingår i urvalet).

## Vilket område/ärendetyp ska granskas?

Om myndigheten inte har kapacitet att regelbundet göra rättsliga kvalitets-uppföljningar för alla sina ärendetyper krävs någon form av avgränsning av vad som ska granskas vid ett givet tillfälle.

Detta steg handlar om vilka skäl som finns till att just den här ärendetypen eller delen av verksamheten ska vara föremål för den rättsliga kvalitetsuppföljningen. Principerna i tabellen nedan kan vara vägledande för avgränsningen:

| Alternativ | Kommentar |
| --- | --- |
| ● a) Riskbaserat – utifrån sannolikhet för fel (U) | Ett område med hög risk för fel och/eller där det finns indikationer på att det finns brister som behöver åtgärdas. Det kan handla om att   * ett regelverk är otydligt * det finns ett stort bedömningsutrymme * tidigare uppföljningar visat på brister * det kommer många frågor från allmänheten eller verksamheten om området * regelverket nyligen ändrats * området är svårt att kontrollera i det löpande arbetet * det är ett område med stor risk för den enskilde att göra fel. |
| ● b) Riskbaserat – utifrån konsekvensens omfattning (U) | Till exempel utifrån volymer, storleken på belopp som betalas ut eller på hur avgörande ärendet är för den enskilde (till exempel rätten att stanna i Sverige eller få tillgång till en viss behandling) eller hur eventuella felaktigheter skulle påverka förtroendet för myndigheten/det offentliga. Riskbedömningen kan göras både utifrån ett offentlig-finansiellt och ett medborgarrättsligt perspektiv. |
| ● c) Representativt urval av verksamheten (M) | Ett område granskas i proportion till dess andel av verksamheten. Detta kan operationaliseras exempelvis genom andel av:   * förvaltningsbudgeten * utbetalade medel (om myndigheten har en sådan roll) * totala antalet ärenden * medarbetarnas tid. |
| ● d) Kontinuitet/tid (M) | Området väljs med ett visst intervall. |
| ● e) Utifrån styrsignaler eller andra överväganden | Till exempel ifall regeringen eller intern styrning redan fastslagit vad som ska granskas och hur ofta. |

En fördel med att göra ett riskbaserat urval är att man i högre utsträckning kan identifiera sådant som kan leda till förbättringsåtgärder. Ur utvecklingssynpunkt blir det då ett effektivt sätt att använda uppföljningsresurserna. Nackdelen är att resultatet inte säger så mycket om den rättsliga kvaliteten i myndighetens handläggning generellt. Även om man har ett upplägg på uppföljningen som gör att man kan uttala sig generellt om det utvalda ärendeslaget kan det inte generaliseras till andra ärendeslag.

Man bör också beakta risken för systematiska fel i de riskbaserade modellerna. Om fördomar påverkar riskprofileringen finns risk för att den fungerar sämre än slumpen. Ifall modellerna initialt är skapade utifrån slumpmässighet är risken för detta mindre, annars kan en konsekvens bli att beprövad erfarenhet slår igenom i kontrollerna och att vissa grupper kollas oproportionerligt mycket eller lite.

## Vilka beslut ska granskas?

När man valt vilket område/ärendetyp som ska vara föremål för den rättsliga kvalitetsuppföljningen kan man göra en ytterligare avgränsning av urvalet genom att välja ärenden utifrån utfall och/eller om handläggningen varit maskinell eller manuell.

| Alternativ | Kommentar |
| --- | --- |
| ■ a) Enbart titta på antingen bifallsbeslut eller på avslagsbeslut. | En del organisationer väljer att göra vissa granskningar enbart av bifallsbeslut eftersom man tänker sig att avslagsbeslutens kvalitet har en slags inneboende kvalitetsprövning genom den enskildes möjlighet att begära omprövning eller att överklaga beslut som är negativa för den enskilde. Kvalitetsuppföljningarna av bifallsbeslut kan då motsvara den granskningsprocess som ett överklagande innebär för ett avslagsbeslut. |
| ■ b) Enbart titta på manuella beslut eller enbart på maskinella beslut. | Valet mellan maskinella och manuella beslut kan ha större påverkan på metodvalet än syftet med mätningen. Att ta fram och utvärdera metoder för detta ser Statskontoret som ett utvecklingsområde för framtida arbeten kring rättslig kvalitetsuppföljning. |
| ● c) Inte göra någon avgränsning utifrån beslutets utfall eller hur det har fattats | Detta är en tom cell |

Det är inte säkert att ovanstående distinktioner är möjliga eller relevanta. Alla beslut är till exempel inte binära i form av bifall eller avslag. Genom avgränsningen till en viss ärendetyp är det ofta redan givet om det är maskinella eller manuella beslut som är möjliga att granska.

Avgränsningarna *a)* och *b)* kan kombineras så att man exempelvis enbart tittar på bifallsbeslut som handlagts manuellt. Att fokusera på maskinella beslut skulle också kunna vara ett riskområde som man valt i samband med frågeställningen i översta tabellen.

## Urvalsmetod inom vald ärendetyp/område

Skillnaden mellan alternativ *a)* i översta tabellen och alternativ *b)* i tabellen nedan är att det i det tidigare fallet handlar om hur man ska välja ärendetyp. Under denna rubrik handlar det om hur man ska välja vilka ärenden som ska ingå i stickprovet/urvalet inom den utvalda ärendetypen.

| Alternativ | Kommentar |
| --- | --- |
| ● a) Slumpmässigt (M) | Slumpmässigt urval ger hög mätbarhet och möjlighet att uttala sig om helheten inom ärendetypen/området. Vill man garantera en viss spridning ur någon aspekt kan man behöva stratifiera materialet också. |
| ● b) Riskbaserat (U) | Till exempel att tidigare kunskap (exempelvis så kallade riskprofiler) visar att det är extra många fel i ärenden över en viss beloppsgräns, eller som saknar ett visst sorts underlag eller som gäller enskilda vars tidigare ärenden varit behäftade med en viss sorts problem. |
| ● c) Samtliga ärenden för en viss period (men som är kortare än den tidsperiod man vill kunna uttala sig om) | Detta kan vara ett praktiskt sätt att få ut data, men det är viktigt att fundera på hur representativ vald period är för verksamheten som helhet och försöka minska risken för säsongseffekter. |
| ● d) Systematiskt utifrån förvalda kriterier | Till exempel ärenden som avgjorts inom x antal dagar. Kan vara en typ av riskbaserat urval om det är riskkriterier. |
| ● e) Datadrivet | Man väljer ut ärenden som på något vis avviker från genomsnittet eller det mönster som övriga ärenden uppvisar, utan på förhand givna kriterier och oavsett om det är en identifierad risk eller inte. Det kan också handla om att utifrån stora datamängder identifiera mönster. |
| ● f) Totalurval (M) | Att granska samtliga ärenden kan vara aktuellt vid maskinell granskning av automatiska system, eller ifall det är få ärenden totalt inom ärendetypen. |

Om urvalet dras från en eller ett fåtal perioder av året kan det bli behäftat med säsongseffekter. Det kan bero på ett större inflöde av ärenden under en period (som Skatteupplysningen strax före deklarationsdatumet) eller på mer tidspress och lägre erfarenhet hos personalen under sommarledigheter.

Genom att dra urval från fler perioder kan man komma till säkrare slutsatser med något färre ärenden. Om skillnaderna mellan mättillfällena är liten blir konfidensintervallet lägre och den statistiska säkerheten högre.

## Urvalets storlek

Hur stort urvalet behöver vara beror till stor del på syftet med uppföljningen och vad man vill kunna uttala sig om i sin analys, till exempel vad gäller statistisk säkerhet och möjlighet att jämföra mellan olika grupper (se under [rubriken Vilka jämförelser görs?](/verksamhetsutveckling/kvalitet/rattslig-kvalitetsuppfoljning/vad-foljs-upp/#VilkaJamforelserGors)och rubriken om stratifiering nedan). Det kan även finnas praktiska, strategiska eller ekonomiska skäl som styr.

| Alternativ | Kommentar |
| --- | --- |
| ● a) Ej förutbestämd urvalsstorlek, utan man granskar tills att man uppnår mättnad. (U) | Man granskar ärenden till dess att man inte ser ny information, nya lärdomar eller nya typer av brister tillkomma i granskningen. Detta vägval är primärt lämplig när syftet är att lära eller utveckla verksamheten, eftersom informationen inte säger något om hur vanligt förekommande ett fel eller ett fenomen är. |
| ● b) Urvalsstorlek avgörs av vad som krävs för att få ett acceptabelt konfidensintervall i den enskilda mätningen. (M) | Om syftet är att mäta för att försöka säga något objektivt om nivån på kvaliteten för det aktuella ärendeslaget så blir det viktigare med ett tillräckligt stort urval för att kunna dra slutsatser med den statistiska säkerhet man vill ha. Konfidensintervall på 95 procent är standard, men myndigheten kan välja ett högre eller lägre. Storleken på konfidensintervallet har betydelse för möjligheten att jämföra resultatet mellan olika mätningar. |
| ● c) Förutbestämt urval utifrån exempelvis organisationens kapacitet att genomföra granskningen. | Det kan också handla om att man vill att alla chefer ska granska minst X ärenden för att hålla sig ajour med verksamheten. |
| ● d) Urval baserad på kunskap från utfall i tidigare studier. | Genom så kallat ”Neyman allocation sample” kan man optimera urvalsprecisionen (och hålla nere urvalsstorleken) utifrån tidigare gjorda studier på hur olika egenskaper (till exempel felprocent) varierar mellan olika grupper (strata) i urvalet. |

## Eventuell stratifiering av urval

Stratifiering är en metod för att säkra att man har det underlag man behöver för att få en rättvisande fördelning och/eller kunna göra jämförelser mellan de grupper man gjort indelningen från.

Oavsett vilken av urvalsprinciperna man använder sig av kan man välja att dra sitt urval ur olika grupper (strata). Syftet är att få en spridning som gör att man i underlaget har tillräckligt många ärenden inom en viss kategori för att kunna göra jämförelser och undersöka exempelvis om det är en enhetlig handläggning mellan olika organisatoriska enheter i myndigheten.

Även om urvalet inte är stratifierat går det att göra en jämförande analys utifrån olika kriterier givet att urvalet är tillräckligt stort.

| Alternativ | Kommentar |
| --- | --- |
| ■ a) Attribut för den som ärendet gäller | Till exempel kön, geografisk hemvist eller ålder. |
| ■ b) Organisatorisk indelning (U) | Utifrån till exempel geografi (region) eller enhet/avdelning. |
| ■ c) Handläggare (U) | Görs primärt som en del av chefens nära uppföljning av, och återkoppling till, sina medarbetare och inte för att jämföra till exempel kvalitetsbrister handläggare emellan. Det är i de flesta fall för kostsamt med tillräckligt stora urval för att möjliggöra statistiskt relevanta jämförelser handläggare emellan på individnivå. Dessutom brukar det vara känsligt ur arbetstagarperspektiv. |

Det går att stratifiera på flera faktorer samtidigt, men det kan innebära att det krävs ett väldigt stort urval för att få ett tillräckligt underlag i alla kombinationer man avser dela upp materialet i. Även om man inte stratifierat urvalet så går det att analysera det utifrån olika aspekter. Läs mer om vad man kan göra för jämförelser/kontroller utifrån sitt material på sidan [Vad följs upp?](/verksamhetsutveckling/kvalitet/rattslig-kvalitetsuppfoljning/vad-foljs-upp/#VilkaJamforelserGors "Vilka jämförelser görs?")

## Avvägningen kostnad och nytta

Om kvalitetsuppföljningen primärt görs genom en manuell efterhandsgranskning av redan fattade beslut finns en proportionalitet mellan storleken på urvalet och kostnaden för att genomföra uppföljningen. Givet att man har en tillförlitlig reliabilitet i bedömningarna kan man dra säkrare slutsatser ju större urval man har men kostnaderna för datainsamlingen blir samtidigt högre. En uppföljning för att mäta kräver oftast ett större urval än om syftet är att lära eller utveckla.

Senast uppdaterad:
2023-02-23

Innehållet är granskat:
2025-10-13