prop · H80339 · 2020-11-04 00:00:00 — Efter förändringen av ratingen hade leverantörer med fyra stjärnor i genomsnitt knappt fyra fler förstagångsdeltagare jämfört med leverantörer med tre stjärnor (motsvarar fler). Tabell 4 Genomsnittligt inflöde av nya förstagångsdeltagare till leverantörer , fördelat på rating. Endast leverantörer med minst en förstagångsdeltagare. Källa: Arbetsförmedlingen. Det ska noteras att alla deltagare inte har samma tillgång till leverantörer med högsta rating. Under exempelvis ratingperioden september–, fanns det en topprankad leverantör med fyra stjärnor i 25 av 72 leveransområden (se bilaga 5, avsnitt 2.2). av alla nya STOM-deltagare fanns i ett leveransområde med minst en topprankad leverantör. R I K S R E V I S I O N E N S T Ö D O C H M A T C H N I N G – E T T V A L F R I H E T S S Y S T E M F Ö R A R B E T S S Ö K A N D E På grund av ratingens konstruktion är antalet leverantörer med rating 4 och rating 1 ungefär lika många, liksom antalet leverantörer med rating 2 och rating 3. Antalet leverantörer med rating 2 och 3 är av samma orsak större än antalet leverantörer med rating 1 och 4 (se bilaga 5, avsnitt 4 och 5.1). Men eftersom fler deltagare väljer leverantörer med högre rating blir andelen deltagare som går till de högst rankade leverantörerna betydligt större. Till exempel var det i genomsnitt av alla förstagångsdeltagare som valde en leverantör med rating 1 , medan valde en leverantör med rating 4. Detta visas i figur 4. Figur 4 Andelen förstagångsdeltagare fördelat på leverantörsrating, Källa: Arbetsförmedlingen. 3.1.2 En förändrad rating påverkar deltagarnas val Våra analyser visar även att en förändrad rating för en leverantör påverkar inflödet av nya deltagare (se bilaga 5, avsnitt 5.2.2).69 Analysen visar dock inte någon effekt av en förändrad rating förrän kort efter att det Arbetsförmedlingen gjorde det lättare för deltagarna att hitta och jämföra olika leverantörers rating genom att göra ratingen tillgänglig i ett sökverktyg på myndighetens webbplats.70 Den genomsnittliga effekten beror främst på ett ökat antal deltagare till leverantörer med den högsta ratingen. med fyra stjärnor som högsta rating ger en förändring från en till två stjärnor för en leverantör knappt någon ökning alls av antalet nya deltagare. En ökning från två till tre stjärnor ger däremot cirka fler deltagare i genomsnitt och en ökning från tre till fyra stjärnor ger 69I praktiken är detta en vägd genomsnittsförändring. 70Den fanns ratingen tillgänglig i ett dokument på Arbetsförmedlingens webbplats. 32 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N ytterligare (motsvarar ca 3,7 fler deltagare). Vi finner inga statistiskt säkerställda skillnader mellan att sakna rating och att ha en stjärna. I genomsnitt ökar (minskar) en förändrad rating med en stjärna inflödet av nya deltagare med med fyra stjärnor som högsta rating.71 Vi finner också att effekten av att få den högsta ratingen ökade efter att systemet utökades från tre till fyra stjärnor. I det nya systemet med fyra nivåer ger fyra stjärnor fler nya deltagare jämfört med en stjärna. I det gamla systemet gav tre stjärnor mer jämfört med en stjärna. Alla resonemang om förändring av effekten kopplat till vissa tidpunkter är dock behäftade med osäkerhet. Vi vet nämligen inte hur effekten hade utvecklat sig i avsaknad av de olika förändringarna eftersom vi inte har någon kontrollgrupp att jämföra med. Analyserna visar också att effekten av en förändrad rating är starkare en till efter att den nya ratingen erhållits, snarare än direkt efter att den nya ratingen publicerats. Resultaten ligger i linje med tidigare studier. En studie av ratingsystemet inom Arbetsförmedlingens valfrihetssystem för jobbcoacher, som påminde mycket om ratingen i STOM, fann att leverantörer som får en förbättrad rating i genomsnitt också får ett ökat inflöde av arbetssökande.72 Huvudresultatet från en opublicerad studie från Arbetsförmedlingen av ratingsystemet inom STOM var att en enhets ökad ratingnivå motsvarar i genomsnitt 3.1.3Vissa grupper av arbetssökande med svagare ställning på arbetsmarknaden väljer i något lägre utsträckning leverantörer med hög rating Analyserna visar att det finns en tendens att deltagare med lägre utbildning, deltagare med längre arbetslöshetstid och deltagare som är utrikes födda i genomsnitt i något lägre utsträckning väljer leverantörer med hög rating (tre och fyra stjärnor) (bilaga 5, avsnitt 3.2). Skillnaderna mellan grupperna är dock aldrig större än , och ofta mindre än så. Det finns även skillnader i vilken utsträckning olika grupper av arbetssökande påverkas av en förändring i rating hos en leverantör (bilaga 5, avsnitt 5.2.2).74 Exempelvis verkar gruppen yngre deltagare (under ) reagera mer på att leverantörer förbättrar sin rating än gruppen äldre (). Deltagare födda i reagerar också något mer på en förändrad rating jämfört med dem som 71Ett viktat genomsnitt. 72Gerdes, ”Does Performance Information Affect in Selecting Private Providers in Voucher- Based ALMP Programs?”, 2015. 74Analyserna visar dock att det inte finns några större skillnader i vilken utsträckning olika grupper väljer en leverantör som förändrat sin rating från 1 till 2 stjärnor. R I K S R E V I S I O N E N S T Ö D O C H M A T C H N I N G – E T T V A L F R I H E T S S Y S T E M F Ö R A R B E T S S Ö K A N D E är födda utanför . Förgymnasialt utbildade regerar svagare än gymnasialt utbildade, men skillnaden mot eftergymnasialt utbildade är inte lika stor och inte heller statistiskt signifikant. Avseende tid i arbetslöshet finns dock inga tydliga linjära mönster. Även en studie av ratingsystemet inom Arbetsförmedlingens valfrihetssystem för jobbcoacher fann att vissa grupper arbetssökande, de födda utanför och de med lägre utbildning, inte reagerade på en förändrad rating i lika hög utsträckning som andra.75 Tidigare studier av andra valfrihetssystem har indikerat att personer som är ”bättre socialt situerade och med hög utbildning” har lättare att ta till sig information vid valet av utförare.76 Att vissa grupper av arbetssökande i något lägre utsträckning väljer leverantör baserat på deras rating skulle kunna bero på att de har svårare att tillgodogöra sig den information som ratingen bär. Men det skulle till exempel även kunna bero på att de väljer leverantör delvis baserat på andra kriterier. 3.1.4 Annat än ratingen påverkar också deltagarnas val skickade ut en enkät till deltagare i STOM där vi bland annat frågade vad som påverkade dem i deras val av leverantör. Det var möjligt för respondenterna att ange att flera, eller alla, svarsalternativ påverkade deras val. De rangordnade inte alternativen. Svarsfrekvensen på enkäten var , så resultaten ska tolkas med viss försiktighet.77 Leverantörens geografiska läge, alltså hur nära det är till leverantören, är det som flest deltagare (av de som svarar att de gjorde ett aktivt val av leverantör) anger har påverkat deras val (att det påverkade dem mycket och att det påverkade dem till viss del) (se tabell 5). Därefter följde leverantörernas rating, egen kontakt med leverantören och leverantörens presentation på Arbetsförmedlingens webbplats. Mellan av de svarande som anger att de gjort ett aktivt val av leverantör uppger att dessa tre faktorer påverkade deras val (mycket eller till viss del). anger att något annat alternativ påverkade deras val mer än närheten till leverantören. För exempelvis rating är samma siffra . 75Gerdes, ”Does Performance Information Affect in Selecting Private Providers in Voucher- Based ALMP Programs?”, 2015. 76SKL, Vad vet vi om kundval? – En forskningsöversikt, 2010, s. 28. 77För mer information om enkäten, se bilaga 2. 34 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Tabell 5 Fråga till deltagare som avslutat STOM: Påverkade följande dig när du valde leverantör? Andelar i procent. Vet inte/ Har mig till viss del (hur nära det var till Egen kontakt som jag hade med leverantören, t.ex. via möte, telefon, e-post eller öppet hus Leverantörens ratingbetyg (hur Att leverantören hade en inriktning mot en viss bransch Stöd och hjälp från personal på Arbetsförmedlingen t.ex. med att ta fram och förklara information Rekommendation om att välja en specifik leverantör från personal Rekommendation eller tips som jag fick från t.ex. vän eller Att det var möjligt att få stöd på ett visst språk hos leverantören78 Anm.: I tabellen redovisas enbart svaren från de respondenter som angav att de valde leverantör själva. Om svaren från samtliga respondenter räknas med förändrar det andelarna endast i mindre utsträckning, och påverkar inte den övergripande bilden. Antal svarande = 1 307. Källa: enkät till deltagare i STOM. Vi har inte närmare analyserat varför leverantörernas geografiska läge påverkar de arbetssökandes val. Men en anledning kan vara att reskostnaden och restiden ofta kan bli större till en leverantör som ligger längre bort. noterar också att leverantörernas geografiska läge har en relativt framträdande position på Arbetsförmedlingens webbplats, där information om leverantörerna finns 78Eftersom frågorna enbart ställdes på svenska kan personer med begränsade kunskaper i svenska ha besvarat enkäten i lägre utsträckning. Andelen som svarade att det var möjligt att få stöd på ett visst språk hos leverantören påverkade deras val skulle därför ha kunnat vara större om svarsfrekvensen varit högre. R I K S R E V I S I O N E N S T Ö D O C H M A T C H N I N G – E T T V A L F R I H E T S S Y S T E M F Ö R A R B E T S S Ö K A N D E tillgänglig.79 Möjligen kan även det påverka. Det hade kunnat vara intressant att analysera om det finns skillnader mellan olika grupper av arbetssökande vad gäller vilka faktorer som påverkar de arbetssökandes val. Men eftersom vi inte har kopplat några individegenskaper till deltagarnas svar har vi inte kunnat göra det. Bilden att de arbetssökande väljer en leverantör som ligger nära dem geografiskt framkommer även i intervjuer med arbetsförmedlare. I vissa intervjuer menar arbetsförmedlarna också att ratingen spelar roll, liksom det språk eller en annan inriktning som leverantören kan tillhandahålla service utifrån. Rekommendationer från vänner och familj framhålls också i vissa intervjuer. Det framkommer också att arbetssökande kan komma in till arbetsförmedlingen med en önskan om en specifik leverantör och be om att få STOM och att förmedlarna ibland uppfattar detta som att de arbetssökande kontaktats av en leverantör, uppmanats att be arbetsförmedlaren om denna tjänst och specifikt välja dem. En uppfattning som framkommer i en intervju är också att de arbetssökande ibland erbjuds gåvor av leverantörer för att välja dem. Även leverantörer lyfter i intervjuer fram närheten till leverantören som en viktig aspekt för de arbetssökande när de väljer leverantör, liksom rekommendationer från till exempel vänner och andra deltagare. Även ratingen upplevs av leverantörerna spela viss roll för de arbetssökandes val. Arbetsförmedlingen har i en rapport konstaterat att många deltagare väljer STOM-leverantör utifrån geografisk närhet eller baserat på rekommendationer från vänner och bekanta.80 3.1.5Ratingen relativt robust för längre uppföljningshorisont och andra utfallsmått Vi har även granskat tillförlitligheten i ratingen på två olika sätt. R2-värdet är det mått som Arbetsförmedlingen använder för att mäta ett lyckat utfall för en deltagare i STOM. R2 kan sägas vara en anmälan från en leverantör till Arbetsförmedlingen om att en deltagare arbetat eller studerat i tillräcklig omfattning för att leverantören ska få resultatersättning (för arbete respektive en termins heltidsstudier vid gymnasial utbildning eller tjugo veckors heltidsstudier vid eftergymnasial utbildning). Ett godkänt R2 är avgörande både för att leverantören ska få resultatersättning och för leverantörernas rating. Arbetsförmedlingen ska verifiera resultatersättning vid arbete genom att kontrollera att deltagaren är inskriven vid myndigheten som arbetssökande, eller är inskriven i en sökandekategori som innebär att hen har fått arbete i önskad omfattning. Om den arbetssökande påbörjat en anställning som inte motsvarar önskat arbetsutbud ska dock leverantören komplettera sin begäran 79Arbetsförmedlingen, ”Sök leverantör inom Stöd och matchning”, hämtad . 80Arbetsförmedlingen, Växthus – Externa tjänster, arbetssökande, 2018. 36 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N om resultatersättning med skriftliga intyg från arbetsgivaren.81 En deltagare skulle dock kunna avsluta sin inskrivning vid Arbetsförmedlingen utan att ha fått ett arbete eller påbörjat studier. Därmed skulle en leverantör kunna få ett godkänt R2 utan att ha nått målet med STOM. har analyserat den problematiken. ska alla arbetsgivare rapportera in anställda till . Därför kan undersöka hur många av de STOM-deltagare som påbörjade en anställning som ledde till ett godkänt R2, som faktiskt återfinns i månadsregister. Analysen visar att av dessa deltagare hade med en positiv inkomst , eller omvänt att som mest hade med inkomst (se bilaga 5, avsnitt 5.4.1).82 Eventuella periodiseringar av löneutbetalningar och andra bokföringsmässiga teknikaliteter samt kvaliteten på data gör dock att viinte kan uttala oss om huruvida resultatersättning därmed har betalats ut på felaktiga grunder för dem som inte hade med mer än noll kronor i inkomst. Om vi istället undersöker andelen som haft igenomsnittsinkomst blir andelen . Om vi höjer gränsen till , sjunker andelen som klarar gränsen till . Det kan finnas flera orsaker till det. En är att det inte krävs att deltagarnas anställning är på heltid för att R2 ska godkännas. Hel resultatersättning betalas ut om deltagaren har fått ett arbete som motsvarar hens arbetsutbud. Halv resultatersättning betalas ut om arbetet motsvarar minst av deltagarens önskade arbetsutbud.83 Vi har vare sig uppgifter om individernas arbetsutbud eller om de fått hel eller halv resultatersättning, vilket gör att vi inte kan undersöka detta närmare. Sammanfattningsvis verkar Arbetsförmedlingens mått R2 korrespondera relativt väl med månadsuppgifter. Men att av deltagarna med ett godkänt R2-värde inte hade mer än i genomsnittslön eller att når upp till en inkomst på en lön motsvarande skulle behöva utredas ytterligare. hade möjlighet att använda uppgifter från månadsvisa inkomstuppgifter på individnivå vid beräkningen av ratingen och vid utbetalning av resultatersättning till leverantörerna skulle detta både kunna öka ratingens tillförlitlighet och minska risken för felaktiga utbetalningar. Arbetsförmedlingen har själva påtalat detta behov till regeringen.84 81Arbetsförmedlingen, Kundval – Stöd och matchning, 2018. Om vare sig ändring av sökandekategori eller avaktualisering skett i Arbetsförmedlingens register ska Arbetsförmedlingen ta kontakt med deltagaren för att kontrollera om arbetet har varat . 82Månaderna mellan R1 och R2 plus 1 månad för att hantera att löner ofta betalas ut i efterskott. 83Arbetsförmedlingen, Kundval – Stöd och matchning, 2018. 84Arbetsförmedlingen, Vissa förutsättningar inför reformeringen av Arbetsförmedlingen – Rapportering i enlighet med regeringsuppdrag, 2019. R I K S R E V I S I O N E N S T Ö D O C H M A T C H N I N G – E T T V A L F R I H E T S S Y S T E M F Ö R A R B E T S S Ö K A N D E Ett annat potentiellt problem är att i ratingsystemet belönas arbeten som varar , men längre arbeten belönas inte ytterligare. Det skulle därför kunna vara så att leverantörer med högre rating uppnår denna genom att i högre grad matcha deltagare mot mer kortvariga arbeten. Om kravet på varaktighet i arbete (och utbildning) skulle förlängas är det alltså möjligt att leverantörernas rating skulle se annorlunda ut. Vi har därför undersökt hur stor andel av deltagare med godkänt R2-värde hos leverantörer med olika rating som är i arbete även med en längre uppföljningshorisont ().85 Analysen visar inga statistiskt säkerställda skillnader mellan deltagare som fick godkänt R2 genom en leverantör med en stjärna och deltagare som fick godkänt R2 från leverantörer med högre rating (bilaga 5, avsnitt 5.4.2). De hade alla cirka 73 procents sannolikhet att vara registrerade som förvärvsarbetande i november 2017.86 I denna aspekt kan därmed kvaliteten i matchningen betraktas som likvärdig mellan leverantörer med olika rating. Det tyder på att leverantörer med en högre rating inte uppnår denna genom att matcha deltagare mot mer kortvariga arbeten, åtminstone inte med ett års uppföljningshorisont. Huruvida 73 procents förvärvsintensitet i gruppen är att betrakta som tillräckligt bra ligger dock utanför syftet med den här granskningen. I vår utvärdering av ratingsystemet har vi däremot inte granskat den statistiska modell som korrigerar olikheter i förutsättningarna för olika leverantörer i ratingmodellen, den så kallade profileringsmodellen. Det är säkert möjligt att i vissa avseenden förbättra modellen och därmed precisionen i prediktionerna, men att det i sin tur skulle kasta om ordningen på leverantörerna på något avgörande sätt bedömer inte som troligt. 3.1.6 Utvecklingsbehov kvarstår för ratingen Ratingen inkluderar deltagare som påbörjat STOM mellan innan ratingen publiceras. Det skulle kunna finnas ett värde med att ratingen inkluderade deltagare som påbörjat STOM närmare i tiden än så. Ratingen skulle då till exempel kunna ge de arbetssökande som ska välja leverantör en mer aktuell bild av deras resultat. Att ratingen enbart inkluderar deltagare som påbörjat tjänsten relativt långt tillbaka i tiden har lyfts fram som en brist i intervjuer med leverantörer.87 Leverantörerna upplever problem både med att resultat långt tillbaka i tiden spelar roll för dagens rating och att det tar tid innan förbättrade resultat slår igenom i ratingen. 85R2-värdet är det mått som Arbetsförmedlingen använder för att mäta ett lyckat utfall för en deltagare i STOM. Alltså att personen arbetat eller studerat . 87Vi intervjuade nio leverantörer inom ramen för granskningen. Urvalet var inte representativt för leverantörsmarknaden som helhet. Se bilaga 1 för mer information om intervjuerna. 38 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Som ett skäl till varför ratingen behöver så pass lång uppföljningsperiod anger Arbetsförmedlingen att det annars inte finns tillräckligt underlag för att göra statistiskt säkerställda beräkningar av leverantörernas rating.88 Arbetsförmedlingen vill också genom den ratingmetod som myndigheten använder gynna de leverantörer som arbetar mer långsiktigt, till exempel de som försöker få deltagare att påbörja utbildning eller arbetar med kvalitet Om gränsen för vilka deltagare som inkluderas i ratingens uppföljningsperiod sattes närmare ratingens publiceringstillfälle skulle förändringar i resultat hos en leverantör kunna få snabbare genomslag i ratingen. Det skulle dock kunna missgynna exempelvis leverantörer som har en högre andel deltagare som påbörjar studier än andra leverantörer, om inte hänsyn tas till detta. Kvalificeringstiden för ett lyckat resultat är nämligen något kortare för arbete än för studier (se avsnitt 4.2.1) och det kan dessutom vara relativt mellan det att ansökan till studier sker och det att studierna påbörjas. Det kan alltså ta för en leverantör att få ett godkänt resultat om en deltagare påbörjar studier än om deltagaren påbörjar arbete. Så länge matchning mot studier och matchning mot arbete utgör lyckade resultat inom samma ratingsystem verkar det alltså krävas en avvägning mellan vikten av att jämställa de två utfallen och nyttan av att inkludera så aktuell information om leverantörernas resultat som möjligt i ratingen. 3.2Informationen som Arbetsförmedlingen tillhandahåller är relevant men kan vara svår att tillgodogöra sig och jämföra Arbetsförmedlingen tillhandahåller även annan information än leverantörernas rating på sin webbplats. Där finns information om leverantörernas geografiska läge, eventuell särskild yrkesinriktning samt eventuella extra språk utöver svenska och engelska som de tillhandahåller tjänsten på.90 Där finns också respektive leverantörs kontaktuppgifter, presentation av sig själv och sin metodik, kompetens, företagsinformation med mera. Även kortfattad information om hur valet ska gå till och vad ratingbetyget betyder finns tillgänglig. Arbetsförmedlingen granskar den information leverantörerna presenterar om sig själva innan den publiceras på myndighetens webbplats. Till exempel kontrolleras att leverantörerna inte utlovar gåvor, garanterar arbete, eller liknande. Arbetsförmedlingen kontrollerar däremot inte 88Arbetsförmedlingen, Vissa förutsättningar inför reformeringen av Arbetsförmedlingen – Rapportering i enlighet med regeringsuppdrag, 2019. 89Uppgift från företrädare för Arbetsförmedlingen . 90Arbetsförmedlingen, ”Sök leverantör inom Stöd och matchning”, hämtad . R I K S R E V I S I O N E N S T Ö D O C H M A T C H N I N G – E T T V A L F R I H E T S S Y S T E M F Ö R A R B E T S S Ö K A N D E om alla uppgifter som leverantörerna anger är korrekta, till exempel om de arbetar enligt den metodik de anger.91 Som en sammanfattande bild av vad de arbetssökande tycker om informationen de har tillgång till i valsituationen kan konstateras att angav knappt av de svarande i en enkät som Arbetsförmedlingen regelbundet skickar ut till deltagare i STOM att de hade den information de behövde för att göra ett genomtänkt val av leverantör, medan angav att de inte hade det.92 3.2.1 Viss information om leverantörerna kan vara svår att jämföra har gått igenom den information om leverantörerna som Arbetsförmedlingen tillhandahåller på sin webbplats. Uppgifterna om leverantörernas rating, geografiska läge, yrkesinriktning samt språkmöjligheter är digitalt sökbara. bedömer därför att möjligheten att jämföra olika leverantörer vad gäller dessa aspekter är god. Uppgifter om till exempel metodik och kompetens går dock inte att söka på eller att jämföra i sökfunktionen. Det kan därför vara svårare att jämföra olika leverantörer med varandra i dessa aspekter. Det finns heller ingen möjlighet att göra ett urval på till exempel leverantörer som är specialiserade på att hjälpa de arbetssökande att komma vidare till studier, eller inriktade på vissa grupper av arbetssökande som exempelvis akademiker. Även har i en rapport framfört att en ökad jämförbarhet av informationen om leverantörerna skulle kunna underlätta för de arbetssökande.93 I samma rapport framkom också en bild av att STOM-deltagarna upplevde att det fanns många leverantörer att välja mellan och att de önskade tydligare beskrivningar av leverantörerna på webbplatsen. I enkätundersökning uppger cirka två tredjedelar av de svarande STOM-deltagarna att bättre möjligheter att jämföra leverantörerna med varandra och mer 91Intervju Arbetsförmedlingen och Arbetsförmedlingen, Granskning av tjänstedeklaration – STOM. Om leverantörerna arbetar enligt den metodik de anger i sin presentation är dock enligt uppgift från Arbetsförmedlingen något som kan tas upp i dialoger med leverantörerna på regional nivå (uppgift från företrädare för Arbetsförmedlingen i e-post ). Se avsnitt 5.2 för mer information om regionala dialoger. 92Arbetsförmedlingen skickar ut enkäten där påståendet ingår en gång till arbetssökande som avslutat sitt deltagande i STOM under den föregående månaden. De arbetssökande svarar på påståendet Jag hade den information jag behövde för att kunna göra ett genomtänkt val på en skala mellan 1 och 5, där 1 betyder ”Instämmer inte alls” och 5 betyder ”Instämmer helt”. För dem som svarat 4 eller 5 på frågan har vi ansett att de instämmer och för dem som svarat 1 eller 2 på frågan har vi ansett att de inte instämmer. Resultatet har varierat . Svarsfrekvensen varierade mellan , men låg i genomsnitt mellan .