prop · H50376 · 2018-02-07 00:00:00 — (2008), Programeffekter 1992 till 2006, Working Paper 2008:1, , J., Metsäpelto, R_L, , T. , L. och K. Kokko (2007), Long- term stability in the big five personality traits in adulthood, , 48, s. 511-518. Regeringens budgetproposition (prop. 2011/12:1 utgiftsområde 14). Regeringens budgetproposition (prop. 2015/16:1 utgiftsområde 14). Riksdagsskrivelse 2011/12:88. R I K S R E V I S I O N E N EFFEKTER AV ARBETSFÖRMEDLINGENS FÖRBEREDANDE OCH ORIENTERANDE UTBILDNING (2016), Förberedande och orienterande utbildning – Arbetsförmedlingens styrning, användning och uppföljning, RiR 2016:21. , P. och D. (1983), The central role of the propensity score in observational studies for causal effects, Biometrica, 70(1), 41–55. Sianesi, B. (2004), An evaluation of the Swedish system of labor market programs in the 1990s, , 86(1), s. 133-155. SOU 2007:112, Nya förutsättningar för arbetsmarknadsutbildning, slutbetänkande från Utredningen om en flexiblare arbetsmarknadsutbildning. Statskontoret (2012), Kostnader för arbetsmarknadsutbildning och yrkesvux – en jämförelse. , A. och O. (2004), Does Comprehensive Education Work for the Long-term Unemployed? Economic Studies No. 641, , . (2015), Effekter av sekvenser av arbetsmarknadspolitiska program, Rapport 2015:25, IFAU, . 42 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Inriktningar Förberedande och orienterande utbildning Tabell 1 Specifika utbildningar fördelat på övergripande inriktningar (X-koder), baserat på beslut i registren tiden samt alla beslut om FUB (ej folkhögskola) Not: Övrigt består av utbildningar som inte har kategoriserats. fanns även koderna X8 (SFI) och X21(Ej identifierbart yrke), dessa redovisas inte i tabellen. Källa: (2016). R I K S R E V I S I O N E N EFFEKTER AV ARBETSFÖRMEDLINGENS FÖRBEREDANDE OCH ORIENTERANDE UTBILDNING Data, metod och robusthet I den här bilagan presenteras en fördjupning av det tillvägagångssätt som används för att skatta effekter. Först presenteras data, metod och den modellspecifikation som ligger till grund för de huvudsakliga resultat som presenteras i granskningen. Vidare presenteras analyser som syftar till att testa hur stabila resultaten är. Analyserna har genomförts både när öppet arbetslösa och deltagare i APR används som jämförelsegrupp. Data från AF:s statistikdatabas () och SCB används. Populationen utgörs av personer som varit inskrivna hos AF – . I Datalagret finns bl.a. information om individernas arbetslöshetshistorik, inskrivningsperioder, programdeltagande, individkarakteristika, samt information om inriktningar på från SCB finns tillgänglig för åren 2006–2015 och innehåller bl.a. information om individernas arbetsinkomster, ekonomiskt bistånd och sysselsättning.55 Metod för att identifiera relevanta jämförelsegrupper Syftet med granskningen är att studera effekter av att delta i FUB. För detta krävs att arbetsmarknadsutfallet för deltagarna i FUB kan jämföras med utfallet för en relevant jämförelsegrupp. Metoden som används för att identifiera relevanta jämförelsegrupper är matchning. En kombination av propensity score matchning (PSM) och coarsened exakt matchning () tillämpas.56 När deltagande i arbetsmarknadspolitiska program studeras är det viktigt att ta hänsyn till att arbetssökande påbörjar insatser vid olika tillfällen i inskrivningsperioden. Inledningsvis betingas därför jämförelsegruppen på att personerna ska ha samma inskrivningstid (väntetid) som deltagarna som insatsen påbörjas.57 När jämförelsegruppen öppet arbetslösa används innebär det att jämförelsepersonerna deltagaren påbörjar FUB, ska vara öppet arbetslösa och ha varit arbetslösa som 54Information från flera olika tabeller i AF:s datalager används: Sokatper, Insper, Ärendefakta, och tabeller som beskriver upphandlade utbildningar. 55Informationen hämtas från tabellen Longitudinell integrationsdatabas för Sjukförsäkrings- och Arbetsmarknadsstudier (). 56Se t.ex. Sianesi (2004) och och (2008). 57Väntetiden är definierat som tiden mellan inskrivningstillfället på AF och programstarten. 44 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N deltagaren.58 När jämförelsegruppen deltagare i APR används innebär det att jämförelsepersonerna påbörjar APR samma månad som deltagarna påbörjar FUB och att de har varit arbetslösa . Denna del av matchningen genomförs genom att tillämpa , vilket innebär att datamaterialet delas upp i olika stratum baserat på värden på de variabler som ingår i matchningen.59 Deltagare matchas sedan med jämförelsepersoner inom varje stratum. Om ett stratum enbart innehåller observationer från en av grupperna utesluts dessa från efterföljande analys. Det innebär en avvägning mellan hur precis matchningen är och hur många observationer som ingår i den slutliga analysen. Både väntetid och starttidpunkt delas därför in i intervaller. Starttidpunkten delas in efter kalendermånad, och väntetiden i intervall upp , och slutligen en kategori för dem som har väntetider . Genom detta förfarande delas de arbetssökande, både deltagare och jämförelsepersoner, in i s.k. cem- stratum där arbetssökande i varje stratum har samma inskrivningstid och månad för programstart. Matchningen görs i detta fall utan återläggning, vilket innebär att en jämförelseperson används en gång. Varje deltagare kan dock ha flera jämförelsepersoner. Efter matchningen innehåller urvalet , när öppet arbetslösa utgör jämförelsegrupp, 5 638 deltagare och 217 967 jämförelsepersoner (tabell 3, bilaga 7).60 För urvalet då deltagare i APR används som jämförelsegrupp är antalet deltagare 5 482 och antalet jämförelsepersoner 9 454 (tabell 17, bilaga 7). Vidare behöver även alla relevanta individkarakteristikor beaktas. Ett sätt att göra detta på är att för varje deltagare plocka ut en arbetssökande som inte deltar i FUB men som har samma värden för alla variabler (som ingår i analysen) som deltagaren. Detta är dock inte möjligt i praktiken. Vi har ett rikt datamaterial och ju fler variabler som ingår i analysen desto svårare blir det att hitta två individer som är exakt lika. Därför tillämpas PSM, vilket innebär att vi använder en skalär funktion av de variabler (X) som ingår i analysen.61 De variabler som ingår i matchningen framgår i faktaruta 1. Tanken är att matcha deltagare och jämförelsepersoner som har liknande värde på funktionen av X. Olika kombinationer av variabelvärden på X kan då resultera i samma värde på funktionen av X. Ett liknande värde innebär liknande förutsättningar att få delta i program. Det vill säga, individer som deltar i FUB matchas med individer som inte deltar i FUB, men som har samma sannolikhet som deltagarna att delta. Denna del av matchningen görs med återläggning och utifrån principen ”nearest neighbour”.62 Det är värt att notera att det inte alltid kommer vara möjligt att finna 58Jämförelsepersonernas arbetslöshetstid mäts som tiden från inskrivning hos AF till den 15:e den månad som deltagaren påbörjar insatsen. 59Se t.ex. Blackwell m.fl. (2009), Iacus m.fl. (2012). 60Deltagarna tilldelas vikter efter relevans. 61Se och (1983). 62Se Sianesi (2004). Funktionen Psmatch2 i Stata har använts. R I K S R E V I S I O N E N EFFEKTER AV ARBETSFÖRMEDLINGENS FÖRBEREDANDE OCH ORIENTERANDE UTBILDNING jämförelsepersoner för varje deltagare. Enbart deltagare där det finns minst en jämförelseperson ingår i urvalet (s.k. common support). Utöver detta utförs exakt matchning på ett urval av några viktiga variabler, dvs. deltagaren och jämförelsepersonen ska ha samma värde på just dessa variabler. I faktaruta 1 framgår vilka variabler som ingår i de olika stegen i matchningen. I det slutliga urvalet (för ) när öppet arbetslösa utgör jämförelsegrupp är antalet deltagare 5 414, och antalet jämförelsepersoner är 144 148 (tabell 8, bilaga 7). När deltagarna i APR utgör jämförelsegrupp är antalet deltagare 3 706 och antal jämförelsepersoner är 6 629 (tabell 22, bilaga 7). Fördelningen av propensity scores för deltagare respektive jämförelsegrupp presenteras i figur 1 och 2 i bilaga 7. Genom matchningen har deltagar- och jämförelsegrupper som är lika med avseende på de faktorer vi kan observera i data skapats (tabell 1–3 i bilaga 4 för balansen). Anledningen till att vi har valt att utgå från denna modellspecifikation (Modell 5 nedan), vad gäller de resultat som presenteras i rapporten, är att resultaten blir lätta att tolka. Eftersom hänsyn tas till bl.a. skillnader i arbetsinkomst mellan grupperna som fanns redan innan deltagandet i insatsen kan resultaten, under vissa antaganden, tolkas som effekten av att delta i insatsen utan att eventuella skillnader som fanns i arbetsinkomst innan deltagandet i insatsen behöver beaktas. Valet av modellspecifikation ligger också i linje med tillvägagångssättet i tidigare studier av effekter av arbetsmarknadspolitiska program.63 I nästa avsnitt presenteras hur robusta resultaten är för val av modellspecifikation. Faktaruta 1 Variabler som ingår i matchningens olika steg Matchning 1 – Coarsened exact matchning Tid mellan inskrivningstillfället hos AF och påbörjat program 63Se t.ex. Sianesi (2004), de m.fl. (2008), m.fl. (2011), m.fl. (2013), Gartell m.fl. (2013) för exempel på svenska studier och exempelvis Biewen m.fl. (2014) för exempel på internationella studier som tillämpar samma tillvägagångssätt. 46 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Matchning 2 – Propensity score matchning Gift eller registrerat partnerskap=1, annars =0 Kontinuerlig och i kvadrat Barn 0–7 år=1, annars=0 Barn 8–18 år=1, annars=0 =1 om arbetsinkomst>0, annars =0 =1 om ekonomiskt bistånd>0, annars =0 Född i /, =1, annars=0 Född i EU15+ (ref), =1, annars=0 Född utanför EU15+ =1, annars=0 Förgymnasialutbildning, =1, annars=0 Gymnasialutbildning (ref), =1, annars=0 Eftergymnasialutbildning, =1, annars=0, =1 om A-kassa, =0 annars =1 om Alfakassa, =0 annars =1 om den arbetssökande bedöms som matchningsbar av AF, =0 annars =1 om den arbetssökande har en kodad funktionsnedsättning, =0 annars Totalt antal inskrivningsdagar i tidigare inskrivningsperioder Totalt antal tidigare inskrivningsperioder Dummyvariabler baserat på funktionella regioner; Storstad, Mindre centrum, Större centrum (ref), Exportinriktad region, Bruksort, Exportsvag region, Teknik, Glesbygd. För Arbetsinkomst t-1: Arbetsinkomst t-1*ålder Arbetsinkomst t-1*förgymnasialutbildning Arbetsinkomst t-1*eftergymnasial utbildning Arbetsinkomst t-1*född inom EU 15+ Arbetsinkomst t-1*född utanför EU 15+ Motsvarande interaktioner för samtliga inkomstvariabler är R I K S R E V I S I O N E N EFFEKTER AV ARBETSFÖRMEDLINGENS FÖRBEREDANDE OCH ORIENTERANDE UTBILDNING Matchning 3 – Coarsened exact matchning Strata (väntetid/starttidpunkt) Propensity score-värde (från matchning 2)* Ungdom (<25 år) Lokal arbetsmarknad: storstad Not: * Propensty score-värdet är avrundat till 5 decimaler och det är på denna nivå matchningen genomförs. Detta är det antal decimaler som produceras då Psmatch2 i Stata används. Det vill säga det är principen ”nearest neighbour” som tillämpas. I faktaruta 2 definieras de variabler som ligger till grund för de utfallsvariabler som används i analyserna. Huvudsakligen presenteras utfallen två och efter påbörjad insats, men resultaten har tagits fram även med längre uppföljningshorisonter. Dessa resultat presenteras sammanfattat i tabell 8–10 i bilaga 4. Utfallsvariablerna studeras från påbörjad insats (t+2), upp till efter påbörjad insats (t+9). Arbetsinkomst , årlig. Ekonomiskt bistånd , årlig. Det ekonomiska biståndet är indivisualiserat med hjälp av individens konsumtionsvikt i familjen. Utanför arbetskraften Om individen varken är aktulle hos Arbetsförmedlingen eller registrerad som sysselsatt (SCB) respektive år. Hur stabila är resultaten? Nedan presenteras översiktligt de fördjupade analyser som har genomförts för att testa om resultaten är stabila för bl.a. olika modellspecifikationer. För att begränsa omfattningen har känslighetsanalyserna främst genomförts för , där arbetsinkomster två och efter påbörjad insats är de huvudsakliga utfallen. 48 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Utgångspunkten i granskningen är att studera inflödet av arbetssökande till AF och det är beslut om programdeltagande som sker som studeras.64 För att jämföra resultaten presenteras resultaten uppdelat på inflödet . De restriktioner som tillämpas i urvalsprocessen presenteras i faktaruta 3. Faktaruta 3 Restriktioner för deltagare FUB ska ha genomförts från inflödet till AF. Den arbetssökande måste finnas med i LISA-databasen. Om den arbetssökande har flera inskrivningsperioder som påbörjas , behåller vi den första. Parallella program exkluderas. FUB ska vara första program i aktuell inskrivningsperiod. FUB ska föregås av öppen arbetslöshet för den arbetssökande. Åldersrestriktion, individer upp till ingår i analysen. Hur restriktionerna påverkar antalet deltagare som ingår i urvalet och deltagarsammansättningen har undersökts. Flest antal deltagare exkluderas genom restriktionen att programdeltagandet ska vara det första programmet i aktuell inskrivningsperiod (restriktion 2). Ursprungligen består urvalet av 14 320 individer och i den slutliga analysen har restriktionerna medfört att 5 414 individer kvarstår som deltagare när öppet arbetslösa utgör jämförelsegrupp. Antal deltagare är 3 706 när APR utgör jämförelsegrupp. Att deltagarantalet är betydligt mindre när APR används som jämförelsegrupp är naturligt då det finns betydligt färre individer att matcha mot. Sammansättningen av deltagare påverkas till viss del, och då främst av restriktion 2 (tabell 1, bilaga 7). I vårt urval är deltagarna något yngre och har också en något strakare arbetsmarknadsanknytning jämfört med samtliga deltagare. Flera olika modellspecifikationer testas. Syftet är att undersöka hur balansen påverkas och hur stabila resultaten är för val av specifikation. Gemensamt för samtliga modeller är att det inledningsvis genomförs exakt matchning på väntetid samt tidpunkt för programstart. Sedan används PSM för att, betingat på 64Beslut innebär att det har fattats ett beslut om deltagande i en insats, men det behöver inte nödvändigtvis betyda att individen deltar i, eller fullföljer, insatsen. Alla beslut om FUB registreras hos AF. Även information om avbrott och felregistrerade beslut finns i AF:s register. I den här rapporten studeras alla beslut, rensat för felregistrerade beslut. R I K S R E V I S I O N E N EFFEKTER AV ARBETSFÖRMEDLINGENS FÖRBEREDANDE OCH ORIENTERANDE UTBILDNING individkarakteristika, matcha jämförelsepersoner och deltagare som har samma sannolikhet (samma propensityscore-värde) att vara deltagare. Slutligen inkluderas successivt variabler som vi väljer att matcha exakt på. I faktaruta 4 redovisas vilka olika modellspecifikationer som testas, i tabell 2a-b och 16a-b i bilaga 7 redovisas resultaten sammanfattat. Faktaruta 4 Variation i modellspecifikationer Exakt matchning på inskrivningstid (väntetid och tidpunkt för programstart). Exakt matchning på inskrivningstid och propensity score*. Exakt matchning på inskrivningstid, propensity score*, Kön, Ungdom, Akassa och lokal arbetsmarknad storstad. Exakt matchning på inskrivningstid, propensity score*, Kön, Ungdom, Akassa, lokal arbetsmarknad storstad och positiv arbetsinkomst t-2. Exakt matchning på inskrivningstid, propensity score*, Kön, Ungdom, Akassa, lokal arbetsmarknad storstad, positiv arbetsinkomst t-2, födelseland utanför Eu15+ och eftergymnasial utbildning. Not: * Propensty score värdet är avrundat till 5 decimaler och det är på denna nivå matchningen genomförs. Detta är det antal decimaler som produceras då Psmatch2 i Stata används. Det vill säga det är principen ”nearest neighbour” som tillämpas. Balansen för olika modellspecifikationer När hänsyn enbart tas till de arbetssökandes inskrivningstid vid programstart (Modell 1) finns betydande skillnader mellan deltagar- och jämförelsegruppen öppet arbetslösa (tabell 3, bilaga 7). Exempelvis är det en påtagligt större andel av deltagarna i FUB som har högst en förgymnasial utbildning och som är födda utanför . Vidare har deltagarna ett och före deltagandet i FUB lägre arbetsinkomster och mer ekonomiskt bistånd. Detta visar att deltagarna i FUB i genomsnitt har en svagare arbetsmarknadsanknytning innan deltagandet i insatsen. För att ta hänsyn till dessa skillnader inkluderas stegvis fler variabler i matchningen. Först genom att vi tillämpar PSM, sedan genom att vi väljer att successivt matcha exakt på några variabler. I vår slutgiltiga modell (Modell 5) kvarstår enbart obetydliga skillnader mellan grupperna (bilaga 7). Att skillnaderna är obetydliga innebär att skillnaderna i individkarakteristika mellan grupper inte är signifikanta, och i de fall det förekommer signifikanta skillnader är dessa så pass små att de inte kan förväntas ha betydelse för utfallet. Det är på Modell 5 de resultat som presenteras i rapporten baseras. Även när deltagarna i APR utgör jämförelsegrupp, och matchning enbart gjorts (Modell 1), finns skillnader mot deltagarna i FUB (tabell 17, bilaga 7). Mönstret är likartat som när öppet arbetslösa används som 50 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N jämförelsegrupp, men skillnaderna mellan deltagare och jämförelsepersoner är initialt betydligt mindre. Det vill säga, grupperna är mer lika redan innan matchning på övriga variabler genomförts. Även när deltagarna i APR utgör jämförelsegrupp är grupperna mycket lika efter den slutgiltiga matchningen (bilaga 7). Sammantaget har matchningen skapat grupper av deltagare och jämförelsegrupper som är mycket lika med avseende på faktorer som är observerbara i data. Hur stabila är resultaten för val av modellspecifikation? För att undersöka hur stabila resultaten är för val av modellspecifikation jämförs resultaten från den slutgiltiga modellen (Modell 5) med resultat för den enklaste modellen (Modell 1). Vi jämför även resultaten med när historiska inkomster (och inkomstinteraktioner) exkluderas från matchningen – denna modell kallar vi Modell 5 (reducerad). Resultat för samtliga modeller redovisas i bilaga 7. Eftersom är som sticker ut resultatmässigt presenterar vi i det här avsnittet även resultaten för . Inkomstutvecklingen för deltagar- respektive jämförelsegrupp presenteras. Denna metod kallas betingad skillnad i skillnad (difference-in-difference) i litteraturen.65 Genom att studera skillnaden i inkomstutvecklingen mellan grupperna tar vi, förutom de variabler vi matchar på, även hänsyn till icke-observerbara faktorer som är konstanta . Därmed kan resultaten, under antagandet att det inte finns icke-observerbara faktorer (t.ex. motivation och förmåga) som, , varierar på systematiskt olika sätt mellan grupperna tolkas som effekter. Vi kan inte komma på någon rimlig förklaring till att så skulle vara fallet. Exempelvis, varför skulle motivationen för de som deltar i FUB förändras på ett systematiskt annorlunda sätt än motivationen för de som deltar i APR – av anledningar som inte har med själva deltagandet i insatsen att göra? Dessutom visar forskning att personliga egenskaper tenderar att relativt sätt förändras lite över tid.66 Men antagandet går inte att testa empiriskt och därför ska resultaten också tolkas med viss försiktighet. Öppet arbetslösa som jämförelsegrupp I figur 1 redovisas inkomstutvecklingen för deltagare respektive jämförelsegrupp när Modell 5 (reducerad) används, och för samtliga modeller redovisas skillnaden i inkomstutvecklingen mellan deltagare och jämförelsegrupp. Resultaten (Modell 1) visar att deltagarna och personerna i jämförelsegruppen åren innan (t-2 och t-1) tidpunkten för insatsen hade olika arbetsinkomster – deltagarna hade lägre arbetsinkomster jämfört med personerna i jämförelsegruppen. 65Heckman m.fl. (1998). 66Rantanen m.fl. (2007). R I K S R E V I S I O N E N EFFEKTER AV ARBETSFÖRMEDLINGENS FÖRBEREDANDE OCH ORIENTERANDE UTBILDNING har hänsyn enbart tagits till att deltagare och jämförelsepersoner ska ha varit arbetslösa då insatsen påbörjas vilket gör, som nämnts ovan, att de båda grupperna skiljer sig åt i flera andra avseenden. Efter deltagandet i insatsen har skillnaden i arbetsinkomst mellan grupperna ökat något. Det vill säga, deltagarna har haft en mer negativ inkomstutveckling jämfört med jämförelsegruppen. För att ta hänsyn till skillnader mellan grupperna som finns redan innan deltagande i insatsen, matchas grupperna på individkarakteristika (Modell 5 (reducerad)) och historiska inkomster (Modell 5). Resultaten både från Modell 5 och Modell 5 (reducerad) visar att matchningen bidrar till att ta hänsyn till de skillnader i arbetsinkomst som fanns mellan grupperna innan deltagandet i insatsen. Även för dessa två modeller visar resultaten på en mer negativ inkomstutveckling för deltagarna jämfört med för jämförelsegruppen. För deltagarna 2011 är resultaten likartade som för deltagarna 2006, men det är tydligare att de negativa effekterna av att delta i FUB avtar med uppföljningshorisontens längd. ser resultaten något annorlunda ut; finns det en svag positiv effekt av att delta i FUB tre och efter påbörjad insats. Att 2008 är som sticker ut resultatmässigt är också något som bekräftas av resultaten som presenteras i rapporten. 52 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Figur 1 Inkomstutveckling och skillnad i arbetsinkomster mellan deltagare i FUB och öppet arbetslösa, SEK Modell 5 (reducerad) t+1 t+2 t+3 t+4 Modell 5 (reducerad) t+1 t+2 t+3 t+4 Modell 5 (reducerad) t+1 t+2 t+3 t+4 Modell 5 (reducerad) R I K S R E V I S I O N E N EFFEKTER AV ARBETSFÖRMEDLINGENS FÖRBEREDANDE OCH ORIENTERANDE UTBILDNING Deltagare i Arbetspraktik som jämförelsegrupp Motsvarande analys för när deltagarna i APR används som jämförelsegrupp har genomförts (figur 2). Resultaten (Modell 1) visar att inkomsten var högre för deltagarna i FUB före tidpunkten för deltagande i insatsen (t och t+1), men lägre efter deltagandet. Inkomstutvecklingen har m.a.o. varit sämre för deltagarna i FUB jämfört med deltagarna i APR. Detta resultat gäller oavsett modellspecifikation. Resultatet för deltagarna 2011 liknar i hög grad resultatet för deltagarna 2006, medan resultatet för deltagarna 2008 åter skiljer sig åt. är inkomstutvecklingen på kort sikt (t+2), som för , sämre för deltagarna i FUB jämfört med för deltagarna i APR, men på finns inga tydliga skillnader mellan grupperna. 54 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Figur 2 Inkomstutveckling och skillnad i arbetsinkomster mellan deltagare i FUB och deltagare i APR, SEK Modell 5 (reducerad) t+1 t+2 t+3 t+4 Modell 5 (reducerad) t+1 t+2 t+3 t+4 Modell 5 (reducerad) Modell 5 (reducerad) R I K S R E V I S I O N E N EFFEKTER AV ARBETSFÖRMEDLINGENS FÖRBEREDANDE OCH ORIENTERANDE UTBILDNING Trimning av propensity scores För att undersöka hur stabila resultaten är exkluderas deltagare med de allra högsta sannolikheterna (propensity scores) att delta. Anledningen är att det finns färre potentiella jämförelsepersoner bland icke-deltagarna och att det därmed kan vara svårare att hitta bra matcher. Vi exkluderar också deltagare med de allra lägsta sannolikheterna att delta. Fördelningen av propensity score-värdena presenteras i figur 3–8 i bilaga 7. Resultaten är robusta när vi exkluderar de allra högsta respektive allra lägsta propensity score-värdena. Detta gäller både när öppet arbetslösa och när deltagare i APR används som jämförelsegrupp (tabell 1 och 2).