sou · GSB324d3 · 2005-01-01 00:00:00 — En del av dem står sannolikt i motsats till varandra; det kanske inte går att skapa ett system som både upplevs som rättvist av dem som är berörda av det, och som står i överensstämmelse med andra princi- per för beskattning, eller som är både billigt, lätt att administrera och begripligt. Poängen med modellen är dock att fokusera på det som kan ligga till grund för värdeutsagor i en utvärdering, och med användning av den här modellen gäller det då att komma fram till om systemet har dessa egenskaper. Det kan finnas en överlappning mellan begreppen måluppfyllelse och effekter. Jag har beskrivit systemets mål som att uppnå vissa effekter. Jag är inte säker på att det är rätt, men har heller inte hit- tat någon tydlig beskrivning av vad systemet har för mål. I den här modellen blir måluppfyllelse en synonym till att systemet har posi- tiva och önskvärda effekter. Vi kommer då in på nästa modell, som handlar om effekter. Modellen kartlägger effekter som ett utlands- villkorssystem kan ge upphov till. Jag har valt att skilja på positiva och negativa effekter. Ofta är det två sidor av samma mynt, men inte nödvändigtvis. Vidare har jag valt att identifiera effekter på fyra nivåer; individens, arbetsplatsens (ambassaden, delegationen, enheten), , och för landets del. Man kan bygga ut modellen med att även införa en bedömning av effekt i förhållande till de olika utfallen av egenskaperna i modell 1. Ett orättvist system ger t.ex. andra negativa effekter än ett system som inte är effektivt. Jag tror dock att en modell som byggs ut så långt blir onödigt komplex, och man skulle få en hel del överlappande pro- blem. Effekter av utlandsvillkorssystemet. Ger trygghet och säkerhet Gör det möjligt att planera inkomster, ut- gifter och sparande långsiktigt Ger kompensation för inkomstbortfall Ger kompensation för omkostnader Lätt att få sökande till utlandstjänstgöring Lätt att få anställda att flytta hem när det God anda på arbetsplatsen Så liten kostnad som möjligt i förhållande till bäst möjliga resultat Lätt att få korttidsanställda/kontrakts- anställda när det behövs i systemet Underlättar flyttning mellan departement eller andra delar av förvaltningen Gör att man får de mest lämpade perso- Svårt att planera inkomster, utgifter och Lägre inkomst än vad alternativa syssel- sättningar/hemmaplaceringar skulle ge Förlorad arbetstid p.g.a. diskussioner om ersättning, förhandlingar och klagomål Ett system som drar högre kostnader än Svårigheter med långsiktig personalplacer- ing om inte de anställdas reaktioner är nå- Svårigheter att få personal dit arbetsgivaren skulle vilja styra dem (hemma eller ute) Personalflykt och för hög/oönskad perso- Svårt att rekrytera kompetent personal till Detta leder till två frågor vad gäller utvärderingen. Kan man utvär- dera de inneboende egenskaperna i systemet direkt? Svaret är Ja, jag återkommer till det nedan. Kan man utvärdera effekterna? Svaret på den frågan är Kanske, med betydande svårighet och en hel del osäkerhet. Frågan är då om det är nödvändigt att utvärdera effekter för att utvärdera utlandsvillkorssystemet. Det är möjligt att tillförlitliga svar på frågan om systemets egenskaper i sig gör det möjligt att förutsäga vilka effekter det får. Genom att gå direkt på en bedömning av sådana egenskaper som rättvisa, begriplighet och effektivitet kan man få underlag för en bedömning av vilka effekter systemet har. Vad är svårigheten med en effektutvärdering? Begreppet effekt anger att någonting förekommer som resultat av någonting annat. Effekter uppkommer genom att ett fenomen ger upphov till ett annat fenomen. Man kan tala om orsak och ver- kan, där effekten är synonym med det senare ordledet. Vi förut- sätter ett kausalt samband mellan en orsak och dess effekt. Ett kau- salt samband innebär att orsaken är nödvändig och tillräcklig för att effekten skall uppkomma. Att orsaken är nödvändig innebär att effekten inte uppkommer om inte orsaken också förekommer. Om orsaken är X och effekten Y, så inget Y utan X! Att orsaken är tillräcklig innebär att det inte skall behövas något annat för att effekten skall förekomma. Det skall inte behövas något Z för att Y skall kunna observeras. Det är det här som är problemet vad gäller utlandsvillkorssyste- mets effekter. För att illustrera det går jag vidare med ytterligare en modell, en schematisk sådan för att klarlägga relationen mellan de olika delarna i modellen. Modellen är tänkt att illustrera en livssituation, där den anställde, tillsammans med sin familj, skall fatta beslut om utlandstjänstgöring/alternativt flytta hem. Som alla vet påverkas det beslutet av en lång rad omständigheter, varav några få är illustrerade i modellen (den kan givetvis lätt byggas ut för att beakta ännu fler av de förhållanden som berör valet). Poängen är att de tänkbara effekterna av utlandsvillkorssystemet beror på en rad andra faktorer. Den anställdes val beror sannolikt till ganska liten del på utlandsvillkoren. De kan vara ett strå till stacken, eller droppen som kommer bägaren att rinna över. Men utlandsvillkorssystemet lär knappast vara både nödvändigt och till- räckligt för den observerade effekten. Det lär med andra ord inte gå att fastställa något kausalt samband mellan utlandsvillkorssystemet som orsak, och någon form av effekt som dess verkan. Detsamma gäller alla de andra positiva och negativa effekter på skilda nivåer som nämns i modell 2; de är alla resultatet av en kom- plex interaktion mellan en rad olika variabler. Det lär vara helt omöjligt att fastslå hur stor del av en effekt som uppkommer till följd av utlandsvillkorssystemet, och till hur stor del den beror på andra faktorer – särskilt som intressenterna som de läm- nar uppgifter för en utvärdering kan vilja påverka systemets fram- tida utformning. Sambandet mellan utlandsvillkorssystemet, en effekt och andra oberoende variabler – beslut av anställd att lämna UD, alternativt inte åka dit arbets- givaren vill ha honom/ henne placerad innehåll, lön, Kan man lösa problemet med effektutvärdering? Även om man inte kan utvärdera en renodlad effekt av systemet, kan man sannolikt undersöka på vilket sätt utlandsvillkorssystemet bidrar till besluten. Det är behäftat med stora validitetsproblem, men lär inte vara omöjligt. Det skulle kunna vara möjligt att: 1.Göra ett slumpmässigt urval bland dem som lämnat UD , och genom öppna intervjuer fråga dem om anledningarna till att de lämnat organisationen. Man skall inte fråga direkt om utlandsvillkoren, utan ställa frågan öppet, och se vilka svaren blir, och om utlandsvillkoren över huvud taget nämns som en orsak till beslutet. 2.Om möjligt undersöka de tillfällen när ledningen för departe- mentet velat tillsätta en viss tjänst, med en viss person, men där denne inte varit intresserad, och på samma sätt som ovan intervjua personen om orsakerna till beslutet. Även här bör det baseras på ett slumpmässigt urval. De situationer som beskrivs ovan ger en negativ värdeladdning av undersökningen. Chanserna att identifiera systemets negativa effekter är stora. För att balansera det kan man tänka sig att göra motsvarande urval av ett antal situationer där systemet inte haft motsvarande negativa effekter (kanske). Det skulle kunna vara: 1.Ett slumpmässigt urval av sådana som sökt sig till orga- nisationen och som sannolikt står inför att snart tjänstgöra utomlands, och på samma sätt undersöka faktorerna som på- verkar deras beslut att åka ut. 2.På samma sätt som ovan undersöka tillfällen när tillsättningen av tjänster, både hemma och utomlands, förlöpt utan problem. Vid undersökningarna är det viktigt att uppmärksamma att urvalet också fångar upp olika personalkategorier, geografiska områden, familjesituationer. Urvalet bör göras stratifierat slumpmässigt. Jag tror det är lämpligt att sikta på mellan 5 och 10 intervjuer i vardera kategorin ovan, dvs. totalt någonstans mellan 20 och 40 intervjuer. Jag tror inte det är möjligt att använda någon enkät i samman- hanget, eftersom det förutsätter direkta och väldefinierade frågor. Då vore risken stor att de svarande skulle betrakta enkäten som ett förhandlingsinstrument. Den risken finns även vid intervjun, men eftersom intervjutillfället är mera öppet och den som intervjuar kanske kan värdera förhandlingsmomentet i situationen, kan man få information av högre validitet. För att svaren skall bli tillförlitliga ställs ganska speciella krav på intervjusituationen. Det bör inte vara mer än två personer närva- rande; den intervjuade och intervjuaren. Den som intervjuas bör tillförsäkras anonymitet. Intervjun dokumenteras med anteck- ningar, inga bandspelare eller fullständiga protokoll som verifieras i efterhand. Det bör sannolikt vara ett öppet intervjuformulär, dvs. varken strukturerat eller standardiserat. Givet att det är klargjort från början, och övriga betingelser ovan är vid hand, kan intervjun om effekter av systemet ske inom ramen för en längre intervju som behandlar andra frågor utredningen belyser. Det är ofta nyttigt att i förväg föreställa sig vilka resultat en undersökning kan ge, så att man vet vad man letar efter för infor- mation, och när man eventuellt blir överraskad av den information man får. Hypoteserna kan vidareutvecklas när man gör klart interv- juformuläret, men en tänkbar lista över hypoteser skulle kunna se ut så här: Det är ingen som självmant nämner utlandsvillkorssystemet som en anledning att man tagit avsked från UD. Det är ingen som självmant nämner utlandsvillkorssystemet som en anledning att man sökt sig till en viss tjänstgöringsort. En majoritet av de svarande anger självmant någon aspekt av utlandsvillkorssystemet som en anledning att man ibland inte är intresserad av en viss tjänstgöringsort. En majoritet av de svarande i alla urvalskategorier är på det stora hela taget nöjda med utlandsvillkorssystemet som det ser ut . Det är ingen av de svarande som kan peka på ett system som i sin helhet är bättre, som de hellre skulle vilja tillämpades av UD. Det är ingen av de svarande som kan ge exempel på en kollega som sökt sig till en annan arbetsplats på grund av utlandsvillkorssy- stemet. De flesta av de svarande kan säga att mycket arbetstid går åt för att jämföra utfallen av systemet mellan olika individer De flesta svarande ger flera exempel på situationer som upplevs som orättvisa när systemet tillämpas. Det är några delar av systemet som orsakar de negativa effek- terna, särskilt de som har med de medföljandes situation att göra. De flesta svarande har ingen klar uppfattning om hur de lång- siktiga konsekvenserna av systemet för dem själva och deras familjer ser ut. Det här är några tentativa exempel på hypoteser. De bygger på att det faktiskt är intressant att veta om t.ex. av respondenterna ger exempel på orättvisa situationer, och att detta i så fall är ett problem vad gäller systemets effekter. Likaså kan det vara intres- sant om det tvärtom inte är så många som ser sådana exempel. Det ger den utvärderande information som behövs. Hypoteserna om effekterna beror på systemets inneboende karaktäristika. Som nämndes ovan kan det vara möjligt att få en bild av effekterna om man utvärderar de egenskaperna direkt. Jag tror därför att huvudstrategin bör vara att gå direkt på en sådan bedömning; dvs. att värdera om systemet är rättvist, begripligt, kongruent, ändamålsenligt och effektivt. Att värdera utlandsvillkorssystemets inneboende egenskaper Jag föreslog fem egenskaper som ett bra utlandsvillkorssystem borde ha. Här kommer några förslag på hur de kan utvärderas. Frågor om systemet är rättvist. Är systemet rättvist? Utredningen kan göra ett antal fallstudier, där man beräknar livsin- komster för den anställde och dennes familj. Varje sådan fallstudie kan göras på cirka en sida. Fallstudierna kan vara av den karaktär som t.ex. familjeekonomer på banker och liknande använder när de beräknar hur livsinkomster påverkas av utbildning, familj, flytt, mm. Man kan tillsätta en panel med oberoende experter och dessa skall sedan värdera fallstudierna på en rättviseskala, eller flera sådana skalor. Det kan sägas vara en tillämpning av delphi-teknik för just det här syftet. Men man kan också undersöka och bedöma rättvisan i systemet med ett kvalitativt resonemang i rapporten, t.ex. mot bakgrund av intervjusvar. Om man väljer en delphi metod kan det gå till så här. Rent prak- tiskt kan utvärderingen behöva räkna fram ett tiotal typiska situa- tioner. Sedan kan bedömningarna genomföras i form av en grupp- intervju, fast helst inte med mer än tre experter . Dessa tillfällen planeras, genomförs och dokumenteras. Man får räkna med per tillfälle för dem som håller i utvärderingen. Om man genomför tre paneldiskussioner tar hela arbetet kring , vilket bör innefatta att ställa samman slut- satserna i sin helhet. Det kan vara lämpligt att precisera hypoteser även för detta. Upplevs systemet som rättvist? Det enda sättet att få reda på det är att fråga, Om man gör en effektutvärdering enligt ovan, kan detta vara följdfrågor. Man kan också ställa frågan i vanliga intervjuer, eller skräddarsy en intervju- omgång för ändamålet. Bäst är nog att undersöka detta genom en enkät, eftersom det är intressant att få in ett stort antal svar. Jag återkommer till frågan om en enkät nedan. Frågan om systemet är begripligt Den här bedömningen kan göras direkt i utredningen, man behöver inte nödvändigtvis fråga andra hur det upplevs eller uppfattas. En beskrivning av systemet, en genomgång av regler, undantag, beslutsgångar, m.m. kan ge underlag för ett värdeomdöme. I den mån man genomför intervjuer, eller enkäter, vore det dock natur- ligt att även belysa den här frågan. Frågor om systemet är effektivt En sådan värdering bör bygga på en beskrivning av systemet, en genomgång av administrationskostnader, och de andra egenskaper som nämns. Detta är något som utredningen under alla omständig- heter måste göra. Vad gäller utvärderingen innebär det att i för- längningen av beskrivningen också föra ett resonemang om de värden som systemet bör ha, dvs. om det är rimligt lätt att admini- strera, har så låga kostnader som möjligt, och om organisationen kring systemet är ändamålsenlig. Frågan är hur man gör värde- ringen? En viktig del av det värderande omdömet blir att finna en relevant måttstock. En sådan kan vara att jämföra med andra sys- tem, särskilt då om det finns något som allmänt lyfts fram som en förebild (t.ex. i andra länder, i privata företag, andra system i den offentliga sektorn). Man kan också ställa dagens system mot ett idealiskt system, i den mån det finns en konkret bild av ett sådant. Det går också att ange riktvärden, som t.ex. Kostnaderna för administrationen får inte uppgå till av de volymer som hanteras i systemet Antalet arbetsår för att administrera systemet får inte överstiga för 100 utsända Systemets skall lätt och säkert kunna anpassas efter kursfluk- tuationer och inflation minst 6 gånger Systemet skall kunna anpassas efter alla tänkbara familjesi- tuationer Frågor om systemets kongruens. Den här frågan belyses genom att arbeta med dokumentationen om utlandsvillkorssystemet och med de andra system, eller principer för administration, som man avser det skall vara kongruent med. Det kan inte undersökas med hjälp av enkäter eller intervjuer, utan där måste den som gör utvärderingen analysera de relevanta jämfö- relseobjekten och genom studien påvisa brister eller den överens- stämmelse med andra principer som eftersträvas. För att underlätta arbetet kommer det att behöva struktureras, t.ex.: 1.precisera vilka principer, policies och vilken utvecklad prak- tik det skall vara kongruent med, 2.beskriva vad i dessa som man eftersträvar kongruens med och varför, 3.påvisa brister där utlandsvillkorssystemet inte är kong- ruent. Detta är ett arbete som det är svårt att skatta omfattningen av, men det skulle inte förvåna mig om det kan innebära åtminstone av beskrivning, precisering och kvalitativ analys. Frågor om systemets måluppfyllelse. I det ovan skrivna har jag använt begreppet effekt som synonymt med måluppfyllelse. Systemet förväntas ha vissa effekter, målet är att de skall ha sådana effekter. Om effekterna uppnås, dvs. i stort sett de positiva effekterna som beskrivs i modell 2, då är också målen uppnådda. Det innebär att utvärderingens arbetsmetoder här är de samma som de som beskrevs avseende effektutvärdering. Arbetsmomenten i en utvärdering Vart och ett av de här momenten är en liten undersökning i sig, men de kompletterar också varandra, och väljer man att genomföra allt finns det möjlighet att t.ex. ställa frågor om flera områden i en intervju, eller genom en enkät. Sammantaget bör det ge en tillför- litlig grund för en nyanserad diskussion och ett slutgiltigt omdöme om hur bra systemet är, inklusive vilka effekter det sannolikt har. Rent praktiskt innebär det följande: 1)Genomförande av en Delphi studie för att bedöma systemets egenskaper vad gäller rättvisa. Detta kan beräknas till cirka 2 veckors effektiv arbetstid. 2)Genomförande av en kvalitativ dokumentanalys av systemets kongruens, vilket också uppskattas 3)Beskrivning av systemet och analys av dess effektivitet med hjälp av benchmarking, och egna rimlighetsbedömningar. Det är en svårare sak att uppskatta, men beroende på hur svårt det är att finna jämförelseobjekt, och under antagande att en beskrivning ändå måste göras, kanske det kan åtgå kring en veckas arbete för en sådan analys. 4)Genomförande av intervjuer med ett antal anställda, i huvudsak för att bedöma effekter, men även för att samla underlag för bedömning av systemets rättvisa (upplevda) och begriplighet. Tid för att utforma en intervjumall, . Urval, kon- takter och bokning av tid för 20 intervjuer; , genomfö- rande, inklusive dokumentation, per intervju. Detta moment bör då kunna genomföras på sammanlagt . Det kan också samordnas med annan informationsinhämtning och spridas ut längre i tiden. 5)En enkätundersökning för att få ytterligare underlag för att bedöma hur systemet upplevs, om det är begripligt, om det står sig i jämförelse med andra system, samt vad det finns för upp- fattningar/myter/åsikter om dess effekter. En enkät brukar kunna genomföras inom ramen för cirka tre veckors effektivt arbete, varav drygt går åt till utformning och pilottest av enkäten, knappt för distribution och svar på frågor den behandlas, samt drygt för att analy- sera svaren. Enkäten kan med fördel sändas ut i elektronisk form, och svaren kan då gå rakt in i en databas för statistisk presentation i diagram och tabeller. Figuren nedan sammanfattar de olika frågorna i utvärderingen och de metoder som kan användas för att göra värderingen. Är detta spretigt som angreppssätt och behövs alla metoderna? Nej, det är inte spretigt, en utvärdering behöver normalt samla data med flera metoder för att belysa alla frågor som uppdraget reser. Det är självklart att en utvärdering delas upp i en rad mindre stu- dier som belyser skilda delar av det objekt som utvärderas. Möjli- gen kan enkäten verka överflödig eftersom det som den skall belysa ändå kommer fram genom någon av de andra metoderna. Frågan är då om det behövs en enkät, eller om man kan klara sig utan det momentet. Följande skäl talar för att en enkät genomförs: Det kan ha ett egenvärde att många människor kommer till tals i utvärderingen, de får en möjlighet att lämna synpunkter, upp- märksammar utredningen, och blir mera intresserade att ta del av resultaten i sin helhet. Ingen kan efteråt säga att de inte fått möjlighet att uttala sig. Enkäten kan kvalificera den bild av utvärderingsobjekten som intervjuerna ger, antingen genom att bekräfta att det stämmer, eller ifrågasätta resultaten, vilket kan vara bra eftersom det är ett litet urval som kommer att bli intervjuade. Enkäten kan ge kunskap om värderingar och attityder kring utlandsvillkoren i en stor del av organisationen, som man aldrig skulle våga uttyda efter ett tjugotal intervjuer. Följande skäl talar mot att en enkät genomförs: Det kanske ändå finns en ganska god föraning om vilka resultat enkäten skulle ge. Det är ett svårt område att ställa frågor inom, och dåligt for- mulerade frågor skulle kunna ge en negativ återkoppling till utredningen, och dessutom låg svarsfrekvens. Kostnaden för en enkät blir avsevärda, förutom egen arbetstid, eventuellt konsulthjälp och teknisk hjälp med utskick och data- behandling. Jag kan inte värdera argumentens tyngd, men kan konstatera att av argumenten mot, är det första rimligtvis ganska lätt avgjort, det andra kan motverkas genom omsorgsfull utformning av enkäten och omfattande pilottest. I ett sådant läge vore det kanske naturligt att börja med de andra utvärderingsmomenten, och sedan se om det är värt risken och kostnaden att genomföra en enkät. Det är inte säkert det är bäst. Det skulle kunna vara lämpligt att börja med en enkät, eller göra den tidigt i processen, eftersom den ger den råaste typen av information. Genom intervjuer kan man sedan kvalificera informationen från enkäter, och bygga upp en bättre förståelse för svarens kvalitet. Om man genomför en enkät är det viktigt att få en hög svarsfre- kvens (inte ). Det åstadkommer man genom att: Skriva ett bra följebrev som förklarar syftet, motiverar varför ett svar är viktigt, och hur man kan få del av de bearbetade resultaten. Enkäten skall vara kort, knappast mer än cirka 25 frågor, de flesta av flervalskaraktär. Man kan fråga om några få relevanta bakgrundsvariabler som övriga åsikter kan korreleras med (ålder, kön, anställningstid) Det kan finnas några få öppna frågor som avslutning. Frågorna måste uppfattas som relevanta och viktiga av de som svarar, annars får man de negativa effekterna ovan. Upprätta system för att hålla rätt på svaren och skicka påmin- nelser till dem som inte svarat, gärna två gånger. Utvärderingen kan presenteras i egen form, vilket kanske lyfts in som ett eget kapitel i utredningens betänkande. Det kan vara lämp- ligt att tänka över utvärderingsrapportens struktur redan inled- ningsvis. Då blir det lättare att se hur arbetet drivs framåt, och man kan också se var det uppstår luckor i datainsamlingen. Det är för- stås oundvikligt att rapportens struktur ändras man håller på med arbetet. Sammanfattning av intervjuer med utsända och medföljare 1 Antal intervjuade m.m. De intervjuer med utsända som genomförts av utredningen för- delas enligt följande. (64 män, 48 kv.) (9 män, 34 kv.) Utredningen har eftersträvat att på varje besökt stationeringsort intervjua personer som representerar olika personalkategorier. Urvalet är inte antalsmässigt representativt eller viktat. Urvalet av intervjupersoner har till viss del styrts i syfte att få en bred belysning av de frågor som särskilt berör medföljare och barn. Det kan också nämnas att männen är något överrepresenterade bland de utsända som intervjuats, vilket är en följd av personalsamman- sättningen på de besökta utlandsmyndigheterna och att männen är förhållandevis fler på chefstjänsterna – exempelvis var bara en av 13 intervjuade ambassadörer kvinna – men underrepresenterade bland medföljarna. De senare har ställt upp på frivillig basis. Spridningen bland de utsända med avseende på civilstånd m.m. framgår nedan. Gifta/motsv med medföljare. Minst ett medf. Gifta/motsv med medföljare. barn/vuxna barn Gifta/motsv utan medföljare. Minst ett medf. barn/vuxna barn S.k. tandempar (båda går på U-ALFA). De utsändas tjänstetitlar visar följande spridning. Ks/Bass. Av de utsända som intervjuats har 102 haft sina anställningsför- måner reglerade enligt U-ALFA, medan 10 haft kontrakt baserade på det s.k. . Under varje delfråga redovisas även bortfall. Det avser fall där frågan ej ställts eller inte alls besvarats av den intervjuade. Det har inte alltid bedömts meningsfullt att ställa vissa frågor till utsända som inte haft förutsättningar att kunna ge ett svar. När det gäller medföljarna har intervjuerna varit av samtalskaraktär.