sou · GXB394 · 2009-12-10 00:00:00 — Lärares utbildning och undervisning i skolan (2007:8) och Sfi – resultat, genomförande och lärarkompetens. En utvärdering av svenska för invandrare (2009:2). Medarbetarna vid Statskontoret har en bred bakgrund inom det samhällsvetenskapliga området (statsvetare, ekonomer, statistiker och sociologer). De besitter kompetens i utvärdering och utredning samt arbetar såväl kvalitativt som kvantitativt. 3Enligt samtal med kommer IMS att förändra sin organisation så att forskningsinstitutet /10 ingår i linjeorganisation. 4Förslaget framfördes i en projektrapport som gjordes på uppdrag av : kontroll och styrning av statlig verksamhet, 2002, s. 74. Utredningens överväganden och förslag avseende policyinriktad utvärdering kontoret kommer dessutom, enligt de uppgifter utredningen fått, att satsa mer på metod-, kvalitets- och forskningsfrågor. IFAU genomför huvudsakligen utvärdering av den arbetsmarknadspolitiska verksamheten men utför också studier av effekter på arbetsmarknaden av åtgärder inom utbildningsväsendet. För planerar IFAU att genomföra ett relativt stort antal studier inom utbildningsområdet med teman som invandrarbarns studieresultat, betygens effekter på elevernas utbildningsval och lön, arbetsmarknadseffekter av eftergymnasial yrkesutbildning etc. IFAU genomför i huvudsak egeninitierade effektmätningar ur ett nationalekonomiskt perspektiv. De anställda är främst kvantitativt inriktade nationalekonomer och hälften av personalen är disputerad. Det finns således kompetens och forskningsanknytning hos IFAU, vilket underlättar rekrytering av forskarutbildade. Vidare har IFAU ett brett internationellt kontaktnät med en stor mängd internationella forskare som använder svensk grunddata i sin forskning. Resultaten och slutsatserna av denna forskning kommer till gagn. Fördelen med både Statskontoret och IFAU som alternativ är att det redan finns befintliga strukturer, vilket betyder att det är förhållandevis enkelt att etablera och förvalta en funktion av detta slag. Statskontoret är en expertmyndighet i fråga om utredningar och verksamheten spänner över många politikområden. IFAU gör många utvärderingar som knyter an till utbildningsområdet. Det finns emellertid omständigheter som talar emot båda dessa alternativ. Statskontoret har ett brett verksamhetsområde, vilket både är dess styrka och dess svaghet. Svagheten ligger i att Statskontoret inte besitter den pedagogiska sakkunskapen inom utbildningsområdet. En av framgångsfaktorerna för att en framtida utvärderingsfunktion ska bli efterfrågad och anses vara relevant är ett starkt förtroende bland beslutsfattare och myndigheter. I några av utredningens intervjuer förmedlades synpunkten att Statskontorets rapporter saknar vetenskaplig legitimitet inom högskolevärlden. Utredningen har inte, inom ramen för detta uppdrag, haft möjlighet att ta ställning till kvaliteten i Statskontorets rapporter men anser ändå att synpunkten är relevant att återge i detta sammanhang. Statskontoret kommer visserligen, som nämnts ovan, att satsa mer på metod-, kvalitets- och forskningsfrågor. Utredningens överväganden och förslag avseende policyinriktad utvärdering spänner dock över alla politikområden och myndigheten är organiserad som en projektorganisation där medarbetarna ingår i olika typer av projekt och inte är bundna till specifika ämnesområden. Även om Statskontoret, enligt uppgift, skulle behöva anställa sådan spetskompetens inom utbildningsområdet skulle de inte inrätta någon särskild funktion för just utbildningsfrågor. Utredningen menar att en sådan funktion är nödvändig för att uppfylla de krav som ställs. IFAU genomför i huvudsak egeninitierade studier och skulle kunna karaktäriseras som oberoende. IFAU uppfyller också kravet på hög vetenskaplig kvalitet i sina studier inom utbildningsområdet och har ett stort kunnande i effektfrågor. IFAU gör visserligen studier som täcker hela utbildningsområdet men har inte området som ett spetsområde. Den fråga som måste ställas är om utökade resurser till IFAU skulle innebära djupare eller annorlunda studier än . IFAU har en stark profil med inriktning på framför allt arbetsmarknadspolitik, mikro- och kvantitativa data. Det finns naturligtvis en risk för att det kan bli mer av samma. Att IFAU:s utvärderingar enligt flera av de intervjuade är för smala eller att de slutsatser som presenteras inte alltid är så användarvänliga betyder givetvis inte att detta inte går att förändra. Det som utredningen har att ta ställning till är inte om det formellt sett är möjligt att inrätta en utvärderingsfunktion för utbildning på Statskontoret eller att ge mer resurser till IFAU. Det är naturligtvis möjligt. Utredningen anser att det behövs breda analyser med multidisciplinära infallsvinklar och att förutsättningarna för detta inte föreligger hos vare sig Statskontoret eller IFAU. Båda dessa myndigheter har sin specialitet, vilket är deras styrka och bör så vara . Statskontoret och IFAU kan också fortsättningsvis göra utvärderingar på utbildningsområdet, men organisatoriskt bör, enligt utredningen, inte en sådan utvärderingsfunktion ligga på någon av dessa myndigheter. Utredningar inom utbildningsområdet, särskilt inom universitets- och högskoleområdet, tillgodoses vanligtvis via kommittéväsendet enligt vad som framkommit i utredningens intervjuer.5 5 En kommitté som tidigare nämnts styrs av kommittéförordningen. Utredningens överväganden och förslag avseende policyinriktad utvärdering En fördel med utrednings- eller kommittéformen är att den medger stor frihet i valet av frågor som ska studeras, liksom att formerna för arbetet och tidpunkten relativt enkelt kan anpassas till behov. Denna form medger också frihet vad gäller val av genomförare, dvs. det går lätt att anpassa kompetens och erfarenhet hos särskilda utredare och sekretariat till den aktuella uppgiften. har kommittéväsendet emellertid varit föremål för ett antal granskningar som antyder brister både i systemet och i hur betänkandena används.6 I detta sammanhang har brister i regeringens direktiv till utredningsväsendet diskuterats, såsom precisering och avgränsning av uppdragen, utredningens anpassning till uppgiften samt brister i samordning mellan olika utredningsbehov. Inom kommittéväsendets ram finns emellertid möjligheten att tillsätta en expertgrupp liknande organisationsformen för Expertgruppen för Studier i Offentlig ekonomi. Det är som tidigare beskrivits en kommitté under regeringen, som arbetar med att lägga ut uppdrag till olika forskare eller utredare. Även förordar i sina förslag att fler statliga aktiviteter inledningsvis bör vara tidsbegränsade med en formell ställning liknande den som gäller i kommittéväsendet.7 rekommenderar att denna konstruktion bör utvärderas och omprövas för att eventuellt få en mer permanent form i stället. Att använda kommittéformen för expertgrupper som kan beställa utvärderingar och analyser har en lång historik – den första inrättades 1965. Den följdes av Expertgruppen för arbetsmarknadspolitiska utvärderingar (EFA) som sedermera blev IFAU. tillkom Expertgruppen för studier i offentlig ekonomi. som exempelvis inrättades som en kommitté 1974 och utvecklades till en myndighet 1975. Även () omvandlades 1995 till en myndighet efter att ha inrättats som en delegation för prognos- och utvecklingsverksamhet inom transportsektorn. Som skäl för ombildningen till ett renodlat forskningsinstitut angavs regeringens behov av att ha tillgång till fristående analysresurser i förhållande till trafikverken, 6Regeringskansliets kontroll och styrning av statlig verksamhet, 2002. 7SOU 2008:118, s. 71. Utredningens överväganden och förslag avseende policyinriktad utvärdering bland annat ett oberoende underlag för regeringens bedömning av trafikverkens investeringsplaner. Inom () fanns tidigare Expertgruppen för studier i utvecklingsfrågor (EGDI)8, som föregicks av en kommitté, Sekretariatet för analys av utvecklingssamarbetet (SAU). Den utvärdering som konsultföretaget genomförde av EGDI:s verksamhet visade att organisationen varit starkt beroende av UD och inte i linje med expertgruppens uppdrag. Relationen med UD uppgavs som oklar och ibland alltför nära. Trots att EGDI varit finansierat genom sakanslag och därmed inte i stånd att utföra uppgifter som normalt ingår i ett departements löpande uppgifter så förekom detta. Det finns en risk att en sådan konstruktion hamnar i just denna fälla. Erfarenheterna från visar emellertid att fördelen med en kommitté är att den inte är permanent och därmed inte behöver ha fasta resurser, vilket i sin tur betyder lägre administrativa omkostnader. Arbetet kan bedrivas enkelt, smidigt och med inslag av informell dialog. Vidare har det upplevts vara lätt att få kvalificerade skribenter till rimliga arvodesnivåer, dvs. arbetet har kunnat bedrivas relativt kostnadseffektivt. Erfarenheten visar också att denna modell har lätt att väcka frågor och debatt i politiskt känsliga ämnen. Att kommittén ligger nära uppges vara ett annat plus rörande lokalfrågor och IT-stöd. Kommittén som organisationsform innebär inte samma formella krav. Den behöver t.ex. inte lämna budgetunderlag och årsredovisning enligt förordning (2000:605) om årsredovisning och budgetunderlag samt har inte kravet på gemensam beredning. Däremot måste en kommitté enligt kommittéförordningen (Ds 2000:1) lämna en arbetsplan, ett budgetförslag samt göra en årlig arbetsredogörelse. Ett annat plus är närheten mellan utvärderande funktion och departementet. finns indikationer om att det funnits en del problem. En intervjuundersökning gjord av Globaliseringsrådet9 visar att expertgruppens arbete ofta hamnat vid sidan av det reguljära arbetet på departementen. En annan nackdel är att det inte finns ett 8EGDI definierades som en expertgrupp inom som finansierades via sakanslag. Organisatoriskt var EGDI uppbyggd i form av en expertgrupp, ett sekretariat samt tillfälliga referensgrupper vilka in sin tur kontrakterade författare. Sekretariatets uppgift var att administrera verksamheten och driva den framåt. Konkret innebar detta att producera uppdragsbeskrivningar för studierna, rekrytera/handla upp författare, koordinera skrivarbetet men också att ha ansvaret för spridningen av produkterna. EGDI lades ner . 9Erlandsson & , 2008. Utredningens överväganden och förslag avseende policyinriktad utvärdering antal fasta medarbetare, vilket kan leda till att långsiktigheten går förlorad. Ett sätt att komma ifrån nämnda nackdel med att hamna utanför mittfåran i departementets verksamhet är att inrätta ett organ liknande men enbart för område.10 I utredningens nordiska utblick framstår särskilt intressant med sitt Råd för utbildningsutvärdering.11 Rådet i tillsattes 2003 av Undervisningsministeriet12 för en fyraårsperiod. Bakgrunden var ett förändrat utbildningssystem med ökad decentralisering, ett politiskt behov av en extern utvärderingsaktör och en bredare ansats i utvärderingsverksamheten. Formellt sett är rådet ett sakkunnigorgan i anslutning till . Den centrala uppgiften för rådet är att planera och verkställa ett utvärderingsprogram för mandatperioden samt att organisera externa utvärderingar av utbildningspolitiken genom ett expertnätverk. Syftet med nätverksutvärderingar är att åstadkomma en expertsynergi som garanterar bästa möjliga kvalitet på utvärderingarna.13 Ett sekretariat finns knutet till rådet, vars uppgift är att bereda och verkställa rådets beslut. Sekretariatet utgör en fristående institution vid . Varken rådet eller dess sekretariat utför, med andra ord, själva utvärderingar. Det är den grupp som utvärderar som ansvarar för de slutsatser utvärderingarna utmynnar i. Sekretariatet har dock en mycket aktiv roll i att planera utvärderingarna och fungerar som projektledare. Fördelen med att inrätta ett råd som ett expertorgan för utvärdering är att oberoendet i utvärderingsverksamheten stärks. På så sätt skiljs aktörer som utvecklar utbildningspolitiken från dem som utvärderar densamma. De finska erfarenheterna är bland annat att nätverksutvärdering är en princip att hålla fast vid. Företrädare för sekretariatet uppger i intervju att den synergi det medför utgör ett klart mervärde i praktiken. I planeringsstadiet med utvärderingsplanen är det viktigt att inkludera representanter från olika relevanta områden för att kunna ställa de rätta utvärderingsfrågorna. 10Ett liknande råd bildades inom det sociala området. Rådets uppgift är att samla in aktuell kunskap inom området och att ge regeringen råd i hälso- och sjukvårdsfrågor och i sociala frågor samt förse regeringen med kunskap för utformningen av välfärdspolitiken inom de områden som ansvarar för. Sociala rådet bemannas av forskare. 11Finland har också Rådet för utvärdering av högskolorna (RUH), som är ett kvalitetssäkringsorgan för utbildning vid högskolorna. Se vidare i bilaga 4 om utvärderingsverksamhet ur ett nordiskt perspektiv. 12Statsrådets förordning om utvärdering av utbildning. 13Knubb-Manninen, 2009. Utredningens överväganden och förslag avseende policyinriktad utvärdering positiva erfarenheterna nämns rådets arbetssituation, vilket gör att de inte alltid har tillräcklig tid för utvärderingsarbetet, särskilt då uppdragen ges med kort varsel. Som expertorganisation inom utbildningsutvärdering förutses ett svenskt råd av den här typen kunna etablera en mer oberoende ställning i fråga om att organisera och utföra utvärderingar. Det möjliggör en allsidig utvärdering, genom att experterna representerar olika utbildningsområden. Kommittéformen är enkel, smidig, kostnadseffektiv och flexibel när det gäller att möta behovet av policyinriktade utvärderingar. Med rätt uppbyggnad finns förutsättningar att tillgodose samtliga uppställda kriterier. Den tidsbegränsade anställningsformen inom kommittéväsendet riskerar dock att medföra att långsiktigheten i arbetet går förlorad. Kunskapsuppbyggnaden och den kritiska massan kan aldrig skapas på samma sätt som hos en mer stationär organisation. Att anlita forskare för uppdrag har rent allmänt sett inte alltid varit lätt enligt de myndighetspersoner som utredningen intervjuat. Tidsplanen har inte alltid hållits, att studierna i alla fall inte varit relevanta och att många av de personer som man vill anlita är upptagna. Kommittéformen är emellertid en organisationsform där flexibilitet får vägas mot stabilitet. Fördelen med att ligga nära uppdragsgivaren kan också vara en nackdel ur oberoendeperspektiv men en fördel ur användarperspektiv. Det tredje alternativet som utredningen identifierat är att skapa en ny utvärderingsmyndighet.14 Fördelen med en särskild utvärderingsmyndighet är att den kan ses som ett nav för utvärdering och analys samt i övrigt utgöra en mötesplats mellan politik, forskning, myndigheter och utredningsverksamhet. Detta som det upprätthålls en åtskillnad mellan att genomföra och att utvärdera reformer. En utvärderingsmyndighet för hela utbildningsområdet kan också göra sektorsövergripande utvärderingar och analyser. Som nämnts ovan, har flera av de utvärderingsmyndigheter inom andra samhällssektorer som utredningen studerat först inrättats i kommittéform men efter ombildats till myndigheter. 14 SOU 2008:118, s. 151. Utredningens överväganden och förslag avseende policyinriktad utvärdering Att inrätta en ny utvärderingsmyndighet är en omfattande och långsiktig procedur som kräver en hel del resurser och även innebär en avsevärd uppbyggnad av human- och kunskapskapital. Erfarenhetsmässigt tar det tid att finna sin roll. får också ytterligare en myndighet att administrera. Att hitta rätt personal med rätt mix är arbetskrävande och tidsödande, vilket naturligtvis gäller oavsett organisatorisk lösning. Att starta nytt innebär emellertid också en fördel eftersom man inte behöver ta hänsyn till befintliga strukturer. Inrättandet av en ny myndighet också för att långsiktigheten i verksamheten inte går förlorad. En stationär verksamhet ger förutsättningar för att en kritisk massa av erfarenhet skapas som kan bidra till kunskapsbildningen på området. Kompetensmässigt finns möjligheter att prioritera tvärvetenskap, gedigen kunskap och erfarenheter av utbildningsområdet samt en blandning av metodval. är utbildningsområdet ett mångdisciplinärt område och frågan är hur man täcker ett sådant område inom en och samma myndighet. Framgång kräver en balansgång mellan att vara lyhörd för departementets behov och att kunna driva sina egna utvärderingar och analyser. Att skapa hög legitimitet inom fältet är en annan avgörande fråga och den hänger samman med förmågan att rekrytera högt kvalificerade utvärderare och utredare. Utredningens tredje alternativ uppfyller förvisso samtliga kriterier om oberoende, sektorsövergripande och hög kvalitet men kostnadsmässigt tar det både tid och resurser att bilda en ny myndighet. Att inrätta en självständig myndighet som har en annan myndighet som värdmyndighet (ofta en nämndmyndighet) är ett annat möjligt alternativ. Fördelarna, enligt en rapport av Statskontoret, är att lösningen är kostnadseffektiv, organisatoriskt flexibel samt att man har tillgång till värdmyndighetens expertis.15 Nackdelar, enligt Statskontorets rapport är att myndigheten är beroende av värdmyndighetens goda vilja och att administrativa företrädare kan hamna på dubbla stolar.16 Utredningens överväganden och förslag avseende policyinriktad utvärdering 4.3Överväganden mellan de tre alternativen Utredningens förslag: Utredningen föreslår att ett Råd för utbildningsutvärdering och analys inrättas. Verksamheten regleras av kommittéförordningen. Utgångspunkterna i direktiven är att de nationella utvärderingsuppdrag som befintliga myndigheter har inte ska omprövas. Det innebär att utvärderingar genomförda av dessa myndigheter tillsammans med de nya utvärderingsuppdrag som en tänkt utvärderingsfunktion ska genomföra, bidrar till den mångfald av information som behövs inom ett vittförgrenat område som utbildningsområdet. Vem som ges ett uppdrag framöver beror helt på karaktären på uppdraget och vem som är bäst lämpad. Under förutsättning att en ny utvärderingsfunktion inrättas, kommer troligtvis en del av de uppdrag som dessa myndigheter i annat fall skulle ha fått att hanteras av den nya funktionen. Som framgått av det föregående har samtliga alternativ för- och nackdelar. Utredningens bedömning nedan grundas inte på vad som formellt sett kan åstadkommas i form av t.ex. ändrade instruktioner etc. utan på vad utredningen tror att denna organisation i praktiken kommer att producera. Utifrån de kriterier och det resonemang som förts i samband med de olika alternativen gör utredningen följande sammanfattande bedömning. Övergripande studier som rör hela utbildningsområdet bedömer utredningen inte skulle komma till stånd om utvärderingsfunktionen inrättades hos antingen eller . Det faktum att dessa myndigheter är att betrakta som sektorsföreträdare och i vissa fall genomförare av reformer påverkar oberoendet och talar emot förslaget. Andra nackdelar med en utvärderingsfunktion inom en myndighet är att det ökar risken för att få andra uppgifter eller att prioriteringsproblem uppstår. IFAU uppfyller viktiga krav som kan ställas men saknar en bred ämneskunskap inom utbildningsområdet. Den kompetensen skulle till viss del kunna införlivas i eller köpas in av IFAU, men IFAU:s starka profil mot mikrodata och kvantitativa metoder innebär att det sannolikt blir fler studier med samma inriktning. Utbildningsfrågor är multidisciplinära och utredningen bedömer det som centralt att den tänkta utvärderingsfunktionen har en mångdisciplinär inriktning. Statskontoret uppfyller en del av de Utredningens överväganden och förslag avseende policyinriktad utvärdering uppställda kriterierna men saknar den djupa sakkunskapen inom utbildningsområdet. En helt ny myndighet skulle säkerligen kunna uppfylla alla nämnda kriterier eftersom den saknar historia, men nya myndigheter har, av erfarenhet, ofta en lång startsträcka innan de fungerar optimalt. Det finns emellertid också andra skäl till att inte föreslå en ny myndighet. Nya myndigheter kan innebära gränsdragningsproblem gentemot befintliga myndigheter. Risken finns att det kan uppstå en slags rivalitet mellan myndigheterna om var utvärderingsuppdragen egentligen hör hemma. En myndighetslösning får inte vara en standardlösning när ett problem ska lösas, anser utredningen. En ny myndighet utesluts inte av principiella skäl, utan utredningen menar att det finns anledning att först pröva om behoven är sådana att en ny myndighet behöver inrättas. Utredningen föreslår i stället att ett Råd för utbildningsutvärdering och analys inrättas. Förslaget bygger dels på inspiration från , dels på erfarenheter av organisationsformen för Expertgruppen för Studier i Offentlig Ekonomi inom . Rådet ska vara organiserat som en kommitté inom . Det finns flera skäl till att utredningen förordar ett råd. En del av de expertmyndigheter som finns började som kommittéer innan de blev myndigheter. Utredningen anser därför att det kan vara lämpligt att starta med en kommitté som sedermera bör utvärderas. Ett sådant förslag ger regeringen en naturlig tidpunkt att utvärdera rådets resultat och noggrant fundera igenom behovet av verksamheten . Om rådet är framgångsrikt kan det liksom i ovan nämnda fall övergå till myndighetsform. En kommitté är lätt att skapa och lätt att avveckla. Den ligger också närmare uppdragsgivaren, dvs. , som ska vara representerat i rådet. Rådet bör bestå av representanter för olika vetenskapliga discipliner och beroende på sammansättningen kommer det att finnas stora möjligheter till utbyte mellan profession och beslutsfattare. Utredningen menar därför att rådets sammansättning förmodligen gör att utvärderingarna blir mer användbara. Rådet ska inte självt utföra utvärderingsuppdragen utan anlitar i stället de för ändamålet mest kompetenta utvärderarna/forskarna. Till sitt förfogande kommer rådet att ha ett mindre sekretariat som verkställer rådets beslut och som har en aktiv roll att planera, bereda och organisera samt ingå som projektledare i de olika Utredningens överväganden och förslag avseende policyinriktad utvärdering Syftet med denna arbetsprocess är att åstadkomma en expertsynergi som garanterar bästa möjliga kvalitet på utvärderingarna och som också ökar möjligheterna både till ett mångdisciplinärt perspektiv och till tvärvetenskapliga studier. Det innebär att de myndigheter som genomför utvärderingar inom utbildningsområdet kan komma att anlitas av rådet. En nackdel med en temporär verksamhet som här föreslås är att anställningsformen kan komma att uppfattas som osäker, vilket skulle kunna påverka sekretariatets attraktionskraft som arbetsgivare. När det gäller bemanningen av rådet så är utredningen av åsikten att attraktionskraften för forskare snarare borde vara större än vid en myndighetslösning. Exempelvis möjliggör nätverket att kontakten med andra forskare och kan upprätthållas. En kommitté kan vidare dra nytta av ekonomiadministrativa system och kan därmed bli kostnadseffektiv. En kommitté har, som nämnts ovan, inte bara fördelar. De nackdelar som framförts tidigare mot kommittéformen, bland annat svårigheten att anlita forskare, har dock inte gällt . Utredningen anser att fördelarna överväger nackdelarna och att själva kommittéformen innebär att det finns utrymme för att pröva denna konstruktion . I det följande utvecklar utredningen närmare hur rådet är tänkt att fungera. 4.4Utgångspunkter för Rådet för utbildningsutvärdering och analys Utredningen föreslår således ett Råd för utbildningsutvärdering och analys, som ska bistå i dessa frågor. Verksamheten bör omfatta alla utbildningsformer. Rådet ska få ett tidsbegränsat uppdrag och drivas i kommittéform. Det ska vidare fungera som ett centrum för utvärdering och analys samt vara en mötesplats mellan politik, forskning, myndigheter och utredningsverksamhet. I det följande diskuteras utformningen av detta råd och utredningen utgår då från följande aspekter: