sou · GXB394 · 2009-12-10 00:00:00 — Det system för kvalitetssäkring som används består av utbildningsutvärderingar, granskningar av lärosätenas kvalitetsarbete, examensrättsprövningar, tematiska studier samt utmärkelsen . genomfördes sammanlagt utbildningsutvärderingar av elva9 olika ämnes- och programområden, totalt 217 granskningar. Därutöver följde upp tidigare genomförda utvärderingar. Utvärderingarna har utförts i sexårscykler men regeringen har genom uppdrag till aviserat att de fortsättningsvis sannolikt ska genomföras . De direkta kostnaderna för utvärderingarna, dvs. kostnaderna för verkets personal vid utvärderingsavdelningen samt arvoden och omkostnader för verkets ämnesexperter, uppgick för perioden –2008 till . Därtill kommer kostnaderna för lokaler, gemensam ledning, administration och infrastruktur. 6Karlsson m.fl. 2007. 7Avser enligt Årsredovisning 2008. 8Regleringsbrev för avseende . 9Åren 2007 och 2008 utgör skarven mellan två kvalitetssäkringssystem. avslutades ett system vilket medförde att ovanligt få ämnes- och programutvärderingar genomfördes. SOU 2009:94 Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet förde mer än 1 600 granskningar av samtliga ämnen och yrkesprogram. Verket har också till uppgift att göra uppföljningar (inklusive ansvar för officiell statistik inom högskoleområdet), omvärldsbevaka, utöva tillsyn, informera och fullgöra vissa främjande uppgifter inom högskoleområdet. Därutöver svarar verket för bedömningar av utländska utbildningar, högskoleprov och för uppgifter inom tillträdesområdet. –2008 fick fyra särskilda regeringsuppdrag som hade karaktären av utvärdering av vissa satsningar och reformer inom området högre utbildning. Som exempel på sådana uppdrag kan nämnas Utvärdering av arbetet med breddad rekrytering till universitet och högskolor liksom Utvärdering av 16 nationella forskarskolor. På eget initiativ har t.ex. genomfört Forskarutbildningsreform - genomströmning och examination. De direkta kostnaderna för regeringsuppdragen under nämnda period uppgick till cirka fem miljoner kronor.10 Myndigheten för startade sin verksamhet och upphörde Myndigheten för kvalificerad yrkesutbildning. Den nya myndigheten har sitt huvudkontor i och ytterligare ett kontor i . Myndigheten för leds av en generaldirektör och har ett insynsråd. Antalet årsarbetskrafter uppgår till 66 personer. har myndigheten ett ramanslag på omkring 470 miljoner kronor.11 Dess uppgift är att säkerställa att eftergymnasiala yrkesutbildningar kommer till stånd som svarar mot arbetslivets behov, att statens stöd för eftergymnasiala yrkesutbildningar fördelas effektivt och att utbildningarna håller hög kvalitet. Myndigheten samordnar och administrerar statsbidrag, kvalitetssäkrar beviljade utbildningar genom att bedriva tillsyn över och kvalitetsgranskning av utbildningarna, samt följer upp verksamheten. 10Enligt uppgifter från uppgick kostnaderna till 3,6 miljoner exklusive de indirekta kostnaderna, vilka utredningen har beräknat till . 11Regleringsbrev för avseende Myndigheten för . Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet Vidare ansvarar de för att samordna och stödja en nationell struktur för validering och är nationell samordningspunkt för den europeiska referensramen för kvalifikationer för livslångt lärande (EQF). Förutom kvalificerad yrkesutbildning (KY) administreras påbyggnadsutbildning (t.o.m. utgången av 2009), kompletterande utbildningar och lärlingsutbildning för vuxna till vissa hantverksyrken. Myndigheten har inget utvärderingsuppdrag från regeringen. Trots detta inkluderar utredningen dem i denna kartläggning då möjligheten finns att den nya myndigheten kan bli en av aktörerna inom utvärderingsområdet. Skolinspektionen blev en egen myndighet och har följande huvuduppgifter och ansvarsområden: tillsyn och kvalitetsgranskning, tillståndsprövning, dvs. beslut om godkännande av och rätt till bidrag för fristående skolor och om återkallande av sådant godkännande och sådan rätt. Inom Skolinspektionen finns dessutom Barn- och elevombudet för likabehandling. Inspektionen svarar för Barn- och elevombudets kansli samt är värdmyndighet för . Skolinspektionen är en enrådighetsmyndighet som leds av en generaldirektör. uppgick personalstyrkan till 303 anställda (222 årsarbetskrafter räknat på helårsbasis). När verksamheten är fullt utbyggd kommer personalen att bestå av drygt 360 anställda.12 Det totala ramanslaget uppgår till cirka 326 miljoner kronor.13 Kvalitetsgranskning innebär att oberoende och självständigt granska och bedöma kvaliteten i skolväsendet samt inom förskoleverksamheten och skolbarnomsorgen. Denna typ av granskning menar Skolinspektionen går på djupet och bedömer kvaliteten på ett annat sätt än vad som är möjligt inom ramen för den regelbundna tillsyn som också är en av Skolinspektionens huvuduppgifter. En kvalitetsgranskning kan exempelvis handla om att granska hur ändamålsenlig undervisningen är i specifika skolor och kommuner. Huvudsyftet är att granska hur lärare, rektorer och huvudmän tar sitt ansvar för undervisningens kvalitet, med fokus på elevernas kunskapsresultat. 12Skolinspektionens Årsredovisning 2008. 13Regleringsbrev för avseende Skolinspektionen. Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet från utvärdering vars huvudsyfte är att ge en nationell bild av tillståndet inom skolväsendet.14 Sex kvalitetsgranskningar inleddes och ytterligare 14 planeras att starta . De områden som valts för den första omgången kvalitetsgranskningar är: Studieavbrott i gymnasieskolan, Lärares utbildning och behörighet, Uppföljning av resultat i vuxenutbildningen, Skolsituationen för elever med funktionsnedsättning, Undervisningen i matematik och Undervisning av nyanlända elever. Statskontoret ska på regeringens uppdrag bistå med utredningar, utvärderingar samt uppföljningar av statlig och statligt finansierad verksamhet samt övergripande frågor om den offentliga förvaltningens funktionssätt. I åtagandet ingår att analysera verksamheter och myndigheter ur ett effektivitetsperspektiv, redovisa effekter av statliga åtgärder samt ge underlag för omprövning och effektivisering.15 har Statskontoret dessutom fått till uppgift att följa upp och beskriva den offentliga sektorns utveckling, följa och analysera den strategiska kompetensförsörjningen, bevaka vissa kvalitets- och verksamhetsutvecklingsfrågor, lämna förslag på utredningar, utvärderingar och uppföljningar samt bistå och kommittéväsendet med metod- och utredningsstöd. Statskontoret kan även initiera förstudier inom hela sitt ansvarsområde som underlag för sin instruktionsenliga uppgift. Statskontoret är en enrådighetsmyndighet som leds av en generaldirektör. Antalet årsarbetskrafter uppgick till 48.16 har Statskontoret i ramanslag.17 Statskontoret har –2008 slutfört två utvärderingar med anknytning till utbildningsområdet: Har insatserna någon effekt på arbete eller studier? En utvärdering av folkhögskoleinsatserna för arbetslösa och Lärares utbildning och undervisning i skolan. bedrevs utvärderingsinsatser avseende utbildningen i svenska för invandrare. Rapporteringen av den insatsen 14Skolinspektionens Årsredovisning 2008. 15Förordning (SFS 2007:827) med instruktion för Statskontoret, senast ändrad 2008. 16Statskontorets Årsredovisning 2008. 17Regleringsbrev för avseende Statskontoret. Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet gjordes dock först . Kostnaderna för uppdragen uppgick till . har till uppgift att främja, stödja och genomföra18 utvärdering av den arbetsmarknadspolitiska verksamheten, studier av arbetsmarknadens funktionssätt, utvärdering av effekterna på arbetsmarknaden av åtgärder inom utbildningsväsendet19 och utvärdering av socialförsäkringens effekter på arbetsmarknaden.20 IFAU ska vidare sprida information om resultaten av sina utvärderingar och studier till andra myndigheter och intressenter. IFAU är en enrådighetsmyndighet som leds av en generaldirektör. Vid myndigheten finns ett vetenskapligt råd och en referensgrupp. uppgick personalstyrkan till 28 årsarbetskrafter.21 Totala ramanslaget är cirka 27 miljoner kronor.22 En del av anslaget ska användas för att stödja extern forskning. I anslutning till uppgiften att utvärdera arbetsmarknadseffekter av åtgärder inom utbildningsväsendet delar IFAU ut . IFAU:s uppdrag skiljer sig på flera sätt från övriga aktörers då deras rapporter huvudsakligen utgörs av effektmätningar/orsaksanalyser. I denna sammanställning redovisas endast rapporter som specifikt avser effekter av utbildningssatsningar inom ramen för IFAU:s rapportserie.23 18Förordning med instruktion för (SFS 2007:911). 19År 2001 fick IFAU ett utvidgat uppdrag då utvärdering av effekterna på arbetsmarknaden av åtgärder inom utbildningsväsendet tillkom (Årsredovisning 2007). IFAU:s förvaltningsanslag utökades med (penningvärde) i samband med denna utvidgning. 20Under 2007 fick IFAU ytterligare ett utvidgat uppdrag. Den nya förordning som gäller för myndigheten trädde i kraft per och stadgar att IFAU:s uppdrag nu även omfattar utvärdering av socialförsäkringens effekter på arbetsmarknaden (Årsredovisning 2007). 21IFAU:s Årsredovisning 2008. 22Regleringsbrev för avseende . 23IFAU delar in sina publikationer i tre olika typer: rapporter, working papers och en avhandlingsserie (dissertation series). I rapportserien publiceras den forskning som enbart skrivs på svenska, bland annat regeringsuppdrag. Dessutom översätts och omarbetas ofta uppsatserna i working paperserien till en svensk version. I denna serie publiceras även monografier på svenska och engelska. I working paperserien publiceras i stort sett all ny Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet Enligt årsredovisning producerade IFAU 21 rapportekvivalenter inom utbildningsområdet under 2007 och 2008.24 Kostnaderna för IFAU:s utbildningsforskning uppgick till cirka 14 miljoner . Som exempel på rapporter författade på svenska kan nämnas: Maxtaxan inom barnomsorgen – påverkar den hur mycket föräldrar arbetar? (2006:2) och Hur mycket påverkas studieresultat av resurser? (2007:24). som sorterar under utgör en del av dess kontrollmakt. Myndighetens uppdrag är att granska den statliga verksamheten och därmed medverka till effektiv förvaltning i staten och att statens resurser används på ett bra sätt. granskningsverksamhet är uppdelad i årlig revision och effektivitetsrevision. I den årliga revisionen granskas bland annat årsredovisningen för de förvaltningsmyndigheter som lyder under regeringen med utgångspunkt dels i om den ekonomiska redovisningen är tillförlitlig och räkenskaperna rättvisande, dels om ledningens förvaltning följer tillämpliga föreskrifter och särskilda beslut. I effektivitetsrevisionen ingår att granska statens budget, genomförandet och resultatet av statlig verksamhet och av statliga åtaganden samt statliga insatser i allmänhet. Granskningen ska främja en sådan utveckling att staten får ett effektivt utbyte av sina insatser med hänsyn till det allmänna samhällsintresset. har och 2008 publicerat fyra rapporter rörande förhållandena inom utbildningssektorn. Exempel på rapporter är: Svenskundervisning för invandrare (sfi). En verksamhet med okända effekter (RiR 2008:13) och Betyg med lika värde? – en granskning av statens insatser (RiR 2004:11). forskning som IFAU publicerar på engelska; dessa publikationer ska kunna publiceras i vetenskapliga tidskrifter. Målgruppen för denna typ av publikation är således först och främst andra forskare. Den tredje typen av publikation – dissertation series – avser doktorsavhandlingar som skrivits av personer anställda vid eller knutna till IFAU. 24 För att undvika dubbelräkning tillämpar IFAU i årsredovisningen ett system där unika working papers eller rapporter ges vikten 1, medan sammanfattande rapporter av working papers på svenska ges vikten 0,1 och avhandlingar ges vikten 2. Tanken är att dessa vikter ska motsvara arbetsinsatsen för att producera respektive typ av publikation. Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet 3.1.8Utvärdering vid universitet, högskolor, forskningsråd och övriga Utvärderingar med anknytning till utbildningsområdet genomförs även inom ramen för bland annat universitetens och högskolornas verksamhet. har också bildats inom högskolan för att stimulera kunskapsuppbyggnad inom utvalda områden. Ett exempel på ett sådant är av forskning och utbildning som inrättades 1999. Föreningens verksamhet genomfördes av forskning (), vilket emellertid lades ned . SISTER:s verksamhet har finansierats genom basanslag från av forskning och utbildning men också genom anslag från forskningsfinansierade fonder, råd, stiftelser m.fl. liksom genom uppdragsforskning. Institutets verksamhet har inriktats på studier av forskning, utbildning och innovationsprocessen i hela samhället, dvs. såväl näringsliv och organisationer som offentlig sektor. Syftet med verksamheten har varit att studera utbildning, forskning och innovationsprocessen i ett jämförande internationellt perspektiv samt att främja debatten inom detta område. När det gäller forskningsråden finns inom en särskild kommitté för utbildningsvetenskap, , som fördelar medel till forskning och utbildning på forskarnivå inom områden som är relevanta för lärarutbildning och pedagogisk verksamhet. Regeringen fördelade 2009 till utbildningsvetenskaplig forskning genom . fördelar medel till forsning efter ansökningar som har granskats och prioriterats av forskare i nationell konkurrens. Det finns också andra aktörer som genomför studier inom utbildningsområden, t.ex. Brå, m.fl. Regeringen har i sitt arbete bland annat hjälp av kommittéväsendet. Kommittéerna har till uppgift att ta fram fakta, analysera dem och lägga fram förslag. På detta sätt förbereds många av regeringens åtgärder på olika områden. Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet En kommitté kan antingen bestå av en särskild utredare eller av en grupp som leds av en ordförande och som i övrigt består av ett antal ledamöter. I bägge fallen kan kommittén biträdas av sakkunniga, experter och ett sekretariat. Kommitténs arbete utgår från det utredningsuppdrag som regeringen har lämnat. Detta framgår av kommittéförordningen (1998:1474). Arbete i kommittéform är ett sätt att ta till vara det kunnande i en viss fråga som finns på olika håll i samhället.25 och 2008 tillsatte 16 respektive sju kommittéer. Kostnaderna för kommittéverksamhet fördelades jämnt mellan åren – för vardera året.26 En genomgång av utredningar som producerats inom tidsperioden visar att fokus i de flesta fall inte ligger på sakpolitiken utan snarare på hur utbildningspolitiken i huvudsak ska organiseras. Exempel på utredningar är: Avveckling av Myndigheten för nätverk och samarbete inom högre utbildning, Införande av en yrkeshögskola och Utvärdering av myndighetsorganisationen för forskningsfinansiering. Men det kan också handla om utredningar som t.ex. en ny lärarutbildning eller en fristående vuxenutbildning. startade regeringen åter Expertgruppen för Studier i Offentlig ekonomi (), som arbetar med analysunderlag inför framtida finanspolitiska och samhällsekonomiska utmaningar. Formellt är organiserad som en kommitté vid . Expertgruppens uppdrag är att självständigt ta fram analyser och policyrekommendationer som baseras på aktuell forskning och beprövad erfarenhet. ESO:s uppdrag och mandat ges av dess direktiv27, vilket är allmänt hållet för att ge stort utrymme åt styrelsen att själv definiera vad som ska belysas och understryker att arbetet ska bedrivas självständigt. Exempel på studier som genomförs inom utbildningsområdet är Skolans resursfördelningssystem ur ett likvärdighetsperspektiv och Att styra genom professioner: Utbildningsreformernas effekter på lärarkåren. 25Kommittéhandboken, Ds 2000:1. 26Regeringens skrivelse 2008/09:103. Befintliga resurser för policyinriktad utvärdering inom utbildningsområdet Att ange hur mycket resurser som avsätts till policyinriktade utvärderingar i form av regeringsuppdrag är betydligt enklare än att ange hur stora resurser som totalt avsätts för policyinriktade utvärderingar. Urvalet av utvärderingar har genomförts i enlighet med utredningens definition av utvärdering som framgår i kapitel 2. Det har i praktiken fått till följd att endast ett fåtal av myndigheternas produkter klassificerats som utvärderingar. Under budgetåren 2007 och 2008 genomförde , och Statskontoret sammanlagt 14 policyutvärderingar till en uppskattad kostnad av totalt cirka 30 miljoner kronor.28 Därutöver genomförde och åtta egeninitierade utvärderingar av nämnda karaktär. publicerade IFAU ett tjugotal rapportekvivalenter inom utbildningsområdet till en uppskattad kostnad av totalt . Om utredningen bara ser till regeringsuppdrag, och exkluderar IFAU, skulle den årliga kostnaden vara . Om den totala kostnaden för policyinriktade utvärderingar beräknas, inklusive myndigheternas egeninitierade utvärderingar, viss kommittéverksamhet, delar av de forskningsanslag som t.ex. delar ut, så hamnar den i storleksordningen . Då har hänsyn inte tagits till alla de utvärderingar/orsaksanalyser som görs av forskare inom universitets- och som har en annan finansieringsgrund. Utredningen menar att en mer precis bedömning av vilka resurser som läggs på policyinriktade utvärderingar inte går att erhålla med en rimlig insats men bedömer att en sådan inte heller är nödvändig för de principförslag som utredningen utvecklar i följande kapitel. 28 Den uppskattade kostnaden bygger på kostnadsberäkning gjord av respektive myndighet och sammanräknad av utredningen. 4Utredningens överväganden och förslag avseende policyinriktad utvärdering Utifrån det behov som utredningen identifierat och beskrivit i kapitel 2 ska följande kriterier vara vägledande för de policyinriktade utvärderingar som genomförs: 1.Oberoende: Utvärderingarna ska genomföras av aktörer oberoende av de verksamheter som ska utvärderas. Utvärderingar ska kunna beställas av regeringen men också genomföras på eget initiativ. 2.Övergripande: Utvärderingarna ska kunna spänna över hela utbildningsområdet och gälla såväl kortsiktiga som långsiktiga insatser. 3.Hög kvalitet: Ämneskunskap, utvärderings-/utredningskompe- tens och vetenskaplighet ska prägla utvärderingarna. Utredningens uppdrag är därutöver att lämna förslag om hur policyinriktade utvärderingar kan bli mer tillgängliga för beslutsfattare. Utredningens överväganden och förslag avseende policyinriktad utvärdering 4.2Olika alternativ för en framtida utvärderingsfunktion Mot bakgrund av den utvärderingsverksamhet som finns och de önskemål och behov som har framkommit diskuterar utredningen tre organisatoriska alternativ för en framtida utvärderingsverksamhet. De olika alternativen kommer i det följande i huvudsak att bedömas utifrån de kriterier som angivits ovan. De tre organisatoriska alternativen som utredningen diskuterar är: 1.Inom en befintlig myndighet. 2.En kommitté i . 4.2.1Inom en befintlig myndighet Det första alternativet innebär att foga in den nya formen av utvärderingsverksamhet i den redan befintliga myndighets- eller organisationsstrukturen. och är tänkbara aktörer i en sådan lösning men även andra myndigheter som t.ex. IFAU eller Statskontoret kan vara aktuella. En fördel med att använda befintliga myndigheter är att de genomför utvärderingar och att det finns en myndighetsstruktur med personal och administrativa resurser. Organisatoriskt skulle det inte behöva göras särskilt stora förändringar. Alla dessa myndigheter har också en stor sakkunskap även om den skiljer sig något mellan myndigheterna. Tillgången till en samlad sakkompetens liksom nationellt statistikansvar inom utbildningsområdet och därmed lättillgängliga data har såväl som . Kompetensmässigt är och tvärvetenskapliga inom det samhällsvetenskapliga området (statsvetare, ekonomer, jurister, statistiker, pedagoger, sociologer, antropologer m.fl.). Förutom en bred ämneskunskap har många av medarbetarna också genomgått forskarutbildning. Vid dessa båda myndigheter arbetar utredare med Utredningens överväganden och förslag avseende policyinriktad utvärdering kunskap om hur resultat kan presenteras såväl kvalitativt som kvantitativt. har på regeringens uppdrag i samverkan med utvärderat regionala utvecklingscentrum och nationella resurscentrum.1 Det är dock framför allt fråga om samverkan som sker i anslutning till specifika uppdrag och inte en fortlöpande verksamhet. En fortsatt och utvecklad samverkan skulle kunna bilda basen för att genomföra bredare utvärderingar som spänner över hela utbildningsområdet. När myndigheterna själva anser att tillräcklig kompetens saknas internt, anlitas forskare som tillsammans med myndigheten eller enskilt genomför uppdrag. Att utnyttja befintlig myndighetsstruktur har dock nackdelar. En sådan är att utvärderingarna begränsas till ett för myndigheten gängse perspektiv, dvs. den del av utbildningssektorn där myndigheten är van att arbeta. Risken finns att initiativ till utvärderingar som avser hela utbildningsområdet uteblir. I dessa myndigheterna utgör utvärdering endast en del av verksamheten. En utvärderingsenhet eller en avdelning som ingår i en större helhet kan få andra uppgifter som av myndigheten prioriteras som viktigare eftersom myndigheterna inom ramen för sin instruktion har möjligheter att genomföra organisationsförändringar. hade en utvärderingsenhet som togs bort för att nu åter ha inrättats. nationella utvärderingar har utförts i sexårscykler men regeringen har genom ett uppdrag till myndigheten aviserat att de fortsättningsvis sannolikt ska genomföras . Eftersom detta är en av verkets huvuduppgifter finns en risk att annan utvärderingsverksamhet marginaliseras och att andelen egeninitierade utvärderingar då kommer att minska. En tänkbar möjlighet för att få en mer fredad utvärderingsverksamhet inom en befintlig myndighet är att tillämpa den konstruktion som gäller för metoder i socialt arbete.2 Institutionen är ett relativt stort forskningsinstitut inom (40 personer), som har både sakkunskap, kompetens och djup i studierna. De har till uppgift att stödja utvecklingen mot en mer evidensbaserad praktik i socialt arbete. ingår inte i linjeorganisation Rapport 2009:1 R. 2Se vidare bilaga 3. Utredningens överväganden och förslag avseende policyinriktad utvärdering utan har en egen styrelse.3 Generaldirektören för utser IMS chef på förslag från . Enligt IMS är det fördelaktigt ur budgetsynpunkt att vara en integrerad del i en myndighet då budgetprocessen blir mer flexibel. I övrigt upplevs samlokalisering som ett kostnadseffektivt alternativ. Nackdelen med ett institut inom en värdmyndighet anges vara att regeringens styrning försvåras, att det blir en otydlig organisatorisk struktur liksom att ansvarsförhållandena kan bli oklara. Exempelvis krävs en tydlig rollfördelning mellan myndighetens generaldirektör och chefen för institutet, bland annat i kontakten med departementet. Den som slutligen bestämmer över inriktning och har det slutliga ansvaret är trots allt myndighetschefen. Ett alternativ till de befintliga myndigheterna inom utbildningsområdet är att förstärka myndigheter som har specifika utvärderingsuppdrag. De alternativ som ligger närmast till hands är då Statskontoret, som är en uppdragsmyndighet, och IFAU, som främst studerar effekter av arbetsmarknadspolitik, men även arbetsmarknadseffekter av åtgärder inom utbildningsväsendet och arbetsmarknadseffekter av socialförsäkringen. Statskontoret har ett brett mandat som omfattar hela den statliga förvaltningen och statligt finansierad verksamhet. Det har också tidigare funnits förslag på att samla regeringens utvärderingsresurser till Statskontoret.4 Utbildningsområdet utgör ett av Statskontorets många områden och myndigheten har också genomfört uppdrag med anknytning till utbildningspolitiken, t.ex.