sou · H7B36 · 2019-02-01 00:00:00 — om en verksamhet bidrar till regeringens mål och bedrivs effektivt) eller på att utveckla eller förändra mål, regleringar eller resursfördelning.54 Starka och ansvarsfulla lärosäten bör förväntas själva ta ansvar för den uppföljning och utvärdering som behövs för den egna verksam- heten. Som Analys- och utvärderingsutredningen påpekar bör upp- följning och utvärdering som görs för att förbättra och utveckla en verksamhet göras nära själva verksamheten. Det ger bättre förutsätt- ningar för att resultaten får genomslag och kommer till användning, och bidrar till ett lärande i verksamheten.55 Av både kvalitets- och kostnadseffektivitetsskäl bör även uppföljning och utvärdering som initieras av externa parter så långt möjligt vara relevant och användbar för lärosätet självt. Regeringen behöver underlag för den löpande styrningen och för omprioriteringar och omprövning av politiken, samt för sin redovis- ning till . Regeringen behöver därför ha tillgång till eller vid behov kunna skaffa sig nationell överblick vad gäller viktigare resultat eller målindikatorer. Sådan information kan komma från lärosätena själva eller aggregerat via andra myndigheter. För att kunna bedöma och ompröva politiken behövs också analyser som belyser effekter av den politik och de reformer som beslutats, internationella utvecklings- tendenser och samlade bedömningar av högskolans utveckling. En del av detta kan göras och görs av befintliga myndigheter såsom UKÄ, UHR och , eller kommittéväsendet. Inom hög- skoleområdet finns dock ingen stående, oberoende resurs av det slag som finns inom vissa andra områden, vilket vi ser som en brist (se vidare kapitel 5). Givet kostnaden för uppföljning och utvärdering är det avgöran- de att den information som samlas in används, vilket talar för en återhållsamhet i inhämtningen. En återkommande utmaning i reger- ingens styrning har varit att mängden efterfrågad information ten- derar att öka, att de uppgiftslämnande myndigheterna får liten åter- koppling och att det är svårt att se vad all information används till. 54SOU 2018:79 s. 29–30. 55SOU 2018:79 s. 153–154. Principer för en ändamålsenlig styrning Det gäller både inom högskolan56 och generellt i myndighetsstyr- ningen.57 Detta leder inte bara till onödiga kostnader och negativa effekter i verksamheten utan försvårar också regeringens styrning. beskrev ett Regeringskansli i en ”korseld av infor- mation”58 där grundläggande information om olika verksamheter riskerade att trängas undan av en mängd frågor av mindre bety- delse.59 Mot bakgrund av gjorde regeringen i bud- getpropositionen flera principiella ställningstaganden vad gäller styrning och underlag för styrning, bl.a. att myndighetsstyr- ningen ska inriktas mot att bli långsiktig och strategisk. I propo- sitionen En akademi i tiden (Prop. 2009/10:149) hänvisade reger- ingen till detta och betonade också vikten av att universitet och högskolor styrs utifrån deras särskilda förutsättningar. Regeringen bedömde att mängden mål och återrapporteringskrav i reglerings- brevet bör begränsas för att bl.a. tydliggöra lärosätenas grundupp- drag som framgår av högskolelagen. Återrapporteringskrav skulle vara få till antalet, noga övervägda och svara mot ett konkret behov av information.60 till universitet och högskolor minskade markant i omfattning . Därefter har reg- leringsbreven successivt byggts på, men är fortfarande mindre omfat- tande . Information till andra intressenter Det finns många som av olika skäl vill kunna få reda på resultat och kvalitet vid universitet och högskolor. Presumtiva studenter och arbetsgivare vill kunna få en bild av utbildningens kvalitet och om den ger bra förutsättningar för det fortsatta arbetslivet. Företag, myndigheter och organisationer vill veta vilken forskning som finns och var man kan samverka på olika sätt. Allmänheten har ett intresse 56Se bl.a. SOU 2000:82 och SOU 2008:104. 58SOU 2007:75 s. 138. 59SOU 2007:75 s. 157. (2000) menar i samma anda att en regering som vill styra aktivt måste försöka begränsa tillgången till information – inte för att fatta oinformerade regerings- beslut, men för att ”utrymmet för att skaffa sig situationsspecifik och relevant information ökar, om tiden inte upptas av uppgifter som för tillfället är ovidkommande.” Brunsson pekar också på risken att regeringen genom inhämtande av information tar på sig ansvar och förväntningar att agera på denna som det ofta är svårt att uppfylla på ett bra sätt. 2009/10:149, s. 99. Principer för en ändamålsenlig styrning av att de resurser som läggs på högre utbildning och forskning är goda samhällsinvesteringar. Olika intressenters behov ställer krav på att informationen är: Det kan handla om nationell statistik som är jäm- förbar, UKÄ:s och andra myndigheters utvärderingar, men även lärosätenas egna utvärderingar behöver vara tillgängliga när de själva står för en större del av utvärderingarna. •Tydlig men inte förenklad. Övergripande mönster och slutsatser måste vara lätta att se, men nyanseringar och förbehåll behöver också finnas tillgängliga så att till synes enkla jämförelsetal inte leder till slutsatser som det inte finns stöd för. •Saklig, öppen och ärlig – dvs. utformad mer som konsumentinfor- mation än marknadsföring.61 Uppföljning och utvärdering som normstyrning Uppföljning och utvärdering är i sin funktion som underlag för beslut om verksamheten och information till andra aktörer en del i styrningen, men kommer därutöver ofta att ha mer direkta styr- ningseffekter i verksamheten av olika slag. Som beskrivs i avsnitt 3.6 kan uppföljning och utvärdering vara en form av styrning mot normer genom att den sätter fokus på det som följs upp eller utvär- deras. Som exempel kan nämnas utvärderingar av jämställdhets- arbetet eller kvalitetsutvärderingar. Vilka nyckeltal och indikatorer som följs löpande kan också ha en styrande effekt (se avsnitt 4.4.3 nedan). Vi menar att uppföljning och utvärdering kan vara en bra form av styrning mot normer, inte minst när det gäller att främja en stark kvalitetskultur (se nästa avsnitt 4.4.2). Det är viktigt att undvika oönskade styrningseffekter, t.ex. att det blir likriktande eller konserverande i sin utformning eller att lärosätenas helhetsansvar för verksamheten försvagas. (2013). Principer för en ändamålsenlig styrning Att högre utbildning och forskning håller en hög kvalitet är centralt. Ansvaret för kvaliteten ligger självklart på verksamheten själv vilket också uttrycks i högskolelagen.62 Det finns av tradition en mängd kvalitetssäkrande processer inom akademin där kollegial bedömning med externa inslag används vid disputation, anställning, befordran, publicering och fördelning av forskningsmedel. Universitet och hög- skolor har beskrivits som en av få samhällsinstitutioner där konti- nuerligt återkommande formell granskning utgör ett dominerande inslag.63 Eftersom de interna kvalitetskontrollerna traditionellt huvud- sakligen gällt forskningen64 har särskilda kvalitetssäkringssystem för utbildningen utvecklats både på lärosätes- och nationell nivå. Kvalitetssäkringssystem på nationell nivå fyller tre viktiga syften: information, kontroll och kvalitetsutveckling. För det första har uni- versitet och högskolor ett särskilt ansvar att visa för studenter, arbetsgivare och andra i samhället hur man arbetar för att hålla en hög kvalitet eftersom denna inte kan bedömas enkelt utifrån och vanliga marknadsmekanismer inte fungerar.65 Detta har också blivit av allt större betydelse för internationella samarbeten och internatio- nell mobilitet av studenter och arbetskraft, varför kvalitetssäkring är en högt prioriterad fråga inom såväl Bolognaprocessen, EU och . För det andra finns ett kontrollsyfte, bl.a. genom att exa- menstillstånd (i vissa fall) bara utfärdas om det bedöms finnas förut- sättningar att uppfylla kvalitetskrav och genom att examenstillstånd kan återkallas om kraven vid en senare granskning inte anses uppfyll- da. För det tredje har kvalitetssäkringssystemet i olika utsträckning syftat till ”att granska för att främja”,66 dvs. att genom utvär- dering bidra till en stark kvalitetskultur med fokus på kvalitets- utveckling och förbättring. Det finns utmaningar i att kombinera dessa syften på ett bra sätt eftersom uppgifterna ger olika signaler och kan ge upphov till olika 621 kap. 4 § högskolelagen. Se även avsnitt 4.2. 63Engwall (2016), s. 15–16. 64Se bl.a. SOU 1992:1. 65Som påpekat kan inte studenter i förväg bedöma utbildningens närmare innehåll, de genomgår inte samma utbildning igen hur nöjda de än är, och utbildningens faktiska värde i en arbetssituation kan bara bedömas delvis och med stor fördröjning. Även arbetsgivarna kan i första hand bara ställa krav utifrån dagens situation snarare än den framtida arbetsmarknaden, och den kunskap de har från sin egen utbildning är av naturliga skäl föråldrad. (2016), s. 61–63. 66Hagström (1997). Principer för en ändamålsenlig styrning slag av beteende. För att främja kvalitetsutveckling så bra som möj- ligt behövs en öppen dialog mellan granskare och granskade där man kan visa upp och diskutera problem och åtgärder för att rätta till dem. Ett snävt fokus på kontroll kan medföra att de utvärderade skönmålar verksamheten och undanhåller observerade brister med risk för att dessa inte åtgärdas. Ett annat problem är standardisering, dvs. att utvärderingen främjar ”rättning i leden” i stället för ”den förändrings- vilja och det nytänkande som bör känneteckna institutioner inom högre utbildning och forskning.”67 Utifrån de principer för styrningen som vi beskrivit i detta kapi- tel måste kvalitetsutveckling ses som det mest grundläggande syftet. Ett system som främjar en stark kvalitetskultur och synliggör både bra och dåliga resultat kommer att leda till att utbildning eller forsk- ning som håller otillräcklig kvalitet fångas upp i hög grad. En mini- minivå för kvaliteten är svårt att fastställa exakt, och upprätthållande av en miniminivå överallt bör dessutom inte ses som en tillräckligt hög ambitionsnivå. Målet måste vara förnyelse, kvalitetsförbättring och utveckling. Kontroll och effektiva former att synliggöra resultat för utomstående intressenter är dock också viktigt, inte minst för att upprätthålla tilltron till verksamheten. Principer för kvalitetssäkring och kvalitetsutveckling Vi menar sammanfattningsvis att följande principer är centrala för säkerställande, utveckling och utvärdering av kvalitet.68 För det första måste en stark kvalitetskultur och löpande kvalitets- säkring inom lärosätet utgöra grunden. Lärosätena måste främja en kvalitetskultur på alla nivåer, säkerställa att det finns olika former av löpande processer (kollegial kvalitetsgranskning vid anställningar m.m., kursutvärderingar, strukturer för etablering av utbildnings- program m.m.) och följa upp hur dessa fungerar i praktiken. Det behövs också processer för att hantera och förebygga forskningsfusk och upprätthålla god forskningssed. 67Engwall (2016), s. 79. Tillitsdelegationen för liknande resonemang om den statliga tillsynen i SOU 2018:48 och mer generellt om olika former av granskning och utvärdering i SOU 2018:38. 68Jfr bl.a. (2016), s. 264–265. Vad gäller utbildningen ingår bl.a. dessa principer i Stan- dards and guidelines for quality in Higher Education Area (ESG). Principer för en ändamålsenlig styrning För det andra behövs återkommande extern granskning av verk- samheten, utöver den granskning som sker exempelvis vid publicer- ing och projektansökningar. Ett utifrånperspektiv på verksamheten där den kan värderas i förhållande till andra, liknande verksamheter driver kvalitetsutvecklingen och bidrar till legitimiteten i omvärldens ögon. Den externa granskningen behöver dels vara kollegial, dvs. bestå av bedömare med sakkunskap inom det utvärderade området, men också kunna ta in andra intressenters perspektiv. Med tanke på den högre utbildningens och forskningens internationella karaktär bör bedömare med erfarenhet från andra länder med fördel med- verka. För att främja kvalitetsutveckling och en stark kvalitetskultur behöver granskningar anpassas till den aktuella verksamhetens sär- skilda förutsättningar. Det innebär att validitet och relevans för verksamheten ges större tonvikt än jämförbarhet t.ex. mellan läro- säten. Det är dock viktigt att granskningars resultat, oavsett om de initieras inom lärosätet eller av externa aktörer, är tillgängliga för olika intressenter. För det tredje behöver såväl det löpande kvalitetssäkringsarbetet som externa granskningar kopplas till en handlingsberedskap i form av strategiska omprioriteringar, styrningsåtgärder för att adressera brister, eller spridande och utveckling av väl fungerande processer till andra delar av verksamheten. Förutsättningen för det förtroende som verksamhetsanpassad granskning bygger på är att verksamheten kan visa att brister hanteras och möjligheter tillvaratas.69 Det nationella kvalitetssäkringssystem som UKÄ utvecklat och vidareutvecklar på regeringens uppdrag (se beskrivning i kapitel 3) hör till det som vi enligt våra direktiv inte i första hand ska lägga förslag om. Vi vill dock betona att systemet ligger väl i linje med våra överväganden kring den samlade styrningen, bl.a. eftersom det tyd- ligt bygger på lärosätenas eget ansvar för kvalitetssäkring och kvali- tetsutveckling. Genom UKÄ:s utökade uppdrag rörande kvalitets- säkring på nationell nivå av hela högskolans verksamhet, och inte enbart utbildningen som tidigare, läggs grunden för ett helhetsper- spektiv på verksamheten som är mycket värdefullt. 69Kettis (2016) s. 265. Principer för en ändamålsenlig styrning flera delar av betänkandet till kvalitetssäkringssystemets centrala roll i den tillitsbaserade styrningsansats vi förordar. Ofta är verksamhetens mål av en sådan karaktär att resultat inte kan mätas på ett entydigt sätt. Då kan man i stället använda indikatorer som mäter någon del av de effekter som verksamheten syftar till. Fördelarna är flera. Indikatorer kan aggregeras på ett sätt som kvali- tativa bedömningar inte kan. De kan möjliggöra jämförelser eller mellan verksamheter som annars är svåra att göra. De kan ge en överblick över ett visst område och följas löpande för att signalera behov av åtgärder. Arbetet med utformning av indikatorer kan bidra till att precisera mål och utveckla planering av verksamheten. Den förenkling som är indikatorernas fördel för dock med sig utmaningar. Behovet av indikatorer kommer som regel av att det inte går att direkt mäta det man verkligen vill mäta (t.ex. hög kvalitet). Utmaningen är då att identifiera någonting att mäta som är relevant för det övergripande målet, som är tydligt och tolknings- bart, och har hög validitet och reliabilitet (dvs. mäter det den utger sig för att mäta och baseras på en tillförlitlig källa).70 Även om indi- katorn i sig har en hög validitet och reliabilitet speglar den som regel bara en del av verksamheten, medan annan viktig information inte fångas upp. Stor omsorg krävs därför i hur indikatorer utformas, och inte minst hur de används. Den objektiva karaktär som en siffra ger kan leda till felaktiga bedömningar eller åtgärder om indikatorn är dåligt utformad eller om dess begräsningar och osäkerhet glöms bort. Den tekniska enkelheten i att aggregera kvantitativa uppgifter kan dölja osäkerheter i den underliggande informationen. Som bl.a. ESV och har påpekat har resultatindikatorer ofta kommit att behandlas som ”resultat” med förenklade analyser av sambandet mellan prestationer och effekter som följd.71 ESV har utarbetat ett antal principer för hur resultatindikatorer bör utformas. För det första måste det finnas ett tydligt mål, dvs. en beskrivning av något framtida önskvärt tillstånd. För det andra behövs en genomtänkt effektkedja som beskriver hur prestationer leder till 70Jfr (2018b), s. 13. 71SOU 2007:75, sammanfattat i ESV (2012), s. 27. Principer för en ändamålsenlig styrning vissa effekter och eventuellt vidare till andra effekter i ett antal led som slutligen påverkar måluppfyllelsen. Indikatorer bör enligt ESV utfor- mas så långt upp i effektkedjan (dvs. så nära målet) som möjligt. För det tredje måste man noga analysera vad som mäts och vad som inte mäts med aktuell indikator, och argumentera tydligt och transparent kring valda indikatorers begränsningar.72 Resultatindikatorer kan spela en roll som del av beslutsunderlag, information till andra intressenter eller i styrningssyfte. Indikatorer som styrinstrument är dock av flera skäl problematiskt. Eftersom indikatorer bara mäter en viss aspekt av en mer komplex verksamhet finns en risk för att fokus läggs på det som mäts på bekostnad av annat. Om en indikator medvetet eller som en sidoeffekt blir sty- rande riskerar också dess funktion som indikator att försämras enligt ”Goodharts lag”, dvs. ”när ett mått blir ett mål slutar det att vara ett bra mått.”73 Jakt på ”pinnar”, att pricka av kvantitativa mått inom bl.a. polisen är ofta diskuterade exempel.74 Inom forskningsvärlden har man länge talat om att ett starkt fokus på mängden publiceringar i samband med meritering eller fördelning av medel riskerar att ge upphov till oönskade effekter som s.k. ”salamipublicering” där fors- kare försöker dela upp idéer och resultat i så många olika artiklar som möjligt snarare än att presentera dem samlat (”minsta publicer- bara enhet”). En sådan ”inflation” i publiceringen leder inte nödvän- digtvis till fler forskningsresultat som effektivare bidrar till kun- skapsutvecklingen och kan få genomslag i samhället. När indikatorer används för fördelning av resurser finns ofta en avsedd styreffekt i form av incitament, vilket behandlas i avsnitt 4.5. 4.4.4Behov av ökad samordning, dialog och analys Som nämndes inledningsvis följs lärosätena upp och utvärderas av flera olika aktörer. Bristande samordning ur lärosätenas perspektiv är något som bl.a. SUHF varnade för som ett framväxande ”otuktat utvärderingslandskap” inom högre utbildning och forskning, där 72ESV (2007, 2012). 73Goodharts egen definition lyder ”observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes”. Den mer kortfattade omformuleringen ”When a measure becomes a target, it ceases to be a good measure” gjordes av Strathern (1997), s. 305–321. 74Exempelvis kan antalet insamlade utandningsprov vara en indikator på polisens arbete för nyk- terhet i trafiken, men när uppföljningen centrerar på antalet insamlade prov tenderar tidpunkter, platser och former för insamlingen av sådana prov att väljas för att maximera antalet prov snarare än utifrån det trafikpolitiska syftet och måttet blir därmed en sämre indikator. (2014). Principer för en ändamålsenlig styrning olika delar av lärosätenas kärnverksamhet skulle utvärderas av tre olika centrala myndigheter (UKÄ, och ) förutom av lärosätena själva. Därutöver tillkommer utvärderingsuppdrag, andra centrala myndigheters behov av tillsyn eller uppföljning och olika finansiärers utvärderingar och uppfölj- ningar på Europanivå.75 har dock utvecklingen på flera sätt gått mot en mer samordnad uppföljning. Regeringen har ökat samordningen bl.a. genom att ge olika myndigheter uppdrag att samarbeta kring olika frågor. UKÄ och redovisade ett reger- ingsuppdrag om hur samordning av uppföljning och utvärdering kan ske. Redovisningen innehöll bl.a. en översyn över befintlig uppfölj- ning och förslag på vad som behöver utvecklas (framför allt gällande forskningsstatistiken) och hur samordningen kan öka.76 Det är en- ligt vår mening viktigt att denna positiva utveckling fortsätter. Enligt vår mening bör nationell uppföljning främst göras via UKÄ och andra myndigheter. Den rapportering som sker direkt från lärosätena till regeringen bör i stället i första hand syfta till fördjupad information som underlag för dialog och värdering utifrån varje läro- sätes specifika förutsättningar. Det finns fortfarande rapporterings- krav i regleringsbreven som inte föranleder någon tydlig återkopp- ling eller någon redovisning av regeringen hur informationen har använts. Kraven på att – i såväl budgetunderlag som årsredo- visning – redovisa överväganden kring utbildningsutbudet är kanske det tydligaste exemplet på detta.77 Dialogen mellan regeringen och respektive lärosäte är enligt vår mening ett viktigt verktyg för att löpande säkerställa att uppföljningen är relevant och fördjupa reger- ingens underlag. Lärosätena bedriver en komplex verksamhet och har tämligen vitt skilda förutsättningar och profiler, och en god dia- log behövs för att ge regeringen en bild av respektive lärosätes verk- samhet. Dialogen är också viktig för att lärosätena ska få återkopp- ling på den redovisning de ger och kunna ge återkoppling på hur mål och redovisningskrav är utformade. Dialogen är även viktig för att fördjupa lärosätenas förståelse för regeringens syften med styr- ningen. Vikten av att utveckla dialogen har återkommande påtalats i 75Röding (2015). Se också (2016) s. 260–261. De av och före- slagna utvärderingssystemen har dock inte genomförts. 76UKÄ (2018c). 77I direktiven till budgetunderlagen –2022 har dock detta krav utgått. Principer för en ändamålsenlig styrning olika utredningar,78 och vi menar att detta bör vara en högt prio- riterad fråga för en utvecklad styrning av universitet och högskolor. Vi behandlar detta mer ingående i kapitel 5. Som underlag för regeringens politik räcker inte information från lärosätena själva eller aggregerad sådan från de statistikansvariga myn- digheterna. För att kunna bedöma och ompröva politiken behövs ana- lyser som belyser effekter av den politik och de reformer som beslu- tats, internationella utvecklingstendenser och samlade bedömningar av högskolans utveckling. Vi menar att underlag av detta slag skulle behöva tas fram med en ökad systematik och ökad grad av oberoende från såväl regeringen som verksamhetsansvariga, vilket utvecklas i kapitel 5. 4.5Finansiell eller annan styrning I våra direktiv framhåller regeringen att det måste övervägas nog- grant när det är mest ändamålsenligt att välja finansiell styrning och när andra styrformer i stället är mer lämpliga för att nå högsta möjliga kvalitet i utbildning och forskning eller när regeringen vill påverka lärosätenas prioriteringar och utveckling. Som faktorer att beakta framhåller regeringen att universitet och högskolor har ett stort ansvar att prioritera inom sin verksamhet och att finansiell styr- ning ofta skapar starka incitament vars effekter kan vara svåra att förutse, särskilt i en verksamhet där resultaten blir synliga först . Den finansiella styrningen, att verksamhet styrs med hjälp av eko- nomiska ramar samt olika restriktioner och villkor knutna till finan- sieringen, är ett viktigt instrument för att statens medel ska fördelas enligt politiska prioriteringar och utnyttjas på ett samhällsekonomiskt effektivt sätt. I detta avsnitt talar vi – i samma anda som direktivens formuleringar ovan – om finansiell styrning i en något snävare bemär- kelse. Fokus ligger inte på styrning av resursanvändningen utan sna- rare på att styra verksamheten genom resurserna framför allt genom olika former av prestationsbaserad resurstilldelning. 78Se bl.a. ESV (2016) s. 48 om värdet av dialog kring resultatredovisningen för både regeringen och myndigheten. Principer för en ändamålsenlig styrning Ökad användning av prestationsbaserad resurstilldelning har varit en allmän trend runtom i världen, både inom högre utbildning och forskning och generellt i styrning av offentligfinansierad verk- samhet, och anses ofta vara en del av New Public Management.79 I dagens svenska system används finansiell styrning av verksam- heten framför allt genom uppdelningen av anslag för utbildning respektive forskning samt genom prestationsbaserade inslag i tilldel- ningsmodellerna för respektive anslag. Som beskrivs i kapitel 3 är tilldelningen av utbildningsresurser helt beroende av antal studenter och deras prestationer.