sou · GVB3101 · 2008-01-01 00:00:00 — Sammanfattnings- vis är de inspekterade huvudsakligen positiva till inspektionen. Man anser att det är stimulerande att få besök utifrån och få tillfälle till diskussioner med inspektörerna. Den kritik som förs fram i rapporten handlar bl.a. om lärargruppen som är den minst positiva, då gruppen i större utsträckning ser inspektionen som ytlig. Lärarna anser inte att inspektörerna når ner på golvet. Utöver ESV:s utvärdering finns inga externa utvärderingar av utbildningsinspektion. Det har dock funnits sådana ambitioner. I verksamhetsplanTPF13FPT för skriver verket: I en del kan ambitionerna i denna del uttryckas som ett mål att ha byggt upp kontakter i och utanför för att skapa möjligheter till en utvecklad fortsatt utvärdering av inspektionsverksamheten, med beaktande av de resultat som ESV:s utvärdering ger som grund. I detta avsnitt redovisas utredningens bedömningar efter att tagit del av rapporter och material samt genomfört intervjuer. Dessutom för utredningen ett mer problematiserande och analyserande resonemang om den nuvarande inspektionens styrkor och svag- heter. Tyngdpunkten läggs vid de rapporter som skrivs efter inspektionerna. Det är i första hand denna dokumentation som, enligt utredningens bedömning, utgör underlag för att förstå och problematisera utbildningsinspektionens styrkor och svagheter. 13TP PT Verksamhetsplan 2006. Enligt SkolverketTPF14FPT analyseras det underlag som samlats in före och under besöket i skolan. Inspektörernas bedömning inför inspek- tionsbesöket bygger till stor del på detta underlag. Utredningens bedömning är att insamlat material i huvudsak har relevans inför inspektionen. Däremot ser utredningen behov av ytterligare data och ett mer likvärdigt och systematiserat analys- och förberedelse- arbete. Det finns flera förtjänster med inspektion som instrument för den statliga styrningen av verksamheten. Den främsta är säkerligen att granskningen utförs av personer som kan möta skolans personal i samtal och diskussioner om verksamhetens olika kvaliteter. Främst skolledare upplever dessa samtal som positiva och utvecklande. Det räcker inte med att inspektörernas insamling av uppgifter är tillförlitlig. Det måste också finnas en uttalad norm eller kriterium att jämföra med. Det måste klarläggas vilken författning eller liknande underlaget ska bedömas mot. I de rapporter som utred- ningen läst finns svagheter på det området. Frågan om kvaliteten i utredningsunderlaget, respektive inspektionens tolkning av styr- dokumenten, är avgörande för hur en utbildningsinspektion ska kunna genomföra sin uppgift med god kvalitet och hög trovärdig- het. I syfte att få underlag till utredningens förslag om hur främst kvalitetsgranskningen inom utbildningsinspektionen bör se ut framöver är det nödvändigt att ge en bild av dagens inspektions- rapporter. Utredningen är medveten om att mycket av det som framgår i följande genomgång också har konstaterats inom Skol- verket. Bristerna och svårigheterna med kvalitetsgranskningen har dock inte rapporterats till regeringen eller beskrivits i någon annan extern rapportering. 14TP PT Inspektera för att förbättra – ett informationshäfte om utbildningsinspektion (Best.nr. : 04:850). beslut med anledning av en inspektion i en skola tar upp två områden: brister som ska åtgärdas och behov av förbättringsinsatser där åtgärder ska redovisas . Utredningen har av tidsskäl inte på ett genomgripande sätt hunnit granska utbildningsinspektionens rapportering. Utredningen har dock gått igenom ett antal frekventa brister och förbättrings- områden och kan konstatera flera svårigheter. I bilaga 3 anges några exempel som har det främsta syftet att belysa de principiella svårig- heter som utbildningsinspektionen har. I följande text hänvisas till denna bilaga för konkretisering. De huvudfrågor som utredningen ställt sig vid rapportläsningen är bl.a. Vad bedömer man och vilka områden är centrala? Mot vad bedömer man och är det klart uttalat vad man bedömer mot? Är rapporteringen begriplig, jämförbar och anpassad efter granskad verksamhet? Utredningens genomgång av ett begränsat antal rapporter visar att nästan hälften av textmängden i rapporterna ägnas åt beskrivningar och bedömningar av t.ex. frågor om arbetsmiljö, elevers och föräldrars inflytande, skolans hantering av individanpassning och särskilt stöd. Betydligt mindre utrymme ges åt bedömning av kunskapsresultat och kvalitetsfrågor. Därutöver beskriver rapporterna skolan och dess utbildningar. Beskrivningar av lagstiftningen på området och inspektörernas beskrivning av situationen (se bilaga 3 exempel 1) är omfattande. Utredningen konstaterar dock att underlagen för beslut om åtgärder för att rätta till brister och förbättringsåtgärder är vagt uttryckta i rapporterna (se bilaga 3 exempel 3 och 5). Beslut om brister kan t.ex. bygga på utsagor av intervjuade elever och lärare. Det framgår inte hur representativa de är. Inte heller framgår av rapporterna om man är överens med skolan om att beskrivningen av situationen är korrekt. Rapportutkast kommuniceras innan färdigställandet med rektorn för en skola, men enligt de intervjuerTPF15FPT utredningen har gjort sker detta på olika sätt. I en del fall har bara situationsbeskrivningen visats rektorn och i andra fall har även preliminära bedömningar kommunicerats. Efterfrågan på synpunkter från rektorerna på sakuppgifter, innehåll 15TP PT Intervjuer med inspektörer i , , och med rektorer i . och bedömningar i rapporterna har varierat mellan inspektörs- teamen. Utredningen drar slutsatsen att inspektionen har kommit att få mer tillsyns- än kvalitetsgranskande karaktär. En tänkbar förklaring till detta kan vara att inspektionen även används som ett instrument att implementera förändringar i lagstiftningen. Sedan inspektionen startade har kraven på kvalitetsredovisningar och åtgärdsprogram skärpts och krav på att varje elev ska ha en individuell utvecklingsplan införts. En ny lag har stiftats med ökade krav på huvudmän att bedriva ett arbete mot diskriminering och andra former av kränkningar tillsammans med krav att upprätta likabehandlingsplaner. Inspektionen förväntas enligt SkolverketTPF16FPT kontrollera att dessa förändringar får genomslag i verksamheten. Den tydliga tillsynskaraktären kan delvis ha sin förklaring i att inspektionens bedömningar, såväl de juridiska som de kvalitets- mässiga, ska vara grundade i styrdokumenten för skolområdet, dvs. skollag, skolformsförordningar, läroplaner och andra författningar. Med denna utgångspunkt blir konsekvensen att när regelverket är tydligt blir också kontrollen tydlig. Man kan också säga att om styrdokumenten är otydliga, blir det också svårt att bedöma en verksamhets kvalitet. Ett exempel på detta är kvalitetsgranskningen som tar sin utgångspunkt främst i läroplaner och kursplaner. Otydligheten i dagens styrdokument är också något som behandlades i betänkandet Tydliga mål och kun- skapskrav i grundskolan.TPF17FPT När läroplanerna, som oftast utgör grund för kvalitetsbedömningarna, är formulerade på en abstrakt och generell nivå, blir också de bedömningar som inspektionen gör med utgångspunkt i läroplanerna vaga. Utrymmet för personliga tolkningar blir större. blir inspektörerna osäkra i sina bedömningar och utsagor och texten blir därför vagt beskrivande. Ett område som tar upp mycket av innehållet i rapporterna är inflytandefrågor. Detta är ett område som betonas starkt i bl.a. läroplanerna. I inspektionsrapporterna bygger mycket på elevers utsagor om situationen. Inspektörernas bedömningar kan därför ibland bli tveksamma ur juridisk synvinkel. Inflytandefrågor är svåra att bedöma, vilket också framför i årsrapporten.TPF18FPT Där skriver verket att många lärare anser att de saknar stöd i 16TP PT Underlag från , . 17TP PT Tydliga mål och kunskapskrav i . Förslag till nytt mål- och uppföljningssystem (SOU 2007:28). 18TP PT (2007). utbildningsinspektion – en sammanfattning av resultat och erfarenheter , dnr 07:1003. nationella styrdokument om hur elevernas inflytande över arbets- former, arbetssätt och undervisningens innehåll ska utformas i praktiken. Inte heller inspektionen har någon större vägledning av hur detta ska bedömas med utgångspunkt i styrdokumenten. Om det är så, vilket inte finns anledning att betvivla, bör antingen regelverket ändras eller så bör området inte vara föremål för inspektion på det sätt som görs . Utredningen finner vidare att mycket text inom de olika avsnitten är beskrivningar av hur inspektörerna uppfattar situationen på den specifika skolan. För läsaren kan det då vara svårt att förstå utifrån vilka kriterier bedömningen gjorts, t.ex. följande: Inspektörerna tog del av många lektioner där en god stämning rådde mellan elever och lärare. Inspektörerna bedömer att det trots god trivsel för en övervägande majoritet på skolan, inte kan sägas råda en bra arbetsmiljö i alla avseenden. Vissa bedömningar verkar mer bygga på inspektörernas egen upp- fattning av situationen och av hur det bör vara, t.ex. när det står att skolan aktivt bör föra diskussioner kring kunskapsbegrepp i enlighet med läroplanens och kursplanernas styrning. Vad innebär det att aktivt föra diskussioner om kunskapsbegrepp? Är detta något som tydligt kan hänföras till författningarna? Vad stödjer sig inspektörerna på? Hur vet man att detta är ett generellt förbätt- ringsbehov på den aktuella skolan och hur skiljer sig denna skolas förhållanden från andra skolors? Många av de värderingar som görs är inte direkt kopplade till styrdokumenten utan har mer karaktären av best practice grundat på forskning och beprövad erfarenhet. För denna typ av värderingar krävs, enligt utredningens bedömning, att de är öppet deklarerade av . Generellt sett är det en viktig utgångs- punkt för en tillsynsmyndighet att den deklarerar spelreglerna för dem som ska granskas. Vilka krav ställs på en huvudman, en skola eller en verksamhet? Är de kända? Hur bedöms kraven? Det finns anledning att reflektera över de bedömningar som görs från inspektörernas sida. Det finns även skäl att reflektera över balansen mellan den inspekterande myndighetens ställningstaganden och rektors och lärarnas professionella tolkningsutrymme. Utred- ningens bedömning är att kan bli avsevärt mer öppen med information om hur utbildningsinspektionen går till, på vad skolorna bedöms och mot vilka kriterier de bedöms. Ett problem med rapporterna är att de vänder sig till skolan som subjekt i stället för att klart uttala vem som är ansvarig för frågan (se bilaga 3 exempel 4 och 5). Så kan t.ex. en skolas ledning och styrning bedömas som att den håller en god kvalitet, trots att det på ett annat ställe i rapporten framgår att ledningen inte har kontroll eller redskap för att systematiskt följa upp elevernas kunskapsutveckling och inte heller utarbetar en kvalitetsredovis- ning som uppfyller förordningens krav. Utredningens bedömning är att rapporterna kännetecknas av att de är olika. Det går inte, eller är i vart fall svårt, att jämföra olika skolrapporter. Rapporter från inspektion av skolorna i har t.ex. stora variationer i skrivsätt och omfång. Vad dessa variationer beror på är svårt att bedöma. Det kan bl.a. bero på de individuella inspektörernas förmåga att skriva rapporter, deras eventuella käpphästar och/eller på brister i den interna styrningen inom . Det kan även handla om verksam- hetens komplexitet och storlek, som gör det svårare att hålla informationen saklig eller kortfattad. Det finns dock, enligt utred- ningens bedömning, en risk att olikheterna i de enskilda skolrap- porterna mer beror på inspektörerna än på skillnader mellan skolorna. Det är värt att notera att samtliga verksamheter får likartade platsbesök och likartade rapporter. Exempelvis är granskningen av gymnasieskolan förhållandevis lik . Dessa skolformer har olika uppdrag, olika målgrupper och olika problem vilket enligt, utredningens bedömning, också på ett tydligare sätt borde synas i inspektionsrapporterna. Överlag framträder vid granskningen en bild av rapporter där de tycks ha lämnat den modell som bygger på de tre delarna: förutsättningar, processer och resultat. I rapporterna blir förutsättningar en generell och förenklad beskrivning av verksamhetens organisation och omfattning. Rapporteringen av resultat om kunskaper och måluppfyllelse är oftast en enkel betygs- sammanställning på skol- och kommunnivå. Processerna kring läroplanens övergripande områden är beskrivande och ibland intuitivt tolkade. Det går inte med det underlag som presenteras i rapportTPF19FPT till regeringen att bedöma om det finns några större skillnader mellan den nuvarande modellen i förhållande till den som 19TP PT Redovisning av uppdrag om pågående utvecklingsarbete avseende utbildningsinspektion, 2007, (Dnr 59–2007:1673). planeras att genomföras. I stort sett finns samma delområden för granskning kvar, men under andra områdesrubriker. Detta gäller även om vissa områden bedöms på ett mindre antal punkter. Utredningens bedömning är att det framför allt är en förändrad och förbättrad rapportstruktur som avses, vilket också bekräftas av intervjuade inspektörer. Det underlag utredningen tagit del av i övrigt är dock arbetsmaterial, som kan hänföras till pågående utvecklingsarbete av nuvarande inspektionsmodell. Utredningen har noterat att verket har insikter i de problem som utredningen konstaterat. Sammanfattningsvis bedömer utredningen utifrån de frågor som ställts vid genomläsningen av rapporterna att: de bedömda delområdena inte alltid är de mest centrala utifrån skolans kunskapsuppdrag och att kunskapsuppdraget ges en begränsad omfattning i rapporterna, tillsynsfrågor och till dem kopplade lagtexter ges ett relativt omfattande utrymme i förhållande till kunskapsuppdraget, rapporterna i begränsad omfattning tydligt definierar ansvaret för olika åtgärder på olika ansvarsnivåer, de kriterier mot vilka bedömningar görs ofta är otydliga, outtalade och ibland utgår från den enskilde inspektörens upp- fattning, de uppgifter som ligger till grund för bedömningarna ofta är vaga och inte alltid tydligt verifierade, rapporteringen ofta blir inspektörsberoende och jämförbarheten mellan skolor är begränsad samt att rapporteringen blir relativt likartad vare sig man granskat exempelvis grundskole- och gymnasieskoleutbildning eller vuxenutbildning. Den kvalitetssäkring som bedriver i sitt löpande arbete är i första hand ett internt arbete för att säkerställa att rapporteringen till skolor och huvudmän är juridiskt hållbar och att de bedömningar som görs har stöd i styrdokumenten. Detta kan vara en orsak till att en del av kritiken mot inspektionen handlar om för stark inriktning på tillsynsfrågor och att rapporterna har en alltför stor tyngdpunkt på lagefterlevnad. De intervjuer som genomförts inom utredningens ram har också visat på att man inom verket sett problemen med rapporternas svagheter vad gäller bl.a. likvärdighet, brist på gemensamma bedömningsgrunder och olikheter mellan olika avdelningar och inspektörsteam. Utveck- lingsarbetet inom inspektionsenheten har delvis tagit fasta på dessa problem. Trots det pågående arbetet är det utredningens bedöm- ning att det inom utbildningsinspektionen krävs ett mer systematiskt och strukturerat kvalitetssäkringsarbete av hela inspektionsprocessen än vad som förekommit. har tagit initiativ till en extern utvärdering av utbild- ningsinspektionen. presenterade en utvärderingsrapport.TPF20FPT Den ambition om fortsatt extern utvärdering av inspektionen som fanns i verksamhetsplanen för år 2006TPF21FPT har inte förverkligats. Utredningen bedömer att en gransk- ning i samarbete med en mer erfaren inspektionsorganisation, t.ex. , den engelska inspektionen Ofsted eller den skotska inspektionen, kan bidra till en fortsatt utveckling av verk- samheten. Regeringens styrning av uppdraget till utbildnings- inspektion har i regleringsbrevet en övergripande nivå. Åter- rapporteringskraven är få vad gäller innehållet och något fler avseende form, kvalitetssäkring och kostnader. Regeringen har lämnat till att utforma utbildningsinspektionen utifrån ett kvantitativt mål och vissa återrapporteringskrav. De områden som prioriterades i tillsyn kan sägas gälla fortfarande, dvs. tillgång till utbildning, elevens möjlig- heter att nå målen, arbetet mot kränkande behandling, elev- och föräldrainflytande samt styrning och ledning. Regeringen har inte heller haft synpunkter på de inspektionsområden som prioriterat och redovisat. I detta avsnitt beskrivs kortfattat något om andra inspektioner av skola och utbildning. Skälen till att just dessa valts som exempel är att utredningen har haft begränsad tid till sitt förfogande. Utredningen har i stället fått välja internationella referenspunkter 20TP PT utbildningsinspektion – ger den några effekter? 21TP PT verksamhetsplan för . utifrån aktuell och tillgänglig dokumentation och tidigare genomförda studieresor. har –2006 tillämpat ett system för kvalitetssäkring av högre utbildning som i stor utsträckning baserats på ämnes- och programutvärderingar. utvärderades samtliga ämnen som utgjorde huvudämne i lägst en kandidatexamen, konstnärlig kandidatexamen eller yrkes- examen på grundnivå vid samtliga universitet och högskolor. Resultaten från dessa cirka 1 700 utvärderingar finns sammanfattade i en slutrapport. Rapporten innehåller också reflektioner över utvärderingssystemet och kvalitetsgransk- ningarnas betydelse.TPF22FPT Med utgångspunkt tagen i erfarenheter från det tidigare utvärderingssystemet har ett nytt system för kvalitetssäkring utarbetats för perioden –2012.TPF23FPT Systemet består av fem komponenter som tillsammans både utgör en helhet och kompletterar varandra: Granskning av lärosätenas kvalitetsarbete. Utvärdering av utbildningar. Utmärkelser till framstående utbildningsmiljöer. Granskningar av lärosätenas kvalitetsarbete har genomförts tidigare, , men då med fokus på ledningsnivå och främst i utvecklingsstödjande syfte. I det nya systemet kommer de att utgå från tydliga kriterier och inriktas mot resultat och effekter av kvalitetsarbetet. och högskolor kommer att granskas . 22TP PT rapportserie 2007:31 R. Hur har det gått? En slutrapport om kvalitetsgranskningar åren 2001–2006. 23TP PT rapportserie 2006:57 R. Nationellt kvalitetssäkringssystem för perioden –2012. (Kommer att revideras .) Utvärdering av utbildningar (motsvarar tidigare ämnes- och programutvärderingarTPF24FPT) kommer i det nya systemet att genomföras i tre steg: Sammanfattande beskrivningar i nationella bilder. Urval av utbildningar efter riskbedömning. Fördjupade granskningar av ett mindre antal utbildningar. Även i det nya systemet kommer samtliga utbildningar att utvärderas . granskas fem till sex större utbildningsområden inom exempelvis humaniora, samhälls- vetenskap, naturvetenskap, medicin eller teknik. För varje utbild- ningsområde sammanställs nationella bilder baserade på nyckeltal och förenklade självvärderingar. De nationella bilderna utgör sedan underlag för urval av utbildningar där det kan finnas risk för att god kvalitet inte upprätthålls. Dessa utbildningar kommer att bli före- mål för fördjupade granskningar. De fördjupade granskningarna kommer att genomföras på samma sätt som tidigare ämnes- och programutvärderingar, med externa bedömare och lärosätesbesök. Examensrättsprövningar kommer också att genomföras enligt tidigare modell, men anpassas till den nya examensordningen. Utbildningarna kommer således att prövas mot förutsättningarna att studenterna ska kunna uppnå de lärandemål (learning outcomes) som anges i examensbeskrivningarna. Tematiska studier syftar till att ta fram fördjupad kunskap om olika företeelser inom högre utbildning i . De fungerar som integrerade delar av kvalitetssäkringssystemet i och med att de följer upp och problematiserar resultat från lärosätesgransk- ningarna eller utvärderingen av utbildningar. Utmärkelser till framstående utbildningsmiljöer syftar till att skapa incitament för kvalitetsutveckling för utbildningar som redan håller god kvalitet. Ansökan om att erhålla utmärkelsen är frivillig och lärosätena får själva avgöra vilka miljöer de vill lyfta fram. Bedömningen görs av en kvalificerad grupp internationella experter, som på basis av beskrivningar och platsbesök avgör vilken eller vilka utbildningsmiljöer som uppfyller de högt ställda kvalitetskraven. 24TP PT Anledningen till att ämnes- och programutvärderingar nu benämns utvärdering av utbildningar är att begreppet huvudämne har ersatts med begreppet huvudsakligt område i den nya examensordningen. Den komponent i kvalitetssäkringssystem som har störst likhet med utbildningsinspektionen är utvärderingen av utbildningar, det som tidigare kallades ämnes- och program- utvärderingar. Som en del av det nationella kvalitetssäkringssystemet utvärderar högskoleutbildning på grundnivå, avancerad nivå och forskarnivå. Alla ämnen som kan vara huvudämne i lägst en kandidatexamen, konstnärlig kandidatexamen eller yrkesexamen på grundnivå utvärderas. Samtliga ämnen och yrkesprogram ska utvärderas regelbundet, . För detta (och andra) ändamål finns vid en utvärderings- avdelning med cirka 35 utredare som till sig knyter mellan 100 och 200 externa experter . kallar sin verksamhet utvärdering när talar om inspektion. Syftena med granskningsverksamheterna är dock likartade. utvärderingsverksamhet har tre syften: att granska om utbildningen svarar mot mål och bestämmelser i högskolelagen och högskoleförordningen, att bidra till att utveckla kvaliteten i utbildningen, samt att ge information till bland annat studenter inför valet av utbildning. Objektet för granskning för del är samtliga utbildningar som leder till generella examina och yrkesexamina. Utvärderingarna är nationella, dvs. samtliga utbildningar i hela landet i t.ex. historia ingår i samma utvärdering. Ämnesmässigt närliggande ämnen utvärderas för att det ska vara möjligt att ta fram nationella bilder över större ämnesområden, som man på detta sätt förbättrar förutsättningarna för en likvärdig bedömning. Framtagandet av de nationella bilderna tar , och de fördjupade granskningarna . En utvärdering av en utbildning tar således, från upptaktsmötet med samtliga berörda lärosäten till återföringsmötet med de lärosäten som granskats mer ingående, . anlitar externa experter både vid framtagandet av de nationella bilderna och vid genomförandet av de fördjupade granskningarna. Det är de sakkunniga som gör bedömningen av verksamheten. utredare ansvarar för att leda utvärderingen genom att lotsa och stödja bedömarna genom utvärderingsprocessen, samt fungerar som sekreterare vid plats- besöken och rapportskrivandet. Det betyder att personal är med på platsbesöken och bedömarträffarna, men de medverkar inte i bedömningen av verksamheten. Den modell som används bygger på eller kollegiebedömning där den underliggande tanken är att kollegor inom samma ämnesområde på ett mer trovärdigt och legitimt sätt ska kunna bidra till mer utvecklande samtal och dialoger. Av den anledningen består Hög- skoleverkets bedömargrupper av ämnesexperter, studenter, doktorander och representanter för yrkeslivet. I bedömargrupperna ska internationella experter ingå. bedömargrupper varierar i storlek beroende på hur många utbildningar som ingår i en utvärdering. En bedömar- grupp kan bestå av upp till 20 personer beroende på omfattningen och bredden av den verksamhet som ska granskas. Vid varje enskilt platsbesök deltar cirka fem bedömare och en utredare från hög- skoleverket. När en stor bedömargrupp delas upp i mindre grupper som ska göra platsbesök strävar man efter en viss rotation mellan grupperna för att stärka likvärdigheten i bedömningarna. Bedömarna introduceras till sin uppgift vid särskilda bedömar- gruppsmöten. Det första mötet innefattar vanligtvis information om uppgifter, utvärderingsmodellen, kvalitets- aspekter och det svenska högskolesystemet.