sou · GVB3101 · 2008-01-01 00:00:00 — är verksamheten öppen för andra kommuner som vill medverka. ske utifrån ett medborgarperspektiv, stimulera till erfarenhetsutbyte och ökat lärande, ge kommuner och skolor underlag till förbättring och utveck- ling, ge underlag för analyser och jämförelser mellan kommuner och skolor, utgöra en viktig del av kvalitetsuppföljningen samt bidra till ökad måluppfyllelse. De områden som granskas följer läroplanernas målområden och har fyra utgångspunkter: självvärderingar, platsbesök (observationer), kundundersökningar samt tester och prov. Innan platsbesöket ska personalen fylla i en självvärderingsenkät på webben. Syftet är att redovisa personalens bedömning av skolans verksamhet och att kunna jämföra deras bedömning med den bedömning som observatörer, föräldrar och elever gör. Själv- värderingen innehåller samma frågeområden som elever och föräldrar ska besvara i en kundundersökning. Det är gentemot dessa områden som granskarna gör sin bedömning. Frågeområdena berör bl.a. om eleven får det stöd och hjälp som behövs, om eleven stimuleras till utveckling och lärande, om det är arbetsro på lektionerna och om vuxna aktivt motverkar att någon behandlas illa. För varje skola skapas ett så kallat spindeldiagram som visar hur resultaten för de olika grupperna förhåller sig till varandra. I diagrammet presenteras de olika enkätresultaten i form av ett spindelnät, där det är lätt att se likheter och olikheter samt hur de olika grupperna bedömt de olika frågeområdena. Jämförelser görs med föregående år både inom kommunen och mellan de kommuner som deltar. Resultaten redovisas också för föräldrar och de politiska nämnderna. Platsbesöken kallas observationer och genomförs . Observatörsgrupperna består oftast av två eller flera personer beroende på verksamhetens storlek. består den av en skolledare och därutöver lärare eller pedagoger med erfarenhet från granskad verksamhet som arbetar i en annan kommun än den granskade. Frågeställningar förbereds utifrån läroplanens målområden i förhållande till skolans pedagogiska dokumentation. Besök och intervjuer genomförs i samtliga verksamheter. Ambitionen att varje lärare och varje klass ska få åtminstone ett besök på en skola. Som ett komplement till de nationella proven genomför kommunerna särskilda prov inom ramen för Våga Visa. Dessa kommunala prov görs i svenska och matematik i årskurs tre och åtta i . Resultaten redovisas för skolorna och för kommunen. Proven ger skolorna möjlighet till uppföljning av elevernas resultat och visar också hur många elever per klass som bedöms ha svårigheter. Resultaten används också för att visa hur elevresultaten i kommunen utvecklas. Varje observatör gör efter observationsveckan en egen bedömning enligt en fyrgradig skala inom varje målområde. Observatörerna träffas därefter för att komma fram till en gemensam bedömning. I rapporten görs för varje observationsområde en beskrivning i text (fakta om området och pågående utvecklingsarbete), en bedömning i text, samt en bedömning enligt en fyrgradig skala. En viktig del i rapporten är att göra jämförelser med tidigare genomförda observationer. Observatörerna ska kommentera vilken utveckling som skett inom tidigare förbättringsområden. Avslut- ningsvis redovisas starka sidor och förbättringsområden. Rapporten skrivs för politiker, ledning, skola och kunder i den kommun där skolan finns och offentliggörs via Internet. har byggt upp en inspektionsverk- samhet som består av fyra förskoleinspektörer, två skolbarnsomsorgsinspektörer, fyra grundskoleinspektörer samt två gymnasie-/vuxenutbildningsinspektörer. Inspektionsuppdraget genomförs delvis olika beroende på skolform. I huvudsak utgår granskningen från dokumentanalys, intervjuer med elever, personal och skolledning samt verksamhetsobservationer. Förberedelsematerialet består i huvudsak av material som för- skolan eller skolan ställer till förfogande exempelvis arbetsplan, kvalitetsredovisning olika handlingsplaner, egna undersökningar, betygsstatistik, sammanställningar av diagnoser och läsutveck- lingstest. Inom staden görs också uppföljningar av grundskole- elevers betyg och deras senare prestationer i gymnasieskolan. Även material från andra källor exempelvis från analys- redskap SALSATPF37FPT ligger till grund för inspektionerna. För förskolan, och skolbarnsomsorgen får arbetslagen inför besöken besvara en självvärderingsenkät som bygger på Inspektörerna har erfarenheter från det inspekterade verksam- hetsområdet som pedagoger och skolledare. Vid besöken intervjuas skolledning, personal och elever. Inspektörerna har en instruktion för de områden som ska granskas. De använder den förberedande analysen av skolans dokumentation för att välja områden som verkar oklara. har inspektionerna särskilt undersökt undervisningen inom svenska, matematik och naturorienterande ämnen utifrån särskilda instruktioner och självvärderings- instrument. Återrapportering sker med en skriftlig rapport där verksamhetens styrkor och svagheter presenteras kortfattat för att sedan mer utförligt diskuteras under rubrikerna: Kunskaper, normer och värden, elevers ansvar och inflytande, betyg och bedömning samt ledning, organisation och utvecklings- strategier. Avslutningsvis ges förslag på utvecklingsområden. Rapporten offentliggörs på . Efter 6–8 månader återvänder inspektörerna till skolan för ett uppföljande samtal där både pågående utvecklingsarbete och inspektionens roll diskuteras. Inspektörerna har också årsvis redovisat sina iakttagelser i rapporter inom varje verksamhetsform där gemen- 37TP PT SALSA – Arbetsverktyg för Lokala SambandsAnalyser bygger på en statistikmodell med vars hjälp man kan analysera kommuners och skolors betygsresultat när viss hänsyn tagits till skolors elevsammansättning. 38TP PT BRUK, Bedömning, Reflektion, Utveckling, Kvalitet. Ett material som Myndigheten för skolutveckling utvecklat för skolors och verksamheters egna bedömningar av måluppfyllelse inom olika områden. samma problem och utvecklingsområden för verksamheterna och staden lyfts fram. 2.2.4Skillnader och likheter mellan olika modeller för inspektion eller utvärdering Till det yttre ter sig de här presenterade modellerna för inspektion eller utvärdering relativt likformiga. Samtliga innehåller såväl en kontrollfunktion, en informationsfunktion som en utvecklings- inriktning, men med olika stark betoning på delarna. Samtliga modeller har också en förberedelse-, en genomförande- och en återrapporteringsfas. Det finns dock stora skillnader mellan de olika delarnas innehåll och genomförande både i form av inriktning och vilka överväganden som görs. Samtliga modeller sägs syfta till att bedöma verksamheters kvalitet. Man har utvecklat olika system för hur det görs. Det gäller t.ex. vilka kriterier man använder sig av, vad de egentliga bedöm- ningarna grundar sig på och vilka undersökningsmetoder som används. Kvalitet kan vara ett svårfångat begrepp om det gäller annat än att enbart beskriva någonting i form av dess egenskaper. Även en sådan beskrivning kan vara svår att göra då utgångs- punkterna för vad som betraktas, i vilket syfte, med vilka metoder och gentemot vilka kriterier den slutliga bedömningen görs inte alltid är klara och möjliga att operationalisera. Utrymmet för intuitiva bedömningar kan då bli stort och likvärdigheten i kvalitetsbedömningarna begränsade. Detta kan vara del av förklaringar till att såväl som enligt utredningens bedömning stannar vid att i huvudsak kontrollera och bedöma att vissa förutsättningar som antas vara grundläggande för att en god kvalitet finns. Detta i stället för att ge sig in i en bedöm- ning av om kvaliteten på de processer som utmärker pågående undervisning och lärande är goda. I rapporterna från , kommunala utvärderingar och Ofsted görs bedömningar av processkvaliteter i undervisningen. Gemensamt för dem är att de ofta blir allmänna och svävande i sina formuleringar. Bedömningarna tycks ofta bygga på en föreställning om vad den goda undervisningen och lärandet är. Dessa föreställ- ningar har ofta sin grund i den enskilde inspektörens tolkningar av läroplaner och förordningar. I den engelska inspektionen verkar inspektörerna dock utgå från en mer normativ modell för hur god undervisning ska bedrivas. Ett antal av de rapporter utredningen tagit del av genomsyras av vad som av och i en artikel kallas ett resonerande eller didaktiskt ethos och håller sig i högre grad till processkvalitet än resultatkvalitet. Lagarbete och tema tas t.ex. som självklarheter i de kommunala inspektionsrapporterna. Enligt artikelförfattarna finns flera tecken på att Ofsted i sin tidigare inspektionsmodell i stället motverkade lagarbete, tematiska arbetssätt och en organisation som stödjer ett sådant arbete utifrån sitt mer objektivistiska ethos, där resultaten och den enskilde lärarens undervisning var den tydliga och självklara utgångs- punkten. Den kontrollfunktion som samtliga modeller innehåller brukar ofta ställas emot den inriktning på utveckling som modellerna beskriver. Från samtliga verksamheter beskrivs kontrollfunktionen som legitim. Det accepterade motivet är att granskningen syftar till att garantera att barn, elever och studerande erbjuds en verksamhet som uppfyller de nationella målen och att det ges likvärdiga möjligheter för deltagande. Såväl som gör i huvudsak sina bedömningar utifrån myndighetens tolkning av lagar och förord- ningar. Många av de data som samlas in och ligger till grund för besluten är i stor utsträckning relativt lätta att dokumentera och bedöma. Denna kontrollfunktion upplevs också enligt flera utvärderingar av verksamhetsansvariga som nödvändig och positiv. En sådan mer strikt kontrollfunktion finns inte i de kommunala granskningarna, även om man även här påtalar brister i förhållande till lagar och förordningar. De kommunala inspektionerna och inspektioner håller sig i högre grad till processkvalitet än resultatkvalitet. Exempelvis blir de kommunala rapporterna i relativt omfångsrika, men upplevs av intervjuade rektorerTPF40FPT som ett bättre underlag än rapporter för det fortsatta utvecklingsarbetet. 39TP PT Pedagogisk Forskning i årg 5 nr 3. Skolinspektion i och Hjälp till självhjälp eller självstyrning med betslet i munnen? 40TP PT Intervjuer med skolledare i . För den engelska inspektionen är det centralt att fastslå vilka prestationsmål skolorna når enligt nationella prov och examina och hur rimliga resultaten är jämfört dels med nationella resultat och dels med skolor vars elever kommer från liknande social bakgrund. De jämförelser som görs mellan skolor med likartad social bak- grund kan ses som ett svar på den kritik som riktas mot de enkla jämförelser som görs i enkla rankningslistor eller så kallade league tables. Dessa tabeller tar inte hänsyn till vilka förkunskaper och förutsättningar eleverna kommer till skolan med. Problemen känns igen i den svenska debatten där utvecklat ett analysredskap SALSATPF41FPT, som presenterar kommuners och skolors betygsresultat för elever i skolår nio när hänsyn tagits till elevernas kön, utländsk/svensk bakgrund och föräldrars utbild- ningsnivå. Utredningen har i genomgångna rapporter sett att detta material endast används i en begränsad omfattning. Enligt uppgifter från används SALSA som utgångspunkt för diskussion om en skolas unika förutsättningar och resultat. har uppgett att man centralt påtalar materialets statistiska begräns- ningar för inspektörerna och därför manar till försiktighet i tolk- ningarna utifrån materialet. De utvecklingsinriktade inslagen är starkast i de kommunala granskningarna, där dessa intentioner i mångt och mycket formar granskningsverksamheten. Tydligast blir detta i V-5 modellen där tyngdpunkten ligger på arbetslagens arbete. utvecklingsansatser består till största delen av att stärka verksam- heternas eget kvalitetsarbete genom att betona självvärderingarna som instrument. Den engelska inspektionen är tydlig. Den ger inte bara förslag på utvecklingsområden utan även på åtgärder som snarare är att betrakta som föreskrifter. utvecklingsfrämjande insatser är mest synliga i de förslag till förbättringsområden som presenteras i rapporterna. Där pekas på utvecklingsområden, men dessa följs inte upp på samma tydliga sätt och med samma krav som de bristområden man lyfter fram. Det tas dock upp i tvåårsuppföljningen. Det finns i utvärdering av pågående utveckling av inspektionsverksamhetenTPF42FPT resonemang om hur de möten och de dialoger som förs i samband med inspektionerna ger verksam- heterna impulser till utvecklings- och förändringsarbete. Kanske är det i dessa möten som det huvudsakliga arbetet med utvecklings- 41TP PT SALSA, Analysverktyg för Lokala SambandsAnalyser. 42TP PT (2007). I samma utvärdering talas också om att alltför korta platsbesök riskerar att inte ge inspektionen det förtroende och den legitimitet som är väsentliga för att samtalen vid besöken ska kunna fungera som en medvetandegörande process för personal och ledning. I flera holländska och engelska studierTPF43FPT som genomförts för att kartlägga inspektionens effekter så framträder också återföring eller feedback som ett viktigt inslag för att stödja verksamhetens fortsatta utvecklingsarbete. Samtliga modeller har också det tredje syftet, att ge information till brukare, allmänhet och till huvudmän med flera, som utgångspunkt. Det ses som en central del i ett utbildningssystem som i allt högre grad bygger på elevens valmöjligheter och där informationen inför valen bör vara en saklig och objektiv. Även om forskningen inte är helt entydig vad gäller föräldrars och elevers nyttjande av sådan information, är utredningens bedömning att likvärdighet och jämförbarhet i rapporteringen är en central uppgift. I samtliga modeller beskrivs vikten av att inspektörerna eller bedömarna har erfarenheter och kunskap inom området som granskas. Dessa expertkunskaper anses vara en form av garanti för att bedömargruppen ska ha legitimitet hos de granskade och att de bedömningar som görs bygger på en saklig grund. För att stärka giltigheten sägs också att platsbesökarna bör vara involverade i utvecklingen av dagordningen för platsbesöken samt i intervju- och observationsprotokollen. I självvärderingsmodeller av olika slag finns inslag där även den granskade verksamheten är med i formulerandet av tolkningsramen. En av skillnaderna mellan och sätt att arbeta rör sammansättningen av bedömargruppen och myndig- hetens egen roll. inspektörer utgörs av verkets egen personal, vilket också är fallet i exempelvis . kan ytterligare externa experter kallas in. Här är alltså myndighetens egen personal experter och gör själva bedömningen inom samtliga områden. De effekter detta kan ha beskrivs ibland som farhågorTPF44FPT 43TP PT Se exempelvis , Leeuw &Scheerens. On the Impact of the Dutch Educational Supervision Act. 44TP PT Se exempelvis Proportional supervision and school improvement from an international perspective. för att de granskade verksamheterna i hög grad anstränger sig för att svara upp mot de kontrollkrav som ställs och i lägre grad fortsätter att bearbeta egna formulerade utvecklingsområden. Skolor kan bli beroende av inspektionerna och ovilliga att själva avgöra vilken sorts förbättringsområden de behöver arbeta med.TPF45FPT Skolforskaren har i en artikelTPF46FPT behandlat frågan om hur balansen mellan kontroll och utvecklingsstöd i inspektionen kan hanteras. Där beskrivs hur mötet mellan de inspekterade och inspektörerna kan utgöra ett lärande samtal. Förutsättningen för detta är att mötet baseras på ömsesidighet och att de professionellas frågeställningar är utgångspunkten. egen personal fungerar som samordnare, bärare av utvärderingsmodellen och sekreterare i bedömargruppens arbete. Den egentliga bedömningen av utbildningen görs av ämnes- experter, kollegor inom samma ämnesområden men från andra lärosäten – ofta från ett annat skandinaviskt land. Detta medför enligt att bedömningarnas trovärdighet ökar och att myndighetens beslutande roll blir tydligare. Forskningen om platsbesökTPF47FPT betonar att besökarna måste ha legitimitet. Utgångspunkten inför valet av platsbesökare bör därför vara vilken typ av data som behövs för att nå ändamålet med besöket. Därefter väljs platsbesökare. Förberedelserna bygger i de flesta modeller på någon form av dokumentanalys. Här är dock skillnaderna stora vad gäller vilka dokument man väljer att samla in och i vilken utsträckning doku- menten påverkar uppläggningen av platsbesöken. Den stora skillnaden mellan modell och flera av de här presenterade modellerna är att de som ska granskas i de andra organisationernas modeller får genomföra någon form av självvärdering inför besöket. I den engelska modellen bygger självvärderingen på en egen skattning av hur väl man uppfyller målen. På cirka 20 sidor förväntas skolledningen ge en klar bild över hur man lyckas, 45TP PT MacBeth och McGlynn. Vad har skolan att vinna? 46TP PT . och undervisning. 47TP PT , B: Platsbesök som metod vid utvärdering av utbildning. Arbetsmaterial inför Svenska utvärderingsföreningens konferens . beskriva de bevis man anser sig ha för bedömningen samt visa vad man gör för att bygga på sina styrkor och hur man åtgärdar sina brister. Utifrån de data man förfogar över är det tänkt att man ska skriva en analyserande, men inte beskrivande självvärdering. Själv- värderingen utgör också utgångspunkten för inspektionen, där inspektörerna undersöker om bevis finns för de analyser som görs och de slutsatser som dras. Detta liknar till stor del Högskole- verkets självvärderingar. I en jämförande studie som gjorts i , , , , , (delrepublikerna och ) och SkottlandTPF48FPT, framkommer resultat som tyder på att självvärderingarna i stor utsträckning är beskrivande snarare än analyserande. Samma erfarenheter har gjort vad gäller kvalitetsredovisningar och samma bedömning görs för Högskole- verkets del vad gäller självvärderingar.TPF49FPT För övrigt är utvärderingarna tydliga i bedömningen att flertalet granskade verk- samheter upplever processen i framtagandet av självvärderingen som en viktig del i det egna kvalitetssäkringsarbetet. För del visar inte de intervjuerTPF50FPT och annat underlag som utredningen tagit del av att förberedelserna i någon större utsträckning påverkat inspektionernas genomförande. Ofsted i och använder däremot självvärderingarna i större utsträckning som underlag för den datainsamling som sker vid platsbesöken. Vid besöken granskar man om det finns underlag som styrker sakligheten i de bedömningarna skolan gjort eller, med andra ord, om evidens eller bevis finns för påståendena. En ytterlighet i detta sammanhang är som prövar att utifrån självvärderingar avgöra om verksamheten är i behov av inspektion, om det räcker med en enklare granskning eller om man kan skjuta inspektionen på framtiden.TPF51FPT 48TP PT Proportional supervision and school improvement from an international perspective. A study into the (side) effects of utilizing school selfevaluation for inspection purposes in Europe. Afdeling Comunicattie van het onderwijs. http://wwwHTU .onderwijsinspectie.nlUTH Några reflektioner kring . 50TP PT Intervjuer med inspektörer i . 51TP PT Inspectie van het Onderwijs. 2005–29. Supervisory Framework for Primary Education. En av styrkorna med platsbesöken är tanken att de kan genomföras på – de blir billiga och information om verksamheten kan fås snabbt. Den begränsade tiden för platsbesök kan vara en nackdel, då bedömargruppen kanske inte har möjlighet att se eller förstå komplexiteten på den korta tid som finns tillgänglig. En annan aspekt är att det bara är det material, de människor och de aktiviteter som finns tillgängliga vid platsbesöket som ger möjligt underlag för bedömning. Den korta tiden medger också att den granskade verksamheten försöker att visa upp en alltför positiv sida genom så kallad window dressing.TPF52FPT En stor skillnad mellan och är att bygger hela sin bedömning på självvärdering och intervjuer och ibland genomgång av studerandearbeten, tentamina och rättningsmallar för att bedöma kvaliteten i verksamheten. Förutom så genomför samtliga andra organisa- tioners inspektörer eller bedömare inte endast intervjuer utan observerar också hur man arbetar vid lektionsbesök eller i andra aktiviteter bland barn, elever eller studerande och allmänt i skolmiljön. Det är oklart enligt vilka metoder observationer i klassrummen görs och utifrån vilka kriterier bedömningarna sker. Både inspektörer som genomför lektions- och undervisnings- observationer och de som bedöms, beskriver att lektionsbesöken i stor utsträckning görs för att ge legitimitet åt inspektionen. Det är dock tveksamt om dagens lektionsbesök av inspektörer närmar sig kärnverksamheten och därmed ger tillräckligt underlag för att bedöma kvaliteten i undervisningsprocessen och i vilken grad den leder till god måluppfyllelse. Kvalitetssäkring av utvärderings-/inspektionsverksamhet Den ovan gjorda presentationen av de olika modellerna beskriver till vissa delar hur de olika utvärderarna, bedömarna eller inspektörerna strävar efter att kvalitetssäkra sin modell, sina arbetsmetoder och sin rapportering. Att utveckla metoderna för kvalitetssäkring är en central uppgift för samtliga kvalitets- 52TP PT Effects and side effects of inspections and accountability in education: an overview of empirical studies. 33, No. 3, 2007. Det gäller både intern kvalitetssäkring av det egna arbetet och de egna processerna och kvalitetssäkring med hjälp av externa utvärderare. De skillnader som finns mellan exempelvis och samt Ofsteds inspek- tion handlar till stor del om hur detta arbete görs till en integrerad del av verksamheten eller något man genomför mer spontant eller tillfälligt. Det finns ett behov av att tydliggöra hur den egna kvalitetssäkringen ska se ut i den fortsatta skolinspektionen. Den bör inte bara förbättra verksamhetens genomförande, utan även bidra till en utveckling av inspektionen. I tabell 1 sammanfattas översiktligt likheter och olikheter mellan de redovisade granskningsmodellerna. SOU 2007:101 Dagens utbildningsinspektion m.m. Översikt av olika inspektionsmodeller – Infor/kunskap 2–5 insp 2–5 insp en vecka 2–3 normer och värden, normer och värden, –lärare, kompetens –Fou och utvärde- Utredningens genomgång av utbildningsinspektionen bygger främst på läsning av inspektionsrapporter, intervjuer med bl.a. inspektörer och rektorer för skolor som granskats. utgör rapportering till regeringen – främst årsredovis- ningen , treårsrapportenTPF53FPT och med anledning av regeringsuppdragTPF54FPT om pågående utvecklingsarbete – underlag för utredningens bedömningar. Därutöver har Ekonomi- styrningsverkets utvärderingsrapportTPF55FPT använts som grund för utredningens bedömningar. Den generella bilden av inspektion är att skolorna är nöjda med att bli inspekterade. Både inspektörer och rektorer beskriver de personliga mötena som den enskilt viktigaste faktorn. Inspektörerna uppges ha sett mycket och fångat in skolans styrkor och svagheter. Deras förhållningssätt har överlag bedömts som positivt. Att bli sedd och att få möjlighet till fördjupade diskussioner med inspektörer, som har både erfarenheter och kunskaper inom fältet, upplevs som utvecklande. Man känner igen sig i rapporterna och även om man uppger att de inte alltid tillför ny kunskap, upplevs de av skolledningarna som stöd för att driva det fortsatta utvecklingsarbetet. Det man inspekterar upplevs som centrala områden Det finns dock diskrepanser mellan vad inspektörerna säger i mötena på skolan och vad som kommer fram i rapporterna. I de senare påtalas ofta detaljbrister av tillsynskaraktär som de inspekterade inte har uppfattat som betydelsefulla vid platsbesöket. granskningsområden är i stort sett samma områden som fanns inom ramen för tillsyn . Den stora skillnaden är att 1 000 skolor inspekteras . Detta innebär att hundratalet inspektörer granskar regelefterlevnaden och påtalar brister. En sådan genom- gående granskning av skolan har inte skett i modern tid.