sou · GVB3101 · 2008-01-01 00:00:00 — Dessa senior- inspektörer bör inbördes vara sampratade och ha utvecklat former för förankring av sina bedömningskriterier hos lärarprofessionen. I utredningens uppdrag ligger bland annat att pröva hur utbild- ningsinspektionen skulle kunna bedöma de nationella provens användning i betygssättningen (Se vidare kapitel 5). Det kan t.ex. göras genom att ha en funktion inom inspektionsmyndigheten för att bedöma ett urval av genomförda nationella prov och jämföra denna bedömning med betygssättningen i motsvarande ämnen. Om en sådan funktion skapas kan den därmed bli en del i myndighetens granskning av undervisningens ändamålsenlighet. Sammanfattningsvis bedömer utredningen följande metodval som naturliga för att inhämta underlag om undervisningens kvalitet och ändamålsenlighet: förberedelsematerial i form av rektorers och lärares själv- värdering, intervjuer eller samtal med främst lärare och elever, 16TP PT 2000:15 AR: Att utvärdera kvalitet i högre utbildning. Internationella jämförelser av system för kvalitetsgranskning. intervjuer med externa intressenter, t.ex. avnämare för gymnasieskolans yrkesutbildningar, granskning av lärares planering, val av undervisnings- och ämnesmaterial, självvärderingar etc., granskning av elevarbeten och prov och hur lärarna bedömt dessa, enkäter eller liknande. Det är en principiellt viktig fråga att ta ställning till om och hur en utbildningsinspektion ska granska undervisningens ändamålsenlig- het i klassrummet. Utredningen har diskuterat hur en sådan för- djupad granskning skulle kunna utvecklas med bl.a. den till utred- ningen knutna expertgruppen, men även med forskare. Det är inte möjligt att inom ramen för utredningens korta tid för att genom- föra uppdraget att närmare ge konkreta förslag. Därför bedömer utredningen att inspektionsmyndighetenTPF17FPT bör få i uppdrag att utreda hur en fördjupad granskning av lärares undervisning bör genomföras. Utredningens bedömning är att det av resursskäl inte kan vara möjligt att genomföra en närmare granskning av undervisning inom ramen för alla skolinspektioner. Om utbildningsinspektionen ska genomföra fördjupade granskningar av undervisningen bör det prioriteras till de situationer som är särskilt angelägna. Det kan t.ex. vara när utbildningsinspektionen har fått tydliga indikationer på att det kan finnas allvarliga brister i undervisningen på en skolenhet. 17TP PT alternativ en annan myndighet med anledning av förslag i betänkandet Tre nya skolmyndigheter (SOU 2007:79). Utredningens utgångspunkter är de styrkor och svagheter i inspek- tionsprocessen som finns i dagens verksamhet på . Dessutom har utredningen bedömt erfarenheter från andra inspek- tionsverksamheter, främst utvärderingsverksamhet och den engelska inspektionsorganisationen . Utredningen föreslår en tydligare lokal anpassning av inspek- tionen. Den föreslår även att samtliga steg i inspektionen ska granskas utifrån huvudområdena förutsättningar, verksamhetens genomförande och resultat. I detta avsnitt diskuteras förslag till inriktning och genomförande av inspektionsprocessens tre delar förarbete, platsbesök och rapportering. Inriktningen och formen för förslagen baseras på de i kapitel tre beskrivna principerna för inspektionen. Dessa innebär en tydlig inriktning på granskad nivå, kunskapsuppdraget i centrum, en tydligare åtskillnad mellan tillsyn och kvalitetsgranskning samt tydlighet i bedömningarna som ska genomföras med goda granskningsmetoder. 4.2En anpassad och effektiv granskning Utredningens förslag: Inspektionsverksamheten ska bli mer anpassad efter lokala förhållanden och förutsättningar. För detta krävs ett förbättrat underlag. bör bl.a. använda sig av självvärderingar från skolhuvudmän och rektorer. Utredningens bedömning: En självvärdering kan innehålla två delar. Den ena kan vara en deklaration av regelefterlevnaden. andra kan innehålla bedömningar av verksamhetens/skolans arbete med och resultat av kunskapsuppdraget. bör få i uppdrag att utveckla former för användning av själv- värdering. bör få i uppdrag att förbättra det statistiska underlaget för inspektionens förberedande analyser. bör dessutom ges i uppdrag att utreda möjligheten att via webb-baserade enkäter samla in data om verk- samheters olika kvaliteter. Skälen för utredningens förslag och bedömning: Enligt direktiven ska utredaren bland annat ta ställning till vilken typ av underlag om förhållanden hos huvudmannen och dennes skolor och verksamheter som inspektionen behöver ha tillgång till för att kunna förbereda inspektionsbesöken. Skriftlig information från huvudman och skola Utredningen har i tidigare avsnitt konstaterat att uppgiftsinsam- lingen inför ett inspektionsbesök sker på ett varierande sätt. Ett i stort sett likalydande brev skickas ut till huvudmännen med begäran om underlag. Det finns dock skillnader i vilka dokument som samlas in och på vilket sätt dokumenten påverkar upplägg- ningen av besöken. Av det utgående brevet framgår även att Skol- verket använder sig av annan information som hämtats från den nationella statistiken och från kommunen hemsida. Den ansvarige inspektören och det enskilda inspektörsteamet avgör hur materialet används. Vissa inspektörsteam använder sig dessutom av en enkel blankett för verksamhetsbeskrivning och självvärdering som fylls i av berörd skola. Det skriftliga materialet från skolhuvudmannen omfattar dels material på huvudmannanivå, dels material från skolorna. Det inne- håller t.ex. kommunens budget, huvudmannens och skolornas kvalitetsredovisningar, olika rutinbeskrivningar, olika exempel på dokument om skolors dagliga verksamhet som individuella utvecklingsplaner och åtgärdsprogram m.m. De dokument som på något sätt ger en analys av huvudmannens eller skolans verksamhet är kvalitetsredovisningar och eventuellt andra former av uppfölj- ningar eller utvärdering av verksamheten som gjorts på olika nivåer. Kvalitetsredovisningarnas brister utgör en begränsning av inspek- tionens möjligheter att förbereda och lokalt anpassa en inspektion. har i flera rapporter konstaterat att kvalitetsredovis- ningarna inte fungerar som det är tänkt. analyser av utbildningsinspektioner visar att grund- och gymnasieskolors egna arbete med att granska och förbättra sin verksamhet brister i systematik. Arbetet följer inte en mål- och resultatstyrningskedja genom att sätta upp mål, genomföra verksam- heten, utvärdera den och utveckla den och sätta upp nya mål med stöd i det utvärderingsarbete som man genomfört. Vidare visar analys att av rektorsområdena i och av gymnasieskolorna inte tillämpar Allmänna råd om kvalitetsredovisning inom skolväsendet. Antingen så saknas kvalitetsredovisning eller så utformas inte befintlig kvalitets- redovisning enligt grundläggande krav på att redovisa måluppfyllelsen och vilka åtgärder som planeras för att utveckla verksamheten under det kommande året.TPF1FPT Huvudmän och skolor gör sällan den kritiska analys och bedöm- ning av den egna verksamheten som krävs för att få tillräckligt underlag för att bedöma resultat av och utvecklingsbehov i verk- samheten. Även inom , Ofsted och den holländska inspektionen som använder sig av olika former av självvärderingar finns svårigheter att få verksamheten att gå ifrån rent beskrivande texter till mer analyserande.TPF2FPT , när inspektionen byggts ut och alla huvudmän och skolor har inspekterats åtminstone en gång, kommer tidigare inspektionsrapporter att kunna utgöra ytterligare en källa till information för inspektörerna. Utredningen bedömer det som osäkert om dagens rapporter analyserar skolornas kvalitet på ett sådant sätt att de är användbara som beslutsunderlag för en kommande inspektion utan att kompletteras med annan information. 1TP PT Myndigheten för skolutveckling. (2005) Nationell skolutveckling – att prioritera och fokusera. 2TP PT Proportional supervision and school improvement from an international perspective. A study into the (side) effects of utilizing school selfevaluation for inspection purposes in Europe. Afdeling Comunicattie van het onderwijs. Den nationella statistiken som ansvarar för bedöms vara ett viktigt underlag för inspektionen. I syfte att samla relevant statistik har inspektionen tagit fram s.k. skolblad, som är ett internt material. Skolbladen byggs i huvudsak upp av data som redan finns i Internetbaserade resultat- och kvalitetsinformationssystem (). Den sammanställda statistiken begränsas till rådata utan analyser av intressanta och ändamålsenliga samband mellan ingående data. Materialet saknar analyser eller indikatorer som kan ge signaler om angelägna utred- ningsområden. Ett utvecklingsarbete inom syftar till att komplettera skolbladen med information om elevbakgrund, föräldrars utbildningsnivå och utländsk bakgrund. Utredningen bedömer att skolbladen kan utvecklas betydligt och har t.ex. konstaterat att såväl SALSA-resultat som andra statistiska sambandsanalyser saknas i dagens skolblad. I skolbladen för finns information från skol- registret, lärarutbildning och lärartäthet uppdelat på lärare med och utan pedagogisk utbildning. För årskurs nio finns slutbetyg uppdelat på ämnen och kön, behöriga till gymnasieskolan, andel godkända i alla ämnen, meritvärde och resultat från nationella prov. Dessa data finns kopplade till personnummer. Dessutom finns uppgifter om utländsk bakgrund, könsfördelning för elever nio och språkval i form av gruppstatistik för årskurserna 6–9. För skolor som endast har de tidigare skolåren (F-5 eller F-6) har skolbladen av naturliga skäl ett mera begränsat innehåll. Uppgifter om betyg, språkval och ämnesprov saknas. Även om de nationella proven i årskurs 5 används av nästan alla skolor är de frivilliga. Resultat på skolnivå samlas bara in från ett urval skolor. Underlagets begränsningar innebär att inspektionen inte kan bedöma resultaten från dessa skolor, som tillsammans är cirka 3 500 stycken. Även skolbladen för gymnasieskolor innehåller information från skolregistret. De innehåller statistik över lärare inklusive könsför- delning tillbaka i tiden. De innehåller också elevantal per årskurs, program och kön. Betygsstatistiken kommer i huvudsak från Verket för Högskoleservice (VHS) och redovisas som slutbetyg, andelen godkända på samtliga kurser, betyg , genomsnittligt meritvärde, utökad och mindre studiekurs samt genomströmningen . I saknas elever som går på det individuella programmets introduktionskurser för invandrare, vilket skapar en del oklarheter i statistiken från de olika systemen. Skolbladen innehåller även upp- gifter om behörighet till högskolan. Eftersom de undersökningar som görs bygger på slutbetyg dröjer det om man vill följa upp en särskild elevgrupp 9. Betygsresultat samlas in på individnivå i gymnasieskolan. Resultat från de nationella proven samlas dock inte in för samtliga elever. Detta medför att man på skolnivå egentligen inte kan bedöma om proven på något sätt påverkat lärarens bedömningsgrunder eller om de har haft någon styrande effekt på betygssättningen. För vuxenutbildningen finns f.n. inga skolblad. Ett annat underlag som utbildningsinspektionen kan utnyttja är beslut i enskilda ärenden. Ärendena baseras på anmäl- ningar om missförhållanden på enskilda skolor. När efter en utredning konstaterat att skolan inte uppfyllt kraven i bestämmelserna fattar myndigheten beslut och riktar kritik mot huvudmannen. Besluten om enskilda ärenden kan ibland ha en vidare betydelse i och med att de kan röra ett förhållande som inte prövats. Besluten blir därigenom vägledande. En systematisk granskning av dessa beslut kan medföra behov av ändring av gransknings- områdena. Utveckling av det statistiska underlaget Utredningen konstaterar att det nationella statistiksystemet kan ge avsevärt mycket mer information om skolans elever än vad som finns i skolbladen. Enligt uppgifter från SkolverketTPF3FPT används endast en liten del av den tillgängliga datamängden till analyser. görs inte heller några analyser av det statistiska underlag som redovisas i skolbladen som utbildningsinspektionen använder. Materialet används på ett osystematiskt sätt, dvs. det är upp till berörda inspektörer att avgöra hur statistikunderlaget ska användas. 3TP PT Enligt intervju med tjänstemän på enhet som ansvarar för den nationella statistiken. Det innebär också att det inte görs några samlade analyser av uppgifter i det tillgängliga materialet. Enligt utredningens bedömning bör utbildningsinspektionen vidta utvecklingsinsatser i syfte att få ut mer analyser och mer indikerande information av det statistiska materialet. Det bör enligt utredningens mening prövas om det finns andra statistiska resultat som kan bidra till förbättrade möjligheter att t.ex. analysera elevens kunskapsutveckling. SALSA-material, analyser av lärar- tillgång, lärares kompetens är exempel på underlag som kan utnyttjas som utgångspunkt för ett utvecklingsarbete. Det finns exempel på att andra aktörer kan ta fram intressanta analyser som ger ny kunskap om skolsystemet. Som exempel har (), som genom att använda sig av samma statistiska underlag som har tillgång till, undersökt om lärarens kön påverkat betygssättningen utifrån elevens kön och etniska bakgrund.TPF4FPT Betänkandet Tydligare mål och kunskapskrav för (SOU 2007:28) föreslår att nationella prov ska ges i årskurserna 3, 6 och 9 i . Nationella provet i årskurs 3 föreslås omfatta matematik och svenska. Om förslagen blir verklighet får huvudmän och skolor ökade möjligheter att bedöma elevernas tidiga kunskapsutveckling. De ges också förutsättningar att följa kunskapsutvecklingen på alla nivåer. På nationell nivå finns det mycket att vinna på att införa en individbaserad insamling av uppgifter om eleverna i . Analyser av en individbaserad statistik över resultat i nationella ämnesprov i årskurserna 3, 6 och 9 kan t.ex. bidra till såväl ett förstärkt lokalt kvalitetsarbete som bedömning av likvärdigheten i ett nationellt perspektiv. Det ges även bättre möjligheter för en utbildningsinspektion att bedöma skolors bidrag till elevers kunskapsutveckling. Det finns enligt bedömning goda skäl att överväga att för centralt samla in uppgifter om provresultat på individnivå. För gymnasieskolan samlas all information om elever och resultat in på individnivå. Insamlingen på individnivå ger möjlig- heter till nationella och regionala/lokala analyser av elevströmmar inom och mellan program och skolor, liksom skillnader i resultat mellan studievägar, grupper av elever liksom mellan olika skolor 4TP PT Systematiska avvikelser mellan slutbetyg och provresultat – spelar elevens kön och etniska bakgrund roll? (2007:22) och Spelar lika kön och etnisk bakgrund på lärare och elever roll för provresultat och slutbetyg? (2007:23). Denna information är ett väsentligt underlag för de diskussioner som förs om likvärdigheten i gymnasieskolans utbild- ning och hur den kan förbättras. En väl planerad skolinspektion måste bygga på ett robust och relevant underlag. Det är därför nödvändigt att på nationell nivå få så mycket kunskap om den enskilda skolan som det går. Om det även finns en individbaserad resultatstatistik för flera årskurser i ökar det möjligheterna för utbildnings- inspektionen att bedöma hur omfattande inspektionsbesöket ska vara på en viss skola eller med vilken frekvens den ska inspekteras. Ett exempel på utvecklingsarbete inom detta område är den holländska inspektionens strävan att planera sina inspektioner utifrån en risk- och väsentlighetsbedömning.TPF5FPT Här pågår ett arbete att utifrån forskning om effektiva skolor och inspektörers expert- kunskap utveckla ett indikatorsystem för att med underlag av inspektionsrapporter och insamlade data välja ut skolor som bedöms vara i behov av tätare eller fördjupad inspektion. Utredningen gör sammantaget bedömningen att det statistiska underlaget för utbildningsinspektionen måste utvecklas och kompletteras med mer kvalificerade statistiska analyser. Den myndighet som kommer att ansvara för utbildningsinspektionen bör få i uppdrag av regeringen att utveckla användningen av den nationella statistiken. Syftet bör vara att skapa ett effektivt analys- verktyg för utbildningsinspektionens ställningstaganden i planeringen av inspektionsprogrammet. Begreppet självvärdering i utvärderingslitteraturen betecknar oftast en metod för utvärdering där enskilda lärare, eller en hel verksamhet, gör en värdering och en bedömning av genomfört arbete utan externt inblandade personer. Inom SICITPF6FPT har man beslutat sig för att använda följande definition: Self-evaluation is a process undertaken by the school, in which staff systematically and analyse evidence, including feedback from a range of stakeholders, and use it to assess and evaluate aspects of the schools performance against agreed standards. 5TP PT , I.F. en , F.J.G. (2004) Schools at risk: the use of risk analysis in school inspections. Paper presented in the International Conference on School-Effectiveness and – Improvement. 6TP of Inspectorates. produce outcomes which help the school to target its planning or initiatives for school improvement effectively.TPF7FPT En självvärdering som den som används inom , Ofsted och den holländska inspektionen m.fl. kan fungera som förebild för hur information ska hämtas in före en inspektion. Huvudman och rektor kan, i en självvärdering, besvara ett antal frågor där såväl inspektionsområdenas tillsynskaraktär som deras kvalitetskaraktär belyses. Självvärderingen kan användas för att förbättra det underlag som inspektörerna använder för att bedöma på vilken kvalitativ nivå en skola befinner sig. Även svenska lärarorganisationer ställer sig positiva till en inspektion som bl.a. bygger på skolans egen självvärdering. I skriften Vi värderar kvalitet återges bl.a. erfarenheter från inspektioner i och . Där dras slutsatsen att det som externa utvärderare/inspektörer främst bör utvärdera är skolornas egna beskrivningar av problem, deras redovisningar av lyckade processer och goda resultat och utvecklingsplaner. Lärarorganisa- tionerna hävdar i skriften att enbart yttre utvärdering inte leder till långsiktig och hållbar utveckling i skolan. En sådan utveckling måste grundas på en inre drivkraft hos lärare och elever och den uppnås bara om de insatser som görs svarar mot de utmaningar och problem som lärarna och eleverna möter . Vilka dessa är kan bara formuleras av lärare och elever själva på varje enskild skola.TPF8FPT En självvärdering bedöms kunna stimulera en skola att förbättra sitt system för uppföljning och utvärdering. Erfarenheter från bland annat Ofsted i och visar att de inblandade som tar fram självvärderingen anser att det är en nyttig, men första gången tidskrävande, process. Kommuner och skolor kan utnyttja sin egen uppföljning och utvärdering för att förse inspektionen med ett underlag de själva arbetat fram. En självvärdering löper alltid en risk att ge en alltför positiv bild av en skola. Självvärderingens trovärdighet måste vara hög. Krav bör ställas på en självvärdering att den ska vara evidensbaserad, dvs. den som är ansvarig för att upprätta dokumentet måste också kunna visa att de förhållanden den beskriver är riktiga. Utred- ningen föreslår därför att självvärderingen görs offentlig så att alla 7TP PT SICI Rapport från project. 8TP /(2005) Vi värderar kvalitet– om självvärdering och lärares utvecklingsarbete. intressenter kan läsa och bedöma dess kvalitet utifrån sin känne- dom om skolan och sina erfarenheter. I vilken form den ska offentliggöras bör utredas vidare. Det faktum att den skickas in till inspektionsmyndigheten medför att den blir en allmän handling. Självvärderingen har i någon mån samma syfte som en skolas kvalitetsredovisning på det sättet att den kan användas såväl internt som externt. Enligt direktiven ska utredningens förslag lämnas med beaktande av att kraven på upprättande av kvalitetsredovisningar enligt förordningen (1997:702) om kvalitetsredovisning inom skol- väsendet m.m. kan komma att förändras. Vare sig kraven på kvalitetsredovisning förändras eller inte är det utredningens bedömning att alla verksamheter har behov av ett kvalitetsarbete där de egna resultaten analyseras och lämpliga åtgärder sätts in för förbättringar. En självvärdering bör utgå från enkel process och vara en del av skolans kvalitetsarbete och ett verktyg för skolledningen samt utgöra en integrerad del i det dagliga arbetet. Den ska inte byggas upp enbart för att tillfredsställa inspektionen. Avsikten är att en självvärdering ska vara ett diagnosinstrument där de som arbetar i verksamheten uppmanas att styrka alla slutsatser med bevis (evidens). Utvärderingar inom den engelska inspektionsorganisa- tionen Ofsted tyder på att likvärdigheten i inspektörernas bedöm- ning och skolornas självvärdering ökar ju själv- värderingen använts som instrument. I en självvärdering ska rektor t.ex. inom området kvalitetsarbete kunna ge svar på frågorna: Hur följer vi upp verksamheten? Med vilka redskap och med vilken regelbundenhet? Vilka resultat når vi? Hur bedömer vi resultaten? Hur har målen i läroplanen, programmålen och kursplanerna förverkligats enligt redovisade resultat? Vad har vi lyckats med? Vad har vi inte lyckats med? Vilka bevis (evidens) stöder vår bedömning av resultaten? Vilka åtgärder har vi vidtagit för att förbättra resultaten och vad har de lett till för resultat? har i sin försöksverksamhet med utveckling av inspek- tionsmodellen i vissa fall använt sig av en enklare självvärdering för att hämta in underlag som ett komplement till statistikinsamlingen och annat underlag. Det finns olika självvärderingsinstrument på många skolor. Det finns t.ex. skolor som har enkla system eller processer som gör det möjligt att från dag till dag mäta skolans resultat och framsteg på olika områden. Inom Myndigheten för skolutveckling är BRUKTPF9FPT ett exempel på ett framtaget material som kan användas som grund för en skolas självvärdering. Andra exempel är- Hur bra är din skola? som är ett material som byggts upp utifrån den skotska inspektionenTPF10FPT och SkolindicatorTPF11FPT som är ett enkät- och analysredskap för skolor att kartlägga styrkor, svagheter och utvecklingsområden. I en modell som forskaren företräder ställs skolans pedagogiska – sociala klimat (PESOK )TPF12FPT i relation till måluppfyllelse med stöd av webb-enkäter där personalen beskriver sin syn på klimatet. Utredningen bedömer att den framtida inspektionsmyndigheten bör begära in en självvärdering från såväl skolhuvudmän som rektorer. En sådan bedöms kunna utgöra ett viktigt underlag för utbildningsinspektionens planering och genomförande av inspek- tionsprogrammet. Utformningen av självvärderingen och frågor som bör besvaras, behöver tas fram av inspektionsmyndigheten. Myndigheten bör därför få i uppdrag att utveckla, utpröva och genomföra en tillämpning av självvärdering. I särskilda fall kan det finnas skäl att hämta in ytterligare informa- tion från lärare, föräldrar eller elever. Det kan t.ex. gälla när skol- huvudmannen eller skolan saknar egna uppföljningar av sin verk- samhet. Något som förekommer inom ramen för utvärderingsarbete är att samla in studerandesynpunkter via webben. En liknande modell bör kunna tillämpas inom utbild- ningsinspektionen. Genom webbaserade enkäter kan inspektionen ytterligare utveckla och förfina sitt underlag. 9TP PT BRUK, Myndigheten för skolutvecklings nationella indikatorsystem för kvalitet i förskola och skola. 10TP PT /documents/publication/CMSchoolPack.pdf 12TP PT web.ped.su.se/PESOK/ förutsättningarna öka för att även skapa en bättre representativitet när det gäller elevers och föräldrars åsikter om förhållanden i skolan. Myndigheten bör få i uppdrag att överväga möjligheten av att via enkäter eller liknande samla in uppgifter om faktorer av betydelse för skolans resultat. Sådana enkäter kan exempelvis bygga på forskning om effektiva eller framgångsrika skolor eller forskning med annan inriktning.