sou · GVB3101 · 2008-01-01 00:00:00 — Engelska inspektörer är i och för sig mer beroende av olika manualer och Standard Opera- tion Procedures (så kallade SOP) i genomförandet av inspektionen. Det kräver mer utbildning i att hantera dessa inspektionsmanualer m.m. Ofsted har en checklista som anger vilka olika former av kompetenser man anser alla som anställs som skolinspektör bör ha samt vilka erfarenheter man behöver beroende på vilken skolform som ska granskas. Utbildningen till inspektör omfattar varav genomförs som självstudier på Internet. är praktiktjänstgöring under ledarskap av en . Övriga är mer traditionella utbildningsdagar. Utredningen bedömer det som centralt att man inom inspek- tionsmyndigheten bygger upp ett system för både grundutbildning och kompetensutveckling. Utöver baskunskaper är det utredningens bedömning att det behövs utbildning som leder till kunskaper om, och insikter i, utredningsteknik och hur den baseras på vetenskapliga metoder och beprövad erfarenhet. I utbildningen bör också ingå metoder för analys av data samt metoder för intervjuer och annan form av insamling av underlag. Övriga frågor för en utbildningsinspektion Utredningen anser också att en förbättrad systematisering av möten mellan enheter och inspektörer inom myndigheten bör bygga på ett kvalitetssäkringsperspektiv. Att dra nytta av varandras erfarenheter och kunskaper under strukturerade förhållanden är nödvändigt för att stämma av bedömningar för olika situationer. Att exempelvis använda gemensamma fallbeskrivningar eller så kallade cases är ett sätt att stämma av bedömningar och utsagor med kollegor. bör på olika sätt sträva efter den lärande organisationens kännetecken. En organisation som inte bara lär av egna erfarenheter utan också tar till sig, utvecklar och förmedlar kunskaper inom organisationen för att i grunden ifråga- sätta och utveckla pågående arbete. Det finns enligt utredningens bedömning också skäl för att se över behovet av olika kompetenser inom myndigheten. I betänkandet Tre nya skolmyndigheterTPF1FPT sägs bl.a. att myndigheten bör ha en bred expertkompetens på skolområdet. Den bör också ha kvalificerad utvärderingskompetens och hög, gedigen analytisk kompetens. Den juridiska kompetensen är väsentlig, eftersom den behövs för analys och tillämpning av gällande lagstiftning. Utbild- ningsinspektionsutredningen instämmer i denna bedömning, men vill även betona värdet av erfarenheter inom skolområdet på olika nivåer och verksamheter. Utredningen ger senare i detta kapitel förslag till styrning av inspektionsmyndigheten. I samband med detta anser utredningen att regeringen i regleringsbrev till inspektionsmyndigheten bör ange återrapporteringskrav om utbildning av inspektörer. 5.2.2Förberedelser inför en inspektion Insamlande av underlag och data är den första fasen för att göra en förberedande bedömning av den verksamhet som ska inspekteras. Bedömningen bygger på analyser av såväl insamlat material som statistiska uppgifter. Att dessa analyser utförs med någon form av objektiva och mätbara utgångspunkter är centralt. Denna process ska kunna leda till att man både väljer ut särskilda inspektions- /fördjupningsområden och avgör vilken omfattning inspektionen ska ha. 1TP PT SOU 2007:79. Övriga frågor för en utbildningsinspektion Insamlat material är en blandning av statistiska uppgifter, skolans egen dokumentation och självvärdering. De bedömningar som görs utifrån materialet i sig bör kvalitetssäkras. Man bör också utveckla former för bedömning av hur materialet i sig fungerar för både verksamheterna och inspektionen. För att skapa likvärdighet redan i denna process bör man skapa kriterier och bedömningspunkter som är kända och som används av samtliga som genomför denna förberedande analys. En skolhuvud- mans eller skolas material bör inte kunna leda till olika tolkningar beroende på vem som gör analysen. Ett sätt att kvalitetssäkra denna process kan vara att de som arbetar med denna förberedande bedömning med viss regelbundenhet arbetar med samma material för att jämföra och stämma av sina bedömningar och sin användning av kriterierna. Oavsett om det är samma person eller flera som genomför dessa förberedande analyser är det viktigt att stämma av analysen med de faktiska iakttagelser som sedan görs av inspektionsteamen. Denna process bör enligt utredningens bedömning formaliseras och struktureras. Själva platsbesöket är en central del av inspektionen. Olika metoder och angreppssätt för själva platsbesöket bör utarbetas beroende på vad det är man inspekterar. Huvuddelen av platsbesöken handlar om att söka evidens för att de förhållanden som beskrivs i den insamlade dokumentationen har sin motsvarighet i verkligheten. Detta sker framförallt med hjälp av strukturerade eller semistruk- turerade intervjuer. Det ställer krav på både intervjuformulär, bedömningspunkter och bedömningskriterier. Det ställer även krav på inspektörernas intervju-, analys- och bedömningsteknik. Oavsett vilken inspektör som genomför en intervju med efterföljande analys och bedömning, bör denna inspektör komma till samma eller åtminstone likvärdiga resultat som en annan inspektör. Kvalitetssäkring av platsbesöket kan antingen ske internt genom att inspektörer med viss regelbundenhet skuggar varandra och jämför sina arbetsmetoder och resultatbedömningar. Det kan också ske med stöd av externa bedömare som gör någon form av fallstudie. Övriga frågor för en utbildningsinspektion I platsbesöken ingår även observationer i klassrum, undervis- ning och andra situationer. Dessa är sannolikt de svåraste att kvalitetssäkra utifrån såväl metod och innehåll som form. Syfte, metod och bedömningsgrunder måste vara klart uttalade. Uppföljande enkäter till skolpersonal, både intervjuad och annan, för att ta del av deras erfarenheter efter genomförd inspektion kan vara ett instrument för att undersöka verksamheten. Att bedöma metodernas hållbarhet och motståndskraft mot personliga tyckanden med stöd av enkäter är problematiskt. Av denna anledning bör utbildningsinspektionen utveckla system och metoder för att bedöma metodernas validitet och reliabilitet, både vad gäller inspektionsprocess och resultatbedömning. Ett alternativ som utredningen diskuterat är att de bedömningar som inspektörer gör av den pedagogiska verksamheten blir fristående och mer likt bedömargrupper. Med den utgångspunkten är bedömningarna inget som myndigheten står för, utan de kan ses som bedömningar som inspektören gör utifrån sin egen erfarenhet och kompetens. De kan t.ex. vara knutna till olika teorier om lärande, utveckling, organisation eller liknande. En sådan mer teoriinriktad ansats kräver att inspektören redogör för sin tolkningsram och de teorier som ligger till grund för dennes bedömning. Detta kan bidra till att skapa ett större utrymme för inspektionen att fungera som ett underlag för mer utvecklings- inriktade samtal. I samtalen kan inspektörer å ena sidan och rektor och lärare å den andra värdera och granska varandras argument mer öppet. En kvalitetssäkring eller uppföljning av denna mer fria del av inspektionen görs troligtvis bäst genom att rektor och lärare på den inspekterade skolan intervjuas i någon form. Exempelvis skulle enkätfrågor till dessa ge en god återkoppling till såväl utbildnings- inspektion som den enskilde inspektören. Uppföljningen kan också ge verksamheten som helhet kunskaper om vilka inriktningar och angreppssätt som bäst stödjer en kvalitetsutveckling. Hela platsbesöket bör följas upp både i direkt anslutning till inspektionen och efter det att inspektionen är slutförd och rapporterad. De inspekterade bör på ett tydligt sätt ges utrymme för att reflektera över och bedöma den genomförda inspektionen. Detta kan genomföras av myndigheten i form av t.ex. enkäter eller i enlighet med utredningens förslag i anslutning till återkopplingen av rapporten. Uppföljning kan även genomföras av externa utvärderare. Övriga frågor för en utbildningsinspektion Den skriftliga rapporten är det resultat som är det mest bestående efter en inspektion. Rapporten måste också kvalitetssäkras. Det gäller såväl juridisk saklighet som bedömningarnas giltighet och deras likvärdighet. Redan nu kvalitetssäkrar rapporterna internt, men det är mer inriktat på tillsyn och lagefterlevnad. Utredningen bedömer att granskningen av likvärdighet i bedömningar av mer kvalitetsinriktat slag behöver utvecklas. Det måste säkerställas att rapporterna berör det som faktiskt ska granskas och att bedömningarna görs utifrån fastställda kriterier. Det är viktigt att bedömningarna görs på ett likvärdigt sätt av olika inspektörer. Det är av lika stor betydelse att bedömningar mellan olika inspektionsenheter är likvärdiga och rättssäkra. Det är myndighetens ansvar att systematiskt och regelbundet utveckla formerna för att säkra likvärdighet i bedömningar. Utredningens bedömning, efter att ha läst ett stort antal skol- rapporter, är att det saknas såväl en intern som en extern gransk- ning av dessa i syfte att belysa deras olikheter och kvalitetsbrister. Det är därför nödvändigt att inspektionsmyndigheten utvecklar ett program för externa utvärderingar av rapporterna. Ovanstående tankegångar syftar i första hand till att garantera att inspektionen bedrivs på ett likvärdigt och rättsäkert sätt och att de bedömningar som görs bygger på en saklig grund. Den enda externa effektutvärdering som gjorts av inspektion är rapportTPF2FPT. Effekterna berör i huvudsak synen på inspektionen och dess bidrag till utvecklings- och förbätt- ringsarbete på de granskade skolorna. Det finns även vissa internationella studier av effekterna av skolinspektioner. Gemensamt för flertalet av dessa är att det har visat sig svårt att mäta effekter på resultatnivå i form av målupp- fyllelse inom kunskapsuppdraget. De studier som gjorts inom exempelvis Ofsted tyder på att det är svårt att finna direkta samband mellan inspektionen och specifika resultat. En av orsakerna till denna svårighet är att det behövs för att utbildningsinspektion - ger den några effekter? Övriga frågor för en utbildningsinspektion kunna fastställa effekter av inspektionen. Den senaste OfstedstudienTPF3FPT visar vissa tendenser på att väl avgränsade förslag till förbättringsområden inom specifika ämnen tenderar att leda till förbättrade elevprestationer. Att utveckla en metod för att finna sådana samband mellan inspektion och elevresultat måste med stor sannolikhet bygga på fler data på individnivå i form av nationella prov i olika ämnen och kurser. Det krävs också en inspektion som tydligare syftar till att inspektera enskilda lärare och deras undervisning, vilket nuvarande och här föreslagna inspektion inte gör. Utredningen har diskuterat möjligheten att granska undervisningens ändamålsenlighet. Utred- ningen har stannat vid bedömningen att det skulle kunna ske då signaler eller den förberedande analysen av en skolas verksamhet tyder på större problem inom t.ex. ett ämnes undervisning. I dessa fall skulle möjligen mer omedelbara effekter i elevresultat kunna studeras. Utredningen bedömer att det är sannolikt att effekter av utbild- ningsinspektionen också kan sökas inom andra områden. Det kan exempelvis handla om en skolas pedagogiska och sociala klimat eller dess kvalitets- och uppföljningsarbete. Uppföljning av olika former av effekter bör utifrån ovanstående resonemang i första hand genomföras av externa granskare med ett s.k. program- teoretiskt angreppssättTPF4FPT eller i form av uppföljande inspektioner. Skolinspektion pågår i många europeiska länder i olika former. Det finns i en organisation för inspektionsorgani- sationer på utbildningsområdet, SICITPF5FPT. Organisationen ger service till sina medlemmar genom olika nyhetsbrev och workshops. SICI bidrar även till förståelse för utveckling på utbildningsområdet i genom samarbete med bl.a. EU och . är medlem i denna organisation genom . Representanter från utbildningsinspektion har deltagit i en del aktiviteter, bl.a. inom IT-området. 3TP PT McCrone, Rudd, Blenkinsop m.fl: Evaluation of the impact of Section 5 inspections. (nfer) . 4TP PT En programteori består i princip av hypoteser om hur inspektionen kan bidra till en ökad måluppfyllelse. Därefter undersöks systematiskt om man kan finna evidens för dessa. 5TP of Inspectorates - . Övriga frågor för en utbildningsinspektion Det internationella samarbetet har dock inte lett till att har deltagit i eller organiserat någon form av mera jämförande studier eller utvärderingar av inspektionsmetoder och modeller. Utredningens bedömning är att en mer utvecklad samverkan med andra länders inspektionsmyndigheter skulle kunna tillföra den svenska utbildningsinspektion såväl kunskaper som erfarenheter i syfte att förbättra och utveckla verksamheten. 5.3Bedömning av rättningen av nationella prov Utredningens förslag: En verksamhet med en nationell bedöm- ning av rättningen av nationella prov bör genomföras. Syftet är att ge utbildningsinspektionen ökade möjligheter att granska rättningen av proven och betygssättningen. Verksamheten bör utvärderas för att ge underlag för beslut om former för en kvalitetssäkring av betygssättningen . Utredningens bedömning: Verksamheten bör omfatta ett urval om högst en tiondel av provmängden och kostnaderna bedöms till ca . Skälen för utredningens förslag och bedömning: Utbildningsin- spektionen ska enligt direktiven utvecklas på ett sätt som stödjer en stärkt mål- och resultatstyrning inom skolväsendet. Detta bör ske genom tydligare nationella mål och regelbundna uppföljningar av måluppfyllelsen i form av nationella prov. Uppföljning av betygs- och provsystem på alla nivåer är en viktig utgångspunkt för utbild- ningsinspektionens uppdrag att granska kunskapsuppdraget och betygens likvärdighet. I läroplanspropositionenTPF6FPT angavs att centralt utarbetade prov behövs för att bibehålla en likvärdig utbildning över riket, för lärares betygssättning och för att mäta kvalitet och kunskaper. I en senare propositionTPF7FPT framfördes behovet av att lärare ska kunna stämma av sin bedömning med andra lärares så att betyg kan hävdas 6TP PT prop. 1992/93:220. 7TP PT Betygspropositionen (prop. 1994/95:85). Övriga frågor för en utbildningsinspektion vara jämförbara över landet. I provuppdraget till angavs som motiv till proven att de ska ge lärarna hjälp att bedöma och stödja elevernas utveckling, visa var varje elev står i förhållande till uppställda mål samt ge underlag för lärarens betygs- sättning av elevernas kunskaper. I provuppdraget till tillkom två syften att provsystemet dels ska kunna bidra till ökad måluppfyllelse för eleverna, dels till att konkretisera kursmål och betygskriterier. Regeringen har således ökat kraven på vad provsystemet ska åstadkomma och bidra till. ansvarar för det nationella provsystemet som består av nationella prov och diagnosmaterial samt prov i provbank. För ska ämnesprov enligt grundskoleförordningen användas i svenska, engelska och matematik i slutet av årskurs 9 för att bedöma elevernas kunskapsutveckling och som stöd för betygs- sättning. Likaså finns ämnesprov i samma ämnen som kan användas i slutet av årskurs 5 för att bedöma elevernas kunskapsutveckling. I gymnasieförordningen finns motsvarande bestämmelser avseende gymnasieskolans nationella kursprov. Förordningen anger även att de nationellt fastställda proven ska användas som ett hjälpmedel för att bedömningsgrunderna ska bli så enhetliga som möjligt över landet. I betänkandet Tydliga mål och kunskapskrav i (SOU 2007:28) ges förslag om att det i grundskoleförordningen bör finnas bestämmelser om att nationella prov ska vara obligatoriska för alla de årskurser nationella prov ges i. Ämnesprov i svenska, engelska och matematik ska utöver i årskurs 9 användas i slutet av årskurs 6, och för svenska och matematik även i slutet av årskurs 3 för att bedöma elevernas kunskapsutveckling. I betänkandet redo- visades också behovet av stramare föreskrifter om betygssätt- ningen. Det gäller bland annat att lärare ska kunna redovisa på vilka grunder betygssättningen sker och att rektorn ska kunna begära att en sådan redovisning sker skriftligt. Det senare om läraren planerar att sätta slutbetyg som systematiskt avviker i förhållande till resultat i de nationella proven. En bedömning som utredaren gjorde i betänkandet var hur uppgifter om elevers provresultat ska samlas in. Om eller en annan skolmyndighet samlar in såväl uppgifter om elever som elevers provresultat på nationella prov och slutbetyg på individnivå skapas ett avsevärt bättre informationsunderlag. Ett sådant underlag är också något som utredningen i kapitel 4 Övriga frågor för en utbildningsinspektion bedömer att utbildningsinspektionen bör kunna ha stor använd- ning av. Det finns grundskolor där slutbetygen i genomsnitt är ett betygssteg över provresultaten, men också skolor där det omvända gäller.TPF8FPT uppger den övervägande majoriteten tillfrågade lärare i svar på lärarenkäterTPF9FPT att proven betyder mycket vid betygs- sättningen av enskilda elever. Det finns också lärare som tycker att ett nationellt prov mer är ett underlag bland andra att ta hänsyn till. I lägesbedömningTPF10FPT för konstaterades att provresultaten endast ska utgöra ett av flera underlag vid betygs- sättningen. Det är rimligt att det på nationell nivå bör finnas en överensstämmelse i stort mellan resultat på nationella prov och slutbetyg i ämnena. Att det ibland förekommer stora skillnader fick att ställa sig frågan i vilken grad proven fungerar som stöd i betygssättningen, särskilt vad gäller matematikämnet där avvikelserna var störst. I sin handlingsplan för en rättvis och likvärdig bedömning och betygssättning våren 2004TPF11FPT, menade att det är oklart i vilken mån proven verkligen fungerar som ett stöd vid betygssättningen. Enligt hand- lingsplanen planerade verket att förbättra de nationella provens roll i detta avseende. Detta skulle öka möjligheterna till jämförelser av provresultat mellan elever och skolor, och bidra till att provresultat på ett tydligare sätt skulle kunna diskuteras i relation till slutbetygen. Enligt uppgifter från överensstämmer provbetyg och slutbetyg i genomsnitt i av fallen för ämnena svenska, engelska och matematik sammantaget för åren 1998–2006. Avvikelserna är stora på skolnivå, se nedanstående figurTPF12FPT hämtade från en undersökning av prov- och slutbetyg i årskurs 9 våren 8TP PT (2004) Det nationella provsystemet i den målstyrda skolan, best.nr 04:870. 9TP PT årliga redovisningar av resultat på ämnesprov i årskurs 9 åren 1998–2004. 10TP PT (2002) Lägesbedömning 2002, nr 225. 11TP PT (2004) Handlingsplan för en rättssäker och likvärdig betygssättning, dnr 2004:556. 12TP PT Tydliga mål och kunskapskrav i (SOU 2007:28). 13TP PT (2004) Det nationella provsystemet i den målstyrda skolan, best.nr 04:870. Övriga frågor för en utbildningsinspektion Avvikelser mellan provresultat och slutbetyg i engelska och matematik i årskurs 9 2002, skolnivå Av figurerna kan ingen annan tolkning göras av de redovisade avvikelserna mellan provresultat och slutbetyg än att proven uppenbarligen inte är betygsstyrande. Det är betydligt vanligare att en elev får ett höjt än ett sänkt slutbetyg i förhållande till prov- betyget i matematik och även svenska, vilket inte åskådliggörs i figuren ovan. Andelen elever som får ett högre betyg än provbetyget varierar mellan ämnena, t.ex. får av eleverna med VG i provbetyg i matematik slutbetyget MVG. Av de elever som inte nått godkändnivån var det som fick betyget G i slutbetyg.TPF14FPT En mer positiv tolkning av detta förhållande kan vara att proven haft en god effekt genom att skolor upptäckt elever i behov av stöd och att man därefter satt in verk- ningsfulla åtgärder. konstaterar att det är stora skillnader mellan hur skolor sätter betyg i förhållande till de nationella proven och skriver: Även om det finns ett stort antal skolor som har liknande nettoavvikelser är det sammantaget ändå så pass stora skillnader att det är svårt att hävda att det finns en nationellt likvärdig betygsätt- ning.(a.a.) Intressant är också att det finns en klar tendens att det är samma skolor som har höga respektive låga nettoavvikelser mellan provbetyg och slutbetyg i ett ämne . 14TP PT (2007) Provbetyg – Slutbetyg- Likvärdig bedömning? Övriga frågor för en utbildningsinspektion Det är inte utredningens uppdrag att lägga förslag om prov- systemet som sådant, dvs. i vilka ämnen som prov ska ges i eller hur de ska användas i betygssättningen. Det som är intressant är i vilken grad provsystemet i sig är robust. Kan man säga att proven som rättas av lärarna rättas korrekt? Styr proven betygssätt- ningen på ett rimligt sätt? Enligt SkolverketTPF15FPT finns få studier som visar om det finns en diskrepans mellan lärarens rättning av ett nationellt prov och en utomstående granskares rättning. En studieTPF16FPT visar på några osäkerhetsfaktorer som har samband med rättningen av proven. En sådan är att det ibland förekommer i diskussioner med lärare att det på andra skolor skulle vara vanligt att lärare missbrukar friheten med det öppna provsystemet och tolkar bedömningsanvisningarna allt för frikostigt. Det skulle enligt studien i så fall få till följd att provbetygen blir orättvisa och det blir oklart vilken kunskap provet mäter. Resultatet av denna studie visade dock att korrelationen mellan lärarnas och bedömarnas rätt- ning var hög (0,99) med reservationen att urvalet var litet. Det förhållandet att den rättande läraren, som känner eleverna, rättar snällare än en utomstående bedömare är rimligt att räkna med. Studien ifrågasätter om en nationell rättning med externa bedömare är lösningen. Det kanske är en bättre och kostnadseffektivare väg att de enskilda skolorna använder medbedömare. I betänkandet Tydligare mål och kunskapskrav i fördes ett resonemang om detta. Om proven bedöms av två lärare minskar risken för en enstaka lärares eventuellt bristande följsamhet till bedömningsanvisningar för proven. Enligt bedömningsanvisningarna till de nationella proven är det önskvärt att två lärare – den undervisande samt en medbedömare – samarbetar vid bedömningen av elevlösningar, ett arbetssätt som förordades i betänkandet. 15TP PT Intervju med och , . 16TP PT , rättning i nationella prov Pm nr 144, 1998, . Övriga frågor för en utbildningsinspektion 5.3.4Nationell bedömning av provrättningen Utredningsdirektiven pekar på möjligheten att inrymma en central funktion inom utbildningsinspektionen, som skulle kunna svara för en regelbunden kvalitetssäkring av betygssättningen. Det skulle kunna handla om att bedöma ett urval av genomförda nationella prov och jämföra denna bedömning med betygssättningen i motsvarande ämnen. I flera andra länder används prov eller examenstester som rättas nationellt. I t.ex. är kostnaden för provverksamheten enligt uppgift och i ca . I dessa belopp ligger alla kostnader för prov, även framtagning, distribution etc. Omräknat till svenska förhållanden så skulle det t.ex. med den norska kostnaden som grund bli . En nationell bedömning av samtliga prov skulle medföra stora kostnader. Räknat i underkant uppskattar tidsåtgången till ca per bedömt prov. För t.ex. en årskull i årskurs 9 med nationella ämnesprov i matematik, svenska och engelska handlar det om 250 000 till 300 000 prov . Skulle alla bedömas uppgår tidsåtgången till ca 900 arbetsmånader, vilket motsvarar 75 heltidstjänster eller en kostnad på kanske . Räknar man in gymnasieskolan och vuxenutbildningen fördubblas kostnaderna, dvs. en nationell bedömningsfunktion för alla prov skulle kosta ca . Ännu dyrare blir det om man dessutom lägger till proven för årskurs 5 eller år 3 och 6 som föreslås i Tydliga mål och kunskapskrav i (SOU 2007:28). kostnader för provverksamheten är ca . Med den begränsade kunskap som finns om likvärdigheten i betygssättningen skulle det vara en tveksam lösning att bygga ut ett system som t.ex. i . I direktiven talas om ett urval av prov för en nationell bedömning. Hur ett sådant urval ska göras kan diskuteras.