sou · GVB3101 · 2008-01-01 00:00:00 — Vid det andra bedömargruppsmötet brukar självvärderingarna granskas och början till en gemensam referensram eller tolkningsram formuleras grundad på ett antal kvalitetsaspekter, dvs. ett klargörande av hur och utifrån vad bedömargruppen gör sin värdering. Förberedelser och insamling av material informerar de berörda universitetens och högskolornas ledningar om den kommande utvärderingen. Varje utvärdering innebär en kvalitetsbedömning. Det ses därför som viktigt att det klargörs efter vilka kriterier bedömningen görs. De kvalitetsaspekter som ingår i utvärderingar är framtagna i samarbete med lärosätena utifrån en tolkning av målen i högskolelag och högskoleförordning. Inför granskningen ska utbildningsanordnaren lämna en för- enklad självvärdering som till största delen består av kvantitativa uppgifter om lärarkapacitet, lärarkompetens, antal studenter på olika nivåer, genomsnittlig undervisningstid, undervisningsformer, handledning, examination och medianstudietid. Utöver dessa upp- gifter ska lärosätena beskriva utbildningens lokala profil och dess plats i organisationen. De ska även beskriva hur undervisning, kurslitteratur och examination säkrar forskningsanknyt- ning/konstnärlig utveckling och progression. De egna rutinerna för att kvalitetssäkra utbildningen ska också beskrivas.TPF25FPT Till själv- värderingen ska alltid bifogas utbildningsplaner, kursplaner, littera- turlistor samt förteckning över examensarbeten. Självvärderingen utgör i ett första skede, tillsammans med annan information som har tillgång till (nationell statistik, tidigare utvärderingar, etc.), underlag för de nationella bilderna. I ett senare skede kan de även utgöra underlag för fördjupade granskningar. Platsbesöket är en central del av fördjupade granskningar. Det ska bidra till att bedömarna skapar sig en så god uppfattning som möjligt om verksamheten och till att fördjupa den bild som självvärderingarna ger. Vid platsbesöken träffar bedömar- gruppen företrädare för utbildningen (rektor, fakultetsledning, institutionsledning eller motsvarande), lärare, övrig personal och studenter. Vid de högskolor som har utbildning på forskarnivå i ämnet träffar bedömargruppen även doktorander. Ofta, men inte alltid, tar bedömargruppen in exempel på studerandearbeten, tentamensuppgifter och rättningsmallar. Detta underlag används som komplement till utbildningsplaner, kursplaner och litteraturlistor för att bedöma nivån och kvaliteten på utbildningen. Efter varje platsbesök skriver bedömarna en rapport. Rekommendationer till förbättringar ingår i rapporten. 25TP PT Se Anvisningar för självvärdering, , . Hela bedömargruppen samlas därefter för att stämma av sina iakttagelser för att de bedömningar som görs ska bli likvärdiga. Rapport – återföring – sanktionsmöjligheter I nära anslutning till att en utvärdering publiceras inbjuds de utvärderade institutionerna eller motsvarande att delta i en s.k. återföringskonferens. Vid denna diskuteras såväl gransknings- processen som den färdiga rapporten. Stor vikt läggs vid de bedömningar som gjorts och de förslag till förbättringsåtgärder som framförts. Syftet med återföringskonferenserna är dels att fånga upp synpunkter från lärosätena som kan förbättra Högskole- verkets granskningar, dels att påbörja en diskussion om hur utbild- ningarnas kvalitet kan förbättras. Den externa bedömningen, grundad på självvärdering och plats- besök, utgör underlag för beslut om huruvida utbildningen håller tillräckligt god kvalitet. Om en utbildning inte håller tillräckligt god kvalitet riskerar berört lärosäte att få sin examensrätt indragen. Men innan detta sker får lärosätet på sig att rätta till bristerna. Därefter sker en förnyad prövning. Om bristerna då kvarstår, fråntas lärosätet examensrätten för den berörda utbildningen, vilket ännu bara skett i några enstaka fall. Det vanliga är att lärosätena lyckas rätta till bristerna eller att de själva väljer att lägga ner utbildningarna innan den förnyade prövningen ska göras. Rapporterna består i huvudsak av två delar. Den första delen omfattar sammanfattande bedömning, beslut och reflektioner. Den andra delen utgörs av bedömargruppens rapport som övergripande beskriver verksamheter och gemensamma iakttagelser för att avslutas med kortare rapporter avseende varje granskad utbildning. Utvärderingens resultat följs upp . Syftet med treårs- uppföljningarna är att ta reda på hur lärosätena och utbildningarna hanterat de rekommendationer och förslag till åtgärder som bedömargrupperna framfört. Resultaten av uppföljningarna visar att de flesta lärosäten tycker att utvärderingarna ger en rättvisande bild av verksamheten och att de råd och rekommendationer som bedömargrupperna ger är värdefulla. De flesta vidtar också förbätt- ringsåtgärder som en följd av utvärderingarna och bedömer att dessa leder till förbättringar av verksamheten. I de relativt få fall där lärosätena inte har följt bedömargruppernas rekommendationer handlar det vanligen om åtgärder som innebär stora kostnader för lärosätena. Kvalitetssäkring och pågående utvecklingsarbete är anslutet till in Higher Education (ENQA) och följer de Standards and in Higher Education Area som utarbetats.TPF26FPT De standards som beskrivs berör tre områden: intern kvalitetssäkring av högre utbildning (ansvar och genom- förande på lärosätesnivå – respektive lärosäte), extern kvalitetssäkring av högre utbildning (ansvar och genom- förande på nationell nivå – ), extern kvalitetssäkring av utvärderande organisationer (ansvar och genomförande på europeisk nivå – ENQA).TPF27FPT har tagit initiativ till ett antal externa granskningar av den egna utvärderingsverksamheten. Redan under det första utvärderingsåret granskade några forskare utvärderingsmodellen, bland annat genom enkäter till såväl lärosäten som bedömar- grupper.TPF28FPT En annan studie behandlade utvärderingsmodellen i en internationell jämförelse.TPF29FPT utvärderings- verksamhet har dessutom varit utsatt för extern granskning då den egna modellen, med självvärdering, platsbesök av externa sakkunniga, rapport och återföring, tillämpades.TPF30FPT En extern granskning utgjorde också underlag för ansökan till in Higher 26TP PT 2007:36 R. National quality system for the period 2007–2012. 27TP PT Enligt den utvärderings- och kvalitetssäkringspolicy som antog ska utvärderingsverksamheten följas kontinuerligt av en internationell rådgivande grupp, , och granskas av externa bedömare minst . 28TP PT 2002:20 R. Metautvärdering av modell för kvalitetsbedömning av högre utbildning. Hur har lärosäten och bedömare uppfattat modellen? 29TP PT 2000:15 AR Att utvärdera kvalitet i högre utbildning. Internationella jämförelser av system för kvalitetsgranskning. 30TP PT 2004. Några reflektioner kring . Denna ledde till att som ett av de första länderna i godkändes som fullvärdiga medlemmar. Några högskolor har också genomfört egna utvärderingar av granskningar för att bedöma verksamheternas nytta av dem. Vid gjordes en bedömning som bland annat resulterade i följande slutsats: Enligt policyförändringen skulle bedömningar av ämnen och program göras på motsvarande sätt som verket tidigare gjort examensrättspröv- ningar och nationella utvärderingar. Större vikt skulle också läggas vid en analys av resultat. Vi kan konstatera att framför allt gjort bedömningar av förutsättningarna för att ge en utbildning, dvs. en form av examensrättsprövning. Ambitionen att bedöma kvalitet i resultat har inte fullföljts. Det är främst kvantitativa resultatmått som legat till grund för sådana bedömningar. Verkets devis – från bedöm- ning av kvalitetsarbete till bedömning av kvalitet – synes därmed allt- jämt vara en devis.TPF31FPT Det bör påpekas att denna utvärdering gjordes i början av den före- gående granskningsperioden (2002). Stora ansträngningar har gjorts för att komma tillrätta med problemet, och inriktningen mot resultat ökade markant under den senare delen av perioden. I det nya systemet för kvalitetssäkring av högre utbildning för perioden –2012 läggs ännu större vikt vid bedömning av utbildningarnas resultat. Utredningen har tagit del av ett litet urval av rapporter och redogörelser från – samtliga från det tidigare systemet för kvalitetssäkring eftersom det nya ännu inte resulterat i några rapporter. Det innebär att utsagor och reflektioner bygger på ett begränsat underlag. Rent generellt ser utredningen inga stora skillnader i rapporteringen från de olika myndigheterna. Även om tydligare avgränsar myndighetens skrivningar från bedömargruppen så framträder ändå en bild av att bedömningar av utbildningskvalitet ofta får en relativt övergripande och svepande form som konkretionen i föreslagna förbättringsåtgärder varierar beroende på bedömarteam. 31TP PT Från kvalitetsarbete till bedömning av kvalitet – ett lärosätesperspektiv. En analys av utvärderingar av ämnen och program 2001 och 2002. UNIVERSITET Kvalitet och utvärdering . Den åtskillnad som görs mellan de externa bedömarnas uppgifter och ansvar och de uppgifter och ansvar som åvilar Hög- skoleverkets personal är förståelig. Det är viktigt för legitimiteten att granskningarna genomförs av sakkunniga inom respektive ämnesområde. måste utredare säkra utvärderingskunnandet i bedömningarna. Det är också Högskole- verkets roll att säkra att bedömningarna sker på ett likartat sätt – att ribban ligger på samma nivå vid jämförelser både inom och mellan olika utvärderingar. Därför är det viktigt att det är Hög- skoleverket som fattar beslut om eventuellt ifrågasättande av examensrätten, och inte bedömargruppen. reflektioner kan fylla funktionen att sätta in utvärderingarna i ett större sammanhang, även om utredningen inte sett så många exempel på det i de rapporter som utredningen tagit del av. Vid genomgången av system för kvalitetssäk- ring av högre utbildning har utredningen funnit följande punkter som kan vara intressanta att överväga vid utformandet av den framtida utbildningsinspektionen. Att vid inspektion mer systematiskt utgå från skolors och kommuners självvärderingar, att använda ämnesexperter i högre grad än vad som sker vid inspektion av gymnasieskolan, att genomföra inspektion i två steg, med förenklade inspektioner för alla skolor och fördjupade inspektioner efter riskbedömning, att genomföra systematiska uppföljningar av förbättringsarbetet efter inspektioner samt att komplettera inspektionen med fördjupande tematiska studier inom särskilt intressanta områden. Det engelska systemet för att utvärdera utbildning bygger på fyra grundpelare:TPF32FPT ett starkt nationellt ramverk för bedömning (assessment), 32TP PT Dnr 2007:2172.Tio EU-länders utbildningssystem. En översiktlig bild. insamling av information om varje elevs framsteg (progress) och uppnådda kunskaper (achievements) och publicering av varje skolas resultat och kvalitet (performance), formulering av tydliga mål (targets) på nationell och lokal nivå samt inspektion av skolor, identifiering av svaga och undermåliga skolor. New Ofsted, Office for Standards in Education, Children's Services and Skills påbörjade sin verksamhet . Alla skolor ska granskas av inspektionen . Alla skolor ska också kontinuerligt göra en självvärdering. Syftet är att förkorta och effektivisera skolbesöken, stödja skolors eget utvecklings- arbete, i högre grad bygga inspektionerna på faktiska resultat snarare än de i klassrummet pågående processerna. Det är huvud- sakligen med självvärderingen som grund som inspektionen granskar skolorna, plus det underlag som genereras genom statistik från prov- och examenssystemet och från andra nationella statistik- källor. Många av proven är nationella (engelska, matematik, natur- kunskap, IT) och rättas externt. Eleverna bedöms vid 7, 11, 14 och . Ofsted tillhandahåller handledning för att göra en självvärdering och stöd för att analysera den statistik som de kräver att skolorna använder. Skolorna kan genomföra självvärderingen i ett webb- baserat enkätformulär. Inspektionerna blir utifrån den tydliga inriktningen på självvärderingen ett i grunden resultatanalyserande arbete kombinerat med ett en- till tvådagars besök på plats. För de skolor som bedöms vara i riskzonen och har dåliga resultat genomförs tätare inspektioner och uppföljningar eller så kallade proportional visits. Den självvärdering som skolan ska göra är relativt omfångsrik och spänner över områden som: allmänna karakteristika av skolan, elevers och föräldrars syn på verksamheten och hur man vet att det ser ut så, elevernas personliga utveckling, en kvalitetsbedömning av undervisning, stödformer och vägled- ning, ledarskap och styrning samt en helhetsbedömning och utvecklingsstrategier. Dessa texter ska i stort sett skrivas i fritextform och kopplas till analyser som ger evidens för utsagorna. Utöver detta ska en inte oansenlig mängd statistik bifogas om elever, deras ursprung, stöd- behov, fortsatta studier m.m. Inspektionen i skiljer sig från övriga länder på så sätt att inspektionen har en central organisation men till stor del anlitar kontraktsanställda uppdragstagare. Platsbesöket pågår i och inspektörsteamet består av en huvudinspektör och upp till fem inspektörer beroende på skolans storlek. Samtliga inspektörer inom Ofsted har genomgått utbildning i inspektions- metodik, teknik och styrsystem. De ska ha erfarenhet från verk- samhetsområdet. Mycket av platsbesöken går åt till samtal och intervjuer med ledning, personalgrupper och styrelse. Stor vikt läggs vid intervjuer med ledningsgruppen. Det anses dessutom viktigt att inspektörerna är tillgängliga för föräldrar och deras synpunkter i anslutning till inspektionen. Inspektörerna observerar ett mindre antal lektioner och bedömer bl.a. hur lektioner planeras, genomförs och förhåller sig till kurs- och läroplan. De områden som granskas kan kortfattat sägas vara: kvaliteten när det gäller, -kvalitetsarbetet i stort, -undervisning och lärande, -hur kurser och lektioner planeras och genomförs, -den elevvård, vägledning och stöd skolan ger, -ledarskap och administration, i vilken utsträckning skolan bidrar till god hälsa, i vilken utsträckning skolan är en trygg och säker plats för eleverna, i vilken utsträckning eleverna är positiva och bidrar till skolans utveckling samt i vilken utsträckning eleverna utvecklar färdigheter för ett framtida arbetsliv. efter besöket återrapporterar huvudinspektören skriftligt och muntligt teamets syn på skolans allmänna effektivitet, vad skolan uppnått och dess standard. De redovisar sina bedömningar av evidensen för skolans självvärdering samt lyfter fram utvecklings- och förbättringsområden. Rapporten offentlig- görs på Ofstedts hemsida. Dessutom får skolan ett brev att distribuera till eleverna som kortfattat beskriver de bedömningar inspektörerna gjort och hur skolan kan bli bättre. Om en skola inte bedöms uppfylla grundläggande mål för verk- samheten, intensifieras inspektionerna för att säkerställa att man vid verksamheten vidtar lämpliga åtgärder. Ofsted uppmärksammar i sina inspektioner särskilt skolledningen och ledningsteamet. Ofsted kan inte avskeda en rektor eller en lärare. Men genom att inspektionsresultaten pekar på brister kan rapporterna leda till att styrelsen eller den lokala myndigheten (LEATPF33FPT) avskedar personer eller sätter in stöd. Ofsted har inte rätt att stänga en skola på grund av dålig kvalitet, vare sig den är offentlig eller privat. Chefen för kan råda utbildningsministern att vidta åtgärder. Detta kan ske om Ofsted först bedömt skolan som undermålig och den därefter blivit föremål för särskilda åtgärder som t.ex. upprepade inspektioner för att följa skolans insatser för att rätta till brister som inspektionen påtalat. En sådan uppföljningsprocess från Ofsteds sida kan pågå . Då Ofsted påtalar problemen kan utbildningsministern se till att styrelsen byts ut eller att skolan läggs ner. Det senare händer med ungefär 20 skolor . För att de aktuella eleverna ska få utbildning kan de antingen föras över till en annan skola i området eller också kan utbildningsministern se till att en ny skola öppnas där den nedlagda funnits eller i närområdet en så kallad fresh start. 33TP PT – . Ofsted använder sig av flera former för att följa upp och kvalitets- säkra den egna inspektionsverksamheten. Man använder både egna utvärderingar och uppföljningar men också externa forskare för att kontinuerligt följa upp effekter av inspektionerna och deras genomförande. Den inspektionsmodell som initierades har följts upp och senast våren 2007.TPF34FPT Resultaten av utvärderingen är kortfattad att: de inspekterade skolorna är överlag nöjda med inspektionerna, självvärderingsformuläret (, ) är tidskrävande, men stärker det egna kvalitetsarbetet. Dessa användes också effektivt av inspektörerna under inspektionen, den muntliga återkopplingen från inspektörerna upplevs vara en central del av processen, ju självvärderingsformuläret använts ju mindre skillnader mellan inspektörernas och skolornas egen bedömning och den kortfattade rapporten upplevs huvudsakligen som saklig och tillräckligt konkret för att kartlägga utvecklingsbehov och som ett stöd för det fortsatta arbetet. De problemområden som berörs handlar bl.a. om: inspektörers och skolans olika tolkningar av data utifrån skolans kontext och villkor, att rapporterna ibland upplevdes vara alltför summariska, generaliserande, inte tog hänsyn till skolans allmänna förutsätt- ningar och saknade praktiska råd, att inspektionen i för hög utsträckning styrdes av data och att de minst positiva till inspektionen och dess genomförande var primary schools (låg och mellanstadieskolor). I utvärderingen görs också försök att statistiskt analysera om inspektionen haft effekt på skolans resultat utifrån de rekommen- dationer till förbättringar av vissa ämnen som getts i skolrapporterna. Utvärderarna själva vill tolka resultaten med stor försiktighet och anser att det för detta behövs mer longitudinella studier (3–). Med detta förbehåll så tycker de sig ändå ana att 34TP PT McCrone, Rudd, Blenkinsop m.fl: Evaluation of the impact of Section 5 inspections. (nfer) . specifika förbättringsförslag inom ett ämne eller område tycks ha vissa effekter på elevernas prestationer även i detta korta perspektiv. Inspektion och kvalitetssäkring av utbildningen i nationellt perspektiv har många inslag, till exempel: tvingande övergripande regelverk, tvingande eller vägledande föreskrifter om ämnen, kurser, ämnesinnehåll, lektionsinnehåll; timplaner, kontroll av läromedel, regelverk för provsystem, examenssystem och kvalifikations- bevis; kontroll av lärarutbildning och fortbildning, uppföljning av systemet via statistik, utvärdering av/forskning om utbildningssystemet, undervis- ningsmetodik, arbetssätt, uppföljning/kontroll av om nationella regler följs, uppföljning/kontroll av lärarnas arbete och metoder, extern uppföljning/kontroll av genomförarnas ansvarstagande och resultat eller krav på genomförares interna granskning av kvaliteten, med flera inslag. Alla dessa inslag finns i flertalet europeiska länder, med betydande variationer. Nationella bestämmelser ställer krav på skolor i , , och att de ska upprätta utvecklingsplaner och ha en intern utvärdering. I finns krav på utvecklingsplan i primär- och lägre sekundärskolor. Man har också börjat introducera krav på självvärdering. I finns också krav på en plan som visar skolans implementerade läroplan. I finns krav på skolorna att utvärdera sin undervisning och dess effekter/resultat. I , och ses däremot inspektionsmyndigheten som huvudansvarig för kvalitetssäkringen.TPF35FPT Utredningen har av tidsskäl valt att i första hand koncentrera sig på det engelska systemet. har en lång erfarenhet av skolin- spektion och det nuvarande systemet har många beröringspunkter 35TP PT Källa Dnr 2007:2172.Tio EU-länders utbildningssystem. En översiktlig bild. med det svenska. Eftersom information om systemet i hög grad är tillgängligt på Internet har det varit möjligt för utredningen att ta del av det utan att besöka . Det innebär dock vissa begräns- ningar för utredningen att inte ha fått möjlighet att diskutera och studera verksamheten på plats. I förordningen om kvalitetsredovisning (SFS 1997:702) sägs: 1 § Varje kommun och skola ska upprätta skriftliga kvalitetsre- dovisningar som ett led i den kontinuerliga uppföljningen och utvärderingen av skolplanen respektive arbetsplanen. Detta har medfört att många kommuner initierat en egenkontroll och utvärdering av sin verksamhet. Utvärderingsinsatserna ser olika ut till innehåll och form, men inriktningen är relativt likartad. Förutom informationsbehov för brukare och beslutsfattare finns både ett kontroll- och ett utvecklingsperspektiv. Nedan ges en kortfattad beskrivning av några av de kommunala ansatserna i syfte att beskriva olika inriktningar och för att bidra till ett resonemang om olika angreppssätts användbarhet för den framtida skolinspektionen. Genomgången är på intet vis heltäckande, men utgångspunkterna kan tjäna som underlag för fortsatta resonemang. De kommunala uppföljningar, inspektioner och utvärderingar som genomförs bör, enligt utredningens bedömning, tillvaratas på ett strukturerat sätt inom inspektions- verksamheten. De kan – med sina förtjänster och brister – utgöra ett underlag för lokal anpassning av inspektionerna. Kvalitets- och utvecklingsmodellen, KUM, har utvecklats i samarbete mellan kommunerna , , , och . I korthet kan modellen beskrivas som att externa granskare genomför granskningar . Syftet med granskningarna är att: öka måluppfyllelsen i enlighet med de nationella styrdokumenten, förbättra arbetslagens kvalitetsarbete och resultatmätning, öka skolledningens och arbetslagens kompetens om utvärdering samt utveckla ett tydligare och mer framgångsrikt ledarskap. Modellen har en tydlig inriktning på att fungera som utvecklings- stöd på arbetslagsnivå. Det anses därför vara en förutsättning att arbetslagen är förtrogna med den metod för intern utvärdering som användsTPF36FPT. En bärande tanke är att arbetslagens kvalitetsarbete ska resultera i en kvalitetsredovisning. Ytterligare en förutsättning är att utvärderingen ska ske i dialog mellan granskarna och arbetslaget. De områden som granskningen belyser är: helhetsperspektivet och reflektion över uppdraget, måluppfyllelse/resultat i förhållande till läroplanens områden, arbetslagets system för uppföljning och bedömning av målupp- fyllelse/resultat och de vuxnas ledarskap. Bedömargruppen kallas utvärderarna och består av två eller fler personer beroende på verksamhetens storlek. Minst en av utvärderarna arbetar centralt med utvecklingsfrågor. Övriga har arbetslivserfarenheter inom den utvärderade verksamhetsformen. De har genomgått en grundutbildning i egen regi och arbetar inte i den granskade kommunen. Innan utvärderingen påbörjas träffar utvärderarna arbetslaget och tar emot arbetslagets kvalitetsredovisning, dess interna utveck- lingsplan och verksamhetsplan samt rektors beskrivning av enhetens och arbetslagets organisation och förutsättningar. Utvärderarna samlar information om verksamheten genom observationer, intervjuer och dokumentanalyser. Efter platsbesöket, som pågår , väger utvärderarna samman och värderar det material de samlat in utifrån ett antal kvalitativa beskrivningar. Utvärderarna skriver sedan en rapport där kvalitetsfaktorer och områden som kan utvecklas lyfts fram. De gör även en sammanfattande bedömning om var arbetslaget befinner sig utvecklingsmässigt med en fyrgradig skala från Mindre bra till Mycket bra. Rapporten kommuniceras med arbetslaget i en överlämningsdialog, där arbetslaget ges möjlighet att föra in sina egna reflektioner i rapporten. Arbetslaget och rektor formulerar sedan tillsammans de utvecklingsområden som de anser sig behöva arbeta vidare med. Utvärderarna slutför arbetet med rapporten och skickar den till arbetslaget, rektor och förvaltningschef. Den offentliggörs sedan på Internet. Våga Visa – är en samverkan om utvärdering mellan , , , , , och kommuner.