sou · GNB3119 · 2000-01-01 00:00:00 — Frågan om reglering behandlas i kapitel 10. -Hur har egenutvärderingarna organiserats och genomförts? Av anbudsunderlaget framgår att egenutvärdering bör vara ett viktigt steg i den samlade utvärderingen. Vår modell med självutvärderingar syftar bl a till att etablera en sådan process. Vi skall inventera vilka egenutvärderingar som gjorts och på ett varsamt sätt integrera dem i vårt arbete. Frågan om egenutvärdering har en central plats i vår utvärde ring. Kapitel 9 ägnas helt åt frågan om kvalitetsarbete och egenutvärde ring. -Vilka sekundäreffekter har utbildningen gett? En typ av sekundära effekter som påtalats av i det anbudsunderlag som föregått vår utvärdering är huruvida KY bidragit till att skapa nya lokala strukturer för samarbete mellan företag och även för samarbete mellan företag och andra aktörer. Vår bedömning är att det gått för att utvärdera sådana lokala effekter och vi har därför inte samlat in något material som belyser den frågan. En annan typ av sekundära effekter ligger på en utbildningsstruktu- rell nivå. Försöks verksamheten omfattar ursprungligen 4 500 studenter. Liksom vid tidigare skolreformer som inletts med försöksverksamhet, t ex kan man redan av denna sluta sig till vilka effekter på utbildningssystemet som den kommer att få ifall den per- manentas. Om det visar sig att försöksverksamheten med dessa påbyggnadsutbildningar är framgångsrik och regering och riksdag sedan beslutar att permanenta denna verksamhet är det en reform som heter duga med ca 20 000 utbildningsplatser. Det innebär i så fall att vi inrättar en helt ny nivå i utbildningssystemet. Utvärderingsuppdraget och dess frågor 53 mellannivå kommer givetvis att påverka hela systemet av utbildningar. Regler för övergång mellan denna nivå och högskolan måste t ex utformas. Frågor av denna utbildningsstrukturella art diskuteras i det inledande kapitel 1 och i det avslutande kapitel 15. 4 Uppläggning och metod Detta kapitel innehåller en redogörelse för hur utvärderingen av för söks- verksamheten med Kvalificerad yrkesutbildning (KY) genomförts, vilka metoder som tillämpats och vilka urvalsgrupper som studerats. 4.1 Både en utvärdering och ett kvalitetsarbete Utvärderingen har en dubbel ambition, dels att utvärdera KY-försöket på ett sätt som vägleder det politiska beslutsfattande som skall ske , dels att stimulera till ett lokalt kvalitetsarbete hos utbildningsanordnarna som lever vidare sedan utvärderingen är slutförd. Det senare vill vi uppnå genom återföring av våra resultat och genom det kvalitetsarbete som vi initierat vid 123 utbildningar. I den klassiska utvärderingsmodellen betraktas det som utvärderas som studieobjekt. Argumenten för detta distanserade förhållnings sätt handlar om oberoende och opartiskhet. Under resans gång skall utvär- deraren inte onödigtvis kommunicera med föremålet för utvärdering. Täta kontakter kan skapa beroenden och bidra till att dubbla roller utvecklas. I värsta fall kan det uppstå en jävsituation kännetecknad av vänskapskorruption. Den opartiska utvärderingen brukar inledas med analys av mål och planer och avslutas med mätning av grad av måluppfyllelse. De som förmår säga vad de skall göra och göra det de sagt, framstår som mest lyckade i denna rationalistiska form av utvärdering. Ändrade planer och nya målsättningar möter misstänksamhet och tenderar att ses som något negativt. Utvärderingsobjekt på väg att misslyckas får inte påverka utvärderaren till att byta roll till rådgivare. Förslag om kurskorrektion är otillåtna, däremot skall haveriet noga doku menteras. För många som sysslar med utvärdering framstår denna klassiska modell som obefogat restriktiv. Om eventuella råd och informationer noga diarieförs, menar man att den traditionella farhågan för partiskhet är grundlös eller i varje fall kraftigt överdriven. Alternativet till den klassiska, distanserade, kontrollen av målupp- fyllelsen är ett mer jämlikt och ömsesidigt lärande förhållningssätt, ofta 56 Uppläggning och metod Utvärderarna ser det som några av sina vikti- gaste uppgifter att underlätta de utvärderades överblick, lärande och beslutsfattande. Resultat skall förmedlas så snabbt som möjligt, gärna under resans gång. Relevanta jämförelser (benchmarking) kan likaså betyda mycket för att påskynda inlärningen (i detta special fall ofta kallad benchlearning). Haverier skall inte konstateras i efterhand utan givetvis skall man försöka före bygga dem. Hela utvärderingsprocessen får därmed karaktär av hjälp till självhjälp. Vår utvär deringsgrupp ansluter sig till alternativet systemutvärdering och vill med andra ord göra hela utvärder ingen till ett exempel på en lärande organisation.1 Materialet till utvärderingen av Kvalificerad yrkesutbildning har insamlats via framför allt fyra informationskanaler; självutvärderingar, studentenkäter, besök hos ett urval utbildningsprogram samt telefon- intervjuer med utbildningsanordnare och företag som tillhandahåller platser för Lärande i arbete. Utöver detta har vi samlat referens material via (), och tidigare forskning inom området. Den grundläggande beståndsdelen i vår systemutvärderingsmodell är själv utvärderi ngar inom vart och ett av respektive utbildningsprogram. Dessa självutvärderingar har ett dubbelt syfte. Det primära är att implementera ett kvalitetstänkande hos utbildningsanordnarna och en kontinuerlig utvärderingsprocess som bygger på reflexion över det egna arbetet. Utifrån en självutvärdering kan man finna styrkor och svagheter i organisationen som kan vara bas för ett förbättringspro gram. Självutvärderingarna utgör också ett rationellt sätt att samla in en del av den information vi behöver för vårt utvärderingsuppdrag. De verktyg vi byggt upp självutvärderingsarbetet kring vilar teore- tiskt på den forskning som utvecklats i anslutning till debatten kring kvalitet avseende både varor och tjänster. Kvalitet handlar om att utifrån behov och önskemål från kunder (med det avses de verksam heten är till för) och andra intressenter på ett syste matiskt sätt förbättra verksamheten med fokus på hur man gör saker (dvs analysera flöden eller processer) och låta alla medarbetare vara delaktiga i denna för- bättringsprocess. Man talar om TQM () eller på svenska offensiv kvalitetsutveckling.2 Mycket av arbetet handlar 1För en fördjupad diskus sion av utvärderingsgruppens resonemang kring utvärderingsmodellen, se och . 2B. , och B. Klefsjö, Kvalitet från behov till användning. (: , 1995). SOU 1999:119 Uppläggning och metod 57 om att på olika nivåer systematiskt arbeta i förbättringscykeln Planera- Gör-Studera-Lär. I grunden har vår utgångspunkt varit Utmärkelsen litet som instiftades av , , efter förebilden i . Mer kon- kret har utgångspunkten varit självutvärderingsmodellen Språng brädan3 som utvecklats vid Avdelningen för kvalitetsteknik & statistik vid . Tanken är att man skall beskriva sin verksamhet inom ett antal väsentliga områden. Det handlar om att inom varje område beskriva angreppssätt (hur vi gör), tillämpning (i vilken omfattning gör vi det?) och resultat (vilka resultat leder vårt tillämpade angreppssätt till?)4. En dimension som inte lyfts fram så tydligt i väl i självut värderingsmodellen Språngbrädan, är utvärdering för bättring (vad gör vi för att utvärdera och förbättra våra angreppssätt?). Språngbrä dan används för övrigt som en utvärderingsmodell i en regional kva litetsutmärkelse i Norr- och , Utmärkelsen Kvalitet i Norr. Tankarna i Utmärkelsen är i princip oberoende av organisationens storlek och inriktning. Detta illustreras av att den ligger som mall för Utmärkelsen som organiseras av och det faktum att flera organisationer i offentlig sektor utnyttjat Utmärkelsen . Utmärkelsen har även utnyttjats som utvärderingsverktyg i högre ut bildning i ett forskningsprojekt vid tekniska universitet5 och befunnits fungera väl som verktyg. För vår utvärdering har vi skapat ett utvärderingsverktyg be nämnt som i grunden bygger på Språngbrädan men har något mer specifika frågor. Analysen av svaren kan dels ske i den egna organisa- tionen, men kan också ske av andra organisationer i den pågående försöksomgången för att på så sätt sprida kunskap och erfa renheter. Även kombinationer av dessa varianter är naturligtvis möj liga. Huvudsyftet med har emellertid varit att enskilda utbild- ningsanordnare utvärderar sig själva i syfte att skapa ett underlag för förbättringsarbete i respektive organisation. som självutvär- deringen utnyttjas för den aktuella utvärderingen testas om tanken med självutvärdering är ett bra verktyg i denna typ av verksamhet, dvs om (: , Avdelningen för kvalitetsteknik och statistik, 1997). 4SIQ, Verksamhetsutveckling med Utmärkelsen , kriterier och anvisningar, (: , 1999). , Using Quality Awards for Self-Assessment in Higher Education. Quality in Higher Education, 2:2, 1996, 105-116. 58 Uppläggning och metod liknande verktyg kan utnyttjas med framgång i annan utbildningsverk- samhet. Självutvärderingarna innehåller i huvudsak reflekterande mo ment men vi kommer även att samla in vissa kvantitativa basfakta som vi bl a kan sortera och räkna frekvenser på. Vår avsikt har varit att utforma en ganska stram mall för hur vi vill att självutvärde ringen skall gå till och presenteras. När det gäller genomförandet har vi rekommenderat att all berörd personal blir involverad. Vi har haft en organisation som erbjudit rådgivning kring hur det lokala arbetet kan gå till. Detta har främst omfattat de utbildningstillfällen som genomförts på olika platser i lan det. Om det redan finns en utvecklad lokal utvärderingsprocess har vi givetvis respekterat detta. En närmare beskrivning av hur självutvärderingarna gått till åter finns i kapitel 9. Jämsides med självutvärderingsverktyget utgör tre riktade enkät studier den andra stora informationskanalen i utvärderingen av för söksverksam- heten. Syftet med studentenkäterna är att försöka skapa en inle dande och framför allt övergripande bild av försöksverksam heten utifrån ett studentperspektiv. En övergripande frågeställning är att kartlägga vilka studenter som söker till Kvalificerad yrkesutbildning. En annan viktig frågeställning är om och i vilken utsträckning som utbildningarna har lyckats bryta tidigare traditionella könsbundna utbildnings- och yrkesval. Ytterligare frågeställningar är i vilken utsträckning de studerande har stude- rat vid högskola eller universitet samt om de planerar att fortsätta stu- dera efter avslutad utbildning. I anslutning till dessa frågor har vi också undersökt hur många av studenterna som funderar på att efter avslutad utbildning starta eget företag. Anledningen till att vi valt tre enkätstudier är att vi vill följa stu- denterna under olika faser i utbildningscykeln samt efter avslutad utbildning. Förutom att denna teknik ger möjlighet att koncentrera sig på och penetrera de olika momenten i försöksverksamheten djupare än vad en enstaka mätning förmår, ger metoden med upprepade mät ningar också en fylligare och mer nyanserad bild av hur studenterna uppfattar utbildningen allt eftersom utbildningstiden går. För att kunna koppla samman resultaten från de olika mätningarna har samtliga enkätstudier en gemensam uppsättning av bakgrundsfrågor Uppläggning och metod 59 som följs av specifika uppsättningar av frågor anpassat till var någon- stans i utbildningscykeln studenten befinner sig. Enkäterna i sin helhet presenteras i bilaga 5, 6 och 7. Den första enkätstudien, benämnd , distribuerades i samband med eller efter planerad utbildningsstart. inne- höll totalt 38 frågor indelade i tre block. inleddes med en för samtliga enkätstudier gemensam uppsättning bakgrundsfrågor speglande exempelvis kön- och åldersfördelning, tidigare utbildning och social bak- grund. I andra blocket ställdes frågor om hur studenterna fick känne dom om utbildningen och varför de sökte till utbildningen, samt i vil ken utsträckning de studerande flyttat respektive inte flyttat för att gå sin utbildning. Det tredje blocket av frågor syftade till att spegla de studerandes syn på yrkesidentitet, upplevd klasstillhörighet, framtidstro, synen på arbete samt vilka förväntningar som inledningsvis ställdes på utbild ningen. Den andra enkätstudien, benämnd , distribuerades när stu- denterna kommit till mitten av sin utbildning. Denna enkät var den mest omfattande. innehöll totalt 46 frågor 6 indelade i fyra olika block. Det första blocket innehöll som tidigare nämnts gemensamma bakgrundsfrågor. Det andra blocket syftade till att belysa utbildningens skolförlagda del. Frågorna koncentrerades till att spegla huruvida utbildningarna dels uppfyllde kraven på Lärande i arbete, dels om de olika utbildningarna uppfyllde kraven på integration av teori och praktik. speglar också i vilken omfattning utbildningsorganisationerna mötte upp till studenternas önskemål om handledning, engagemang och vägledning. En annan fråga som ställdes var om studenten tänkte starta eget företag efter avslutad utbildning. Frågorna i det tredje blocket speglar hur studenterna upplevde den del av utbildningen som pågick ute på företag och andra organisa tioner. 6 Antalet frågor i varierar beroende på version. 60 Uppläggning och metod Förutom rena kontrollfrågor som tillgång till handledare och arbets- platsintroduktion syftade frågorna till att klarlägga om det har skett en kvalificerad tillämpning av teoretiska kunskaper. I det sista och fjärde blocket av frågor ombads studenterna att lämna ett helhetsomdöme om utbildningen. Studenterna tillfrågades om de var nöjda med utbildningen. De tillfrågades vidare om de vid mät ningstill- fället hade kontakt med någon arbetsgivare som kunde erbjuda studen- terna en anställning efter avslutad utbildning. Avslutningsvis erbjöds de studerande att formulera personliga synpunkter och erfarenheter om sin utbildning. Den tredje enkätstudien som genomfördes var den s k . Enkäten genomfördes av SCB i form av telefonintervjuer med alla stu- denter vars utbildning avslutades . innehöll totalt 22 frågor indelade i två block. Undersökningen föregicks av ett brev med information till urvalspersonerna innan undersökningen ägde rum. I brevet framgick undersökningens syfte, vem som beställt undersökningen samt garantier om respon denternas anonymitet. Förutom ett block med bakgrundsfrågor koncentrerades enkäten till att kartlägga i vilken utsträckning försöksverksamheten skapat för ut- sättningar för de studerande att få ett arbete. Vidare frågades om man arbetade inom det yrke som man har utbildats i och om man har eller planerar att starta eget företag. De studerande tillfråga des också om vad de i efterhand tyckte om utbildningen. Ett generellt forskningsproblem, vid denna typ av undersökning, är hur många individer av den aktuella populationen som skall delta för att säkerheten på svaret på fråge ställningarna skall anses tillfredställande. Av hävd kan man inom samhällsvetenskapen säga att det finns två vägar att gå, två forskningsstrategier.7 Den ena strategin, den intensiva, innebär att endast ett begränsat urval av populationen tillfrågas. 7 O. Hellevik, Forskningsmetoder i sociologi och statsvetenskap. (: Natur och kultur, 1984), 70. Uppläggning och metod 61 gäld är mätinstru mentet omfångsrikt. Den andra strategin, den extensiva, innebär att ett stort urval eller hela den aktuella populationen undersöks. Mätinstrumentet innehåller då oftast få frågor. Fördelen med den extensiva strategin är möjligheten att studera varia- tionen hos de egenskaper som förekommer hos undersöknings enheterna, vilket i regel innebär att man har ett bättre underlag för att dra generella slutsatser. Nackdelen är mängden av data som skall samlas in och bearbetas, vilket måste räknas och pengar. Fördelen med intensiva studier är den detaljkunskap om enhe terna som ges. På motsvarande sätt ges också vid intensiva strategier tillfället att se den studerande enheten i ett helhetsperspektiv. Data som samlas in riskerar inte att fragmentiseras som i fallet med extensiva studier. Nackdelen är den begränsade bild av en verksamhet som ges och där med svårigheten att dra generella slutsatser.8 Vi har valt att kombinera det bästa ur båda forskningsstrategierna genom tre olika enkätstudier som täcker in hela utbildningscykeln. På så sätt har såväl kravet på bredd, tack vare ambitionen med en total- undersökning, som kravet på djup, tack vare antalet frågor, tillgo dosetts. Vi valde att distribuera de två första enkätstudierna till respektive utbild- ningsanordnare som sedan organiserade själva datainsamlingen i form av s k gruppenkät. I syfte att skapa förståelse för undersök ningen och betona vikten av att insamlandet sker under objektiva former bifogades ett följebrev med instruktioner. I dessa instruktioner angavs att ifyllande av enkät måste ske under av lärare kontrollerade former då samtliga stu denter var när- varande på ett och samma ställe, exempelvis i lektionsal. Det påta lades vidare att samtal mellan studenter inte var tillåtet och att varje student själv skulle fylla i enkäten efter eget huvud samt att lärare skulle finnas på plats att besvara frågor kring enkäten eller utvärder ingen i sig. Slutligen uppmanades läraren att kontrollera vilka som var frånvarande och ge dem möjlighet att besvara enkäten . 8 O. Hellevik, 72. 62 Uppläggning och metod Distributionen av påbörjades . hade en förstudie genomförts, där enkäten utvärde rats på fyra utbildningar. Insamlingen av avslutades i janu ari 1999. Distributionen av inleddes . Inför data- insamlingen prövades enkäten i två förstudier omfattande totalt sex olika utbildningar. Inledningsvis bestämdes att insamlingen av skulle pågå . visade emellertid inkomna enkätsvar att flertalet utbildningar ännu inte genomfört någon period för Lärande i arbete (). Tidsperioden för kortades därför till april månad 1999. Genomförandet av inleddes , genomfördes i form av telefonintervjuer utförda av SCB, och avslutades . 4.3.7Tidsperioder med begränsad datainsamling Redovisningen av resultaten från enkätstudierna sker utifrån två beräk- ningsgrunder. Orsaken till detta är att det finns två möjliga tolkningar av hur bruttopopulationen storlek skall beräknas, vilket i sin tur är av- hängigt av tidsperioden för den huvudsakliga datainsamlingen. En tolkning är att beräkna bruttourvalet på den totala populatio nen alltifrån de första utbildningarna vilka startade och fram till angivet stoppdatum för respektive enkätstudie. En alternativ, och rimligare, tolkning är att man exkluderar den inledande perioden, där endast mycket begränsad datainsamling skedde. Med denna tolkning beräknas istället bruttopopulationen från och med resultaten av första datainsamlingen som genomfördes . Det är främst För- enkäten som omfattas där bortfallsperioden sträcker sig . För är motsvarande exklude- rande period mellan augusti 1996 och december 1996.9 Beräkning av bruttopopulationen storlek har betydelse för svars- frekvens och bortfall. Vi redovisar därför resultatet utifrån båda beräk- ningsgrunderna. 9 Betydelsen av aktuell bortfallsperiod redovisas i avsnittet bortfallsanalys. Uppläggning och metod 63 Av tabell 4.1 framgår att strategin med gruppenkät givit ett gott resultat. Beroende på om bortfallsperiod eller ej räknas in som grund för bastalet har av samtliga utbildningsomgångar medverkat. Om vi tittar närmare på antalet utbildningsomgångar som medverkat och inleder analysen med , framgår att vid inkluderande av aktuell bortfallsperiod (fält A) utgjordes bruttopopulationen av totalt 396 utbildningsomgångar10. Bruttopopulationen är därefter justerad med 19 stycken vilket ger en nettopopulation på 377 utbildningsomgångar.11 Av nettopopulationen har totalt 339 medverkat vilket ger en täckningsgrad på . Bortfallet, dvs antalet utbildningsomgångar som inte besvarat , är 38 stycken eller . Detta goda resultat förbättras ytterligare vid alternativ beräkning som baseras på exkludering av aktuell bortfallsperiod (fält B). Med denna beräkningsgrund uppgår bruttopopulationen till 365 utbildnings- omgångar. Av dessa har 18 stycken justerats bort vilket ger en netto- population på 347 utbildningsomgångar. Täckningsgraden blir i detta fall . Antal utbildningsomgångar som omfattats av enkätstudierna. Medverkan totalt (%) * Inkluderande bortfallsperiod. Resultatet från visar också den på en hög grad av med ver- kan. Vid beräkning som bygger på inkludering av bortfallsperioden (fält C), utgjordes bruttopopulationen av 215 utbildningsomgångar. 10Antalet utbildningsomgångar baseras på registerdata från cerad yrkesutbildning, 5, 103 33 . 11Justeringen består av att bruttourvalet har reducerats utifrån dels antalet utbild- ningsomgångar vilka planerats men ej startat, dels utbildningsomgångar som deltagit vid förstudier. De senare har exkluderats med tanke på den negativa effekten av att först delta i en för studie för att kort därefter på nytt besvara samma enkät. 64 Uppläggning och metod justerades sedan ned med sex stycken. Nettopopulationen blev således 209 stycken. Av dessa har totalt 183 medverkat vilket ger en täckningsgrad på . Bortfallet är 30 stycken eller . Eftersom också påverkats av bortfallsperioden har en motsvarande alternativ beräkning gjorts (fält D). Med denna beräk- ningsgrund utgjordes bruttopopulationen av 204 utbildningsomgångar. Av dessa har fem justerats bort vilket ger en nettopopulation på 199 stycken. Täckningsgraden uppgår i detta fall till . I har studenter från 48 utbildningsomgångar del tagit. I likhet med resultatet ovan visar sammanställningen i tabell 4.2 att svarsfrekvenserna är höga också bland de studerande. Urvalsstorlek och svarsfrekvens för samtliga enkätstudier, angivna med absolut och relativ frekvens. Svarsfrekvens (%) * Inkluderande aktuell bortfallsperiod. Om vi inledningsvis tittar på resultatet för För enkäten framgår det att vid beräkning där aktuell bortfallsperiod inkluderats (fält A), uppgick bruttopopulationen till 9 978 studenter. Detta värde justerades12 ned med 174 vilket ger en nettopopulation på 9 804 studenter. Av dessa besvarade totalt 7 908 studenter enkäten vilket med denna beräknings- grund ger en svarsfrekvens på . Det totala bortfallet är 1 896 stycken eller . Vid beräkning av svarsfrekvensen exkluderande den aktuella bortfallsperioden (fält B), sker en minskning av bruttopopulationen till 9 076. Med oförändrad justering ger detta en nettopopulationen på 8 902 studenter. Den totala svarsfrekvensen upp- går med detta beräkningssätt till . 12 Reducering av antalet studenter har skett utifrån två kriterier, dels de studerande som inte påbörjat utbildningen, dels studerande som deltagit i någon av förstudierna. Uppläggning och metod 65 Resultatet av visar också den på ett gott resultat vad avser svarsfrekvens. Vid inkluderande av aktuell bortfallsperiod (fält C) uppgick bruttopopulationen till 4 722 studenter. Detta värde justerades sedan ned med 136 studenter vilket gav en nettopopulation på 4 586. Av dessa besvarade totalt 3 435 vilket ger en svarsfrekvens på . Det totala bortfallet är 1 151 studenter eller . Vid beräkning där den aktuella bortfallsperioden exkluderats (fält D), sker också i detta fall en förbättring av resultatet. Med detta beräknings- sätt uppgick bruttopopulationen till 4 597 studenter. Efter justering med 108 studenter uppgick nettopopulationen i detta fall till 4 489. Svars- frekvensen ökade till . I utgjordes bruttourvalet av 1 308 studenter. Detta värde justerades ned med 15 vilket gav ett nettourval på 1 293 studenter. Av dessa besvarade 1 124 studenter SCB:s telefonintervju vilket ger en svarsfrekvens på . Bortfallet vid telefonintervjuerna blev 169 studenter eller . Av resultatredovisningen ovan framgår att bortfallet från samtliga tre genomförda enkätundersökningar, oavsett beräkningsgrund, inte över- stiger det som kan betraktas som acceptabelt.13 Det högsta bortfallet svarar för . Därefter kommer med 19 procent.14 Som tidigare redovisas bortfallsanalysen utifrån två beräkningsgrunder beroende på om bortfallsperiod inkluderats eller ej.