Source: http://paedpsych.jk.uni-linz.ac.at/PAEDPSYCH/EVALUATION/EVALUATIONLITORD/Assverb.html
Timestamp: 2017-11-23 16:34:54+00:00

Document:
Evaluierungsv.-Stellungnahme Ass.V.-WU
AssistentInnenverband der Wirtschaftsuniversität Wien
AVWU Augasse 2-6, 1090 Wien
Stellungnahme zum Entwurf der Evaluierungsverordnung - EvalVO
(Wien 21.5.1996)
Aus der mittlerweile äußerst umfangreichen wissenschaftlichen Literatur zur Evaluierungen in Forschung und Lehre lassen sich einige Mindest-Anforderungen formulieren, denen Evaluationen im Wissenschaftsbereich auf jeden Fall genügen müssen:
Evaluationen sind als prozeßorientierte Eingriffe mit vorgängiger Abstimmung und Zielbestimmung unter den Beteiligten zu konzipieren.
Es sind die jeweiligen Analyseeinheiten - zeitlich, sachlich und sozial - genauestens zu definieren.
Es sind jedenfalls alle relevanten Ebenen der organisatorischen und individuellen Leistungserbringung zu berücksichtigen: Input, Struktur, Reputation und Output. Bloß outputorientierte Leistungsbewertung von Einzelpersonen verkennt die soziale Dimension wissenschaftlicher und didaktischer "Leistung"
Evaluationen müssen alle Zielbereiche und zu evaluierenden Ebenen etwa gleich gewichten. Dementsprechend sind differenzierte und den jeweiligen Ebenen angemessene Evaluationsinstrumente einzusetzen.
Evaluationen sind als Sozialforschung zu konzipieren - mit den ihr eigenen fundamentalen Kriterien wie Zuverlässigkeit, Gültigkeit, Genauigkeit.
Es sind professionelle EvaluatorInnen einzusetzen - mit entsprechenden theoretischen wie methodischen Kompetenzen. Diese sind nicht zuletzt mit ausreichenden Mitteln auszustatten.
Die AssistentInnen der Wirtschaftsuniversität Wien haben zudem bereits mehrfach zum Ausdruck gebracht, daß sie Qualitätssteigerung als das vorrangige Ziel jeglicher Evaluation betrachten und diese als reflexions- und feedbackorientierten Prozeß verstehen. Vorliegender Entwurf regt im Gegensatz dazu eine mißbräuchliche Verwendung von vorweg einschränkenden und verkürzenden Bewertungsinstrumentarien an:
Die EvalVO legt die Konzeption von Evaluation als ausschließlich negativ orientiertes Sanktionsinstrument auf methodisch fragwürdiger Basis nahe.
Es wird damit universitäre Entwicklung eher erschwert; qualitative Verbesserung in Forschung, Lehre und Verwaltung werden damit tendenziell behindert.
Es liegt der EvalVO ein ideologisch verzerrtes, rein output-orientiertes und damit technokratisches Verständnis von "Leistung", "Effektivität", "Effizienz" und deren Messung zugrunde.
Sie zeichnet sich durch eine ungleichgewichtige Überbetonung eines Teilbereichs universitäre Aufgaben - der Lehre - aus.
Strukturell - organisatorische Komponenten und Rahmenbedingungen von Forschung und Lehre werden gänzlich ausgeblendet.
Darüberhinaus liegen dem Entwurf - wie bereits zu jenem des UniStG. - keinerlei fundierte Überlegungen über Funktionen und Perspektiven universitärer Forschung und Lehre zugrunde.
Der Entwurf zur EvalVO ist aus den genannten Gründen mit Nachdruck zurückzuweisen.
Zu den §§ im Einzelnen:
§ 1.: Als Ziele von Evaluierungen werden die "Kontrolle der Effektivität und Effizienz" sowie die Schaffung von "Entscheidungsgrundlagen zur Qualitätssicherung und -verbesserung" genannt. In den Erläuterungen folgt der Hinweis darauf, was darunter zu verstehen sei: mit Effektivität gemeint sind "Zweckmäßigkeit und Wirksamkeit universitären Handelns...", Effizienz zielt vorrangig auf "Wirtschaftlichkeit" der Leistungserbringung.
Es werden hier Ziele mit erwarteten Effekten des auf Kontrolle gerichteten Eingriffs verwechselt; technokratische, betriebswirtschaftliche und rein output-orientierte Modellvorstellungen werden damit unbesehen und unreflektiert auf Universitäten und Hochschulen übertragen. Was denn die mehrfach angesprochene "Qualitätsdimension" universitärer Leistungserbringung in ihrem historischen, kulturellen und fachspezifisch je unterschiedlichem Kontext bedeuten könne, wird nicht einmal angesprochen.
§ 2.: Auch hier zeigt sich mangelndes Sach-Verständnis der AutorInnen der EvalVO; was hier als "Typen" von Evaluierungen bezeichnet wird, sind allenfalls Ebenen der gemäß UOG `93 in Aussicht genommenen Bewertung.
Diese sind ohnedies im § 18 UOG festgeschrieben; eine Spezifizierung von in Frage kommenden Typen der Evaluation erfolgt gerade nicht. Eine Durchsicht relevanter Literatur zum Thema wäre hier hilfreich gewesen. So werden unter Typen üblicherweise genannt: leistungsorientierte Kennzahlen, gegenseitige Begutachtung, Selbstevaluation, externe Evaluation u.a.m.
§ 4.: Das Verständnis dessen, was "Evaluierungsinstrumente" sein können, entbehrt neuerlich der Sachkenntnis: Instrumente sind in der Regel Methoden-abhängig und die Wahl der Methoden hat sich - will man Evaluierung ernst nehmen und sie wenigstens Minimalkriterien von Sozialforschung unterziehen (vgl. o.) - an der jeweiligen Fragestellung und Zielbestimmung zu orientieren.
Und - auch darauf hat der AVWU - schon früher hingewiesen, müssen je nach zu bewertender Ebene der Universität differenzierte Evaluationsinstrumente entwickelt werden.
Während, um hier ein Beispiel zu nennen, etwa auf der Ebene einer einzelnen Lehrveranstaltung der Prozeß der Wissensvermittlung und die `Kernleistung' zu evaluieren sind, ist auf institutioneller Ebene der Planungs- und Informationscharakter von Lehrveranstaltungsangeboten einer Beurteilung zu unterziehen.
Hinzu kommt, daß mit § 4. (1) eine u.E. unzulässige Einschränkung der in Frage kommenden Methoden der Evaluierung vorgenommen wird.
§ 5.: Steht in seinem ersten Absatz in tendenziellem Widerspruch zu § 4 (2): in ihm wird spezifiziert, worauf die Evaluation durch die Studierenden sich zu richten habe (u.a. "eine summarische Bewertung der Lehrveranstaltung"), während gemäß § 4. (2) die Methodenwahl dem evaluierungzuständigen Organ freigestellt wird.
§ 5. (2) - worin dem Studiendekan die "Herstellung der Erhebungsformulare" überantwortet wird, steht in Widerspruch zu § 18 (4) UOG `93 - wonach dem Studiendekan die Publikation der "Auswertungen dieser Lehrveranstaltungssbewertungen ... mit Zustimmung und einer allfälligen Stellungnahme des jeweiligen Lehrveranstaltungsleiters in geeigneter Weise" obliegt. Eine Spezifikation der Richtlinien ist in der Satzung vorgesehen.
Der Vorwurf des Widerspruchs zu bzw. der unzulässigen Einengung der UOG- Bestimmungen trifft auch die Absätze (4) und (5):
G. Bast führt in seinen Erläuterungen des § 18 (4) UOG `93 aus: "Sofern die Publikation nicht in anonymisierter Form erfolgt, muß die Zustimmung der betroffenen Universitätslehrer vorliegen."
Dies ist mit einer zweiwöchigen Frist zur Stellungnahme und Mitteilung einer Verweigerung nicht hinreichend gewährleistet. Es wird mit diesen Bestimmungen zudem die Interpretation nahegelegt, daß "Verweigerung der Zustimmung zur Veröffentlichung" gleichbedeutend ist mit negativer Bewertung.
Dies steht jedenfalls in Widerspruch zu einer auf Qualitätssteigerung gerichteten Evaluierung.
§ 6.: Wie im gesamten Entwurf ist in den Bestimmungen über die "Arbeitsberichte der Institutsvorstände" eine generelle Tendenz zu inhaltlich verkürzenden Fragestellungen sowie zu rein quantifizierenden Verfahren der Evaluation enthalten.
Die an dieser Stelle methodisch zweifelhafte Trennung nach weiblichen/männlichen AutorInnen gerät im Hinblick auf statistische Auswertungen zur kontraproduktiven Farce: denn in der Regel werden Publikationen alphanumerisch gereiht.
Daß Veröffentlichungen nur nach ErstautorInnen gezählt werden, vermeidet zwar Mehrfachzählungen, verdeckt aber zugleich das Ausmaß von Forschungskooperationen und verkennt damit die - im internationalen Vergleich zunehmende - Bedeutung von Forschungsteams. Außerdem ist der/die erstgenannte Autor/in keineswegs immer "Hauptautor/in".
Ebenso wird in der Berichtlegung nur auf Projektleitungen bezug genommen, nicht aber auf die - in der Regel mindestens ebenso arbeitsintensive - Mitarbeit in Forschungsprojekten. Die bloße Anzahl abgeschlossener Forschungsprojekte und Publikationen ist genausowenig ein hinreichnedes Maß für Forschungsproduktivität.
In Zusammenhang mit der generellen und hier erneut zu kritisierenden individualisierenden Output-Orientierung der Leistungsbewertung wird damit beispielsweise auch die Teilnahme von ForscherInnen an großen internationalen Projekten mißachtet und somit tendenziell behindert.
§8.: In Abs. (1) werden - unabhängig von den Rahmenbedingungen ihres Zustandekommens und ohne jeglichen Hinweis auf die Notwendigkeit längerer Beobachtungszeiträume - "vorhandene Evaluierungsergebnisse" zu weitreichenden Entscheidungsgrundlagen für die Personalpolitik gemacht. Damit wird jegliche Prozeßorientierung, jegliche über Feedback-Schleifen laufende Qualitätssteigerung und jegliche Möglichkeit zu "Lernen von UniversitätslehrerInnen" ausgeschlossen und Evaluierung zu einem reinen Sanktionsinstrument gemacht.
Abs. (3) ist allenfalls ein halbherziger Versuch, dies zu kaschieren. Zu allfälligen "Besprechungen" über wiederholte negative Evaluierungsergebnisse mit dem Studiendekan wäre zumindest ein Mitglied des Dienststellenaussschusses des wissenschaftlichen Personals hinzuzuziehen.
Implizit und wie eben gezeigt, zuweilen durchaus explizit, ist in den Bestimmungen der EvalVO ein technokratisches Verständnis enthalten. Forschung und Lehre wird als individuelle Leistung verstanden, die abgehoben vom institutionellen Kontext der Universität als Einzelleistung zu erbringen ist.
Diese Orientierung spitzt die Lehrbeurteilung auf Personen zu und vernachlässigt den Input für die Lehre in Form von Erwartungs- und Interessenlagen der Studierenden, deren Zahl, die inhaltlichen Komponenten, die räumliche und technische Ausstattung von Lehrräumen, die zeitlichen Vorgaben oder die Lehrveranstaltungsform.
Im Forschungsbereich werden kollektive Forschungsleistungen, Forschung in Gruppen, gemeinsame Publikationen, langfristige Projekte ohne kurzfristigen Output (in manchen Bereichen damit vermutlich die Grundlagenforschung), nachhaltig behindert, weil sie einer potentiell negativen Sanktion unterliegen.
Evaluierung kann und darf - soferne sie auf Qualitätssteigerung und die Behebung von strukturellen Mängeln gerichtet ist - nicht bloß dem Output widmen. Gerade dies legt vorliegender Entwurf aber nahe.
§ 10.: Ist, nicht zuletzt aufgrund der mehrfachen Verweisungszusammenhänge, unverständlich formuliert und in seiner Sinnhaftigkeit nicht nachvollziehbar.
Summarische Bewertung:
Es liegen dem Entwurf zur EvalVO mangelnde Kenntnis der minimalen wissenschaftlichen Kriterien, denen gerade auch Evaluationen im Bereich der Wissenschaft genügen müssen, zugrunde sowie mangelndes Verständnis grundlegender methodischer Standards.
Der vorgelegte Entwurf der Evaluierungsverordnung hält somit der "Evaluierung" im Rahmen des Begutachtungsverfahrens nicht Stand und ist daher einer grundlegenden Revision zu unterziehen.
Dr. Gerda Bohmann
Vorsitzende des AVWU
Protestkomitee der Wirtschaftsuniversität Wien
Tel: 0222/31336-4587 Fax: 0222/31336-6065
Email: protest@wu-wien.ac.at
Maintained by Christian Ragacs, 1996

References: § 1

§ 2
 § 18

§ 4
 § 4

§ 5
 § 4
 § 4

§ 5
 § 18
 § 18

§ 6

§8

§ 10