Source: http://paedpsych.jk.uni-linz.ac.at/PAEDPSYCH/EVALUATION/EVALUATIONLITORD/BUKO.html
Timestamp: 2017-11-21 13:50:20+00:00

Document:
Entwurf einer Evaluierungsverordnung - EvalVO
Stellungnahme der BUKO zum Entwurf einer Verordnung des Bundesministers für Wissenschaft, Verkehr und Kunst über Grundsätze für die Durchführung von Evaluierungen in Forschung und Lehre der Universitäten (Evaluierungsverordnung - EvalVO, GZ 68.152/18-I/B/5B/96)
Die BUKO sieht in der Evaluierung eine Chance, die Entwicklungen der Universität sowohl auf personeller wie auch auf organisatorischer Ebene zu optimieren und somit ein hohes internationales Niveau zu erreichen bzw. zu erhalten.
Insbesondere schafft es die Möglichkeit einer verstärkten Leistungsorientierung im universitären Bereich. Die Aufgabe der vorliegenden Evaluierungsverordnung wäre also die Festlegung von Grundsätzen gewesen, die ein methodisch klares, internationalen Erfahrungen folgendes und für die Beteiligten akzeptierbares Evaluierungsverfahren sicherstellen sollen.
Eine solche Verordnung müßte also den Grundregeln der Evaluierung folgend berücksichtigen:
1) Jede Evaluierung hat aus mehreren klar definierten Stufen bzw. Komponenten zu bestehen:
Wer oder was soll evaluiert werden?
Welches Ziel hat diese Evaluierung? (Optimierung, Entscheidungsfindung,..)
Mit welchen Methoden soll evaluiert werden?
Wer soll die eigentliche Bewertung vornehmen (Experten, Peers, zweistufige Evaluierung mit Selbst- und Fremdbeurteilung)?
Wie soll die Rückkoppelung der Ergebnisse stattfinden?
2) Es ist insbesondere darauf Bedacht zu nehmen, daß sich die evaluierten Personen oder Einheiten mit den Zielen der Evaluierung und mit den dabei verwendeten Methoden weitgehend identifizieren können. Nur auf diese Weise ist sichergestellt, daß der gewünschte Optimierungseffekt auch eintreten kann.
3) Um universitäre Leistungen in Forschung und Lehre auch angemessen beurteilen zu können, sind auch immer die Rahmenbedingungen mitzuberücksichtigen. Dazu gehören insbesondere die Ausstattung (Raum, Personal, Geräte,...) die Belastung im Bereich der universitären Selbstverwaltung, aber ebenso die Qualität der universitären und ministeriellen Verwaltung. Daher ist auch insbesondere der letzte Bereich regelmäßig zu evaluieren, da er wesentlich zum Funktionieren der Universitäten beiträgt.
4) Um Evaluierung auch professionell durchführen zu können, wird es notwendig sein, ausreichend personelle und finanzielle Ressourcen zur Vorbereitung der Durchführung zur Verfügung zu stellen. Da im UOG 93 hierfür explizit keine Kosten vorgesehen sind, der Entwurf gleichzeitig aber von Kostenneutralität spricht, ist klar darauf hinzuweisen, daß Evaluierung ohne zusätzliche Ressourcen für die Universitäten eine neue Belastung und nicht ein Verbesserung darstellen wird.
Der vorliegende Entwurf kommt den genannten Vorstellungen in keinem Bereich nach und enthält eine Reihe von grundsätzlichen Mängeln, die alleine schon so schwer wiegen, daß die BUKO sich für eine Neufassung der Verordnung und damit neuerliche Begutachtung ausspricht.
Grundsätzliche Mängel:
Es erfolgt nur eine pauschale Definition der Ziele der Evaluation, so daß der Typus der Evaluierung, durch den die verschieden Ziele erreicht werden können, unklar bleibt. So kann eine Evaluierung auf (i) internationaler (ii) österreichischer (iii) universitärer Ebene sowohl innerhalb einzelner als auch zwischen verschieden Fachbereichen erfolgen. Jede dieser Evaluierungen erfordert unterschiedliche Instrumente. Davon ist im Entwurf nicht die Rede.
Eine Evaluierung darf sich nicht auf die Messung von Quantität und Qualität des Produktes (im Falle einer Universität Forschung und Lehre) beschränken, sondern muß notwendigerweise auch die Zufriedenheit, Motivation der Mitarbeiter, die Abläufe in Forschung und Lehre (Prozeßevaluation) und die Strukturen analysieren. Davon ist in dieser Verordnung nicht einmal ansatzweise zu lesen.
Die BUKO fordert eine Feststellung der Rahmenbedingungen, die für die Erreichung der vorgegebenen Ziele vorhanden sind, bevor eine Evaluierung durchgeführt wird. Bei unzureichenden Rahmenbedingungen sollten zuerst diese verbessert werden, bevor ein aufwändiges Evaluierungsverfahren begonnen wird.
Falls nicht hinreichende Zeit für die verschiedenen Evaluierungstypen vorgesehen wird, sieht die BUKO die Gefahr, daß wesentliche Ressourcen der Universität in einer Selbstevaluierung gebunden werden, was sich wiederum negativ auf den Evaluierungsprozeß sowie dessen Ergebnis auswirken würde (mangelnde Präzision durch Hast und Vernachlässigung von Forschungs- und Lehraufgaben).
Wenn regelmäßige Evaluierungen nicht an Maßnahmen gekoppelt sind, die einer vorhergehen den Evaluierung zu folgen haben, ist eine reine Berichts- und Formular- Universität zu befürchten.
Das UOG verwendet den Begriff Evaluation immer nur mit dem Objekt von "Forschung und Lehre", insbesondere in Par. 18 (7) UOG, der die Rechtsgrundlage dieser Verordnung bildet. Eine Ausdehnung auf universitätsbezogene Maßnahmen ohne direkte Auswirkung auf Forschung und Lehre ist im Gesetz nicht vorgesehen. Der Versuch, mit dieser Verordnung auch Aspekte der Dienstaufsicht zu regeln, wird daher als unglücklich betrachtet.
Der Grundbegriff "Evaluierung" bleibt im vorliegenden Entwurf unbestimmt. Als Folge davon erscheinen die verschiedentlich benutzten Begriffe "Instrument", "Bewertung" und "Ergebnis" nicht nur unklar, sondern werden sogar widersprüchlich verwendet. So werden in § 4 die Fragebögen der Studenten noch als Instrumente der Evaluierung bezeichnet, in § 8 (1) und an anderen Stellen (auch in den Erläuterungen) mutieren diese Fragebögen plötzlich zu Evaluierungsergebnissen, weil daraus Konsequenzen gezogen werden. Die einfache Gleichsetzung dieser völlig verschiedenen Begriffe ist strikt abzulehnen. Die Studenten evaluieren die Lehrenden nicht, sondern liefern den evaluierenden Organen Datenmaterial. Ebenso liefern die Institutsvorstände mit ihren Arbeitsberichten Datenmaterial für die Evaluierung, aber keine Evaluierungsergebnisse. Aus der Definition sollte klar hervorgehen, was als Datenmaterial anzusehen ist (Fragebögen der Studenten, Diplomarbeiten, Veröffentlichungen usw.), und wer die Organe sind, die das Datenmaterial auswerten und damit die eigentliche Evaluierung durchführen.
Evaluierungen sind ein Instrument für die Erfolgskontrolle und beziehen sich damit immer auf Vorhandenes oder Vergangenes. Weit weniger klar bleibt die Rolle der Evaluierung als mögliches Steuerungsinstrument. Entscheidungen über neue Strukturen, Berufungen, Bestellung von Gastprofessoren sowie Ressourcenzuteilungen müssen in diesem Sinne bedacht werden, bedürfen eines hohen Maßes von Verantwortung und sollten daher wohl selbst einer späteren Objektivierung unterliegen.
Der Bewertung von Forschungs- und Lehrergebnissen wird im Entwurf sehr unterschiedliche Aufmerksamkeit geschenkt. Während für die Lehrveranstaltungsbewertung ein ganzer Abschnitt (§ 5) mit einer eigenen Überschrift vorhanden ist, fehlt Entsprechendes für die Forschungsbewertung. Die Erhebungen, die in den Arbeitsberichten der Institutsvorstände vorgeschrieben sind, sind nicht aussagekräftig genug. Generell werden für die Bewertung von Forschungsergebnissen zu einseitig Berichte herangezogen. Bei wesentlichen Entscheidungen, für die man aussagekräftige Ergebnisse braucht, sollte man auf Peer-reviews (die im Entwurf und in den Erläuterungen nur eine ganz untergeordnete Rolle spielen) nicht verzichten.
Wenn Evaluationen unter anderem eine Entscheidungshilfe für das BMWVK darstellen sollen, dann muß die Vergleichbarkeit zwischen den einzelnen Universitäten, bzw. Fakultäten gegeben sein. Dies setzt jedoch genauere methodische Vorgaben und vor allem definierte Mindeststandards voraus. In diesen Punkten ist trotz Autonomie der Universitäten der Gesetzgeber gefordert.
Auf die Kosten und Effizienz der Evaluation wird nicht eingegangen. Dies ist aber sehr entscheidend, da internationale und österreichweite Evaluationen kostspielig sind, falls sie, wie zweifelos zu fordern, sachgerecht durchgeführt werden sollen.
Nicht zuletzt erheben sich nach eingehender Meinungsbildung und Diskussion mit zahlreichen Juristen auch verfassungsrechtliche Bedenken gegen die vorliegende Evaluierungsverordnung.
So ermächtigt § 18 Abs. 2 UOG 93 den Bundesminister für Wissenschaft, Verkehr und Kunst nur zu einer weitreichenden Konkretisierung und Standardisierung der Datenerhebung im Kontext mit den Arbeitsberichten der Institutsvorstände. Diese sind als rein empirische Tätigkeiten anzusehen und stehen somit in keinem direkten Zusammenhang mit einem normativ wertenden Vorgang, den eine Evaluierung beinhaltet.
Auch in § 18 Abs. 7 UOG 93 wird der Bundesminister lediglich ermächtigt, Grundsätze für die Durchführung von Evaluierungsmaßnahmen in Forschung und Lehre durch Verordnung zu regeln. Die im UOG 93 beinhaltete Anordnung, daß Richtlinien zur Evaluierung in den Satzungen zu regeln sind, würde jedenfalls im Sinne der diesem Gesetz zugrundeliegenden Autonomie eine zentrale Evaluierungsverordnung relativieren, da eine Ermächtigung für eine inhaltliche Determinierung nicht aus dem UOG 93 abzuleiten ist.
Eine neue Evaluierungsverordnung hätte sich so auf formale Vorgaben zu beschränken und die Ausdehnung der Verordnung auf inhaltlich - wertenden Aspekte würde dem UOG 93 eine verfassungswidrige Lösung unterstellen, zumal schon Zielfestlegungen und Typen (§§ 1, 2 der Verordnung) die gesetzliche Ermächtigung (§ 2 Ziffer 2-4 der Verordnung) überschreiten würden.
Überdies wiederspricht die Verordnung dem Determinierungsgebot des Artikel 18 Abs. 1 BVG ("sach- und instrumentengerecht").
Die BUKO möchte beispielhaft einige wesentliche Mängel herausstreichen, jedoch gleichzeitig darauf hinweisen, daß aufgrund der inakzeptablen Qualität dieses EvalEntwurfes ein Nicht-Erwähnen von problematischen Paragraphen und Formulierungen nicht als Zustimmung ausgelegt werden darf. Dies sei ausdrücklich festgehalten, da die BUKO ansonsten eine Interpretation" der Stellungnahmen, wie im Falle des Universitätsstudiengesetzes geschehen, befürchtet.
Kritik zu einzelnen Punkten
§ 1. Es bleibt unklar, was im Entwurf unter Einheiten gemeint ist. Im Entwurf ist von Instituten und von Einzelpersonen, von Habilitanden oder Lehrveranstaltungsleitern, die Rede. Wie die Entscheidungen aussehen könnten, die eine Qualitätssicherung und -verbesserung erbringen sollen, bleibt offen. Dies ist aber eine ganz wichtige und dienstrechtlich sensitive Frage. Die in den Erläuterungen erwähnte Wirtschaftlichkeit bleibt im Zusammenhang mit Grundlagenforschung und Bildung unklar, ja mißverständlich.
§ 2. Das Gewicht sollte auf der Evaluierung von Forschung und Lehre liegen. Die Evaluierung bei den in § 2. 1 genannten Maßnahmen, einschließlich der Änderung von Studienvorschriften, sollte nur in besonderen Fällen gefordert werden. Überdies ist die Aufzählung unvollständig, da in § 8 (1) der Verordnung die Evaluierung im Zusammenhang mit Entscheidungen über Einzelpersonen herangezogen werden soll.
Evaluierungen sollten sich auf größere Einheiten beschränken, dann jedoch gründlich durchgeführt werden. Mini-Evaluationen zu untergeordneten oder speziellen Problemen sind abzulehnen. Insbesondere soll auf Detail-Evaluierungen von einzelnen Änderungen in Studienvorschriften verzichtet werden können, wenn eine größere Evaluierung des betreffenden Studiums ohnehin innerhalb eines angemessenen Zeitraumes vorgesehen ist.
§ 3 (2) Sollte aus Konsistenzgründen unbedingt die Möglichkeit eines weiblichen Bundesministers vorsehen. Die schlichte Formulierung "durch den Bundesminister" ist demnach durch "durch den/die Bundesminister/in" zu ersetzen.
§ 4. Hier tritt die Vermischung von Evaluierungsinstrumenten und Evaluierungsergebnissen besonders zutage. (Siehe Abschnitt "grundsätzliche Mängel".)
§ 5. Der Satz (1) sollte leichter lesbar gemacht werden. Die Vorschriften (2) bis (5) scheinen unnötig detailliert zu sein.
§ 5 (4). Die angegebene Frist von 2 Wochen ist zu knapp. Vorschlag: Mindestfrist von 4 Wochen. Die Verordnung soll keine maximale Frist festlegen.
§ 6 (1) 5. Der Erstautor ist weder immer der Hauptautor, noch sollte eine Veröffentlichung von mehreren Autoren nur einem angerechnet werden. Gerade in den technischen- und naturwissenschaftlichen Disziplinen werden häufig Untersuchungsergebnisse veröffentlicht, an denen mehrere Verfasser maßgeblich beteiligt sind. Die bisherige Formulierung würde sich besonders gegen die immer wieder geforderten Forschungskooperationen jeglicher Art richten. Insbesondere würde dadurch einer Benachteiligung von Studenten und Drittmittelangestellten im Institutsinteresse" Vorschub geleistet. Anderenfalls würde der an vielen Instituten geübte Brauch, daß der hauptbeitragende Student als Erstautor genannt wird, nach dieser Regelung zu einer Benachteiligung des Instituts in der Evaluierung führen. Auch in internationalen Kooperationen ist es oft üblich, die Autoren in alphabetischer Reihenfolge anzuführen. Die in den Erläuterungen angeführte Bemerkung, daß es schwer möglich ist, die Arbeiten eines Institutes zu erfassen, ist im Zeitalter der EDV nicht nachvollziehbar. So werden an vielen Fachgruppen, z.B. an der TU Wien, die Dotationen nach einem Schlüssel verteilt, in dem als einer der Gewichtungspunkte solche Arbeiten zählen, in denen ein Institutsangehöriger Mitautor ist.
Ferner ist die bloße Anzahl der abgeschlossenen Forschungsprojekte und Publikationen kein hinreichendes Maß für die Forschungsleistung. Aus diesen Gründen sollten dem Arbeitsbericht die vollständigen Publikationslisten und Angaben über den Umfang der über Forschungsprojekte ein geworbenen Drittmittel beigefügt werden.
Die einzigen im Verordnungstext genannten Evaluationsparameter sind die bereits sattsam bekannten Erhebungsdaten des Arbeitsberichtes der Institutsvorstände". Daß dies wohl kein sinnvolles Evaluationskriterium darstellen kann, muß nicht weiter ausgeführt werden und ist wohl auf eine gewisse Fantasielosigkeit des (der) Verfasser zurückzuführen.
§ 8.(1) Am Ende des ersten Satzes fehlt, für die". Inwiefern bei den Punkten 1., 5. und 6. die Entscheidung von einer Evaluierung abhängig gemacht werden soll, ist unklar. Der Institutsbericht kann jedenfalls keine derartige Entscheidungsgrundlage liefern. Zwar wird in den Erläuterungen weiteres Evaluierungsmaterial genannt, wie etwa bibliographische Daten etc., dies hat aber keinerlei Relevanz im Zusammenhang dieser Verordnung. Es zeigt sich hier nur, da§ der Gesetzgeber die Unzulänglichkeit des Institutsberichts erkennt.
§ 8.(3) Die Formulierung eindeutig negativ beurteilt" kann sich nicht auf die Bewertungen der Studenten direkt beziehen, sondern auf die Schlüsse, die das Evaluierungsorgan daraus zieht.
§ 8.(3) und (4) Bei der Beurteilung von Personen sind neben den tatsächlichen Lehr- und Forschungsleistungen auch die Rahmenbedingungen zu berücksichtigen, unter denen die Leistungen erbracht worden sind (z. B. über- oder unterdurchschnittlicher Einsatz in Lehre oder Verwaltung, Patientenbetreuung ect.).
Die BUKO fordert daher den Bundesminister für Wissenschaft, Verkehr und Kunst auf
1. den vorliegenden Entwurf einer EvalVO zurückzuziehen,
2. aufbauend auf internationalen Erfahrungen und nach eingehender Diskussion und Erfahrungsaustausch mit den Universitäten eine völlig neue Verordnung zu schaffen, und diesen neuen Entwurf einer erneuten Begutachtung zu unterziehen.
Diese sollte insbesondere die Voraussetzungen schaffen, daß Evaluierungen zu Verbesserungen im Bereich der Personal- und Organisationsentwicklung führen.
28. Mai 1996

References: § 4
 § 8
 § 18
 § 18

§ 1

§ 2
 § 2
 § 8

§ 3

§ 4

§ 5

§ 5

§ 6

§ 8

§ 8

§ 8