title: Durchführung des Schulprojekts Reflect in der Praxis
Creators: name: Pichler, Michaela
Publisher: name: :none
Year: 2014

description: Die Erhebung von Implementierungstreue ist für die Erklärung des Zustandekommens und die Interpretation von Trainingseffekten von zentraler Bedeutung (Dane &amp; Schneider, 1998). Dennoch wird in der klassischen Programmevaluation stets mehr Wert auf die Überprüfung von Trainingseffekten als auf die Überwachung des Prozesses der Implementierung gelegt (Elliott &amp; Mihalic, 2004). Angaben zur Implementierung sind immer noch eine Seltenheit in Evaluationsstudien (Dane &amp; Schneider, 1998). Falls überhaupt Daten zur Implementierungstreue erhoben werden, so stammen diese zumeist nur von einer Personengruppe und es werden kaum einmal verschiedene Perspektiven miteinander verglichen (Durlak &amp; DuPre, 2008). Daher war es das zentrale Anliegen dieser Studie, die Implementierungstreue des schulbasierten Gendertrainings Reflect aus drei verschiedenen Perspektiven zu betrachten (LehrerInnen, SchülerInnen und ExpertInnen). Eine zentrale Komponente des Projekts war die Umsetzung gemäß der Selbstbestimmungstheorie (Deci &amp; Ryan, 2002). Die Lehrkräfte sollten ihre SchülerInnen in Bezug auf Autonomie, Kompetenzerleben und soziale Eingebundenheit unterstützen. Die SchülerInnen und LehrerInnen beurteilten die theoriekonforme Umsetzung mittels eines Onlinefragebogens, drei ExpertInnen anhand von Projektportfolios. Die drei Perspektiven wurden mittels einer Korrelationsanalyse und eines T-Tests verglichen. Um die Relevanz der implementierungstreuen Umsetzung für die Wirksamkeit des Projekts zu ermitteln, wurde eine Mehrebenenanalyse durchgeführt, die die verschiedenen Beurteilungen mit einem Trainingseffekt in Zusammenhang bringt (Veränderung des Umgangs mit Unterschiedlichkeit der SchülerInnen). Die Korrelationsanalyse hat gezeigt, dass die verschiedenen Perspektiven durchwegs signifikant aber niedrig korrelieren. Die Beurteilungen der Lehrpersonen fielen signifikant (p &lt; .01) höher aus als die Beurteilungen der SchülerInnen. Die SchülerInnen- und LehrerInnenbeurteilungen sozialer Eingebundenheit stellten sich als signifikante Prädiktoren des Trainingseffekts heraus (SchülerInnen β = .17, p &lt; .01, LehrerInnen β = .21, p &lt; .05). Die ExpertInnenbeurteilung der Autonomie war ein marginal signifikanter Prädiktor (β=.22, p = .07), die LehrerInnenbeurteilung der Autonomie war ein signifikanter aber negativer Prädiktor (β = -.19, p &lt; .05). Die Ergebnisse zeigen, dass alle drei Beurteilungsperspektiven zur Erklärung der Wirksamkeit des Projekts beitragen können. In Anbetracht des Informationsgewinns durch die ergänzende Verwendung muss für einen multi-method multi-informant Ansatz bei zukünftigen Implementierungsevaluationen plädiert werden.
description: Measuring Implementation fidelity is crucial for interpreting intervention outcomes and explaining their emergence. Despite its importance for the validity of evaluations and for replicating evidence-based programs effectively in practice (Dane &amp; Schneider, 1998; Dumas et al., 2001; Mowbray et al., 2003) there is still a lack of implementation analysis in most evaluation studies (Dane &amp; Schneider, 1998). If implementation fidelity is measured at all mostly only one perspective (coaches, experts or participants) is factored in and perspectives are hardly ever compared to each other (Durlak &amp; DuPre, 2008). Therefor there is only little information about differences and agreements between the perspectives. Accordingly this study‘s aim was to include three perspectives into the assessment of intervention fidelity of a school-based gender training called Reflect. One of the program‘s core components was to implement it in regard to Self-Determination Theory (Deci &amp; Ryan, 2002). Teachers were supposed to support students‘ perceptions of competence, autonomy and relatedness. Students and teachers were asked to rate the degree to which teachers‘ implementation had adhered to this core component using an online questionnaire and three experts rated the adherence based on intervention-portfolios provided by the teachers. The three perspectives were then compared through correlational analyses and a t-test. A multilevel-analyses was conducted to assess the different predictive values for a training outcome (students‘ change in handling diversity). Correlation analyses showed that the three perspectives correlated significantly but low. Teacher self-reports provided significantly higher ratings for each variable compared to student ratings (p &lt; .01). Student rating and teacher rating of adherence to support of relatedness were highly significant predictors of the outcome (students β = .17, p &lt; .01, teachers β = .21, p &lt; .05). Expert rating of adherence to autonomy support was a marginal significant predictor of the outcome (β = .22, p = .07), Teacher rating of adherence to autonomy support was a significant but negative predictor of the outcome (β = -.19, p &lt; .05). Based on these results the advantages and disadvantages of the three different perspectives are discussed and the benefits of a multi-method and multi-informant approach in measuring implementation fidelity are pointed out.