Sustained Acceleration of Achievement in Reading Comprehension: The New Zealand Experience
Authors: Lai Mei Kuin , McNaughton Stuart , Amituanai‐Toloa Meaola , Turner Rolf , Hsiao Selena 
Published: January 2009

Schools with primarily indigenous and ethnic minorities in low socioeconomic areas have long been associated with low levels of achievement, particularly in literacy. This is true for New Zealand despite high levels of reading comprehension by international comparisons (e.g., PISA). Recent reviews of schooling improvement suggest small gains over the short term are possible with well‐designed interventions, but for children in the middle primary school years, the criterion against which effective interventions need to be judged is sustained and systematic acceleration across levels of achievement in order to achieve equitable distributions of achievement. Plotting gains across time is also needed to examine whether “summer effects” can be overcome. The present quasi‐experimental design study was a three‐year research and development collaboration among schools, government, and researchers to raise reading comprehension through critical discussions of achievement and teacher observation data and linking research on effective comprehension practices to specific needs. The collaboration resulted in increased rates of achievement that were variable but sustained across three years. The growth model showed a step‐like pattern with rapid gains over school months and a plateau over summer. Over three years this represented an average achievement gain across cohorts followed longitudinally of one year's progress in addition to expected progress over that period with stanine effect sizes of d = 0.62. The results show the significance of testing effects against the criterion of sustained and systematic achievement and the need to examine growth over multiple calendar years to better represent the pattern of gains.

لقد ارتبطت المدارس التي فيها أقليات عرقية ومحلية في مناطق ذات المجتمع الاقتصادي المنخفض ارتباطاً تاريخياً ولو افتراضيا بمستويات الإنجاز المنخفضة خصوصاً بالنسبة لمعرفة القراءة والكتابة. وينطبق هذا القول على نيو زيلاند بالرغم من مستوياتها العالية بصدد استيعاب القراءة في المؤشرات الدولية المقارنة. وتدل المراجعات المقامة في الأوقات الأخيرة على أن التقدمات الطفيفة قد تتحقق على المدى القصير باستخدام تدخلات تصميمها ذات الجودة العالية لكن بالنسبة للأطفال في أوساط سنوات المدرسة الابتدائية المعيار الذي التدخلات الفعالة ينبغي لها من أن تنحكم هو التقدم المستديم والمنتظم عبر مستويات الإنجاز لتحقيق توزعات متساوية من الإنجاز. ويحتاج الأمر إلى تسجيل إحقاق التقدمات عبر الزمن لتحديد إذا كان في استطاعة التقدمات أن تغلب التأثيرات الصيفية.

إن الدراسة ذات شبه التصميم الاختباري بين يدي القارئ بحث وتنمية مدتهما ثلاث سنوات قد اشتركت فيها مدارس والحكومة وباحثون لتحسين استيعاب القراءة بواسطة مناقشات نقدية تجاه إنجاز ومعطيات مراقبة المعلم واضعين الأبحاث العلمية المتعلقة بالممارسات الفعالة في سياق لتسد حاجات خاصة. وأنتج هذا الاشتراك مستويات الإنجاز المتصاعدة التي كانت متغيرة لكن مستديمة عبر السنوات الثلاثة. وقد بيّن نموذج النمو نمطاً مدرجاً فيه تقدمات سريعة عبر الشهور المدرسية توصلاً إلى الركود في الصيف. وهذا قد مثّل معدل التقدم الإنجازي عبر ثلاث سنوات في المجموعات المتبعة تقدمها لمدة سنة واحدة بالإضافة إلى التقدم المتوقع عبر هذه الحقبة مع مدى تأثير علامات الامتحانات المدرجة توصلاً إلى (د= 0.62). وقد بيّنت النتائج أهمية تأثير القيام بامتحان بالمقارنة مع معيار الإنجاز المستديم والمنتظم والحاجة إلى فحص النمو عبر سنوات متعددة ليمثل نمط التقدمات بشكل أفضل.

在社会经济地位低的地区，而又以原住民与少数族群学生为主的学校里，长期以来一直存在着学生成绩水平低的问题，尤其是在读写成绩方面。这现象对于新西兰来说是不争的事实，尽管在国际评估比较之下，例如「学生能力国际评估计划」(简称PISA)，该国学生在阅读理解方面表现优异。近期多个有关改善学校教育的文献综述指出，施行精心设计的教育干预，可能在短时期内使学生的成绩得到一些进步。然而，对于就读小学中年级的学童来说，为了得到公平的成绩分布，判断教育干预是否高效能，需要包含是否能持续地和有系统地加速改进各级学生的成绩这两个标准。此外更需要包含以时间为横坐标作图，从而考查学生成绩的增长能否克服「暑期效应」。

本研究是一项为期三年的准实验研究，亦是一项学校、政府、研究员之间的协作发展计划；其目的是通过对学生成绩和教师观察所得的资料作批判性讨论，以及对有特别需要的学生的高效能教学实施进行情境化的研究，帮助提高学生的阅读理解能力。这协作计划结果显示，学生成绩得到加快速度的增长，虽然速度不一，但成绩增长持续了三年。该成绩增长模式呈现一个阶梯型的整体趋势：在学年内的月份中，学生成绩得到快速增长，而在暑期内的月份中，却出现高原现象。经一年的纵向追踪研究所得的结果，以及在该年内达到以标准九分计算的效应值（d）0.62的预期改进，该成绩增长模式代表了实验群组间三年以来的平均成绩增长。这些研究结果显示采用持续和有系统地提升成绩这标准后所产生的检验效果的重要性。这些研究结果亦显示有需要使用跨越多个学年的一览表来审查学生成绩的增长，因为这样才更能展示出成绩改进的格局。

On sait depuis longtemps que les écoles qui reçoivent en majorité des enfants d'origine locale et de minorités ethniques de faible niveau socio‐économique parviennent à de faibles niveaux de réussite notamment en lecture‐écriture. Ceci est vrai pour la Nouvelle Zélande en dépit de ses niveaux élevés de compréhension de la lecture dans les comparaisons internationales (PISA par exemple). Les revues de question récentes portant sur la réussite scolaire suggèrent qu'il est possible d'obtenir de petits gains de réussite sur le court terme avec des interventions efficaces bien construites, mais pour les enfants des classes au milieu de la scolarité primaire, pour pouvoir considérer qu'une intervention a été efficace, le critère nécessaire est une accélération soutenue et systématique sur plusieurs niveaux de réussite afin d'atteindre des distributions de réussite équitables. Il faut également que les gains se reportent dans le temps pour s'assurer qu'ils dépassent «les effets de l'été». L'étude présentée ici est une étude quasi expérimentale de recherche et développement d'une durée de trois ans, avec la collaboration des écoles, du gouvernement et des chercheurs afin d'élever la compréhension de la lecture au moyen de discussions critiques des résultats, d'observation des maîtres et une recherche contextualisée sur les pratiques de compréhension efficaces par rapport à certains buts. De cette collaboration a résulté des taux plus élevés de réussite, variables mais soutenus pendant les trois années. Le modèle de développement a fait apparaître un patron par paliers avec des gains rapides pendant les mois d'école et un plateau après l'été. Ceci a représenté pendant les trois ans un gain moyen pour les cohortes suivies longitudinalement d'un an de progrès, en plus des progrès attendus pendant cette période avec des tailles d'effet stanine de d = 0.62. Les résultats font apparaître des effets de test significatifs en ce qui concerne le critère de réussite soutenue et systématique, et la nécessité d'examiner les progrès pendant plusieurs années afin de pouvoir mieux se représenter le patron des gains.

В слабых в социальном и экономическом отношении районах, где проживает, в основном, коренное население и этнические меньшинства, школьники обычно не достигают академических высот, особенно в области грамотности. Это верно для Новой Зеландии, хотя страна продемонстрировала достаточно высокие результаты в таких международных исследованиях, как PISA. Эксперименты подтверждают, что хорошо продуманные вмешательства неизбежно дают положительные сдвиги на коротких отрезках времени. Но для учащихся средних классов эффективность вмешательства следует оценивать за более длительный период: насколько положительные результаты устойчивы и системны, насколько поступательно развивается грамотность детей. Долгосрочные результаты необходимы также, чтобы исследовать, насколько “летние эффекты” нивелируются общей положительной динамикой. Данное исследование понимания прочитанного длилось три года на основе сотрудничества между школами, правительством и учеными. В рамках проекта проводилось критическое обсуждение промежуточных результатов и данных, полученных из наблюдений самих учителей, с тем, чтобы выявить наиболее эффективные методы, соответствующие конкретным потребностям. Итог проекта – положительные, хотя и неровные результаты, но в целом прослеживается положительная динамика на протяжении трех лет. График показывает быстрый рост в учебные месяцы и плато за лето. Это повторялась в течение трех лет на любых выборках, которые отслеживались не менее одного года каждая, – в дополнение к ожидаемой динамике за тот же период (d=0.62 от норматива для каждой возрастной группы). Результаты показывают, насколько важно отслеживать результаты учеников на протяжении нескольких лет – только так выявляется истинная динамика положительных достижений, их устойчивость и систематичность.

Bajos niveles de logros, especialmente en cuanto a la lectura, han sido asociados por mucho tiempo con escuelas cuyos alumnos son principalmente minorías étnicas e indígenas en áreas socioeconómicas pobres. Así ocurre en Nueva Zelandia a pesar de mostrar altos niveles de comprensión de lectura en comparación a otros países (PISA). Artículos recientes sobre el mejoramiento de la enseñanza sugieren que es posible conseguir pequeños avances a base de intervenciones bien diseñadas, pero para niños en los grados medios de primaria el criterio bajo el cual se deben juzgar las intervenciones efectivas es una aceleración sostenida y sistemática a través de niveles de logros para lograr una distribución equitativa de logros. También es necesario trazar los avances a través del tiempo para averiguar si estos avances pueden superar el “efecto del verano”. El presente estudio—de diseño casi‐experimental—es el resultado de una colaboración de tres años de investigación y desarrollo entre escuelas, el gobierno e investigadores cuyo propósito fue el de incrementar la comprensión de la lectura por medio de discusiones críticas de los datos sobre los logros y las observaciones de los maestros, y el situar en su contexto la investigación sobre prácticas efectivas de comprensión a necesidades específicas. Esta colaboración dio como resultado un índice mayor de logros variados pero sostenidos a través de los tres años. El modelo de crecimiento mostró un patrón parecido a las escaleras ya que se observaron avances rápidos durante los meses escolares y una planicie en los veranos. En tres años esto representó un avance de logros promedio a través de compañeros seguidos longitudinalmente de un progreso de un año además del progreso esperado en el mismo período con efectos “stanine” de tamaños de d=0.62. Los resultados muestran la importancia de examinar los efectos en oposición al criterio de logros sostenidos y sistemáticos, y la necesidad de examinar el crecimiento a través de varios años para mejor representar el patrón de los avances.