Oral Reading Fluency Assessment: Issues of Construct, Criterion, and Consequential Validity

This study investigated multiple models for assessing oral reading fluency, including 1-minute oral reading measures that produce scores reported as words correct per minute (wcpm). We compared a measure of wcpm with measures of the individual and combined indicators of oral reading fluency (rate, accuracy, prosody, and comprehension) to examine construct, criterion, and consequential validity. Oral reading data and standardized comprehension test scores were analyzed for students in grades 2, 4, and 6. Our results indicate that assessments designed to include multiple indicators of oral reading fluency provided a finer-grained understanding of oral reading fluency and fluency assessment, and a stronger predictor of general comprehension. Comparisons across grade levels also revealed developmental differences in the relation between oral reading fluency and comprehension, and the relative contributions of oral fluency indicators to comprehension. When commonly used benchmarks were applied to wcpm scores to identify students at risk of reading difficulty, both false positives and false negatives were found. This study raises issues regarding the alignment of oral reading fluency definitions and assessment, and the widespread use of wcpm measures and benchmarks to identify students at risk of reading difficulty and to plan instruction. [Note: Sheila Valencia discusses the research presented in this article in a podcast from the “Voice of Literacy”: http:www.voiceofliteracy.orgposts40043.] استقصت هذه الدراسة نماذج متعددة لتقييم مرونة القراءة الجهرية بما فيها مقاييس القراءة الجهرية مدتها دقيقة واحدة التي تنتج علامات مسجلة ككلمات صحيحة لكل دقيقة. فقد قارننا مقياس من كلمات صحيحة لكل دقيقة ومقاييس من مؤشرات فردية وجماعية في مرونة القراءة الجهرية (السرعة والدقة والنطق والاستيعاب) لنفحص صدق تكوين الاختبار الفرضي والمرتبط بالمحك والمترتبي. وقد تم تحليل علامات الاختبار الاستيعابي المقنن ومعطيات القراءة الجهرية للطلاب في الصف الثاني والرابع والسادس. وتشير نتائجنا إلى أن التقديرات المصممة لتشمل مؤشرات متعددة من مرونة القراءة الجهرية وفرت فهما أدق لها ولتقدير المرونة وكذلك وفرت منبئا أقوى للاستيعاب العام. ولقد بينت المقارنات عبر الصفوف اختلافات تطورية في العلاقة بين مرونة القراءة الجهرية والاستيعاب والمساهمات النسبية لمؤشرات الطلاقة اللغوية في الاستيعاب. وحين تم تطبيق المقاييس المستخدمة الشائعة على علامات الكلمات الصحيحة لكل دقيقة لتحديد الطلاب على وشك أن يواجهوا صعوبات في القراءة فقد تم إيجاد إيجابيات زائفة وسلبيات زائفة. وترفع هذه الدراسة القضايا المتعلقة بتناسق مرونة القراءة الجهرية والتقييم والاستخدام الشائع من مقاييس الكلمات الصحيحة لكل دقيقة لتحديد الطلاب المتعرضين للخطر من صعوبة القراءة ولتخطيط التعليم. [Podcast: http:www.voiceofliteracy.orgposts40043.] 本研究调查用以评估朗读流畅度的多个模型，其中包括通过一分钟的朗读测验来计算出受测者每分钟能正确读出的单词数量(wcpm)。本文作者把一项一分钟朗读测验的结果(wcpm)与几项单独和合并的朗读流畅指标(速度、准确性、韵律和理解)测验的结果作比较，以检查其建构效度、标准效度、后果效度。本文作者分析了二、四、六年级学生的朗读资料及他们的标准化阅读理解测验的成绩。分析结果显示，在设计上如包含多个朗读流畅指标的评估测验，能有助于加深对朗读流畅程度与流畅度评估的认识，并能使其成为较有效的普通阅读理解的预测因子。跨级别的比较结果亦发现朗读流畅程度与阅读理解之间的关系存在着发展差异，以及各个朗读流畅指标对阅读理解的相对预测效能。当常用的基准数值应用于一分钟朗读测验的成绩(wcpm)来确定容易有阅读困难的学生时，假阳性与假阴性的结果均有出现。本研究所提出的问题是有关朗读流畅度的定义与评估之间的一致性，以及在确定容易有阅读困难的学生时和在计划教学时，基准数值应用与一分钟朗读测验的结果(wcpm) 的广泛使用。 [Podcast: http:www.voiceofliteracy.orgposts40043.] Cette etude examine differents modeles d'evaluation de la fluidite en lecture a haute voix, y compris l'evaluation d'une minute de lecture a haute voix qui fournit un score en termes de mots corrects par minute (mcm). Nous avons compare une evaluation mcm avec des evaluations d'indicateurs individuels et combines de lecture a haute voix (vitesse, exactitude, expression et comprehension) pour analyser la construction, les criteres et la validite resultante. Les resultats en lecture orale et les scores de comprehension aux tests etalonnes ont ete analyses chez des eleves de 2eme, 4eme et 6eme annee. Nos resultats indiquent que les evaluations, effectuees de telle sorte qu'elles contiennent plusieurs indicateurs de fluidite en lecture a haute voix, procurent une comprehension plus fine de la fluidite en lecture a haute voix et de l'evaluation de la fluidite, et sont un meilleur predicteur de la comprehension generale. Les comparaisons entre les differents niveaux de classe ont aussi revele des differences developpementales dans la relation entre la fluidite en lecture a haute voix et la comprehension, et les contributions relatives des indicateurs de fluidite en lecture a haute voix a la comprehension. Quand les evaluations courantes sont appliquees aux scores de mcm pour detecter les eleves a risque en lecture, on trouve a la fois des erreurs positives et des erreurs negatives. Cette etude souleve des questions concernant la coherence entre les definitions et l'evaluation de la lecture a haute voix, et l'utilisation repandue des evaluations par mcm et les evaluations courantes pour detecter les eleves a risque en lecture et planifier l'enseignement. [Podcast: http:www.voiceofliteracy.orgposts40043.] Исследовались различные модели, применяемые для оценки беглости чтения вслух, в том числе, “минутка” – метод, учитывающий количество слов, которые ученик успевает прочитать за одну минуту (wcpm). Метод wcpm сравнивался с мерами индивидуальных и комбинированных индикаторов беглости чтения вслух (скорости, точности, просодии и понимания прочитанного) с точки зрения структуры, критериев и значимости выводов, которые ученик делает на основе теста. Данные по чтению вслух и итоги стандартного тестирования на понимание прочитанного были проанализированы для учащихся вторых, четвертых и шестых классов. Полученные результаты свидетельствуют о том, что множественные индикаторы дают многогранную картину самого понятия беглости и возможностей ее оценивания. Использование множественных индикаторов позволяет точнее предсказать, как ученик поймет прочитанное. Выяснилось, что для разных возрастных групп связь беглости чтения с пониманием прочитанного выглядит по-разному. При сочетании эталонных тестов для определения потенциальной группы риска с результатами wcpm, мы получаем и ложноположительные и ложноотрицательные ответы. Таким образом, настоящее исследование поднимает вопрос о необходимости корректировки наших представлений о беглости чтения вслух и ее оценке, а также о применении wcpm и эталонных тестов при причислении детей к группе риска и планировании обучения. [Podcast: http:www.voiceofliteracy.orgposts40043.] Este estudio investigo varios modelos de evaluacion de la fluidez oral, incluyendo la medida de un minuto de lectura oral cuya medida se presenta como “palabras correctas por minuto” (wcpm por sus siglas en ingles). Comparamos una medida de wcpm con las medidas de los indicadores individuales y combinados de la fluidez de lectura oral (coeficientes de precision, prosodia, y comprension) para ver los conceptos, los criterios y la validez consiguiente. Se analizaron los datos y los puntajes de los examenes estandardizados de comprension de estudiantes de segundo, cuarto y sexto grado. Nuestros resultados indican que las evaluaciones disenadas para incluir varios indicadores de la fluidez de la lectura oral proporcionan un entendimiento mas sutil de la fluidez de la lectura oral y la evaluacion de fluidez, y son mejores pronosticadores de la comprension en general. Comparaciones a traves de los grados tambien sacaron a relucir diferencias de desarrollo en la relacion entre la fluidez de la lectura oral y la comprension, y las contribuciones relativas a los indicadores de fluidez oral a la comprension. Cuando se aplicaron puntos de referencias comunmente usados a los puntajes de wcpm para identificar a estudiantes a riesgo de tener dificultades con la lectura, se encontraron igual numero de positivas falsas como negativas falsas. Este estudio cuestiona la alineacion de las definiciones y evaluaciones de la fluidez de la lectura oral, y el uso extenso de las medidas de wcpm y puntos de referencia para identificar estudiantes a riesgo de tener dificultades con la lectura y para planear la instruccion. [Podcast: http:www.voiceofliteracy.orgposts40043.]