Validity, reliability, and utility of the Observation Survey of Early Literacy Achievement
Authors: DENTON CAROLYN A. , CIANCIO DENNIS J. , FLETCHER JACK M. 
Published: January 2006

ABSTRACTS

This study evaluated the validity, reliability, and utility of five of the six subtests of Clay's (2002) Observation Survey of Early Literacy Achievement (OS), including Letter Identification, Word Reading, Writing Vocabulary, Hearing and Recording Sounds in Words, and Text Reading. In addition to a review of studies providing assessment of the reliability and validity of the OS, we analyzed (a) the concurrent validity of the OS subtests relative to other instruments with known psychometric properties, (b) their validity and accuracy as predictors of reading development in grade 1, and (c) interadministrator reliability for the Text Reading and Writing Vocabulary subtests. The score distributions of most of the OS subtests indicated inadequate floors and ceilings, suggesting that when the OS subtests are scored as recommended in the manual, they are not suitable for program evaluation. Analyses of predictive validity indicated that decisions based on the attainment of established benchmarks in OS Word Identification, Text Reading, and Writing Vocabulary would be valid for early screening purposes and to evaluate student outcomes, but more work needs to be done in setting benchmarks for these subtests. In addition to this evidence for predictive validity, there was evidence for concurrent validity of the OS. Interassessor reliability was high for both the Text Reading and Writing Vocabulary subtests in our sample. Our review of the characteristics and administration procedures of each subtest suggests cautions regarding the utility of some of the measures for diagnostic assessment and progress monitoring. Overall, with some limitations, the OS can be validly implemented to assess components of early reading development.

Este estudio evaluó la validez, confiabilidad y utilidad de cinco de los seis subtests del Informe de Observación de la Alfabetización Temprana (OS) de Clay (2002). Los tests incluyen Identificación de Letras, Lectura de Palabras, Vocabulario Escrito, Escuchar y Grabar Sonidos y Lectura de Textos. Además de revisar estudios que evalúan la confiabilidad y validez del OS, analizamos: (a) la validez concurrente de los subtests del OS en relación a otros instrumentos de conocidas propiedades psicométricas, (b) la validez y precisión como predictores del desarrollo lector en 1° Grado y (c) la validez inter‐evaluador en los tests de Lectura de Textos y Vocabulario Escrito. Las distribuciones de los valores de la mayoría de los subtets de OS indicaron efectos techo y piso inadecuados, lo que sugiere que cuando los subtests de OS se computan como se recomienda en el manual, no son adecuados para la evaluación. Los análisis de la validez predictiva indicaron que las decisiones basadas en alcanzar los estándares establecidos para Identificación de Palabras, Lectura de Textos y Vocabulario Escrito serían válidas sólo en los procedimientos iniciales de evaluación y al evaluar los resultados finales. No obstante se requiere más trabajo para establecer los estándares de estos subtests. Además de evidencia sobre la validez predictiva, se halló evidencia de la validez concurrente de OS. La confiabilidad inter‐evaluador fue alta tanto para el subtest de Lectura de Textos como para el de Vocabulario Escrito. La revisión de las características y procedimientos de administración de cada subtest sugiere tener cautela con respecto a la utilidad de algunas de estas medidas para evaluación diagnóstica y control del progreso. En síntesis, con ciertas limitaciones, el OS se puede implementar con validez para evaluar los componentes del desarrollo de la lectura inicial.

Diese Studie bewertete die Gültigkeit, Verläßlichkeit und Anwendung von fünf der sechs Abstufungstests von Clay (2002), der Observationsstudie (OS) des frühen Schreib‐ und Leseerfolgs, einschließlich Buchstabenerkennung, Lesen von Wörtern, Schreiben von Vokabeln, Zuhören und Aufnehmen von Betonungen in Wörtern und beim Lesen von Texten. In Ergänzung zu einer Überprüfung der Studien, die eine Bewertung über die Zuverlässigkeit und Validität der OS liefern, analysierten wir (a) die übereinstimmende Gültigkeit der OS Abstufungstests relativ zu anderen Mitteln mit bekannten psychometrischen Eigenschaften, (b) ihre Gültigkeit und Genauigkeit als Voraussage zur Leseentwicklung in der ersten Schulklasse, und (c) ihre inter‐administrative Verläßlichkeit für das Textlesen und das Schreiben von Vokabel‐Abstufungstests. Die Auswertungen der erzielten Leistungen der meisten OS Abstufungstests zeigten unzureichende Tiefen‐ und Höhenschwingungen auf, was darauf schließen läßt, vorausgesetzt die OS Abstufungstests werden wie im Anweisungshandbuch bewertet, daß sie nicht zur Programmbewertung geeignet sind. Analysen von aussagekräftiger Gültigkeit zeigten auf, daß Entscheidungen, die auf das Erreichen von festgelegten Markierungswerten der OS Worterkennung basierten, beim Textlesen und Schreiben von Vokabeln für frühzeitige Unterscheidungszwecke und zur Bewertung von Schülerergebnissen von Wert sein könnten, jedoch muß noch mehr Vorarbeit bei der Festsetzung von Markierungswerten für die Abstufungstests erfolgen. In Ergänzung zu dieser Tatsache über eine vorhersagbare Gültigkeit gab es Anzeichen einer übereinstimmenden Gültigkeit der OS. Die Zuverlässigkeit der Bewerter untereinander war sowohl beim Textlesen als auch beim Vokabelschreiben bei den Abstufungstests in unserem Musterbeispiel hoch. Unsere Überprüfung der Charakteristiken und administrativen Handhabungen jedes einzelnen Abstufungstests schlägt Vorsicht in der Anwendung einiger der Bewertungsmaßstäbe zur diagnostischen Einschätzung und bei der Fortschrittsüberwachung vor. Insgesamt, mit einigen Einschränkungen, kann OS stichhaltig zur Begutachtung von Komponenten der frühen Leseentwicklung eingesetzt werden.

Cette étude a évalué la validité, la fidélité, et l'utilité de cinq des six sous‐tests du Questionnaire d'Observation des résultats en début de littératie (QO) de Clay (2002), à savoir l'identification des lettres, la lecture de mots, le vocabulaire de l'écriture, l'audition et l'enregistrement des sons des mots, et la lecture de texte. Outre un état de la question des études relatives à la validité et à la validité du QO, nous avons analysé a) la validité concourante des sous‐tests par rapport à d'autres instruments aux propriétés psychométriques connues, b) leur validité et leur pertinence prédictive pour l'acquisition de la lecture en première année, et c) la fidélité inter‐administrateurs de l'épreuve pour les sous‐tests de lecture de texte et de vocabulaire de l'écriture. La distribution des scores de la plupart des sous‐tests du QO a indiqué des effets inadéquats de plancher et de plafond, ce qui suggère que quand les sous‐tests sont calculés comme il est recommandé dans le manuel, ils ne sont pas adaptés à l'évaluation du programme. Les analyses de la validité prédictive ont indiqué que les décisions basées sur l'atteinte des seuils indiqués dans le QO pour l'identification des lettres, la lecture de texte, et le vocabulaire de l'écriture, peuvent être valides pour effectuer un examen précoce ou pour évaluer les résultats de l'apprentissage, mais qu'il reste du travail à faire pour que des seuils puissent être établis pour ces sous‐tests. Outre ces résultats relatifs à la validité prédictive, on dispose de résultats relatifs à la validité concurrente du QO. La fidélité inter‐évaluateurs est élevée tant pour les sous‐tests de lecture de texte que de vocabulaire de l'écriture dans notre échantillon. Notre examen des propriétés et des procédures d'administration de chaque sous‐test incite à la prudence en ce qui concerne l'utilité de certaines mesures pour la réalisation du diagnostic et le pilotage de la progression. De manière générale, et dans certaines limites, le QO peut être valide pour évaluer certaines composantes du début de l'acquisition de la lecture.