Validity, Reliability, and Utility of the Observation Survey of Early Literacy Achievement.

This study evaluated the validity, reliability, and utility of five of the six subtests of Clay's (2002) Observation Survey of Early Literacy Achievement (OS), including Letter Identification, Word Reading, Writing Vocabulary, Hearing and Recording Sounds in Words, and Text Reading. In addition to a review of studies providing assessment of the reliability and validity of the OS, we analyzed (a) the concurrent validity of the OS subtests relative to other instruments with known psychometric properties, (b) their validity and accuracy as predictors of reading development in grade 1, and (c) interadministrator reliability for the Text Reading and Writing Vocabulary subtests. The score distributions of most of the OS subtests indicated inadequate floors and ceilings, suggesting that when the OS subtests are scored as recommended in the manual, they are not suitable for program evaluation. Analyses of predictive validity indicated that decisions based on the attainment of established benchmarks in OS Word Identification, Text Reading, and Writing Vocabulary would be valid for early screening purposes and to evaluate student outcomes, but more work needs to be done in setting benchmarks for these subtests. In addition to this evidence for predictive validity, there was evidence for concurrent validity of the OS. Interassessor reliability was high for both the Text Reading and Writing Vocabulary subtests in our sample. Our review of the characteristics and administration procedures of each subtest suggests cautions regarding the utility of some of the measures for diagnostic assessment and progress monitoring. Overall, with some limitations, the OS can be validly implemented to assess components of early reading development. Este estudio evaluo la validez, confiabilidad y utilidad de cinco de los seis subtests del Informe de Observacion de la Alfabetizacion Temprana (OS) de Clay (2002). Los tests incluyen Identificacion de Letras, Lectura de Palabras, Vocabulario Escrito, Escuchar y Grabar Sonidos y Lectura de Textos. Ademas de revisar estudios que evaluan la confiabilidad y validez del OS, analizamos: (a) la validez concurrente de los subtests del OS en relacion a otros instrumentos de conocidas propiedades psicometricas, (b) la validez y precision como predictores del desarrollo lector en 1° Grado y (c) la validez inter-evaluador en los tests de Lectura de Textos y Vocabulario Escrito. Las distribuciones de los valores de la mayoria de los subtets de OS indicaron efectos techo y piso inadecuados, lo que sugiere que cuando los subtests de OS se computan como se recomienda en el manual, no son adecuados para la evaluacion. Los analisis de la validez predictiva indicaron que las decisiones basadas en alcanzar los estandares establecidos para Identificacion de Palabras, Lectura de Textos y Vocabulario Escrito serian validas solo en los procedimientos iniciales de evaluacion y al evaluar los resultados finales. No obstante se requiere mas trabajo para establecer los estandares de estos subtests. Ademas de evidencia sobre la validez predictiva, se hallo evidencia de la validez concurrente de OS. La confiabilidad inter-evaluador fue alta tanto para el subtest de Lectura de Textos como para el de Vocabulario Escrito. La revision de las caracteristicas y procedimientos de administracion de cada subtest sugiere tener cautela con respecto a la utilidad de algunas de estas medidas para evaluacion diagnostica y control del progreso. En sintesis, con ciertas limitaciones, el OS se puede implementar con validez para evaluar los componentes del desarrollo de la lectura inicial. Diese Studie bewertete die Gultigkeit, Verlaslichkeit und Anwendung von funf der sechs Abstufungstests von Clay (2002), der Observationsstudie (OS) des fruhen Schreib- und Leseerfolgs, einschlieslich Buchstabenerkennung, Lesen von Wortern, Schreiben von Vokabeln, Zuhoren und Aufnehmen von Betonungen in Wortern und beim Lesen von Texten. In Erganzung zu einer Uberprufung der Studien, die eine Bewertung uber die Zuverlassigkeit und Validitat der OS liefern, analysierten wir (a) die ubereinstimmende Gultigkeit der OS Abstufungstests relativ zu anderen Mitteln mit bekannten psychometrischen Eigenschaften, (b) ihre Gultigkeit und Genauigkeit als Voraussage zur Leseentwicklung in der ersten Schulklasse, und (c) ihre inter-administrative Verlaslichkeit fur das Textlesen und das Schreiben von Vokabel-Abstufungstests. Die Auswertungen der erzielten Leistungen der meisten OS Abstufungstests zeigten unzureichende Tiefen- und Hohenschwingungen auf, was darauf schliesen last, vorausgesetzt die OS Abstufungstests werden wie im Anweisungshandbuch bewertet, das sie nicht zur Programmbewertung geeignet sind. Analysen von aussagekraftiger Gultigkeit zeigten auf, das Entscheidungen, die auf das Erreichen von festgelegten Markierungswerten der OS Worterkennung basierten, beim Textlesen und Schreiben von Vokabeln fur fruhzeitige Unterscheidungszwecke und zur Bewertung von Schulerergebnissen von Wert sein konnten, jedoch mus noch mehr Vorarbeit bei der Festsetzung von Markierungswerten fur die Abstufungstests erfolgen. In Erganzung zu dieser Tatsache uber eine vorhersagbare Gultigkeit gab es Anzeichen einer ubereinstimmenden Gultigkeit der OS. Die Zuverlassigkeit der Bewerter untereinander war sowohl beim Textlesen als auch beim Vokabelschreiben bei den Abstufungstests in unserem Musterbeispiel hoch. Unsere Uberprufung der Charakteristiken und administrativen Handhabungen jedes einzelnen Abstufungstests schlagt Vorsicht in der Anwendung einiger der Bewertungsmasstabe zur diagnostischen Einschatzung und bei der Fortschrittsuberwachung vor. Insgesamt, mit einigen Einschrankungen, kann OS stichhaltig zur Begutachtung von Komponenten der fruhen Leseentwicklung eingesetzt werden. Cette etude a evalue la validite, la fidelite, et l'utilite de cinq des six sous-tests du Questionnaire d'Observation des resultats en debut de litteratie (QO) de Clay (2002), a savoir l'identification des lettres, la lecture de mots, le vocabulaire de l'ecriture, l'audition et l'enregistrement des sons des mots, et la lecture de texte. Outre un etat de la question des etudes relatives a la validite et a la validite du QO, nous avons analyse a) la validite concourante des sous-tests par rapport a d'autres instruments aux proprietes psychometriques connues, b) leur validite et leur pertinence predictive pour l'acquisition de la lecture en premiere annee, et c) la fidelite inter-administrateurs de l'epreuve pour les sous-tests de lecture de texte et de vocabulaire de l'ecriture. La distribution des scores de la plupart des sous-tests du QO a indique des effets inadequats de plancher et de plafond, ce qui suggere que quand les sous-tests sont calcules comme il est recommande dans le manuel, ils ne sont pas adaptes a l'evaluation du programme. Les analyses de la validite predictive ont indique que les decisions basees sur l'atteinte des seuils indiques dans le QO pour l'identification des lettres, la lecture de texte, et le vocabulaire de l'ecriture, peuvent etre valides pour effectuer un examen precoce ou pour evaluer les resultats de l'apprentissage, mais qu'il reste du travail a faire pour que des seuils puissent etre etablis pour ces sous-tests. Outre ces resultats relatifs a la validite predictive, on dispose de resultats relatifs a la validite concurrente du QO. La fidelite inter-evaluateurs est elevee tant pour les sous-tests de lecture de texte que de vocabulaire de l'ecriture dans notre echantillon. Notre examen des proprietes et des procedures d'administration de chaque sous-test incite a la prudence en ce qui concerne l'utilite de certaines mesures pour la realisation du diagnostic et le pilotage de la progression. De maniere generale, et dans certaines limites, le QO peut etre valide pour evaluer certaines composantes du debut de l'acquisition de la lecture.