Technical Adequacy and Cost Benefit of Four Measures of Early Literacy

Technical adequacy and information/cost return were examined for four early reading measures: the Dynamic Indicators of Basic Early Literacy Skills (DIBELS), STAR Early Literacy (SEL), Group Reading Assessment and Diagnostic Evaluation (GRADE), and the Texas Primary Reading Inventory (TPRI). All four assessments were administered to the same students in each of Grades K through 2 over a 5-week period; the samples included 200 students per grade from 7 states. Both SEL and DIBELS were administered twice to establish their retest reliability in each grade. We focused on the convergent validity of each assessment for measuring five critical components of reading development identified by the U.S. National Research Panel: Phonemic awareness, phonics, vocabulary, comprehension, and fluency. DIBELS and TPRI both are asserted to assess all five of these components; GRADE and STAR Early Literacy explicitly measure all except fluency. For all components, correlations among relevant subtests were high and comparable. The pattern of intercorrelations of nonfluency measures with fluency suggests the tests of fluency, vocabulary, comprehension, and word reading are measuring the same underlying construct. A separate cost—benefit study was conducted and showed that STAR Early Literacy was the most cost-effective measure among those studied. In terms of amount of time per unit of test administration or teachers’ time, CAT (computerized adaptive testing) in general, and STAR Early Literacy in particular, is an attractive option for early reading assessment. L’adéquation technique et les données reliées aux coûts par rapport aux dépenses ont été examinées pour les outils d’évaluations suivants: Dynamic Indicators of Basic Early Literacy Skills (DIBELS), STAR Early Literacy (SEL), Group Reading Assessment et Diagnostic Evaluation (GRADE), et le Texas Primary Reading Inventory (TPRI). Les quatre outils ont été administrés aux mêmes étudiants de chaque niveau de maternelle à deuxième année pendant une période de 5 semaines. Les données ont inclus 200 étudiants par niveau de 7 états. Les outils SEL et DIBELS ont été administrés deux fois, pour établir leur capacité de produire des résultats fiables à chaque niveau. Le but principal de cette recherche était de démontrer la validité convergente de chacun des cinq éléments du développement de la lecture qui ont été identifiés par le National Reading Panel des États-Unis: la reconnaissance phonémique, la correspondance symboles-sons, le vocabulaire, la compréhension, et l’aisance. DIBELS et TPRI ont été affirmés comme étant capables de mesurer tout les cinq éléments. Cependant, GRADE et STAR sont des mesures de tous les cinq sauf l’aisance. Les résultats indiquent que toutes les corrélations entre les sous-tests pour chaque élément de toutes mesures étaient élevées and comparables. De plus, les inter-corrélations entre les mesures d’aisance et les autres mesures suggèrent que les tests d’aisance, de vocabulaire, de compréhension, et de lecture de mot individuel mesurent, en effet, le même concept général. Une étude séparée a été entreprise pour établir les ratios coûts-bénéfices pour chaque instrument. Parmi les cinq programmes, c’était STAR Early Literacy qui a été identifié comme le programme produisant le plus de bénéfice relatif au coût. En tenant compte du temps requis pour l’administration des tests et par les enseignants, ce sont, en général, les tests adaptifs par ordinateur et, en particulier, STAR Early Literacy, qui semblent être les programmes les plus attrayants pour l’évaluation du développement de la lecture.