[es] El objetivo de este artículo es mostrar la interacción entre los aspectos metodológicos (el modelo de medida y los algoritmos de valoración) y la manera en que se conceptualiza y se define la literacia en la encuesta PISA. Para introducir el tema, se evocan primero los cambios conceptuales cuya valoración de las experiencias de los alumnos ha sido tratada en las encuestas internacionales desde las primeras encuestas del IEA hasta la encuesta PISA. Después de recordar que cualquier medida es una construcción, se exponen las teorías psicométricas que fundan los modelos de medida utilizados para la valoración de las experiencias de los alumnos. La presentación de los enfoques clásicos permite introducir los conceptos de dificultad y de discriminación de los elementos, así como el concepto de consistencia global de une prueba. Se insiste en las condiciones de validez de los modelos psicométricos (unidimensionalidad e independencia condicional de los elementos) que imponen coacciones fuertes sobre la manera en que se construye la variable medida. Se presenta después el modelo de medida utilizado en PISA que pertenece a la familia de los modelos de respuesta al elemento (MRI). PISA ha privilegiado el modelo llamado de Rasch, se discute acerca de las consecuencias de esta elección sobre la competencia medida y el formato de la prueba. Se trata después un punto muy técnico muy poco tocado : el del algoritmo de valoración. Los parámetros de los MRI (dificultad de los elementos, competencias de los sujetos) no son calculados sino apreciados. Los algoritmos de valoración han dado lugar a numerosos trabajos. Se recuerda que el algoritmo de valoración procede en parte de una reflexión sobre los valores que faltan. Esto induce a evocar la tipología de los valores que faltan en PISA. Se subraya que el procedimiento induce a valorar no un valor por sujeto sino a construir la distribución de las competencias de cada sujeto, se insiste sobre las consecuencias de este enfoque sobre la interpretación de los resultados y sobre la manera de realizar análisis secundarios. Por fin, se discute el carácter realmente unidimensional de la variable desde el punto de vista de los contenidos y desde el punto de vista metodológico. Nos interrogamos sobre la contradicción aparente que puede haber en considerar simultáneamente subescalas y una escala global. Después, nos interrogamos sobre la pluralidad de las interpretaciones que puede soportar la literacia tal y como se mide en PISA cuando se pone en relación con otras encuestas que tienden a evaluar el mismo tipo de competencia.

[fr] L'objectif de cet article est de montrer l'interaction entre les aspects méthodologiques et la manière dont est conceptualisée et définie la littéracie dans l'enquête PISA. Pour introduire le thème on évoque d'abord les changements conceptuels dont a été l'objet l'évaluation des acquis des élèves dans les enquêtes internationales depuis les premières enquêtes de l'IEA jusqu'à l'enquête PISA. Après avoir rappelé que toute mesure est un construit, on expose les théories psychométriques qui fondent les modèles de mesure utilisés pour l'évaluation des acquis des élèves. La présentation des approches classiques permet d'introduire les concepts de difficulté et de discrimination des items ainsi que le concept de consistance globale d'une épreuve. On insiste sur les conditions de validité des modèles psychométriques qui posent des contraintes fortes sur la façon dont la variable mesurée est construite. On présente ensuite le modèle de mesure utilisé dans PISA qui appartient à la famille des modèles de réponse à l'item (MRI). PISA a privilégié le modèle dit de Rasch, on discute des conséquences de ce choix. On aborde ensuite un point très technique peu souvent abordé : celui de l'algorithme utilisé pour l'estimation des paramètres. La procédure utilisée aboutit à estimer non pas une valeur par sujet mais à construire la distribution des compétences de chaque sujet, on insiste sur les conséquences de cette approche sur la manière de conduire l'analyse des résultats. Ensuite, on discute du caractère réellement unidimensionnel de la variable du point de vue des contenus et du point de vue méthodologique. On s'interroge sur la contradiction apparente qu'il peut y avoir à considérer simultanément des sous-échelles et une échelle globale. En conclusion, on revient sur la manière d'interpréter la littéracie telle qu'elle est mesurée dans PISA en la mettant en relation avec d'autres enquêtes visant à évaluer le même type de compétence.