[en] The purpose of the article is to show how methodological aspects (measurement models and algorithmic estimates) and the way literacy is conceptualised and defined in the PISA survey are interacting. To introduce the matter, We first present the conceptual changes in assessing the knowledge acquired by students in the international surveys from the first IEA surveys to the PISA survey. Bearing in mind that any measurement is a construct, we then explore the psychometric theories founding the measuring models used for assessing the knowledge acquired by students. By presenting classical approaches, we can then introduce the concepts of difficulty and item discrimination as well as the concept of global consistency in item tests. We will insist on the conditions for validating psychometric models (unidimensionality and conditional independence of items) that create strong constraints on the way the measured variables are set up. Next we present the PISA measurement model. It belongs to the item response model group (RMI). PISA singled out a model known as the Rasch model. We will see the consequences of this choice on the assessed skill and test format. Next we will tackle a technical issue, not often tackled : algorithm estimate. The RMI settings (item difficulty, subject-matter competencies) are not calculated but estimated. Numerous studies have been done on estimation algorithms. We here re-state that estimation algorithms come partly from thinking on missing values. It leads us to mention the typology of missing values in PISA. We underline the fact that procedures lead not to estimate one value per subject but to construct the distribution of competencies in each subject. We insist on the consequences of such an approach in the interpretation of the results and the way secondary analyses are conducted. Finally, we discuss the truly unidimentional aspect of variables in terms of contents and methodology. We ask ourselves whether there could be an apparent contradiction when considering simultaneously underscales and full scales. Then we wonder on the plurality of acceptable interpretations of literacy – as it is measured in PISA – when related to other surveys aiming at assessing the same type of competencies.

[es] El objetivo de este artículo es mostrar la interacción entre los aspectos metodológicos (el modelo de medida y los algoritmos de valoración) y la manera en que se conceptualiza y se define la literacia en la encuesta PISA. Para introducir el tema, se evocan primero los cambios conceptuales cuya valoración de las experiencias de los alumnos ha sido tratada en las encuestas internacionales desde las primeras encuestas del IEA hasta la encuesta PISA. Después de recordar que cualquier medida es una construcción, se exponen las teorías psicométricas que fundan los modelos de medida utilizados para la valoración de las experiencias de los alumnos. La presentación de los enfoques clásicos permite introducir los conceptos de dificultad y de discriminación de los elementos, así como el concepto de consistencia global de une prueba. Se insiste en las condiciones de validez de los modelos psicométricos (unidimensionalidad e independencia condicional de los elementos) que imponen coacciones fuertes sobre la manera en que se construye la variable medida. Se presenta después el modelo de medida utilizado en PISA que pertenece a la familia de los modelos de respuesta al elemento (MRI). PISA ha privilegiado el modelo llamado de Rasch, se discute acerca de las consecuencias de esta elección sobre la competencia medida y el formato de la prueba. Se trata después un punto muy técnico muy poco tocado : el del algoritmo de valoración. Los parámetros de los MRI (dificultad de los elementos, competencias de los sujetos) no son calculados sino apreciados. Los algoritmos de valoración han dado lugar a numerosos trabajos. Se recuerda que el algoritmo de valoración procede en parte de una reflexión sobre los valores que faltan. Esto induce a evocar la tipología de los valores que faltan en PISA. Se subraya que el procedimiento induce a valorar no un valor por sujeto sino a construir la distribución de las competencias de cada sujeto, se insiste sobre las consecuencias de este enfoque sobre la interpretación de los resultados y sobre la manera de realizar análisis secundarios. Por fin, se discute el carácter realmente unidimensional de la variable desde el punto de vista de los contenidos y desde el punto de vista metodológico. Nos interrogamos sobre la contradicción aparente que puede haber en considerar simultáneamente subescalas y una escala global. Después, nos interrogamos sobre la pluralidad de las interpretaciones que puede soportar la literacia tal y como se mide en PISA cuando se pone en relación con otras encuestas que tienden a evaluar el mismo tipo de competencia.