[en] The purpose of the article is to show how methodological aspects (measurement models and algorithmic estimates) and the way literacy is conceptualised and defined in the PISA survey are interacting. To introduce the matter, We first present the conceptual changes in assessing the knowledge acquired by students in the international surveys from the first IEA surveys to the PISA survey. Bearing in mind that any measurement is a construct, we then explore the psychometric theories founding the measuring models used for assessing the knowledge acquired by students. By presenting classical approaches, we can then introduce the concepts of difficulty and item discrimination as well as the concept of global consistency in item tests. We will insist on the conditions for validating psychometric models (unidimensionality and conditional independence of items) that create strong constraints on the way the measured variables are set up. Next we present the PISA measurement model. It belongs to the item response model group (RMI). PISA singled out a model known as the Rasch model. We will see the consequences of this choice on the assessed skill and test format. Next we will tackle a technical issue, not often tackled : algorithm estimate. The RMI settings (item difficulty, subject-matter competencies) are not calculated but estimated. Numerous studies have been done on estimation algorithms. We here re-state that estimation algorithms come partly from thinking on missing values. It leads us to mention the typology of missing values in PISA. We underline the fact that procedures lead not to estimate one value per subject but to construct the distribution of competencies in each subject. We insist on the consequences of such an approach in the interpretation of the results and the way secondary analyses are conducted. Finally, we discuss the truly unidimentional aspect of variables in terms of contents and methodology. We ask ourselves whether there could be an apparent contradiction when considering simultaneously underscales and full scales. Then we wonder on the plurality of acceptable interpretations of literacy – as it is measured in PISA – when related to other surveys aiming at assessing the same type of competencies.

[fr] L'objectif de cet article est de montrer l'interaction entre les aspects méthodologiques et la manière dont est conceptualisée et définie la littéracie dans l'enquête PISA. Pour introduire le thème on évoque d'abord les changements conceptuels dont a été l'objet l'évaluation des acquis des élèves dans les enquêtes internationales depuis les premières enquêtes de l'IEA jusqu'à l'enquête PISA. Après avoir rappelé que toute mesure est un construit, on expose les théories psychométriques qui fondent les modèles de mesure utilisés pour l'évaluation des acquis des élèves. La présentation des approches classiques permet d'introduire les concepts de difficulté et de discrimination des items ainsi que le concept de consistance globale d'une épreuve. On insiste sur les conditions de validité des modèles psychométriques qui posent des contraintes fortes sur la façon dont la variable mesurée est construite. On présente ensuite le modèle de mesure utilisé dans PISA qui appartient à la famille des modèles de réponse à l'item (MRI). PISA a privilégié le modèle dit de Rasch, on discute des conséquences de ce choix. On aborde ensuite un point très technique peu souvent abordé : celui de l'algorithme utilisé pour l'estimation des paramètres. La procédure utilisée aboutit à estimer non pas une valeur par sujet mais à construire la distribution des compétences de chaque sujet, on insiste sur les conséquences de cette approche sur la manière de conduire l'analyse des résultats. Ensuite, on discute du caractère réellement unidimensionnel de la variable du point de vue des contenus et du point de vue méthodologique. On s'interroge sur la contradiction apparente qu'il peut y avoir à considérer simultanément des sous-échelles et une échelle globale. En conclusion, on revient sur la manière d'interpréter la littéracie telle qu'elle est mesurée dans PISA en la mettant en relation avec d'autres enquêtes visant à évaluer le même type de compétence.