Schooling Matters: Opportunity to Learn in PISA 2012

Many international comparisons of education over the past 50 years have included some measure of students’ opportunity to learn (OTL) in their schooling. Results have typically confirmed the common sense notion that a student’s exposure in school to the assessed concepts, operationalized in some sort of time metric, is related to what the student has learned as measured by the assessment. What has not been demonstrated is a connection between the specifics of what students have encountered through schooling and their performance on any sort of applied knowledge assessment such as PISA. This paper explores this issue in 2012 PISA which, for the first time, included several OTL items on the student survey. OTL demonstrated a significant relationship with student performance on both the main paper-and-pencil literacy assessment as well as the optional computer-based assessment at all three levels – country, school and student. In every country at least one if not all three of the constructed OTL indices – exposure to word problems, formal mathematics topics, and applied mathematics problems – demonstrated a significant relationship to the overall PISA measure of mathematics literacy as well as the four sub areas of change and relationships, shapes and space, quantity, and uncertainty and data. Additionally, results indicated that variability in OTL was related to student performance having implications for equality of opportunity. Ces 50 dernieres annees, nombre de comparaisons internationales de l'education ont inclus, sous une forme ou une autre, une mesure des possibilites d'apprentissage (opportunity to learn, OTL) des eleves au cours de leur scolarite. Les resultats ont generalement confirme la notion de bon sens selon laquelle l'exposition des eleves dans la cadre scolaire aux concepts evalues, materialisee sous forme de mesure temporelle, presente une correlation avec les connaissances apprises par les eleves, telles que mesurees par l'evaluation. Ce qui n'a pas ete demontre, en revanche, c'est le lien qui existe entre la nature des elements specifiques auxquels les eleves ont ete exposes au cours de leur scolarite et leur performance a tout type d’evaluation des connaissances appliquees, telle que le PISA. Le present document de travail etudie cette question dans le cadre de l’enquete PISA 2012 qui, pour la premiere fois, faisait figurer plusieurs items relatifs aux possibilites d’apprentissage dans son questionnaire destine aux eleves. Il en ressort qu'il existe une correlation significative entre les possibilites d'apprentissage et les resultats des eleves, tant dans l’evaluation papier-crayon principale que dans l’evaluation informatisee proposee a titre d’option, et ce a tous les niveaux – national, etablissements d’enseignement et eleves. Dans tous les pays, au moins l'un des trois indices composites des possibilites d’apprentissage, si ce n'est tous (exposition aux problemes lexicaux, exposition aux mathematiques formelles et exposition aux problemes de mathematiques appliquees), presente une correlation significative avec le niveau de competence sur l’echelle PISA globale de culture mathematique, ainsi que sur les quatre sous-echelles variations et relations, espace et formes, quantite et incertitude et donnees. En outre, les resultats indiquent que la variation des indices des possibilites d’apprentissage influe sur la performance des eleves, laissant donc entrevoir des implications en termes d'egalite des chances.