# Penser PISA dans la perpective du renouvellement de l'enseignement des mathématiques en Algérie

Antoine Bodin, Luc Trouche

► To cite this version:

Antoine Bodin, Luc Trouche. Penser PISA dans la perpective du renouvellement de l'enseignement des mathématiques en Algérie. [Rapport de recherche] Ministère algérien de l'éducation nationale; CIEP; Ambassade de France en Algérie. 2019. hal-03141731

HAL Id: hal-03141731

https://hal.science/hal-03141731v1

Submitted on 15 Feb 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC0 1.0 - Universal - International License
# Penser PISA dans la perspective du développement de l'enseignement des mathématiques en Algérie

Dans le cadre d'une coopération impliquant le Ministère Algérien de l'Éducation Nationale et l'Ambassade de France en Algérie, et sous l'égide du CIEP, une formation a eu lieu, sous la forme de trois sessions d'une semaine, à destination des inspecteurs de mathématiques algériens : « Formation des enseignants à la conception et à la rédaction des items selon PISA ». Tirant les leçons de la participation de l'Algérie à l'évaluation PISA de 2015, il s'agissait de préparer le système éducatif à l'évaluation de 2021.

Ce dossier, nourri par cette formation, souhaite fournir des éléments de réflexion à l'ensemble des acteurs de l'enseignement des mathématiques en Algérie.

<figure><img src="image_2.png" /><figcaption>Photo de fin de session, décembre 2018, lycée Hassiba, Alger</figcaption></figure>

- Chapitre 1 - Présentation et déroulement du stage (L. Trouche & M. Krimi)

- Chapitre 2 - Présentation de PISA (A. Bodin & Messafa)

- Chapitre 3 - Le questionnement mathématique de PISA (A. Bodin, B. Ferhane)

- Chapitre 4 : Bilan d'une expérimentation : test papier crayon (A. Bodin & B. Ferhane)

- Chapitre 5 : Bilan d'une expérimentation : observation des élèves (L. Trouche & B. Semache)

- Chapitre 6 (à venir) : Ressources pour l'enseignement et la formation (L. Trouche & M. Messafa)
# Table des matières

1 Chapitre 1 Présentation et déroulement du stage.................................................................................. 5

1.1 Le cadre institutionnel de la formation.................................................................................................. 5

1.2 Les acteurs de la formation.................................................................................................................. 5

1.3 L'orchestration de la formation ........................................................................................................ 7

1.3.1 La prise en compte de l'arabe.................................................................................................................. 7

1.3.2 Le travail collaboratif.......................................................................................................................... 8

1.3.3 La possibilité permanente d'accès à des ressources et d'interactions avec les experts et les stagiaires.................................................................................................................................................. 9

1.3.4 La continuité de la formation ........................................................................................................... 10

1.3.5 Le développement de relations fortes avec le terrain .................................................................. 10

1.3.6 La démultiplication comme processus continu de conception et de partage de ressources.. 11

1.4 Le contenu des sessions.......................................................................................................................... 11

1.4.1 La session 1 (décembre).................................................................................................................. 11

1.4.2 La session 2 (février).................................................................................................................. 13

1.4.3 La session 3 (mars).......................................................................................................................... 15

1.5 Le bilan et les perspectives.................................................................................................................. 16

1.5.1 L'évaluation par les inspecteurs eux-mêmes ........................................................................ 17

1.5.2 Les perspectives................................................................................................................................. 17

2 Chapitre 2 Présentation de PISA ........................................................................................................ 19

2.1 Aperçu général du programme PISA .................................................................................................. 19

2.1.1 Place de PISA dans le concert des études internationales................................................................ 19

2.1.2 PISA dans le monde .......................................................................................................................... 19

2.1.3 Raisons et objectifs de PISA (Pourquoi ? Pour Qui ?).................................................................. 20

2.1.4 Les volets de PISA................................................................................................................................. 24

2.2 Le volet mathématique de PISA........................................................................................................ 24

2.2.1 Le cadre de référence mathématique de PISA de 2000 à 2018................................................................ 24

2.2.2 Le cadre de référence mathématique de PISA de 2021 .................................................................. 28

2.2.3 Scores, et échelles................................................................................................................................. 33

2.2.4 Niveaux de compétence .................................................................................................................... 35

2.2.5 L'analyse des réponses aux items.................................................................................................. 35

2.3 Questionnaires contextuels.................................................................................................................. 36

3 Chapitre 3 Le questionnement mathématique de PISA................................................................. 38

3.1 La littératie mathématique et le cycle de modélisation................................................................. 38

3.2 Les questions de PISA .......................................................................................................................... 39

3.2.1 Une catégorisation des questions suivant les processus, les contenus et les contextes........ 40

3.2.2 Présentation des questions.................................................................................................................. 40

3.2.3 Un exemple analysé : débit d'une perfusion (PISA 2012)................................................................ 41
3.3 Analyse des questions .................................................................................................................. 44

3.3.1 Conception d'une grille d'analyse .................................................................................... 44

3.3.2 Premier exemple d'analyse : achat d'un appartement (PM00FQ01) ........................................ 45

3.3.3 Analyse a priori des questions .................................................................................................... 47

3.3.4 Analyse de la complexité cognitive .......................................................................................... 48

3.4 Questions libérées .................................................................................................................... 50

3.4.1 NAPPE DE PÉTROLE.................................................................................................................. 50

3.4.2 ASCENSION DU MONT FUJI........................................................................................................ 51

3.4.3 QUELLE VOITURE CHOISIR ?........................................................................................................ 52

3.4.4 GARAGE.................................................................................................................................................... 53

3.4.5 CLÉ USB.................................................................................................................................................. 55

3.4.6 APPAREILS DÉFECTUEUX ........................................................................................................ 58

3.4.7 ÉNERGIE ÉOLIENNE.................................................................................................................. 59

3.4.8 LOCATION DE DVD ........................................................................................................................ 62

3.4.9 VOITURE DE COURSE .................................................................................................................. 64

3.5 Exemples de questions envisagées pour PISA 2021................................................................ 66

3.5.1 Utilisation d'un smartphone ........................................................................................................ 67

3.5.2 La beauté des puissances ........................................................................................................ 69

3.5.3 Carrelage........................................................................................................................................ 71

4 Chapitre 4 Bilan d'une expérimentation Test papier crayon à grande échelle... 75

4.1 Préparation du test.................................................................................................................... 75

4.1.1 Sélection de questions PISA ........................................................................................................ 75

4.1.2 Production de questions type PISA........................................................................................ 75

4.1.3 Classification des items................................................................................................................ 76

4.1.4 Le test final ........................................................................................................................................ 76

4.1.5 L'organisation de la passation........................................................................................................ 76

4.1.6 Les consignes de passation........................................................................................................ 76

4.1.7 Le recueil des résultats................................................................................................................ 77

4.1.8 L'état des retours de données .................................................................................................... 77

4.2 Premières analyses .................................................................................................................... 78

4.2.1 Analyse statistique .................................................................................................................... 78

4.2.2 Analyse qualitative et retour sur le questionnement................................................................ 83

4.3 Expérience de codage .................................................................................................................... 83

4.3.1 Considérations préalables ........................................................................................................ 83

4.3.2 Organisation de l'expérimentation .................................................................................... 84

4.3.3 Résultats ........................................................................................................................................ 84

4.3.4 Conclusion........................................................................................................................................ 86

4.4 Analyses secondaires.................................................................................................................... 86

4.4.1 Analyse statistique implicative.................................................................................................... 86

4.4.2 Analyse des réponses à l'item (IRT) .................................................................................... 89

4.4.3 Conclusion de ce chapitre ........................................................................................................ 92

4.5 Annexes du chapitre 4 .................................................................................................................... 93

4.5.1 Le test.................................................................................................................................................. 93

4.5.2 Questions crées par les stagiaires ........................................................................................ 106

4.5.3 Protocole passation du test.................................................................................................... 109
<table><tr><td>4.5.4</td><td>Classification des items du test</td><td>111</td></tr><tr><td>5</td><td>Chapitre 5 Bilan d'une expérimentation observation des élèves</td><td>116</td></tr><tr><td>5.1</td><td>Le choix et la formulation des exercices</td><td>116</td></tr><tr><td>5.2</td><td>La construction du dispositif d'observation</td><td>117</td></tr><tr><td>5.2.1</td><td>Les superviseurs</td><td>117</td></tr><tr><td>5.2.2</td><td>Les observateurs</td><td>118</td></tr><tr><td>5.2.3</td><td>Les professeurs</td><td>119</td></tr><tr><td>5.3</td><td>La passation</td><td>119</td></tr><tr><td>5.4</td><td>Le recueil et l'analyse des données</td><td>120</td></tr><tr><td>5.4.1</td><td>Analyse des résultats concernant chaque exercice</td><td>121</td></tr><tr><td>5.5</td><td>Les perspectives</td><td>125</td></tr><tr><td>5.6</td><td>Annexes du chapitre 5</td><td>126</td></tr><tr><td>5.6.1</td><td>Annexe 1 : Les questions posées aux élèves</td><td>126</td></tr><tr><td>5.6.2</td><td>Annexe 2 : Le questionnaire élève</td><td>128</td></tr><tr><td>5.6.3</td><td>Annexe 3 : Description des questions posées aux élèves</td><td>129</td></tr><tr><td>5.6.4</td><td>Annexe 4 : La grille d'observation</td><td>129</td></tr><tr><td>6</td><td>Chapitre 6 (à venir) Ressources pour l'enseignement et pratiques de classes</td><td>130</td></tr><tr><td>7</td><td>Références et bibliographie</td><td>131</td></tr><tr><td colspan="2">Table des Figures</td><td>131</td></tr></table>
# Chapitre 1
## Présentation et déroulement du stage

Réalisation : Luc Trouche et Krimi M'amar

Ce chapitre se compose de quatre sections, présentant successivement : le cadre institutionnel de la formation, ses acteurs, son orchestration, le contenu de ses sessions, et le bilan de cette formation pensée comme moment d'un processus au long terme.

### 1.1 Le cadre institutionnel de la formation

A la demande du Ministère de l'éducation algérien (MEN), l'Ambassade de France en Algérie a attribué un contrat au Centre International d'Etudes Pédagogiques (CIEP) concernant la coopération éducative avec le MEN, l'expertise pour l'amélioration de la qualité du système éducatif et le projet de coopération Algérois-Français. Dans ce cadre, il s'agissait de proposer une formation des enseignants à la conception et à la rédaction des items selon PISA (voir lettre de mission en annexe).

Deux experts, Antoine Bodin et Luc Trouche, sollicités par le MEN, ont été mobilisés par le CIEP pour réaliser cette mission. Les interactions entre les experts et les responsables du MEN (l'Inspecteur général de la pédagogie, Monsieur Messeguem, et les deux Inspecteurs centraux de Mathématiques, Messieurs Azaiz et Belabbas) ont permis de préciser le calendrier, les cibles et les objectifs de la formation.

La formation s'est déroulée, à chaque fois au lycée Hassiba d'Alger, pour la partie en présence, en quatre sessions : une session 0 de deux jours (17 et 18 septembre) pour fixer le cadre de travail, et trois sessions (1, 2 et 3) d'une semaine pour la mise en œuvre de la formation (2-6 décembre 2018, 3-7 février et 3-7 mars 2019).

Les cibles de la formation, en première ligne, étaient les inspecteurs de mathématiques, dans une perspective de démultiplication de celle-ci. Une dizaine d'inspecteurs de mathématiques ont participé à la session 0. Ce sont ensuite une trentaine d'inspecteurs qui ont participé aux sessions de formation 1, 2 et 3 (voir § 2).

Les objectifs de la formation, au-delà de la préparation des professeurs et des élèves algériens à la prochaine évaluation PISA, étaient d'engager, avec les acteurs de terrain, une réflexion sur l'enseignement des mathématiques en Algérie, dans la perspective d'une évolution du curriculum, en relation avec les grandes évolutions internationales.

### 1.2 Les acteurs de la formation

Les acteurs mobilisés par la formation étaient les deux experts, les inspecteurs centraux, les inspecteurs convoqués aux différentes sessions, et, en deuxième ligne les chefs d'établissement, les inspecteurs, les enseignants et les élèves mobilisés par les expérimentations (voir chapitres 4 et 5).

Les experts sont Antoine Bodin et Luc Trouche :
* Fortement impliqué dans le réseau des IREM<fnref n="1" /> et dans l'APMEP<fnref n="2" /> au sein de laquelle il a créé l'observatoire EVAPM, Antoine Bodin a participé au « Subject Matter Advisory Committee » de TIMSS<fnref n="3" /> ; au « Mathematics Expert Group » de l'étude PISA de l'OCDE (Bodin & Grapin 2018) ; aux groupes d'experts du Ministère Français de l'Éducation national chargés de développer les programmes de mathématiques. Il a réalisé des Missions en Algérie de 2001 à 2003. Pour plus d'information, on peut consulter son site https://antoine-bodin.com/;

* Professeur des universités à l'Institut National de Recherche Pédagogique (INRP), puis à l'Institut français de l'éducation (ENS de Lyon), Luc Trouche a été président de la CFEM<fnref n="4" /> de 2012 à 2016. Sur le plan de la rechercher, il s'intéresse aux dispositifs de formation, et aux interactions des professeurs avec les ressources de leur enseignement, en particulier au sein de collectifs de travail. Il est impliqué dans des coopérations de recherche internationales, en particulier avec l'ECNU (Shanghai). Il a réalisé des missions en Algérie en 2013, 2015 et 2016 (Trouche 2014). Pour plus d'information, on peut consulter la page : https://ens-lyon.academia.edu/enslyonacademiaedu.

L'inspecteur général de la pédagogie, Monsieur Messaguem, a une mission générale, auprès de la Ministre de l'Éducation, d'analyse des besoins et d'impulsion des évolutions du système. Ancien inspecteur central de mathématiques, il a aussi un intérêt particulier pour cette discipline, et est régulièrement intervenu dans les sessions. Les deux inspecteurs centraux de mathématiques, Messieurs Azaiz et Belabbas, ont assuré la continuité des interactions entre l'institution et la formation.

Une trentaine d'inspecteurs de mathématiques ont été convoqués aux différentes sessions, certains d'entre eux relevaient du niveau lycée, d'autre du niveau moyen.

<table><thead><tr><td>Secteur d'inspection</td><td>Nombre</td><td>Code administratif de Willaya</td></tr></thead><tbody><tr><td>Inspecteur de l'enseignement secondaire</td><td>02</td><td>16 - 09</td></tr><tr><td>Inspecteurs de l'enseignement moyen</td><td>29</td><td>16(4)-14-09-27-06-07-36-10-13-05-19-34-22-23-30-04-43-02-31-40-41-42-21-46-47-48-44</td></tr></tbody></table>

<footnote n="1">¹ Instituts de Recherche sur l'Enseignement des Mathématiques : constitués depuis une cinquantaine d'années dans une vingtaine d'universités en France, ils réunissent des professeurs de tous les ordres d'enseignement autour d'une réflexion sur l'enseignement des mathématiques, et d'une production de ressources pour des mathématiques vivantes : http://www.univ-irem.fr/</footnote>

<footnote n="2">² Association des professeurs de mathématiques de l'enseignement public : https://www.apmep.fr/</footnote>

<footnote n="3">³ Trends in International Mathematics and Science Study (TIMSS) est un ensemble coordonné d'évaluations internationales des connaissances en mathématiques et en sciences des étudiants dans le monde
https://en.wikipedia.org/wiki/Trends_in_International_Mathematics_and_Science_Study</footnote>

<footnote n="4">⁴ Commission Française pour l'Enseignement des mathématiques : elle regroupe toutes les composantes de l'enseignement des mathématiques en France, sociétés savantes, académie des sciences, association d'enseignants http://www.cfem.asso.fr/</footnote>
<figure><img src="image_3.png" /></figure>

Les inspecteurs de mathématiques étaient aussi impliqués dans d'autres formations, certains d'entre eux participant à plusieurs formations en même temps (tableau ci-dessous)

<table><thead><tr><td>Formations</td><td>Inspecteurs de l'ens. primaire</td><td>Inspecteurs de l'ens. moyen</td><td>Inspecteurs de l'ens. secondaire</td><td>Totaux</td></tr></thead><tbody><tr><td>Evaluation</td><td>6</td><td>17</td><td>0</td><td>23</td></tr><tr><td>Didactique</td><td>0</td><td>13</td><td>0</td><td>/</td></tr></tbody></table>

## 1.3 L'orchestration de la formation

La formation a été orchestrée en suivant six 'principes' d'organisation : la prise en compte de la langue commune des participants, l'arabe : le développement du travail collaboratif ; la possibilité permanente d'accès à des ressources et d'interactions avec les experts et les stagiaires ; la continuité de la formation ; le développement des relations avec le terrain ; la conception de la démultiplication comme un processus continu de conception et de partage de ressources.

### 1.3.1 La prise en compte de l'arabe

Les experts n'étant pas arabophones, leurs contributions ont été proposées en français. Pour favoriser l'appropriation des exposés, des traductions régulières ont été faites du français en arabe. A l'inverse, les échanges pouvaient parfois avoir lieu, entre les stagiaires, en arabe. Des moments de traduction de l'arabe vers le français étaient alors ménagés. De façon systématique, chaque matin, à tour de rôle, un
ou deux inspecteurs proposaient une diapositive synthétique en arabe (Figure 1.1) pour faire le point sur les acquis... et les points problématiques de la journée précédente.

<figure><img src="image_4.png" /><figcaption>Figure 1-1 : La synthèse du 10 mars, présentée par un inspecteur le matin du 11 mars</figcaption></figure>

Par ailleurs, la question de la traduction des ressources de la formation de l'arabe vers le français et vice versa a été présentée d'emblée comme critique, pour l'accès aux résultats des expérimentations dans les classes pour les experts, et pour la dissémination dans le système éducatif des ressources proposées par les experts.

## 1.3.2 Le travail collaboratif

Dès le début de la formation, l'ensemble des 30 inspecteurs a été structuré en 6 groupes (Figure 1.2), dotés chacun d'un coordonnateur proposé par les inspecteurs centraux, ayant pour rôle le maintien de l'implication de tous dans la formation, et le développement des interactions, aussi bien dans le groupe que entre les groupes.

<figure><img src="image_5.png" /><figcaption>Figure 1-2 : La composition des 6 groupes et leur coordinateur</figcaption></figure>
### 1.3.3 La possibilité permanente d'accès à des ressources et d'interactions avec les experts et les stagiaires

Dès la début de la formation, un espace en ligne a été constitué (via Google drive, Figure 1.2), pour rendre accessible les ressources venant des experts ou des stagiaires. Il a été ajusté au fur et à mesure pour répondre au mieux aux besoins de la formation. Il a offert des ressources transversales à l'ensemble des sessions et des ressources propres à chaque session, des ressources liées à l'ensemble des stagiaires ou des ressources liées au travail de chacun des groupes.

<figure><img src="image_6.png" /><figcaption>Figure 1-3 : La structure du site web à la fin de la formation</figcaption></figure>
À signaler tout de même : la faiblesse du réseau Internet disponible sur le lieu de la formation, rendant nécessaire des substituts (par exemple des clés USB) pour l'échange des ressources.

### 1.3.4 La continuité de la formation

L'espace en ligne que nous venons de présenter a permis de penser la formation comme un processus continu, combinant des moments en présence (les 4 sessions) et des moments à distance (les intersessions) : avant chaque session, des ressources à travailler (articles à lire, résultats des expérimentations) ont été téléchargées sur le site, permettant de préparer en mieux la session à venir ; après chaque session, les ressources présentées par les experts étaient téléchargées sur le site pour permettre un approfondissement de la réflexion : le rôle des coordonnateurs est apparu décisif pour relancer les interactions, ou construite les synthèses.

### 1.3.5 Le développement de relations fortes avec le terrain

Cette relation avec le terrain a été comprise d'abord comme la prise en compte continue du contexte algérien (les programmes, les manuels scolaires, Figure 1.4), ensuite comme le développement d'interactions avec les inspecteurs et les enseignants qui n'étaient pas directement impliqués dans le stage. Ces interactions ont pu se développer au sein des cellules enseignants-inspecteurs, et au moment des expérimentations. quand les inspecteurs participant au stage ont associé leurs collègues et des enseignants pour préparer, mettre en œuvre, et réaliser des expérimentations qui ont nourri les sessions 2 et 3 de formation

## PISA, une perspective curriculaire qui interroge beaucoup de curricula (France, Algérie...)

<figure><img src="image_7.png" /><figcaption>Figure 1-4 : L'analyse des items PISA en relation avec le curriculum algérien</figcaption></figure>
### 1.3.6 La démultiplication comme processus continu de conception et de partage de ressources

Ce processus a été engagé dès la session de décembre, conduisant à la conception, par les stagiaires, d'items « dans l'esprit PISA », destinés à être utilisés, avec des items PISA, pour les expérimentations à venir. Il s'est poursuivi avec la conception de cahiers d'élèves pour l'expérimentation, de cahiers d'observateurs ou de superviseurs, pensés comme des guides méthodologiques pour encadrer les expérimentations.

## 1.4 Le contenu des sessions

Nous présentons ici le contenu des 4 sessions.

La session 0, courte, avait un double objectif : présenter les enjeux de PISA (voir Chapitre 2 de ce livrable) et concevoir l'organisation des trois sessions à venir dans le cadre des principes que nous venons de présenter.

### 1.4.1 La session 1 (décembre)

Elle a engagé le travail collaboratif des experts et des stagiaires.

Lors de la première journée, Antoine Bodin a rappelé les grands enjeux de PISA (en reprenant les grandes lignes de ce qui avait été présenté lors de la session 0). Les stagiaires avaient à préparer des fiches de lecture de trois articles (Bodin 2008, OCDE 2013, Rey 2011) Chaque article était l'objet du travail de deux groupes qui ont dû converger vers une synthèse (Figure 1-5), version provisoire qui sera retravaillée, et traduite, ultérieurement, en arabe.

<figure><img src="image_8.png" /><figcaption>Figure 1-5 : La fiche de synthèse réalisée par deux groupes</figcaption></figure>

La deuxième journée a été consacrée à l'analyse fine d'items libérés des éditions antérieures de PISA. Les mêmes items ont été analysés par des groupes différents (figure 1-2), ce qui a permis d'utiles questionnement des typologies proposées par PISA, et de confronter les anticipations de pourcentage de succès des élèves (Figure 1.6).
<figure><img src="image_9.png" /><figcaption>Figure 1-6 : Une fiche analytique d'un item PISA réalisée, séparément, par les groupes 1 et 2</figcaption></figure>

La troisième journée a été consacrée à la conception de nouveaux items dans l'esprit PISA. La journée 4 a été dédiée à la présentation de la version la plus récente du cadre de référence de PISA 2021 pour les mathématiques (voir Chapitre 3), telle que conçu en novembre 2018 et qui nous avait été aimablement transmis par la DEPP du Ministère français de l'éducation. Il a permis de questionner à nouveau les réalisations des jours précédents, du point de vue de leur cohérence avec ce nouveau cadre de référence.

La suite de la journée 4, comme la journée 5, a été consacrée à l'organisation du travail, les groupes de travail initiaux étant appelés à se démultiplier localement en cellules associant enseignants et inspecteurs. Cette organisation a consisté essentiellement en la conception d'un cahier d'items destinés à organiser un test « type PISA » sur un échantillon assez large d'élèves algériens. Les interactions nourries entre les experts, les inspecteurs centraux et les stagiaires ont abouti à la réalisation d'un cahier de test, comprenant 17 questions composées de 38 items, avec une version en français et une version en arabe (Figure 1.7).
<figure><img src="image_10.png" /><figcaption>Figure 1-7 : La couverture du cahier de test, et l'une des questions (traitée par un élève)</figcaption></figure>

1.4.2 La session 2 (février)

Avant la session de février, la passation du test, coordonnée par les 6 groupes d'inspecteurs, a été
réalisée dans 43 classes, et a concerné 1 416 élèves. C'est essentiellement l'analyse de ce corpus de
1 416 cahiers d'élèves, codé par les inspecteurs et les enseignants qu'ils avaient mobilisés, qui a
constitué le contenu de cette session (voir le chapitre 4 pour une analyse détaillée).

La première journée a consisté en une analyse, par groupe, des conditions de passation du test, des résultats des élèves, puis à une mise en commun des résultats des travaux des groupes, et une présentation synthétique, par les experts, des résultats d'ensemble

La deuxième journée a été consacrée à deux travaux en groupes :

* un travail qualitatif sur la réussite et les échecs des élèves, qui a fait ressortir : la diversité des difficultés des élèves (linguistiques, culturelles, sociales...); la sensibilité du déroulement aux conditions de passation du test (la durée de l'épreuve, encadrement, ou non, par des enseignants expérimentés); la nécessité de penser l'activité mathématique comme un travail de recherche, pour les élèves, comme pour les professeurs (avec un questionnement de la notion de problème ouvert ; l'intérêt de penser PISA comme une occasion d'apprentissage, pour le système éducatif (pour les professeurs, pour les inspecteurs, pour les élèves...); l'objectif de mettre les élèves en condition de réussir les items (et non pas d'adapter les items pour favoriser la réussite des élèves....).

* un travail de codage et d'analyse didactique, par des groupes différents, des cahiers de 3 élèves. Il s'agissait de coder trois mêmes cahiers (pour vérifier la fidélité du codage) ; analyser les réussites et des échecs pour les cinq questions sélectionnées, identifier les stratégies d'élèves (à partir d'une analyse a priori et des traces de leurs travaux) ; reformuler les énoncés, réviser leur présentation (schémas, etc.) pour une meilleure adéquation avec les prises d'information visées par les tests PISA. Ce que ce travail a fait ressortir : les difficultés du processus de codage (en amont, pour définir les consignes, en aval... pour les appliquer) ; la nature des items PISA (une mesure de l'aptitude des élèves à prendre des initiatives, sélectionner et coordonner des informations de natures différentes (graphiques, schémas,

Question 13 - Les fûts et les pompes

Deux fûts A et B ont une même capacité de 500 litres. Le fût A est déjà rempli à 20 %. Les deux fûts sont alors reliés à deux pompes comme suit :

Le fût A est relié à une pompe qui débite 2 litres par seconde.

Le fût B est relié à une pompe qui débite 3 litres par seconde.

Amir dit : « après deux minutes il y aura le même volume d'eau dans le fût A et dans le fût B ».

Dites si Amir a ou non raison et justifiez votre réponse.

السؤال الثالث عشر: البراميل والمضخات

برمیلان A و B لیما نفس السعة 500 لترا.

تم ملء البرمیل A بالاء بنسبة 20 % من سعته.

تم توصيل البرمیلین بمضخین علی النحو التالی:

● البرمیل A موصول بمضخة تضخ 2 لتر من الماء في الثانية.

• البرمیل B موصول بمضخة تضخ 3 لتر من الماء في الثانية.

أي البرمیلین "A" و "B" يكون فيه حجم المياه الاكبربعدد دقيقتين؟

أ) اشرح كيف تفعل للإجابة عن السؤال.

<figure><img src="image_11.png" /></figure>

ب) إجابة: البرمیل الیکنیک فیه حجم المياه اكبره البارمیل B.
texte...); la complexité d'une reformulation des items qui préserve ces caractéristiques ; la nécessité ne pas rapprocher les items de ce que savent faire les élèves aujourd'hui, mais de penser les évolutions des élèves, des professeurs, du curriculum, pour faire face à ce type d'évaluation ; la nécessité de penser les processus *Employer*, *formuler*, *interpréter et évaluer* comme articulés dans le cycle de modélisation, contrôlé par le *raisonnement mathématique* ; la nécessité de connaître le cadre de PISA pour 2021 qui précise six compréhensions clés qui structurent et soutiennent ce raisonnement.

La troisième journée a été consacrée à la préparation d'une expérimentation dans les classes, l'objectif étant alors de suivre de près l'activité d'un petit nombre d'élèves confrontés à un nombre limité d'items, choisis pour leur distance avec les exercices ordinaires du curriculum algérien. Cinq questions ont été sélectionnées (Figure 1.8).

<table><caption>Figure 1-8 : La couverture du cahier de test, et l'une des questions (traitée par un élève)</caption><thead><tr><td>Question</td><td>N°</td><td>Taux de succès (test papier)</td><td>Non réponses (test papier)</td><td>Processus PISA</td></tr></thead><tbody><tr><td>Motif en escalier</td><td>5</td><td>25 %, 15 %, 11 %</td><td>1 %, 3 %, 22 %</td><td>Formuler</td></tr><tr><td>Les six dés</td><td>4</td><td>12 %, 37 %</td><td>18 %, 12 %</td><td>Interpréter</td></tr><tr><td>La clé USB</td><td>7</td><td>31 %</td><td>13 %</td><td>Interpréter</td></tr><tr><td>Le libraire</td><td>10</td><td>8 %, 9 %, 7 %</td><td>53 %, 31 %, 31 %</td><td>Formuler, interpréter</td></tr><tr><td>Fûts et pompes</td><td>13</td><td>16 %, 45 %</td><td>43 %, 29 %</td><td>Employer</td></tr></tbody></table>

La quatrième journée a été consacrée à la poursuite du travail de préparation de l'expérimentation, en particulier en précisant les rôles des superviseurs, des observateurs et des élèves, et en concevant les ressources leur permettant de concourir au succès de cette expérimentation et à la richesse des analyses ultérieures (cahiers de l'élève, de l'observateur et du superviseur et questionnaires associés).

La cinquième et dernière journée a été consacrée à deux activités critiques : la réflexion sur les conditions de mise en situation de recherche des professeurs et des élèves (à partir d'un problème géométrique, Figure 1.9) ; un débriefing du stage et la préparation de la troisième session.

<figure><img src="image_12.png" /><figcaption>Figure 1-9 : Un problème géométrique, qui dépend du scénario et des outils mobilisés</figcaption></figure>
### 1.4.3 La session 3 (mars)

Il s'agissait, dans cette session, de faire le bilan de l'observation des élèves, et de préparer les conditions de la démultiplication de la formation. La première journée a donc fait un premier bilan de l'observation, tant du point de vue du dispositif lui-même (Figure 1.10) que des résultats de cette observation (Figure 1.11).

<figure><img src="image_13.png" /><figcaption>Figure 1-10 : Le dispositif d'observation</figcaption></figure>

<figure><img src="image_14.png" /><figcaption>Figure 1-11 : Un extrait d'analyse du corpus</figcaption></figure>

Les résultats de l'observation ont été donnés par les 6 groupes sous un format commun : présentation du problème, étude *a priori* des procédures de résolution possible et confrontation avec ce qu'on fait les élèves, mise en évidence des compétences effectivement mises en œuvre. Ils ont fait ressortir, essentiellement, la difficulté de la tâche des observateurs, ayant à suivre le travail mathématique des élèves, en décidant du moment opportun pour proposer une aide, et ayant à relever les effets de cette aide. Ces résultats ont aussi fait ressortir la complexité de la tâche des stagiaires-inspecteurs ayant à analyser le corpus rassemblé : difficulté de la mise en relation des différentes données relatives au travail d'un élève (essentiellement production de l'élève et production de l'observateur) ; difficulté à reconnaître comme légitimes des procédures d'élèves non standards.

C'est pourquoi la deuxième journée a proposé un focus sur un élève, croisant les différentes données pour comprendre la cohérence de son activité mathématique (Figure 1.12).
<figure><img src="image_15.png" /><figcaption>Figure 1-12 : Prendre en compte un maximum de données pour une analyse approfondie</figcaption></figure>

Cette activité a sans doute permis des avancées significatives dans la réflexion des inspecteurs, développant un nouveau regard sur l'activité mathématique des élèves, ses contraintes et ses potentialités (voir Chapitre 5 pour en savoir plus).

La troisième journée de stage, répondant à une demande pressante des stagiaires, a proposé une réflexion sur les outils méthodologiques développés dans les dispositifs d'évaluation (voir Chapitre 4). Ce travail a été très intéressant, permettant aux stagiaires de rentrer davantage dans la logique de l'évaluation, questionnant la qualité de ses outils de mesure. Par contre les stagiaires n'ont pas pu vraiment mettre en œuvre ses outils, comme Excel, qui demandaient une appropriation avancée. Cette situation appelle sans doute des formations spécifiques.

La quatrième et la cinquième journée ont été consacrées à une réflexion plus globale sur les évolutions de l'enseignement des mathématiques et sur la démultiplication du stage dans cette perspective.

A partir d'exemples emblématiques, les stagiaires ont pu réaliser la nécessité de considérer chaque question mathématique comme une instanciation possible d'un champ de problèmes, permettant aux professeurs une plus grande ouverture par rapport aux procédures mises en œuvre par leurs élèves. L'exploitation de la richesse de ce champ de problèmes suppose, de la part du professeur, de soigneusement penser la forme des énoncés, et les formes du travail des élèves dans la classe, en fonction des compétences qu'il veut plus particulièrement développer (voir Chapitre 6 de ce livrable).

La démultiplication de la formation doit être pensée au moins sur deux ans, combinant un mouvement de haut en bas, qui concerne la formation des acteurs (inspecteurs et enseignants) et un mouvement de bas en haut, pour lequel la mobilisation des cellules enseignants-inspecteurs pourrait jouer un rôle essentiel. Une prochaine expérimentation, en avril, pourrait se situer à la charnière de ces deux mouvements.

## 1.5 Le bilan et les perspectives

On donne dans cette partie d'abord l'évaluation par les inspecteurs du stage lui-même, puis les perspectives qui ont été dégagées au cours des différentes sessions.
## 1.5.1 L'évaluation par les inspecteurs eux-mêmes

(résultats donnés en pourcentage de la population présente)

L'évaluation, par les inspecteurs eux-mêmes, met en évidence que la formation, pour l'essentiel, a atteint ses objectifs. C'est ce que les résultats des questionnaires, ci-dessous, montrent bien.

* Intérêt, plaisir à suivre le séminaire [de 1 (très insuffisant) à 4 (très bien)].

<table><thead><tr><th></th><th>1</th><th>2</th><th>3</th><th>4</th></tr></thead><tbody><tr><th scope="row">Décembre 2018</th><td>0</td><td>19</td><td>66</td><td>15</td></tr><tr><th scope="row">Février 2019</th><td>0</td><td>13</td><td>63</td><td>23</td></tr></tbody></table>

* Utilité, efficacité du séminaire [de 1 (très insuffisant) à 4 (très bien)].

<table><thead><tr><th></th><th>1</th><th>2</th><th>3</th><th>4</th></tr></thead><tbody><tr><th scope="row">Décembre 2018</th><td>4</td><td>8</td><td>73</td><td>15</td></tr><tr><th scope="row">Février 2019</th><td>0</td><td>16</td><td>67</td><td>17</td></tr></tbody></table>

* À l'issue de ce séminaire, êtes-vous mieux outillé pour concevoir ou conduire une formation en direction d'inspecteurs ou d'enseignants sur les enjeux de PISA ?

<table><thead><tr><th></th><th>Oui</th><th>Moyen</th><th>Non</th></tr></thead><tbody><tr><th scope="row">Décembre 2018</th><td>46</td><td>27</td><td>23</td></tr><tr><th scope="row">Février 2019</th><td>70</td><td>20</td><td>7</td></tr></tbody></table>

* À l'issue de ce séminaire, vous sentez-vous prêts à animer localement une cellule d'enseignants et d'inspecteurs et à mettre en œuvre une expérimentation dans les classes ?

<table><thead><tr><th></th><th>Oui</th><th>Moyen</th><th>Non</th></tr></thead><tbody><tr><th scope="row">Décembre 2018</th><td>65</td><td>27</td><td>0</td></tr><tr><th scope="row">Février 2019</th><td>83</td><td>13</td><td>0</td></tr></tbody></table>

## 1.5.2 Les perspectives

Un ensemble de perspectives ont été développées, en particulier lors de la dernière session de la formation :

* Traiter, sur le fond, les questions de traductions entre l'anglais, le français et l'arabe voir Figure 1.13 ;

* Penser les interactions entre les différents stages PISA en Algérie (sciences, 'reading', 'problem solving') ;

* Penser la formation aux nouvelles technologies (en particulier tableurs et logiciels de géométrie dynamique), dans la perspective de la passation de PISA 2021 qui mobilisera l'outil informatique ;

* Intégrer la réflexion sur PISA dans une réflexion plus générale sur l'enseignement des mathématiques ;
* Dans l'immédiat, la démultiplication de la formation a été pensée pour être mise en œuvre dans les willayas (voir chapitres 4, 5 et 6).

<figure><img src="image_16.png" /><figcaption>Figure 1-13 : Le cadre de référence PISA 2021 pour les mathématiques, traduit en arabe</figcaption></figure>
# Chapitre 2
## Présentation de PISA

Réalisation : Antoine Bodin et Mohammed Messafa

### 2.1 Aperçu général du programme PISA

PISA est un programme international destiné à évaluer les acquis des élèves dans différents domaines, à suivre l'évolution des systèmes éducatifs et à conseiller les responsables de ces systèmes dans leurs prises de décision.

Ce programme développé dans le cadre de l'OCDE a été mis en place l'année 2000 et conduit depuis des opérations tous les trois ans dans un nombre de pays de plus en plus nombreux (80 pays en 2018). L'Algérie a participé pour la première fois à PISA en 2015 et s'apprête à y participer à nouveau en 2021.

L'OCDE (Organisation de Coopération et de Développement Économique) regroupe les 36 pays les plus développés de la planète. Tous les membres de l'OCDE participent à PISA ainsi que d'autres pays considérés comme des membres associés.

Les 7 campagnes PISA menées depuis l'année 2000 ont produit de nombreux rapports et recommandations qui inspirent les politiques éducatives de la plupart des pays de la planète. Dans les lignes qui suivent nous chercherons à préciser les lignes principales du programme PISA (objectifs, enjeux, méthodes...) mais aussi de replacer PISA dans le cadre plus large des études internationales.

#### 2.1.1 Place de PISA dans le concert des études internationales

Bien que le plus connu, PISA n'est que l'un des nombreux programmes d'études et d'évaluation des systèmes éducatifs. Les principales sont :

Les études de l'IEA (Association internationale pour l'évaluation des compétences scolaires) :

* TIMSS : Tendances internationales dans l'enseignement des mathématiques et des sciences.

* PIRLS : Programme international de recherche en lecture scolaire.

D'autres études de l'OCDE

* PIAC : Programme pour l'évaluation internationale des compétences des adultes.

* TALIS : Enquête internationale sur l'enseignement et l'apprentissage.

Toutes ces études entretiennent des liens entre-elles. En particulier les méthodologies utilisées par PISA ont largement emprunté à celles développées par l'IEA depuis les années soixante.

#### 2.1.2 PISA dans le monde

La carte ci-dessous présente en gris les pays de l'OCDE et en bleu les pays associés en 2015. Depuis, d'autres pays ont rejoint PISA, en particulier l'Inde, la Tunisie et le Maroc.

Bien que pour les media et le grand public PISA est souvent perçu et présenté comme une compétition entre les pays (voir partie III de ce chapitre), le principal intérêt de PISA est de fournir des repères stables sur quelques points (par exemple la littératie mathématique qui sera définie plus loin) et de permettre aux différents acteurs des systèmes éducatifs, certes de comparer leurs résultats et leurs caractéristiques (par exemple en ce qui concerne les programmes d'enseignement ou la formation des
enseignants), mais aussi d'être en relation avec le système éducatif mondial lequel, partout, à ses points faibles et ses points forts. Mieux connaître cette situation permet à chacun de mieux tirer parti de ses points forts et de renforcer ses points faibles.

<figure><img src="image_17.png" /><figcaption>Figure 2-1 : Participation à PISA 2015</figcaption></figure>

PISA est une entreprise humaine d'ampleur exceptionnelle. Comme toute entreprise de ce type on peut en discuter les objectifs et les méthodes. Si un pays choisit de participer à PISA, c'est qu'il attend, pour lui, des retombées positives de sa participation. Dans ce chapitre comme dans les autres nous nous bornerons à informer le lecteur aussi complètement que possible sur ces aspects.

### 2.1.3 Raisons et objectifs de PISA (Pourquoi ? Pour Qui ?)

L'OCDE est une organisation intergouvernementale dédiée à la coopération et de développement économiques des pays de la planète. On peut alors s'interroger sur les raisons qui l'ont conduit à développer des études consacrées aux problèmes éducatifs.

Pour l'OCDE, l'axiome de départ est que **l'éducation est la clé du développement**.

Il ne s'agit pas là, seulement, de l'éducation des couches favorisées des populations ou de l'éducation des jeunes qui formeront les ingénieurs et les cadres de demain, mais bien de l'ensemble des jeunes, quel que soit leur origine, leur milieu social, leur religion, leur sexe... On verra que pour cela, PISA définit le minimum nécessaire à tous les jeunes pour aborder leur vie d'adultes dans de bonnes conditions, pour eux-mêmes et pour les sociétés dans lesquelles ils vivent.

Mais le développement tel que l'envisage l'OCDE et tel que le traduit PISA dans ses études suppose :

**Une planète habitable :**
développement est ainsi devenu synonyme de développement durable ; ce qui conduit à apporter un soin particulier aux questions écologiques.

**L'harmonie entre les individus et les peuples :**
Les conflits sont regardés comme des obstacles au développement

L'égalité et l'équité pour tous.

PISA évalue, dans chaque pays participant, sur échantillons représentatifs, tous les jeunes de 15 ans révolus où qu'ils puissent se trouver dans le système éducatif. Sans se désintéresser des programmes d'enseignement, PISA cherche à évaluer indépendamment de ces programmes. Plus précisément :

> « L'enquête PISA vise à évaluer dans quelle mesure les jeunes adultes de 15 ans ... sont préparés à relever les défis de la société de la connaissance.
L'évaluation est prospective ... elle porte sur l'aptitude des jeunes à exploiter leurs savoirs et savoir-faire pour faire face aux défis de la vie réelle ; elle ne cherche pas à déterminer dans quelle mesure les élèves ont assimilé une matière spécifique du programme d'enseignement.

... l'important est d'amener les élèves à utiliser ce qu'ils ont appris à l'école, et pas seulement à le reproduire. » (OCDE 2004)

On sait que l'un des défauts de la plupart des systèmes d'enseignement est de transmettre aux élèves des connaissances formelles sans les associer à des éléments de compréhension permettant de les intégrer dans une culture et sans leur permettre de les utiliser dans des situations dans lesquelles elles pourraient être utiles. Souvent les élèves ont des connaissances qu'ils ne savent ni relier entre-elles ni les utiliser.

La notion de littératie mise en avant par PISA répond à ce constat. Ce qui est évalué par PISA est ainsi défini :

« ...la notion de « littératie » ...renvoie à la capacité des élèves d'exploiter des savoirs et savoir-faire dans des matières clés et d'analyser, de raisonner et de communiquer lorsqu'ils énoncent, résolvent et interprètent des problèmes qui s'inscrivent dans divers contextes. » (OCDE 2004)

### 2.1.3.1 PISA : vers une intégration des domaines

Nous verrons plus loin que PISA évalue différents domaines de littératie (compréhension de l'écrit, mathématique, scientifique...), cela pour respecter les disciplines scolaires telles qu'elles existent dans la plupart des systèmes.

Cependant, des connaissances on passe aux compétences, lesquelles allient les connaissances aux capacités (utilisation des connaissances) et aux attitudes (intérêt pour le savoir, engagement, motivation...). Le schéma Fig. 2, préfigure l'évolution probable du cadre de référence de PISA. Les disciplines ne disparaissent pas mais sont en quelque sorte sublimées dans les compétences. L'important n'est plus seulement d'avoir des connaissances, mais de leur donner du sens et de savoir les utiliser dans des buts bien précis.

<figure><img src="image_18.png" /><figcaption>Figure 2-2 : Évolution probable du cadre de référence de PISA d'ici à 2030</figcaption></figure>

La figure 2-3 met en évidence la place qu'occupe le test cognitif dans ce dispositif. Nous ne dirons qu'un mot du questionnaire élève, mais il occupe une place essentielle dans la mesure où c'est ce questionnaire qui guide la plus grande part des conclusions de PISA. Notons qu'ici le terme « global » signifie « qui concerne l'ensemble de la planète ».
<figure><img src="image_19.png" /><figcaption>Figure 2-3 : Étendue des instruments de pisa</figcaption></figure>

### 2.1.3.2 Les enjeux de PISA

En tant qu'entreprise globale, les enjeux de PISA peuvent se décliner à différents niveaux.

Ces enjeux concernent :

* La planète.

* Les pays.

* Les élèves.

* Les citoyens.

* L'enseignement

* L'enseignement des mathématiques

* Les enseignants

La figure 2-4 pointe les défis pour la planète identifiés par l'OCDE. Le programme PISA vise à préparer les jeunes à affronter ces défis et donc, à les munir des connaissances et des compétences susceptibles de les aider à atteindre ces buts. Nous verrons plus loin comment PISA intègre ces préoccupations dans son questionnement cognitif, y compris en matière de littératie mathématique.

L'OCDE justifie cette approche par le constat d'une « *Interaction globale*» des constituants de la planète et sur la nécessité d'une communication globale.

> « Les sociétés contemporaines appellent à des formes complexes d'appartenance et de citoyenneté, dans lesquelles les individus doivent interagir avec des régions, des personnes et des idées distantes, tout en approfondissant leur compréhension de leur environnement local et de la diversité au sein de leurs propres communautés. »

> « Une communication efficace et un comportement approprié au sein d'équipes diverses sont la clé du succès dans de nombreux emplois et le resteront, car la technologie facilite la connexion entre les utilisateurs. »<fnref n="5" />

<footnote n="5">⁵ Traduit de OECD 2016</footnote>
<figure><img src="image_20.png" /><figcaption>Figure 2-4 : Les enjeux pour la planète<fnref n="6" /></figcaption></figure>

En conséquence PISA cherche à répondre aux questions suivantes :<fnref n="7" /> :

* Les élèves sont-ils capables d'examiner de manière critique des problèmes contemporains d'importance locale, mondiale et interculturelle ?

* Les élèves comprennent-ils et apprécient-ils les multiples perspectives culturelles ? (y compris les leurs propres) ?

* Les élèves sont-ils prêts à interagir de manière respectueuse malgré les différences culturelles ?

* Les élèves se soucient-ils du monde et prennent-ils des mesures pour créer un climat positif ?

* Quelles inégalités existent dans l'accès à l'éducation pour une compétence globale entre et à l'intérieur des pays ?

* Quelles sont les approches de l'éducation multiculturelle, interculturelle et globale couramment utilisées dans les systèmes scolaires du monde entier ?

* Comment les enseignants sont-ils préparés à développer les compétences globales des élèves ?

### 2.1.3.3 Pédagogies pour promouvoir des compétences globales

Pour atteindre les objectifs précisés ci-dessus, l'OCDE incite à développer des pédagogies orientées vers les caractéristiques suivantes :

* Travail de projet coopératif effectué en groupe : tâches thématiques dans lesquelles les élèves doivent travailler, apprendre et évaluer les progrès ensemble.

* Discussions organisées : discussion guidée dans laquelle les élèves présentent des preuves, commentent et expriment leurs points de vue.

<footnote n="6">⁶ Idem</footnote>

<footnote n="7">⁷ Traduit de OECD2016</footnote>
* Débats structurés : les étudiants reçoivent des instructions pour rejoindre une équipe qui soutient ou s'oppose à un point de vue polémique.

* Apprentissage par le service : les apprenants participent à des activités organisées étroitement liées à ce qu'ils ont appris en classe et d'une manière qui puisse profiter à leurs communautés. Ensuite, les élèves réfléchissent de manière critique sur leurs expériences pour améliorer leur compréhension et le sens de leur rôle dans la communauté.

### 2.1.4 Les volets de PISA

PISA décline la littératie dans une variété de domaines :

1. La compréhension de l'écrit (reading litteracy)

2. Littératie mathématique

3. Littératie scientifique

4. La résolution de problèmes

5. La littératie financière

Les points 1, 2 et 3 concernent tous les pays participants. La participation aux domaines 4 et 5 est facultative.

Tous les trois ans un nouveau cycle PISA a lieu avec pour domaine principal l'un des domaines 1, 2 ou 3.

Par exemple, en 2012 la littératie mathématique constituait le domaine principal ; en sera à nouveau le cas en 2021. En 2018, le domaine principal était la littératie scientifique, tandis qu'en 2018 c'était la compréhension de textes.

Lors de chaque cycle le questionnement cognitif ainsi que les analyses portent principalement sur le domaine principal. Le cadre de référence de l'évaluation de chacun des domaines n'est modifié que lorsque ce domaine redevient principal ; c'est-à-dire tous les 9 ans.

Une partie de cet ouvrage porte sur le cadre de référence de 2012 ; pour le domaine mathématique, c'est en effet le dernier qui a été officiellement publié. Nous ferons toutefois des incursions dans le cadre de référence de 2021 qui, au moment où nous écrivons est encore dans un état provisoire.

Bien que cet ouvrage porte essentiellement sur la littératie mathématique, le lecteur pourra trouver intérêt à s'intéresser aux questionnements utilisés dans les autres volets. On en trouvera des exemples dans le diaporama II ainsi que sur les sites cités dans les références.

D'une part, le mode de questionnement est très voisin d'un volet à l'autre, d'autre part les études statistiques mettent en évidence de fortes corrélations entre les résultats des différents volets. En outre, la compréhension de l'écrit intervient de façon très importante dans tous les cas.

## 2.2 Le volet mathématique de PISA

### 2.2.1 Le cadre de référence mathématique de PISA de 2000 à 2018

D'une façon générale, le cadre de référence des études PISA concerne l'ensemble des domaines et est en partie évolutif. Le cadre est en effet régulièrement modifié pour, dans la mesure du possible, prendre en compte les réactions qui suivent chacune des études et les demandes faites par les pays participants. Le programme PISA étant destiné à suivre les évolutions dans le temps, il importe que les observations faites et les indicateurs mesurés par exemple en 2021 puissent être comparés à ceux des cycles précédents. De ce fait les modifications du cadre de référence sont censés ne toucher ni l'esprit ni les fondamentaux du programme. Précisons d'abord le rôle du cadre de référence :
Le cadre de référence de PISA « présente les principes directeurs du cycle d'évaluation [...] et définit les contenus que les élèves doivent acquérir, les processus qu'ils doivent appliquer et les contextes dans lesquels leurs savoirs et savoir-faire et compétences seront évalués. Il fournit par ailleurs des exemples de tâches permettant d'illustrer les divers domaines d'évaluation. (OCDE 2003)

À partir de maintenant, dans ce chapitre comme dans les suivants, nous allons nous concentrer sur le cadre de référence relatif à la littératie mathématique et précisons d'abord ce que PISA entend par cette expression :

La littératie mathématique est la capacité d'un individu à formuler, employer et interpréter des mathématiques dans une variété de contextes. Cela inclut la capacité à raisonner mathématiquement et à utiliser des concepts, des procédures, des faits et des outils mathématiques pour décrire, expliquer et prévoir des phénomènes.

Elle aide les individus à reconnaître le rôle que les mathématiques jouent dans le monde, à produire des jugements bien fondés et à prendre les décisions nécessaires en citoyens constructifs, engagés et réfléchis. (définition de PISA 2015)

Il convient de noter que cette définition n'épuise pas ce que l'on attend habituellement de la formation mathématique des élèves. D'une certaine façon elle déborde largement ce qui est souvent attendu, mais d'autre part elle en réduit aussi les ambitions. Cela sera plus clair dans la suite de ce chapitre et le sera davantage au chapitre 3 lorsque nous présenterons le questionnement de PISA.

Il y a de ce fait une certaine inconséquence à vouloir identifier le niveau mathématique d'un pays à celui mesuré par PISA (en matière de littératie mathématique).

La figure 2-5 résume la façon dont la littératie mathématique était organisée jusqu'en 2018 pour l'évaluation et l'on verra dans le paragraphe suivant que les modifications qui seront apportées en 2021 ne modifieront pas profondément cette architecture.

<figure><img src="image_21.png" /><figcaption>Figure 2-5 : Le cadre de référence de PISA pour la littératie mathématique (PISA2013)</figcaption></figure>

On voit apparaître dans cette figure l'ensemble des éléments clés de la littératie mathématique :

* L'ancrage dans le « monde réel ».

* Les contenus mathématiques.
* Les contextes (voir plus loin).

* Les facultés fondamentales..

* Les processus.

* Le cycle de modélisation.

### 2.2.1.1 Les contenus

Plutôt que de s'attacher au découpage traditionnel (et scolaire) des contenus, le cadre de référence de PISA met l'accent sur des grandes idées mathématiques.

Les contenus se rapportent à quatre idées majeures (les variations et les relations ; l'espace et les formes ; la quantité ; l'incertitude et les données) qui sont liées aux disciplines mathématiques (telles que l'arithmétique, l'algèbre et la géométrie), et qui se chevauchent de façon complexe. (OCDE 2013).

Il s'agit là d'une approche de type phénoménologique qui s'oppose à l'approche disciplinaire. Dans cette approche, les phénomènes sont premiers et les concepts et théories mathématiques sont élaborés pour les aborder et pour les traiter.

Les catégories de contenus retenues par PISA sont les suivantes :

* Variations et relations.

* Espace et formes.

* Quantité.

* Incertitude et données.

Ces catégories sont restées inchangées depuis PISA2000 et devraient le rester pour 2021. Toutefois, sans que cela en modifie l'esprit, leur présentation a évolué pour mieux mettre en évidence l'importance des contenus enseignés et l'adéquation existant entre ces catégories et les objectifs définis par les programmes des pays participants.

La présentation des contenus de PISA2012 s'attache aussi à mettre en évidence la place aujourd'hui prise par les concepts et outils numériques. Nous ferons plus loin une place spéciale à cette question.

La catégorie Variations et Relations englobe tous les types de changements que l'on peut rencontrer. Cela concerne aussi bien les changements continus, que ceux, de nature discrète, qui procèdent par sauts (tel l'évolution au cours d'une journée du nombre de voyageurs d'une ligne d'autobus : chaque arrêt correspond à un saut). La modélisation de ces changements peut impliquer des fonctions, des équations, ainsi que des représentations graphiques et symboliques.

Espace et Formes fait référence aux objets et aux phénomènes que l'on rencontre dans notre environnement. La géométrie est évidemment la discipline mathématique de référence de cette catégorie, mais ne s'y réduit pas. Alors que la géométrie est souvent vue comme une théorie formelle et abstraite, dans laquelle la notion de démonstration tient une place privilégiée, la catégorie Espace et Formes procède essentiellement d'une approche sensualiste et phénoménologique.

La catégorie Quantité concerne l'attribution de nombres et de mesures aux phénomènes observés. Sont donc concernés ici le dénombrement, le calcul et, en particulier le calcul mental, le mesurage, la question des ordres de grandeur etc. Le sens des nombres ainsi que les différentes représentations des nombres sont des éléments clés de cette catégorie.

Les phénomènes dont on ne peut pas prédire l'issue de façon certaine sont très nombreux. Ils ont pris une place très importante dans l'activité scientifique comme dans la vie des sociétés. Le cas qui vient immédiatement à l'esprit est celui des jeux de hasard, mais de nombreux
phénomènes physiques ou sociétaux obéissent à des processus probabilistes dont l'analyse s'appuie sur des données statistiques. Bien sûr, la statistique et les probabilités sont les théories mathématiques de référence de cette catégorie, mais la « grande idée » retenue ici est celle d'Incertitude et données.

### 2.2.1.2 Les contextes

Voulant inscrire ses questions d'évaluation de la littératie non seulement dans le monde « réel » mais aussi dans la vie réelle des élèves, PISA distingue et hiérarchise les types de situations dans lesquelles les problèmes sont rencontrés.

Situation la plus proche de l'élève : sa vie personnelle.

Ensuite : sa vie scolaire et le monde du travail et des loisirs.

Plus loin : la communauté locale et la société rencontrée dans la vie de tous les jours.

Et enfin : les situations de nature scientifique.

**Les contextes** peuvent être divers et nombreux tandis que les situations sont réduites aux quatre types suivants :

* **Personnels** : Situations d'ordre personnelles.

* **Professionnels** : Situations rencontrées dans les domaines éducatifs ou professionnels.

* **Sociétaux** : Situations rencontrées dans la vie publique.

* **Scientifiques** : Situations de nature scientifique.

### 2.2.1.3 Les processus et le cycle de modélisation

Nous verrons mieux dans le chapitre 3 qu'un exercice de PISA doit être basé sur des situations « réelles » et comment sa résolution est censée s'appuyer sur des processus cognitifs qui ne se résument pas à la simple application d'une connaissance ou d'une procédure.

Ces processus, Formuler, Utiliser, Interpréter et évaluer constituent ce que PISA appelle le cycle de modélisation. Ce cycle est illustré par le rectangle inférieur de la figure 2-5.

Précisons ici le sens à donner à chaque étape de ce cycle.

**FORMULER** : Cette catégorie concerne la formulation des situations de façon mathématique. Cela « renvoie à la capacité des individus d'identifier et de reconnaître des possibilités d'utiliser les mathématiques dans le contexte d'un problème, puis de structurer sous forme mathématique un problème présenté jusqu'à un certain point sous une forme contextualisée. C'est ce que l'on appelle habituellement la mathématisation des situations.

**EMPLOYER** : C'est-à-dire, employer des concepts, des faits, des procédures et des raisonnements mathématiques. C'est là qu'interviennent les connaissances proprement mathématiques. PISA reconnaît ainsi que, non seulement que ces connaissances sont nécessaires, mais de plus qu'il faut savoir les utiliser à bon escient.

**INTERPRÉTER** : Il s'agit d'interpréter, d'appliquer et d'évaluer des résultats mathématiques. Cela « renvoie à la capacité des individus de réfléchir à des solutions, des résultats ou des conclusions mathématiques, et de les interpréter dans le cadre de problèmes tirés du monde réel. (ibidem)» Cette catégorie concerne donc le sens et la valeur que l'élève est capable de donner à ses calculs, à ses raisonnements et à ses résultats.
### 2.2.2 Le cadre de référence mathématique de PISA de 2021⁸

La figure 2-6 présente ce cadre d'une façon légèrement différente que la figure 2-5 du paragraphe précédent mais on constatera que les seules différences concernent le remplacement des facultés mathématiques fondamentales par les compétences du 21° siècle et l'introduction de la notion de raisonnement qui n'était que sous-entendu dans les versions antérieures.

<figure><img src="image_22.png" /><figcaption>Figure 2-6 : présentation du cadre de référence 2021 pour la littératie mathématique⁹</figcaption></figure>

La définition donnée de la littératie mathématique ne change pas fondamentalement mais se fait plus précise et plus claire.

La littératie mathématique est la capacité d'un individu à raisonner de manière mathématique et à formuler, utiliser et interpréter les mathématiques pour résoudre des problèmes dans divers contextes du monde réel.

Elle comprend des concepts, des procédures, des faits et des outils pour décrire, expliquer et prévoir des phénomènes.

Elle aide les individus à connaître le rôle que jouent les mathématiques dans le monde et à porter les jugements et décisions fondés nécessaires aux citoyens constructifs, engagés et réfléchis du XXIe siècle.

#### 2.2.2.1 Le raisonnement mathématique et les compréhensions clés

Il n'est pas nécessaire ici de définir la notion de raisonnement. Il s'agit en effet d'une fonction cognitive essentielle partagée par tous les humains et sans doute au-delà. Le raisonnement ne concerne pas

<footnote n="8">⁸ La plupart des textes de ces chapitres sont des traductions par nos soins du cadre de référence de PISA2021 dans sa version du 28 novembre 2018. Ces traductions, non officielles sont mises en italique.</footnote>
spécialement les mathématiques ni les discipline scolaire. Dès la naissance, l'enfant se développe essentiellement en raisonnant. Il y a cependant des modes de raisonnement plus ou moins propres aux mathématiques (le raisonnement par l'absurde, le raisonnement par récurrence...) mais ces mode de raisonnement spécifiques ne font pas partie du cadre de référence de PISA. Jusqu'à présent PISA ne faisait référence au raisonnement comme allant de soi, d'abord dans le cadre de la pensée mathématique ; puis comme l'une des aptitudes fondamentales. Avec le cadre de référence de 2021, le raisonnement apparaît comme la clé de voute de l'ensemble (cf. figure 2.6).

Voici donc comment PISA présente maintenant le raisonnement :

> La capacité de raisonner logiquement et de présenter des arguments de manière honnête et convaincante est une compétence de plus en plus importante dans le monde d'aujourd'hui. Les mathématiques sont une science d'objets et de notions bien définis qui peuvent être analysés et transformés de différentes manières en utilisant un «raisonnement mathématique» pour obtenir des conclusions certaines et intemporelles.

> En mathématiques, les élèves apprennent qu'avec un raisonnement et des hypothèses appropriés, ils peuvent obtenir des résultats en lesquels ils peuvent avoir confiance. Il importe également que ces conclusions soient impartiales et ne nécessitent aucune validation par une autorité externe.

> Les compréhensions clés structurent et soutiennent le raisonnement mathématique ; elles incluent :

* Comprendre les systèmes de numération et leurs propriétés algébriques ;

* Apprécier le pouvoir de l'abstraction et de la représentation symbolique ;

* Voir les structures mathématiques et leurs régularités ;

* Reconnaître les relations fonctionnelles entre les quantités ;

* Utilisation de la modélisation mathématique comme un instrument de perception (lentille !) du monde réel (par exemple, provenant des sciences physiques, biologiques, sociales, économiques et comportementales) ;

* Comprendre la variation au cœur des statistiques.

### 2.2.2.2 Les compétences du 21° siècle

Cette notion de compétences du 21° siècle apparaît pour la première fois dans le cadre de référence de PISA, mais elle fait depuis de nombreuses années l'objet de réflexions intenses dans les divers groupes de travail de l'OCDE (OECD2018a).

À la lecture de certaines parties du présent ouvrage, on pourrait penser que les conceptions mise en œuvre par PISA ne prennent en compte que les questions de développement économique. En réalité, l'OCDE et PISA sont eux-mêmes influencés et en phase avec la réflexion qui se développe depuis une cinquantaine d'années dans de nombreux cercles et organisations : les communautés de recherches en sciences de l'éducation et en didactique, la Commission Internationale sur l'Enseignement des Mathématiques (ICMI), mais aussi de l'UNESCO, de l'UNICEF, de la Commission Européenne... Ces entités entretenant évidemment des liens étroits en matière d'éducation.

La notion de littératie, et en particulier de littératie mathématique a émergée au fil des ans de ces réflexions communes. Elle correspond à cette idée d'une l'éducation pour TOUS dans des conditions qui permette à TOUS les jeunes d'aborder dans des conditions favorables les défis du siècle.

C'est dans ce cadre global, à partir d'une réflexion sur l'état du monde et sur ce que l'on peut se risquer à prévoir pour les années qui viennent, que des grandes lignes se sont imposée qui sont autant d'incitations à orienter à la fois les programmes d'enseignement, la formation des enseignants et les pratiques pédagogiques.
Identifiées comme compétences du 21° siècle, ces grandes lignes ne sont pas tout à fait nouvelles ; elles sont depuis longtemps plus ou moins développées et en œuvre dans divers courants pédagogiques et dans de nombreux pays. Citons-les à nouveau ici :

1. La pensée critique

2. La créativité

3. La communication

4. L'utilisation de l'information

5. La recherche et l'enquête

6. La pensée systémique

7. L'autonomie, l'initiative et la persévérance

8. La réflexion

Relevons le fait que ces compétences sont générales et ne concernent pas spécialement l'enseignement des mathématiques.

Chacun pourra trouver, dans son enseignement des mathématiques des occasions de développer chacune de ces compétences. Il faudrait un chapitre spécial pour développer cette idée ; ce pourrait être l'occasion d'une formation spéciale.

Certaines des compétences citées sont faciles à interpréter et trouvent naturellement leur place dans l'enseignement des mathématiques : c'est le cas, sans doute, des compétences 3, 7 et 8. La compétence 4 concerne le fait que l'information est aujourd'hui accessible et peut être organisée et transformée par les moyens numériques. D'une façon générale, les compétences 1, 2 et 6 supposent des conceptions et des pratiques enseignantes qui loin d'être uniformément répandues.

### 2.2.2.3 Les processus

Les définitions données pour les processus dans les versions précédentes du cadre de référence ont été jugées trop succinctes. Le cadre de 2021 développe et les rend plus opérationnelles.

#### Formuler

Le terme formuler dans la définition de la littératie mathématique concerne la capacité des individus à reconnaître et à identifier les opportunités d'utilisation des mathématiques, puis de fournir une structure mathématique à un problème présenté sous une forme contextualisée.

Lors de la formulation mathématique de situations, les utilisateurs déterminent où ils peuvent extraire les mathématiques essentielles pour analyser, mettre en place et résoudre le problème. Ils traduisent d'un contexte réel au domaine des mathématiques et fournissent au problème du monde réel une structure, des représentations et une spécificité mathématiques. Ils raisonnent et donnent un sens aux contraintes et aux hypothèses du problème. Plus précisément, ce processus de formulation de situations inclut mathématiquement des activités telles que :

* Sélectionner un modèle approprié dans une liste ;

* Identifier les aspects mathématiques d'un problème situé dans un contexte réel et identifier les variables significatives ;

* Reconnaître la structure mathématique (y compris les régularités, les relations et les modèles) dans des problèmes ou des situations ;

* Simplifier une situation ou un problème afin de le rendre sujet à une analyse mathématique ;

* Identifier les contraintes et les hypothèses sous-jacentes à toute modélisation mathématique et les simplifications tirées du contexte ;
* Représenter une situation de manière mathématique en utilisant des variables, des symboles, des diagrammes et des modèles standards appropriés ;

* Représenter un problème d'une manière différente, y compris en l'organisant selon des concepts mathématiques et en faisant des hypothèses appropriées.

* Comprendre et expliquer les relations entre le langage spécifique au contexte d'un problème et le langage formel et symbolique nécessaire pour le représenter mathématiquement ;

* Traduire un problème en langage mathématique ou en une représentation ;

* Reconnaître les aspects d'un problème qui correspondent à des problèmes connus ou à des concepts, faits ou procédures mathématiques ;

* Utiliser une technologie (telle qu'un tableur ou une liste sur une calculatrice graphique) pour représenter une relation mathématique inhérente à un problème contextualisé ; et

* Créer une série ordonnée d'instructions (pas à pas) pour résoudre des problèmes.

## Employer

Le terme employer dans la définition de la littératie mathématique concerne la capacité des individus à utiliser des concepts, des faits, des procédures et des raisonnements mathématiques pour résoudre des problèmes formulés de manière mathématique afin d'obtenir des conclusions mathématiques.

Lorsqu'ils utilisent des concepts, des faits, des procédures et des raisonnements mathématiques pour résoudre des problèmes, les individus effectuent les procédures mathématiques nécessaires pour obtenir des résultats et trouver une solution mathématique. Ils travaillent sur un modèle de la situation problématique, établissent des régularités, identifient les liens entre des entités mathématiques et créent des arguments mathématiques. Plus précisément, ce processus d'utilisation de concepts, faits, procédures et raisonnements mathématiques comprend des activités telles que :

* Effectuer un calcul simple ;

* Tirer une conclusion simple ;

* Choisir une stratégie appropriée dans une liste ;

* Concevoir et mettre en œuvre des stratégies pour trouver des solutions mathématiques ;

* Utiliser des outils mathématiques, y compris la technologie, pour trouver des solutions exactes ou approximatives ;

* Appliquer des faits, des règles, des algorithmes et des structures mathématiques lors de la recherche de solutions ;

* Manipuler des nombres, des données et des informations graphiques et statistiques, des expressions et des équations algébriques et des représentations géométriques ;

* Faire des diagrammes, des graphiques et des constructions mathématiques et en extraire des informations mathématiques ;

* Utiliser et basculer entre différentes représentations dans le processus de recherche de solutions ;

* Faire des généralisations basées sur les résultats de l'application de procédures mathématiques pour trouver des solutions ;

* Réfléchir sur des arguments mathématiques et expliquer et justifier des résultats mathématiques ; et

* Évaluer l'importance des modèles observés (ou proposés) et des régularités dans les données.
## Interpréter et évaluer

Le mot interpréter (et évaluer) utilisé dans la définition de la littératie mathématique se concentre sur la capacité des individus à réfléchir sur des solutions, résultats ou conclusions mathématiques et à les interpréter dans le contexte du problème réel qui a initié le processus. Cela implique de traduire des solutions mathématiques ou des raisonnements dans le contexte du problème et de déterminer si les résultats sont raisonnables et ont un sens dans le contexte du problème.

Plus précisément, ce processus d'interprétation, d'application et d'évaluation des résultats mathématiques comprend des activités telles que :

* Interpréter des informations présentées sous forme graphique et/ou de diagrammes ;

* Évaluer un résultat mathématique en référence au contexte ; Interpréter un résultat mathématique dans le contexte du monde réel ;

* Évaluer le caractère raisonnable d'une solution mathématique dans le contexte d'un problème du monde réel ;

* Comprendre comment le monde réel influe sur les résultats et les calculs d'une procédure mathématique ou d'un modèle afin de porter des jugements contextualisés sur la manière dont les résultats devraient être ajustés ou appliqués ;

* Expliquer pourquoi un résultat mathématique ou une conclusion a ou n'a pas de sens compte tenu du contexte du problème ;

* Comprendre l'étendue et les limites des concepts mathématiques et des solutions mathématiques ;

* Critiquer et identifier les limites du modèle utilisé pour résoudre un problème ; et

* Utiliser la pensée mathématique et la pensée informatique pour faire des prédictions, pour fournir des preuves de ses arguments, pour tester et comparer des solutions proposées.

### 2.2.2.4 Les contenus de PISA 2021

Les catégories de contenu ne sont pas modifiées. Toutefois, l'évaluation PISA 2021 a retenu quatre thèmes sur lesquelles l'évaluation insistera. Ces thèmes, qui méritent une attention particulière, sont :

* Phénomènes de croissance (changement et relations)

* Approximation géométrique (espace et forme)

* Simulations informatiques (quantité)

* Prise de décision conditionnelle (incertitude et données)

Voyons comment PISA justifie ces choix et envisage de les opérationnaliser.

#### Phénomènes de croissance

Comprendre les dangers des pandémies de grippe et des épidémies bactériennes, ainsi que la menace du changement climatique, oblige les gens à penser non seulement en termes de relations linéaires, mais à reconnaître que de tels phénomènes nécessitent des modèles non linéaires (souvent exponentiels). Les relations linéaires sont courantes et faciles à reconnaître et à comprendre, mais supposer la linéarité peut être dangereux.

Identifier les phénomènes de croissance comme un point central de la catégorie des contenus relative aux variations et aux relations ne signifie pas que l'on attendrait que les élèves participant à PISA étudient la fonction exponentielle ; évidemment, les questions ne nécessiteront pas une connaissance de la fonction exponentielle. Au lieu de cela, on s'attend à ce que certains questions demandent que les élèves (a) reconnaissent que toute croissance n'est pas linéaire et (b) que la
croissance non linéaire a des implications particulières et profondes sur la façon dont nous
comprenons certaines situations.

Approximation géométrique

Le monde d'aujourd'hui regorge de formes qui ne suivent pas les schémas typiques d'égalité ou de symétrie. Comme les formules simples ne traitent pas les irrégularités, il est devenu plus difficile de comprendre ce que nous voyons et de trouver la surface ou le volume des structures résultantes.

L'identification des approximations géométriques en tant que point central de la catégorie de contenu espace et forme signale la nécessité pour les étudiants de pouvoir utiliser leur compréhension de l'espace et des phénomènes de forme traditionnels dans diverses situations typiques.

Prise de décision conditionnelle

Les variables qui sont de nature dichotomique ou polytomique doivent être analysées différemment des variables continues. La combinatoire aide également à comprendre les situations courantes. La théorie des jeux, une approche plus formelle, peut être appliquée à la prise de décision entre différentes options catégoriques telles que gagner versus perdre, en utilisant plusieurs de ces mêmes approches avec une probabilité conditionnelle.

Identifier la prise de décision conditionnelle comme élément central de l'incertitude et de la catégorie de contenu des données indique que les élèves devraient être amenés à comprendre l'impact des hypothèses faites lors de l'établissement d'un modèle sur les conclusions pouvant être tirées, ainsi que la possibilité que différentes hypothèses / relations peuvent très bien conduire à des conclusions différentes.

Simulations informatiques

En mathématiques comme en statistique, il existe des problèmes qui ne sont pas faciles à résoudre
car les mathématiques requises sont complexes ou impliquent un grand nombre de facteurs opérant
tous dans le même système. De nos jours, de tels problèmes sont de plus en plus abordés à l'aide
de simulations informatiques reposant sur des mathématiques algorithmiques.

L'identification des simulations informatiques en tant que point central de la catégorie de contenu de quantité signale que, dans le contexte de l'évaluation informatique du volet mathématique (CBAM)<fnref n="10" /> de PISA, utilisée à partir de 2021, il existe une vaste catégorie de problèmes complexes, notamment la budgétisation et la planification, que les élèves peuvent analyser en termes des variables du problème en utilisant des simulations informatiques fournis comme parties des questions du test.

*Méthodologie de PISA*

2.2.3 Scores, et échelles

PISA et, d'une façon générale, les enquêtes internationales utilise une méthodologie complexe pour calibrer les questions utilisés dans l'évaluation, pour établir des scores individuels et par pays, pour produire des échelles, et pour repérer des niveaux de compétence. Ces méthodologies sont aussi de plus souvent utilisées pour les enquêtes nationales.

Ces méthodes sont basées sur le calcul des probabilités. Elles permettent en particulier de ne faire
passer à chaque élève qu'une partie des questions de l'étude tout en lui attribuant un score comparable
à ceux des autres élèves. Elles permettent de placer les élèves, les pays et les questions sur une même
échelle.

<footnote n="10">¹⁰ Computer Based Assessment of Mathematics (Évaluation sur écran)</footnote>
<figure><img src="image_23.png" /><figcaption>Figure 2-7 : L'échelle PISA</figcaption></figure>

Cette échelle, issue d'une distribution gaussienne avait, par construction, une moyenne de 500 pour PISA 2000 et pour écart-type 100. C'est toujours cette échelle qui sert de référence, même si la moyenne des scores a pu légèrement évoluer au cours des années.

La presse se fait régulièrement l'écho des classements de PISA. Elle oublie souvent que les scores publiés ne sont que les centres d'intervalle de confiance et ne permettent pas toujours de différencier les pays.

La 2-8 montre un exemple de présentation de classement. Il met en évidence les intervalles de confiance et montre que par exemple il n'est pas correct de conclure de cette répartition des différences entre les pays marqués en vert.

<figure><img src="image_24.png" /><figcaption>Fig 8 -</figcaption></figure>

<caption>Figure 2-8 : un exemple de répartition des pays sur l'échelle des scores</caption>

La méthodologie ne doit pas être l'objet central de notre réflexion mais il nous semble que les personnes qui auront à présenter PISA doivent avoir un minimum d'information et de compréhension de ces question pour pouvoir répondre aux questions qui ne manqueront pas de leur être posées et pour éviter de laisser se répandre des idées fausses. Certes, il y a des pays qui réussissent beaucoup mieux ou
beaucoup moins bien que d'autres, mais souvent les différence sont minimes, comme l'illustre aussi bien la figure 2-8 que la figure 2-9.

<figure><img src="image_25.png" /><figcaption>Figure 2-9 : Loi normale et distribution des scores</figcaption></figure>

### 2.2.4 Niveaux de compétence

La méthodologie utilisée par PISA pour établir les scores a permis à PISA de définir des niveaux de compétence. Là encore, la définition de ces niveaux est assez complexe et fait interagir une démarche qualitative (jugement d'experts) et une démarche quantitative. Après quelques itérations du processus et stabilisation du résultat, on a obtenu un découpage de l'échelle de compétences en 6 niveaux (plus un).

<figure><img src="image_26.png" /><figcaption>Figure 2-10: L'échelle de compétence de PISA</figcaption></figure>

Un élève est donc au niveau 6 s'il a un indice de compétence égal ou supérieur à 669, tandis que dire qu'un question est au niveau 6, c'est dire que la probabilité d'un élève de niveau 6 de réussir cet question est supérieure ou égale à 0,5. Notons que la définition de ces niveaux permet d'assurer que, si l'on considère un ensemble d'questions dont les indices de difficulté appartiennent tous, par exemple, à l'intervalle [607 ; 669], l'espérance mathématique du score d'un individu de niveau 5 sur cet ensemble d'questions est supérieur ou égal à 50% (espérance mathématique de la loi binomiale de paramètre 0,5).

Les rapports de PISA parlent ainsi de pays dont la moitié des élèves se situent en dessous du niveau 2 ou de pays dont la moitié des élèves se situent aux niveaux 5 ou 6.

### 2.2.5 L'analyse des réponses aux items

Dans ce paragraphe et dans ce paragraphe seulement, nous appelons items ce qui ailleurs est désigné par question ; cela pour respecter l'usage en édumétrie (méthodes de mesure en éducation).

Ainsi que nous l'avons écrit, PISA utilise des méthodes probabilistes complexes, en particulier pour calibrer ses items. La méthode utilisée à cette fin est la « théorie des réponses aux items ».
Pour simplifier, disons que le score total d'un test est rapporté à une échelle normale, comme nous l'avons vu plus haut et portons cette échelle en abscisse en notant $\theta$ cette échelle (voir fig.11)

Soit alors un item particulier I et la fonction qui a toute valeur de $\theta_0$ de $\theta$ cette associe la probabilité de réponse correcte à l'item I sous condition d'un score global au test égal à $\theta_0$. La courbe obtenue est la courbe de réponse de l'item selon le modèle de Rasch.

C'est cette qui permet de définir le niveau de difficulté de l'item et l'indice de discrimination de l'item. L'observation. De cette courbe permet aussi de déceler des biais et autre anomalies de l'item.

En effet, la courbe présentée ci-dessous est le modèle théorique correspondant à l'idéal alors que dans la pratique on peut s'éloigner plus ou moins de ce modèle. PISA élimine de son étude, avant même la passation officielle des test, mes items qui présenteraient des biais de ce type ; cela grâce à une expérimentation préalable des items l'année avant la passation officielle.

<figure><img src="image_27.png" /><figcaption>Figure 2-11: Courbe de réponse d'un item – modèle de Rasch (modèle théorique)</figcaption></figure>

Le lecteur trouvera dans le diaporama V des exemples d'utilisation de l'IRT pour le test réalisé dans le cadre du stage et passé en janvier 2019.

## 2.3 Questionnaires contextuels

Les questionnaires cognitifs sont accompagnés de questionnaires contextuels qui cherchent à rendre compte de divers aspects des systèmes éducatifs. Voici par exemple les 7 questionnaires contextuels de PISA 2015

* Questionnaire « Établissement », destiné aux chefs d'établissement (11 pages),

* Questionnaire « Élève », passé par tous les élèves participants (17 pages)

* Deux questionnaires facultatifs destinés aux élèves :

* Questionnaire sur le parcours scolaire (second questionnaire élèves) (10 pages),

* Questionnaire sur la maîtrise des technologies de l'information et de la communication (questionnaire TICE - 5 pages),

* Deux autres questionnaires facultatifs :

* Questionnaire « Parents » (9 pages),

* Questionnaire « Enseignants » (16 pages).
En tout 68 pages pour plus de 200 questions

PISA attache beaucoup d'importance à ces questionnaires qui lui permettent de relier les résultats des élèves dans les domaines cognitifs aux contextes dans lesquels ils sont produits.

Le lecteur trouvera dans le diaporama V des exemples d'utilisation de l'IRT pour le test réalisé dans le cadre du stage et passé en janvier 2019.

<figure><img src="image_28.png" /><figcaption>Figure 2-12: exemple de questions d'un questionnaire contextuel</figcaption></figure>

Ce sont ces questionnaires qui permettent à l'OCDE de faire des observations d'ordre général et de faire des recommandations aux gouvernements.

On observe ainsi une corrélation positive, souvent importante des résultats avec :

* Le niveau socio-économique et culturel des élèves.

* L'importance accordée à la formation des enseignants.

* La discipline des élèves.

* Le bien-être des élèves.

* L'autonomie des établissements.

Tandis que l'on observe une corrélation négative des résultats avec :

* Les taux de redoublement.

* Le temps passé au travail personnel (dépassant un certain niveau).

* La sélection précoce.
# Chapitre 3
## Le questionnement mathématique de PISA

Réalisation : Antoine Bodin et Brahim Ferhane

Ce chapitre est consacré au questionnement de PISA relatif à la littératie mathématique.

Nous commencerons par revenir sur l'objet même de l'évaluation PISA, à savoir la littératie mathématique telle qu'elle est définie dans le cadre de référence (voir chapitre 2), ou plutôt la façon dont PISA entend l'opérationnaliser dans son questionnement cognitif. Opérationnaliser signifie ici produire des questions d'évaluation qui traduisent fidèlement les objectifs annoncés, ou encore, qui assurent la validité interne de l'évaluation.

Nous verrons ensuite comment les questions de PISA sont présentées, puis un premier exemple d'unité d'évaluation (groupe de questions portant sur une même situation. (Cf. § 3.2), puis nous présenterons des moyens d'analyser ces questions au delà de ce qui est proposé par PISA.

Enfin nous présenterons un ensemble de questions telles quelles ont été posées lors des cycles antérieurs de PISA ainsi que des questions qui préfigurent l'évaluation de 2021.

### 3.1 La littératie mathématique et le cycle de modélisation

Pour cette partie, on peut résumer la littératie mathématique en disant qu'elle concerne la capacité des élèves à traiter des situations qui peuvent se prêter à un traitement mathématique ; de plus, ces situations doivent être susceptibles d'être rencontrées dans le monde « réel ». Ces situations se présentent donc sous la forme de problèmes dont la résolution ne se limite pas à la simple application d'une connaissance mathématique.

Si l'on considère, ce qui est le cas pour la plupart des mathématiciens, que « faire des mathématiques » c'est résoudre des problèmes, et que, pour citer Vergnaud (1981) « la résolution de problèmes est la source et le critère du savoir », il n'y a là rien de particulièrement choquant. Évidemment, selon les traditions pédagogiques, les élèves peuvent être plus souvent confrontés à des exercices d'application qu'à des problèmes, y compris lors des examens, et ils seront alors déstabilisés lors qu'ils seront confrontés au questionnement PISA.

Une expression revient souvent dans les enquêtes PISA : celle de vie réelle « real life ». L'évaluation du domaine mathématique porte alors sur l'aptitude à utiliser ses connaissances et ses savoir-faire dans des situations dans lesquelles l'utilisation des connaissances mathématiques, aussi minimes soient-elles, suppose un traitement préalable. Ce traitement passe d'abord par la compréhension de la situation, laquelle, dans ce cas, est rarement située dans le domaine mathématique ; ensuite sa traduction en langage mathématique ; puis son traitement mathématique ; et finalement l'interprétation des résultats par un retour au « monde réel ». C'est ce que PISA a appelé, jusqu'à PISA 2012, le cycle de mathématisation ; cycle défini de la façon suivante (OCDE 2003) :

1. Commencer par un problème relevant de la réalité ;

2. Organiser le problème en fonction de concepts mathématiques ;

3. Effacer progressivement la réalité au travers de divers processus, tels que la formulation d'hypothèses concernant l'identification des principales caractéristiques du problème, la généralisation et la formalisation (dont l'objectif est de faire ressortir les caractéristiques mathématiques de la situation et de transformer le problème réel en un problème mathématique qui soit le reflet fidèle de la situation) ;
4. Résoudre le problème mathématique ;

5. Comprendre la solution mathématique et l'appliquer à la situation réelle (ce qui implique aussi d'identifier les limites de la solution).

9. Les points 1 à 5 définissent le cycle de mathématisation et se retrouvent dans la figure ci-dessous.

<figure><img src="image_29.png" /><figcaption>Figure 3-1 : Le cycle de mathématisation avant 2012 (OCDE 2003)</figcaption></figure>

On voit que, autant que faire se peut, PISA excluait de son évaluation la compétence à résoudre des problèmes intra-mathématiques. Cela semble évoluer dans la préparation de PISA 2021.

Le cycle de mathématisation, qui date de 2000, n'a pas vraiment été modifié par les changements qui suivront. Les points 1 à 5 se retrouvent en effet inchangés dans la présentation de 2012 qui sera encore utilisée en 2021.

<figure><img src="image_30.png" /><figcaption>Figure 3-2 : Le cycle de modélisation à partir de 2012 (OCDE 2013)</figcaption></figure>

* Le triplet (1 ; 2 ; 3) devient le processus **FORMULER**.

* Le point 4 devient le processus **EMPLOYER**.

* Le couple (5 ; 6) devient le processus **INTERPRÉTER**.

La séquence Formuler, Employer, Interpréter, devient le cycle de modélisation. Les processus, dont la définition pouvait être vague, sont maintenant décrits de façon précise dans le cadre de référence de PISA 2021 (reproduit en § 2-5-3). Ces processus définissent des variables « mesurables » qui pourront générer des échelles lors des traitements des résultats (voir § 2.2.6).

## 3.2 Les questions de PISA

Dans cette partie, nous chercherons de comprendre la façon dont PISA organise son questionnement. Après avoir rappelé les principaux éléments du cadre de référence qui constituent le « cahier des charges » de ce questionnement, nous présenterons la format général des questions
### 3.2.1 Une catégorisation des questions suivant les processus, les contenus et les contextes

Le fil conducteur de PISA pour la rédaction des questions de littératie mathématique est son modèle du cycle de modélisation mathématique tel qu’illustré ci-dessous. L’idéal serait que toute question mette en jeu, de façon plus ou moins équivalente, chacun des trois processus. Toutefois, PISA admet que, pour l’évaluation, il est rarement possible de produire des questions qui mettraient en jeu l’ensemble du cycle. C’est en effet rarement possible dans une évaluation où l’on souhaite utiliser un nombre important de questions de niveaux de difficulté variés, mettant en jeu des contenus aussi variés que possible et placés dans des contextes variés. Le compromis retenu consiste à faire porter chaque *item* (voir plus bas) de façon privilégiée sur l’un des processus, sans toutefois exclure les deux autres. Par la suite, on gardera à l’esprit que le temps moyen laissé à l’élève pour répondre à une question est d’environ 2 minutes (mais l’élève est libre d’organiser son temps global).

Rappelons (voir chapitre 2) que, en plus des catégories de processus, les items de PISA sont associés à des catégories de contenus et de contextes :

**Les contenus mathématiques** qui pourraient être utilisés pour le traitement des questions sont classés dans quatre domaines :

* Variations et relations,

* Espace et formes,

* Quantité,

* Incertitude et données.

**Les contextes** dans lesquels les questions s’inscrivent :

* Personnels,

* Professionnels,

* Sociétaux,

* Scientifiques

De plus, les questions de PISA ont plusieurs types de formats :

* Questions à choix multiples (QCM),

* Questions à réponses courtes (souvent réduites à un ou deux mots ou nombres),

* Questions à réponses ouvertes (limitées à quelques phrases).

### 3.2.2 Présentation des questions

Les énoncés de PISA, appelées **unités**, sont en général constitués de la présentation d'une situation empruntée à la vie réelle et de questions se référant à la situation. Ces questions sont appelées question 1, question 2, question 3 et sont supposées indépendantes.
<figure><img src="image_31.png" /><figcaption>Figure 3-3: Une unité de PISA – mathématiques (exemple fictif)</figcaption></figure>

### 3.2.3 Un exemple analysé : débit d'une perfusion (PISA 2012)

Voici un exemple d'unité qui comporte deux questions.

Les perfusions intraveineuses servent à administrer des liquides et des médicaments aux patients.

Les infirmières doivent calculer le débit D d'une perfusion en gouttes par minute.

Elles utilisent la formule $D = \frac{d \cdot v}{60 \cdot n}$ où

d est le facteur d'écoulement en gouttes par millilitre (ml)

v est le volume (en ml) de la perfusion

n est le nombre d'heures que doit durer la perfusion.

<figure><img src="image_32.png" /></figure>

**Question 1 (PM903Q01)**

Une infirmière veut doubler la durée d'une perfusion.

Décrivez avec précision la façon dont D change si n est doublé et si d et v ne changent pas.

<figure><img src="image_33.png" /></figure>
**Question 2 (PM903Q03)**

Les infirmières doivent aussi calculer le volume v de la perfusion en fonction du débit de perfusion D.

Une perfusion d'un débit de 5 gouttes par minute doit être administrée à un patient pendant 3 heures.
Pour cette perfusion, le facteur d'écoulement est de 25 gouttes par millilitre.

Quel est le volume en ml de cette perfusion ?

Volume de la perfusion : .................... ml

Les codes en rouge sont les codes qui identifient la question dans la base de la banque de questions de PISA. Il importe de les noter lorsque l'on utilise une question de PISA, de même, évidemment qu'il convient de préciser qu'il s'agit d'une question de PISA (sous copyright OCDE). L'utilisation de ces questions est interdite à des fins commerciales.

Les questions sont accompagnées d'une description des objectifs de PISA. On verra plus loin que ces descriptions sont en général très succinctes.

Elles sont aussi accompagnées par leur classement dans les catégories contenus (ou domaines mathématiques), contexte et processus. Ces classements ont fait l'objet d'un large consensus et dans certains cas sont contestables ; par exemple une question classée dans la catégorie « quantité » contient des éléments de nature géométrique qui auraient pu la faire classer dans la catégorie « espace et formes ».

On sait qu'une classification de ce type ne peut être absolue mais l'on retiendra que ce sont les classements définis par PISA qui sont utilisés pour construire les échelles publiées dans les rapports.

On peut éventuellement modifier les questions de PISA pour les adapter à tel ou tel public. Dans ce cas ce ne sont plus des questions PISA mais il convient cependant de faire référence à PISA. C'est ce que nous avons fait dans le cadre du stage. En effet, dans le but de construire un test « type PISA » qui a été expérimenté en Algérie dans des classes de seconde année moyenne, les participants au stage ont fait de telles adaptations (voir chapitre 4).

Enfin les questions sont accompagnées des consignes de codage des réponses. Ce point très important sera développé dans le chapitre 4.

Dans le cas de l'exemple « débit d'une perfusion », voici les objectifs, les classements et les consignes de codage.

**Objectifs de la question 1**

Description : Expliquer quel est l'effet produit sur la valeur du résultat, lorsqu'on double une variable dans une formule, sachant que toutes les autres variables restent constantes

Domaine mathématique : Variations et relations

Contexte : Professionnel

Processus : Employer

**Consignes de la question 1**

Crédit complet

Code 2 : L'explication décrit à la fois le sens de l'effet et sa valeur.
* Il est divisé par deux.

* C'est la moitié.

* D diminuera de 50%.

* D sera deux fois moins important.

### Crédit partiel

Code 1 : Une réponse incomplète qui indique seulement le sens de l'effet ou sa valeur, mais dont les éléments ne sont tous deux pas incorrects.

* D devient plus petit. [Pas de valeur]

* Il y a un changement de 50%. [Pas de sens]

### Pas de crédit

* Code 0 : Autres réponses.

* D va doubler également. [Les eux éléments, la valeur et le sens et l'effet, sont incorrects.]

Code 9 : Omission.

### Objectifs de la question 1

Description : Transposer une équation et y substituer deux variables par des valeurs numériques données

Domaine mathématique : Variations et relations

Contexte : Professionnel

Processus : Employer

### Consignes de la question 1

Code 1 : 360 ou une solution correctement transposée avec des variables de substitution correctes.

* 360

* (60 • 3 • 5) ÷ 25 [Transposition et substitution correctes]

### Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

### Quelques taux de réussite observés

<table><thead><tr><th></th><th>France</th><th>Allemagne</th><th>Canada</th><th>Finlande</th><th>Japon</th></tr></thead><tbody><tr><th>Question 1 (PISA 2012)</th><td>18%</td><td>28%</td><td>25%</td><td>24%</td><td>35%</td></tr><tr><th>Question 2 (PISA 2012)</th><td>23%</td><td>25%</td><td>37%</td><td>23%</td><td>43%</td></tr></tbody></table>

Les échelles et les taux de réussite des questions ne sont pas notre centre d'intérêt dans cet ouvrage et nous n'en ferons plus guère état par la suite. Toutefois, il peut être utile de s'y référer pour relativiser la faiblesse de certains résultats ou pour mieux juger de la difficulté d'un exercice.

Ainsi les questions de l'unité « débit d'une perfusion » peut être considérée comme assez difficile.

Les informations relevées par PISA sont minimales et essentiellement destinées à la construction d'échelles. Les démarches des élèves sont très rarement relevées, de même que les types d'erreurs.
L'objectif de PISA c'est d'obtenir des mesures fiables des compétences des élèves. Ce point peut être discuté mais ce n'est pas ici notre sujet. Pour une utilisation pédagogique ou didactique des questions de PISA, ou simplement pour comprendre ce que signifient les classements publiés, il est nécessaire de compléter les catégorisations associées aux questions et d'en faire une analyse plus complète. C'est l'objet du paragraphe suivant.

## 3.3 Analyse des questions

Dans cette partie, nous présenterons une grille d'analyse élaborée et utilisée au cours de la formation, puis nous résumerons son utilisation sur un exemple. Ensuite nous présenterons instruments d'analyse complémentaires : analyse a priori des questions et taxonomie de la complexité cognitive.

### 3.3.1 Conception d'une grille d'analyse

Une première grille d'analyse a été conçue et utilisée au cours du stage. Entre deux sessions, les participants ont été invités à utiliser cette grille

Pour chacune des questions à analyser :

1. Faire une analyse a priori :

Comment l'élève peut-t-il traiter cette question : quels processus peut-il utiliser, quelles connaissances et quelles compétences peut-il mobiliser ?

Quelles difficultés l'élève peut-il rencontrer ?

Quelles erreurs éventuelles peut-on prévoir ?

2. En utilisant la classification utilisée par PISA, précisez quel est à votre avis le processus principal mis en œuvre :

Formuler ? Employer ? Interpréter ?

3. Précisez le domaine de contenu :

Variations et relations ? Espace et formes ? Quantité ? Incertitude et données ?

4. Précisez le format de la question :

Question à choix multiples (QCM) ?

Question à réponse courte ?

Question à réponse ouverte ?

5. Précisez le contexte de la situation :

Personnels ? Professionnels ? Sociétaux ? Scientifiques ?

6. Situez cette question par rapport au curriculum algérien du collège en la plaçant sur l'échelle suivante :

<table><tr><td>1</td><td>2</td><td>3</td><td>4</td></tr><tr><td>Non conforme</td><td>Assez éloigné</td><td>Assez proche</td><td>Tout à fait conforme</td></tr></table>

7. Si vous pensez qu'une grande partie des élèves auront du mal à traiter la question, pensez-vous que les difficultés seront dues :

a. À des connaissances prévues par les programmes mais non maîtrisées par les élèves ? si oui, lesquelles ?

b. À des connaissances non prévues par les programmes du collège ?
c. À la forme inhabituelle du questionnement ?

8. Environ quel taux de réussite p pensez-vous que cette question obtiendrait si elle était posée en Algérie dans les classes de fin de l'enseignement moyen.

<table><thead><tr><th>1</th><th>2</th><th>2</th><th>4</th><th>5</th></tr></thead><tbody><tr><td>p &lt; 20%</td><td>20% ≤ p &lt; 40%</td><td>40% ≤ p &lt; 60%</td><td>60% ≤ p &lt; 80%</td><td>80% ≤ p ≤ 100%</td></tr></tbody></table>

9. Si seule la forme de questionnement vous semble faire obstacle, pouvez-vous proposer une question qui fasse appel aux mêmes connaissances mathématiques mais qui soit conforme aux pratiques en cours en Algérie ? (Avant la fin de fin de l'enseignement moyen).

### 3.3.2 Premier exemple d'analyse : achat d'un appartement (PM00FQ01)

La question « achat d'un appartement » de PISA 2012 a été présentée aux participants du séminaire de septembre. De façon assez exceptionnelle, l'unité est ici réduite à un seul item.

Voici la question :

Voici le plan de l'appartement que les parents de Georges veulent acheter auprès d'une agence immobilière.

<figure><img src="image_34.png" /></figure>

Pour estimer l'aire totale de l'appartement (terrasse et murs compris), on peut mesurer la taille de chaque pièce, calculer leur aire, puis additionner toutes ces aires.

Une méthode plus efficace permet toutefois d'estimer l'aire totale en mesurant seulement quatre longueurs. Indiquez sur le plan ci-dessus les quatre longueurs nécessaires pour estimer l'aire totale de l'appartement.
Il était demandé aux participants d'utiliser la grille présentée ci-dessus et en particulier :

* D'analyser cette question en prévoyant les difficultés que les élèves algériens pourraient rencontrer,

* De prévoir le taux de réussite que les élèves algériens auraient pu avoir.

* De dire si la question était ou non conforme au curriculum algérien.

Les échanges ont été riches, tant au niveau des groupes qu'au moment de la restitution.

Il en est ressorti que les difficultés attendues concernent :

L'aspect inhabituelle de la question :

* Elle commence par une affirmation qui résout pratiquement la situation pour demander ensuite comment on pourrait faire autrement ; cela sans pour autant demander de résoudre la question au sens habituel.

* Les élèves vont se demander : quelle est la question

* Ils vont se précipiter dans un calcul d'aire, d'autant que l'échelle accompagnant la figure agira comme un distracteur et les amènera à effectuer des mesures inutiles.

* Repérer les données utiles et ne pas se laisser abuser par les données parasites.

* Le qualificatif de « piège » a été évoqué.

Précisons que ces difficultés ne sont pas propres aux élèves algériens.

Les participants ont convenu que la question était conforme au cadre de référence de PISA et à la façon dont la littératie mathématique y est définie. Si « piège » il y a, il s'agit tout simplement d'un « piège » qui serait normalement rencontré dans la « vie réelle ».

L'un groupe a préféré s'interroger sur les solutions acceptables et a trouvé les 9 solutions possibles.

Les taux de réussite anticipés pour les élèves algériens vont de 15% à 30% en fonction des groupes ; pour PISA 2012 ce taux s'étage de 3% (Albanie) à 62% (Corée).

Signalons que la question a été utilisée dans l'expérimentation de janvier (1417 élèves) (voir chapitre 3). Le taux de réussite a été de 10% mais il faut noter que les élèves étant en deuxième année primaire et avaient donc environ 13 ans et non 15 comme il est prévu pour les tests PISA.

Ici encore, précisons le taux de réussite pour quelques pays :

<table><thead><tr><th></th><th>Grèce</th><th>Italie</th><th>France</th><th>Allemagne</th><th>Japon</th><th>Finlande</th><th>Corée</th></tr></thead><tbody><tr><th>Achat d'un appartement</th><td>25%</td><td>38%</td><td>43%</td><td>43%</td><td>52%</td><td>54%</td><td>62%</td></tr></tbody></table>

Malgré les apparences la question n'est pas particulièrement facile. On reviendra sur ce point lorsque l'on étudiera la façon dont PISA classe les items sur l'échelle des niveaux de compétence.

Voici les objectifs assignés à cette question, son classement dans les catégories vues précédemment et les consignes de codage.

## Objectif de la question

Description : Utiliser un raisonnement appliqué aux espaces pour montrer sur un plan (ou par une autre méthode) le nombre minimum de dimensions latérales nécessaires pour déterminer la surface d'un plan

Domaine mathématique : Espace et formes

Contexte : Personnel

Processus : Formuler

## Consignes de codage

Crédit complet
Code 1 :

* A indiqué les quatre dimensions nécessaires pour estimer l'aire de l'appartement sur le plan. Il y a 9 solutions possibles, ainsi que le montre le schéma ci-dessous.

(Ce sont évidemment les solutions trouvées par les participants)

* $A = (9,7m \times 8,8m) – (2m \times 4,4m)$, $A = 76,56m^2$ [N'a clairement utilisé que 4 dimensions pour mesurer et calculer l'aire demandée.]

<figure><img src="image_35.png" /></figure>

Pas de crédit

* Code 0 : Autres réponses.

<figure><img src="image_36.png" /></figure>

* Code 9 : Omission.

<figure><img src="image_37.png" /></figure>

### 3.3.3 Analyse a priori des questions

L'enseignant ne s'attend pas toujours aux difficultés rencontrées par les élèves et aux erreurs qu'ils peuvent commettre. Il ne voit pas toujours que le chemin qu'ils ont à parcourir et que les processus qu'ils doivent mettre en œuvre sont plus nombreux et plus complexes qu'il ne le pensait.

L'analyse a priori permet de limiter les surprises a posteriori. Elle suppose, avant de proposer une question aux élèves, de se mettre dans leur tête et de résoudre la question en imaginant la ou les démarches, correctes ou incorrectes, qu'ils pourront suivre, les obstacles qu'ils pourront rencontrer, les erreurs qu'ils pourront commettre.

Cela n'élimine pas totalement les surprises et l'analyse a posteriori permet souvent de découvrir de nouvelles choses. D'ailleurs il ne faudrait pas que l'analyse a priori conduise à penser qu'il n'y a qu'une solution correcte pour une question donnée ; même si l'on a envisagé plusieurs démarches possibles, les élèves sauront nous en apporter d'autres, sans doute moins standard, auxquelles nous n'avions pas pensé.

Une façon intéressante de présenter une analyse a priori est de construire un (ou plusieurs) organigramme de résolution.

Voici par exemple l'organigramme que nous proposons pour l'unité « débit d'une perfusion » présentée en 3.3.3.
<figure><img src="image_38.png" /><figcaption>Figure 3-4 : Organigramme de résolution d'une question</figcaption></figure>

Le lecteur trouvera de nombreux autres exemples dans Bodin-Grapin 2016.

### 3.3.4 Analyse de la complexité cognitive

La classification opérée par PISA est assez pauvre. Pour une analyse plus approfondie, il existe plusieurs méthodes (voir par exemple Bodin-Grapin 2016). Pendant la formation nous avons proposé aux participants d'utiliser une taxonomie développée par Gras et révisée par Bodin (Gras 1977 et Gras & Bodin 2017). Voici une présentation simplifiée de cette taxonomie. Les catégories générales sont assez faciles à utiliser si l'on considère qu'els sont hiérarchisées : ici, « appliquer » suppose « comprendre » et « comprendre » suppose « connaître », etc. Les sous-catégories sont plus subtiles et l'on est souvent amené à se demander, par exemple, si B6 convient mieux que B5. Lorsque la tâche demande un passage par la modélisation, on est toujours au moins au niveau B6.

Cette taxonomie est dérivée de celle de Bloom qui est plus connue, mais elle a l'avantage d'être spécifique aux mathématiques et d'avoir été validée par de nombreuses recherches en didactique des mathématiques, dans la mise au point de nombreuses évaluations et dans la formation des enseignants. En formation l'intérêt principal des taxonomies est d'amener les participants à s'arrêter plus soigneusement que bien souvent sur la formulation des questions, sur les processus cognitifs mis en jeu (le mot processus n'étant pas utilisé ici au sens restreint de PISA) et à construire des évaluations mieux équilibrées en cette matière.
Certes, pas plus qu'avec le système de classement de PISA, l'utilisation de cette taxonomie pour une question donnée ne présente un caractère absolu ; des remises en cause sont souvent possibles, surtout si l'on s'élève au niveau des sous-catégories, son utilisation, qui inclue une analyse a priori, assure au moins qu'une réflexion importante a été menée pour en cerner les contenus, les enjeux, les difficultés qui pourraient lui être associées, les biais qu'elle pourrait produire.

Nous verrons dans le chapitre 3 comment cette taxonomie a été utilisée pour construire et analyser le test type-PISA construit dans le cadre de la formation.

Voici donc cette taxonomie dont on trouvera une version commentée dans Bodin-Grain 2016.

<table><thead><tr><th>Niveau</th><th>Catégorie générale</th><th></th><th>Sous-catégorie</th></tr></thead><tbody><tr><td rowspan="4">A</td><td rowspan="4">Connaissance et reconnaissance</td><td>A1</td><td>des faits</td></tr><tr><td>A2</td><td>du vocabulaire</td></tr><tr><td>A3</td><td>des outils</td></tr><tr><td>A4</td><td>des procédures</td></tr><tr><td rowspan="6">B</td><td rowspan="6">Compréhension</td><td>B1</td><td>des faits</td></tr><tr><td>B2</td><td>du vocabulaire</td></tr><tr><td>B3</td><td>des outils</td></tr><tr><td>B4</td><td>des procédures</td></tr><tr><td>B5</td><td>Des relations</td></tr><tr><td>B6</td><td>Des situations</td></tr><tr><td rowspan="3">C</td><td rowspan="3">Application</td><td>C1</td><td>Dans des situations familières simples</td></tr><tr><td>C2</td><td>Dans des situations familières moyennement complexes</td></tr><tr><td>C3</td><td>Dans des situations familières complexes</td></tr><tr><td rowspan="3">D</td><td rowspan="3">Créativité</td><td>D1</td><td>Utiliser dans une situation nouvelle des outils et des procédures connus</td></tr><tr><td>D2</td><td>Émission d'idées nouvelles</td></tr><tr><td>D3</td><td>Création d'outils et de démarches personnelles</td></tr><tr><td rowspan="2">E</td><td rowspan="2">Jugement</td><td>E1</td><td>Production de jugements relatifs à des productions externes</td></tr><tr><td>E2</td><td>Auto-évaluation</td></tr></tbody></table>

Voici, pour les questions déjà présentées dans ce chapitre les niveaux de complexité cognitive retenus..
## 3.4 Questions libérées

Le site de PISA donne accès à des questions libérées des cycles PISA précédents et à d'autres exemples de questions.

En littératie scientifique et en résolution de problèmes collaboratifs, il donne aussi accès à des questions interactives en ligne – ce qui permet d'anticiper le questionnement de PISA 2021.

Ces questions sont proposées dans de nombreuses langues, dont le français et l'arabe à l'adresse :
http://www.oecd.org/pisa/test/

Pour la formation les questions libérées des différents volets ont été rassemblées avec d'autres documents sont le site d'Antoine Bodin à la page https://antoine-bodin.com/category/pisa/.

Dans cet ouvrage, nous ne traitons que des questions de littératie mathématique, mais il y a tout intérêt à prendre connaissance des questions des autres volets de la littératie. D'une part, elles reflètent bien les conceptions de PISA en matière d'évaluation, d'autre part, nous l'avons dit plus haut, les résultats du volet littératie mathématique sont fortement corrélaté à ceux des autres volets.

Évidemment, toutes les questions PISA présentées dans cet ouvrage sont des questions libérées. Certaines ont été utilisées dans le test principal, d'autres ne l'ont été que dans le cadre de l'expérimentation des questions, un an avant le test principal.

La suite de ce paragraphe présente un ensemble de questions libérées telles qu'elles sont présentées par PISA.

### 3.4.1 NAPPE DE PÉTROLE

En mer, un pétrolier heurte un récif qui perce un trou dans la coque, là où le pétrole est stocké. Le pétrolier se trouve à environ 65 km des côtes. Quelques jours plus tard, le pétrole s'est répandu comme le montre la carte ci-dessous.

#### Question (PM00RQ01)

En utilisant l'échelle de la carte, estimez l'aire de la nappe de pétrole en kilomètres carrés (km²).

Réponse : .................................... km²

<figure><img src="image_39.png" /></figure>

#### Objectif de la question

Description : Estimation d'une aire irrégulière figurant sur une carte, en utilisant une échelle fournie

Domaine mathématique : Espace et formes

Contexte : Scientifique

Processus : Employer
### Consignes de codage

Crédit complet

Code 1 : Réponse dans l'intervalle de 2 200 à 3 300. [Pour permettre une diversité raisonnable de méthodes.]

Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

## 3.4.2 ASCENSION DU MONT FUJI

Le mont Fuji est un célèbre volcan éteint, situé au Japon.

### Question 1 (PM942Q02)

La voie Gotemba, qui conduit au sommet du mont Fuji, fait environ 9 kilomètres (km) de long.

Les marcheurs doivent être de retour de la randonnée de 18 km pour 20 heures.

Toshi estime qu'il peut gravir la montagne à une vitesse moyenne de 1,5 kilomètre/heure, et en redescendre en doublant cette vitesse. Ces vitesses tiennent compte des pauses-repas et des temps de repos.

D'après les vitesses estimées par Toshi, à quelle heure au plus tard doit-il commencer sa randonnée afin de pouvoir être de retour pour 20 heures ?

<figure><img src="image_40.png" /></figure>

### Question 2 (PM942Q03)

Lors de sa randonnée sur la voie Gotemba, Toshi portait un podomètre pour comptabiliser ses pas.

Son podomètre indique qu'il a fait 22 500 pas lors de la montée.

Estimez la longueur moyenne des pas de Toshi lors de la montée de 9 kilomètres de la voie Gotemba. Donnez votre réponse en centimètres (cm).

Réponse : .................................... cm

### Objectifs de la question 1

Description : Calculer l'heure de départ pour un parcours à partir de deux vitesses différentes, d'une distance totale à parcourir et d'une heure d'arrivée

Domaine mathématique : Variations et relations

Contexte : Sociétal
### Consignes de codage

#### Crédit complet

Code 1 : 11 (heures du matin) [Avec ou sans « heures du matin ». Ou toute autre façon équivalente d'écrire cette heure, par exemple : 11h00

#### Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

### Objectifs de la question 2

Description : Diviser une longueur donnée en km par un nombre déterminé et exprimer le quotient en cm

Domaine mathématique : Quantité

Contexte : Sociétal

Processus : Employer

### Consignes de codage

#### Crédit complet

Code 2 : 40

#### Crédit partiel

Code 1 : Les réponses avec le chiffre 4, fondées sur une conversion incorrecte en centimètres.

0,4 [La réponse est exprimée en mètres.]

4000 [Conversion incorrecte]

#### Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

### 3.4.3 QUELLE VOITURE CHOISIR ?

Carla vient d'obtenir son permis de conduire et elle veut acheter sa première voiture.

Le tableau ci-dessous présente les caractéristiques de quatre voitures qu'elle a repérées chez un concessionnaire automobile de son quartier.

<figure><img src="image_41.png" /></figure>
<table><thead><tr><th>Modèle</th><th>Alma</th><th>Bolt</th><th>Castella</th><th>Diva</th></tr></thead><tbody><tr><th>Année</th><td>2003</td><td>2000</td><td>2001</td><td>1999</td></tr><tr><th>Prix de vente annoncé (en zeds)</th><td>4 800</td><td>4 450</td><td>4 250</td><td>3 990</td></tr><tr><th>Kilométrage (en kilomètres)</th><td>105 000</td><td>115 000</td><td>128 000</td><td>109 000</td></tr><tr><th>Cylindrée (en litres)</th><td>1,79</td><td>1,796</td><td>1,82</td><td>1,783</td></tr></tbody></table>

### Question (PM985Q03)

Carla devra payer une taxe supplémentaire de 2,5 % du prix de vente annoncé de la voiture.

À combien s'élève la taxe supplémentaire pour l'Alma ?

Taxe supplémentaire en zeds : ............

### Objectifs de la question

Description : Calculer 2,5 % d'une valeur en milliers, dans un contexte financier

Domaine mathématique : Quantité

Contexte : Personnel

Processus : Employer

### Consignes de codage

Crédit complet

Code 1 : 120

Pas de crédit

Code 0 : Autres réponses.

* 2,5 % de 4800 zeds. [Le calcul doit être effectué.]

Code 9 : Omission.

### 3.4.4 GARAGE

La gamme de base d'un constructeur de garages comprend des modèles comportant une seule fenêtre et une seule porte.

Georges choisit le modèle suivant dans la gamme de base. La porte et la fenêtre sont placées comme indiqué ci-dessous.
<figure><img src="image_42.png" /></figure>

## Question (PM991Q02)

Les deux plans ci-dessous indiquent les dimensions (en mètres) du garage que Georges a choisi.

<figure><img src="image_43.png" /></figure>

<figure><img src="image_44.png" /></figure>

Le toit se compose de deux pans rectangulaires identiques.

Calculez l'aire totale du toit. Montrez votre travail.

### Objectifs de la question

Description : Interpréter un plan et calculer l'aire d'un rectangle en utilisant le théorème de Pythagore ou une mesure

Domaine mathématique : Espace et formes

Contexte : Professionnel

Processus : Employer

### Consignes de codage

Crédit complet
Code 21 : Toute valeur dans l'intervalle de 31 à 33 avec ou sans démarche de travail correcte.
[L'unité (m²) n'est pas requise.]

o 12 × 2,6 = 31,2

o 12√7,25 m²

o 12 × 2,69 = 32,28 m²

o 12 × 2,7 = 32,4 m²

Crédit partiel

Code 11 : La démarche de travail utilise correctement le théorème de Pythagore mais présente des erreurs de calculs ou utilise une longueur erronée, ou encore omet de doubler l'aire du toit.

o 2,5² + 1² = 6 ; 12 × √6 = 29,39 [Utilisation correcte du théorème de Pythagore avec une erreur de calcul]

o 2² + 1² = 5 ; 2 × 6 × √5 = 26,8 m² [La longueur utilisée n'est pas correcte.]

o 6 × 2,6 = 15,6 [Ne double pas l'aire u toit.]

Code 12 : La démarche de travail n'indique pas l'utilisation du théorème de Pythagore mais elle utilise une valeur acceptable pour la largeur du toit (toute valeur dans l'intervalle de 2, à 3) et les calculs sont effectués correctement.

o 2,75 × 12 = 33

o 3 × 6 × 2 = 36

Pas de crédit

Code 00 : Autres réponses.

o 2,5 × 12 = 30 [L'estimation e la largeur u toit n'est pas ans l'inter alle acceptable e 2,6 à 3.]

o 3,5 × 6 × 2 = 42 [L'estimation e la largeur u toit n'est pas ans l'inter alle acceptable e 2,6 à 3.]

Code 99 : Omission.

3.4.5 CLÉ USB

Une clé USB est un petit périphérique amovible permettant le stockage de données informatiques.

Ivan possède une clé USB pour stocker sa musique et ses photos. Sa clé USB a une capacité de 1 GB (1 000 MB). Le diagramme ci-dessous présente l'occupation actuelle de l'espace sur sa clé.

**Question 1 (PM00AQ01)**

Ivan souhaite transférer un album photo de 350 MB sur sa clé USB, mais l'espace libre n'est pas suffisant. Il n'a pas envie d'effacer des photos mais il veut bien effacer deux albums de musique au maximum.
La figure de droite donne la taille des albums de musique stockés sur la clé d'Ivan.

Ivan souhaite transférer un album photo de 350 MB sur sa clé USB, mais l'espace libre n'est pas suffisant. Il n'a pas envie d'effacer des photos mais il veut bien effacer deux albums de musique au maximum.

<figure><img src="image_45.png" /></figure>

Voici la taille des albums de musique stockés sur la clé d'Ivan :

<table><thead><tr><td>Album</td><td>Taille</td></tr></thead><tbody><tr><td>Album 1</td><td>100 MB</td></tr><tr><td>Album 2</td><td>75 MB</td></tr><tr><td>Album 3</td><td>80 MB</td></tr><tr><td>Album 4</td><td>55 MB</td></tr><tr><td>Album 5</td><td>60 MB</td></tr><tr><td>Album 6</td><td>80 MB</td></tr><tr><td>Album 7</td><td>75 MB</td></tr><tr><td>Album 8</td><td>125 MB</td></tr></tbody></table>

En effaçant au maximum deux albums de musique, Ivan peut-il libérer suffisamment d'espace sur sa clé USB pour y ajouter l'album photo ? Entourez « Oui » ou « Non » et justifiez votre réponse à l'aide de calculs.

Réponse : Oui / Non

<figure><img src="image_46.png" /></figure>

## Question 2 (PM00AQ02)

Au cours des semaines suivantes, Ivan efface quelques photos et de la musique, tout en ajoutant d'autres fichiers de photos et de musique. Le tableau ci-dessous indique la nouvelle occupation de l'espace sur sa clé :
<table><tr><td>Musique</td><td>550 MB</td></tr><tr><td>Photos</td><td>338 MB</td></tr><tr><td>Espace libre</td><td>112 MB</td></tr></table>

Son frère lui donne une nouvelle clé USB d'une capacité de 2 GB (2 000 MB) qui est entièrement vide. Ivan transfère le contenu de son ancienne clé USB sur la nouvelle.

Parmi les diagrammes suivants, lequel représente l'occupation de l'espace sur la nouvelle clé ? Entourez A, B, C ou D.

<figure><img src="image_47.png" /></figure>

### Objectifs de la question 1

Description : Interpréter et utiliser des informations sur la capacité de stockage pour trouver une solution correspondant à un critère donné

Domaine mathématique : Quantité

Contexte : Personnel

Processus : Interpréter

### Consignes de codage

Crédit complet

Code 1 : OUI, explicitement ou implicitement, ET identifie deux albums (ou les tailles) qui utilisent au moins 198 MB.

Il doit effacer 198 MB (350 – 152) : il pourrait effacer deux albums de musique qui totalisent plus de 198 MB, comme les albums 1 et 8.

Oui, il pourrait effacer les albums 7 et 8, ce qui libérerait un espace équivalent à 152 + 75 + 125 = 352 MB.

Cela irait avec les albums 7 et 8. [Le « Oui » est implicite.]
100 + 125 > 198. C'est possible ! [Réponse minimale mais les valeurs mentionnées correspondent aux albums 1 et 8. Le « Oui » est implicite.]

Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

### Objectifs de la question 2

Description : Comprendre le rapport entre l'expression syntaxique d'un problème et le langage symbolique et formel nécessaire à sa représentation mathématique

Domaine mathématique : Incertitude et données

Contexte : Personnel

Processus : Interpréter

Crédit complet

Code 1 : D

Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

### 3.4.6 APPAREILS DÉFECTUEUX

La société Electrix fabrique deux types d'appareils électroniques : des lecteurs audio et des lecteurs vidéo. À la fin d'une journée de production, les lecteurs sont testés et ceux qui sont défectueux sont retirés et envoyés en réparation.

Le tableau suivant indique le nombre moyen de lecteurs de chaque type qui sont fabriqués par jour ainsi que le pourcentage moyen de lecteurs défectueux par jour.

<table><thead><tr><td>Type de lecteur</td><td>Type de lecteur</td><td>Type de lecteur</td></tr></thead><tbody><tr><td>Nombre moyen de lecteurs fabriqués par jour</td><td>Nombre moyen de lecteurs fabriqués par jour</td><td>Nombre moyen de lecteurs fabriqués par jour</td></tr><tr><td>Pourcentage moyen de lecteurs défectueux par jour</td><td>Pourcentage moyen de lecteurs défectueux par jour</td><td>Pourcentage moyen de lecteurs défectueux par jour</td></tr></tbody></table>

L'un des testeurs affirme ceci :

« En moyenne, il y a plus de lecteurs vidéo envoyés chaque jour en réparation que de lecteurs audio envoyés chaque jour en réparation. »

Déterminez si le testeur a raison ou tort. Donnez un argument mathématique pour justifier votre réponse.
### Objectifs de la question

Description : Interpréter et utiliser des informations statistiques pour expliquer si une déclaration faite à propos de ces informations est vraie

Domaine mathématique : Incertitude et données

Contexte : Professionnel

Processus : Interpréter

### Consignes de codage

Crédit complet

Code 1 : Une explication qui utilise correctement les informations du tableau (globalement ou spécifiquement) pour expliquer pourquoi le testeur a tort.

* Le testeur a tort : 5 % de 2 000 ça fait 100, mais 3 % de 6 000 ça fait 180. Donc, en moyenne, 180 lecteurs audio sont envoyés en réparation, ce qui est supérieur aux 100 lecteurs vidéo en moyenne envoyés en réparation.

* Le testeur a tort : le pourcentage de lecteurs vidéo défectueux est de 5 %, ce qui est presque deux fois supérieur au pourcentage de lecteurs audio défectueux. Mais l'entreprise fabrique 6 000 lecteurs audio, soit trois fois plus que le nombre de lecteurs vidéo : en fait, le nombre de lecteurs audio envoyés en réparation est donc plus élevé.

Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

### 3.4.7 ÉNERGIE ÉOLIENNE

Zedville envisage de construire plusieurs éoliennes pour produire de l'électricité.

La mairie de Zedville a recueilli des informations sur le modèle suivant.

<table><tr><td>Modèle :</td><td>E-82</td></tr><tr><td>Hauteur du mât :</td><td>138 mètres</td></tr><tr><td>Nombres de pales :</td><td>3</td></tr><tr><td>Longueur d'une pale :</td><td>40 mètres</td></tr><tr><td>Vitesse maximale de rotation :</td><td>20 rotations par minute</td></tr><tr><td>Coût de construction :</td><td>3 200 000 zeds</td></tr><tr><td>Production :</td><td>0,10 zed par kWh généré</td></tr><tr><td>Frais d'entretien :</td><td>0,01 zed par kWh généré</td></tr><tr><td>Efficacité :</td><td>Opérationnel 97% de l'année</td></tr></table>

<figure><img src="image_48.png" /></figure>
Remarque : Le kilowatt/heure (kWh) est une unité de mesure de l'énergie électrique.

**Question 1 (PM922Q03)**

Zedville a décidé d'ériger plusieurs éoliennes E-82 sur un terrain carré (longueur = largeur = 500 m). Selon les normes de construction, la distance minimale entre les mâts de deux éoliennes de ce modèle doit être égale à cinq fois la longueur d'une pale. Le maire de la ville a proposé une façon de disposer les éoliennes sur ce terrain. Le schéma ci-contre montre cette proposition. Expliquez pourquoi la proposition du maire ne respecte pas les normes de construction. Justifiez votre argumentation à l'aide de calculs.

<figure><img src="image_49.png" /></figure>

● = mât d'une éolienne
Remarque : Le schéma n'est pas à l'échelle.

<figure><img src="image_50.png" /></figure>

**Question 2 (PM922Q04)**

Quelle est la vitesse maximale à laquelle les extrémités des pales de l'éolienne peuvent tourner ?

Décrivez votre raisonnement et donnez le résultat en kilomètre par heure (km/h).
Référez-vous aux informations fournies au sujet du modèle E-82.

<figure><img src="image_51.png" /></figure>

Vitesse maximale : .................................... km/h

**Objectifs de la question 1**

Description : Utiliser le théorème de Pythagore dans un contexte authentique

Domaine mathématique : Espace et formes

Contexte : Scientifique

Processus : Employer
## Consignes de codage

### Crédit complet

Code 1 : La réponse indique que la distance minimale entre les mâts des éoliennes (dans l'intervalle de 175 à 177 m) est inférieure à la longueur obligatoire de cinq pales (200 m).

* Les éoliennes ne peuvent pas être disposées de cette façon car, parfois, leur écartement est seulement de $\sqrt{1252+1252 \text{ m}}$, ce qui est inférieur à 200 m.

* Distance en diagonale : 176,8 ; 5 pales = 200 ; 176,8 < 200

### Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

## Objectifs de la question 2

Description : Résoudre un problème dans un contexte cinétique

Domaine mathématique : Variations et relations

Contexte : Scientifique

Processus : Employer

## Consignes de codage

### Crédit complet

Code 2 : Une vitesse dans l'intervalle de 288 à 32, incluant la valeur exacte de 9 (ou équivalent), avec ou sans démarche de travail.

La vitesse maximale de rotation est de 20 rotations par minute ; la distance par rotation est $2 \times \pi \times 40 \text{ m} \approx 250 \text{ m}$, soit $20 \times 250 \text{ m/min} \approx 5\,000 \text{ m/min} \approx 83 \text{ m/s} \approx 300 \text{ km/h}$.

$$20 \text{ rotations par minute} = 1200 \text{ rotations/h} = 1200 \times 2 \times 40 \text{ m/h} = 96 \text{ km/h}$$

### Crédit partiel

Code 1 : Réponses correctes mais pas exprimées en km/h. Ces réponses proposent des valeurs incluses dans les intervalles de 288 000 à 301 714 m/h, de 4800 à 5029 m/min et de 80 à 84 m/sec. La démarche de travail n'est pas requise. On peut penser que des valeurs dans ces intervalles ont été obtenues grâce à une méthode correcte, en dehors de la conversion des unités en km/h.

$$2 \times \pi \times 40 \text{ m} \approx 250 \text{ m}, \text{ donc } 20 \times 250 \text{ m/min} \approx 5\,000 \text{ m/min} \approx 83 \text{ m/s}.$$

### Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.
### 3.4.8 LOCATION DE DVD

Juliette travaille dans un magasin de location de DVD et de jeux vidéo.

Dans ce magasin, la cotisation annuelle des abonnés coûte 10 zeds.

Le prix de location des DVD est moins élevé pour les abonnés que pour les non-abonnés, comme l'indique le tableau ci-dessous.

<figure><img src="image_52.png" /></figure>

<table><thead><tr><td>Prix de location d'un DVD pour les non-abonnés</td><td>Prix de location d'un DVD pour les abonnés</td></tr></thead><tbody><tr><td>3,20 zeds</td><td>2,50 zeds</td></tr></tbody></table>

#### Question 1 (PM977Q01)

L'année dernière, Tony était abonné du magasin de location de DVD.

Au cours de l'année dernière, il a dépensé 52,5 zeds au total, qui incluaient la cotisation d'abonné.

Combien Tony aurait-il dépensé pour louer le même nombre de DVD s'il n'avait pas été abonné ?

Nombre de zeds : ....................................

#### Question 2 (PM977Q02)

Quel est le nombre minimum de DVD qu'un abonné doit louer afin de couvrir le coût de sa cotisation ? Montrez votre travail.

Nombre de DVD : ....................................

#### Objectifs de la question 1

Description : Utiliser des données financières pour résoudre un problème à plusieurs étapes

Domaine mathématique : Quantité

Contexte : Personnel

Processus : Employer

#### Consignes de codage

Crédit complet

Code 1 : 54,40. [Accepter les réponses démontrant une méthode correcte mais incomplète ou avec des erreurs mineures]
* $52,5 - 10 = 42,5$ ; $42,5 + 2,5 = 17$ ; $17 \times 3,30 = 56,10$ zeds. [Méthode correcte avec une erreur mineure de transcription (3.30 au lieu de 3.20)]

Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission

## Objectifs de la question 2

Description : Utiliser des données de coûts pour calculer le nombre de DVD qu'il faut louer pour rentabiliser le coût d'une cotisation

Domaine mathématique : Quantité

Contexte : Personnel

Processus : Formuler

## Consignes de codage

Crédit complet

Code 21 : 15 [Résolution algébrique avec un raisonnement correct]

* $3,20 \times = 2,50 \times + 10$

* $0,70 \times 10 = 7,00$ ; $10 \times 10 : 0,70 = 14,2$ environ mais cela doit être un nombre entier, donc 15 DVD.

* $3,20 \times > 2,50 \times + 10$ [Mêmes étapes que dans l'exemple précédent mais appliquées à une inéquation.]

Code 22 : 15 [Résolution arithmétique avec un raisonnement correct]

* Pour un DVD, un abonné économise 0,70 zed. Puisqu'il a déjà payé 10 zeds au début, il doit au moins économiser cette somme pour couvrir sa cotisation. $10 \div 0,70 = 14,2...$ Soit 15 DVD.

Code 23 : 15 [Résolution correcte par une méthode d'essais-erreurs]

* $10 \text{ DVD} = 32 \text{ zeds}$ pour les non-abonnés et $25 \text{ zeds} + 10 \text{ zeds} = 35 \text{ zeds}$ pour les abonnés. Il faut donc essayer un nombre plus grand que 10. 15 DVD coûtent 48 zeds aux non-abonnés et $37,50 + 10 = 47,50$ zeds aux abonnés. En essayant un plus petit nombre : $14 \text{ DVD} = 44,80 \text{ zeds}$ pour les non-abonnés et $35 + 10 = 45$ zeds pour les abonnés. La réponse est donc : 15 DVD.

Code 24 : 15, sans raisonnement ou sans démarche de travail.

Crédit partiel

Code 11 : Une méthode correcte (algébrique, arithmétique ou par essais-erreurs) mais avec une erreur mineure qui conduit à une réponse plausible autre que 15.

* $10 \div (3,2 - 2,5) = 10 \div 1,3 = 7,7$. Nombre de DVD = 8.

Code 12 : Le calcul est correct mais l'élève n'arrondit pas correctement ou n'arrondit pas du tout car il ne prend pas en compte le contexte.

* 14

* 14,2
* 14,3

* 14,28...

Pas de crédit

Code 00 : Autres réponses.

Code 99 : Omission.

### 3.4.9 VOITURE DE COURSE

Ce graphique présente les variations de vitesse d'une voiture de course sur un circuit plat de 3 km au cours du deuxième tour.

<figure><img src="image_53.png" /></figure>

Note : Le mot « plat » se réfère au niveau du sol, c'est-à-dire que le circuit ne présente aucune montée ni aucune descente.

#### Question 1 (M159Q01)

À quelle distance approximative de la ligne de départ se situe le début de la plus longue ligne droite du circuit ?

A. À 0,5 km.

B. À 1,5 km.

C. À 2,3 km.

D. À 2,6 km.

#### Question 2 (M159Q02)

Où a-t-on enregistré la vitesse la plus basse au cours du second tour ?

A. À la ligne de départ.

B. À environ 0,8 km.

C. À environ 1,3 km.

D. À mi-parcours du circuit
**Question 3 (M159Q03)**

Que pouvez-vous dire de la vitesse de la voiture entre les bornes de 2,6 km et de 2,8 km ?

A La vitesse de la voiture est constante.

B La vitesse de la voiture augmente.

C La vitesse de la voiture diminue.

D La vitesse de la voiture ne peut être déterminée à partir du graphique

**Question 4 (M159Q05)**

Voici le tracé de cinq circuits :

Sur lequel de ces circuits la voiture roulait-elle lors de l'enregistrement du graphique
de vitesse présenté au début de l'exercice ?

<figure><img src="image_54.png" /></figure>

L: Ligne de départ

**Consignes de codage question 1**

Crédit complet

Code 1 : B : À 1,5 km.

Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

**Consignes de codage question 2**

Crédit complet

Code 1 : C. À environ 1,3 km.

Pas de crédit

Code 0 : Autres réponses.
Code 9 : Omission.

### Consignes de codage question 3

Crédit complet

Code 1 : B. La vitesse de la voiture augmente.

Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission

### Consignes de codage question 4

Crédit complet

Code 1 : B.

Pas de crédit

Code 0 : Autres réponses.

Code 9 : Omission.

## 3.5 Exemples de questions envisagées pour PISA 2021

Le cadre d'éférence de PISA 2021 propose un ensemble d'unités qui préfigurent le test de 2021.

Nous avons choisi de choisir 3 de ces unités. Les autres peuvent être consultées (en anglais) dans le document OECD2018.

Ces exemples montrent bien l'importance que PISA entend donner à l'utilisation de l'informatique. Il ne s'agit plus de faire passer sur écran un test conçu pour être passé « papier-crayon ». Il s'agit d'utiliser toutes les ressources de l'informatique : mémoire, interactivité, simulation, utilisation de logiciels etc..., ainsi qu'avec les procédures associées : cliquer, copier-coller, glisser-déposer,

En 2015, quelques pays dont l'Algérie, avaient obtenu de faire passer les tests sous forme papier-crayon. À l'époque les questions avaient été reprises de PISA 2012 et avaient donc été conçues pour une utilisation papier-crayon. Ce ne sera pas le cas en 2021 et il sera nécessaire que les élèves aient une certaine familiarité avec l'informatique et en particulier avec le tableur et un logiciel de géométrie dynamique.
### 3.5.1 Utilisation d'un smartphone

<figure><img src="image_55.png" /></figure>

<figure><img src="image_56.png" /></figure>
<figure><img src="image_57.png" /></figure>

<figure><img src="image_58.png" /></figure>

<figure><img src="image_59.png" /></figure>

<figure><img src="image_60.png" /></figure>

<figure><img src="image_61.png" /></figure>

<figure><img src="image_62.png" /></figure>

Utilisation d'un smartphone
Question 2/3

Vous pouvez trier les données de la feuille de calcul en sélectionnant le bouton en forme de flèche situé en tête de colonne. Les données seront alors triées dans l'ordre croissant.

<table><thead><tr><th>Énoncé</th><th>VRAI</th><th>FAUX</th></tr></thead><tbody><tr><td>Le pays qui a le plus grand nombre d'habitants a aussi le plus grand nombre d'utilisateurs de smartphones.</td><td>○</td><td>○</td></tr><tr><td>Le pays qui a le plus petit nombre d'utilisateurs de smartphones est celui qui a le plus petit nombre d'habitants.</td><td>○</td><td>○</td></tr><tr><td>Le pays qui a le plus grand nombre d'utilisateurs de smartphones est celui qui a le plus petit nombre d'habitants.</td><td>○</td><td>○</td></tr><tr><td>Le pays qui a la valeur médiane de proportion d'utilisateurs de smartphones est aussi le pays qui a la valeur médiane d'utilisateurs de smartphones</td><td>○</td><td>○</td></tr></tbody></table>

Utilisation d'un smartphone

La feuille de calcul Indique la nombre d'habitants (en millions) et le nombre de smartphones (en millions) pour un ensemble de pays asiatiques. Les données ont été triées par noms de pays.

<table><thead><tr><th>Colonne A</th><th>Colonne B</th><th>Colonne C</th><th>Colonne D</th></tr></thead><tbody><tr><td><strong>Pays</strong></td><td><strong>Nombre d'habitants (en millions)</strong></td><td><strong>Nombre d'utilisateurs de smartphones (en millions)</strong></td><td><strong>Proportion d'utilisateurs de smartphones</strong></td></tr><tr><td>Bangladesh</td><td>166,735</td><td>8,921</td><td>5%</td></tr><tr><td>Indonesia</td><td>286,357</td><td>67,57</td><td>25%</td></tr><tr><td>Japon</td><td>125,738</td><td>65,282</td><td>52%</td></tr><tr><td>Malaisie</td><td>31,571</td><td>20,98</td><td>38%</td></tr><tr><td>Pakistan</td><td>200,663</td><td>23,228</td><td>12%</td></tr><tr><td>Philippines</td><td>105,341</td><td>28,627</td><td>27%</td></tr><tr><td>Thaïlande</td><td>68,416</td><td>30,486</td><td>45%</td></tr><tr><td>Turquie</td><td>81,086</td><td>44,771</td><td>55%</td></tr><tr><td>Vietnam</td><td>96,357</td><td>29,043</td><td>30%</td></tr></tbody></table>

Utilisation d'un smartphone

Le graphique représente la proportion d'utilisateurs de smartphones par pays en terme soit du nombre d'habitants (en millions), soit du salaire horaire minimum (en Zeds).

<figure><img src="image_63.png" /></figure>

<figure><img src="image_64.png" /></figure>

<figure><img src="image_65.png" /></figure>

<figure><img src="image_66.png" /></figure>

<figure><img src="image_67.png" /></figure>

<figure><img src="image_68.png" /></figure>

Utilisation d'un smartphone
Question 3/3

Lisez l'introduction
puis cliquez sur la flèche de droite

Vous pouvez changer la variable de l'axe horizontal entre le nombre d'habitants (en millions) et le salaire horaire minimum (en Zeds) de chaque pays en sélectionnant l'onglet correspondant.

En sélectionnant les onglet correspondants, étudier les différents graphes et répondez aux questions.

Pour laquelle des variables (nombre d'habitants ou salaire horaire minimum) la proportion d'utilisateurs de smartphones augmente morsque la valeur de la variable augmente ?

○ Population

○ Salaire minimum horaire (Zeds)

Expliquez votre raisonnement

Population

Salaire horaire

<figure><img src="image_69.png" /></figure>
3.5.2 La beauté des puissances

<figure><img src="image_70.png" /></figure>

<figure><img src="image_71.png" /></figure>
<figure><img src="image_72.png" /></figure>

<figure><img src="image_73.png" /></figure>

<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /></figure>

<figure><img src="image_76.png" /></figure>

<figure><img src="image_77.png" /></figure>

La beauté des puissances
Question 2/3

La question se réfère au cadre "la beauté des nombres" présenté à droite.
Cliquez sur l'un des cercles pour donner votre réponse.

$$(-5)^{43} + (-1)^{43} + (5)^{43}$$

Quelle est la valeur de l'expression ci-dessus ?

○ -1

○ 1

○ 0

○ 5

La beauté des puissances

Quand on effectue des multiplications répétées avec le même nombre, on peut utiliser la notation puissance pour pour résumer ce que l'on fait.

Par exemple

$$8 \times 8 \times 8 \times 8 = 8^4$$

(8 multiplié 4 fois par lui-même)

et

$$7 \times 7 \times 7 \times 7 \times 7 = 7^6$$

(7 multiplié 6 fois par lui-même)

<figure><img src="image_78.png" /></figure>

<figure><img src="image_79.png" /></figure>

<figure><img src="image_80.png" /></figure>

<figure><img src="image_81.png" /></figure>

<figure><img src="image_82.png" /></figure>

<figure><img src="image_83.png" /></figure>

La beauté des puissances
Question 3/3

La question se réfère au cadre "la beauté des nombres" présenté à droite.
Cliquez sur l'un des cercles pour donner votre réponse.

Quel est le dernier chiffre de $7^{190}$ ?

○ 1

○ 3

○ 7

○ 9

La beauté des puissances

Les neuf premières puissances de 7 sont listées ci-dessous.

Remarquer comment elles croissent rapidement.

Les demiers chiffres de ces nombres suivent une règle. Étudiez cette règle pour répondre à la question.

$$7^1 = 7$$

$$7^2 = 49$$

$$7^3 = 343$$

$$7^4 = 2\,401$$

$$7^5 = 16\,807$$

$$7^6 = 117\,649$$

$$7^7 = 823\,543$$

$$7^8 = 5\,764\,801$$

$$7^9 = 40\,353\,607$$
3.5.3 Carrelage

<figure><img src="image_84.png" /></figure>

<figure><img src="image_85.png" /></figure>
<figure><img src="image_86.png" /></figure>

<figure><img src="image_87.png" /></figure>

<figure><img src="image_88.png" /></figure>

<figure><img src="image_89.png" /></figure>

<figure><img src="image_90.png" /></figure>

<figure><img src="image_91.png" /></figure>

Carrelage Question 2/5

La question se réfère au pavage de droite.

Le carreleur veut écrire un ensemble d'instructions
seront données aux personnes qui voudront
réaliser le même motif.

Utilisez votre souris pour glisser et déposer dans les rectangles vides les éléments indiqués ci-dessous pour compléter les instructions qui produiront le motif de droite.

SI

ALORS

SINON

Carreau A

Carreau B

Instructions de carrelage

Pour l'ligne = 1 à 4

«identifie le carreau de gauche de la ligne»

SI

la ligne est une ligne de rang impair

Alors

le premier carreau est

<figure><img src="image_92.png" /></figure>

Sinon

le premier carreau est

<figure><img src="image_93.png" /></figure>

«Complète la ligne en ajoutant des carreaux»

Si le carreau précédent est

Utilise

Utilise

Utilise

Utilise

Ligne suivante

Carrelage

<figure><img src="image_94.png" /></figure>

<figure><img src="image_95.png" /></figure>

Carreau A

Carreau B

<figure><img src="image_96.png" /></figure>

<figure><img src="image_97.png" /></figure>

<figure><img src="image_98.png" /></figure>

<figure><img src="image_99.png" /></figure>

<figure><img src="image_100.png" /></figure>

<figure><img src="image_101.png" /></figure>

<figure><img src="image_102.png" /></figure>

Carrelage Question 3/5

La question se réfère au carrelage de droite.

Le carreleur veut être capable de prédire quel
carreau conviendra pour toute position sur la grille.

Par exemple, il veut savoir quel carreau il utilisera
pour la position marquée (m ; n).

Étudiez le motif du carrelage et en particulier le
groupe de quatre carreaux entouré d'un carré
rouge. Sélectionner TOUTES les règles ci-
dessous qui prédisent correctement le carreau qui
est nécessaire pout toute position (m ; n).

<table><thead><tr><th>Règle</th><th></th></tr></thead><tbody><tr><td>Si m + n est impair, utiliser le carreau A<sub>1</sub> sinon utiliser le carreau B</td><td>○</td></tr><tr><td>Si m + n est pair, utiliser le carreau A<sub>1</sub> sinon utiliser le carreau B</td><td>○</td></tr><tr><td>Si m x n est impair, utiliser le carreau A<sub>1</sub> sinon utiliser le carreau B</td><td>○</td></tr><tr><td>Si m x n est pair, utiliser le carreau A<sub>1</sub> sinon utiliser le carreau B</td><td>○</td></tr><tr><td>Si m est impair et n est impair, utiliser le carreau A<sub>1</sub> sinon utiliser le carreau B</td><td>○</td></tr><tr><td>Si m et n sont tous les deux pairs ou tous les deux impairs, utiliser le carreau A<sub>1</sub> sinon utiliser le carreau B</td><td>○</td></tr></tbody></table>

Carrelage

<figure><img src="image_103.png" /></figure>

<figure><img src="image_104.png" /></figure>

Carreau A

Carreau B

n

3

2

1

<figure><img src="image_105.png" /></figure>

1

2

3

4

5

m
<figure><img src="image_106.png" /></figure>

<figure><img src="image_107.png" /></figure>
<figure><img src="image_108.png" /></figure>

<figure><img src="image_109.png" /></figure>

<figure><img src="image_110.png" /></figure>

<figure><img src="image_111.png" /></figure>

<figure><img src="image_112.png" /></figure>

<figure><img src="image_113.png" /></figure>

Carrelage

Question 5/5

Le carrelage de droite est une partie d'un grand
carrelage créé en utilisant une combinaison des
carreaux a, B et C.

Étudiez le motif

Lesquels des codes ci-dessous décrit l'unité de 3 x 3
carreaux qui peut être répété pour créer le motif de
droite (cocher TOUTES les bonnés réponses)

Unité de 3 x 3 carreaux utilisé pour créer le motif

<figure><img src="image_114.png" /></figure>

<figure><img src="image_115.png" /></figure>

<figure><img src="image_116.png" /></figure>

<figure><img src="image_117.png" /></figure>

<figure><img src="image_118.png" /></figure>

<figure><img src="image_119.png" /></figure>

<figure><img src="image_120.png" /></figure>

<figure><img src="image_121.png" /></figure>

Carrelage

<figure><img src="image_122.png" /><figcaption>Carreau A</figcaption></figure>

<figure><img src="image_123.png" /><figcaption>Carreau B</figcaption></figure>

<figure><img src="image_124.png" /><figcaption>Carreau C</figcaption></figure>

<figure><img src="image_125.png" /></figure>
# Chapitre 4
## Bilan d'une expérimentation
### Test papier crayon à grande échelle

Réalisation : Antoine Bodin et Brahim Ferhane

Lors de la session de décembre 2018 il a été convenu, en accord avec les inspecteurs centraux, d'organiser une expérimentation d'un test type PISA au niveau de classes de seconde année de l'enseignement moyen (équivalent classe de cinquième en France).

Alors que les tests PISA sont passés par les élèves de 15 ans et sont donc prévus pour cet âge, on peut s'étonner du choix de ce niveau. En fait, ayant pour objectif la préparation des enseignants et des élèves à la prochaine campagne de PISA, à savoir PISA 2021, il était logique de cibler les élèves qui auront 15 ans en 2021.

Dans ce chapitre, nous présenterons successivement les conditions d'élaboration de ce test, sa passation, les analyses statistiques, puis qualitatives des résultats.

Nous présenterons les travaux d'atelier menés au cours du stage, ateliers portant sur les questions relatives à la création et à l'analyse d'items, ainsi qu'aux questions relatives au codage des réponses. Nous en profiterons pour évoquer les apports méthodologiques présentés au cours du stage (analyse statistique implicative et analyse des réponses aux items (IRT)).

## 4.1 Préparation du test

### 4.1.1 Sélection de questions PISA

Une partie des questions utilisées par PISA peuvent, selon les pays, être utilisées dès les premières années de l'enseignement moyen ; certaines peuvent même l'être dès le niveau de l'école primaire. Disant cela, il s'agit simplement de reconnaître que les contenus mathématiques en jeu ne dépassent pas ces niveaux. Toutefois, le niveau de développement cognitif nécessaire à la résolution de ces questions peut ne pas être celui habituellement attendu des enfants de 13 ans (voir chapitre 3).

Pour le test, Il fallait donc choisir des questions qui soient compatibles avec le programme algérien de seconde année de l'enseignement moyen et qui supposent un niveau de développement cognitif n'excédant pas celui habituellement observé chez les élèves de 13 ans.

Un travail d'atelier avec les 6 groupes d'inspecteurs a conduit à sélectionner 9 questions de PISA (14 items) qui nous ont semblé respecter ces critères.

### 4.1.2 Production de questions type PISA

Une fois partiellement familiarisés avec le cadre de référence de PISA et le type de questionnement qu'il utilise, les stagiaires ont été invités à produire eux-mêmes des questions type-PISA. Ils ont ainsi produit 11 questions (27 items), dont 8 ont été intégrées au test.

Ainsi que nous l'avons vu dans le chapitre 3, les caractéristiques des questions de PISA s'éloignent considérablement des caractéristiques habituelles observées dans nombre de pays. Essayer de produire des questions type-PISA nous semble donc une bonne façon de se familiariser avec le cadre
de référence de PISA ; utiliser de telles questions avec les élèves en association avec de « vraies » questions de PISA permet alors de mieux préparer les enseignants et les élèves à l'évaluation PISA.

### 4.1.3 Classification des items

La mise au point des questions a été l'objet de plusieurs ateliers au cours de la session de décembre. Elle s'est poursuivie après cette session par de nombreux échanges entre les stagiaires, et entre-eux et les experts et les inspecteurs centraux. Accompagnant cette élaboration, une classification des items proposés a été établie selon les critères suivants :

* CA : Conformité au curriculum algérien (deuxième année de l'enseignement moyen)

* PISA : Compatible avec le référentiel PISA (la question pourrait être utilisée par PISA)

* Origine : PISA, Groupe de stagiaires, manuel algérien, EVAPM (cf. références)

* Temps nécessaire (min) : estimation du temps moyen nécessaire au traitement de l'item

* Domaine contenu PISA : rattachement à l'un des domaines de contenu de PISA (§ 3.2.1)

* Processus PISA : rattachement à l'un des processus PISA (§ 2.2.2.3)

* Niveau taxonomique : classement suivant la taxonomie de la complexité cognitive (§ 3.3.4)

* Codage des réponses : En particulier, conditions d'attribution du Code 1 (Réussite)

* Contexte : rattachement à l'un des contextes de PISA (§ 2.2.1.2)

On trouvera le tableau complet de cette classification en annexe 4.6.5

### 4.1.4 Le test final

L'ensemble du travail dont il est question ci-dessus a été fait en arabe et en français. Cela a posé de nombreuses difficultés de nature linguistique. Les documents originaux de PISA étant en langue anglaise, leurs présentations en langue française ne sont déjà pas exemptes de biais, mais le passage à la langue arabe est à nouveau délicat. Une très grande attention a été portée à cette question. On peut en effet soupçonner qu'une partie des difficultés des élèves algériens lors de l'évaluation PISA 2015 peut avoir été due, sinon à des erreurs de traduction (toujours possibles), mais surtout à des traductions peu adaptées aux habitudes langagières des professeurs et des élèves.

On trouvera le test final, dans sa version française, en annexe 4.6.1. Le test en sa version en langue arabe, tel qu'il a été passé par les élèves, sera intégré dans la version en langue arabe de ce document.

Le test était prévu pour une durée de passation de 2 heures incluant sa présentation aux élèves.

### 4.1.5 L'organisation de la passation

Chacun des inspecteurs participant au stage avait mobilisé autour de lui ou d'elle une petite équipe d'inspecteurs et de professeurs (appelée cellule inspecteurs-enseignants), ce qui a constitué une première étape de la sensibilisation du terrain à la problématique PISA. Localement, des établissements et des classes ont été sélectionnés ce qui a été facilité par un courrier général que la direction de la pédagogie a envoyé aux chefs d'établissement.

Les inspecteurs participant au stage ont rapporté que leurs interlocuteurs, chefs d'établissement, inspecteurs et professeurs avaient bien accueilli cette opération et que les élèves avaient montré beaucoup d'intérêt.

En tout, le test a été passé par 1416 élèves dans 43 classes.

### 4.1.6 Les consignes de passation
Il était important que le test soit passé partout dans les mêmes conditions, ou, du moins dans des conditions aussi proches que possibles.

Nous souhaitions en particulier :

* Que les classes ne soient pas choisies suivant des critères de niveau (classes de bon ou de mauvais niveau !).

* Que les élèves ne soient pas stressés ou inquiétés par les conséquences pour eux des résultats du test.

* Que les élèves soient avertis du caractère inhabituel, mais voulu, du test.

* Que les élèves soient associés à la réflexion et comprennent l'intérêt de participer à l'opération.

Le protocole complet se trouve en annexe 4.5.1 et contient aussi les consignes générales de codage des réponses.

### 4.1.7 Le recueil des résultats

Nous avions programmé une feuille de saisie sur ordinateur des résultats de façon à empêcher les erreurs de saisie. Cette feuille donnait automatiquement pour chaque élève, chaque item et chaque classe les pourcentages de réussite. Cela pour permettre une exploitation facile des résultats par chaque professeur au niveau de sa classe.

Dans notre expérience des évaluations à grande échelle, nous avons rencontré toutes sortes d'obstacles : non-engagement des chefs d'établissements, dés intérêt des enseignants ou refus de participer, manque d'investissement des élèves, refus de coder et absence de retour de données ou données inexploitables... Tout cela aurait pu se passer dans le cas de notre expérimentation ! Au lieu de cela, tout s'est passé sans incident et il y a lieu de féliciter tous les acteurs les acteurs de terrain, en particulier les inspecteurs du stage, pour la façon dont ils ont su gérer les choses.

### 4.1.8 L'état des retours de données

Les données sont constituées des informations personnelles des élèves (en particulier âge et genre) et des codes associés à leurs réponses aux items (cf. 4.5.3) Chaque classe a été saisie sur la feuille de saisie Excel dont il est question au paragraphe précédent. Le lecteur peut consulter cette feuille sur la page « Penser PISA » (cf. Références). Chaque feuille constitue un fichier.

<table><caption>Figure 4-1 : Retour des données</caption><thead><tr><th></th><th>Nombre de fichiers</th><th>Nombre d'élèves</th><th>Pourcentage garçons</th></tr></thead><tbody><tr><td>Groupe 1</td><td>5</td><td>163</td><td>47%</td></tr><tr><td>Groupe 2</td><td>6</td><td>184</td><td>48%</td></tr><tr><td>Groupe 3</td><td>15</td><td>499</td><td>47%</td></tr><tr><td>Groupe 4</td><td>6</td><td>198</td><td>44%</td></tr><tr><td>Groupe 5</td><td>5</td><td>183</td><td>50%</td></tr><tr><td>Groupe 6</td><td>6</td><td>189</td><td>51%</td></tr><tr><td>TOTAL</td><td>43</td><td>1416</td><td>48%</td></tr></tbody></table>
## 4.2 Premières analyses

### 4.2.1 Analyse statistique

#### 4.2.1.1 Réflexion préalable sur la précision des résultats statistiques

Il est des cas où la précision dans les résultats statistiques peut avoir son importance. Par exemple, certains scores de réussites donnés par PISA sont précis au centième près et les situations sur l'échelle PISA sont données au point près sur une échelle de moyenne 500 (environ) et d'écart-type 100.

On oublie souvent de préciser les intervalles de confiance qui sont soigneusement calculés par PISA. C'est-à-dire qu'un score x signifie que, pour la population cible, on a une probabilité de .95 pour que le « vrai score » appartienne à l'intervalle $]x-e; x+e[$, e dépendant de la taille de l'échantillon concerné. Le vrai score étant le score que l'on obtiendrait si l'on passait de l'échantillon à la population cible.

Il faut donc être prudent lorsque l'on utilise les résultats diffusés par PISA. Cette précision est nécessaire dans un souci de rigueur. Compte tenu du nombre de pays concerné et du nombre d'institutions sensibles aux résultats (le fameux palmarès), il est souhaitable que les résultats soient inattaquables : la méthode de calcul est publique, a été validée internationalement et est suivie rigoureusement. Les résultats sont donc exacts, mais exacts par rapport à une démarche et à une méthodologie précise. Toute modification de la méthode de calcul ou du cadre de référence conduirait à des résultats différents.

Dans notre cas, la précision est d'autant plus illusoire qu'elle se rapporte à un échantillon non statistiquement représentatif de la population de référence qui, ici, serait la population des élèves algériens de deuxième année de l'enseignement moyen.

Les discussions avec les participants nous ont amenés à faire ces précisions et à insister sur l'erreur qui consiste à donner une importance démesurée à la précision des mesures sans tenir compte des limites de leur validité et donc de leur signification.

> « L'excès de précision, dans le règne de la quantité, correspond très exactement à l'excès du pittoresque, dans le règne de la qualité.

> La précision numérique est souvent une émeute de chiffres, comme le pittoresque est, pour parler comme Baudelaire, "Une émeute de détails".

> On peut y voir une des marques les plus nettes d'un esprit non scientifique, dans le temps même où cet esprit a des prétentions à l'objectivité scientifique.

> En effet, une des exigences primordiales de l'esprit scientifique, c'est que la précision d'une mesure doit se référer constamment à la sensibilité de la méthode de mesure et qu'elle doit naturellement tenir compte des conditions de permanence de l'objet mesuré. Mesurer exactement un objet fuyant ou indéterminé, mesurer exactement un objet fixe et bien déterminé avec un instrument grossier, voilà deux types d'occupations vaines que rejette de prime abord la discipline scientifique. »

> Gaston Bachelard (1938). La formation de l'esprit scientifique

#### 4.2.1.2 Les résultats

Le score moyen d'environ 8 réussis sur 37 (Figure 4-2), peut paraître faible. Toutefois, notre but n'était pas de délivrer un jugement sur le niveau général des élèves du niveau concerné, mais seulement de repérer ce qui pouvait constituer un obstacle à la réussite d'items du type de ceux de PISA. Nous montrerons plus loin que ces résultats correspondent assez bien à ceux que les élèves algériens ont obtenus pour PISA 2021. De plus ils ne sont pas très différents de ceux que l'on obtiendrait dans nombre d'autres pays.
<table><caption>Figure 4-2 : Les scores globaux</caption><thead><tr><th>Score moyen sur 38</th><th>Pourcentage moyen de réussite</th></tr></thead><tbody><tr><td>7,93</td><td>20,9%</td></tr></tbody></table>

Les scores sont différents selon les groupes (les 6 groupes d'inspecteurs constitués pour le stage) (Figure 4-3). Ces différences ont intéressé les inspecteurs qui y ont vu confirmation de leurs observations générales. Toutefois les tailles des sous-échantillons d'élèves relevant de ces groupes et leur caractère non significativement représentatif ne permettent pas de tirer des conclusions fiables.

<table><caption>Figure 4-3 : Les scores selon les groupes</caption><thead><tr><th></th><th>Taux de réussite filles</th><th>Taux de réussite garçons</th><th>Taux de réussite TOUS</th></tr></thead><tbody><tr><th>Groupe 1</th><td>27%</td><td>20%</td><td>23%</td></tr><tr><th>Groupe 2</th><td>19%</td><td>17%</td><td>18%</td></tr><tr><th>Groupe 3</th><td>25%</td><td>22%</td><td>22%</td></tr><tr><th>Groupe 4</th><td>25%</td><td>22%</td><td>23%</td></tr><tr><th>Groupe 5</th><td>18%</td><td>18%</td><td>18%</td></tr><tr><th>Groupe 6</th><td>20%</td><td>17%</td><td>18%</td></tr><tr><th>TOTAL</th><td>23%</td><td>20%</td><td>21%</td></tr></tbody></table>

La figure 4-4 présente les scores par item : pourcentages de réussites, pourcentages d'échecs, pourcentages de non-réponses. Ces trois taux ont été étudiés simultanément. Un taux de réussite faible accompagné d'un taux de non-réponses élevé signale que les élèves n'ont pas été surpris par l'item et qu'ils ont pensé pouvoir y répondre facilement. Les erreurs peuvent alors résulter d'une erreur de calcul, d'une mauvaise interprétation de la question d'une connaissance que l'élève pensait acquise tandis qu'elle ne t'était pas vraiment,

<table><thead><tr><th></th><th colspan="4">Sami</th><th colspan="2">Échelle</th><th colspan="2">Réservoir</th><th colspan="1">Dés 1</th><th colspan="3">Escalier</th></tr><tr><th></th><th>01</th><th>02</th><th>03</th><th>04</th><th>05</th><th>06</th><th>07</th><th>08</th><th>09</th><th>10</th></tr></thead><tbody><tr><th>Réussite</th><td>35%</td><td>5%</td><td>10%</td><td>13%</td><td>16%</td><td>7%</td><td>41%</td><td>25%</td><td>15%</td><td>11%</td></tr><tr><th>Échec</th><td>57%</td><td>77%</td><td>43%</td><td>58%</td><td>39%</td><td>67%</td><td>52%</td><td>73%</td><td>82%</td><td>67%</td></tr><tr><th>Non réponse</th><td>8%</td><td>18%</td><td>47%</td><td>28%</td><td>44%</td><td>26%</td><td>7%</td><td>1%</td><td>3%</td><td>22%</td></tr></tbody></table>

<table><thead><tr><th></th><th colspan="2">Dés 2</th><th colspan="3">USB</th><th colspan="3">Voiture</th><th colspan="1">Escalier</th><th colspan="3">Libraire</th></tr><tr><th></th><th>11</th><th>12</th><th>13</th><th>14</th><th>15</th><th>16</th><th>17</th><th>18</th><th>19</th><th>20</th></tr></thead><tbody><tr><th>Réussite</th><td>12%</td><td>37%</td><td>31%</td><td>77%</td><td>43%</td><td>18%</td><td>64%</td><td>8%</td><td>9%</td><td>7%</td></tr><tr><th>Échec</th><td>70%</td><td>51%</td><td>56%</td><td>17%</td><td>52%</td><td>64%</td><td>30%</td><td>39%</td><td>59%</td><td>61%</td></tr><tr><th>Non réponse</th><td>18%</td><td>12%</td><td>13%</td><td>6%</td><td>5%</td><td>18%</td><td>6%</td><td>53%</td><td>31%</td><td>31%</td></tr></tbody></table>

<table><thead><tr><th></th><th colspan="3">Ahmed</th><th colspan="3">Développement</th><th colspan="1">Fûts</th><th colspan="1">Étagères</th></tr><tr><th></th><th>21</th><th>22</th><th>23</th><th>24</th><th>25</th><th>26</th><th>27</th><th>28</th><th>29</th></tr></thead><tbody><tr><th>Réussite</th><td>8%</td><td>32%</td><td>7%</td><td>6%</td><td>7%</td><td>10%</td><td>16%</td><td>45%</td><td>17%</td></tr><tr><th>Échec</th><td>33%</td><td>40%</td><td>27%</td><td>53%</td><td>60%</td><td>39%</td><td>42%</td><td>26%</td><td>65%</td></tr><tr><th>Non réponse</th><td>59%</td><td>28%</td><td>66%</td><td>40%</td><td>33%</td><td>51%</td><td>43%</td><td>29%</td><td>18%</td></tr></tbody></table>

<table><caption>Figure 4-4 : les scores par item</caption><thead><tr><th></th><th colspan="6">Goûter</th><th colspan="1">Achat</th><th colspan="1">Restauration</th></tr><tr><th></th><th>30</th><th>31</th><th>32</th><th>33</th><th>34</th><th>35</th><th>36</th><th>37</th><th>38</th></tr></thead><tbody><tr><th>Réussite</th><td>31%</td><td>31%</td><td>29%</td><td>16%</td><td>16%</td><td>14%</td><td>10%</td><td>8%</td><td>8%</td></tr><tr><th>Échec</th><td>54%</td><td>52%</td><td>53%</td><td>62%</td><td>60%</td><td>60%</td><td>29%</td><td>35%</td><td>54%</td></tr><tr><th>Non réponse</th><td>15%</td><td>17%</td><td>18%</td><td>22%</td><td>23%</td><td>26%</td><td>61%</td><td>57%</td><td>34%</td></tr></tbody></table>
Par exemple, la question 8 (Motif en escalier – Le test § 4.5.1 question 5) a certainement parue facile aux élèves : seuls 1% des élèves n'ont pas répondu à l'item 08 et 3 % à l'item 09. Pourtant les taux de réussite sont faibles (25% et 15%) et les taux d'échec élevés (73% et 82%).

Passer de l'étape 3 à l'étape 2 était du niveau des premières années de l'école élémentaire, mais il fallait comprendre que ce qui était attendu était le nombre total des carrés nécessaires et non le nombre de carrés qu'il fallait ajouter à la figure de l'étape 3. L'analyse du texte de présentation en anglais ou en français permet de dire qu'il n'y a pas vraiment d'ambiguïté. Il était cependant facile de se tromper.

La réussite à l'item 09 dépendait de la réussite à l'item 08. Il est donc normal que l'item 09 soit moins bien réussi que l'item 08.

Dans le cas de la question 10 (le libraire pédagogique), le taux de non-réponse élevé à l'item 18 (63%) révèle, semble-t-il, un certain désarroi des élèves devant le questionnement. D'une part, il y avait beaucoup de texte à lire (ce qui est souvent le cas avec les questions de PISA), mais aussi, nous avons eu la maladresse de demander la justification des réponses avant de demander les réponses. La démarche linéaire habituelle était de ce fait rendue impossible. Après retour d'expérimentation nous avons réalisé qu'il aurait été préférable d'écrire : a) Montrez (ou expliquez) ce que vous faites. En Anglais PISA aurait écrit «*Show your work*» (Montre ton travail !).

Signalons que cette question n'est pas une question de PISA. Elle a été créée avec les participants du stage. Le test ayant été élaboré rapidement, les contrôles ont pu être insuffisants. Toutefois, on trouve de telles maladresses dans les questions officielles de PISA, avant, comme après leurs traductions dans les langues nationales. Pourtant PISA expérimente toutes ses questions sur des échantillons réduits (*field test*) un an avant la passation proprement dite (*main test*), ce qui permet de modifier ou d'éliminer les items qui posent problème. On verra aussi que PISA utilise des techniques complexes pour détecter les items qui pourraient poser problème (voir 4.4.2).

Les participants ont remarqué que parmi les items qui étaient a priori conformes aux programmes algériens de deuxième années secondaire, certains étaient bien réussi alors que d'autres l'étaient assez peu. Par exemple :

* L'item 14 (quelle voiture choisir – voir page 96) est réussi par 77% des élèves alors qu'elle nécessitait l'analyse d'un tableau de données de quatre lignes et quatre colonnes et la prise en considération de trois conditions. Ce résultat montre que les élèves ont une certaine habilité à analyser une situation relativement complexe mais qui ne demande pas l'application d'une connaissance précise.

* L'item 01 (Sami - voir page 91) est assez mal réussi (35%) alors qu'il s'agit là d'appliquer une connaissance en principe acquise en première année secondaire. Une hypothèse émise par les participants est que certains chapitres de fin d'année non n'ont pas été étudiés ou l'ont été de façon hâtive. Une autre hypothèse est que les élèves sont habitués à exécuter des procédure (ici calculer $1+\frac{2}{5}$) qu'à leur donner du sens.

* L'item 02 (Échelle – voir page 91) est très mal réussi). Il semble que la notion d'échelle ait été peu étudiée, mais aussi que les élèves soient davantage habitués à appliquer une échelle qu'à la calculer à partir de la donnée d'une distance réelle et de sa mesure effectuée sur la carte.

Dans quelques cas, le taux faible de réussite a été attribué à une erreur d'énoncé ou à une maladresse dans la présentation des items. C'est le cas de la question 10 (Le libraire- voir page 97), ou encore à des consignes de codage ambiguës (cf § 4.3).

La figure 4-5 met en évidence la grande variabilité des écarts entre les échecs et les non-réponses.

Les pointillés verticaux pointent sur les cas extrêmes :

* Item 8 : très peu de non-réponses – nombreux échecs

* Item 23 : beaucoup de non-réponses – peu d'échecs
<figure><img src="image_126.png" /><figcaption>Figure 4-5 : les scores par item classés par ordre décroissant de réussite</figcaption></figure>

La figure 4-6 présente la distribution des scores des élèves à l'ensemble du test. En abscisse on lit le nombre d'items réussis et en ordonnée on lit le pourcentage d'élèves ayant réussi exactement ce nombre d'items. Par exemple, environ 9% des élèves ont réussi exactement 8 items. Précisons que pour un effet visuel, le diagramme qui devrait être un diagramme en bâtons a été « lissé » pour obtenir une courbe continue. Nous avons ensuite rapproché cette courbe de l'échelle des compétences de PISA. Pour PISA 2015, la grande majorité des élèves algériens se sont placés au niveau 1 ou sous ce niveau, ce qui correspond assez bien à ce que nous observons avec notre test.

La courbe obtenue figure 4-7 est typiquement ce que l'on a coutume d'appeler « courbe de l'échec » (beaucoup d'élèves échouent, peu réussissent), tandis que sa symétrique par rapport à un axe médian serait appelée « courbe de la réussite » (peu d'élèves échouent, la plupart réussissent) (figure 4-8). Une courbe de l'échec peut sans trop d'inconvénients être observée en début d'apprentissage et tout l'effort des enseignants et des élèves doit tendre à la transformer en une courbe de la réussite. Cela sans diminuer les exigences mais en améliorant la formation et les apprentissages. Sachant que PISA ne modifiera pas ses exigences à la baisse, on voit bien le défi auquel le système éducatif algérien s'est soumis.

<figure><img src="image_127.png" /><figcaption>Figure 4-6 : distribution des scores rapportés à l'échelle PISA</figcaption></figure>
<figure><img src="image_128.png" /><figcaption>Figure 4-7 : Distribution des scores - courbe de l'échec</figcaption></figure>

<figure><img src="image_129.png" /><figcaption>Figure 4-8 : Distribution des scores - courbe de la réussite</figcaption></figure>

### 4.2.1.3 Analyse selon les processus de PISA

D'une façon générale, les résultats sont meilleurs en ce qui concerne les processus *formuler* et *interpréter* qu'en ce qui concerne le processus *employer*. Cela pourrait signifier que les élèves ont des connaissances insuffisantes ou qu'ils ne parviennent pas toujours à les utiliser, même lorsqu'ils ont une bonne compréhension des situations qui leur sont proposées (figure 4-9).

<table><caption>Figure 4-9 : Résultats selon les processus et les domaines</caption><thead><tr><th></th><th>Nombre d'items</th><th>Réussite</th><th>Échec</th><th>Non réponse</th></tr></thead><tbody><tr><td><strong>Formuler</strong></td><td>7</td><td>25%</td><td>53%</td><td>22%</td></tr><tr><td>Espace et formes</td><td>2</td><td>25%</td><td>41%</td><td>34%</td></tr><tr><td>Quantité</td><td>5</td><td>24%</td><td>58%</td><td>17%</td></tr><tr><td><strong>Employer</strong></td><td>20</td><td>16%</td><td>50%</td><td>33%</td></tr><tr><td>Espace et formes</td><td>3</td><td>16%</td><td>33%</td><td>51%</td></tr><tr><td>Quantité</td><td>17</td><td>16%</td><td>53%</td><td>30%</td></tr><tr><td><strong>Interpréter</strong></td><td>11</td><td>28%</td><td>52%</td><td>20%</td></tr><tr><td>Espace et formes</td><td>2</td><td>25%</td><td>60%</td><td>15%</td></tr><tr><td>Quantité</td><td>9</td><td>28%</td><td>51%</td><td>21%</td></tr><tr><td><strong>Total général</strong></td><td>38</td><td>21%</td><td>52%</td><td>27%</td></tr></tbody></table>

### 4.2.1.4 Analyse selon la complexité cognitive

D'une façon tout à fait habituelle et prévisible les taux de réussite décroissent lorsque la complexité cognitive croît (figure 4-10). Toutefois la différence entre le niveau A (connaissance et reconnaissance) et les autres niveaux (cf. § 3.3.4) confirme le fait que les élèves sont davantage habitués à appliquer des connaissances et à utiliser des procédures standards qu'à se poser des questions sur les situations rencontrées.
<table><caption>Figure 4-10: résultats selon les niveaux de complexité</caption><thead><tr><th>Niveau taxonomique</th><th>Nombre d'Items</th><th>Réussite</th><th>Échec</th><th>Non réponse</th></tr></thead><tbody><tr><td>A</td><td>6</td><td>45%</td><td>47%</td><td>8%</td></tr><tr><td>B</td><td>7</td><td>19%</td><td>55%</td><td>26%</td></tr><tr><td>C</td><td>17</td><td>19%</td><td>54%</td><td>27%</td></tr><tr><td>D</td><td>8</td><td>9%</td><td>48%</td><td>43%</td></tr><tr><td>TOTAL</td><td>38</td><td>21%</td><td>52%</td><td>27%</td></tr></tbody></table>

### 4.2.2 Analyse qualitative et retour sur le questionnement

Dans les paragraphes précédents nous avons mêlé les analyses purement quantitatives et les analyses qualitatives. En début de chapitre nous avons attiré l'attention sur les limites des études statistiques. Dans notre cas, elles n'ont d'intérêt que si elles ouvrent la porte à des études qualitatives et à des réflexions sur le sens que l'on peut attribuer aux observations faites sur le plan quantitatif.

Le travail des participants au stage a moins consisté à évaluer le niveau des élèves qu'à évaluer la qualité des questions que nous avons posées. Lorsqu'une question est mal réussie la première question qui doit se poser est de savoir si ce sont les élèves qui ne sont pas « au niveau » ou si c'est la question qui présente des défauts.

Notre travail a donc en partie porté sur la remise en question de notre travail. Nous avons repéré des formulations ambiguës, des erreurs dues aux problèmes de traduction, des questions qui demandaient des connaissances que les élèves n'avaient pas encore acquises à cette époque de l'année...

Une autre source d'erreurs provient des consignes de codage et de leur application. Certaine consignes pouvaient être interprétées de différentes façons, mais surtout, les codeurs ont eu du mal à ne pas confondre coder et noter. Cela nous a conduits, après le test, à mener un atelier sur cette question (§ 4-3 ci-dessus).

Si le test utilisé (présenté en annexe 4.5.1 devait être réutilisé, il conviendrait de tenir compte de ces observations et de le modifier en conséquence. Une version modifiée du test et des consignes de codage peut être téléchargée sur la page « penser PISA » (cf. références et bibliographie).

## 4.3 Expérience de codage

### 4.3.1 Considérations préalables

Le codage est toujours une opération délicate, en particulier en ce qui concerne les épreuves standardisées (PISA ou autres). Il s'agit de s'assurer que des codeurs différents interprètent de la même façon les réponses des élèves. C'est ce que l'on appelle la **fidélité** de l'évaluation (reliability).

La fidélité est assurée aux erreurs de codage près (distraction, oubli, ...) dans le cas des questions à choix multiples et plus généralement des questions ou items fermés. Elle est déjà moins assurée dans le cas des items semi-ouverts où l'élève n'a qu'un nombre, un mot ou une expression à écrire. Elle devient vraiment problématique dans le cas des items ouverts. C'est le cas où l'élève doit montrer ses calculs, justifier sa démarche, présenter une argumentation, dans ce cas, des codeurs différents peuvent interpréter de façon différente la réponse d'un même élève.

Les études internationales sont très attentives à la fidélité. Celle-ci est en effet garante de la qualité et de la crédibilité des échelles qu'elles produisent.
Le problème est résolu pour les items fermés ou semi-ouverts : en effet, le codage automatique s'en charge. Toutefois, dans le contexte multilinguistique qui est le leur, la fidélité suppose une équivalence des items dans les différentes langues. Les essais préalables (field test) qui ont lieu l'année précédent le test lui-même (main test) permettent de modifier ou d'éliminer des items qui n'offriraient pas des garanties suffisantes de fidélité.

Pour les items ouverts, un entraînement particulier des futurs codeurs est organisé de façon interlangues, et là encore, la formulation des questions et les consignes de codage sont adaptés pour obtenir une fidélité aussi élevée que possible (en édumétrie, la fidélité est une grandeur qui se mesure (i.e. coefficient $\alpha$ de Chronbach), mais le problème n'est que partiellement résolu.

Le présent document est destiné à des inspecteurs. Préparer les enseignants et les élèves à passer des tests standardisés ne doit pas conduire à développer devant eux des questions d'édumétrie, mais simplement à attirer leur attention sur la nécessité de répondre soigneusement aux items, dans les espaces prévus, en respectant les formats demandés, en faisant des phrases courtes, bien construites et bien écrites dans le cas des items ouverts. L'élève doit savoir que le codeur (humain ou non) n'aura pas la liberté d'interpréter sa réponse.

Précisons que tout ce qui précède concerne les épreuves standardisées et non l'évaluation pédagogique habituellement menée par l'enseignant, qu'elle soit formative ou sommative. Certaines recherches mettent d'ailleurs en évidence des effets négatifs du transfert des principes édumétriques sur l'évaluation pédagogique.

Précisons aussi que coder n'est pas noter. Coder c'est chercher l'information nichée sans la copie de l'élève, et non attribuer une valeur à cette information. Lorsque les consignes de codage sont claires, le codeur doit se retrouver devant des assertions qui ne peuvent être que vraies ou fausses. D'où les codes habituels 1 (pour VRAI), 0 (pour faux), 9 ou X (pour non-réponse). Certains items ouverts peuvent être codés à plusieurs niveaux pour : réponses partielles codées 2, 3 ou plus, mais même dans ce cas, la consigne doit être univoque (VRAI ou FAUX).

### 4.3.2 Organisation de l'expérimentation

* Trois cahiers d'élèves ont été sélectionnés (test type-PISA objet de ce chapitre).

* De façon indépendante, chacun des 6 groupes a été invité à recoder ces cahiers.

De ce fait, les désaccords possibles à l'intérieur de chaque groupe ont été réglés par la discussion.

* Restait à analyser les désaccords observés entre les groupes.

Le test de janvier avait été préparé assez rapidement et cette préparation avait été compliquée par les échanges à distance et par le passage du français à l'arabe (dans les deux sens). De ce fait, certains items et certaines consignes de codage contenaient des imprécisions ou des erreurs. Imprécisions et erreurs qui avaient été relevées et corrigées au cours du stage sans que cela modifie pour autant les trois cahiers qu'il s'agissait de recoder. On pouvait donc s'attendre à des désaccords entre les groupes.

### 4.3.3 Résultats

Sur les 38 items du test, 21 ont fait l'objet d'au moins un désaccord entre les groupes.
Le tableau ci-dessous met en évidence que 9,5 % des codes attribués (sur 6 X 3 X 38, soit 684 éléments de codages), ne sont pas en accord avec le codage majoritaire. C'est peu compte tenu des conditions de l'expérimentation mais ce serait beaucoup pour un test standardisé officiel.

<table><tr><td>Nombre total de codes attribués</td><td>684</td></tr><tr><td>Nombre total de désaccords</td><td>65</td></tr><tr><td>Pourcentage de désaccords</td><td>9,5%</td></tr><tr><td>Nombre d'items objets d'au moins un désaccord sur 18 codes attribués</td><td>21</td></tr><tr><td>Pourcentage d'items objets de désaccords</td><td>55%</td></tr></table>

Notons d'autre part que les désaccords touchent un peu plus de la moitié des items.

Le tableau suivant rassemble l'ensemble des observations : nombre de désaccords et tentative d'explications (en rouge et orange, les questions problématiques - formulation ou consignes de codage)

<table><thead><tr><th rowspan="2">Question</th><th rowspan="2">Item</th><th colspan="3">Nombre de désaccords</th><th rowspan="2">Remarques</th></tr><tr><th>cahier 1</th><th>cahier 2</th><th>cahier 3</th></tr></thead><tbody><tr><td rowspan="3">Échelle</td><td>02</td><td></td><td>3</td><td></td><td>Consigne différemment interprétée (échelle)</td></tr><tr><td>03</td><td></td><td></td><td>1</td><td>question semie-ouverte —> différences d'appréciation</td></tr><tr><td>04</td><td></td><td>2</td><td></td><td>???</td></tr><tr><td rowspan="2">Réservoir</td><td>05</td><td>3</td><td></td><td></td><td>question semie-ouverte —> différences d'appréciation</td></tr><tr><td>06</td><td>2</td><td>2</td><td></td><td>Consigne incomplète : Certains codeurs ont codé 1 une réponse fausse cohérente avec la démarche (prise en compte de la surface de base)</td></tr><tr><td>USB (*)</td><td>13</td><td>1</td><td></td><td>2</td><td>Certain codeurs ont codé 1 une réponse fausse cohérente avec les explications</td></tr><tr><td rowspan="3">Libraire (°)</td><td>18</td><td>2</td><td></td><td>2</td><td>Question et consigne douteuse - reformulée au cours du stage</td></tr><tr><td>19</td><td>2</td><td></td><td></td><td>idem</td></tr><tr><td>20</td><td>2</td><td></td><td></td><td>idem</td></tr><tr><td rowspan="3">Ahmed</td><td>21</td><td>3</td><td></td><td></td><td>Question douteuse - reformulée au cours du stage</td></tr><tr><td>22</td><td>3</td><td>3</td><td></td><td>idem</td></tr><tr><td>23</td><td>2</td><td>2</td><td></td><td>idem</td></tr><tr><td rowspan="6">Goûter</td><td>30</td><td>1</td><td></td><td></td><td>Désaccords à expliquer</td></tr><tr><td>31</td><td>1</td><td>3</td><td>1</td><td>idem</td></tr><tr><td>32</td><td>3</td><td>3</td><td></td><td>idem</td></tr><tr><td>33</td><td>1</td><td>3</td><td></td><td>idem</td></tr><tr><td>34</td><td>2</td><td>2</td><td></td><td>idem</td></tr><tr><td>35</td><td>1</td><td></td><td></td><td>idem</td></tr><tr><td>Achat</td><td>36</td><td></td><td>3</td><td></td><td>Consigne incomplète - interprétée différemment</td></tr><tr><td rowspan="2">Restauration</td><td>37</td><td></td><td>2</td><td></td><td>Désaccords à expliquer</td></tr><tr><td>38</td><td>2</td><td></td><td></td><td>idem</td></tr></tbody></table>

<footnote>(*) questions utilisée pour l'observation</footnote>
### 4.3.4 Conclusion

Le codage est une opération délicate qui demande un entraînement. Notons que pour PISA les codeurs seront sélectionnés et encadrés (il est probable que des inspecteurs participeront à la sélection et à l'encadrement).

Pour que le codage soit effectué correctement, il est d'abord nécessaire que les questions et les items ainsi que les consignes de codage soient formulés sans ambiguïté, mais pour PISA proprement dit, cela est de la responsabilité de PISA.

## 4.4 Analyses secondaires

Les analyses classiques telles que celles que nous avons faites aux paragraphes précédents peuvent être complétées par des analyses complémentaires mobilisant de nouveau moyens.

Au cours de la formation, nous ainsi utilisé rapidement l'analyse statistique implicative et l'analyse des réponses aux items IRT). Cette dernière est la méthode statistique utilisée maintenant par PISA, mais aussi par TIMSS et de plus en plus par la plupart des études nationales.

### 4.4.1 Analyse statistique implicative

Pour simplifier, disons simplement qu'étant donné deux items A et B, la démarche s'intéresse à la probabilité que les élèves ayant réussi A ont de réussir B. Se révèlent alors des chaînes d'items : si un élève réussit A, il a de fortes chances de réussir B ; s'il réussit l'item B, il a de fortes chances de réussir l'item suivant de la chaîne, etc.

On peut interpréter une telle chaîne en termes de conditions suffisantes : pour réussir B, il suffit d'être capable de réussir A. Bien sûr la condition n'est pas absolue et il faudrait plutôt dire : pour réussir B, il suffit – en général – d'être capable de réussir A.

<figure><img src="image_130.png" /><figcaption>Figure 4-11 : analyse implicative : un exemple</figcaption></figure>

L'exemple donné en 4-11 est issu d'une analyse des résultats de PISA2012 pour les items Espace et forme (21 items) pour la France.

Le long de la chaîne PM943---->PM00K---->PM995---->PM305---->PM447---->PM949, les taux de réussite sont en ordre croissant, mais surtout : les élèves qui réussissent un item de la chaîne ont une forte probabilité de réussir le suivant.

La figure 4-12 présente l'analyse implicative du test créé avec les participants du stage.
<figure><img src="image_131.png" /><figcaption>Figure 4-12 : analyse implicative de notre test</figcaption></figure>

On observe deux ou trois chaînes courtes assez prévisibles, mais on observe surtout qu'il y a peu de liaisons implicatives. Cela signifie que les items sont assez indépendants, ce qui, pour PISA peut être considéré comme une qualité.

Cela nous a amenés à regarder de plus près le rapport de dépendance entre deux questions. La figure 4-13 présente la table de contingence concernant les items Voiture 2 et Dés 1 qui ne sont pas liés sur le graphe implicatif.

On observe que ces deux items ont à peu près le même score de réussite (41% et 43%) ; cependant, seuls 22% des élèves réussissent simultanément les deux items.

La table montre qu'environ la moitié des élèves qui réussissent « dés 1 » échouent « voiture 2 », tandis qu'environ la moitié des élèves qui réussissent « voiture 2 » échouent « dés 1 ».

Cela amène naturellement à une réflexion sur la notion de compétence. Ces deux items ne peuvent évidemment pas ressortir d'une même compétence.

<table><caption>Figure 4-13 : une table de contingence</caption><thead><tr><th></th><th></th><th colspan="2">Voiture2</th><th></th></tr><tr><th></th><th></th><th>1</th><th>0</th><th></th></tr></thead><tbody><tr><th rowspan="2">Des1</th><th>1</th><td>22%</td><td>19%</td><td>41%</td></tr><tr><th>0</th><td>21%</td><td>38%</td><td>59%</td></tr><tr><th></th><th></th><td>43%</td><td>57%</td><td>100%</td></tr></tbody></table>

La figure 4-14 s'intéresse particulièrement aux relations entre les items de la question « le goûter ».
<figure><img src="image_132.png" /><figcaption>Figure 4-14 : deux autres exemples</figcaption></figure>

Les tables de contingence mettent bien évidence l'indépendance des parties 1 et 2 de la question, tandis que le graphe implicatif met en évidence la dépendance des items de la seconde partie.

L'analyse implicative permet un autre type d'analyse : l'analyse implicative et cohésitive illustrée pat un arbre (figure 4-15) (cf. Référence). L'arbre indique des tendances implicatives entre items et groupes d'items. Ici on voit apparaître trois arbres non liés qui auraient mérité d'être analysés séparément. Une telle analyse peut permettre d'identifier des compétences différentes. Le temps nous a manqué pour exploiter cette piste qui est seulement présentée ici pour mémoire.
<figure><img src="image_133.png" /><figcaption>Figure 4-15 : analyse implicative cohésitive du test</figcaption></figure>

## 4.4.2 Analyse des réponses à l’item (IRT)

### 4.4.2.1 Courbes de Rash

L'IRT est une méthode probabiliste qui permet d'étudier la qualité métrologique des items (qualité de la mesure) et qui permet ainsi de déceler des biais dans les items (les biais étant des caractéristiques des items qui conduisent à des erreurs de mesure). La méthode est utilisée par PISA pour sélectionner des items qui fonctionnent bien (c'est-à-dire qui ne s'accompagnent pas de biais importants) ; elle est aussi utilisée pour calibrer les items et pour construire les échelles dont nous avons parlé au chapitre 3.

Il a donc semblé nécessaire de donner un minimum d'information sur cette méthode. Comme cela est le cas pour l'analyse implicative et même pour les démarches plus classiques telle que l'analyse des corrélations, il faudrait consacrer une session entière à ces méthodes pour ne pas être trop schématique.

L'IRT se base sur les fonctions de Rash qui associent chaque valeur d'un « trait » donné, ici le niveau des élèves identifié à leur score au test. Dans ces conditions, on s'attend à ce que plus la valeur du trait est élevée pour un élève donné, plus sa probabilité de réussite à un item représentatif de ce trait sera élevée. La figure 4-16 montre une représentation de la fonction de Rash pour l'un items du test. Les irrégularités observées sont sans importance. Le fait que la fonction ne soit pas croissante comme l'on pourrait s'y attendre est en effet dû aux petits effectifs concernant certaines valeurs du trait.
<figure><img src="image_134.png" /><figcaption>Figure 4-16 : fonction de Rash : un item qui fonctionne bien</figcaption></figure>

En pratique la distribution est ajustée à une courbe continue : le modèle Rash (Figure 4-17). La courbe idéale (le modèle) traduit bien l'idée énoncée ci-dessus que l'ordonnée croît tandis que l'abscisse croit. Toutefois la forme particulière de cette courbe supposerait des développements théoriques qui sortiraient du cadre de ce chapitre.

<figure><img src="image_135.png" /><figcaption>Figure 4-17 : le modèle de Rash (à deux paramètres)</figcaption></figure>

De nombreux logiciels permettent d'obtenir les courbes de réponses des items d'un test. Celui que nous avons utilisé (TestGraf) n'est pas le plus adapté mais les autres sont d'un emploi plus complexe ou sont très onéreux. Cela nous a cependant permis de mettre en évidence des défauts pour certains items ; en général liés à des problèmes de codage des réponses plus qu'aux items eux-mêmes.

Voici les courbes de réponses de trois items de notre test

Les figures suivantes présentent les courbes de réponses de trois items de notre test. L'un qui fonctionne bien, le suivant qui est douteux et le troisième qui ne fonctionne pas du tout (ici, ce sont les consignes de codage qui ont été diversement interprétées).
<figure><img src="image_136.png" /><figcaption>Figure 4-18 : un item qui fonctionne bien : Sami 1</figcaption></figure>

Ici (Figure 4-18), la courbe de réponse de l'item ne s'éloigne pas trop du modèle, elle est strictement croissante ; les élèves de faible niveau ont très peu de chance de réussir à l'item, tandis que ceux de niveau élevé sont quasiment assurés de réussir.

Les petits traits verticaux représentent les fluctuations d'échantillonnage. Une valeur lue sur la courbe est assortie d'une mare d'erreur indiquée par ces traits.

Les cas suivants (Figures 4-19 et 4-20) ont révélé des consigne de codage mal interprétées.

<figure><img src="image_137.png" /><figcaption>Figure 4-19 : un item douteux : Clé USB (item 13)</figcaption></figure>
<figure><img src="image_138.png" /><figcaption>Figure 4-20 : un item qui fonctionne très mal : dé 2 (item 12)</figcaption></figure>

### 4.4.3 Conclusion de ce chapitre

L'élaboration de questions type PISA, la sélection de questions provenant des études PISA, la construction d'un test, sa passation par un nombre assez grand d'élèves, l'analyse des résultats par des méthodes variées a été un élément central de la formation.

Cela a de plus été complété par une expérience d'observation directe des élèves qui sera présentée au chapitre suivant.

Il serait certainement très utile aux objectifs poursuivis que ces expérimentations soient d'une part largement diffusées et d'autre part reprises l'an prochain avec des élèves de troisième année secondaire et l'année suivante (année scolaire 2020-2021) en quatrième année secondaire, assez tôt dans l'année pour préluder à l'évaluation PISA 2021.

Rappelons ici que l'objectif de cette expérimentation n'était pas l'évaluation des élèves qui ont passé le test, en encore moins le niveau général des élèves algériens. Dans ce dernier cas, il aurait fallu utiliser une approche très différente en se basant sur le programme du niveau concerné et en tenant davantage compte des pratiques d'enseignement et d'évaluation habituels. Or, cela est justement ce que PISA ne fait pas : il ne tient compte ni des programmes, ni des pratiques, qu'il ambitionne justement de contribuer à faire évoluer
## 4.5 Annexes du chapitre 4

Nous avons placé en annexe le test lui-même tel qu'il a été passé par les élèves dans sa version en langue arabe) (4.5.1) ; des questions crées par les participants au stae mais qui n'ont pas été utilisées pour le test (4.5.2) ; le protocole de passation du test ; une grille présentant l'ensemble des critères associés aux items du test

### 4.5.1 Le test

#### Les perspectives de l'enseignement des mathématiques en Algérie à la lumière de PISA

Formation 2018-2019 – CIEP
Ministère algérien de l'éducation

Expérimentation préparatoire à PISA 2021 niveau seconde année moyen.

<figure><img src="image_139.png" /></figure>

#### Liste des questions

Question 1. La bibliothèque de Sami

Question 2. Échelle

Question 3. Réservoir

Question 4. Les six dés

Question 5. Motif en escalier

Question 6. Dés à Jouer

Question 7. Clé USB

Question 8. Quelle voiture choisir ?

Question 9. L'escalier

Question 10. Le libraire pédagogue

Question 11. L'oncle Ahmed

Question 12. Développement démographique

Question 13. Les fûts et les pompes

Question 14. Étagères

Question 15. Préparation d'un goûter

Question 16. Achat d'un appartement

Question 17. Droit à la cantine
Question 1 : La bibliothèque de Sami

La bibliothèque de Sami est riche en livres, les livres de récits représentent les deux-cinquièmes
de ces livres, le reste sont des livres sur la culture et l'histoire.

Quelle est la fraction qui représente les livres de culture et l'histoire ?

Réponse : ................

01

Question 2 : Échelle

a) La distance entre la maison d'Ayoub et la maison d'Abdelkader est de 1 km.

La distance entre les deux maisons sur la carte est de 8 cm

Quelle est l'échelle de cette carte ?

Réponse :

02

b) La distance entre la maison d'Ayoub et la gare sur cette carte est de 18,5 cm. Quelle est cette
distance en réalité ?

b1) Montrez vos calculs

b2) Réponse : ....................km

03

04
### Question 3 : Réservoir

Un réservoir d'eau en forme de cylindre de révolution d'une hauteur de 6,3 m et d'une longueur de diamètre de base de 2,4 m.

On veut peindre sa surface latérale de l'extérieur avec une peinture qui coûte 150 DA le mètre carré.

Calculez le coût de la peinture ? (Nous prenons $\pi =3,14$)

a) Montrez vos calculs

05

b) Réponse : ....................DA

<figure><img src="image_140.png" /></figure>

On précise que l'aire latéral A d'un cylindre est donnée par la formule $A = 2 \times \pi \times r \times h$

<figure><img src="image_141.png" /></figure>

06

### Question 4 : Les six dés

Sur la photographie de droite, vous apercevez six dés, correspondant aux lettres (a) à (f).

Il existe une règle commune à tous les dés : la somme des points figurant sur deux faces opposées de chaque dé est toujours égale à sept.

Écrivez dans chacune des cases le nombre de points qui figurent sur la face inférieure de chaque dé de la photo.

(a)

(b)

(c)

<figure><img src="image_142.png" /></figure>

(d)

(e)

(f)

<figure><img src="image_143.png" /></figure>

07
## Question 5 : Motif en escalier

Rémy réalise un motif en escalier en utilisant des carrés. Il suit les étapes suivantes :

Comme on peut le voir, il utilise un carré à l'étape 1, trois carrés à l'étape 2 et six carrés à l'étape 3.

<figure><img src="image_144.png" /></figure>

Étape 1

<figure><img src="image_145.png" /></figure>

Étape 2

<figure><img src="image_146.png" /></figure>

Étape 3

a) Combien de carrés devra-t-il utiliser à l'étape 4 ?

Votre Réponse : .......................................... carrés.

b) En continuant de la même façon, combien faudra-t-il de carrés à l'étape 10 ?

08

b1) Votre Réponse : .......................................... carrés.

b2) Montrez votre travail ci-dessous :

09

10