# L'A.S.I., analyseur et revelateur: de la complexite cognitive taxonomique<fnref n="1" />

## A.S.I., analyser and developer: of taxonomic cognitive complexity

RÉGIS GRAS<fnref n="2" />

ANTOINE BODIN<fnref n="3" />

### Résumé

Dans cet article, nous montrons comment l'ASI permet de valider la hiérarchie de complexité d'exercices de mathématiques proposés à de jeunes élèves en nous appuyant sur une taxonomie d'objectifs cognitifs. Inversement, cette taxonomie est confortée par des résultats d'enquêtes nationales et internationales, ce qui assure une cohérence en moyens et fin. Ainsi, si l'ASI s'avère être un bon outil d'analyse d'une hiérarchie ordonnée entre des compétences, elle permet aussi de révéler un ordre de complexité entre des tâches.

**Mots-clés:** graphe implicatif, hiérarchie de similarités, hiérarchie cohésitive, indice d'implication, taxonomie, complexité

### Abstract

In this article, we show how the ASI allows to validate the hierarchy of complexity of mathematical exercises proposed to young students by relying on a taxonomy of cognitive objectives. Conversely, this taxonomy is reinforced by the results of national and international surveys which ensures a coherence in means and purpose. Thus, if the ASI proves to be a good tool for analyzing an ordered hierarchy between competencies, it also reveals an order of complexity between tasks

**Keywords:** Implicative graph, hierarchy of similarities, cohesive hierarchy, index of implication, taxonomy, complexity.

### RESUMO

Neste, mostramos como a ASI permite validar a hierarquia de complexidade de exercícios de matemática propostos a jovens alunos, apoiando-nos em uma taxonomia de objetivos cognitivos. Por outro lado, essa taxonomia é validada pelos resultados de investigações nacionais e internacionais, que garante uma consistência em termos de meios e finalidades. Assim, Se ASI acaba sendo uma boa ferramenta para análise de uma hierarquia ordenada entre competências, ela permite, também, revelar uma ordem de complexidade entre as tarefas.

**Palavras-chave:** Gafo implicativo. Hierarquia de similaridade. Hierarquia coesitiva. Índice de implicação. Taxonomia. Complexidade.

<footnote n="1">¹ Cet article doit être présenté aussi à ASI 9 – Este artigo deve ser apresentado, também, na ASI9 em outubro de 2017.</footnote>

<footnote n="2">² Ecole Polytechnique de l'Université de Nantes, Équipe DUKE Data User Knowledge, Laboratoire LS2N UMR 6241, Site de la Chantrerie ; e-mail : regis.gras@univ-nantes.fr, regisgra@orange.fr.</footnote>

<footnote n="3">³ Institut de Recherches sur l'Enseignement des Mathématiques, Université d'Aix-Marseille ; antoinebodin@mac.com</footnote>
## Introduction

La notion de complexité est très large et semble apparue plus intensément dans une problématique de l'organisation du vivant au XXème siècle. Sa signification s'éclaire par son origine latine « complexus » c'est-à-dire « tissé ensemble » qui sous-entend une intrication de parties pour former un tout. Dans son usage nous retrouvons le caractère nécessairement dynamique de ce « tout » qui serait plus riche que la somme des parties. Pour appuyer notre actuelle problématique, rappelons un essai de définition de J. Barrow (R. Benkirane, 2002, p.315) : « On cherche toujours une définition de la complexité....Mais jusqu'ici ce qui ressort, c'est que tel phénomène est plus complexe que tel autre. Nous pourrions voir la complexité comme une absence de symétrie ». L'adéquation avec la problématique fondamentale de l'ASI (ordre et asymétrie) ne peut être plus claire.

Les domaines où cette notion s'est développée sont nombreux comme en physique avec les turbulences atmosphériques, les réseaux de communication, ou en biologie avec les populations animales, les maladies épidémiques, etc. où le réductionnisme est inopérant. C'est ce caractère dynamique, non linéaire que nous retenons dans l'étude des acquisitions de connaissances des élèves et étudiants en ce qui concerne les concepts de mathématiques qui leur sont enseignés ainsi que les compétences qui leur sont associées. De nombreux travaux sommatifs ou cliniques de didacticiens des mathématiques, des enquêtes nationales (EVAPM<fnref n="4" /> par exemple), internationales (par exemple PISA ou TIMSS<fnref n="5" />) ont porté sur l'évaluation des acquis ou sur l'étude des conflits sociocognitifs. Nous avons souhaité y apporter notre contribution en créant a priori un référentiel organisant selon une typologie ordonnée, une taxonomie de compétences cognitives observables. Nous faisons alors l'hypothèse que cette taxonomie est ordonnée selon un préordre<fnref n="6" /> partiel par une complexité croissante, où des éléments de performance seraient le signe d'une compétence plus générale d'un niveau taxonomique à un niveau supérieur. Ainsi la performance de l'élève devrait décroître lorsque l'on s'élèverait avec les niveaux

<footnote n="4">⁴ EVAPM : Programme d'Evaluation de l'Association des Professeurs de Mathématiques de l'Enseignement Public conduite de 1986 à 2008 par Antoine Bodin avec le concours de l'INRP et de l'IREM de Franche-Comté.</footnote>

<footnote n="5">⁵ PISA *Program for International Student Achievement*. (Programme international pour l'évaluation des élèves) programme triannuel mis en place par l'OCDE</footnote>

<footnote>TIMSS : *Trends in International Mathematics and Science Study* (Tendances internationales dans l'enseignement des mathématiques et des sciences) programme quadriannuel mis en place par l'IEA</footnote>

<footnote n="6">⁶ Préordre : relation binaire réflexive et transitive sur un ensemble d'objets.</footnote>
de la taxonomie. On en voit l'intérêt didactique dans le cas d'une évaluation d'une action scolaire où l'on aurait à préparer un questionnaire sommatif sur les acquisitions. Dans d'autres situations comme celle d'organisation de tâches pour la création d'un produit complexe ou celle du développement d'un organisme, dans sa morphogenèse ou sa psychogenèse nous retrouvons une problématique comparable.

Ceci étant, nous avons souhaité évaluer la pertinence de cette taxonomie en créant un test constitué d'un ensemble d'items supposés satisfaire les mises en jeu des compétences exprimées et en soumettant à ce test un ensemble d'élèves de même niveau scolaire. D'après l'hypothèse de préordre, il nous a alors semblé cohérent de pratiquer l'analyse des résultats par une méthode d'analyse de données non symétrique, conformément au triangle évoqué au début de l'introduction ; « complexité, ordre, non symétrie ». Une analyse factorielle et une analyse des similarités nous semblaient donc inadaptées. Nous en reparlerons. C'est à la fonction d'analyseur de l'ASI que nous faisions appel. De plus, nous attendions que le préordre révélé par l'ensemble des performances des élèves soit homomorphe à celui présumé de la taxonomie. Cette fois c'est la fonction de révélateur de l'ASI qui était mobilisée.

Une taxonomie des acquisitions cognitives

À l'instar de la taxonomie de Bloom [Bloom B. et al, 1969], élaborée pour l'enseignement et l'organisation des examens scolaires indépendamment des disciplines, nous avons construit notre taxonomie en 5 classes, A, B, C, D, et E, mais et en la spécifiant aux compétences en mathématiques. La différence ne s'arrête pas là : en effet la taxonomie de Bloom était le résultat d'un consensus de nature psychologique et pédagogique, tandis que celle de Gras procède dès le départ d'une réflexion didactique et s'est immédiatement accompagnée de validations empiriques. Les niveaux d'acquisition d'un concept y sont en ainsi ordonnés par la complexité croissant de A vers E. Cette complexité, en l'occurrence, se définit sur la base de la plus ou moins grande mobilisation des outils de pensée et de leur intrication pour résoudre un problème donné. Schématiquement dire qu'un problème de la classe C est plus complexe qu'un problème de la classe A sous-entend que des compétences nouvelles ou complémentaires sont nécessaires en C par rapport à celles que l'on possède en A. Cet ordre n'est que théorique car il suppose que les contextes des situations où se posent les problèmes soient comparables ainsi que celles des apprentissages. Pour relativiser cette question de complexité, Gérard Vergnaud
introduit la notion de champ conceptuel<fnref n="7" />. Ce qui nous a conduits à réduire l'étude à deux représentations du concept de symétrie centrale et centre de symétrie, l'une dans un cadre géométrique, l'autre dans un cadre algébrique.

La taxonomie initiale de R.Gras a été élaborée à la fin des années 70 dans le cadre d'un expérimentation nationale (OPC). Elle accompagnait un projet et une expérience d'enseignement donnant une part importante à l'activité de l'élève et en particulier aux manipulations susceptibles d'introduire au sens des notions enseignées.

Nous verrons plus loin que pour d'autres usages, cette taxonomie a dû être légèrement adaptée. Il nous semble cependant préférable de la présenter ici telle qu'elle a alors été utilisée et validée et telle qu'elle est présentée en détail dans Gras, 1979. Cela d'autant plus qu'elle nous semble toujours être bien adaptée aux besoins de la recherche et aux soucis actuels de partie de l'activité de l'élève en situation et de donner une place importante aux activités de modélisation.

Le tableau ci-dessous présente les libellés des niveaux A à E ainsi qu'un ensemble de verbes d'action qui permettre d'en comprendre le sens et qui en facilitent l'utilisation.

<table><caption>Tableau 1: Les libellés des niveaux A à E et verbes d'action</caption><tr><td>Niveau A</td><td>Connaissance des outils de préhension de l'objet et du fait mathématique</td></tr><tr><td></td><td>Associer, assembler, simuler, observer, déchiffrer, décrire, organiser, calculer</td></tr><tr><td>Niveau B</td><td>Analyse des faits et transposition</td></tr><tr><td></td><td>Abstraire, prolonger, induire, analyser, comparer, schématiser, traduire, transposer</td></tr><tr><td>Niveau C</td><td>Compréhension des relations et des structures</td></tr><tr><td></td><td>Reconnaître, construire, justifier, déduire, analyser, abstraire, appliquer, interpoler</td></tr><tr><td>Niveau D</td><td>Synthèse, et créativité</td></tr><tr><td></td><td>Organiser, calculer, optimiser, illustrer, démontrer, valider, créer, inventer, généraliser, induire, prévoir, extrapoler</td></tr><tr><td>Niveau E</td><td>Critique et évaluation</td></tr><tr><td></td><td>Contrôler, optimiser, prévoir, critiquer, questionner, vérifier, tolérer</td></tr></table>

Source: les auteurs

Voici une présentation plus détaillée de ces niveaux, présentation légèrement adaptée de la thèse de R. Gras (1979), présentation, qui met bien en évidence les vocations éducatives et didactiques de la taxonomie.

<footnote n="7">⁷ « Un champ conceptuel, selon G. Vergnaud, « est un espace de problèmes ou de situations-problèmes dont le traitement implique des concepts et des procédures de plusieurs types en étroite connexion, ainsi que les représentations langagières et symboliques susceptibles d’être utilisées pour les représenter ».</footnote>
## Niveau A: Connaissance des outils de préhension de l'objet et du fait mathématique

Les capacités de ce niveau ici portent sur des schémas construits autour de l'objet et du fait mathématiques. On y retrouve la capacité d'associer définition et représentation mais également action et image mentale. Les règles d'action y sont davantage subordonnées au signifiant qu'au signifié, bien qu'elles visent la connaissance de celui-ci. La coordination des schémas offre un aspect opératoire autant psychomoteur que cognitif (action intériorisée même au niveau de l'effectuation de simples algorithmes de calculs ou de tracés). La structuration qui s'ensuit s'accompagne de l'élaboration de théorèmes en actes, constitutifs d'un modèle implicite qui peut être parfaitement licite.

## Niveau B: Analyse de faits et transposition

Les objectifs de ce niveau visent à séparer tout en les coordonnant deux langages, deux syntaxes et deux logiques, élaborés à la suite d'échanges d'information avec le milieu. Il peut s'agir de langages associés à deux signifiants du même signifié. Pour assurer la distinction de leurs plans, on doit se montrer capable de maîtriser le dictionnaire de transposition et d'anticiper l'action sur l'un ou l'autre de ces plans. L'homomorphisme de transposition, qui permet la substitution d'une action par une autre, doit être réversible pour être significatif de l'accès à la représentation en tant que telle.

## Niveau C: Compréhension des relations et des structures

L'identification du concept s'élève de la prise de conscience de l'invariant opératoire à travers les différents signifiants. D'où, rompant leur isolement, une restructuration des connaissances englobant le ou les nouveaux concepts. Les nouvelles règles d'action et le calcul relationnel associé permettent d'élaborer un nouvel homomorphisme entre plans des signifiants et plan du signifié. Les théorèmes en actes peuvent alors être remis en question ou leur champ peut être limité tandis que le modèle peut être élargi sans compromettre cet homomorphisme. Alors qu'au niveau A, le concept se trouvait illustré par le milieu, au niveau C il devient opératoire sur le milieu à travers les applications
## Niveau D: Synthèse et créativité

On atteint là des formes mentales supérieures. La pensée intègre en une nouvelle structure le ou les concepts élaborés. Cette même pensée se libère en se montrant capable de maîtriser une combinatoire complexe et capable de divergence au niveau de la production. Autrement dit, se met en place progressivement une démarche plus systémique qu'analytique qui permet d'ériger des systèmes en globalité, plutôt qu'une simple analyse de leurs constituant. C'est à ce niveau que se situent les capacités à créer des exemples personnels, à générer des algorithmes, à découvrir des généralisations et à transférer de façon opératoire les concepts dans de nouvelles situations extra-mathématiques.

## Niveau E: Critique et évaluation

Ce niveau suppose la prise de distance maximum par rapport à la réalité et à la théorie mathématique. Cette distance permet de hiérarchiser les causalités entre propositions, de prélever les données minimales pour résoudre un problème, d'imaginer une hypothèse absente, de choisir efficacement la méthode ou le modèle résolvant, d'opposer contradictoirement à une assertion le contre-exemple décisif. À ce niveau, la distance objet-sujet augmente et la superposition signifiant-signifié ne présente plus aucun risque et permet, par la stabilité de l'équilibre cognitif, une grande efficacité et la libération d'une pensée décrispée.

Des sous niveaux A1, A2, A3, A4 etc. eux-mêmes hiérarchisés par la complexité accompagnent les niveaux principaux. Dans la mesure où ils ne sont pas nécessaires à la compréhension de la suite, nous les laissons de côté pour le moment.

## Le protocole du test et premières statistiques

### Modalités

Le test « Taxonomie » se présente en 5 cahiers présentés à des heures de cours différentes en respectant un panachage désordonné selon les différentes catégories de compétences. Une hypothèse psycho-didactique est sous-jacente dans la construction de ces cahiers. Chaque item est un exercice et il est supposé satisfaire la mobilisation des compétences affirmées dans la classe et sous-classe de la taxonomie. En fait, c'est l'épistémologie du professeur qui est en action ; elle présente donc la fragilité d'une adéquation relative à celle supposée de l'élève acteur de sa réponse :
9 items de la classe A et de la classe C, 7 items de la classe B, 12 items de la classe D et 5 de la classe E.

401 élèves du niveau scolaire de 4ème (13-14 ans). Différentes variables supplémentaires enrichissent les analyses : âge et sexe des élèves, lieu de passage du test, variante didactique des leçons, catégorie socio-professionnelle des parents, temps écoulé entre l'apprentissage de la symétrie centrale et la passation. Mais, en dépit de la richesse des informations associées, nous n'en tiendrons pas compte dans ce travail (voir thèse de R.Gras) bien que certaines aient présenté une corrélation non négligeable avec les performances des élèves.

Le fichier original entier des résultats obtenus n'ayant pas été récupéré sous forme numérique a été reconstitué sur la base d'informations parcellaires dont la composition a permis un traitement complet sous CHIC.

## Quelques indicateurs statistiques

Pour chaque élève x, nous avons calculé ses performances relativement à chaque classe. Dans 42% des cas, l'ordre taxonomique $A(x) \ge B(x) \ge C(x) \ge D(x) \ge E(x)$ attendu est respecté alors qu'une répartition uniforme des permutations de 5 éléments lui accorde simplement la probabilité 1/120 soit 0.0083. Dénombrons le nombre de permutations erronées par rapport à la permutation attendue. Si nous calculons le coefficient de reproductibilité de Guttman, nous obtenons : $c = 1 -$ nombre total d'erreurs/ (nombre de sujets x Nombre de classes) $= 1 - 330/(401 \times 5) = 0.84$. Selon Guttman et Matalon, ce nombre est significatif de la préservation de l'échelle attendue $A > B > C > D > E$.

Dans la figure ci-dessous, on trouvera les intervalles de variation des performances des élèves selon chacune des classes ; Par exemple, les réussites aux items de la classe A varient de 41% à 96%, celles de E varient de 2% à 24%. Le score moyen à A est de 75%.
<figure><img src="image_1.png" /><figcaption>Figure 1 - Comparaison des réussites max-min</figcaption></figure>

Source: les auteurs

Une analyse symétrique

L'analyse des similarités selon l'algorithme de la vraisemblance du lien de I.C. Lerman
(Lerman 1978) rassemble en une grande classe pratiquement tous les items quel que soit
leur classement taxonomique a priori. Par conséquent - ce qui était pressenti - cette
méthode n'apporte pas d'élément informatif par rapport à notre problématique de
recherche de préordre (voir figure 2 l'arbre hiérarchique obtenu par le logiciel CHIC).

Dans la thèse de R.Gras une autre méthode symétrique est utilisée : l'Analyse Factorielle des Correspondances (AFC). Mais cette méthode d'analyse de données basée sur la distance du Khi2, si elle partitionne bien dans l'espace les nuages et sous-nuages des variables, ne rend compte de l'ordre qu'en observant, par exemple, sur la plan factoriel 1-2, les items simples au voisinage du centre et les items complexes sur la périphérie du premier plan factoriel.
<figure><img src="image_2.png" /><figcaption>Figure 2 - Arbre hiérarchique des similarités</figcaption></figure>

Source: les auteurs

# Deux analyses par l'ASI

## Graphe implicatif (Fig. 3)

L'ensemble des items est structuré en un graphe orienté de haut en bas par une fréquence de réussite à la question posée dans l'item considéré. Par exemple, A11 est mieux réussi (68%) que D16 (24%) et que C10 (51%). Par conséquent si l'ordre de réussite devait respecter l'ordre taxonomique de complexité a priori, le long de chaque chemin, les items se succéderaient de son sommet à son extrémité selon un ordre croissant de réussite des items relevant de la classe E à ceux de la classe A. Le graphe implicatif, obtenu par CHIC, respecte globalement cet attendu comme on peut le constater.
<figure><img src="image_3.png" /><figcaption>Figure 3 - Graphe implicatif au seuil 0.79</figcaption></figure>

Source: les auteurs

De très rares distorsions sont observées comme, par exemple, A12 => C40.

En fait, la question A12 (voir Figure 1) exige une résolution plus complexe qu'il n'a semblé car elle nécessite que l'élève échappe à la prégnance du faisceau de parallèles afin de placer le milieu du segment, non apparent, [AD]. Elle exige donc une compétence où la mise à distance figurative est nécessaire. En revanche, l'item C40 (voir Figure 5) propose d'effectuer une construction dont une base graphique est déjà donnée.
L'inversion ne doit donc pas nous surprendre et le graphe implicatif a su la dénoncer.
Double fonction du graphe : analyseur et révélateur !
<figure><img src="image_4.png" /><figcaption>Figure 4 - Items classe A1, dont item A10</figcaption></figure>

Source: les auteurs

<figure><img src="image_5.png" /><figcaption>Figure 5 - Item C40</figcaption></figure>

Source: les auteurs

## Hiérarchie cohésitive (Figure 6)

On peut attendre maintenant que la hiérarchie cohésitive, toujours obtenue par CHIC, qui structure les réussites en classes orientées par l'implication respecte l'ordre taxonomique présumé.
<figure><img src="image_6.png" /><figcaption>Figure 6 - Hiérarchie cohésitive</figcaption></figure>

Source: les auteurs

Or, nous observons que l'ordre taxonomique est globalement respecté à une exception près (A10 => B10) portant sur deux tracés à complexités voisines. 3 classes d'items seulement sont significatives (flèches en rouge) :

D31 =>(D30 => (C22 => C21)), exercices où l'élève doit articuler des arguments ou des calculs ;

((D42=>D41) =>D40) => B31, exercices où l'élève doit exercer sa créativité en élaborant des algorithmes personnels de tracé ou de calculs algébriques ;

((E30 =>A12)=>A13)=>A14, exercices où l'élève disposant d'un esprit critique se montrer compétent pour sortir du cadre graphique donné, tout en maîtrisant le vocabulaire.

## La taxonomie, l'Observatoire EVAPM et la base EVAPMIB

De 1986 à 2008, dans le cadre d'EVAPM, nous avons mené une vingtaine d'enquêtes différentes du niveau de la classe de sixième (11 à 12 ans) aux classes terminales (17-18 ans) incluses. Pour cela plus de 150 épreuves totalisant plusieurs milliers d'items ont été construites et analysées. Le nombre d'élèves participant à ces enquêtes a varié selon les années du millier à plus de 10 000. Les données recueillies constituent une base de données très importante qui n'a pas encore été totalement exploitée. Le travail se poursuit et pour cela, l'ASI est largement mise à contribution.

Avant même de penser à l'ASI, nous avons eu besoin d'un système de classement de nos items. Pour les mêmes raisons que celles évoquées dans la première partie de cet article,
les systèmes alors utilisés dans les études nationales ou internationales (Bloom, NLSMA et autres typologies intuitives) ne paraissaient pas convenir.

La taxonomie de R. Gras nous est alors apparue comme nettement mieux adaptée, même si l'on était loin d'en voir encore toute la richesse. Dans notre esprit, elle devait surtout nous servir à diversifier nos questions d'évaluation en évitant de rester comme c'était souvent le cas au niveau des question de reproduction et d'application dans des conditions proches de l'apprentissage.

Après quelques années d'utilisation de cette taxonomie, nous avons été amenés à modifier la taxonomie pour la rendre plus facile à utiliser par les enseignants, sans pour autant en toucher aux fondements.

Pour le niveau A, il ne s'agit que d'un changement de vocabulaire qui est sans incidence sur le classement des items. Pour B et C, nous avons séparé plus nettement ce qui relevait de la compréhension de ce qui relevait de l'application (application, qui ici suppose compréhension). De ce fait, des items qui auraient été classés en C dans la taxonomie initiale peuvent se retrouver en B dans cette taxonomie que nous appelons Gras-Bodin, mais l'ordre des sous niveaux ne se trouve que très rarement modifié. Les Niveaux C et D sont un peu modifiés sans que cela ne bouscule la hiérarchie des sous-niveaux de complexité.

Voici donc cette taxonomie Gras-Bodin, présentée sous forme réduite (voir la forme détaillée sur le site d'EVAPM).

<table><thead><tr><th></th><th>Catégorie générale</th><th></th><th>Sous-catégorie</th></tr></thead><tbody><tr><td rowspan="4">A</td><td rowspan="4">Connaissance et reconnaissance</td><td>A1</td><td>des faits</td></tr><tr><td>A2</td><td>du vocabulaire</td></tr><tr><td>A3</td><td>des outils</td></tr><tr><td>A4</td><td>des procédures</td></tr><tr><td rowspan="6">B</td><td rowspan="6">Compréhension</td><td>B1</td><td>des faits</td></tr><tr><td>B2</td><td>du vocabulaire</td></tr><tr><td>B3</td><td>des outils</td></tr><tr><td>B4</td><td>des procédures</td></tr><tr><td>B5</td><td>Des relations</td></tr><tr><td>B6</td><td>Des situations</td></tr><tr><td rowspan="3">C</td><td rowspan="3">Application</td><td>C1</td><td>Dans des situations familières simples</td></tr><tr><td>C2</td><td>Dans des situations familières moyennement complexes</td></tr><tr><td>C3</td><td>Dans des situations familières complexes</td></tr><tr><td rowspan="3">D</td><td rowspan="3">Créativité</td><td>D1</td><td>Utiliser dans une situation nouvelle des outils et des procédures connus</td></tr><tr><td>D2</td><td>Émission d'idées nouvelles</td></tr><tr><td>D3</td><td>Création d'outils et de démarches personnelles</td></tr><tr><td rowspan="2">E</td><td rowspan="2">Jugement</td><td>E1</td><td>Production de jugements relatifs à des productions externes</td></tr><tr><td>E2</td><td>Auto-évaluation</td></tr></tbody></table>
Dans ce court article, il n'est pas possible de montrer tout ce que la taxonomie et tout ce que l'ASI ont apporté à nos évaluations et à nos analyses ; évoquons juste quelques points remarquables

La figure 7 compare les niveaux taxonomiques des questions du brevet (DNB) de 2006 avec ceux des questions d'EVAPM seconde de 2001, ceux d'EVAPM sixième de 1997 et ceux de PISA2012. Le diagramme montre bien le glissement d'EVAPM vers les niveaux supérieurs de la taxonomie. Cette diversification (voulue) est vérifiée pour toutes nos évaluations.

Comme dans l'expérimentation initiale présentée dans la première partie, nous observons que les taux de réussite de l'ensemble des questions décroissent avec l'élévation du niveau taxonomique (figure 8). Il n'est cependant pas possible de confondre le niveau individuel de complexité des questions (qui est de nature relativement intrinsèque) avec leur niveau de difficulté (qui est associé à un groupe d'élèves et qui est de nature purement statistique).

Dans EVAPM, le respect de la hiérarchie au niveau individuel n'était pas une priorité mais la masse de données accumulées permet d'explorer cette question. La figure 8 montre comment cette hiérarchie est respectée par une épreuve prise au hasard. Ce respect

de la hiérarchie, déjà important dans le cas général d'épreuves composites se renforce évidemment lorsque l'on se rapproche d'un ensemble d'items relevant d'un même champ conceptuel.

<figure><img src="image_7.png" /><figcaption>Figure 7 : exemple de gradation des taux de réussite réussites selon les niveaux taxonomiques (A1, A2 et A3 sont regroupés en A123 pour des raisons d'effectifs)</figcaption></figure>

<table><caption>Figure 8 : respect de la hiérarchie</caption><caption>Exemple de respect de la hiérarchie<br>Épreuve A d'EVAPM Sixième 2008 (1440 élèves)</caption><thead><tr><th>Ordre hiérarchique</th><th>A ≥ B</th><th>B ≥ C</th><th>A ≥ C</th><th>A ≥ B ≥ C</th></tr></thead><tbody><tr><th>Pourcentage d'élèves respectant cet ordre</th><td>75%</td><td>81%</td><td>92%</td><td>56%</td></tr></tbody></table>
Les propriétés de la taxonomie évoquées ci-dessus, jointe à l'utilisation de l'ASI sur des données importantes nous permettent d'explorer la notion de compétence et de lui donner la consistance dont elle manque trop souvent (compétences définies a priori, de façon intuitive, et non validées empiriquement). Les chaînes implicatives trouvées, associés aux arbres issus de l'analyse, permettent en effet, selon le cas, d'accepter ou de réfuter l'idée qu'un bloc d'items donné puisse être utilisé pour évaluer une compétence donnée. Parfois, ces mêmes chaînes font émerger des compétences qui n'avaient pas été prévues.

Les figures 11 et 12 présentent des analyses implicatives d'une épreuve passée dans toutes les sections de terminales sauf la section S (1400 élèves – 21 questions). Il s'agissait d'une épreuve centrée sur la littératie mathématique et dont les questions étaient empruntées à l'enquête TIMSS de 1995. L'analyse ne contredit qu'aux marges l'idée que l'épreuve évalue bien une compétence générale liée à la modélisation et au traitement de situations en lien avec la vie courante, questions ne faisant appel qu'à un faible niveau de mise en fonctionnement des connaissances mathématiques (Bodin & Grapin 2016). Une fois débarrassée des questions qui contredisent trop l'organisation progressive de la compétence que nous cherchons à cerner, questions que l'ASI mets

bon en évidence, l'épreuve peut être considérée comme mesurant de façon acceptable le niveau des élèves par rapport à cette compétence. On voit nettement deux chaînes qui restent très voisines ; les pointillés de transivité de des implications mettant en évidence

<figure><img src="image_8.png" /><figcaption>Figure 10 - Identification de compétences organisées en niveaux de complexité et de difficulté croissants (Épreuve EVAPM_1999 terminale T25_Questions TIMSS littératie mathématique). ASI classique, seuil .95</figcaption></figure>
la robustesse de l'ensemble. Par ailleurs, l'arbre cohésif mets en évidence les questions
qui peuvent être considéres comme ne relevant pas de la compétence que l'on cherce à
mesurer, tandis qu'elle sépare les questions de littératie en deux groupes bien distincts
qui bien que relevant de la littératie favorisent des rapports différents aux situations.

<figure><img src="image_9.png" /></figure>

La taxonomie et les études internationales PISA et TIMSS

La taxonomie et l'ASI offrent des perspectives très prometteuses pour qui veut aller au-delà de l'observation souvent stérile des échelles issues des analyses édumétriques habituelles et de la déploration qui y est souvent associée. Ainsi, la figure 12 montre à la fois comment les questions de PISA et de TIMSS se distribuent selon les niveaux taxonomiques et comment, depuis 2006, le curriculum français s'est rapproché des conceptions de PISA/OCDE en matière de complexité cognitive (par comparaison avec la figure 7).
Cette simple comparaison amène à une remarque qui nous semble intéressante. La figure 13 permet de comparer les résultats de plusieurs pays à PISA 2012 selon le niveau taxonomique des questions ; plusieurs conclusions inattendues s’en dégagent immédiatement :

<figure><img src="image_10.png" /><figcaption>Figure 12 : comparaisons des niveaux taxonomiques des questions de TIMSS2015, PISA2015 et DNB 2016. DNB étant le diplôme national du brevet (fin de troisième)</figcaption></figure>

<table><thead><tr><th rowspan="2">Niveaux taxonomique des items</th><th rowspan="2">Moyenne de l'ensemble des pays</th><th colspan="4">Moyennes des scores de l'ensemble des items de PISA 2012</th></tr><tr><th>de tous les élèves de l'OCDE</th><th>FRANCE</th><th>FINLANDE</th><th>JAPON</th></tr></thead><tbody><tr><td>Tous niveaux</td><td>47%</td><td>46%</td><td>48%</td><td>53%</td><td>56%</td></tr><tr><td>Niveau A</td><td>63%</td><td>61%</td><td>67%</td><td>68%</td><td>65%</td></tr><tr><td>Niveau B</td><td>48%</td><td>47%</td><td>48%</td><td>52%</td><td>56%</td></tr><tr><td>Niveau C</td><td>47%</td><td>46%</td><td>47%</td><td>53%</td><td>56%</td></tr><tr><td>Niveau D</td><td>40%</td><td>40%</td><td>44%</td><td>44%</td><td>56%</td></tr></tbody></table>

* Au niveau A (les connaissances), les français sont meilleurs que les japonais.

* La France décroche dès le niveau B (Compréhension) et s'affaisse totalement, toujours par rapport au japonais.

* Les finlandais ne se distinguent des français qu'aux niveaux B et C.

Nul doute qu'il y ait des implications pédagogiques et didactiques à tirer de ces observations. L'ASI comme analyseur et révélateur de différences de rapport à la complexité selon les cultures et les curriculum devrait permettre de mieux comprendre les résultats des études internationales dont les différences ne relèvent pas que des paramètres socioéconomiques et culturels le plus souvent mis en évidence par l'OCDE (ces paramètres gardent toute leur importance, mais ce sont ici les paramètres pédagogiques et didactiques qui nous intéressent. Une étude portant sur les données de
masse de PISA et de TIMSS est en cours (A. Bodin, R. Couturier) ; les résultats sont déjà intéressants ; ce sera l'objet d'un autre article.

## Conclusion

La méthode d'analyse statistique implicative apparaît comme un outil parfaitement adapté pour rendre compte d'un ordre de complexité cognitive sous-jacent à un ensemble de variables mettant en jeu les compétences cognitives d'un ensemble de sujets. Partant d'une taxonomie qui ordonnerait a priori de telles compétences, nous avons vu que, d'une part les analyses symétriques des données comme l'analyse des similarités ne le permettent pas alors que, d'autre part l'ASI, à travers ses 2 modes de représentation (graphe et hiérarchie) en est un excellent analyseur. De plus, à l'examen des résultats statistiques, mais surtout des deux représentations graphiques, on a pu vérifier le rôle révélateur de l'ASI qui a extrait du désordre a priori des réussites un préordre indubitable quasi-conforme à celui de la taxonomie. Les larges enquêtes nationales et internationales ont globalement confirmé ce que l'approche par l'ASI a décelé à la faveur du test taxonomique. Des travaux ultérieurs plus fins devraient permettre de préciser et conforter les propriétés d'analyse et de révélation de la méthode implicative.

## Références

* BENKIRANE, R. (2002), *La Complexité, vertiges et promesses*, Le Pommier, Paris

* BLOOM B. et al. (1969), *Taxonomie des objectifs pédagogiques*, Education nouvelle.

* BODIN, A. et al.: *Rapports des enquêtes* EVAPM. Site de l'APMEP

* BODIN, A: 2003, *Comment classer les questions de mathématiques? Actes du colloque international du Kangourou*, Paris 7 novembre 2003.

* BODIN, A. (2007): *What does Pisa really assess*, in HOPMAN, S., BRINEK, G., RETZL, M. (éds): *PISA according to PISA*. Wien: Lit Verlag, 2007

* BODIN, A., et GRAPIN, N. (2016): *Comparaison des cadres de référence et des instruments d'évaluation des enquêtes PISA et TIMSS*. Étude commanditée par le CNESCO (Conseil National de l'Évaluation dusystème scolaire). (site A. Bodin)

* BOUDINE J.-P. et BODIN A. (2010), *Le krach éducatif*, L'Harmattan, Paris.

* GRAS, R., (1976), *Recherche d'une taxonomie d'objectifs cognitifs en Mathématiques*, I.R.E.M. de Rennes.
GRAS, R., (1979), *Contribution à l'étude expérimentale et à l'analyse de certaines acquisitions cognitives et de certains objectifs didactiques en mathématiques*, Thèse d'Etat, Université de Rennes 1.

GRAS R. et ACIOLY-RÉGNIER, N. (2017), Hiérarchie de règles en A.S.I. et conceptualisation, *L'Analyse Statistique Implicative, des Sciences dures au Sciences Humaines et Sociales*, Cépadués, Toulouse, p. 369-386.

LERMAN, I.C., (1981b), *Classification et analyse ordinale des données*, Paris : Dunod

LERMAN, I.C. *Formes d'aptitude et taxinomie d'objectifs cognitifs en mathématiques*. In: Revue française de pédagogie, volume 44, 1978. pp. 5-33

MATALON, B. (1965), *L'Analyse Hiérarchique*, Gauthier-Villars, Paris

MONPTIED P., HIOLLE V., GRAS R., TIBERGHIEN, A., (2011), *Profils d'attitudes et orientations motivationnelles : les dynamiques d'engagement à l'égard des sciences chez des élèves de troisième, de seconde et de première*, Éducation et didactique, vol 5 n°1, 45-70.

SÈVE, L., (2005), *Émergence, complexité et dialectique*, Paris : Odile Jacob.

VERGNAUD, G. et DURAND C., (1976), Structures additives et complexité psychogénétique, *Revue Française de Pédagogie n° 36*

VERGNAUD, G., (1994), La théorie des champs conceptuels, *Recherches en Didactique des Mathématiques*, 10/2-3.

## Sites web

PISA: https://www.oecd.org/pisa/

TIMSS: http://timss2015.org/#/?playlistId=0&videoId=0

EVAPM: http://www.apmep.fr/-Observatoire-EVAPM-

À côté d'EVAPM, nous avons développé une base multicritère de questions d'évaluation : la base EVAPMIB. Cette base qui, outre les questions d'EVAPM contient de nombreuses questions utilisées dans des enquêtes à grande échelle (TIMSS, PISA,...) ; questions dont on a pu renseigner les conditions de passation et les résultats obtenus, contient plus de 2000 questions et son développement se poursuit. Bien sûr le niveau taxonomique est l'un des critères de choix possible des questions.

Base EVAPMIB: http://evapmib.apmep.fr/siteEvapmib/

CNESCO: www.cnesco.fr

Site d'Antoine Bodin: https://antoine-bodin.com/

Texto recebido em 10/04/2017

Texto aprovado em 15/04/2017

(Texto apresentado por convite)