# Mieux articuler “linguistique” et “’évaluation des “niveaux de langue” : construction d’une grille de descripteurs dans le Canton de Vaud”

Bruno MAURER*

EFLE - Université de Lausanne, EA 739 Dipralang Université Montpellier 3

**Résumé.** Les évaluations de niveaux de langue jouent un rôle croissant pour l'accès à différents droits. Ce ne sont pas simplement les organismes certificateurs qui doivent être en mesure d'en organiser pour délivrer des certificats, mais des institutions de formation qui doivent aussi attester de niveaux. Le Canton de Vaud (Suisse) a rassemblé des professionnels de la formation linguistique pour aller vers une harmonisation des pratiques. Cette communication montre que les échelles de descripteurs du CECR sont soit trop générales soit trop spécifiques et dans les tous les cas, insuffisamment fondées sur des observables linguistiques pour servir de guide à l'élaboration de tests et à leur notation. Elle montre en quoi cela pose de réels problèmes aux petites institutions et aux différents acteurs du Canton, avec les malentendus qu'entrainent des divergences d'appréciation de niveaux de langue. Un nouvel outil est présenté, plus nettement articulé sur des descripteurs linguistiques, le mot étant pris au sens large, de la linguistique de phrase à la linguistique de l'énonciation.

**Abstract.** Better articulating "linguistics" and "language level" assessment: construction of a descriptor grid in the Canton of Vaud.

Language level assessments play an increasing role in access to different rights. It is not just the certifying bodies that need to be able to organise them to issue certificates, but training institutions that also need to attest levels. The Canton of Vaud (Switzerland) has brought together language training professionals to move towards a harmonisation of practices. This paper shows that the CEFR descriptor scales are either too general or too specific, and in either case insufficiently based on linguistic observables to serve as a guide for test development and scoring. It shows how this poses real problems for small institutions and different actors in the Canton, with the misunderstandings that arise from differing assessments of language levels. A new tool is presented, more clearly articulated on linguistic descriptors, the word being taken in a broad sense, from sentence linguistics to the linguistics of enunciation.

Depuis une vingtaine d'années et la parution du CECR en 2001, la question des évaluations en langue revêt une importance sociale croissante (Shohamy, 2009 ; MacNamara, 2005). Les tests de langues sont devenus des voies d'accès obligatoires à des dispositifs (entrée dans des formations professionnelles, entrée à l'Université) ou à des statuts, comme illustré dans le tableau ci-dessous¹ :

<footnote>* Corresponding author : bruno.maurer@unil.ch</footnote>
<table><caption>Table 11 Summary of CEFR language requirements in 2013</caption><thead><tr><td>Country</td><td>Entry</td><td>Permanent residence</td><td>Citizenship</td><td>Official courses</td></tr></thead><tbody><tr><td>Czech Republic*</td><td>NR</td><td>A1</td><td>B1 + KoS test</td><td>Optional, paid by the candidates</td></tr><tr><td>Denmark</td><td>A1 for spousal reunification: (listening and answering a few oral questions), with exceptions for certain nationalities.</td><td>A2 written and B1 oral</td><td>B2 + KoS test</td><td>Language courses (free of charge), only for a certain period (4-5 years). Only compulsory for refugees and persons receiving for instance unemployment benefit. No courses related to the KoS.</td></tr><tr><td>Estonia</td><td>NR</td><td>B1</td><td>B1 + KoS test</td><td>KoS course (12 hours), optional and free of charge</td></tr><tr><td>Finland</td><td>NR</td><td>NR</td><td>B1 (in Finnish or Swedish, alternatively in Finnish or Swedish sign languages) excluding -18 and ≥65, illiteracy and some deficiencies</td><td>Optional, paid by the candidates mainly.</td></tr><tr><td>Germany*</td><td>A1 only for family reunion (exceptions for certain nationalities and for highly qualified persons).</td><td>B1 + KoS test</td><td>B1 + KoS test</td><td>Language courses either free of charge or well subsidised admission: compulsory or optional (depending on</td></tr></tbody></table>

Tableau 1: Exigences linguistiques dans différents pays d'Europe

Les organismes qui organisent les tests sont montés en puissance dans différents pays (dans le domaine anglophone le Cambridge English Learning Assessment, en France France Education International) et ils proposent des offres sans cesse plus nombreuses et diversifiées pour toucher tous les types d'apprenants, quelles que soient les tranches d'âge ou le type de langue enseignée/apprise (générale ou à des fins professionnelles). Les institutions qui travaillent à l'accréditation de ces évaluations, dans le sens d'une plus grande standardisation, jouent également un rôle croissant comme, dans le domaine européen, l'Association of Language Testers in Europe (ALTE).

C'est dans ce contexte qu'une demande a été adressée par le Canton de Vaud à l'Ecole de Français Langue étrangère (EFLE) de l'Université de Lausanne (UNIL), à laquelle Anne-Christel Zeiter et moi-même avons répondu. Il s'agissait d'harmoniser les pratiques d'évaluation des compétences en langue française des organismes prestataires de formations linguistiques dans le Canton de Vaud. A l'origine de cette demande, le constat fait par les autorités cantonales et partagé par les prestataires et les différents acteurs en lien avec les
publics migrants que les attestations ou certifications de "niveau de langue" n'offrent pas de
garantie d'utiliser des référents communs. Même si en apparence, tout le monde parle le
même langage fait d'une lettre A, B, C, suivie d'un chiffre 1 ou 2, les niveaux attestés ou
certifiés dans une institution soulèvent des interrogations dans une autre, et les personnes
évaluées ne s'y retrouvent pas.

La présente communication expose les principes et les démarches qui ont conduit à la
construction d'un nouvel ensemble d'outils destiné, au-delà de la création d'une grille de
descripteurs en vue de l'évaluation, à la création d'une culture commune de l'évaluation en
langue chez toutes les parties prenantes. Elle montre comment la construction s'est appuyée
sur le CECR pour en contextualiser la philosophie générale tout en arrivant à un degré de
précision suffisant pour que de petites institutions puissent, à partir de cette Grille, créer leur
propres outils d'évaluation, utilisables à différentes fins (diagnostique en vue d'un
enclassement dans des cours, formative en cours de formation, sommative en fin de
formation). La conception générale de la Grille est présentée, avec des exemples de partie,
l'intégralité ne pouvant pas encore être exposée pour des raisons de propriété intellectuelle
(ce sera possible au moment du Congrès, en juillet 2022). On mettra en exergue le fait qu'elle
articule en une seule grille des éléments éclatés en plusieurs grilles non articulées dans le
CECR. Autre caractéristique importante : le fait de proposer une liste de descripteurs
n'évaluant chaque fois qu'une seule dimension de la compétence et correspondant à des
observables linguistiques ou communicationnels. La communication montre enfin l'intérêt
de ce type d'outil, quand il est accompagné de documents pour sa mise en œuvre et très
articulé sur l'évaluation de compétences linguistiques et communicationnelles précises, pour
des organismes de petite taille qui n'ont pas les importants moyens des grandes institutions
certificatives mais qui doivent mettre en place des évaluations pour les publics de migrants
qu'elles accueillent, à différents moments de leur parcours de formation linguistique.

# 1 Elaboration d'une Grille de descripteurs en vue de l'évaluation

La recherche-action a été menée avec un groupe de sept représentants d'institutions de formation en FLE accueillant principalement des publics migrants. Le groupe a été constitué par un Comité de pilotage institutionnel<sup>i</sup> à l'origine de la demande. Nous avons, Anne-Christel Zeiter (EFLE, UNIL) et moi-même, animé une série d'ateliers qui ont abouti à la conception d'une grille de descripteurs qui pourra être utilisée, entièrement ou partiellement, par les institutions membres du groupe mais aussi, plus largement, par tous les acteurs de la formation linguistique du Canton.

Le travail est parti d'une analyse de leurs propres pratiques d'évaluation, en lien avec une
analyse des descripteurs du Cadre. Il s'est agi de mettre en évidence :

- les dimensions de la “langue” qui dans les documents des partenaires était
effectivement l’objet d’une évaluation, et celles qui ne l’étaient pas ;

- les types d'évaluation qui étaient mis en œuvre, de l'entretien
socioprofessionnel interactif à des tests classiques ;

- de définir les objectifs d'un nouvel outil.

Sur ce dernier plan, un consensus s'est très vite dégagé. La grille de descripteurs à
produire devrait être :

- commune à toutes les institutions ;

- adaptable par chacune pour réaliser des évaluations prenant en compte les
besoins des apprenants ;

- constituée de descripteurs précis et univoques ;

- articulable sur les niveaux du CECR communément admis comme langage
commun, même si les référents de ces signes linguistiques que son A1, A2, etc. sont
loin d'être clairs et précis.
C'est en partant de ce dernier point, avec une analyse des descripteurs du CECR, que nous avons initié le travail pour définir, par analogie mais aussi par contraste, ce que seraient nos propres descripteurs.

Le CECR (CECR : 5) invite explicitement ses utilisateurs à s'approprier ses propres échelles et descripteurs.

« En qualité d'usagers, vous êtes invités à utiliser cette batterie d'échelles et leurs descripteurs de manière critique. Tout rapport d'expérience communiqué à la Section des langues vivantes du Conseil de l'Europe sera le bienvenu. »

“Vous pouvez, bien évidemment, utiliser le Cadre de référence à votre guise, comme tout autre publication. En fait, nous espérons qu'il se trouvera des lecteurs pour s'engager à cet égard sur des voies que nous n'avons pas explorées.”

Le *Volume Compagnon* de 2018 (VC : 42) rappelle que ses échelles de descripteurs « sont donc des outils de référence. Elles n'ont pas été conçues pour être utilisées comme des outils d'évaluation même si elles peuvent constituer une ressource pour l'élaboration de tels outils, comme, par exemple, des listes de contrôle pour un niveau ou une grille pour plusieurs catégories à différents niveaux”. C'est à ce programme que nous nous sommes attelés.

Le CECR (CECR : 34) reconnait que son travail reste à compléter :

« Chaque niveau n'est pas décrit sur toutes les échelles. On peut difficilement tirer des conséquences de l'absence d'un domaine à un niveau donné. (...) Si les utilisateurs du Cadre de référence souhaitent exploiter la banque de descripteurs, il leur faudra se faire une opinion sur cette question de lacunes dans les descripteurs proposés. Il peut arriver que des lacunes soient comblées par une exploration plus complète du domaine en question et/ou en introduisant du matériel provenant du système de l'utilisateur ».

En ce qui concerne les échelles de descripteurs proposées, les utilisateurs sont en présence de deux types.

D'une part, les échelles les plus générales, celles qui définissent les niveaux :

<table><caption>Tableau 1 - Niveaux communs de compétences – Échelle globale</caption><tr><td rowspan="2">UTILISATEUR INDÉPENDANT</td><td>B2</td><td>Peut comprendre le contenu essentiel de sujets concrets ou abstraits dans un texte complexe, y compris une discussion technique dans sa spécialité. Peut communiquer avec un degré de spontanéité et d'aisance tel qu'une conversation avec un locuteur natif ne comportant de tension ni pour l'un ni pour l'autre. Peut s'exprimer de façon claire et détaillée sur une grande gamme de sujets, émettre un avis sur un sujet d'actualité et exposer les avantages et les inconvénients de différentes possibilités.</td></tr><tr><td>B1</td><td>Peut comprendre les points essentiels quand un langage clair et standard est utilisé et s'il s'agit de choses familières dans le travail, à l'école, dans les loisirs, etc. Peut se débrouiller dans la plupart des situations rencontrées en voyage dans une région où la langue cible est parlée. Peut produire un discours simple et cohérent sur des sujets familiers et dans ses domaines d'intérêt. Peut raconter un événement, une expérience ou un rêve, décrire un espoir ou un but et exposer brièvement des raisons ou explications pour un projet ou une idée.</td></tr><tr><td rowspan="2">UTILISATEUR ÉLÉMENTAIRE</td><td>A2</td><td>Peut comprendre des phrases isolées et des expressions fréquemment utilisées en relation avec des domaines immédiats de priorité (par exemple, informations personnelles et familiales simples, achats, environnement proche, travail). Peut communiquer lors de tâches simples et habituelles ne demandant qu'un échange d'informations simple et direct sur des sujets familiers et habituels. Peut décrire avec des moyens simples sa formation, son environnement immédiat et évoquer des sujets qui correspondent à des besoins immédiats.</td></tr><tr><td>A1</td><td>Peut comprendre et utiliser des expressions familières et quotidiennes ainsi que des énoncés très simples qui visent à satisfaire des besoins concrets. Peut se présenter ou présenter quelqu'un et poser à une personne des questions la concernant – par exemple, sur son lieu d'habitation, ses relations, ce qui lui appartient, etc. – et peut répondre au même type de questions. Peut communiquer de façon simple si l'interlocuteur parle lentement et distinctement et se montre coopératif.</td></tr></table>

Il est évident que ces échelles ne sont pas destinées à orienter l'évaluation, ce n'est pas leur but et ce n'est pas en ce sens qu'elles nous intéressent, mais en ce qu'on peut y repérer, entrelacées, les trois dimensions constitutives de ce que représente pour nous la “langue” :

- une dimension **linguistique**, celle du système (lexique : “expressions familières”; syntaxe : “énoncés très simples”)
- une dimension **pragmatique**, celles des agirs sociolangagiers : "satisfaire des besoins concrets" ; "se présenter, présenter quelqu'un", "poser à une personne des questions la concernant"

- une dimension **communicationnelle** : "un interlocuteur coopératif", "lors de tâches familières", "une conversation avec un locuteur natif"

En dehors de ces échelles générales, le CECR fournit un très grand nombre d'échelles de descripteurs. Le *Manuel pour l'élaboration et la passation de tests de langue*<sup>iii</sup> (2011 : 13-14) montre la logique de production de ces échelles, qui sont censées s'organiser autour des deux dimensions suivantes : échelles sur les compétences de l'utilisateur apprenant (tableau 1) / échelles sur l'utilisation de la langue (tableau 2).

<figure><img src="image_1.png" /><figcaption>Figure 1. Vue partielle du chapitre 5 du CECR : Les compétences de l'utilisateur/apprenant</figcaption></figure>

<figure><img src="image_2.png" /><figcaption>Figure 2. Vue partielle du chapitre 4 du CECR : L'utilisation de la langue et l'apprenant/utilisateur</figcaption></figure>

Au total, ce sont 48 échelles de descripteurs particulières, rassemblées dans un document synthétique<sup>iv</sup>. Ce sont d'abord des descripteurs liés aux activités communicatives

- 5 échelles de descripteurs de compréhension générale de l'oral
- 4 échelles de compréhension générale de l'écrit

- 8 échelles d'interaction générale orale

- 2 échelles d'interaction générale écrite

- 4 échelles de production orale générale

- 2 échelles de production écrite générale

Puis des échelles de descripteurs liés aux stratégies de communications

- 1 échelle de réception

- 4 échelles d'interaction

- 3 échelles de production

Ensuite, 2 échelles descripteurs isolés pour "Travailler avec des textes".

Enfin, 13 échelles de compétence de communication langagière.

Il n'est pas nécessaire d'entrer dans le détail de ces échelles pour comprendre la difficulté, pour des institutions de formation à utiliser ces échelles de descripteurs pour composer leurs évaluations. Il leur faudra en effet commencer par choisir dans cette multitude et diversité d'échelles disponible.

Ensuite, il n'est pas sûr que les échelles produites à titre d'exemplification correspondent aux situations de communication ou aux stratégies que les institutions veulent évaluer. Il est possible qu'il leur faille en produire de nouvelles.

Enfin, ces échelles de descripteurs ne proposent pas d'articuler les compétences (les *Can do*) sur des observables précis, et notamment pas sur des observables de type linguistique.

On le voit aisément à la lecture des deux tableaux ci-dessous, extraits de la *Présentation structurée des échelles du CECR* (Conseil de l'Europe, 2001)

<table><thead><tr><th colspan="2">COMPRENDRE UNE INTERACTION ENTRE LOCUTEURS NATIFS</th></tr></thead><tbody><tr><td>C2</td><td>Comme C1</td></tr><tr><td>C1</td><td>Peut suivre facilement des échanges complexes entre des partenaires extérieurs dans une discussion de groupe et un débat, même sur des sujets abstraits, complexes et non familiers.</td></tr><tr><td>B2</td><td>Peut réellement suivre une conversation animée entre locuteurs natifs.<br>Peut saisir, avec un certain effort, une grande partie de ce qui se dit en sa présence, mais pourra avoir des difficultés à effectivement participer à une discussion avec plusieurs locuteurs natifs qui ne modifient en rien leur discours.</td></tr><tr><td>B1</td><td>Peut généralement suivre les points principaux d'une longue discussion se déroulant en sa présence, à condition que la langue soit standard et clairement articulée.</td></tr><tr><td>A2</td><td>Peut généralement identifier le sujet d'une discussion se déroulant en sa présence si l'échange est mené lentement et si l'on articule clairement.</td></tr><tr><td>A1</td><td>Pas de descripteur disponible</td></tr></tbody></table>
<table><thead><tr><th colspan="2">ESSAIS ET RAPPORTS</th></tr></thead><tbody><tr><td>C2</td><td>Peut produire des rapports, articles ou essais complexes et qui posent une problématique ou donner une appréciation critique sur le manuscrit d'une œuvre littéraire de manière limpide et fluide.<br>Peut proposer un plan logique adapté et efficace qui aide le lecteur à retrouver les points importants.</td></tr><tr><td>C1</td><td>Peut exposer par écrit, clairement et de manière bien structurée, un sujet complexe en soulignant les points marquants pertinents.<br>Peut exposer et prouver son point de vue assez longuement à l'aide d'arguments secondaires, de justifications et d'exemples pertinents.</td></tr><tr><td>B2</td><td>Peut écrire un essai ou un rapport qui développe une argumentation de façon méthodique en soulignant de manière appropriée les points importants et les détails pertinents qui viennent l'appuyer.<br>Peut évaluer des idées différentes ou des solutions à un problème.<br>Peut écrire un essai ou un rapport qui développe une argumentation en apportant des justifications pour ou contre un point de vue particulier et en expliquant les avantages ou les inconvénients de différentes options.<br>Peut synthétiser des informations et des arguments issus de sources diverses.</td></tr><tr><td>B1</td><td>Peut écrire de brefs essais simples sur des sujets d'intérêt général.<br>Peut résumer avec une certaine assurance une source d'informations factuelles sur des sujets familiers courants et non courants dans son domaine, en faire le rapport et donner son opinion.<br>Peut écrire des rapports très brefs de forme standard conventionnelle qui transmettent des informations factuelles courantes et justifient des actions.</td></tr><tr><td>A2</td><td>Pas de describeur disponible</td></tr><tr><td>A1</td><td>Pas de describeur disponible</td></tr></tbody></table>

Ce sont là deux tableaux, pris à titre illustratif, les autres étant tous construits sur le même modèle.

De quel ordre sont les difficultés à se servir de ces describeurs pour construire des évaluations ?

La première tient au caractère éclaté et non articulé de ces describeurs : ils sont très nombreux, pas tous appropriés aux situations évaluables, et totalement juxtaposés. Chacun évalue seulement un aspect particulier, une situation de communication ou une stratégie, mais ils ne donnent pas une image globale et les articuler pour cela est bien compliqué. Evaluer à partir de ces describeurs c'est prendre le risque de donner des images très partielles et/ou éclatées, au lieu d'une vision d'ensemble.

La deuxième est l'absence de comportement observable dans ces listes. On dit quel comportement les apprenants peuvent avoir... mais on ne précise pas à l'aide de quelles opérations linguistiques, textuelles ou discursives, ils pourront avoir ce comportement.

Or, c'est précisément ce genre d'observable, et notamment d'observable linguistique au sens large du terme, qu'il serait intéressant de voir indiqué car c'est sur ce type d'élément que l'on peut ensuite construire des évaluations, à même d'en vérifier la présence ou l'absence.

## 2 Comment les grilles de describeurs du CECR sont-elles utilisées pour évaluer les niveaux de langue des apprenants ?

L'examen des Échelles de describeurs du CECR a donc mis en évidence qu'elles sont :

- pour certaines, trop générales pour permettre d'évaluer des compétences ;

- pour d'autres, trop nombreuses et non articulées entre elles pour guider la conception d'évaluations ;
- dans tous les cas, non fondées sur des critères linguistiques précis, le mot “linguistique” étant ici pris dans son acceptation la plus large, linguistique de la phrase aussi bien que linguistique textuelle.

Le *Manuel pour l'élaboration et la passation de tests de langue* (Conseil de l'Europe, 2011) donne bien quelques marches à suivre pour concevoir des dispositifs de test mais tout en prévenant d'emblée (2011 : 15) du caractère limité des descripteurs et de leur utilité :

> “Le concepteur de tests de langues doit avoir une bonne compréhension des affirmations est capable de / peut. Elles sont :

> - Illustratives.

Elles ne sont donc pas :

- Exhaustives

- Prescriptives

- Une définition

- Un programme

- Une liste de contrôle”

Nous avons montré que, du point de vue linguistique notamment, ces descripteurs restent extrêmement vagues. La suite du texte (toujours p. 15) prévient les utilisateurs qu’un travail très important reste à faire pour passer des descripteurs aux tests :

> “Les descripteurs donnent des conseils aux éducateurs afin qu’ils puissent reconnaître les niveaux de compétence et en parler.

On peut considérer qu’ils sont une indication pour élaborer un test mais les adopter ne signifie en aucun cas que le travail de définition des niveaux pour ce test a été achevé.

Il appartient aux organismes certificateurs de décider quels descripteurs correspondent le mieux à leur contexte”.

On voit à la lecture de ce passage que le public visé par les documents du CECR est celui des “organismes certificateurs”. Il s’agit de grosses institutions nationales comme France Education international (anciennement CIEP), le Goethe Institut, l’Institut Cervantes ou le Cambridge Learning Assessment, et non d’associations qui, au quotidien, sont amenées à attester – à défaut de certifier - de niveaux de langues.

Pour les uns comme pour les autres, la tâche de constitution de tests risque de s’avérer longue et complexe, comme on peut le voir dans la suite du *Manuel* aux pages 27 à 33. Dans ces pages décrivant la procédure à suivre, on voit qu’avant de produire les items, il faut recruter et former des rédacteurs d’items, assurer la gestion de cette production, de préférence parmi les enseignants de langue. Ils peuvent avoir à rédiger soit toutes les épreuves soit une partie selon les besoins de l’organisme certificateur. Les items sont produits à partir d’une liste officielle des exigences, transmise par l’organisme certificateur. L’organisme certificateur doit mettre ensuite en place un dispositif permettant de collecter, stocker et traiter les items. Les items doivent être assez nombreux pour que les organismes certificateurs doivent pouvoir faire leur choix. Tous les items doivent être soumis à un traitement d’assurance qualité identique tel que la vérification et la passation d’un test pilote. Cette phase est suivie d’une révision des items et de l’assemblage du test.

Le détail des opérations, avec sept pages qui y sont consacrées, semble assez bien décrit pour pouvoir être suivi et permettre de conduire depuis les échelles de descripteurs jusqu’à des tests de langue. Mais quand on y regarde avec attention, on s’aperçoit que rien n’est dit de la toute première étape, celle qui consiste précisément à produire les items. On voit que
les rédacteurs recrutés reçoivent une liste des “exigences” : on ne sait de quoi il retourne exactement, rien n’étant précisé à ce propos. Selon le témoignage de personnes ayant rédigé des items pour les épreuves du DELF, il s’agit en fait de commandes passées pour produire des items en production écrite, en compréhension orale, etc, pour un niveau précisé. Les rédacteurs ne savent pas à quel descripteur précis va correspondre leur item. C’est l’organisme certificateur qui assure la cohérence et qui a composé une liste des descripteurs qu’il utilise pour évaluer les niveaux, à son propre usage mais sans la diffuser, pas même aux rédacteurs. On touche là aux limites de la diffusion d’une doctrine commune de l’évaluation quand elle arrive aux bornes du secret industriel, dans un contexte de concurrence commerciale. La parcellisation de la production des items, distribués à un grand nombre de concepteurs, ne permet à personne d’avoir la vue d’ensemble suffisante, hormis aux quelques personnes qui coordonnent la conception et l’assemblage du test. Le secret industriel porte en fait sur deux dimensions : les descripteurs précis réellement utilisés pour évaluer d’une part, les items produits d’autre part, gardés dans une banque d’items après avoir été testés, étalonnés, validés.

C'est en quelque sorte construire une illusion de faisabilité que de faire croire que toute institution peut, à partir des échelles de descripteurs trop nombreuses et floues, sans éléments linguistiques précis, construire aisément ses propres évaluations des niveaux de langue. Seules les institutions de taille importante, qui tiennent le marché de la certification, sont en mesure de le faire. Les autres, les petites institutions de formation, savent bien qu'elles doivent pourtant essayer de le faire pour satisfaire aux demandes institutionnelles, montrer leur action pour obtenir des subventions mais elles sont démunies, privées des échelles de descripteurs suffisamment opératoires pour servir de critères d'évaluation. Elles se trouvent ainsi prises dans une sorte de double contrainte, entre injonction tacite à utiliser ces outils mis à disposition et impossibilité pratique à le faire bien. Un sentiment que l'on retrouve également chez les enseignants de langue face au CECR (Djordjevic Léonard et Prieur, 2019).

C'est pour pallier ce manque qu'une grille de descripteurs répondant à une logique un peu différente a été élaborée dans le contexte du Canton de Vaud décrit plus haut.

## 3 La Grille de descripteurs en vue de l'évaluation : un outil pour la conception des évaluations et l'analyse des résultats

De l'analyse des pratiques d'évaluation des organismes de formation linguistique et de la lecture des échelles de descripteurs est apparue la nécessité d'un outil qui pourrait servir réellement de guide, à la fois pour la conception de situations d'évaluation (allant des tests classiques à des situations plus interactives de type entretien) et comme guide pour l'évaluation, une fois les éléments recueillis.

Une des qualités attendues était de passer d'une logique fragmentaire à une logique intégrative. La réponse collectivement trouvée a été de passer *d'une série d'échelles* sans aucun rapport entre elles, construites dans une logique énumérative sans fin (il y a autant d'échelles que de situations de communication ou de stratégies communicatives) à une *grille unique de descripteurs*.

La *Grille de descripteurs en vue de l'évaluation* a été conçue en trois volets, pour refléter une conception de la communication dans une langue qui est à la fois :
- une aptitude à utiliser de manière plus ou moins adéquate des normes communicationnelles. Un volet de la *Grille* est consacré au développement des compétences communicationnelles écrites, en compréhension et en production. Un deuxième volet de la *Grille* prend en compte les compétences communicationnelles orales, en compréhension et en interaction ;

- une aptitude à utiliser les éléments du système linguistique (morphologie grammaticale, lexique, conjugaison, phonétique) ; c'est le troisième volet de la *Grille*.

L'évaluation des compétences d'une personne doit aussi prendre en compte les agirs sociolangagiers dans laquelle elle est compétente : les sphères de communication dans laquelle elle peut agir et les types d'action langagière qu'elle peut y avoir avec plus ou moins d'aisance et d'efficacité. Cette dimension n'est pas évaluable en termes de descripteurs. Pour cette raison, elle n'est pas inscrite dans la *Grille* mais fait l'objet d'une annexe descriptive de ce qui est livré en termes de profil sociolangagier.

Chaque volet de la *Grille* (qui correspond à un onglet de feuille de calcul) est conçu selon la même logique :

- chaque ligne correspond à un descripteur unique ; chaque descripteur est décrit en quelques mots pour préciser ce qui est en jeu dans leur maîtrise. Les descripteurs relèvent d'éléments de la linguistique de la phrase, de la linguistique du texte ou de la linguistique de l'énonciation. Quand ils correspondent à des compétences communicatives, un grand soin a été apporté au fait qu'ils correspondaient à des comportements observables.

- en bout de chaque ligne figurent deux ou trois cases qui proposent des notes à attribuer en fonction de ce qui aura été observé, relevé. Les critères de notation sont précisés.

A défaut de pouvoir donner à ce moment de l'écriture de la communication l'intégralité de la *Grille*, voici un extrait que nous espérons suffisamment illustratif de l'ensemble :
<table><thead><tr><th colspan="4">Phrase complexe</th></tr></thead><tbody><tr><td>Comment la personne combine-t-elle des propositions pour exprimer des rapports entre les idées ? Inscrire une note sous chaque case à droite.</td><td>Utilisation de propositions coordonnées selon la présence, la fréquence et la correction. Entre 0 et 2</td><td>Utilisation de relatives avec qui et de subordonnées simples selon la présence, la fréquence et la correction. Entre 0 et 2</td><td>Utilisation de propositions relatives et/ou de subordonnées complexes (avec subjonctif) selon la présence, la fréquence et la correction. Entre 0 et 2</td></tr><tr><td>Nombre de points obtenus:</td><td></td><td></td><td>0</td></tr><tr><td>Total des points obtenus pour la partie "Grammaire"</td><td></td><td></td><td>0</td></tr><tr><th colspan="2">Notation par descripteur</th><th colspan="2">Points pour l'équivalence CECR</th></tr><tr><th colspan="4">1.3 Conjulgation</th></tr><tr><th colspan="4">Etendue des temps verbaux</th></tr><tr><td>On évalue le nombre des temps verbaux que la personne peut utiliser. Cela va d'une seule forme (infinitif ou forme la plus fréquente du verbe) dans toutes les phrases jusqu'à la totalité des temps du français.</td><td>Utilisation d'une seule forme verbale (infinitif ou forme la plus fréquente du verbe - une forme du présent, ou le participe passé), 0,5</td><td>Utilisation d'un temps permettant de parler du passé et du futur. 1 - 2</td><td>L'utilisation des autres temps: subjonctif, autres temps composés, conditionnel 4 - 5</td></tr><tr><td>Nombre de points obtenus:</td><td></td><td>Utilisation de plusieurs temps du passé 3</td><td></td></tr></tbody></table>

Attention: Il ne faut pas modifier les chiffres de cette colonne à la main!

Ces descripteurs sont utiles pour la conception des évaluations, tests ou entretiens.

Les institutions familiarisées avec les trois volets de la *Grille* peuvent prévoir des tests comprenant des items à même de vérifier ces observables. Plusieurs modalités d'évaluation sont possibles, des scenarios classiques de tests mais qui pourraient être créés en prenant en compte cette logique de descripteurs plus précis, à des entretiens interactifs, articulés sur le vécu et les besoins des personnes testées, avec lecture/écriture de documents en lien avec leur expérience. Si l'on choisit de procéder par entretien, on peut prévoir un canevas qui fera passer la personne par le plus grand nombre de descripteurs possible. Les personnes testées peuvent également avoir la connaissance des éléments précis qui servent à l'évaluation, ce qui est éthiquement important.

Ces descripteurs, tels que présentés dans la *Grille*, sont également utiles pour la notation chiffrée des productions et des comportements des personnes évaluées. La colonne de droite sert à reporter les points obtenus pour chaque descripteur. Ils sont totalisés par volet. Chacun des trois volets est noté sur 100, puis des seuils mathématiques (réunis dans un *Tableau des équivalences avec le CECR*) permettent de déterminer l'atteinte de niveaux :

- pour la dimension du système linguistique ;

- pour les compétences communicationnelles écrites ;

- pour les compétences communicationnelles orales ;

- pour l'ensemble.

## Conclusion

Nous ne pouvons, dans les limites de cette communication, détailler l'ensemble des utilisations possibles de cette Grille. On trouvera d'autres considérations dans Maurer et Zeiter (2022).
Il est important à ce stade de montrer que la *Grille* met en avant des dimensions linguistiques plus clairement articulées sur des niveaux et des profils de compétences qu'elles ne le sont dans le CECR, amalgamées avec des considérations pragmatiques ou situationnelles.

Cette communication montre comment on peut contribuer à rendre plus accessibles des démarches d'évaluation qui, tout en s'inspirant d'une logique de descripteurs qui est celle du CECR, restaient avec les outils mis à disposition en réalité hors de portée de la plupart des acteurs sociaux.

Références bibliographiques

Conseil de l'Europe (2001). *Présentation structurée des échelles du CECR.*

https://rm.coe.int/CoERMPublicCommonSearchServices/DisplayDCTMContent?documentId=0900001680492ff3

Conseil de l'Europe (2011). *Manuel pour l'élaboration et la passation de tests de langue*. https://rm.coe.int/1680667a2c

Division des Politiques éducatives, Service de l'éducation. (2018). *Cadre européen commun de référence pour les langues: apprendre, enseigner, évaluer*. Volume complémentaire avec de nouveaux descripteurs. Strasbourg: Conseil de l'Europe.

Djordjevic Leonard, K., Prieur, J.-M. (2019). Les professionnel(le)s de l'enseignement des langues face au CECR. *Revue TDFLE*, (actes n°1). https://doi.org/10.34745/numerev_1328

MacNamara, T. (2005). 21st Century Shibboleth: Language tests, identity and intergroup conflict. *Language Policy*, *4*, 351-370.

Maurer B., Zeiter, A.-C. (2022), "Que signifie "évaluer" les "niveaux de langue" ?", *Revue TDFLE*, n° 79.

Shohamy, E. (2009). Language tests for immigrants : Why language ? Why tests ? Why citizenship ? In G. Hogan-Brun, C. Mar-Molinero & P. Stevenson (Eds.), *Discourses on Language and Integration : Critical perspectives on language testing regimes in Europe*. Amsterdam; Philadelphia: John Benjamins.

Unité des Politiques linguistiques. (2001). *Cadre européen commun de référence pour les langues: apprendre, enseigner, évaluer*. Strasbourg: Conseil de l'Europe.

<footnote n="1">¹Extrait de *Language tests for access, integration and citizenship: An outline for policy makers*, p. 48 (https://www.alte.org/resources/Documents/LAMI%20Booklet%20EN.pdf). Pour avoir l'intégralité du tableau, consulter les pages 49-50.</footnote>

<footnote>ii Le Canton de Vaud, la Ville de Lausanne, le Bureau cantonal pour l'intégration des étrangers et la prévention du racisme (BCI) du canton de Vaud, l'Établissement vaudois d'accueil des migrants (EVAM), la Communauté d'intérêt pour la formation de base des adultes (CIFEA).</footnote>

<footnote>iii https://rm.coe.int/1680667a2c</footnote>

<footnote>iv Conseil de l'Europe (2001). *Présentation structurée des échelles du CECR.* https://rm.coe.int/CoERMPublicCommonSearchServices/DisplayDCTMContent?documentId=090001680492ff3</footnote>