# Adossement des épreuves d’expression orale et écrite du Test de connaissance du français sur les Niveaux de compétences linguistiques canadiens et correspondance avec les niveaux du Cadre européen commun de référence pour les langues

Vincent Folny

France Education international

## Résumé

En 2015, France Education international (FEI) a mené une étude afin de pouvoir adosser les productions écrites et orales du Test de connaissance du français (TCF) aux Niveaux de compétences linguistiques canadiens (NCLC) et d'établir une correspondance avec les niveaux du Cadre européen commun de référence pour les langues (CECRL). In fine, il s'agissait d'assurer aux candidats à l'immigration au Canada une bonne interprétation de leur niveau de compétence et de pouvoir expliquer les procédures mises en place pour l'interprétation des scores. Pour assurer l'adossement des épreuves d'expression écrites et orales du TCF aux niveaux NCLC, plusieurs procédures et études ont été mises en place : utilisation des niveaux CECRL attribués à une sélection de productions au cours des corrections du TCF, séminaire organisé avec des panélistes pour attribuer des niveaux NCLC à ces mêmes productions, analyses psychométriques pour le calibrage de la sélection de productions, évaluation du lien entre les niveaux attribués avec les deux échelles (NCLC et CECRL) afin de vérifier la convergence des résultats, analyses qualitatives des descripteurs NCLC et CECRL et mise en correspondance.

## Abstract

In 2015, France Education international (FEI) conducted a study in order to be able to align the written and oral productions of the Test de connaissance du français (TCF) with the NCLC and to establish a correspondence with the levels of the CEFR. Ultimately, it was a question of ensuring candidates for immigration to Canada a good interpretation of their skill level and of being able to explain the procedures put in place for the interpretation of scores. To ensure the alignment of the written and oral expression tests of the TCF at the NCLC levels, several procedures and studies have been put in place: use of the CEFR levels attributed to a selection of productions during the TCF corrections, a seminar organized with panellists to assign NCLC levels to these same productions, psychometric analyses for the calibration of the selection of productions, evaluation of the link between the levels assigned with the two scales (NCLC and CECRL) in order to check the convergence of results, qualitative analyses of descriptors NCLC and CEFR and mapping.
# Adossement des épreuves d'expression orale et écrite du Test de connaissance du français sur les Niveaux de compétences linguistiques canadiens et correspondance avec les niveaux du Cadre européen commun de référence pour les langues

## Contexte d'émergence de l'étude

Au début des années 2000, FEI, un établissement public sous la tutelle du ministère de l'Éducation nationale en France, a développé un test de français, le TCF évaluant la langue française en compréhensions orale et écrite et expressions orale et écrite sur les 6 niveaux du CECRL (Conseil de l'Europe, 2001). En 2009, une étude a permis d'établir rigoureusement l'adossement du test aux niveaux du CECRL. Une vingtaine de panélistes avait été réunie et la méthode des marque-pages utilisée (Cizek & Bunch, 2007). Afin d'assurer l'utilisation idoine du TCF dans le cadre de l'immigration canadienne, il était nécessaire d'adosser les résultats aux NCLC (Centre des niveaux de compétence linguistique canadiens, 2012). Si une première étude a été menée pour les épreuves de compréhension, le présent article fait état de la seconde étude menée pour les épreuves d'expressions écrite et orale. Deux milles quinze est l'année durant laquelle FEI a mené cette étude.

## Méthodologie

Pour assurer l'adossement des épreuves d'expression du TCF aux niveaux NCLC, plusieurs procédures et études ont été mises en place. Les experts de FEI ont procédé à une sélection de productions écrites et orales dont le niveau avait été évalué au cours des séances de corrections du TCF avec les niveaux du CECRL. Un séminaire a été organisé avec des panélistes pour attribuer des niveaux NCLC à ces mêmes productions. Des analyses psychométriques ont fait suite à ce calibrage de la sélection de productions afin d'obtenir des informations sur le niveau de fidélité des panélistes. Des analyses ont permis d'évaluer la force du lien entre les niveaux attribués indépendamment avec les deux référentiels (NCLC et CECRL) et de vérifier la convergence des résultats. Enfin, des analyses qualitatives des descripteurs NCLC et CECRL sont venus compléter l'alignement des productions avec les deux référentiels.

L'évaluation des épreuves d'expressions écrite et orale du TCF se faisant dans l'opérationnel à partir des niveaux du Cadre européen commun de compétence en langue (CECRL) (Conseil de l'Europe, 2009), il convenait de proposer une correspondance entre les échelles NCLC et CECRL. Pour l'expression écrite (TCF EE) et l'expression orale (TCF EO), il a été décidé de mettre en correspondance les scores exprimés sur une échelle de 20 points avec les niveaux NCLC. Le score exprimé sur une échelle de 20 points est la traduction en 20 catégories de la fréquence des niveaux CECRL obtenus pour chacune des 3 tâches TCF EO ou TCF EE à l'issue des doubles corrections (soit 6 observations par candidat). Ces catégories traduisent des niveaux CECRL clairement identifiés et des niveaux intermédiaires qui constituent un découpage plus fin de la compétence en langue que celui des 6 niveaux du CECRL. Cette distribution progressive des niveaux permet d'utiliser des performances qui ne sont pas toutes « typiques » des niveaux du CECRL et donne l'occasion de positionner les niveaux NCLC avec plus de précision et de pertinence. Cela permet encore d'éviter que les panélistes cherchent à établir en priorité une
correspondance entre les 6 niveaux du CECRL et les 12 niveaux NCLC alors que l'activité
qui leur était demandée consistait à évaluer le niveau de performance des candidats en
utilisant les descripteurs NCLC.

Sélection des productions orales et écrites évaluées avec les niveaux du CECRL

Pour le TCF EO, 21 productions orales ont été sélectionnées parmi 15573 productions ayant bénéficié d'une double correction indépendante (recueil de données du premier septembre deux mille quatorze au cind février deux mille quinze). Pour le TCF EE, 21 productions écrites ont été sélectionnées parmi 5795 productions ayant reçu une double correction indépendante (recueil de données du premier septembre deux mille quatorze au cind février deux mille quinze).

Les productions ont été sélectionnées selon les principes suivants :

1. Productions issues de passations réelles ;

2. Productions corrigées par les correcteurs les plus consensuels (taux d'accords exacts les plus élevés) ;

3. Productions présentant des profils de scores similaires entre le correcteur 1 et le correcteur 2 ;

4. Les 21 productions correspondent aux 21 catégories de scores attribuables pour le TCF (de 0 à 20).

Certaines productions sont clairement positionnées sur l'un des 6 niveaux du CECRL ; d'autres se situent à la frontière de deux niveaux adjacents (ex. : A1/A2). Les productions apparaissent telles qu'elles ont été collectées à l'issue des passations sans aucune modification. Les panélistes ignorent le niveau final déjà attribué aux candidats.

Cadre de référence utilisé pour adosser les productions du TCF aux niveaux NCLC

Les procédures utilisées pour adosser les productions du TCF aux NCLC et établir la correspondance avec les niveaux du CECRL sont pour l'essentiel empruntées aux méthodes référencées dans les ouvrages traitant de la définition des scores de césure et de l'étalonnage (Cizek & Bunch, 2007; Figueras et coll., 2009; Hambleton & Pitoniak, 2006; Zieky et coll., 2008). Ces mêmes ouvrages et l'article de Hambleton & Pitoniak ont servi à cerner les enjeux de l'adossement des examens aux référentiels de compétence et à repérer les points critiques à considérer du point de vue méthodologique. Le *Manuel pour relier les examens au CECRL* (Conseil de l'Europe, 2009) a été consulté pour la phase de familiarisation avec l'échelle NCLC et ses descripteurs. L'ouvrage de Figueras et coll. a été consulté pour la somme d'expériences significatives qu'il représente. L'ouvrage *Niveaux de compétence linguistique canadiens Français langue seconde pour adultes* (Centre des niveaux de compétence linguistique canadiens, 2012) a servi de référence pour l'appropriation des échelles et descripteurs NCLC durant toute la procédure d'adossement et de mise en correspondance. La méthodologie utilisée pour assurer l'alignement des productions du TCF sur les niveaux NCLC traduit les choix faits parmi les options théoriques proposées dans la littérature scientifique et professionnelle. L'auteur de cet
article a préféré alléger la lecture en centrant l'explicitation des choix théoriques dans la méthodologie.

## Panélistes pour le TCF EE et TCF EO

Douze panélistes ont été sélectionnés parmi les experts du département Évaluation et Certifications (DEC) à FEI. En moyenne, les panélistes ont 42 ans. Plus des 2/3 sont des femmes. Ils ont en moyenne 11 ans d'ancienneté dans le domaine du français comme langue étrangère / seconde. Un tiers des panélistes a déjà participé à des procédures de définition des scores de césure. Ils sont titulaires d'un diplôme de niveau master 2 en didactique des langues ou bien en sciences du langage. Tous utilisent quotidiennement des échelles du CECRL. Certains sont familiarisés à l'utilisation de plusieurs référentiels de compétence en langue.

## Familiarisation avec les niveaux NCLC, procédure suivie

Pour la familiarisation, la formation des panélistes et la procédure d'alignement (Tableau 1), les actions mises en place sont inspirées de celles qui sont recensées et décrites dans le « Manuel pour relier les examens de langues au CECRL » (Conseil de l'Europe, 2009) et par Hambleton & Pitoniak (2006).

<caption>**Tableau 1**</caption>

Actions de formations et procédure d'alignement retenue

<table><thead><tr><td>Action</td><td>Descriptif</td><td>Attendus</td></tr></thead><tbody><tr><td>Formation initiale (une journée)</td><td>Définition des scores de césure et méthodologie retenue<br>Appropriation des descripteurs NCLC</td><td>Montée en compétence des participants</td></tr><tr><td>Tour 1</td><td>Travail individuel : classement et attribution d'un niveau NCLC aux productions</td><td>Jugements indépendants</td></tr><tr><td>Tour 2</td><td>Analyses des résultats du tour 1 et discussions par paire de panélistes avant un nouveau classement et évaluation des productions</td><td>Confronter le jugement des panélistes pour stimuler le consensus.</td></tr><tr><td>Tour 3</td><td>Analyse des résultats du tour 2 et des discussions en grand groupe avant un ultime classement et une dernière évaluation des productions. Prise en compte possible de l'impact des résultats pour les candidats.</td><td>Favoriser un large consensus et prendre en considération un éventuel impact des résultats pour les candidats</td></tr></tbody></table>
## Analyses effectuées après chacun des tours et graphiques proposés aux panélistes

Pour les analyses (Tableau 2), les « meilleures pratiques » recensées dans la littérature scientifique pour le traitement de la fidélité inter et intracorrecteur ont été privilégiées (Linacre, 2013; Linacre & Wright, 1994; Stemler & Tsai, 2008).

<caption>**Tableau 2**</caption>

*Indices et valeurs retenus pour l'analyse de la fidélité inter et intrapanélistes*

<table><thead><tr><th>Type d'analyses</th><th>Indices</th><th>Valeurs visées</th></tr></thead><tbody><tr><td rowspan="2">Estimation du consensus</td><td>Accords exacts</td><td>&gt;70%</td></tr><tr><td>Kappa de Cohen</td><td>&gt;0,5</td></tr><tr><td rowspan="2">Indices de cohérence interne</td><td>Corrélation de Pearson/ W de kendall</td><td>&gt;0,7</td></tr><tr><td>Alpha de Cronbach</td><td>&gt;0,7</td></tr><tr><td rowspan="3">Estimation de la qualité de la mesure</td><td>Variance expliquée</td><td>&gt;70%</td></tr><tr><td>Indices d'adéquation des données au modèle (indices infit)</td><td>&gt;0,5<br/>&lt;1,5</td></tr></tbody></table>

À l'issue du premier tour, les accords exacts et adjacents (+ ou - 1 niveau NCLC) ont été calculés. Ces calculs d'accords exacts ont été établis à partir de la médiane du classement des productions et du niveau médian attribué par les 12 panélistes à chacune des 21 performances orales et écrites. Le W de Kendall a été utilisé ainsi qu'une analyse en composantes principales.

Après chaque tour, des représentations graphiques présentant la distribution des jugements, selon que les productions étaient classées ou évaluées avec les NCLC, ont été présentées aux panélistes (classement final des productions et niveaux attribués à chacune des productions par les 12 panélistes).

## Analyse des jugements des panélistes avec un modèle multifacette de Rasch

Depuis quelques années, il est d'usage d'analyser le jugement des panélistes pour vérifier leur cohérence et leur fidélité. En Europe, le *Manuel pour Relier les examens de langues au CECRL* (Conseil de l'Europe, 2009) propose d'entreprendre cette démarche en faisant appel à un modèle multifacette de Rasch. Ailleurs, de nombreux auteurs ou chercheurs invitent à entreprendre cette démarche pour évaluer la qualité des données (Engelhard, 2009, 2011, 2013 ; Engelhard & Gordon, 2000 ; Kaliski et coll., 2013 ; Kecker & Eckes, 2010 ; Lunz, 2000). Nous avons pris la décision d'analyser séparément les jugements des panélistes émis pour l'expression orale et écrite. Il s'agit de pouvoir utiliser l'estimation du niveau des productions après ajustement pour le niveau de sévérité / générosité des panélistes. Pour faire ces analyses, le logiciel FACETS a été utilisé dans sa version 3.71.3 (Linacre, 2013). Les ouvrages de Eckes (2011) et Engelhard (2013) ont servi de référence pour la méthodologie. Pour l'analyse, les recommandations de Linacre
(Linacre, 2013, p. 267) concernant l'utilisation des indices d'adéquation des données au modèle ont été retenues :

Interprétation des carrés moyens *infit / outfit* :

* >2 dégrade la qualité du système de mesure

* 1,5 – 2,0 inutile pour la construction de l'échelle de mesure, mais ne la dégrade pas

* 0,5-1,5 utile pour la construction de l'échelle de mesure

* <0,5 moins utile, mais ne dégrade pas la qualité de l'échelle de mesure. Peut produire de bons indices de fidélité qui induisent en erreur.

Toutefois, les données n'étant pas indépendantes (les panélistes ont interagi après le premier tour et les productions sont restées les mêmes durant toute la procédure), pour vérifier l'adéquation des données au modèle (indices *infit* et *outfit*), les valeurs au-delà de 1,5 ont été retenues comme indiquant un problème. Ces valeurs positives signalent plus de variance qu'attendu. Les valeurs inférieures à 0,5 ne sont pas analysées comme problématiques (Engelhard & Gordon, 2000). L'indépendance des données n'ayant pas été respectée, il est normal d'avoir des indices d'adéquation au modèle signalant moins de variance qu'attendu.

Pour l'interprétation des indices concernant la fidélité, il convient de faire attention à l'orientation de la facette (Eckes, 2011) :

* Pour la facette « candidat » (expression écrite ou orale), un indice de fidélité proche de 1 signale que le niveau de chaque candidat est clairement identifié et distingué de celui des autres candidats. Ici, c'est la sensibilité de l'instrument qu'on cherche à apprécier. Une valeur proche de zéro signifierait une absence de distinction de niveau entre les candidats ce qui est peu désirable.

* Pour les facettes « tour » et « panélistes », l'orientation est inverse. Une valeur proche de zéro signale qu'il n'y a pas de différence entre les tours et les panélistes. Dans l'idéal, il ne faudrait pas observer de changements de niveau drastiques entre les tours. Pour les panélistes, une fidélité proche de zéro signale que les panélistes sont interchangeables. Cette absence d'impact de la sévérité / générosité du panéliste sur les données est précisément ce qu'on cherche à observer.

## Mise en correspondance des descripteurs du CECRL et NCLC

En parallèle de la procédure de définition des scores de césure, une analyse qualitative des descripteurs des deux échelles a été menée. Quatre experts de FEI ont mis en correspondance les descripteurs du CECRL et des NCLC pour les productions orales et écrites. Les experts ont été invités à sélectionner les éléments clés dans les descripteurs du CECRL et des NCLC permettant d'établir une correspondance entre les deux échelles. Chacun des experts a consigné dans un tableur la correspondance proposée à partir de l'analyse des descripteurs ainsi que les extraits des descripteurs permettant de justifier cette correspondance. L'objectif consistait à orienter les experts vers une démarche argumentative. Il s'agissait aussi de garder des traces des décisions prises et de pouvoir juger de la pertinence de l'alignement. Pour le CECRL, les échelles générales de
productions écrites et orales ont été utilisées. Pour les NCLC, non seulement les descripteurs de l'écrit et de l'oral ont été utilisés, mais également les descripteurs de compétences clés et les exemples de tâches.

## Mécanisme de la validation définitive

À l'issue du troisième tour, les résultats ont été validés par une commission composée d'experts à FEI. Geisinger & McCormick (2010) expliquent qu'après une procédure de définition des scores de césure, il est normal de procéder à des ajustements de nature plus « politiques ». Nous pensons qu'une telle procédure est également nécessaire lorsqu'on adosse des examens à une échelle de niveau. Cette nature plus « politique » de l'ajustement est d'autant plus nécessaire qu'un autre test de français, le Test d'évaluation de français (TEF) est déjà adossé à cette échelle (Crendal, 2005; Demeuse et coll., 2004). Pour les candidats, pour les autorités canadiennes, il serait malaisé d'avoir deux tests avec des correspondances divergentes pour les deux échelles de niveau. Si tel devait être le cas, il conviendrait alors que les responsables de FEI en soient informés. Les prises de décision impliqueraient alors de forts impacts. Si des écarts « faibles » étaient constatés (ce qui est attendu), il s'agirait de trouver un équilibre entre :

* le besoin de respecter la validité scientifique de l'adossement,

* le besoin d'harmonisation de l'adossement des deux tests aux NCLC.

* Avant de commencer l'étude, FEI a fait le choix de prendre une décision définitive pour l'adossement :

* en fonction des résultats de l'évaluation des productions avec les descripteurs NCLC;

* à la lumière de la validité convergente entre les niveaux attribués par les correcteurs (CECRL) et les panélistes (NCLC);

* en considérant les résultats de l'étude qualitative de la mise en correspondance des descripteurs du CECRL et des NCLC;

* et enfin, en dernier lieu, en comparant les résultats avec ceux établis pour le TEF.

Il est attendu que les différences de classement et de niveaux les plus importantes sont liées à trois facteurs :

1. Le nombre de niveaux à distinguer sur les échelles (plus ce nombre est grand, moins le taux d'accords exacts attendus est élevé);

2. Le positionnement du niveau de la production sur l'échelle (ex.: une production à la frontière de deux niveaux est plus difficile à classer);

3. À la connaissance, maîtrise et compréhension des niveaux NCLC chez les panélistes.
# Résultats

## Analyses de la fidélité après chacun des 3 tours

Comme renseigné dans la littérature scientifique (Cizek & Bunch, 2007), le premier tour, est celui qui présente le nombre de jugements discordants le plus important.

### Tour 1

#### Expression orale tour 1

Les moyennes des accords exacts lorsque les productions sont classées par ordre croissant de compétence (Annexe A) ou évaluées à partir des niveaux NCLC sont respectivement de 45% (Annexe B) et 54% (Annexe C). L'examen attentif du classement des productions (Annexe C) et de leur évaluation à partir des niveaux NCLC (Annexe D) laisse apparaître que les plus grosses difficultés sont concentrées sur les productions au milieu de l'échelle de compétence.

L'examen des principaux indices statistiques (Tableau 3) montre, dès le premier tour, une bonne cohérence interne des jugements des panélistes. Les accords exacts ont une valeur de 54% ce qui n'est pas encore suffisant pour considérer le consensus entre les panélistes comme fort (la valeur attendue est de 70% [Stemler & Tsai, 2008]). En revanche, l'alpha de Cronbach et le pourcentage de variance expliquée ont des valeurs relativement élevées. Il est raisonnable de considérer que les jugements des panélistes sont homogènes (Stemler & Tsai, 2008). À titre de comparaison, la société Pearson rapporte un pourcentage d'accords adjacents à l'issue du premier tour d'un séminaire d'adossement des scores du PTE (Pearson test of English) aux niveaux du CECRL pour l'expression écrite de 86% (De Jong, 2013). Toutefois, il convient de préciser que les participants faisaient connaître leurs jugements en levant une petite ardoise alors que, pour le TCF, le vote était totalement secret et les observations indépendantes.

<caption>**Tableau 3**</caption>

Indices statistiques du taux de fidélité des panélistes (expression orale, tour 1)

<table><thead><tr><td>Consensus</td><td>Cohérence interne</td></tr></thead><tbody><tr><td>Accords exacts (médiane) : 54%</td><td>Alpha de Cronbach : 0,76</td></tr><tr><td>Accords exacts et adjacents : 91%</td><td>% variance expliquée (ACP) : 95,93%</td></tr><tr><td>W de Kendall : 0,96 (sig. À 0,01)</td><td></td></tr></tbody></table>

À l'issue du premier tour, pour l'expression orale, on peut considérer que les jugements sont cohérents, mais qu'ils manquent de précision. Les panélistes partagent une définition des niveaux de compétence NCLC uniforme, mais ils ont encore besoin de discuter de leur interprétation de l'échelle. L'examen des niveaux NCLC attribués aux productions orales (Annexe D) montre que certaines d'entre elles ont posé des difficultés aux panélistes. En effet, parfois, jusqu'à 6 niveaux différents ont été attribués à une même
production. Cela étant, lorsqu'on observe une telle étendue dans l'attribution des niveaux, la majorité de panélistes attribuent un niveau identique.

Concernant la fidélité des panélistes, dans l'ensemble (Annexe C, Annexe D), on peut déduire des analyses que les panélistes partagent une vision relativement homogène. Toutefois, on constate que l'étendue des niveaux d'accords exacts (Annexe A, Annexe B) varie entre 29% et 76%. Sans doute que les panélistes les moins « consensuels » bénéficieraient d'une discussion avec un de leurs homologues pour mieux interpréter les niveaux NCLC.

*Mutatis mutandis*, on peut comparer ces résultats avec ceux obtenus pour le TestDaf en Allemagne (Kecker & Eckes, 2010). Huit panélistes ont évalué 9 productions sur 9 niveaux. Alors que dans les phases d'entrainement le taux d'accords exacts était de 75%, il était de 32% au moment d'évaluer les productions ayant servi à définir les scores de césures (les jugements sont indépendants). On peut remarquer que les résultats obtenus lors du premier tour de l'expression orale (54% d'accords exacts) avec 12 panélistes, 21 productions et 12 niveaux sont conformes aux niveaux de fidélité renseignés dans la littérature scientifique et les retours d'expérience.

À l'issue du premier tour, chaque panéliste a été informé des taux moyens d'accords exacts et de leur propre taux d'accords exacts. Ceux qui avaient des jugements divergents ont ainsi pu prendre conscience de leur idiosyncrasie et ont pu les réviser avant le tour suivant. Ils ont eu ainsi l'occasion d'ajuster leur interprétation des niveaux NCLC.

## Expression écrite tour 1

Lorsque les productions sont classées par ordre croissant de compétence (Annexe E) ou évaluées à partir des niveaux NCLC (Annexe F), les accords exacts sont respectivement de 35% (Annexe G) et 49% (Annexe H). L'examen attentif du classement des productions (Annexe E) et de leur évaluation avec les niveaux NCLC (Annexe F) laisse apparaître que les difficultés significatives sont situées sur les productions en dehors des extrémités de l'échelle de compétence. L'examen des principaux indices statistiques (Tableau 4) montre que dès le premier tour le taux de consensus et le niveau de cohérence interne est substantiel.

<caption>**Tableau 4**</caption>

*Indices statistiques fidélité des panélistes (expression écrite, tour 1)*

<table><thead><tr><td>Consensus</td><td>Cohérence interne</td></tr></thead><tbody><tr><td>Accords exacts (médiane) : 49%</td><td>Alpha de Cronbach : 0,88</td></tr><tr><td>Accords exacts et adjacents : 83%</td><td>% de variance expliquée (ACP) : 92,54%</td></tr><tr><td>W de Kendall : 0,92 (sig. à 0,01)</td><td></td></tr></tbody></table>

Si on constate que les accords exacts ont une valeur de 49% (le consensus n'est pas encore suffisant), l'alpha de Cronbach et le pourcentage de variance expliquée ont des valeurs adéquates pour considérer le jugement des panélistes comme consistant (Stemler & Tsai, 2008).
À l'issue du premier tour pour l'expression écrite, on peut considérer que, dans l'ensemble, les jugements des panélistes sont cohérents, mais qu'ils manquent encore de précision. Autrement dit, les panélistes partagent la même définition des niveaux de compétence NCLC, mais ils doivent encore discuter de leur interprétation. L'examen des niveaux attribués aux productions (Annexe F) montre que certaines productions posent des difficultés d'appréciation. Parfois, 5 à 6 niveaux différents ont été attribués à une même production. Contrairement à l'expression orale, il est difficile de dégager une tendance majoritaire dans l'attribution des niveaux de certaines performances. Pour cette compétence, il est indispensable de disposer d'un deuxième tour pour pouvoir définir l'adossement.

Concernant la fidélité, les panélistes partagent une vision plus homogène de l'estimation du niveau des productions avec les descripteurs NCLC que de leur simple classement (Annexe G, Annexe H). Pour l'estimation du niveau des productions avec les niveaux NCLC, l'étendue des accords exacts (Annexe H) fluctue de 10% à 76%. Les panélistes les moins « consensuels » auront besoin de la discussion avec un autre panéliste pour confronter leur interprétation des niveaux NCLC.

Comme pour l'expression orale, il est possible de comparer ces résultats avec ceux du TestDaF (Kecker & Eckes, 2010). On peut alors remarquer que les résultats obtenus lors du premier tour de l'expression écrite (49% d'accords exacts) avec 12 panélistes, 21 productions et 12 niveaux sont conformes aux niveaux de fidélité renseignés dans les écrits scientifiques. À l'issue du premier tour, chaque panéliste a été informé des taux d'accords exacts. Certains panélistes ont ainsi pu prendre conscience de l'idiosyncrasie de leurs jugements.

## Tour 2

Pour le tour 2 (et également le tour 3), l'analyse a été faite à partir des accords exacts et adjacents. Les autres indices de fidélité ne sont pas utilisés, car ils supposent une indépendance des jugements. Le taux d'accords exacts et adjacents permettra d'apprécier la qualité générale du processus, le niveau de consensus et de porter un diagnostic sur le comportement des panélistes. Pour le deuxième tour, il a été rappelé aux panélistes qu'ils devaient toujours faire leurs choix en toute indépendance.

### Expression orale tour 2

À l'issue du deuxième tour, on observe une forte homogénéité entre le classement des productions orales aux tours 1 et 2 (Annexe C, Annexe I). Dix-neuf productions sur 21 sont classées dans le même ordre de difficulté. La corrélation entre le classement des productions au tour 1 et tour 2 à partir de l'utilisation des descripteurs NCLC a une valeur de 0,998. Le deuxième tour a été une occasion pour les panélistes d'affiner leurs jugements (Annexe D, Annexe J). Cet ajustement est observable dans les écarts types et erreurs standards de mesure associés à chacune des productions. L'erreur standard de mesure moyenne est passée de 0,34 à 0,13 au deuxième tour. Toujours au deuxième tour (Annexe J), les différences d'appréciation pour chacune des productions ne dépassent pas une étendue de 3 niveaux. Les niveaux de 6 productions sur 21 font l'unanimité (100% d'accords). Le niveau moyen des productions est stable puisqu'il est de 6,80 au tour 1 et de
6,79 au tour 2. L'écart type associé à cette moyenne au tour 1 est de 3,6 et de 3,7 au tour 2. Les ajustements effectués à l'issue du premier tour ont permis aux panélistes d'être plus précis sans modifier radicalement les résultats.

Concernant la fidélité des panélistes, on constate une augmentation significative des accords exacts et adjacents (Annexe K, Annexe L), ce, aussi bien pour le classement des productions que pour l'estimation de leur niveau NCLC. Alors que la moyenne des accords exacts des productions évaluées avec les NCLC était de 54% au premier tour (Annexe A), elle est de 86% au deuxième tour (Annexe L). Dès le deuxième tour, le taux d'accord est supérieur à celui requis pour valider un niveau de fidélité adéquat (Stemler & Tsai, 2008). Dès le deuxième tour, un consensus s'est formé quant aux « niveaux NCLC » des productions.

## Expression écrite tour 2

Après le tour 2, on observe une bonne homogénéité entre le classement des productions écrites du tour 1 et 2 (Annexe E, Annexe M). 11 productions occupent un rang identique, 7 occupent un rang adjacent, 2 deux rangs en moins et 1 trois rangs en moins. Lorsque les descripteurs NCLC sont utilisés, la corrélation entre le classement des productions au tour 1 et tour 2 a une valeur de 0,991. Comme pour l'oral, le deuxième tour a constitué une occasion pour les panélistes d'affiner leurs jugements portant sur le « niveaux NCLC » des productions (Annexe F et Annexe N). Cet ajustement est observable dans les écarts types et erreurs standards de mesure associés à chacune des productions évaluées avec les descripteurs NCLC. Alors que l'écart type moyen des 21 productions est de 1 au tour 1, il est de 0,44 au tour 2. L'erreur standard de mesure moyenne est passée de 0,30 à 0,13. Le niveau moyen des productions est relativement stable puisqu'il est de 7,1 au tour 1 et de 7,4 au tour 2. L'écart type associé à cette moyenne au tour 1 est de 2,9 aux tours 1 et 2. Enfin, l'erreur standard de mesure qui est de 0,65 au tour 1 a une valeur de 0,66 au tour 2. Les ajustements effectués après le premier tour ont permis aux panélistes d'être plus précis sans avoir à modifier radicalement les jugements portés au premier tour.

Concernant la fidélité des panélistes, on constate une augmentation significative des accords exacts et adjacents (Annexe O, Annexe P) pour le classement des productions ou leur positionnement effectué avec les descripteurs NCLC. Alors que les accords exacts sont de 49% au premier tour (Annexe H), ils sont de 77% au deuxième tour (Annexe P). Dès le deuxième tour, le taux d'accord est supérieur à celui requis pour valider un niveau de fidélité suffisant des panélistes (Stemler & Tsai, 2008).

## Tour 3

Après le deuxième tour, les panélistes ont été réunis pour une présentation des résultats. Ils ont été invités à réexaminer leurs jugements les moins consensuels.

## Expression orale tour 3

Après le troisième tour, on observe une homogénéité parfaite entre le classement des productions orales aux tours 2 et 3 (Annexe I et Annexe Q). Pour les panélistes, le troisième tour a essentiellement été une occasion d'affiner les niveaux NCLC attribués aux
productions (Annexe J, Annexe R). Cet ajustement est observable dans les écarts types et erreurs standards de mesure associés à chacune des productions. L’erreur standard de mesure est ainsi passée de 0,13 à 0,06 au tour 3. Au troisième tour (Annexe R), on note que les différences d’appréciation pour chacune des productions ne dépassent pas 1 niveau et que les niveaux de 13 productions sont unanimement reconnus. Le niveau moyen des productions a légèrement augmenté puisqu’il était de 6,79 au tour 2 et qu’il est de 6,85 au tour 3. L’écart type associé à cette moyenne aux tours 2 et 3 est de 3,7. Pour l’oral, les trois tours n’ont eu aucun impact significatif sur l’estimation du niveau moyen des 21 productions orales. Les ajustements qui ont eu lieu à l’issue du troisième tour ont permis aux panélistes d’être plus précis sans modifier radicalement les résultats issus du premier et deuxième tour.

À l’issue du troisième tour, le consensus entre les panélistes est fort (Annexe S, Annexe T). Les accords exacts pour le classement des productions et l’estimation de leurs niveaux NCLC ont une valeur de 89% et 91%. Les accords exacts et adjacents sont de 99% et de 100%. De nombreux panélistes ont un taux d’accords exacts ou exacts et adjacents de 100%.

## Expression écrite tour 3

Après le troisième tour, on observe une forte homogénéité entre le classement des productions écrites aux tours 2 et 3 (Annexe L, Annexe U). La corrélation entre le positionnement des productions (niveaux NCLC) au tour 2 et 3 est de 0,998. À l’instar de l’expression orale, le troisième tour a permis aux panélistes d’affiner l’attribution des niveaux NCLC aux productions (Annexe N et Annexe V). Cet ajustement est observable dans les écarts types et les erreurs standards de mesure associés à chacune des productions évaluées avec les descripteurs NCLC. Alors que l’écart type moyen est de 0,44 au tour 2, il est de 0,14 au tour 3. L’erreur standard de mesure moyenne est passée de à 0,13 au tour 2 à 0,04 au tour 3. Au troisième tour (Annexe V), on note que les différences d’appréciation pour chacune des productions ne dépassent pas un niveau. Les niveaux de 13 productions sur 21 sont unanimement reconnus (100% d’accords exacts). Le niveau moyen des productions est stabilisé à 7,4 au tour 2 et au tour 3. L’écart type associé à cette moyenne au tour 2 est de 2,95 et de 2,97 au tour 3. Enfin, l’erreur standard de mesure a conservé la même valeur à 0,66. Pour l’écrit comme pour l’oral, les trois tours n’ont pas eu d’impact sur l’estimation du niveau moyen des 21 productions.

Les ajustements à l’issue du troisième tour ont permis aux panélistes d’être plus précis sans modifier radicalement les résultats issus du premier et deuxième tour. À l’issue du troisième tour, le consensus entre les panélistes est fort (Annexe W et Annexe X). En effet, les accords exacts pour le classement des productions en fonction de leur niveau et le classement des productions en utilisant les descripteurs NCLC ont respectivement une valeur de 82% et 92%. Les accords adjacents sont de 98% et 100%.

## Expression orale : analyse du jugement des panélistes avec un modèle multifacette de Rasch

Pour l’expression orale (Annexe A), deux panélistes (8 et 9) ont dû être retirés de l’échantillon leurs indices d’adéquation des données au modèle (*infit et outfit*) ayant des
valeurs égales ou supérieures à 1,5. Après retrait de ces deux panélistes, une augmentation de la qualité des résultats est observable. Le taux de variance unique expliquée est passé de 95% à 98%. Les deux panélistes 5 et 1 présentent des indices de l'infit à la limite inférieure (<0,5) (Tableau 3). Il a décidé de les garder dans l'échantillon, car leur présence ne dégrade pas la qualité de la mesure. À l'issue du calibrage, pour les panélistes, la valeur moyenne de l'infit est de 0,81 et pour l'outfit de 0,89. Ces valeurs sont satisfaisantes.
<caption>Tableau 5</caption>

Adéquation des données au modèle pour les panélistes (calibrage final expression orale)

<table><thead><tr><th>Panéliste</th><th>Score total</th><th>N observations</th><th>Mesure moyenne</th><th>Mesure ajustée</th><th>Mesure en logit</th><th>S.E.</th><th>Infit Carrés moyens</th><th>Infit standardisé</th><th>Outfit Carrés moyens</th><th>Outfit standardisé</th></tr></thead><tbody><tr><td>2</td><td>414</td><td>63</td><td>6,57</td><td>6,12</td><td>0,9</td><td>0,23</td><td>1,45</td><td>2,07</td><td>1,36</td><td>1,1</td></tr><tr><td>10</td><td>437</td><td>63</td><td>6,94</td><td>6,61</td><td>-0,34</td><td>0,24</td><td>1,44</td><td>1,92</td><td>1,18</td><td>0,65</td></tr><tr><td>11</td><td>440</td><td>63</td><td>6,98</td><td>6,69</td><td>-0,5</td><td>0,23</td><td>0,85</td><td>-0,67</td><td>0,7</td><td>-0,87</td></tr><tr><td>3</td><td>432</td><td>63</td><td>6,86</td><td>6,47</td><td>-0,06</td><td>0,23</td><td>0,75</td><td>-1,25</td><td>1,13</td><td>0,49</td></tr><tr><td>4</td><td>442</td><td>63</td><td>7,02</td><td>6,75</td><td>-0,61</td><td>0,23</td><td>0,75</td><td>-1,24</td><td>0,74</td><td>-0,69</td></tr><tr><td>7</td><td>426</td><td>63</td><td>6,76</td><td>6,34</td><td>0,27</td><td>0,23</td><td>0,7</td><td>-1,51</td><td>0,59</td><td>-1,43</td></tr><tr><td>6</td><td>430</td><td>63</td><td>6,83</td><td>6,43</td><td>0,05</td><td>0,23</td><td>0,66</td><td>-1,75</td><td>0,56</td><td>-1,66</td></tr><tr><td>12</td><td>431</td><td>63</td><td>6,84</td><td>6,45</td><td>-0,01</td><td>0,23</td><td>0,55</td><td>-2,47</td><td>1</td><td>0,11</td></tr><tr><td>5</td><td>419</td><td>63</td><td>6,65</td><td>6,2</td><td>0,64</td><td>0,23</td><td>0,48</td><td>-3,1</td><td>0,42</td><td>-2,27</td></tr><tr><td>1</td><td>437</td><td>63</td><td>6,94</td><td>6,61</td><td>-0,34</td><td>0,24</td><td>0,47</td><td>-3,1</td><td>1,19</td><td>0,69</td></tr></tbody></table>
Pour l'expression orale, le « niveau » moyen de chacun des 3 tours est strictement identique (indice de fidélité à 0) (Annexe Y). L'indice de séparation « strata » (qui permet de savoir combien de groupes statistiquement différents sont détectés) indiqué par le logiciel FACETS a une valeur de 0,33. Les 21 candidats ont des niveaux de compétences clairement différents (indice strata =29,62 ; fidélité =1). Pour ce qui est des panélistes, leur niveau de sévérité/ générosité est fortement semblable (indice strata = 2,63). Toutefois, entre panélistes, il existe des différences d'appréciation notables. L'indice de fidélité a une valeur de 0,75. Si les panélistes ne sont pas « interchangeables », leur niveau de cohérence interne est important. En effet, on ne peut scinder le groupe de panélistes qu'en trois groupes de niveau de sévérité différents. Par ailleurs, comme en atteste la carte des tours, candidats, panélistes et niveaux (Annexe Y), la différence de sévérité n'est pas importante entre les panélistes. Pour avoir une idée exacte du niveau de précision des panélistes, l'étendue entre le panéliste le plus sévère et le plus généreux est de 1,51 *logit*. Cette étendue représente uniquement 3,7% de l'étendue totale de l'échelle de mesure (Annexe Y).

L'examen des seuils et catégories des « niveaux NCLC », proposé par FACETS, nous apprend que pour l'oral, les niveaux NCLC sont significativement différents les uns des autres (Tableau 6). Les seuils (endroits sur l'échelle où se produit un changement de niveau) sont correctement ordonnés (cf. *Expectation measure at category* / *Rasch-Thurstone Thresholds*).

## Tableau 6

### Fonctionnement des NCLC pour les 21 productions d'expression orale

<table><thead><tr><th colspan="2">DATA</th><th colspan="3">QUALITY CONTROL |RASCH-ANDRICH|</th><th>EXPECTATION</th><th>MOST</th><th>RASCH-</th><th>Cat|Response</th></tr><tr><th>Category</th><th>Counts</th><th>Cum.</th><th>Avge</th><th>Exp. OUTFIT</th><th>Thresholds</th><th>Measure at</th><th>PROBABLE</th><th>THURSTONE|PEAK|Category</th></tr><tr><th>Score</th><th>Total</th><th>Used</th><th>%</th><th>%</th><th>Meas</th><th>MnSq</th><th>Measure</th><th>S.E.|Category</th><th>-0.5</th><th>from</th><th>Thresholds|Prob</th><th>Name</th></tr></thead><tbody><tr><td>0</td><td>29</td><td>29</td><td>5%</td><td>5%|-21.99</td><td>-21.93</td><td>.3</td><td></td><td>(-19.59)</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>1</td><td>27</td><td>27</td><td>4%</td><td>9%|-13.73</td><td>-13.69</td><td>1.0</td><td>-18.53</td><td>.92</td><td>-15.44</td><td>-18.51</td><td>-18.53</td><td>-18.53</td><td>91%</td><td>NCLC 1</td></tr><tr><td>2</td><td>35</td><td>35</td><td>6%</td><td>14%|-10.80</td><td>-10.77</td><td>.8</td><td>-12.54</td><td>.35</td><td>-10.94</td><td>-12.61</td><td>-12.54</td><td>-12.57</td><td>71%</td><td>NCLC 2</td></tr><tr><td>3</td><td>33</td><td>33</td><td>5%</td><td>20%|-8.23</td><td>-8.02</td><td>.9</td><td>-9.34</td><td>.31</td><td>-8.27</td><td>-9.47</td><td>-9.34</td><td>-9.40</td><td>59%</td><td>NCLC 3</td></tr><tr><td>4</td><td>58</td><td>58</td><td>9%</td><td>29%|-5.50</td><td>-5.42</td><td>.6</td><td>-7.24</td><td>.28</td><td>-5.12</td><td>-7.02</td><td>-7.24</td><td>-7.15</td><td>80%</td><td>NCLC 4</td></tr><tr><td>5</td><td>53</td><td>53</td><td>8%</td><td>37%|-1.08</td><td>-1.00</td><td>.6</td><td>-3.08</td><td>.33</td><td>-1.72</td><td>-3.18</td><td>-3.08</td><td>-3.13</td><td>66%</td><td>NCLC 5</td></tr><tr><td>6</td><td>77</td><td>77</td><td>12%</td><td>50%| 1.09</td><td>.94</td><td>.8</td><td>-0.39</td><td>.21</td><td>1.32</td><td>-0.29</td><td>-0.39</td><td>-0.35</td><td>74%</td><td>NCLC 6</td></tr><tr><td>7</td><td>29</td><td>29</td><td>5%</td><td>54%| 3.44</td><td>3.55</td><td>.8</td><td>3.13</td><td>.27</td><td>3.69</td><td>2.74</td><td>3.13</td><td>2.92</td><td>46%</td><td>NCLC 7</td></tr><tr><td>8</td><td>52</td><td>52</td><td>8%</td><td>62%| 5.81</td><td>5.93</td><td>.7</td><td>4.28</td><td>.28</td><td>5.61</td><td>4.56</td><td>4.28</td><td>4.43</td><td>63%</td><td>NCLC 8</td></tr><tr><td>9</td><td>56</td><td>56</td><td>9%</td><td>71%| 8.17</td><td>7.96</td><td>1.0</td><td>6.82</td><td>.23</td><td>8.06</td><td>6.82</td><td>6.82</td><td>6.81</td><td>63%</td><td>NCLC 9</td></tr><tr><td>10</td><td>45</td><td>45</td><td>7%</td><td>78%| 10.30</td><td>10.23</td><td>.6</td><td>9.31</td><td>.24</td><td>10.38</td><td>9.25</td><td>9.31</td><td>9.27</td><td>58%</td><td>NCLC 10</td></tr><tr><td>11</td><td>52</td><td>52</td><td>8%</td><td>87%| 13.29</td><td>13.34</td><td>1.4</td><td>11.41</td><td>.26</td><td>13.75</td><td>11.63</td><td>11.41</td><td>11.49</td><td>84%</td><td>NCLC 11</td></tr><tr><td>12</td><td>84</td><td>84</td><td>13%</td><td>100%| 18.94</td><td>18.92</td><td>.9</td><td>16.16</td><td>.34| (17.24)</td><td>16.17</td><td>16.16</td><td>16.16</td><td>16.16</td><td>100%</td><td>NCLC 12</td></tr></tbody><tfoot><tr><td colspan="14">+---------------------------------------------------------------(Mean)---------(Modal)--(Median)----------------+</td></tr></tfoot></table>
## Expression écrite : analyse du jugement des panélistes avec un modèle multifacette de Rasch

Pour l'expression écrite (Annexe Z), un seul panéliste a un indice *outfit* (carrés moyens) supérieur à 1,77 (panéliste 3). Ce panéliste a été retiré de l'échantillon, mais, après retrait, nous n'avons observé aucune amélioration notable (la variance unique explique toujours 95,5% de la variance totale).

Le « niveau » de chacun des tours n'est pas identique (indice de fidélité d'une valeur de 0,92). L'indice « strata » à une valeur de 4,71. Alors qu'au premier tour le niveau moyen des productions était de 7,07, au deuxième tour, il est de 7,37 et 7,39 au dernier tour. Si la différence de niveau entre les tours est significative, en revanche, ces écarts ne sont pas importants (écart maximal de 0,39 soit moins de la moitié d'un niveau NCLC). L'ajustement a eu lieu uniquement après le premier tour. Aucune différence n'est observable entre les tours 2 et 3 (Annexe Z).

Les 21 candidats ont des niveaux de compétences clairement différents (indice *strata* =21,05 ; fidélité =1). Pour ce qui est des panélistes (Tableau 5), leur niveau de sévérité/ générosité est fortement semblable (indice *strata* = 3,14). Toutefois, il existe des différences d'appréciation comme le signale l'indice de fidélité (valeur de 0,82). Comme pour l'oral, si les panélistes ne sont pas entièrement interchangeables, leur niveau de cohérence interne est important.

À l'issue du calibrage final, tous les panélistes ont des indices d'adéquation des données au modèle satisfaisant (Tableau 5). La moyenne des *infit* est de 0,85 et celles de *outfit* de 0,89. Ces valeurs sont satisfaisantes pour pouvoir dire que le groupe de panélistes jouit d'un niveau de fidélité suffisant à l'issue du calibrage des productions.
<caption>Tableau 7</caption>

Adéquation des données au modèle pour les panélistes (calibrage final expression écrite)

<table><thead><tr><th>Panéliste</th><th>Score total</th><th>N observations</th><th>Mesure moyenne</th><th>Mesure ajustée</th><th>Mesure en logit</th><th>S.E.</th><th>Infit Carrés moyens</th><th>Infit standardisé</th><th>Outfit Carrés moyens</th><th>Outfit standardisé</th></tr></thead><tbody><tr><td>11</td><td>447</td><td>63</td><td>7,1</td><td>6,72</td><td>0,4</td><td>0,18</td><td>1,31</td><td>1,51</td><td>1,09</td><td>0,47</td></tr><tr><td>4</td><td>457</td><td>63</td><td>7,25</td><td>6,87</td><td>0,06</td><td>0,19</td><td>1,21</td><td>1</td><td>1,18</td><td>0,8</td></tr><tr><td>8</td><td>471</td><td>63</td><td>7,48</td><td>7,1</td><td>-0,44</td><td>0,19</td><td>1,2</td><td>0,97</td><td>1,07</td><td>0,36</td></tr><tr><td>9</td><td>448</td><td>63</td><td>7,11</td><td>6,74</td><td>0,37</td><td>0,18</td><td>1,03</td><td>0,19</td><td>0,89</td><td>-0,47</td></tr><tr><td>1</td><td>435</td><td>63</td><td>6,9</td><td>6,56</td><td>0,79</td><td>0,18</td><td>0,91</td><td>-0,45</td><td>0,92</td><td>-0,38</td></tr><tr><td>3</td><td>473</td><td>63</td><td>7,51</td><td>7,13</td><td>-0,51</td><td>0,19</td><td>0,9</td><td>-0,42</td><td>1,77</td><td>2,53</td></tr><tr><td>12</td><td>442</td><td>63</td><td>7,02</td><td>6,65</td><td>0,57</td><td>0,18</td><td>0,7</td><td>-1,65</td><td>0,63</td><td>-2,01</td></tr><tr><td>10</td><td>472</td><td>63</td><td>7,49</td><td>7,11</td><td>-0,47</td><td>0,19</td><td>0,69</td><td>-1,57</td><td>0,94</td><td>-0,15</td></tr><tr><td>7</td><td>469</td><td>63</td><td>7,44</td><td>7,06</td><td>-0,37</td><td>0,19</td><td>0,64</td><td>-1,85</td><td>0,54</td><td>-2,17</td></tr><tr><td>5</td><td>454</td><td>63</td><td>7,21</td><td>6,83</td><td>0,16</td><td>0,19</td><td>0,63</td><td>-2,03</td><td>0,57</td><td>-2,21</td></tr><tr><td>2</td><td>470</td><td>63</td><td>7,46</td><td>7,08</td><td>-0,4</td><td>0,19</td><td>0,55</td><td>-2,45</td><td>0,69</td><td>-1,29</td></tr><tr><td>6</td><td>463</td><td>63</td><td>7,35</td><td>6,97</td><td>-0,15</td><td>0,19</td><td>0,45</td><td>-3,26</td><td>0,38</td><td>-3,37</td></tr></tbody></table>
L'examen des seuils et catégories de niveaux NCLC montre que les niveaux NCLC identifiés pour l'expression écrite sont significativement différents les uns des autres (Tableau 8). La valeur du niveau médian de chacun de ces seuils montre que les niveaux NCLC utilisés par les panélistes sont correctement ordonnés (cf. expectation measure at category / Rasch-Thurstone Thresholds). Toutefois, pour l'écrit, la distinction entre les niveaux NCLC 1 et 2 et NCLC 11 et 12 a été plus difficile à opérer que pour l'oral. Le niveau 1 n'a été attribué que deux fois alors que des productions de faibles niveaux avaient été sélectionnées pour constituer l'échantillon.

## Tableau 8

Seuils pour le passage, examens du fonctionnement des NCLC pour les 21 productions écrites

<table><thead><tr><th colspan="3">DATA</th><th colspan="3">QUALITY CONTROL |RASCH-ANDRICH|</th><th>EXPECTATION</th><th>MOST</th><th>RASCH-</th><th>Cat|Response|</th></tr><tr><th>Category Counts</th><th>Score Total</th><th>Used</th><th>Cum. %</th><th>Avge</th><th>Exp. OUTFIT</th><th>Thresholds</th><th>Measure at</th><th>PROBABLE</th><th>THURSTONE</th><th>PEAK</th><th>Category</th></tr><tr><th></th><th></th><th></th><th></th><th>Meas</th><th>MnSq</th><th>Measure</th><th>S.E.|Category</th><th>-0.5 | from</th><th>Thresholds|Prob</th><th>Name</th><th></th></tr></thead><tbody><tr><td>1</td><td>2</td><td>2</td><td>0%</td><td>-9.67</td><td>-9.43</td><td>.7</td><td>(-12.31)</td><td>low</td><td>low</td><td>100%</td><td>NCLC 1</td></tr><tr><td>2</td><td>9</td><td>9</td><td>1%</td><td>-9.55</td><td>-9.14</td><td>.6</td><td>-10.79</td><td>.72</td><td>-10.83</td><td>-11.65</td><td>-11.29</td><td>32%</td><td>NCLC 2</td></tr><tr><td>3</td><td>74</td><td>74</td><td>10%</td><td>-7.87</td><td>-7.82</td><td>.9</td><td>-10.87</td><td>.34</td><td>-8.03</td><td>-10.02</td><td>-10.83</td><td>-10.37</td><td>88%</td><td>NCLC 3</td></tr><tr><td>4</td><td>95</td><td>95</td><td>13%</td><td>-3.49</td><td>-3.42</td><td>.6</td><td>-5.43</td><td>.26</td><td>-3.92</td><td>-5.50</td><td>-5.43</td><td>-5.46</td><td>70%</td><td>NCLC 4</td></tr><tr><td>5</td><td>58</td><td>58</td><td>8%</td><td>-1.87</td><td>-2.04</td><td>.9</td><td>-2.26</td><td>.18</td><td>-1.97</td><td>-2.76</td><td>-2.26</td><td>-2.55</td><td>40%</td><td>NCLC 5</td></tr><tr><td>6</td><td>95</td><td>95</td><td>13%</td><td>-.37</td><td>-.20</td><td>1.0</td><td>-1.64</td><td>.18</td><td>-.25</td><td>-1.21</td><td>-1.64</td><td>-1.38</td><td>63%</td><td>NCLC 6</td></tr><tr><td>7</td><td>88</td><td>88</td><td>12%</td><td>56%</td><td>1.93</td><td>1.89</td><td>.5</td><td>.94</td><td>.18</td><td>2.05</td><td>.90</td><td>.94</td><td>60%</td><td>NCLC 7</td></tr><tr><td>8</td><td>54</td><td>54</td><td>7%</td><td>63%</td><td>3.82</td><td>3.67</td><td>.8</td><td>3.27</td><td>.19</td><td>3.80</td><td>3.04</td><td>3.27</td><td>46%</td><td>NCLC 8</td></tr><tr><td>9</td><td>48</td><td>48</td><td>6%</td><td>69%</td><td>5.45</td><td>5.34</td><td>.7</td><td>4.67</td><td>.21</td><td>4.98</td><td>4.41</td><td>4.67</td><td>35%</td><td>NCLC 9</td></tr><tr><td>10</td><td>108</td><td>108</td><td>14%</td><td>83%</td><td>6.39</td><td>6.37</td><td>1.8</td><td>5.06</td><td>.17</td><td>6.65</td><td>5.66</td><td>5.06</td><td>68%</td><td>NCLC 10</td></tr><tr><td>11</td><td>41</td><td>41</td><td>5%</td><td>89%</td><td>8.30</td><td>8.43</td><td>1.0</td><td>8.17</td><td>.22</td><td>8.56</td><td>7.72</td><td>8.17</td><td>41%</td><td>NCLC 11</td></tr><tr><td>12</td><td>84</td><td>84</td><td>11%</td><td>100%</td><td>10.41</td><td>10.36</td><td>.7</td><td>8.88</td><td>.22</td><td>(10.22)</td><td>9.48</td><td>8.88</td><td>100%</td><td>NCLC 12</td></tr></tbody><tfoot><tr><td colspan="12">+---------------------------------------------------------------(Mean)---------(Modal)--(Median)----------------- +</td></tr></tfoot></table>

Le niveau ajusté calculé pour les productions écrites ne diffère pas beaucoup du score moyen calculé pour chacune des productions. On peut interpréter ce résultat comme étant une preuve de robustesse de l'ensemble de la procédure.

## Comparaison de l'estimation du niveau des productions orales et écrites avec les descripteurs du CECRL et des NCLC

Après le calibrage des performances avec le modèle multifacette de Rasch, nous pouvons comparer le classement des candidats selon qu'ils ont été évalués dans le processus opérationnel du TCF avec les niveaux CECRL par les correcteurs ou qu'ils ont été évalués avec les niveaux NCLC par les panélistes. Pour mesurer la force du lien entre l'évaluation des candidats avec les descripteurs du CECRL et des NCLC, il a été décidé d'utiliser les corrélations de Pearson, Spearman et le tau de Kendall. Cela permet d'obtenir des indices pour la cohérence interne des jugements (Stemler & Tsai, 2008).

Pour l'expression orale (Tableau 9), les corrélations entre le classement des candidats après les doubles corrections (utilisation des descripteurs CECRL) et les évaluations faites par les 12 panélistes (utilisation des descripteurs NCLC) sont fortes. Si on observe une légère différence entre la corrélation de Spearman et le tau de Kendall, on constate que le lien est fort.
**Tableau 9**

*Coefficients de corrélation entre le niveau CECRL et le niveau médian NCLC (expression orale)*

<table><thead><tr><th></th><th>Tour 1</th><th>Tour 2</th><th>Tour 3</th></tr></thead><tbody><tr><td>Pearson</td><td>0,97</td><td>0,98</td><td>0,98</td></tr><tr><td>Spearman</td><td>0,99</td><td>0,99</td><td>0,99</td></tr><tr><td>tau de Kendall</td><td>0,96</td><td>0,97</td><td>0,97</td></tr></tbody></table>

*Note.* toutes les corrélations sont significatives à p<0,001

Pour l'expression écrite (Tableau 8), les corrélations entre le classement des candidats après les doubles -corrections (utilisation des descripteurs CECRL) et les évaluations faites par les 12 panélistes (utilisation des descripteurs NCLC) sont fortes, et ce, aussi bien pour la corrélation de Pearson, de Spearman que celle du tau de Kendall.

**Tableau 10**

*Coefficients de corrélation entre le niveau CECRL et le niveau médian NCLC (expression écrite)*

<table><thead><tr><th></th><th>Tour 1</th><th>Tour 2</th><th>Tour 3</th></tr></thead><tbody><tr><td>Pearson</td><td>0,98</td><td>0,98</td><td>0,98</td></tr><tr><td>Spearman</td><td>0,98</td><td>0,98</td><td>0,98</td></tr><tr><td>tau de Kendall</td><td>0,94</td><td>0,93</td><td>0,94</td></tr></tbody></table>

*Note.* toutes les corrélations sont significatives à p<0,001

La lecture de ces résultats indique que la validité des épreuves du TCF est forte. Alors que des correcteurs et des panélistes issus de deux ensembles indépendants ont évalué les candidats avec deux échelles de compétences différentes (CECRL et NCLC), les classements des candidats se trouvent peu affectés et sont fortement similaires. Cette donnée valide la capacité des panélistes à discriminer des niveaux de maîtrise en langue française avec les échelles NCLC. On peut déduire que l'utilisation d'instruments de mesure différents n'a pas altéré la qualité de l'estimation du niveau des performances orales et écrites. Les résultats de ce calibrage de performances identiques avec deux échelles différentes et deux ensembles d'évaluateurs différents permettent d'envisager que non seulement le taux d'accord entre les panélistes est satisfaisant, mais qu'en plus leur interprétation des niveaux des échelles NCLC est correcte. On peut croire raisonnablement que les panélistes sont à la fois exacts et précis dans leur interprétation des niveaux NCLC. Toutefois, la forte corrélation entre les résultats obtenus avec les NCLC et le CECRL n'est pas « surprenante » puisque la définition du construit de la compétence langagière utilisée par les deux référentiels est issue des travaux de Lyle Bachman (Bachman, 1990; Bachman & Palmer, 1996, 2010; Centre des niveaux de compétence linguistique canadiens, 2012; Conseil de l'Europe, 2001).
## Synthèse des analyses qualitatives des descripteurs

Afin d'atteindre une plus grande certitude sur la correspondance entre les niveaux CECRL et NCLC, il a été décidé de procéder à une analyse qualitative des contenus des descripteurs issus des deux référentiels. Si la correspondance entre les contenus des descripteurs est suffisamment similaire à celle obtenue à l'issue du calibrage par les évaluateurs, ce sera un faisceau de preuve complémentaire. Pour cette étude, 4 experts en contenu ont mis en relation les descripteurs NCLC et CECRL. Chacun devait proposer une correspondance. Ils devaient citer les éléments leur permettant de rapprocher et d'attribuer les niveaux.

Pour l'expression orale, les jugements indépendants des experts sont consensuels sauf pour le NCLC 5 (Tableau 11). Pour l'expression écrite, le consensus est atteint pour tous les niveaux (Tableau 12). À l'issue de ce travail d'analyses qualitatives, on constate que la correspondance établie pour l'expression orale et écrite est presque identique.

<caption>Tableau 11</caption>

Correspondance entre les niveaux NCLC et CECRL (expression orale)

<table><thead><tr><th>NIVEAU NCLC</th><th>A1 non-atteint</th><th>A1</th><th>A2</th><th>B1</th><th>B2</th><th>C1</th><th>C2</th></tr></thead><tbody><tr><td>1</td><td>3</td><td>1</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>2</td><td></td><td>4</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>3</td><td></td><td></td><td>4</td><td></td><td></td><td></td><td></td></tr><tr><td>4</td><td></td><td></td><td>4</td><td></td><td></td><td></td><td></td></tr><tr><td>5</td><td></td><td></td><td>2</td><td>2</td><td></td><td></td><td></td></tr><tr><td>6</td><td></td><td></td><td></td><td>4</td><td></td><td></td><td></td></tr><tr><td>7</td><td></td><td></td><td></td><td>1</td><td>3</td><td></td><td></td></tr><tr><td>8</td><td></td><td></td><td></td><td></td><td>4</td><td></td><td></td></tr><tr><td>9</td><td></td><td></td><td></td><td></td><td></td><td>4</td><td></td></tr><tr><td>10</td><td></td><td></td><td></td><td></td><td></td><td>4</td><td></td></tr><tr><td>11</td><td></td><td></td><td></td><td></td><td></td><td></td><td>4</td></tr><tr><td>12</td><td></td><td></td><td></td><td></td><td></td><td></td><td>4</td></tr></tbody></table>
<caption>**Tableau 12**</caption>

*Correspondance entre les niveaux NCLC et CECRL (expression écrite)*

<table><thead><tr><th>Niveau NCLC</th><th>A1 non-atteint</th><th>A1</th><th>A2</th><th>B1</th><th>B2</th><th>C1</th><th>C2</th></tr></thead><tbody><tr><td>1</td><td>4</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>2</td><td></td><td>4</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>3</td><td></td><td>1</td><td>3</td><td></td><td></td><td></td><td></td></tr><tr><td>4</td><td></td><td></td><td>4</td><td></td><td></td><td></td><td></td></tr><tr><td>5</td><td></td><td></td><td></td><td>4</td><td></td><td></td><td></td></tr><tr><td>6</td><td></td><td></td><td></td><td>4</td><td></td><td></td><td></td></tr><tr><td>7</td><td></td><td></td><td></td><td></td><td>4</td><td></td><td></td></tr><tr><td>8</td><td></td><td></td><td></td><td></td><td>4</td><td></td><td></td></tr><tr><td>9</td><td></td><td></td><td></td><td></td><td></td><td>4</td><td></td></tr><tr><td>10</td><td></td><td></td><td></td><td></td><td></td><td>4</td><td></td></tr><tr><td>11</td><td></td><td></td><td></td><td></td><td></td><td></td><td>4</td></tr><tr><td>12</td><td></td><td></td><td></td><td></td><td></td><td></td><td>4</td></tr></tbody></table>

**Synthèse de la mise en correspondance des descripteurs du CECRL et des NCLC**

Afin d'assurer l'adossement, plusieurs procédures quantitatives et qualitatives ont été mises en place. Le résultat de la prise en compte de ces analyses est consigné dans les Tableaux 13 et 14. Le niveau de français étant également évalué pour une utilisation au Canada par le Test d'évaluation de français (TEF) de la Chambre de commerce et d'industrie de Paris (CCIP, 2015; Crendal, 2005), l'adossement établi par la CCIP complète la triangulation.

<caption>**Tableau 13**</caption>

*Correspondance CECRL/NCLC (expression orale)*

<table><thead><tr><th>NCLC</th><th>CCIP</th><th>CIEP (Évaluation des productions)</th><th>CIEP (Analyse qualitative des descripteurs)</th><th>Niveau final après arbitrage</th></tr></thead><tbody><tr><td>0</td><td>A1</td><td>A1 non atteint</td><td>-</td><td>A1 non atteint</td></tr><tr><td>1</td><td>A1</td><td>A1</td><td>A1 non atteint</td><td>A1</td></tr><tr><td>2</td><td>A2</td><td>A2</td><td>A1</td><td>A2</td></tr><tr><td>3</td><td>A2</td><td>A2/B1</td><td>A2</td><td>A2</td></tr><tr><td>4</td><td>B1</td><td>A2/B1</td><td>A2</td><td>A2</td></tr><tr><td>5</td><td>B1</td><td>B1</td><td>A2/B1</td><td>B1</td></tr><tr><td>6</td><td>B2</td><td>B1</td><td>B1</td><td>B1</td></tr><tr><td>7</td><td>B2</td><td>B2</td><td>B2</td><td>B2</td></tr><tr><td>8</td><td>C1</td><td>B2</td><td>B2</td><td>B2</td></tr><tr><td>9</td><td>C1</td><td>C1</td><td>C1</td><td>C1</td></tr><tr><td>10</td><td>C1</td><td>C1</td><td>C1</td><td>C1</td></tr><tr><td>11</td><td>C2</td><td>C2</td><td>C2</td><td>C2</td></tr><tr><td>12</td><td>C2</td><td>C2</td><td>C2</td><td>C2</td></tr></tbody></table>
<caption>**Tableau 14**</caption>

*Correspondance CECRL/NCLC (expression écrite)*

<table><thead><tr><th>NCLC</th><th>CCIP</th><th>CIEP<br>(Évaluation des<br>productions)</th><th>CIEP<br>(Analyse<br>qualitative des<br>descripteurs)</th><th>Niveau final<br>après arbitrage</th></tr></thead><tbody><tr><td>0</td><td>A1</td><td>A1 non atteint / A1</td><td>-</td><td>A1 non atteint</td></tr><tr><td>1</td><td>A1</td><td>A1</td><td>A1 non atteint</td><td>A1</td></tr><tr><td>2</td><td>A2</td><td>A2</td><td>A1</td><td>A2</td></tr><tr><td>3</td><td>A2</td><td>A2</td><td>A2</td><td>A2</td></tr><tr><td>4</td><td>B1</td><td>A2</td><td>A2</td><td>A2</td></tr><tr><td>5</td><td>B1</td><td>B1</td><td>B1</td><td>B1</td></tr><tr><td>6</td><td>B2</td><td>B1/B2</td><td>B1</td><td>B1</td></tr><tr><td>7</td><td>B2</td><td>B2</td><td>B2</td><td>B2</td></tr><tr><td>8</td><td>C1</td><td>B2</td><td>B2</td><td>B2</td></tr><tr><td>9</td><td>C1</td><td>B2/C1</td><td>C1</td><td>C1</td></tr><tr><td>10</td><td>C1</td><td>C1</td><td>C1</td><td>C1</td></tr><tr><td>11</td><td>C2</td><td>C2</td><td>C2</td><td>C2</td></tr><tr><td>12</td><td>C2</td><td>C2</td><td>C2</td><td>C2</td></tr></tbody></table>

**Correspondance finale entre les niveaux NCLC et CECRL**

Pour parvenir à l'adossement définitif, une séance de travail FEI a été organisée. Les éléments pris en compte ont été :

1) Les résultats des analyses quantitatives et qualitatives ;

2) La cohérence de l'adossement de l'écrit et de l'oral ;

3) La cohérence avec l'adossement du TEF.

Les décisions collégiales finales restent proches des résultats obtenus au moment des analyses. Toutefois, elles présentent l'avantage d'une plus grande facilité d'utilisation du fait d'une forte homogénéité (Tableau 15, Tableau 16).
<table><caption>**Tableau 15**</caption><caption>Correspondance finale (TCF expression orale)</caption><thead><tr><th>Notes</th><th>Niveau CECRL</th><th>Niveau NCLC</th></tr></thead><tbody><tr><td>0</td><td>A1 non atteint (4 à 6 jugements)</td><td>Niveau 1 non atteint</td></tr><tr><td>1</td><td>A1 (4 jugements)</td><td>1</td></tr><tr><td>1</td><td>A1 (5 à 6 jugements)</td><td>2</td></tr><tr><td>2</td><td>A2 (4 jugements)</td><td>3</td></tr><tr><td>3</td><td>A2 (5 jugements)</td><td>3</td></tr><tr><td>4</td><td>A2 (6 jugements)</td><td>4</td></tr><tr><td>5</td><td>A2 (4 à 6 jugements + 0 à 2 jugements &gt;A2)</td><td>4</td></tr><tr><td>6</td><td>B1 (4 jugements)</td><td>5</td></tr><tr><td>7</td><td>B1 (5 jugements)</td><td>6</td></tr><tr><td>8</td><td>B1 (6 jugements)</td><td>6</td></tr><tr><td>9</td><td>B1 (4 à 6 jugements + 0 à 2 jugements &gt;B1)</td><td>6</td></tr><tr><td>10</td><td>B2 (4 jugements)</td><td>7</td></tr><tr><td>11</td><td>B2 (5 jugements)</td><td>7</td></tr><tr><td>12</td><td>B2 (6 jugements)</td><td>8</td></tr><tr><td>13</td><td>B2 (4 à 6 jugements + 0 à 2 jugements &gt;B2)</td><td>8</td></tr><tr><td>14</td><td>C1 (4 jugements)</td><td>9</td></tr><tr><td>15</td><td>C1 (5 jugements)</td><td>9</td></tr><tr><td>16</td><td>C1 (6 jugements)</td><td>10</td></tr><tr><td>17</td><td>C1 (4 à 6 jugements + 0 à 2 jugements &gt;C1)</td><td>10</td></tr><tr><td>18</td><td>C2 (4 jugements)</td><td>11</td></tr><tr><td>19</td><td>C2 (5 jugements)</td><td>12</td></tr><tr><td>20</td><td>C2 (6 jugements)</td><td>12</td></tr></tbody></table>
<caption>**Tableau 16**</caption>

*Correspondance finale (TCF expression écrite)*

<table><thead><tr><th>Notes</th><th>Niveau CECRL</th><th>Niveau NCLC</th></tr></thead><tbody><tr><td>0</td><td>A1 non atteint (4 à 6 jugements)</td><td>Niveau 1 non atteint</td></tr><tr><td>1</td><td>A1 (4 à 6 jugements)</td><td>1</td></tr><tr><td>2</td><td>A2 (4 jugements)</td><td>2</td></tr><tr><td>3</td><td>A2 (5 jugements)</td><td>3</td></tr><tr><td>4</td><td>A2 (6 jugements)</td><td>4</td></tr><tr><td>5</td><td>A2 (4 à 6 jugements + 0 à 2 jugements &gt;A2)</td><td>4</td></tr><tr><td>6</td><td>B1 (4 jugements)</td><td>5</td></tr><tr><td>7</td><td>B1 (5 jugements)</td><td>6</td></tr><tr><td>8</td><td>B1 (6 jugements)</td><td>6</td></tr><tr><td>9</td><td>B1 (4 à 6 jugements + 0 à 2 jugements &gt;B1)</td><td>6</td></tr><tr><td>10</td><td>B2 (4 jugements)</td><td>7</td></tr><tr><td>11</td><td>B2 (5 jugements)</td><td>7</td></tr><tr><td>12</td><td>B2 (6 jugements)</td><td>8</td></tr><tr><td>13</td><td>B2 (4 à 6 jugements + 0 à 2 jugements &gt;B2)</td><td>8</td></tr><tr><td>14</td><td>C1 (4 jugements)</td><td>9</td></tr><tr><td>15</td><td>C1 (5 jugements)</td><td>9</td></tr><tr><td>16</td><td>C1 (6 jugements)</td><td>10</td></tr><tr><td>17</td><td>C1 (4 à 6 jugements + 0 à 2 jugements &gt;C1)</td><td>10</td></tr><tr><td>18</td><td>C2 (4 jugements)</td><td>11</td></tr><tr><td>19</td><td>C2 (5 jugements)</td><td>12</td></tr><tr><td>20</td><td>C2 (6 jugements)</td><td>12</td></tr></tbody></table>

**Limites de cette étude**

Les procédures standardisées de définition des scores de césure évoluent constamment. Ces évolutions sont autant liées aux avancées de la recherche qu'aux retours d'expériences. Si l'évaluation en langue répond à des standards de qualité (par exemple, en Europe, la « Q-mark » d'ALTE), il est faux d'affirmer qu'elle correspond à des normes. L'évaluation de la qualité d'un adossement à un référentiel dépend de consensus savants et professionnels (état de l'art), de l'utilisation d'un argumentaire (pour expliquer ses choix théoriques et méthodologiques), de la nécessaire prise en compte du contexte d'utilisation des examens, autant que des valeurs à atteindre pour des indices statistiques ou de tailles d'échantillon minimales.

Plutôt que de s'attarder sur ces débats irrésolus, il nous semble plus important de pointer les limites liées à la généralisabilité des résultats. Si l'adossement du TCF est multiréférentiel, si les productions utilisées pour procéder à l'adossement ont dûment été sélectionnées, si les panélistes ont été choisis parmi un ensemble d'experts attestés, si des faisceaux de données qualitatives et quantitatives ont été triangulés, si l'impact de l'alignement a été analysé, il n'en reste pas moins qu'un certain nombre d'opportunités d'amélioration subsistent.
Tout d'abord, il y a des limites connues des praticiens. Un échantillon d'experts plus fourni et ayant une pratique professionnelle régulière des NCLC aurait été utile, travailler avec plusieurs échantillons d'experts et différents lots de productions du TCF aurait pu corriger l'erreur liée à une sélection particulière de productions et un panel particulier d'experts. Si ces limites sont importantes, il faut toutefois les pondérer, car, bien souvent, elles sont liées à des problèmes de ressources financières, temporelles, de disponibilité de l'expertise, mais aussi de l'intérêt des experts pour ce type de projet et, enfin, de conflits d'intérêts.

Ensuite, la nécessité d'utiliser des procédures connues et validées par la communauté des chercheurs et des praticiens peut amener à un certain conservatisme et manque d'innovation. L'approche privilégiée dans cette étude est une approche essentiellement centrée sur l'évaluateur, choix largement privilégié par la communauté professionnelle. Il existe pourtant des méthodes d'adossement centrées sur le contenu des productions ou des corpus. Pour le TCF, si la triangulation des données quantitatives et qualitatives a sérieusement été considérée, peu a été fait pour relier le contenu des performances aux descripteurs NCLC.

Étant donné la complexité de la composition et de l'analyse des corpus langagiers, l'utilisation des procédures de l'intelligence artificielle pourrait permettre d'enrichir la compréhension que nous avons des contenus correspondant aux descripteurs des échelles des référentiels que ce soit le CECRL ou bien les NCLC. Cette voie, si elle est exploratoire, est prometteuse, car elle viendra combler l'angle négligé de l'analyse des contenus dans les procédures d'adossement.

Enfin, cet adossement du TCF aux NCLC est le premier mené par FEI. Une phase itérative sera nécessaire, car elle permettra, à la fois, de mieux vérifier la reproductibilité des résultats, de considérer les nouveaux résultats obtenus par les autres tests et d'actualiser les pratiques professionnelles au regard des retours d'expériences consignés par les associations d'évaluation en langue.¹

## Conclusion

Le travail d'adossement de productions orales et écrites sur des échelles de niveau est un travail qui demande de la patience et de l'humilité. Pour arriver à un alignement valide et utile, il convient de faire preuve de rigueur dans les analyses, mais également d'une absence de dogmatisme. S'il est utopique de croire que l'adossement de productions orales et écrites est le fruit d'une « pure » approche scientifique, il est tout aussi absurde de croire que les résultats obtenus ne sont pas reproductibles du fait d'un manque de rigueur scientifique et qu'il ne s'agit que d'une « construction sociale ». Les organismes certificateurs en langue ont le devoir d'utiliser des procédures rigoureuses, des approches non dogmatiques et plurielles. L'adossement s'enrichit de la triangulation méthodologique. Il convient de mettre en garde contre une vision trop puriste de ce que sont les niveaux de compétences en langue et d'appeler à la responsabilité sur l'utilisation des résultats à un test. Si l'objectivation est grande, elle n'est et ne sera jamais absolue et, ce, d'autant plus que les niveaux de langue ne sont pas des entités réelles, mais bien le fruit d'un consensus, d'une expertise, d'une reconnaissance. Le processus d'adossement à un cadre de référence est un processus itératif triangulé et doit se construire et être amélioré dans le temps en
privilégiant une utilisation raisonnée des ressources.

La correspondance devrait être adressée à Vincent Folny.
Courriel : folny@france-education-international.fr

## Notes

## Références

Bachman, L. F. (1990). *Fundamental considerations in language testing*. Oxford University Press.

Bachman, L. F., & Palmer, A. S. (1996). *Language testing in practice : Designing and developing useful language tests* (Vol. 1). Oxford University Press.

Bachman, L., & Palmer, A. (2010). *Language assessment in practice : Developing language assessments and justifying their use in the real world*. Oxford University Press.

Chambre de commerce et d'industrie de Paris (2015). *Brochure TEF*. http://www.francais.cci-paris-idf.fr/wp-content/uploads/downloads/2015/02/Brochure-TEF-maj-20151.pdf

Centre des niveaux de compétence linguistique canadiens. (2012). *Niveaux de compétence linguistique canadiens, français langue seconde pour adultes*. Immigration, réfugiés et citoyenneté Canada. http://publications.gc.ca/collections/collection_2012/cic/Ci63-26-2012-fra.pdf

Cizek, G. J., & Bunch, M. B. (2007). *Standard setting : A guide to establishing and evaluating performance standards on tests*. SAGE Publications Ltd.

Conseil de l'Europe. (2001). *Cadre européen commun de référence pour les langues*. Didier.

Conseil de l'Europe. (2009). *Manuel pour Relier les examens de langues au Cadre européen commun de référence pour les langues (CECR)*. http://www.coe.int/t/dg4/linguistic/Manuel1_FR.asp#Manual

Crendal, A. (2005). Vers la multiréférentialisation du TEF. *Point commun, 24*. http://www.centredelanguefrancaise.paris/wp-content/uploads/2011/05/vers_la_multireferentialisation_du_tef.pdf

De Jong, J. H. A. L. (2013). *The Stages Of standard Setting*. BAAL TEA SIG. http://www.beds.ac.uk/_data/assets/pdf_file/0008/256787/John-De-Jong-2013-06-BAAL-TEA-SIG.pdf

Demeuse, M., Desroches, F., Crendal, A., Renaud, F., Oster, P., & Leroux, X. (2004). L'évaluation des compétences linguistiques des adultes en français langue étrangère dans une perspective de multiréférentialisation. 17e colloque international de l'Association pour le Développement des Méthodologies d'Évaluation en Éducation (ADMEE-Europe), Lisbonne. http://www.centredelanguefrancaise.paris/wp-content/uploads/downloads/2011/10/1.tef-admee2004-multireferentialisation.pdf

<footnote n="1">¹ ALTE (Association of Language Testers in Europe), EALTA (European Association for language Testing and Assessment), ILTA (International Language testing Association), ACEL (Association Canadienne pour l'évaluation des langues), ...</footnote>
Eckes, T. (2011). Introduction to many-facet Rasch measurement : Analyzing and evaluating rater-mediated assessments. Peter Lang.

Engelhard, G. (2009). Evaluating the Judgments of Standard-Setting Panelists using Rasch Measurement Theory. In E. V. Smith & G. E. Stone (Éds.), *Criterion referenced testing : Practice analysis to score reporting using Rasch measurement models*. JAM Press.

Engelhard, G. (2011). Evaluating the Bookmark Judgments of Standard-Setting Panelists. *Educational and Psychological Measurement*, 71(6), 909-924.
https://doi.org/10.1177/0013164410395934

Engelhard, G. (2013). *Invariant measurement : Using Rasch models in the social, behavioral, and health sciences*. Routledge.

Engelhard, G., & Gordon, B. (2000). Setting and Evaluating Performances Standards For high Stakes Writting Asessments. In M. Wilson & G. Engelhard (Éds.), *Objective measurement : Theory into practice. Vol. 5 : [Papers presented at the Ninth International Objective Measurement Workshop (IOMW9), University of Chicago, Illinois, March 1997]* (p. 3-14). Ablex Publishing Corporation.

Figueras, N., Noijons, J. (Eds). (2009). *Linking to the CEFR levels : Research perspectives*. Council of Europe.

Geisinger, K. F., & McCormick, C. M. (2010). Adopting cut scores : Post-standard-setting panel considerations for decision makers. *Educational Measurement: Issues and Practice*, 29(1), 38–44.

Hambleton, R., K., & Pitoniak, M. J. (2006). Setting Performance Standards. In R. L. Brennan, National Council on Measurement in Education, & American Council on Education (Éds.), *Educational measurement* (4. ed). Praeger Publ.

Kaliski, P. K., Wind, S. A., Engelhard, G., Morgan, D. L., Blake, B. S., & Reshetar, R. A. (2013). Using the Many-Faceted Rasch Model to Evaluate Standard Setting Judgments : An Illustration With the Advanced Placement Environmental Science Exam. *Educational and Psychological Measurement*, 73(3), 386-411.
https://doi.org/10.1177/0013164412468448

Kecker, G., & Eckes, T. (2010). Putting the Manual to the test : The TestDaF-CEFR linking project. In *Aligning Tests with the CEFR : reflection on using the Council of Europe's draft Manual* (Cambridge University Press, Vol. 33, p. 50-79). UCLES.

Linacre, J. M. (2013). *A User's Guide to FACETS Rasch-Model Computer Programs*. *Program Manual 3.71.2*.

Linacre, J. M., & Wright, B. D. (1994). Reasonable mean-square fit values. *Rasch Measurement Transactions*, 8(3), 370-371.

Lunz, M. E. L. (2000). Setting Standards on Performance Examinations. In M. Wilson & G. Engelhard (Éds.), *Objective measurement : Theory into practice*. (Vol. 5, p. 181-202). Ablex Publishing Corporation.

Stemler, S. E., & Tsai, J. (2008). Best practices in interrater reliability : Three common approaches. *Best practices in quantitative methods*, 29–49.

Zieky, M. J., Perie, M., & Livingston, S. A. (2008). *Cutscores : A manual for setting standards of performance on educational and occupational tests*. Educational Testing Service.
Annexe A
Fidélité des panélistes pour le classement des productions orales (tour 1)

TCF EO NCLC

<table><thead><tr><th></th><th>Panéliste 1</th><th>Panéliste 2</th><th>Panéliste 3</th><th>Panéliste 4</th><th>Panéliste 5</th><th>Panéliste 6</th></tr></thead><tbody><tr><th>Accords exacts</th><td>52%</td><td>52%</td><td>48%</td><td>67%</td><td>52%</td><td>38%</td></tr><tr><th>Accords exacts et adjacents</th><td>90%</td><td>86%</td><td>76%</td><td>95%</td><td>81%</td><td>90%</td></tr></tbody></table>

TCF EO NCLC

<table><thead><tr><th></th><th>Panéliste 7</th><th>Panéliste 8</th><th>Panéliste 9</th><th>Panéliste 10</th><th>Panéliste 11</th><th>Panéliste 12</th></tr></thead><tbody><tr><th>Accords exacts</th><td>52%</td><td>29%</td><td>24%</td><td>33%</td><td>57%</td><td>38%</td></tr><tr><th>Accords exacts et adjacents</th><td>86%</td><td>57%</td><td>97%</td><td>81%</td><td>86%</td><td>71%</td></tr></tbody></table>

<table><thead><tr><th>TCF EO NCLC</th><th>Moyenne</th></tr></thead><tbody><tr><th>Accords exacts</th><td>45%</td></tr><tr><th>Accords exacts et adjacents</th><td>81%</td></tr></tbody></table>
Annexe B

Fidélité des panélistes pour les productions orales avec les niveaux NCLC (tour 1)

TCF EO NCLC

<table><thead><tr><th></th><th>Panéliste 1</th><th>Panéliste 2</th><th>Panéliste 3</th><th>Panéliste 4</th><th>Panéliste 5</th><th>Panéliste 6</th></tr></thead><tbody><tr><td>Accords exacts</td><td>52%</td><td>48%</td><td>57%</td><td>52%</td><td>76%</td><td>71%</td></tr><tr><td>Accords exacts et adjacents</td><td>100%</td><td>81%</td><td>95%</td><td>90%</td><td>95%</td><td>95%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste 7</th><th>Panéliste 8</th><th>Panéliste 9</th><th>Panéliste 10</th><th>Panéliste 11</th><th>Panéliste 12</th></tr></thead><tbody><tr><td>Accords exacts</td><td>62%</td><td>33%</td><td>29%</td><td>57%</td><td>48%</td><td>62%</td></tr><tr><td>Accords exacts et adjacents</td><td>100%</td><td>76%</td><td>81%</td><td>86%</td><td>90%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><td>Accords exacts</td><td>54%</td></tr><tr><td>Accords exacts et adjacents</td><td>91%</td></tr></tbody></table>
Annexe C
Classement des productions orales (tour 1)

<figure><img src="image_1.png" /></figure>
<figure><img src="image_2.png" /><figcaption>Annexe D

Positionnement des productions orales avec les descripteurs NCLC (tour 1)</figcaption></figure>
<figure><img src="image_3.png" /><figcaption>Annexe E
Classement des productions écrites (tour 1)</figcaption></figure>
<figure><img src="image_4.png" /><figcaption>Annexe F

Positionnement des productions écrites avec les descripteurs NCLC (tour 1)</figcaption></figure>
Annexe G
Fidélité des panélistes pour le classement des productions écrites (tour 1)

<table><thead><tr><th colspan="7">TCF EE NCLC</th></tr><tr><th></th><th>Panéliste 1</th><th>Panéliste 2</th><th>Panéliste 3</th><th>Panéliste 4</th><th>Panéliste 5</th><th>Panéliste 6</th></tr></thead><tbody><tr><td>Accords exacts</td><td>43%</td><td>19%</td><td>33%</td><td>24%</td><td>52%</td><td>62%</td></tr><tr><td>Accords exacts et adjacents</td><td>81%</td><td>67%</td><td>71%</td><td>67%</td><td>81%</td><td>81%</td></tr><tr><th></th><th>Panéliste 7</th><th>Panéliste 8</th><th>Panéliste 9</th><th>Panéliste 10</th><th>Panéliste 11</th><th>Panéliste 12</th></tr><tr><td>Accords exacts</td><td>29%</td><td>29%</td><td>24%</td><td>38%</td><td>19%</td><td>43%</td></tr><tr><td>Accords exacts et adjacents</td><td>86%</td><td>86%</td><td>57%</td><td>57%</td><td>62%</td><td>71%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><td>Accords exacts</td><td>35%</td></tr><tr><td>Accords exacts et adjacents</td><td>72%</td></tr></tbody></table>
Annexe H
Fidélité des panélistes pour l'évaluation des productions écrites avec les niveaux NCLC (tour1)

TCF EE NCLC

<table><thead><tr><th></th><th>Panéliste 1</th><th>Panéliste 2</th><th>Panéliste 3</th><th>Panéliste 4</th><th>Panéliste 5</th><th>Panéliste 6</th></tr></thead><tbody><tr><th>Accords exacts</th><td>10%</td><td>62%</td><td>57%</td><td>48%</td><td>43%</td><td>71%</td></tr><tr><th>Accords exacts et adjacents</th><td>57%</td><td>95%</td><td>95%</td><td>90%</td><td>95%</td><td>95%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste 7</th><th>Panéliste 8</th><th>Panéliste 9</th><th>Panéliste 10</th><th>Panéliste 11</th><th>Panéliste 12</th></tr></thead><tbody><tr><th>Accords exacts</th><td>76%</td><td>43%</td><td>38%</td><td>67%</td><td>33%</td><td>38%</td></tr><tr><th>Accords exacts et adjacents</th><td>86%</td><td>76%</td><td>71%</td><td>100%</td><td>57%</td><td>71%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><th>Accords exacts</th><td>49%</td></tr><tr><th>Accords exacts et adjacents</th><td>83%</td></tr></tbody></table>
<figure><img src="image_5.png" /><figcaption>Annexe I
Classement des productions orales (tour 2)</figcaption></figure>
<figure><img src="image_6.png" /><figcaption>Annexe J
Positionnement des productions orales avec les descripteurs NCLC (tour 2)</figcaption></figure>
Annexe K
Fidélité des panélistes pour le classement des productions orales (tour 2)

TCF EO
NCLC

<table><thead><tr><th></th><th>Panéliste 1</th><th>Panéliste 2</th><th>Panéliste 3</th><th>Panéliste 4</th><th>Panéliste 5</th><th>Panéliste 6</th></tr></thead><tbody><tr><th>Accords exacts</th><td>67%</td><td>86%</td><td>71%</td><td>52%</td><td>76%</td><td>86%</td></tr><tr><th>Accords exacts et adjacents</th><td>100%</td><td>100%</td><td>95%</td><td>95%</td><td>100%</td><td>90%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste 7</th><th>Panéliste 8</th><th>Panéliste 9</th><th>Panéliste 10</th><th>Panéliste 11</th><th>Panéliste 12</th></tr></thead><tbody><tr><th>Accords exacts</th><td>62%</td><td>76%</td><td>57%</td><td>67%</td><td>86%</td><td>62%</td></tr><tr><th>Accords exacts et adjacents</th><td>95%</td><td>100%</td><td>81%</td><td>100%</td><td>100%</td><td>95%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><th>Accords exacts</th><td>71%</td></tr><tr><th>Accords exacts et adjacents</th><td>96%</td></tr></tbody></table>
Annexe L
Fidélité des panélistes pour l'évaluation des productions orales avec les niveaux NCLC (tour 2)

TCF EO NCL

<table><thead><tr><th></th><th>Panéliste<br>1</th><th>Panéliste 2</th><th>Panéliste 3</th><th>Panéliste<br>4</th><th>Panéliste 5</th><th>Panéliste 6</th></tr></thead><tbody><tr><th>Accords exacts</th><td>95%</td><td>57%</td><td>95%</td><td>90%</td><td>76%</td><td>90%</td></tr><tr><th>Accords exacts<br>et adjacents</th><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste<br>7</th><th>Panéliste 8</th><th>Panéliste 9</th><th>Panéliste<br>10</th><th>Panéliste<br>11</th><th>Panéliste<br>12</th></tr></thead><tbody><tr><th>Accords exacts</th><td>62%</td><td>90%</td><td>67%</td><td>62%</td><td>81%</td><td>95%</td></tr><tr><th>Accords exacts<br>et adjacents</th><td>100%</td><td>100%</td><td>95%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

Moyenne

<table><tr><th>Accords exacts</th><td>86%</td></tr><tr><th>Accords exacts<br>et adjacents</th><td>100%</td></tr></table>
<table><caption>Annexe M
Classement des productions écrite (tour 2)</caption><thead><tr><th>TCF EE Frequence du<br>classement des 21<br>candidats</th><th>693496</th><th>700246</th><th>686947</th><th>689492</th><th>686952</th><th>714128</th><th>689483</th><th>723064</th><th>686939</th><th>714986</th><th>686940</th><th>694513</th><th>694482</th><th>717626</th><th>729854</th><th>692045</th><th>713816</th><th>694489</th><th>692083</th><th>713247</th><th>713250</th></tr></thead><tbody><tr><td>1</td><td>6</td><td>6</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>2</td><td>6</td><td>6</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>3</td><td></td><td></td><td>6</td><td>4</td><td>2</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>4</td><td></td><td></td><td>4</td><td>5</td><td>3</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>5</td><td></td><td></td><td>2</td><td>3</td><td>5</td><td>2</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>6</td><td></td><td></td><td></td><td>2</td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>7</td><td></td><td></td><td></td><td></td><td></td><td></td><td>12</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>8</td><td></td><td></td><td></td><td></td><td></td><td></td><td>8</td><td>4</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>9</td><td></td><td></td><td></td><td></td><td></td><td></td><td>2</td><td>8</td><td>1</td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>10</td><td></td><td></td><td></td><td></td><td></td><td></td><td>2</td><td>8</td><td>7</td><td>2</td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>11</td><td></td><td></td><td></td><td></td><td></td><td></td><td>2</td><td>1</td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>12</td><td></td><td></td><td></td><td></td><td></td><td></td><td>2</td><td>1</td><td>7</td><td>2</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>13</td><td></td><td></td><td></td><td></td><td></td><td></td><td>2</td><td>8</td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>14</td><td></td><td></td><td></td><td></td><td></td><td></td><td>1</td><td></td><td>6</td><td>1</td><td>2</td><td>2</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>15</td><td></td><td></td><td></td><td></td><td></td><td></td><td>1</td><td></td><td>1</td><td>6</td><td>2</td><td>2</td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>16</td><td></td><td></td><td></td><td></td><td></td><td></td><td>1</td><td></td><td>1</td><td>2</td><td>6</td><td>1</td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>17</td><td></td><td></td><td></td><td></td><td></td><td></td><td>3</td><td></td><td>1</td><td>1</td><td>5</td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>18</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td>2</td><td>1</td><td>1</td><td>1</td><td>7</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>19</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>20</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td>1</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>21</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td>3</td><td>6</td><td>2</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td>3</td><td>1</td><td>8</td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>
<figure><img src="image_7.png" /><figcaption>Annexe N

Positionnement des productions écrites avec les descripteurs NCLC (tour 2)</figcaption></figure>
Annexe O
Fidélité des panélistes pour le classement des productions écrites (tour 2)

TCF EE NCLC

<table><thead><tr><th></th><th>Panéliste<br>1</th><th>Panéliste<br>2</th><th>Panéliste<br>3</th><th>Panéliste<br>4</th><th>Panéliste<br>5</th><th>Panéliste<br>6</th></tr></thead><tbody><tr><th>Accords exacts</th><td>67%</td><td>76%</td><td>67%</td><td>38%</td><td>52%</td><td>38%</td></tr><tr><th>Accords exacts<br>et adjacents</th><td>90%</td><td>100%</td><td>86%</td><td>62%</td><td>86%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste<br>7</th><th>Panéliste<br>8</th><th>Panéliste<br>9</th><th>Panéliste<br>10</th><th>Panéliste<br>11</th><th>Panéliste<br>12</th></tr></thead><tbody><tr><th>Accords exacts</th><td>76%</td><td>29%</td><td>33%</td><td>71%</td><td>86%</td><td>57%</td></tr><tr><th>Accords exacts<br>et adjacents</th><td>100%</td><td>52%</td><td>76%</td><td>86%</td><td>100%</td><td>86%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><th>Accords exacts</th><td>58%</td></tr><tr><th>Accords exacts<br>et adjacents</th><td>85%</td></tr></tbody></table>
Annexe P

Fidélité des panélistes pour l'évaluation des productions écrites avec les niveaux NCLC (tour 2)

TCF EE NCLC

<table><thead><tr><th></th><th>Panéliste 1</th><th>Panéliste 2</th><th>Panéliste 3</th><th>Panéliste 4</th><th>Panéliste 5</th><th>Panéliste 6</th></tr></thead><tbody><tr><th>Accords exacts</th><td>76%</td><td>76%</td><td>86%</td><td>52%</td><td>71%</td><td>86%</td></tr><tr><th>Accords exacts et adjacents</th><td>100%</td><td>100%</td><td>90%</td><td>95%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste 7</th><th>Panéliste 8</th><th>Panéliste 9</th><th>Panéliste 10</th><th>Panéliste 11</th><th>Panéliste 12</th></tr></thead><tbody><tr><th>Accords exacts</th><td>81%</td><td>86%</td><td>76%</td><td>81%</td><td>86%</td><td>67%</td></tr><tr><th>Accords exacts et adjacents</th><td>100%</td><td>105%</td><td>90%</td><td>105%</td><td>105%</td><td>81%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><th>Accords exacts</th><td>77%</td></tr><tr><th>Accords exacts et adjacents</th><td>98%</td></tr></tbody></table>
<figure><img src="image_8.png" /><figcaption>Annexe Q
Classement des productions orales (tour 3)</figcaption></figure>
<figure><img src="image_9.png" /><figcaption>Annexe R

Positionnement des productions orales avec les descripteurs NCLC (tour 3)</figcaption></figure>
Annexe S
Fidélité des panélistes pour le classement des productions orales (tour 3)

TCF EO
NCLC

<table><thead><tr><th></th><th>Panéliste<br>1</th><th>Panéliste<br>2</th><th>Panéliste<br>3</th><th>Panéliste<br>4</th><th>Panéliste<br>5</th><th>Panéliste<br>6</th></tr></thead><tbody><tr><th>Accords<br>exacts</th><td>100%</td><td>90%</td><td>81%</td><td>90%</td><td>100%</td><td>100%</td></tr><tr><th>Accords<br>exacts et<br>adjacents</th><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste<br>7</th><th>Panéliste<br>8</th><th>Panéliste<br>9</th><th>Panéliste<br>10</th><th>Panéliste<br>11</th><th>Panéliste<br>12</th></tr></thead><tbody><tr><th>Accords<br>exacts</th><td>81%</td><td>90%</td><td>81%</td><td>90%</td><td>81%</td><td>81%</td></tr><tr><th>Accords<br>exacts et<br>adjacents</th><td>90%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><th>Accords<br>exacts</th><td>89%</td></tr><tr><th>Accords<br>exacts et<br>adjacents</th><td>99%</td></tr></tbody></table>
Annexe 1
Fidélité des panélistes pour l'évaluation des productions orales avec les niveaux NCLC (Tour 3)

<table><thead><tr><th></th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th></tr><tr><th>TCF EO NCLC</th><th>1</th><th>2</th><th>3</th><th>4</th><th>5</th><th>6</th></tr></thead><tbody><tr><th scope="row">Accords exacts</th><td>100%</td><td>86%</td><td>95%</td><td>81%</td><td>90%</td><td>95%</td></tr><tr><th scope="row">Accords exacts et adjacents</th><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th></tr><tr><th></th><th>7</th><th>8</th><th>9</th><th>10</th><th>11</th><th>12</th></tr></thead><tbody><tr><th scope="row">Accords exacts</th><td>90%</td><td>95%</td><td>95%</td><td>86%</td><td>86%</td><td>100%</td></tr><tr><th scope="row">Accords exacts et adjacents</th><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><th scope="row">Accords exacts</th><td>91%</td></tr><tr><th scope="row">Accords exacts et adjacents</th><td>100%</td></tr></tbody></table>
<figure><img src="image_10.png" /><figcaption>Annexe U
Classement des productions écrites (tour 3)</figcaption></figure>
<figure><img src="image_11.png" /><figcaption>Annexe V

Positionnement des productions écrites avec les descripteurs NCLC (tour 3)</figcaption></figure>
Annexe W
Fidélité des panélistes pour le classement des productions écrites (tour 3)

<table><thead><tr><th></th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th></tr><tr><th>TCF EE NCLC</th><th>1</th><th>2</th><th>3</th><th>4</th><th>5</th><th>6</th></tr></thead><tbody><tr><th scope="row">Accords exacts</th><td>90%</td><td>81%</td><td>100%</td><td>81%</td><td>71%</td><td>90%</td></tr><tr><th scope="row">Accords exacts et adjacents</th><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th><th>Panéliste</th></tr><tr><th></th><th>7</th><th>8</th><th>9</th><th>10</th><th>11</th><th>12</th></tr></thead><tbody><tr><th scope="row">Accords exacts</th><td>43%</td><td>90%</td><td>90%</td><td>71%</td><td>90%</td><td>86%</td></tr><tr><th scope="row">Accords exacts et adjacents</th><td>86%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>95%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><th scope="row">Accords exacts</th><td>82%</td></tr><tr><th scope="row">Accords exacts et adjacents</th><td>98%</td></tr></tbody></table>
Annexe X

Fidélité des panélistes pour l'évaluation des productions écrites avec les niveaux NCLC (tour 3)

<table><thead><tr><th></th><th>Panéliste<br>1</th><th>Panéliste<br>2</th><th>Panéliste<br>3</th><th>Panéliste<br>4</th><th>Panéliste<br>5</th><th>Panéliste<br>6</th></tr></thead><tbody><tr><th scope="row">TCF EE NCLC</th><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><th scope="row">Accords exacts</th><td>90%</td><td>90%</td><td>90%</td><td>86%</td><td>90%</td><td>95%</td></tr><tr><th scope="row">Accords exacts<br>et adjacents</th><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Panéliste<br>7</th><th>Panéliste<br>8</th><th>Panéliste<br>9</th><th>Panéliste<br>10</th><th>Panéliste<br>11</th><th>Panéliste<br>12</th></tr></thead><tbody><tr><th scope="row">Accords exacts</th><td>95%</td><td>95%</td><td>95%</td><td>95%</td><td>90%</td><td>95%</td></tr><tr><th scope="row">Accords exacts<br>et adjacents</th><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td><td>100%</td></tr></tbody></table>

<table><thead><tr><th></th><th>Moyenne</th></tr></thead><tbody><tr><th scope="row">Accords exacts</th><td>92%</td></tr><tr><th scope="row">Accords exacts<br>et adjacents</th><td>100%</td></tr></tbody></table>
Annexe Y
Carte des tours, candidats, panélistes, niveaux NCLC (oral)

<table><thead><tr><th>Mesur|tour</th><th>Sévère</th><th>+Candidat forts</th><th>-paneliste</th><th>Sévère</th><th>NCLC</th></tr></thead><tbody><tr><td>20+</td><td>+ 696289</td><td>696298+</td><td></td><td></td><td>+(12)</td></tr><tr><td>19+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>18+</td><td>+ 712745</td><td></td><td></td><td></td><td>+</td></tr><tr><td>17+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>16+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>15+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>14+</td><td>+ 695851</td><td></td><td></td><td></td><td>+</td></tr><tr><td>13+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>12+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>11+</td><td>+ 723996</td><td></td><td></td><td></td><td>+</td></tr><tr><td>10+</td><td>+ 685288</td><td></td><td></td><td></td><td>+</td></tr><tr><td>9+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>8+</td><td>+ 688640</td><td>714244+</td><td></td><td></td><td>+</td></tr><tr><td>7+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>6+</td><td>+ 685062</td><td></td><td></td><td></td><td>+</td></tr><tr><td>5+</td><td>+ 744522</td><td></td><td></td><td></td><td>+</td></tr><tr><td>4+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>3+</td><td>+ 694889</td><td></td><td></td><td></td><td>+</td></tr><tr><td>2+</td><td>+ 696225</td><td></td><td></td><td></td><td>+</td></tr><tr><td>1+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>* 0 * tour 1 tour 2 tour 3</td><td>* 684931</td><td>690760*</td><td>pan 1 pan 10 pan 12 pan 3 pan 6 pan 7</td><td>* --- *</td><td></td></tr><tr><td>-1+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-2+</td><td>+ 686005</td><td></td><td></td><td></td><td>+</td></tr><tr><td>-3+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-4+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-5+</td><td>+ 725683</td><td></td><td></td><td></td><td>+</td></tr><tr><td>-6+</td><td>+ 684900</td><td></td><td></td><td></td><td>+</td></tr><tr><td>-7+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-8+</td><td>+ 713071</td><td></td><td></td><td></td><td>+</td></tr><tr><td>-9+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-10+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-11+</td><td>+ 713658</td><td></td><td></td><td></td><td>+</td></tr><tr><td>-12+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-13+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-14+</td><td>+ 720705</td><td></td><td></td><td></td><td>+</td></tr><tr><td>-15+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-16+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-17+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-18+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-19+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-20+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-21+</td><td></td><td></td><td></td><td></td><td>+</td></tr><tr><td>-22+</td><td>+ 694629</td><td></td><td></td><td></td><td>+(0)</td></tr><tr><td>Mesur|tour Généreux</td><td>+Candidat faible|paneliste</td><td>Généreux</td><td></td><td>NCLC</td><td></td></tr></tbody></table>
Annexe Z
Carte des tours, candidats, panélistes, niveaux NCLC (écrit)

<table><thead><tr><th>Mesur</th><th>-tour</th><th>+Candidat Fort</th><th>-paneliste</th><th>Sévères</th><th>NIVEA</th></tr></thead><tbody><tr><td>11 + Sévère</td><td>713250</td><td></td><td>+</td><td></td><td>(12)</td></tr><tr><td></td><td>713247</td><td></td><td></td><td></td><td></td></tr><tr><td>10 +</td><td></td><td></td><td>+</td><td></td><td>+</td></tr><tr><td></td><td>692083</td><td></td><td></td><td></td><td>---</td></tr><tr><td>9 +</td><td></td><td></td><td>+</td><td></td><td>+</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td>11</td></tr><tr><td>8 +</td><td></td><td></td><td>+</td><td></td><td>+</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td>---</td></tr><tr><td>7 +</td><td>694489</td><td></td><td>+</td><td></td><td>+</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td>10</td></tr><tr><td>6 +</td><td>692045 713816</td><td>729854</td><td>+</td><td></td><td>+</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td>---</td></tr><tr><td>5 +</td><td>717626</td><td></td><td>+</td><td></td><td>9</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td>---</td></tr><tr><td>4 +</td><td></td><td></td><td>+</td><td></td><td>8</td></tr><tr><td></td><td>694482</td><td></td><td></td><td></td><td></td></tr><tr><td>3 +</td><td>694513</td><td></td><td>+</td><td></td><td>---</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>2 +</td><td></td><td></td><td>+</td><td></td><td>7</td></tr><tr><td></td><td>686940 714986</td><td></td><td></td><td></td><td></td></tr><tr><td>1 +</td><td></td><td></td><td>pan 1</td><td></td><td>---</td></tr><tr><td></td><td>tour 1</td><td></td><td>pan 11 pan 12 pan 9</td><td></td><td></td></tr><tr><td>* 0 * tour 2 *</td><td>686939</td><td></td><td>* pan 4 pan 5 pan 6</td><td></td><td>*</td></tr><tr><td></td><td>tour 3</td><td>723064</td><td>pan 10 pan 2 pan 3 pan 7 pan 8</td><td></td><td>6</td></tr><tr><td>-1 +</td><td></td><td></td><td>+</td><td></td><td>---</td></tr><tr><td></td><td>689483</td><td></td><td></td><td></td><td></td></tr><tr><td>-2 +</td><td></td><td></td><td>+</td><td></td><td>5</td></tr><tr><td></td><td>714128</td><td></td><td></td><td></td><td></td></tr><tr><td>-3 +</td><td></td><td></td><td>+</td><td></td><td>---</td></tr><tr><td></td><td>686952 689492</td><td></td><td></td><td></td><td></td></tr><tr><td>-4 +</td><td>686947</td><td></td><td>+</td><td></td><td>4</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>-5 +</td><td></td><td></td><td>+</td><td></td><td>+</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td>---</td></tr><tr><td>-6 +</td><td></td><td></td><td>+</td><td></td><td>+</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>-7 +</td><td></td><td></td><td>+</td><td></td><td>+</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>-8 +</td><td></td><td></td><td>+</td><td></td><td>3</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>-9 +Généreux+</td><td>693496 700246</td><td></td><td>+</td><td></td><td>(1)</td></tr><tr><td>Mesur</td><td>-tour</td><td>+Candidat Faible</td><td>-paneliste</td><td>Généreux</td><td>NIVEA</td></tr></tbody></table>