UNI
FR

<figure><img src="image_1.png" /></figure>

UNIVERSITÉ DE FRIBOURG

UNIVERSITÄT FREIBURG

David Jan

Motivation,
référentialisation et
conception de l'évaluation
des évaluateurs aux examens
pratiques.

Trois études dans le domaine
du commerce en formation
professionnelle initiale duale.
DOI: https://doi.org/10.51363/unifr.lth.2025.042

David Jan

<figure><img src="image_2.png" /></figure>

https://orcid.org/0000-0001-5223-1685

© David Jan, 2025

<figure><img src="image_3.png" /></figure>

This work is published under the Creative Commons Attribution 4.0 International license
(CC BY 4.0): https://creativecommons.org/licenses/by/4.0/
# Motivation, référentialisation et conception de l'évaluation des évaluateurs aux examens pratiques

Trois études dans le domaine du commerce en formation professionnelle initiale duale

JAN David

Originaire de Oron (VD)

<figure><img src="image_4.png" /></figure>

Thèse de doctorat cumulative présentée devant la Faculté des lettres et des sciences humaines de l'Université de Fribourg (Suisse). Approuvé par la Faculté des lettres et des sciences humaines sur proposition des professeurs :

• BERGER Jean-Louis (directeur, Université de Fribourg)

• COEN Pierre-François (codirecteur, Université de Fribourg)

• DELOBBE Nathalie (rapporteure, Université de Genève)

• DETROZ Pascal (rapporteur, Université de Liège)

Fribourg, le 6 mai 2025

Le doyen, professeur SCHÖBI Dominik
<figure><img src="image_5.png" /></figure>

Couverture produite par Stable Diffusion 3.5 selon ma représentation graphique de la fonction d'évaluateur et des facteurs conduisant des professionnels du commerce à consacrer du temps pour l'évaluation des apprentis.
# Motivation, référentialisation et conception de l'évaluation des évaluateurs aux examens pratiques

Trois études dans le domaine du commerce en formation professionnelle initiale duale

JAN David

Originaire de Oron (VD)

## Membres du jury

- Professeur BERGER Jean-Louis (directeur, Université de Fribourg)

- Professeur COEN Pierre-François (codirecteur, Université de Fribourg)

- Professeure DELOBBE Nathalie (rapporteure, Université de Genève)

- Professeur DETROZ Pascal (rapporteur, Université de Liège)

- Professeure HEINZER Sarah (assesseure, Université de Fribourg)

- Professeure OGAY Tania (présidente, Université de Fribourg)
<figure><img src="image_6.png" /></figure>
Remerciements

Un grand merci à Keiko, ma princesse, pour ses encouragements et son soutien.

Merci à mes parents : ma maman, elle a corrigé avec abnégation mes erreurs d'écriture d'hier et d'haujourd'ui et mon papa, il m'a conseillé de débuter une nouvelle formation dont la touche finale, neuf ans plus tard, est ce doctorat. Certes il n'est pas en saucinologie, mais c'est bien quand même ?

Je remercie très très fortement mon directeur Jean-Louis et mon codirecteur Pierre-François, ils ont contribué à rendre la réalisation de ce travail plaisante. Je tiens aussi à remercier mes collègues de travail, ainsi que les participantes et participants qui m'ont aidé et ont contribué lors de mes recherches. Sans eux, rien n'aurait été possible.

Merci également dogteur Hime pour ses précieux conseils. Enfin, je souhaite adresser une pensée toute particulière à Corinne, sans laquelle je n'aurais probablement pas eu le déclic pour entamer une thèse...
<figure><img src="image_7.png" /></figure>

Pour l'expert, l'examen doit être un objet social qui devrait contribuer à instaurer la confiance en soi de la personne qui le vit, afin de se maintenir dans la vie professionnelle avec un esprit positif.

Cela doit lui permettre de se motiver pour approfondir la matière de son contenu dans le but d'une progression cognitive ou pratique, applicable sur le terrain de sa profession.

Francine Humbert-Droz<fnref n="1" />

<figure><img src="image_8.png" /></figure>

<footnote n="1">¹ Successivement mon évaluatrice, une co-évaluatrice, ma collègue. Mais surtout mon amie.</footnote>
Résumé

Dans le domaine du commerce de détail en formation professionnelle initiale, les apprenties et apprentis passent plusieurs évaluations, dont l'examen pratique qui se déroule dans l'entreprise formatrice en fin de formation. L'examen pratique dure, correction comprise, deux heures. La note obtenue est éliminatoire ; un résultat insuffisant empêche la diplomation, indépendamment des résultats obtenus dans les autres domaines d'évaluation, tels que les branches professionnelles enseignées à l'école professionnelle.

Cette thèse s'intéresse spécifiquement aux évaluateurs et évaluatrices décidant, selon un système par engagement volontaire, de conduire ces examens pratiques. La construction repose sur trois publications, fondées sur deux questionnaires et deux focus groups. Trois principaux thèmes ont été étudiés : la motivation à exercer la fonction d'évaluateur ; la référentialisation opérée pour l'évaluation des examens pratiques et la conception de l'évaluation par les évaluateurs. Ces informations peuvent contribuer à prévenir les pénuries et à renforcer l'engagement des évaluateurs en activité.

Nos principaux résultats mettent en avant une importance majeure de l'expérience en tant qu'évaluateur, tandis que des facteurs, tels que les formations pédagogiques ou les critères sociodémographiques donnent des résultats non significatifs. La motivation des évaluateurs est principalement autonome, mais inclut aussi des motivations contrôlées, comme la recherche d'une plus-value pour eux-mêmes ou pour la formation des apprentis. Nous le voyons par la conception de l'évaluation comme autorégulation, permettant aux évaluateurs d'améliorer la formation qu'ils dispensent à leurs apprentis. Enfin, nous montrons que la conception critériée de l'évaluation prédomine, tandis que l'approche normative n'est pas significativement présente.

Mots-clés

formation professionnelle initiale duale

référentialisation

motivation

conception de l'évaluation

satisfaction des besoins fondamentaux
Pour faciliter la lecture du document, le masculin générique est utilisé pour désigner les deux sexes. Ainsi, les évaluatrices et évaluateurs sont regroupés sous le terme « évaluateurs ». À titre d'information, dans le contexte de la formation professionnelle, ces personnes sont habituellement désignées par le terme « PEX », issu de l'allemand et signifiant : Prüfungsexperten.
Table des matières

<table><tr><td>1. Introduction</td><td>1</td></tr><tr><td>2. Domaine de la formation professionnelle</td><td>2</td></tr><tr><td>2.1. Chercheur issu du terrain de recherche</td><td>2</td></tr><tr><td>2.2. Place de la FPI dans le système éducatif suisse</td><td>3</td></tr><tr><td>2.3. Formation professionnelle initiale, entre système éducatif et monde professionnel</td><td>6</td></tr><tr><td>3. Particularités des examens pratiques</td><td>13</td></tr><tr><td>4. Problématique</td><td>21</td></tr><tr><td>4.1. Etat de la recherche sur la formation professionnelle initiale</td><td>23</td></tr><tr><td>5. Cadrage théorique</td><td>26</td></tr><tr><td>5.1. Référentialisation des évaluateurs</td><td>27</td></tr><tr><td>5.2. Motivation à la fonction d'évaluateur</td><td>28</td></tr><tr><td>5.3. Conception de l'évaluation des évaluateurs</td><td>36</td></tr><tr><td>6. Approche méthodologique</td><td>37</td></tr><tr><td>6.1. Participants</td><td>37</td></tr><tr><td>6.2. Choix méthodologique</td><td>40</td></tr><tr><td>6.3. Cadre éthique du projet</td><td>41</td></tr><tr><td>6.4. Posture épistémologique</td><td>42</td></tr><tr><td>7. Questions de recherche</td><td>43</td></tr><tr><td>8. Premières explorations</td><td>45</td></tr><tr><td>9. Publication 1 : Validité de l'examen pratique</td><td>47</td></tr><tr><td>9.1. Apports de la publication 1</td><td>86</td></tr><tr><td>10. Publication 2 : Evaluer une pratique professionnelle</td><td>88</td></tr><tr><td>10.1. Apports des publications 1 et 2</td><td>115</td></tr><tr><td>11. Publication 3 : La fonction d'évaluateur·rices aux examens pratiques</td><td>117</td></tr><tr><td>11.1. Apports de la publication 3</td><td>141</td></tr><tr><td>12. Discussion</td><td>141</td></tr><tr><td>12.1. Positionnement personnel</td><td>145</td></tr><tr><td>12.2. Limites</td><td>146</td></tr><tr><td>12.3. Perspectives</td><td>147</td></tr><tr><td>13. Abréviations</td><td>149</td></tr><tr><td>14. Bibliographie</td><td>150</td></tr></table>
Liste des figures

<table><tr><td>Figure 1 Système éducatif suisse</td><td>5</td></tr><tr><td>Figure 2 Evaluations et examens pour la validation de la FPI</td><td>10</td></tr><tr><td>Figure 3 Examen pratique en situation</td><td>12</td></tr><tr><td>Figure 4 Continuum d'autodétermination</td><td>29</td></tr><tr><td>Figure 5 Modèle hiérarchique de la motivation</td><td>34</td></tr><tr><td>Figure 6 Langues et domaines des participants des trois publications</td><td>39</td></tr></table>
Liste des tableaux

<table><tr><td>Tableau 1 Répartition du temps travail selon les lieux de formation</td><td>7</td></tr><tr><td>Tableau 2 Le croisement fonctions x démarches (issu de De Ketele, 2010, p. 30)</td><td>15</td></tr><tr><td>Tableau 3 Motivation à la fonction d'évaluateur</td><td>31</td></tr><tr><td>Tableau 4 Langues et domaines des participants des trois publications</td><td>38</td></tr><tr><td>Tableau 5 Rigueur scientifique</td><td>42</td></tr></table>
# Liste des publications

## Publication 1 Validité de l'examen pratique

Jan, D. (2024). La validité de l'examen pratique sous le regard des experts en formation professionnelle initiale dans la branche du commerce de détail en Suisse. *Mesure et Évaluation en Éducation, 47*(2), 1-38.

## Publication 2 Évaluer une pratique professionnelle

Jan, D. et Berger, J.-L. (2025). Evaluer une pratique professionnelle : besoins psychologiques, motivation et conceptions de l'évaluation des évaluateurs. *Évaluer. Journal international de recherche en éducation et formation, 11*(1), 3-28.
https://doi.org/10.48782/e-jiref-11-1-3

## Publication 3 La fonction d'évaluateur·rices aux examens pratiques

Jan, D., Berger, J.-L. et Coen, P.-F. (2024, prépublication). La fonction d'évaluateur·rices aux examens pratiques: motivation, légitimité et influence sur le travail quotidien. *La Revue LEeE, Varia*. https://revue.leee.online/index.php/info/article/view/235
<figure><img src="image_9.png" /></figure>
# 1. Introduction

La formation professionnelle initiale (FPI) en alternance (ou duale selon les contextes) est une voie de formation qui a véritablement pris forme vers la fin du 19ᵉ siècle (Berner et Bonoli, 2018; Bonoli, 2015). Au cours de la FPI, une personne acquiert les compétences nécessaires à l'exercice d'un métier en étant, pour une partie de son temps de travail hebdomadaire, employée dans une entreprise formatrice et, pour une autre partie, en suivant des cours en école. La validation de la formation comprend, entre autres, la venue dans l'entreprise formatrice de professionnels du métier, les évaluateurs. Ils viennent pour évaluer les compétences opérationnelles (Le Boterf, 2016, 2018; Seufert, 2018), celles-ci désignent la capacité de la personne en formation à mobiliser des ressources pertinentes afin de répondre aux exigences d'une situation professionnelle spécifique.

En l'absence de connaissance préalable du contexte et selon l'idée de condenser cette thèse en une phrase, on peut débuter la lecture en ayant en tête que l'on étudie : Les facteurs conduisant des professionnels du commerce à consacrer du temps libre pour l'évaluation des apprentis d'autres entreprises.

Cette thèse porte sur l'engagement et les pratiques des évaluateurs réalisant les examens de fin de formation, spécifiquement dans le domaine du commerce. Premièrement nous analyserons la fonction d'évaluateurs d'un point de vue individuel, selon la motivation (Ryan et Deci, 2000, 2017; Vallerand, 1997), la conception de l'évaluation (Issaieva et Crahay, 2010; Luisoni et Monnard, 2015; Nadeau, 2009; Yerly et Berger, 2022) ainsi que la satisfaction des besoins psychologiques (Baumeister et Leary, 1995; Gillet et al., 2008) des évaluateurs dans le cadre de cette tâche. Deuxièmement, d'un point de vue de la fonction d'évaluateur, en interrogeant la manière dont les correcteurs construisent leur « jugement », (Bressoux, 2018) influencés par le contexte et les conditions de déroulement des examens pratiques. Le contexte des examens pratiques nous amènera ainsi à questionner le référentiel d'évaluation (Figari, 1994) selon lequel les apprentis sont évalués (De Ketele, 2010; Pasquini, 2019).

Les chapitres 2 et 3 permettent de comprendre globalement la FPI, puis spécifiquement l'examen pratique en entreprise. Dans le chapitre 4, nous développons la problématique, montrant l'intérêt de cette thèse ainsi que l'état de la recherche dans le domaine. Nous présentons, dans le chapitre 5, le cadre théorique mobilisé de manière transversale et complémentaire à nos publications. Le chapitre 6 présente les aspects méthodologiques. Les questions de recherche, chapitre 7, sont développées après avoir établi le cadre contextuel,
théorique et méthodologique, jugé essentiel à leur formulation. Puis, les trois publications sont présentées dans l'ordre de réalisation, entrecoupées des apports de l'une pour la suivante. Nous proposons alors une discussion sur les apports globaux des trois publications dans la thématique des examens pratiques en FPI, ainsi que sur les limites et perspectives de notre recherche.

Dans ce travail de thèse, l'évaluation et les compétences opérationnelles sont mobilisées mais restent en second plan, l'accent étant mis sur l'engagement d'individus pour la fonction d'évaluateur. Ainsi ce n'est pas la manière d'évaluer qui est analysée mais l'engagement à la réalisation des évaluations. De même, les compétences opérationnelles (Le Boterf, 2016, 2018; Seufert, 2018) servent à définir le cadre de déroulement des examens pratiques. Cependant, notre analyse est faite sur les conceptions que les évaluateurs ont des outils et du contexte dans lequel se déroulent les examens pratiques.

# 2. Domaine de la formation professionnelle

Nous présentons la FPI selon trois axes en lien avec cette thèse. Premièrement, nous expliquons comment nous sommes issus de notre propre terrain de recherche, puis, la place de la FPI dans le système éducatif suisse et enfin le fonctionnement de la FPI.

## 2.1. Chercheur issu du terrain de recherche

Bien que les réflexions développées dans cette thèse soient construites en lien avec la période relativement courte des examens pratiques, ceux-ci ne constituent qu'un moment de la formation professionnelle initiale duale. Cette partie, décrivant mon expérience de ce terrain de recherche, aimé et connu de l'intérieur, est rédigée à la première personne. En quelque 20 ans d'expérience, j'ai endossé la majorité des rôles en lien avec la FPI. J'ai d'abord travaillé dans un commerce de détail en alimentation, ce qui correspond aux magasins vendant des produits alimentaires pour les particuliers. J'ai ensuite passé mon examen pratique et obtenu le certificat fédéral de capacité (CFC) de gestionnaire du commerce de détail et j'ai occupé un poste de cadre dans le magasin d'un grand groupe alimentaire. Par la suite, j'ai encadré des apprentis, enseigné en école professionnelle et dispensé des cours interentreprises<fnref n="1" />. J'ai également formé des professionnels qualifiés et futurs évaluateurs, en dispensant les cours à

<footnote n="1">¹ Troisième lieu de formation qui complète la formation pratique et théorique en reliant la formation en entreprise formatrice et en école professionnelle (SEFRI, 2022a).</footnote>
la Haute école fédérale en formation professionnelle (HEFP). Durant les périodes d'examens pratiques, je suis engagé dans deux fonctions. Pour la branche du commerce alimentation, je fonctionne en tant qu'évaluateur dans les entreprises formatrices. Pour la branche du commerce kiosque, je fonctionne en tant que responsable des évaluateurs chargés de faire passer les examens pratiques. Cela me permet, pour la branche alimentation, d'agir au niveau opérationnel et, pour la branche kiosque, d'agir au niveau organisationnel, en contact avec les autorités cantonales.

Ces diverses fonctions m'ont permis de développer une bonne connaissance et expérience du terrain ainsi qu'un réseau étendu que j'ai pu mobiliser pour les études menées dans le cadre de cette thèse. J'ai donc bénéficié d'un accès facilité, des contributions actives de pairs connus qui ont fait preuve d'une grande implication, de réactivité à mes demandes de participation et d'une grande sympathie envers moi. Cependant, étudier un terrain dont on est issu (Cunliffe et Karunanayake, 2013) fait courir le risque d'un biais de confirmation (Oswald et Grosjean, 2004), tant dans les présupposés que dans les interprétations réalisées. Ainsi qu'un biais de désirabilité sociale de la part de participants, connus pour la plupart (Cassignol-Bertrand et Constant, 2007). Pour pallier, au mieux, à ces risques, j'utilise sur un plan de recherche limitant les contacts directs, et donc les influences réciproques avec les participants. Ce point est approfondi au chapitre 6.

La période de réalisation de cette thèse a également son importance. Le Secrétariat d'État à la formation, à la recherche et à l'innovation (SEFRI) a validé une réforme des ordonnances du commerce de détail en 2022 (SEFRI, 2022b, 2022c) et des employés de commerce en 2023 (SEFRI, 2021b, 2021a). Ce qui a suscité un mouvement parmi la population des évaluateurs. Certains des évaluateurs actifs ont continué leur engagement, d'autres ont préféré mettre un terme à cette activité, tandis que de nouvelles personnes ont commencé à s'y intéresser. Des changements aussi ostensibles s'opèrent généralement uniquement lors de ce type de réforme, qui agit comme un catalyseur redéfinissant les rôles et les attentes. Dans ce contexte, ces transformations constituent un moment opportun pour débuter une enquête auprès des personnes concernées. Ces réformes, en modifiant les équilibres existants, peuvent permettre de mieux comprendre les motivations, les choix et les expériences des évaluateurs à un moment de transition rare et significatif.

## 2.2. Place de la FPI dans le système éducatif suisse

Les premières traces de la FPI remontent à la fin du 19e siècle. Elle visait, et vise encore, deux buts : former une main d'œuvre qualifiée et intégrer les jeunes dans le monde du travail
(Bonoli, 2015). Cette filière de formation est solidement implantée en Suisse (Emmenegger et al., 2018), ainsi en 2022, à la fin de l'école obligatoire, 65,1%<fnref n="2" /> des jeunes suivent une FPI alors que 34,9% d'entre eux choisissent une formation en école (de culture générale ou de maturité gymnasiale) selon l'office fédéral de la statistique (OFS) (2024a).

Selon la description de l'ordonnance sur la formation professionnelle (OFPr) (2003), deux titres sont accessibles par FPI. L'attestation fédérale de formation professionnelle (AFP), en deux ans, destinée aux personnes ayant des aptitudes essentiellement pratiques (Stern et al., 2010) et le certificat fédéral de capacité (CFC), en trois ou quatre ans en fonction du domaine de formation choisi. Le système est conçu de sorte à permettre de suivre ensuite des formations plus exigeantes, passant par exemple de l'AFP au CFC, puis d'accéder aux formations professionnelles supérieures (SEFRI, 2017).

La formation professionnelle initiale est, comme son nom l'indique, une « formation initiale » pouvant être entreprise dès 16 ans, pour la majorité des jeunes gens, sitôt leur scolarité obligatoire accomplie, sans prérequis particulier. Ce faisant, réaliser une FPI, de type APF ou CFC, dans l'un des 245 métiers actuellement proposés, permet l'obtention d'une certification selon l'office fédéral de la statistique (OFS) et la classification internationale des types d'éducation<fnref n="3" /> (CITE) élaborée par l'organisation des nations unies pour l'éducation, la science et la culture (UNESCO), de niveau CITE 3 (OFS, 2015; UNESCO, 2013). La figure 1, réalisée par la conférence suisse des directeurs cantonaux de l'instruction publique (CDIP) (2024) présente le système éducatif suisse et les niveaux CITE. La FPI, représentée en vert olive, couvre des niveaux CITE 34 et 35, qui sont des sous-distinctions au sein du niveau CITE 3, mais qui ne sont pas pertinents dans le cadre de cette thèse.

<footnote n="2">² Selon les sources, le nombre de décimales varie au cours du texte. Nous utilisons toujours l'information la plus précise.</footnote>

<footnote n="3">³ « International standard classification of education » (ISCED) en anglais.</footnote>
<figure><img src="image_10.png" /><figcaption>**Figure 1**
Système éducatif suisse</figcaption></figure>
L'objectif de la CDIP (2023), responsable de la coordination fédérale en matière d'éducation et de culture, est d'atteindre un taux de 95% de certification au niveau CITE 3. Le taux de certification au niveau CITE 3 des jeunes de 25 ans formés en Suisse est actuellement à 90.7% selon l'OFS (2023). Le potentiel de la FPI pour atteindre ces objectifs est grand. Si l'on se penche sur la réorientation des élèves, par des analyses longitudinales (Laganà et Babel, 2018), on observe qu'une majorité de transferts se fait dans le sens de la formation en école (FE) vers la FPI. Ensuite, lorsqu'on observe le taux de sortie du système sans réentrée dans une autre formation, il s'élève à 47.9% en FPI contre 13.9% en FE (Laganà et Babel, 2018). Autrement dit, sur 100 élèves ayant quitté une FE, presque 14% ne sont pas revenus en formation alors que sur 100 élèves ayant quitté une FPI presque 48% ne sont pas revenus en formation. Ce faisant, les personnes sans certification sont principalement issues de FPI qui se sont soldées par une résiliation du contrat d'apprentissage. Les raisons de ces résiliations de contrat, multiples, ne seront cependant pas abordées dans cette thèse (Bosset et al., 2020; Cart et Trelcat, 2010; Graf et al., 2024; Kriesi et al., 2016).

### 2.3. Formation professionnelle initiale, entre système éducatif et monde professionnel

Les personnes qui entreprennent une FPI ne sont plus appelées « élèves », mais « apprentis » car ils réalisent leur formation en passant 3 à 4 jours dans une entreprise formatrice et 1 à 2 jours dans une école professionnelle ou dans des cours interentreprises. Selon le métier choisi, 90.3% des apprentis suivent leur formation en entreprise et 9.7% en école (SEFRI, 2022a). Dans le deuxième cas de figure, la formation pratique pour les formations initiales en école est acquise en écoles de métiers et durant un stage pratique en entreprise (OFPr, 2003).

Une entreprise qui souhaite former des apprentis doit se soumettre à plusieurs conditions : a) le métier proposé doit être reconnu sur le plan Suisse (SEFRI) (2024) ; b) elle doit avoir obtenu le droit de former des apprentis aux conditions dictées par le Secrétariat d'Etat à l'économie (SECO) (2024) ; c) elle doit disposer d'un formateur responsable et capable d'accompagner et former l'apprenti (Lamamra, 2020; Lamamra et al., 2018) à la pratique professionnelle selon la loi fédérale sur la formation professionnelle (LFPr) (2002).

Dans ce sens, une entreprise formatrice doit répondre au cahier des charges de l'ordonnance du métier (SEFRI, 2024), celle-ci spécifie, par exemple, les activités ou machines que l'apprenti devra pouvoir éprouver durant sa formation. De plus, la future entreprise formatrice doit garantir la présence d'un formateur en entreprise ayant suivi le cours de « formateur en entreprise » (OFPr, 2003) et détenteur du titre visé par les apprentis.
Pour formaliser juridiquement cette formation, un contrat d'apprentissage est signé par l'apprenti (ou son représentant légal s'il est encore mineur), par l'entreprise formatrice et par un représentant cantonal<fnref n="4" />. Ce contrat du Centre suisse de services Formation professionnelle | orientation professionnelle, universitaire et de carrière (CSFO) (2023) régit divers points, pour toute la durée de la formation, tels que l'école professionnelle à fréquenter, le salaire brut, les horaires de travail, les vacances et autres dispositions particulières.

Ainsi, la différence entre une « entreprise » et une « entreprise formatrice » réside simplement dans le fait que cette dernière a choisi de prendre des apprentis en formation.

Les apprentis vont partager leur temps de travail entre trois lieux de formation (SEFRI, 2022a) complémentaires : l'entreprise formatrice, l'école professionnelle et le centre dispensant les cours interentreprises. Les durées sont variables selon le type de FPI, le tableau 1, reproduit spécifiquement la répartition du temps de travail selon les lieux de formation dans le domaine du commerce de détail (SEFRI, 2022b, 2022c). Bien que la durée d'une AFP soit plus courte que celle d'un CFC, le temps passé dans chacun des trois lieux de formation sont proches.

<table><caption>**Tableau 1**
Répartition du temps travail selon les lieux de formation</caption><thead><tr><th rowspan="2">Formation</th><th colspan="2">AFP (2 ans)</th><th colspan="2">CFC (3 ans)</th></tr><tr><th>temps de travail</th><th>proportion</th><th>temps de travail</th><th>proportion</th></tr></thead><tbody><tr><td>Entreprise formatrice</td><td>376 jours<br>(4 jours par semaine)</td><td>84%</td><td>494 jours<br>(3.5 jours par semaine)</td><td>77%</td></tr><tr><td>École professionnelle</td><td>60 jours<br>(720 périodes<sup>5</sup>)</td><td>14%</td><td>130 jours<br>(1'560 périodes)</td><td>21%</td></tr><tr><td>Cours interentreprises</td><td>8 jours<br>(8 jours)</td><td>2%</td><td>10 jours<br>(10 jours)</td><td>2%</td></tr><tr><td>Total</td><td>444 jours</td><td>100%</td><td>634 jours</td><td>100%</td></tr></tbody></table>

Selon les trois lieux de formation, les apprentis sont regroupés différemment (SEFRI, 2022a). Dans chacune des entreprises formatrices, les apprentis sont spécifiquement formés à un métier d'une branche, par exemple celui de « gestionnaire du commerce de détail en alimentation » ou alors « gestionnaire du commerce de détail en articles de sport ». Les entreprises accueillent généralement un seul apprenti par année scolaire. À l'école

<footnote n="4">⁴ Bien que la FPI soit régie de manière fédérale (confédération helvétique), la mise en pratique et le suivi se fait au niveau régional (cantons composant la confédération helvétique).</footnote>

<footnote n="5">⁵ Une période de cours dure 45 minutes.</footnote>
professionnelle, les apprentis sont regroupés plus largement, selon le domaine des « gestionnaires du commerce de détail » englobant l'alimentation ainsi que 22 autres branches. Enfin, lors des cours interentreprises, le regroupement s'effectue par branche, ainsi les classes sont uniquement composées de « gestionnaires du commerce de détail en alimentation », mais issus de différentes entreprises. Ces regroupements différenciés selon les lieux de formation permettent une complémentarité entre la spécialisation dans une branche, l'élargissement des compétences générales du domaine, et le partage d'expériences entre pairs de diverses entreprises de la même branche.

Les trois lieux de formation ont également des fonctionnements institutionnels différents (Gurtner et al., 2018). L'entreprise formatrice privilégie les savoirs procéduraux alors que l'école professionnelle et les cours interentreprises favorisent les savoirs conceptuels (Greeno et al., 1993). Ainsi, l'entreprise formatrice vise à intégrer les apprentis de manière active dans son propre processus de production. Ceci permet aux apprentis d'acquérir les savoirs procéduraux pour exercer le métier de façon autonome (Gurtner et al., 2018). Dans l'entreprise formatrice, les collègues des apprentis, hormis le formateur en entreprise, sont avant tout des travailleurs productifs. Par conséquent, bien que l'entreprise formatrice constitue l'un des trois lieux de formation, elle reste avant tout un lieu de travail (Wettstein et al., 2018). Les bénéfices permettent aux entreprises de prospérer et de rémunérer à la fois leurs employés et leurs apprentis. L'école professionnelle dispense la partie scolaire de la formation professionnelle ; celle-ci comprend l'enseignement des connaissances professionnelles, de la culture générale, du sport et de cours supplémentaires (Wettstein et al., 2018). Les cours supplémentaires peuvent être des cours de renforcement facultatifs, organisés pour faciliter l'apprentissage de la langue étrangère<fnref n="6" /> apprise durant la FPI ainsi que les connaissances professionnelles afin de prévenir et de combler d'éventuelles lacunes. D'autres cours ont pour objectif de préparer les apprentis à la maturité professionnelle, qui leur permettra d'accéder aux hautes écoles spécialisées ou, par le biais de passerelles, à l'université. Les cours interentreprises ont une approche didactique située entre l'école professionnelle et l'entreprise formatrice (Maurer et Hauser, 2021). Les apprentis peuvent expérimenter des situations problématiques de leur métier dans un cadre protégé, sans contraintes de rentabilité. Les activités sont simulées et les erreurs n'affectent ni l'image de l'entreprise ni son chiffre d'affaires (Meier et al., 2022; Sappa et Aprea, 2018). Ce sont les associations professionnelles des branches, telles que « gestionnaires du commerce de détail

<footnote n="6">⁶ Langue étrangère fait référence à deux choses : une autre langue que celle choisie lors de la signature du contrat de FPI (les choix possibles sont le français, l'allemand ou l'italien) ; une langue enseignée dans l'école professionnelle (les choix possibles sont le français, l'allemand, l'italien ou l'anglais).</footnote>
en alimentation », qui gèrent les cours interentreprises mais les cours sont financés par les entreprises formatrices. L'objectif de cette organisation est de favoriser une adaptation rapide et ciblée des cours aux besoins des entreprises.

Les trois lieux sont complémentaires tout en ayant leurs propres limites (Lamamra, Bonoli, et al., 2018), telles que des contraintes de production en entreprise formatrice, le caractère théorique de l'école professionnelle ou la durée très limitée attribuée aux cours interentreprises. Gurtner et ses collègues relèvent également un aspect de boîte noire dans les interactions entre ces divers lieux que les apprentis doivent apprendre à décrypter par eux-mêmes (2018). En effet, bien que l'entreprise formatrice, l'école professionnelle et les cours interentreprises soient directement liés aux apprentis, la collaboration inter-lieux est faible (Sauli, 2021). Ainsi, l'apprenti se retrouve avec un rôle de messager entre les divers lieux de formation.

### 2.3.1. Evaluation des apprentissages durant la formation

Les apprentis seront amenés à démontrer leurs compétences à plusieurs reprises au cours de leur parcours dans les trois lieux de formation. Durant leur formation, les apprentis évoluent entre deux systèmes, Sauli parle même d'une frontière (2021) avec d'un côté l'entreprise formatrice et de l'autre côté l'école professionnelle ou les cours interentreprises, qui ont leurs propres pratiques évaluatives. Dans l'entreprise formatrice, l'employeur observe et juge son employé sur la base de ses productions. Il s'agit d'une évaluation formative continue porteuse de sens et dont la fonction essentielle est d'améliorer les actions du futur professionnel (De Ketele, 2010). À l'école professionnelle et aux cours interentreprises, des notes sont attribuées à l'issue d'évaluations pouvant prendre plusieurs formes telles que examens sur table, tâches à réaliser individuellement ou collectivement. La démarche sommative va certifier les résultats obtenus (De Ketele, 2010). Dans les deux cas, la personne en formation est en contact avec ses évaluateurs tout au long de son apprentissage. Au terme de la formation, un examen pratique est organisé dans l'entreprise où l'apprenti fait sa formation. Ce dernier se retrouve face à une personne inconnue qui va certifier ses compétences sur la base d'observations en situation pratique (Brown et al., 1989; Mottier Lopez et Allal, 2008). Cet examen dure 60 minutes pour l'AFP et 90 minutes pour le CFC.
La figure 2 présente deux périodes de la FPI : d'une part, les évaluations menées au cours de la formation représentées par les flèches dirigées vers le bloc rouge<fnref n="7" /> et d'autre part, les examens de fin de formation symbolisés par les quatre flèches pointant vers la fin.

<figure><img src="image_11.png" /><figcaption>**Figure 2**

*Evaluations et examens pour la validation de la FPI*</figcaption></figure>

Selon le bloc rouge de la figure 2, l'apprenti réalise tout au long de sa formation des évaluations prises en compte dans des bulletins semestriels (SEFRI, 2022c). Ces évaluations ont lieu dans les trois lieux de formation et prennent diverses formes telles que travaux écrits, travaux oraux, travaux pratiques, entretiens, créations numériques, voire autres. Selon la moyenne semestrielle obtenue à l'école professionnelle, les apprentis peuvent être transférés d'une formation CFC à une AFP en fonction des exigences, accéder à des cours supplémentaires ou encore redoubler une année. L'entreprise formatrice, liée à l'apprenti par un contrat de travail, peut, conformément aux règles et pratiques en vigueur, mettre fin à ce contrat si les conditions légales et les justifications nécessaires sont respectées. Les résultats des cours interentreprises comptent tout au long de la formation mais n'ont pas d'incidence directe sur le parcours de l'apprenti.

Selon un système de pondération, les diverses évaluations du bloc rouge donnent la « note combinée » qui représente 30% de la moyenne finale. Cette note, construite tout au long de la formation, représente l'expérience cumulée des trois lieux de formation. A cette note s'ajoutent deux examens, bloc vert, réalisés en école professionnelle, basés sur la « connaissance professionnelle » et la « culture générale », ils comptent respectivement pour

<footnote n="7">⁷ Le nombre de flèches constituant ce bloc ne peut pas être défini avec précision. Ainsi, les huit flèches représentées sont arbitraires et ont une fonction purement illustrative.</footnote>
30% et 10% dans le résultat final. Enfin, l'examen pratique, bloc bleu, réalisé dans l'entreprise formatrice compte pour 30% de la note finale. Seul cet examen se distingue par son caractère éliminatoire : la note obtenue doit être suffisante pour être validée, sans possibilité de compensation par les résultats des autres évaluations (SEFRI, 2022c).

### 2.3.2. Examen pratique

L'examen pratique se déroule en fin de formation, dans l'entreprise formatrice de l'apprenti. L'organisation de cet examen incombe au chef expert sur mandat des cantons (LFPr, 2002). Selon les domaines, il gère un ou plusieurs cantons, une ou plusieurs régions linguistiques ou un ou plusieurs domaines du commerce (par exemple : papeterie et jouets). Sous mandat du canton, le chef expert surveille le bon déroulement des examens pratiques. Cela consiste principalement à gérer administrativement les examens en informant les apprentis de la date de leur examen pratique, en mandatant deux évaluateurs pour se rendre dans les entreprises de ces apprentis afin de réaliser leur examen, puis en transmettant les résultats au canton (LFPr, 2002; SFP, 2023). Les évaluateurs, en période d'examens pratiques deviennent ainsi des employés cantonaux, tenus au secret de fonction et au devoir de discrétion selon la loi fédérale sur la protection des données (2020). Ainsi, ils ont l'interdiction : a) de divulguer toute information sur le déroulement des examens pratiques réalisés (par exemple : divulguer le résultat à une personne tierce ou utiliser des questions issues des protocoles d'examen pour préparer leurs propres apprentis) ou b) de profiter du statut d'évaluateur pour accéder à des informations ne concernant pas l'examen pratique en cours (par exemple : questionner l'apprenti sur la gestion des déchets sans que la question soit abordée dans le protocole).

Pour l'apprenti, l'examen dure pour une AFP 60 et pour un CFC 90 minutes. A ce temps s'ajoute pour les évaluateurs la préparation des protocoles d'examens pratiques, le déplacement à l'entreprise de l'apprenti puis la correction et la négociation d'une note commune. Les durées de déplacements sont variables tandis que préparation, correction et attribution de la note occupent habituellement une heure par apprenti. La figure 3 présente une situation typique de l'examen pratique. L'apprentie, à droite, est vêtue de sa tenue de travail aux couleurs de son entreprise ; un bloc-notes vierge est le seul support dont elle peut user. Les évaluateurs, en vêtements civils, disposent du protocole d'examen pratique<fnref n="8" /> comprenant les questions qui devront toutes être posées dans le temps imparti. Les deux évaluateurs, désignés respectivement comme évaluateur 1 et évaluateur 2, remplissent des

<footnote n="8">⁸ Exemple d'un examen pratique : www.recherche-formation.com/pq</footnote>
rôles et suivent des règles distinctes. L'évaluateur 1 pose les questions, interagit avec l'apprentie, il doit venir d'une entreprise n'appartenant pas au même groupe d'enseigne que celui où se déroule l'examen pratique. L'évaluatrice 2 note les réponses de l'apprentie, elle peut venir de la même enseigne que celle où se déroule l'examen pratique mais ne doit pas employer l'apprentie évaluée. Le déroulement de l'examen pratique suit plusieurs modalités d'interactions entre les évaluateurs et l'apprenti. Ces modalités sont, par exemple, des jeux de rôle (l'évaluateur 1 prend le rôle de client et lui demande des conseils sur l'achat de produits), des questions ouvertes sur l'entreprise ainsi que sur les produits et services fournis par celle-ci (l'évaluateur 1 demande d'expliquer le déroulement d'un retour de marchandise au fournisseur), des questions à développement dont le thème est présenté à l'apprenti qui disposera de quelques minutes pour préparer et structurer sa réponse à l'aide des produits, outils et supports de son entreprise (par exemple : l'évaluateur demande à l'apprentie d'imaginer une zone promotionnelle sur le thème des produits biologiques). Lors de la correction, hors de la présence de l'apprentie, les deux évaluateurs définissent ensemble l'attribution des points donnant le résultat à transmettre au chef expert.

<figure><img src="image_12.png" /><figcaption>**Figure 3**

*Examen pratique en situation*</figcaption></figure>
Comme le montre la figure 3, l'examen se déroule en situation réelle<fnref n="9" />. Ainsi, des clients font leurs courses, les collègues de l'apprenti sont en plein travail et d'autres réalités du quotidien d'une entreprise peuvent interférer avec l'examen. Il est de la responsabilité des évaluateurs de limiter les perturbations pouvant survenir.

Les évaluateurs ne conçoivent pas eux-mêmes les questions des protocoles des examens pratiques. Pour en comprendre la construction, prenons l'exemple de la FPI de gestionnaire du commerce de détail en alimentation. Le texte législatif, le plus général est la loi fédérale sur la formation professionnelle (LFPr, 2002) suivi de l'ordonnance sur la formation professionnelle (SEFRI, 2022d), ces deux textes s'appliquent à l'ensemble des FPI. Ensuite l'ordonnance de gestionnaire du commerce de détail (SEFRI, 2022c) correspond aux 22 branches dont l'alimentation. De ce texte découle le référentiel de compétences qui définit le nombre minimal de situations complexes et situées (Roegiers, 2010; Vial, 2012) pour couvrir adéquatement des compétences requises à l'exercice du métier (par exemple : Je suis capable d'évaluer les besoins de la clientèle et de les satisfaire dans le thème des conseils de cuisine). Ensuite, le plan de formation détermine les thèmes spécifiques à la branche alimentation (FCS, 2021b) servant à la conception des questions du protocole lues par l'évaluateur 1 lors de l'examen pratique (par exemple : Je souhaite cuisiner des asperges, pouvez-vous m'expliquer comment les préparer ?). Les examens devant se dérouler dans des conditions proches de la réalité, l'autonomie de l'évaluateur doit se limiter à adapter les questions à l'entreprise, ainsi dans une fromagerie la question peut devenir : Je souhaite concocter *une fondue*, pouvez-vous m'expliquer comment la cuisiner ?

## 3. Particularités des examens pratiques

Compte tenu de deux particularités des examens pratiques, à savoir l'importance de de cette évaluation dans la validation de la FPI et l'engagement volontaire des évaluateurs, nous allons mettre en lumière deux zones aveugles inhérentes à la conduite de ces examens.

### 3.1.1. De l'importance de l'évaluation en examen pratique

Les examens de fin de formation, en école professionnelle, dans les cours interentreprise et en entreprise formatrice, sont définis par les ordonnances du SEFRI (2022b, 2022c) et les plans de formation réalisés par l'association professionnelle de la formation du commerce de

<footnote n="9">⁹ Une vidéo de 3 minutes, utilisée dans le cadre d'un séminaire de l'université de Fribourg, permet de visualiser le déroulement d'une partie de l'examen pratique : www.recherche-formation.com/examen</footnote>
détail Suisse (FCS) (2021a, 2021b). Les examens des écoles professionnelles sont mis en place et réalisés par les enseignants de ces mêmes écoles. En entreprise formatrice, l'organisation est plus complexe, car selon la LFPr (2002), les formateurs en entreprise ne peuvent pas évaluer leurs propres apprentis. Ainsi, selon un fonctionnement par engagement volontaire, des évaluateurs sont chargés par les cantons de conduire les examens pratiques dans des entreprise qui ne sont pas celles où ils sont employés. Cette manière de fonctionner permet de porter un jugement sur les compétences pratiques des apprentis sans a priori ou, du moins, avec un maximum d'objectivité. Pour définir les compétences pratiques, nous nous appuyons sur les travaux de Le Boterf (2016, 2018), qui les caractérisent comme la capacité à mobiliser et combiner des ressources pertinentes (connaissances, savoir-faire, attitudes, outils) pour répondre aux exigences d'une situation professionnelle spécifique. Ainsi, les ressources auxquelles les apprentis doivent faire appel dépassent celles de l'entreprise formatrice en incluant également l'école professionnelle et les cours interentreprises. Elles s'inscrivent dans une logique de professionnalisation, où la compétence est perçue comme une mise en œuvre contextualisée et orientée vers l'atteinte de résultats pertinents. Cette approche insiste sur la dimension dynamique et évolutive des compétences, nourrie par l'expérience (Le Boterf, 2016, 2018).

Nous nous fondons sur la construction du tableau à deux entrées de De Ketele (2010), tableau 2, pour distinguer les « fonctions » et les « démarches » lors de l'évaluation. Ce tableau nous permet de bien présenter les différentes évaluations réalisées, tant à l'école professionnelle qu'en entreprise formatrice ou lors des examens pratiques. Particulièrement pour développer le positionnement que les évaluateurs vont adopter lors de l'examen pratique qui, par son contexte particulier, conditionne la démarche adoptée pour réaliser l'évaluation. Cependant, sans détailler l'ensemble des croisements, nous nous concentrons spécifiquement sur ceux qui servent le développement de notre propos.
Tableau 2

Le croisement fonctions x démarches (issu de De Ketele, 2010, p. 30)

<table><thead><tr><th>Fonctions →<br>Démarches ↓</th><th>Orientation<br>Préparer une nouvelle action</th><th>Régulation<br>Améliorer une action en cours</th><th>Certification<br>Certifier le résultat d'une action</th></tr></thead><tbody><tr><td>Sommative<br>Mettre une note</td><td>Ex. 1 : Attribuer une note à un test de prérequis<br>langagiers<br>Ex. 2 : Orienter un étudiant sur la base d'un dossier de notes scolaires (comme au terme du collège)</td><td>Ex. 1 : Attribuer une note à une interrogation en cours d'apprentissage sur les règles d'accord<br>Ex. 2 : Noter sur 10 points un « quizz test » de 10 questions de compréhension sur un texte en cours d'analyse</td><td>Ex. 1 : Attribuer une note à une composition française<br>Ex. 2 : Noter en fin d'année un test composite (analyse, conjugaison...)</td></tr><tr><td>Descriptive<br>Identifier et décrire</td><td>Ex.1 : Identifier parmi 10 prérequis de la lecture, ceux qui sont déjà maîtrisés par un élève du préscolaire<br>Ex. 2 : Identifier dans les questions d'examen de français de l'an dernier les questions qui posent problème</td><td>Ex.1 : Repérer dans la classe les élèves qui n'ont pas réussi un exercice individuel de conjugaison pour organiser un tutorat<br>Ex. 2 : Organiser un test diagnostique sur un apprentissage important (voir technique présentée dans le texte)</td><td>Ex. 1 : Remplir un bulletin descriptif (cocher dans une liste d'objectifs du cours de français ceux qui sont atteints de façon stable)<br>Ex. 2 : Rédiger un certificat mentionnant et décrivant les compétences langagières acquises</td></tr><tr><td>Herméneutique<br>Donner sens</td><td>Ex. 1 : Orienter un étudiant vers une filière littéraire sur la base de nombreux indices (résultats scolaires, observations, entretien)<br>Ex. 2 : Analyser finement en début d'année une première dictée et un premier texte libre des nouveaux élèves en vue de préparer les premières séquences</td><td>Ex. 1 : Observer et analyser les productions des élèves pendant une séquence de travail individuel en classe<br>Ex. 2 : Analyser les résultats d'un test diagnostique à la lumière d'une analyse de la façon dont les séquences d'apprentissage antérieures ont été réalisées</td><td>Ex. 1 : Préparer une réunion de parents sur la base d'un portfolio des productions significatives de ses élèves<br>Ex. 2 : Certifier le passage de classe, non seulement sur la base des notes obtenues en fin d'année, mais en tenant compte d'autres indices pertinents</td></tr></tbody></table>

Les fonctions décrivent la finalité d'une évaluation et peuvent être organisées en trois temporalités : avant, pour orienter une nouvelle action à réaliser ; pendant, pour réguler une action en cours et après, pour certifier une action terminée. Les démarches, également au nombre de trois, décrivent l'intention de l'évaluation. La démarche est ainsi « sommative » pour l'attribution d'une note résultant d'une addition ou soustraction de points par rapport à une réalisation. Une démarche « descriptive » consiste à identifier et décrire l'évaluation, selon une idée de diagnostic des lacunes à combler, en cours ou déjà comblées, en lien avec la fonction de l'évaluation. La troisième démarche, dite « herméneutique » par De Ketele (2010), correspond à une analyse qui, fondée sur des observations diverses, va donner du sens à aux informations recueillies.

Comme présenté en section 2.3, l'entreprise formatrice, l'école professionnelle et les cours interentreprises ont des objectifs de formation différents. En entreprise formatrice, la formation
consiste en l'apprentissage et le perfectionnement du métier. Les productions réalisées par l'apprenti sont évaluées selon une démarche descriptive. Le formateur en entreprise et les autres collègues qui travaillent avec l'apprenti chercheront moins à produire une mesure qu'à décrire les manques et les faiblesses du travail effectué, afin d'optimiser le résultat, ceci est bénéfique pour l'apprenti ainsi que pour l'entreprise dans son ensemble. Les trois fonctions sont applicables selon le moment de l'activité. En école professionnelle, les obligations institutionnelles d'attribution de notes pour les bulletins semestriels impliquent des évaluations principalement axées sur une démarche sommative avec une visée certificative. Les enseignants certifient l'atteinte des objectifs selon le plan de formation par des notes. Dans le cadre des cours interentreprises, des notes sont également attribuées, mais l'objectif principal est d'accompagner et de renforcer les compétences requises en entreprise. À l'image d'un stage de perfectionnement, ils soutiennent le travail effectué en entreprise. Les évaluations jouent un rôle de régulation en favorisant, en cours d'acquisition, l'amélioration des compétences. La démarche, basée sur des notes sans incidence immédiate sur le parcours de l'apprenti, est avant tout descriptive, elle permet d'identifier les axes d'amélioration pour ce dernier.

Dans le cadre des examens pratiques, le croisement entre fonction et démarche (De Ketele, 2010), se fait comme une évaluation à fonction certificative dans une démarche herméneutique. L'examen se déroulant en fin de formation, alors que tous les apprentissages définis par le plan de formation ont été réalisés, la fonction de certification est indéniable. Dans le cas de la démarche, le positionnement herméneutique est plus subtil. Concrètement, deux évaluateurs ont la mission d'attribuer une note d'examen de fin de formation à un apprenti inconnu, au sein d'une entreprise qui n'est pas la leur. Cette explication correspond parfaitement à la démarche « sommative ». Cependant, l'examen pratique représente la synthèse des apprentissages effectués dans les trois lieux de formation, il se déroule dans un contexte d'évaluation située (Vial, 2012) et s'accompagne de plusieurs modalités d'interactions entre les évaluateurs et l'apprenti, il devient, de ce fait bien plus que l'attribution d'une note. Ainsi, une démarche « descriptive » semble lui correspondre : les évaluateurs passent par l'ensemble des questions des protocoles d'examens pratiques en mentionnant les acquis et lacunes de l'apprenti. Mais l'examen pratique exige aussi l'évaluation des compétences opérationnelles, dont la traduction en allemand « Handlungskompetenz » (littéralement : « compétences d'actions ») qualifie mieux le concept, et doivent être évaluées par des professionnels du métier. Il ne suffit pas à l'apprenti de décrire comment il effectue une tâche, il doit démontrer ses compétences à réaliser la tâche par une action en situation (Mottier Lopez et Allal, 2008; Seufert, 2018). De même, selon une démarche
« herméneutique », donner du sens aux informations recueillies lors de l'évaluation implique un processus d'interprétation qui intègre le contexte et les interactions (Vial, 2012) et va au-delà de la simple mesure des résultats. Selon De Ketele (2010), l'évaluation ne peut être pleinement comprise qu'en tenant compte des éléments spécifiques à chaque situation d'apprentissage et en interprétant les performances de manière dynamique (Tourmen, 2014).

Cette interprétation repose sur des allers-retours constants entre la théorie et la pratique (Perrenoud, 2000), les évaluateurs observent les compétences en action et les relient aux savoirs théoriques, cela permet de rendre compte de la manière dont l'apprenti mobilise ses connaissances dans un contexte donné. L'examen pratique étant une construction entre l'activité réelle produite par l'apprenti et ce que souhaitent observer les évaluateurs, il peut réserver son lot de surprises. Comme le dit Jorro (2007, p. 6) : « le réel étant toujours en décalage avec le souhaitable », l'évaluation consistera en l'analyse de l'écart entre le réel et le souhaitable. Ces adaptations diverses et la compréhension de ces situations en action pour analyser si les compétences opérationnelles requises ont correctement été mobilisées nécessitent une évaluation par des « professionnels compétents » (Le Boterf, 2016).

Ainsi, une évaluation herméneutique dépasse le simple jugement de conformité aux normes académiques et vise à interpréter en profondeur la manière dont l'apprenti mobilise les compétences acquises au terme de son parcours (Tardif et Dubois, 2013), dans les trois lieux de formation, dans des situations concrètes. L'évaluateur doit appréhender la complexité du métier en mettant en place, par le biais de son protocole d'examen, les conditions permettant à l'apprenti de faire émerger suffisamment d'indices pertinents pour certifier ses compétences professionnelles.

### 3.1.2. Du nécessaire intérêt d'une évaluation par engagement volontaire

À l'école professionnelle, dans les cours interentreprises, les mêmes personnes vont « enseigner » la matière et les contenus puis « évaluer » les apprentissages des apprentis, comment cela se pratique usuellement à l'école obligatoire. En entreprise formatrice, on relève deux différences. Premièrement, selon la LFPr (2002), les fonctions sont distinctes, le formateur en entreprise « forme au métier », alors que l'évaluateur « évalue » l'acquisition des compétences nécessaires à l'exercice du métier. Une personne peut endosser les deux fonctions, c'est-à-dire « formateur en entreprise » et « évaluateur » ou une seule des deux. Quant à la seconde différence, alors que les « évaluateurs » sont des représentants officiels de l'administration cantonale durant les examens pratiques (Graf et al., 2024), les « formateurs en entreprise » travaillent dans les entreprises qui forment des apprentis. Ainsi, une personne ayant les deux fonctions est employée dans une entreprise, puis durant les examens pratiques,
elle est employée par les cantons et peut, potentiellement, se rendre dans toutes les
entreprises (sauf la sienne) où des apprentis ont à passer leur examen pratique. Selon une
série de données, non mobilisées dans notre article (Jan et Berger, 2025, publication 2), 84.3%
des évaluateurs sont également formateurs en entreprises. Nous n'avons en revanche pas de
données sur le nombre de formateurs en entreprise ayant la fonction d'évaluateur. Quelque
16% des évaluateurs ne sont pas formateurs en entreprises, ils doivent cependant être actifs
dans le domaine qu'ils évaluent, ainsi ils sont formateurs en cours interentreprises, acteurs
dans des institutions sociales accompagnant les apprentis ou simplement actifs dans une
entreprise n'ayant pas d'apprenti. En résumé, la formation des apprentis en entreprise relève
de la responsabilité des formateurs en entreprise, tandis que leur validation est assurée par
les évaluateurs sous l'autorité de la confédération, en collaboration avec les cantons, chargés
de la mise en œuvre de la procédure de qualification (LFPr, 2002; SFP, 2023).

La période d'examens pratiques, répartis sur le mois de mai, représente en moyenne trois
jours de travail annuel pour un évaluateur (Jan, 2024b, publication 1). Ainsi, la fonction n'est
pas un métier, mais une activité réalisée en dehors de heures de travail selon un système par
engagement volontaire. Les évaluateurs sont indemnisés pour ce mandat, à un tarif moindre
que le salaire habituel, ce qui est souvent perçu comme une bien faible gratification de la
reconnaissance de leur travail (Kägi, 2010). Toutefois, cette situation suscite également une
certaine fierté, liée aux faits d'exercer une fonction détachée d'une motivation financière (Jan
et al., 2024, prépublication, publication 3), et d'endosser un rôle de représentant de l'état
gratifié d'un pouvoir délégué par le secteur public sur le secteur privé. Ce type de
fonctionnement par participation volontaire à des activités à titre accessoire est cependant
bien implanté en Suisse (Lamprecht et al., 2020). Plus particulièrement dans la FPI, car le
système s'auto alimente de manière cyclique, l'apprenti réussit son examen, devient
évaluateur après quelques années (Graf et al., 2024; Mautz, 2023) et forme de nouveaux
apprentis, qui pourront eux-mêmes devenir évaluateurs.

Ensuite, le choix de mobiliser des évaluateurs actifs dans le domaine et venant d'entreprises
tierces se schématise en trois points. Premièrement, la validation des compétences en
contexte professionnel (Le Boterf, 2018) doit porter sur le référentiel de compétences requis
par le métier et non limitée aux compétences telles que requises à l'interne d'une entreprise.
Les titres AFP et CFC sont indépendants de l'entreprise formatrice, ils attestent que la
personne certifiée dispose des compétences pour exercer ce métier sur l'ensemble du
territoire suisse (pour l'imbrication entre les divers textes, voir section 2.3.2). Cette possibilité
de mobilité nationale est cependant limitée par les compétences langagières dans un pays où
quatre langues nationales sont reconnues. Cette reconnaissance dans l'ensemble du pays est
cependant importante, car dans les 15 mois suivant l'obtention du CFC, 40% des diplômés changent d'entreprise et 70% des titulaires de l'AFP font de même (Laganà et Babel, 2018). Deuxièmement, les évaluateurs doivent non seulement évaluer l'acquisition des compétences requises par la profession selon les demandes du plan de formation (FCS, 2021a, 2021b) mais aussi valider l'adéquation de ces compétences aux méthodes actuelles du marché du travail (Le Boterf, 2016, 2018; Tourmen, 2014). Les évaluateurs doivent donc se tenir informés des évolutions et des exigences professionnelles actuellement en vigueur (Graf et al., 2024). Le troisième point porte sur l'impartialité de l'évaluation. Ainsi, le résultat de l'apprenti sera uniquement basé sur sa performance le jour de l'examen pratique, sans subir l'influence des connaissances préalables ou des jugements, positifs ou négatifs, auxquels le formateur de l'entreprise formatrice pourrait être confronté s'il évaluait ses propres apprentis. Ceci peut s'apparenter à un rite de passage durant lequel les apprentis doivent prouver leur capacité à mobiliser leurs acquis (Perrenoud, 2000) à l'instant « T » selon une logique différente de celle d'une validation des acquis de l'expérience (Roegiers, 2010).

### 3.1.3. Des zones aveugles lors de l'examen pratique

Cette importance de l'évaluation et de l'évaluation par engagement volontaire souligne deux zones aveugles dans l'examen pratique : la formation des évaluateurs (De Ketele, 2010; Le Boterf, 2018) et la référentialisation des évaluateurs (Figari, 1994; Figari et Remaud, 2014; Tourmen, 2014).

Comme nous l'avons vu, les évaluateurs aux examens pratiques doivent être actifs dans le domaine d'évaluation et sont choisis pour leur expérience du métier. Aucune formation pédagogique n'est requise pour exercer cette fonction et seuls 24.9% (Jan et Berger, 2025, publication 2) des évaluateurs ont une certification dans le domaine de la formation. Nous avions relevé que la majorité des évaluateurs sont « formateurs en entreprise », cependant cette formation n'est pas certificative. D'une durée de 40 heures seulement, (OFPr, 2003), elle est validée par participation, autrement dit sans évaluation certificative.

La formation permettant de devenir évaluateur aux examens pratiques est également constituée de deux cours validés par participation et sans examen. Ces deux cours sont intitulés « cours de base » et « cours spécifique » (OFPr, 2003). Le premier cours dure une journée et aborde les dispositions légales, directives et exigences attendues de la fonction. Il s'adresse indifféremment aux évaluateurs des quelque 240 AFP et CFC. Le deuxième cours, d'une durée de deux jours dans le domaine du commerce, est consacré au fonctionnement opérationnel des évaluateurs ; il s'adresse aux évaluateurs d'une branche spécifique, par exemple « commerce de détail en alimentation ». Concrètement, les évaluateurs apprennent
l'utilisation des protocoles d'examens pratiques, la manière d'agir en cas de situations particulières et le fonctionnement en binôme durant les examens pratiques. La validation est reconnue au niveau national, mais l'accès au cours est de la responsabilité des cantons ; par exemple le service de la formation professionnelle (SFP) (2023) pour Fribourg<fnref n="10" />.

Le processus évaluatif (De Ketele, 2010) développé durant ces cours est axé sur le processus de jugement selon les informations à recueillir et transcrire dans les protocoles ainsi que la démarche adéquate au déroulement de l'examen pratique (Tourmen, 2014). L'interprétation et la prise de décision pour statuer sur le résultat appartiennent aux évaluateurs, ceux-ci ayant le devoir, selon les pratiques professionnelles, d'agir avec pertinence, compétence et éthique en situation (Le Boterf, 2016, 2018). Les évaluateurs sont relativement peu formés à l'évaluation en comparaison avec les enseignants en école professionnelle. Relevons que ce paradoxe, apparaît seulement avec l'utilisation du terme « évaluateur » commun dans la littérature scientifique. En contexte de FPI en Suisse, c'est par le terme « expert » que sont désignés les évaluateurs aux examens pratiques, ces derniers étant choisis (comme les formateurs en entreprise) pour leurs compétences d'expertise du métier. Cependant, être compétent dans un métier ne garantit pas l'aptitude à former ni à évaluer dans ce domaine, car la transmission des savoirs et l'évaluation exigent des compétences pédagogiques spécifiques qui s'acquierennt par une formation didactique (Perrenoud, 2011). En effet, selon Perrenoud (2011, 2012), évaluer ne se limite pas à vérifier une conformité technique, mais implique d'accompagner un processus complexe, d'identifier les indices pertinents des compétences mobilisées afin de garantir une évaluation rigoureuse. Cela nécessite une capacité réflexive, l'interprétation d'indices et une adaptation aux situations professionnelles lors de cette évaluation située (Mottier Lopez et Allal, 2008).

La deuxième zone aveugle réside dans la référentialisation des évaluateurs (Figari, 1994; Figari et Remaud, 2014). Durant les examens pratiques, les évaluateurs observeront une série de différences entre ce qui est attendu et ce qui a lieu. Ces différences peuvent provenir de l'apprenti, du protocole et/ou des évaluateurs eux-mêmes. Mais également des entreprises formatrices, qui bien que certifiées selon un cadre minimal (OFPr, 2003), ne sont pas standardisées dans leurs pratiques et spécialisations. Ainsi, la référentialisation correspond à la prise en compte de toutes ces différences entre la réalité observée, le référé, avec ce qui est attendu de l'évaluateur, le référent (Figari, 2006). Durant les examens pratiques, les évaluateurs devront prendre en compte tous ces écarts lors de la décision concernant le

<footnote n="10">¹⁰ La fonction d'évaluateur étant sous l'égide des cantons, une page internet est disponible pour chacun des cantons.</footnote>
résultat final. La zone aveugle que nous mettons en évidence ne concerne pas le travail de
coordination des divers référés élaborés par l'évaluateur, mais le référent auquel l'évaluateur
fait appel. Ce référent, correspond à la perception des « bonnes pratiques professionnelles »
du métier de l'évaluateur au sens de Le Boterf (2016) lors d'une évaluation située (Mottier
Lopez et Allal, 2008) vis-à-vis du référentiel de compétences. Durant les cours de formation
pour les évaluateurs aux examens pratiques, ce référent n'est pas questionné, car il est d'une
part considéré comme acquis par chacun et d'autre part comme peu intéressant car déjà
adapté aux situations par des protocoles préconstruits.

4. Problématique

En synthétisant ces informations, nous avons élaboré deux problématiques. La première porte
sur les risques de pénurie (Graf et al., 2024) et la baisse de qualité du travail des évaluateurs
lors les examens pratiques (Kägi, 2010) qui peut en découler ; la seconde sur le manque de
connaissances scientifiques quant aux bénéfices pour les évaluateurs d'assumer cette
fonction. Nous développons que par un manque de connaissances scientifiques sur les
bénéfices que les évaluateurs peuvent tirer de cette fonction, les leviers qui favoriseraient leur
engagement ou leur persévérance sont inconnus. Par conséquent, l'apparition d'une pénurie
d'évaluateurs est non seulement difficile à anticiper, mais également complexe à maîtriser.

Commençons par définir les évaluateurs sous l'angle de ce que l'on attend d'eux. Ils ont à
valider les compétences opérationnelles (Le Boterf, 2016; Seufert, 2018) lors d'une évaluation
située (Mottier Lopez et Allal, 2008; Vial, 2012) dans l'entreprise formatrice de l'apprenti. Ce
sont des professionnels actifs dans le domaine (OFPr, 2003) présentant des capacités
d'adaptation au contexte de cet examen (Jorro, 2007). La validité accordée à l'examen
pratique est testée selon trois des six types de validité (Penta et al., 2005), les trois autres
n'étant pas applicables au contexte. Nous utilisons : a) la validité de conséquence (Laveault
et Grégoire, 2023; Penta et al., 2005). Le résultat ne contribuant pas uniquement à obtenir un
titre académique, mais également certifier l'intégration possible de l'apprenti sur le marché du
travail en tant que professionnel qualifié ; b) la validité de contenu (Laveault et Grégoire, 2023;
Penta et al., 2005) pour évaluer le professionnalisme des apprentis à effectuer le travail
quotidien, selon les normes professionnelles en vigueur en entreprise, tout en respectant le
référentiel de compétences défini. Les évaluateurs doivent donc être compétents et à jour, afin
de garantir une évaluation pertinente et conforme aux exigences professionnelles et aux
evolutions du marché du travail. Ainsi que : c) la validité apparente (Anastasi et Urbina, 1996;
Penta et al., 2005) sur la légitimité que les évaluateurs accordent au protocole d'examen pratique selon les termes ou tournures de phrases qui le compose.

Ensuite, nous présentons sous un autre angle, bien que de manière simplifiée, la mise en place des examens pratiques (plus de détails, voir section 2.3.2). Selon leurs besoins, les entreprises engagent des apprentis puis, à la fin de leur formation, interviennent divers examens, illustrés par la figure 2, dont l'examen pratique. Cependant, la fonction d'évaluateur repose sur un engagement volontaire. Ainsi, bien que la tenue des examens pratiques soit obligatoire, aucun mécanisme contraignant n'assure la mobilisation systématique des évaluateurs.

Si, durant cette période, le nombre d'évaluateurs est insuffisant, aucune stratégie claire n'a été mise en place pour y remédier, cependant les examens pratiques doivent avoir lieu. Ainsi, les solutions possibles incluent l'intervention d'évaluateurs issus d'autres secteurs proches (par exemple, des professionnels de la branche alimentaire intervenant dans la branche textile), le recours à des évaluateurs ayant quitté le domaine (il ne sont plus actifs mais disposent des titres requis) ou encore l'appel à des retraités (Dubs, 2006). Tous ces palliatifs sont des exemples dénoncés en tant que baisse de la qualité du travail des évaluateurs lors des examens pratiques (Kägi, 2010).

Selon le deuxième point de la problématique, nous ne savons pas pourquoi des « employés » souhaitent s'investir dans cette fonction d'évaluateur, ni ce que cette fonction leur apporte. L'ignorance des motivations poussant les évaluateurs à s'engager limite les leviers permettant de pallier aux pénuries dont souffrent plusieurs secteurs tels que le domaine du travail en santé, l'industrie des machines, des équipements électriques et des métaux ainsi que des branches apparentées (Graf et al., 2024).

Sans mener de recherches, le cadre légal régissant les examens pratiques limite les possibilités d'obtenir des informations sur la qualité de ces examens, nous avons établi que 84.3% des évaluateurs aux examens pratiques (Jan et Berger, 2025, publication 2) sont également formateurs en entreprises. Ils réalisent des évaluations dans les entreprises de leurs pairs, mais ne peuvent pas les informer des réussites et lacunes observées, seule la note finale sera transmise ultérieurement par l'autorité cantonale. Prenons un exemple concret : un évaluateur « A » fait passer un examen pratique dans une entreprise « B ». Les réponses du candidat se révèlent excellentes pour certaines parties et médiocres dans d'autres ; le résultat final est suffisant. L'entreprise « B » est informée de la réussite mais n'a pas de retour quant aux forces ou faiblesses de son apprenti, ce qui pourrait pourtant lui permettre d'orienter sa manière d'accompagner et de former ses prochains apprentis. Les
protocoles des examens pratiques sont conservés par le chef expert, et sans demande de
consultation préalable, il n'est pas possible d'y avoir accès. Les examens pratiques ayant une
fonction de validation, ils ne sont pas conçus pour l'accompagnement au développement des
apprentis ni pour fournir une rétroaction constructive aux entreprises. Autrement dit, cette
évaluation n'a pas de fonction formative ou de régulation (De Ketele, 2010). Les évaluateurs,
bien qu'ils détiennent des informations pertinentes sur les points forts et les points faibles des
apprentis, ne peuvent pas contribuer directement à l'amélioration de la formation. Cela réduit
les possibilités de transfert de connaissances vers les formateurs en entreprises et nuit à la
qualité de la formation des prochains apprentis. Bien que le formateur en entreprises et
l'évaluateur se fondent sur le même référentiel de compétences, aucun échange entre eux
n'est autorisé. De cette manière, et indirectement, seules les faiblesses observées chez les
apprentis d'autres entreprises peuvent avoir une incidence sur le soutien qu'apportera
l'évaluateur à ses propres apprentis. Ceci est développé avec la conception de l'évaluation
comme autorégulation (Jan et Berger, 2025, publication 2).

Finalement, il existe un amalgame entre l'expérience du « métier » et celle de « l'évaluation du métier ». Comme l'explique Tourmen, l'évaluation est une activité complexe qui s'apprend (2014), alors que dans notre situation, seule l'expérience du métier sert à valider une personne en tant qu'évaluateur. La capacité d'évaluation du métier semble reposer davantage sur les années d'expérience professionnelle que sur des compétences spécifiques en évaluation. Cet amalgame peut entraîner des biais, car être expert dans un domaine ne garantit pas la capacité de transposition vers une évaluation objective et structurée (Perrenoud, 2004).

4.1. Etat de la recherche sur la formation professionnelle initiale

L'état de la recherche permet de comprendre l'intégration de la FPI dans le contexte Suisse.
La FPI s'inscrit à la fois dans le domaine de la formation et dans celui de l'économie par la
combinaison d'un fort engagement de l'état et des entreprises dans la formation
professionnelle, comme cela se retrouve également en Allemagne ou en Autriche (Busemeyer
et Trampusch, 2011). Cependant, la Suisse se distingue de l'Allemagne par une formation
devenue plus professionnelle que générale et de l'Autriche par une formation plus duale (en
entreprise formatrice et école) que scolaire (Dernbach-Stolz et al., 2021; European Centre for
the Development of Vocational Training, 2020). Les apprentis suivent une formation spécifique
à un métier qui se déroule principalement dans les entreprises formatrices, donc au plus près
des besoins de l'économie. Selon un audit transversal réalisé par le contrôle fédéral des
finances (CDF) (2024), la FPI permet d'exercer un métier en tant qu'employé qualifié mais aussi de pallier aux pénuries de main d'œuvre qualifiée.

Ces titres permettent également de poursuivre son parcours formatif. Les passages et passerelles sont multiples. La première permet de passer d'une AFP à un CFC, elle est réalisée par 24% des apprentis (Babel et al., 2018) et la moitié des apprentis interrogés y aspirent (Stern et al., 2010). Puis, la maturité professionnelle est réalisée par 13% des apprentis en cours de CFC et par 10% post-CFC (Gehret et al., 2020). Ce nouveau titre va ouvrir les portes d'une formation tertiaire, suivie par 67% des apprentis dans les 42 mois suivant l'obtention du CFC (Babel et al., 2018; Kriesi et Leemann, 2020).

Du point de vue économique, bien que l'entreprise finance la majeure partie de la formation des apprentis (SEFRI, 2023), le rapport coût/bénéfice est en faveur des entreprises formatrices (Gehret et al., 2019). Ceci même avec la prise en compte des résiliations de contrats d'apprentissage variant entre 20 et 25% (Kriesi et al., 2016; Strupler et Wolter, 2012). Ces résiliations résultent entre autres, du passage abrupt du contexte scolaire à un contexte professionnel et à sa logique productiviste (Bosset et al., 2020).

La FPI joue également une fonction d'intégration. Avant de débuter une FPI, les migrants peuvent suivre le préapprentissages d'intégration (PAI), conçu dans un cadre national puis mis en place au niveau cantonal (par exemple : Etat de Fribourg, 2024), il permet à des réfugiés reconnus et en âge de débuter une formation de se préparer à une FPI (Atitsogbe et al., 2020; Michel et al., 2023; Stalder et Schönbächler, 2024). La FPI constitue un moyen d'intégration des jeunes issus de l'immigration (Bonoli, 2015; Imdorf et Seiterle, 2017) et l'opportunité de concrétiser une formation certifiée pour les adultes de 25 à 54 ans, 15% d'entre-eux ont obtenus un titre en 2015 (Tsandev et al., 2017).

Cependant, la FPI suscite des interrogations en raison de l'implication variable des entreprises formatrices (Lamamra et Moreau, 2016), ainsi que de certaines formes de ségrégation liées au genre, à la nationalité ou à l'origine socioéconomique, pouvant contraindre les parcours de formation (Imdorf, 2018; Lamamra et al., 2014). Ceci est particulièrement le cas pour les immigrés, proportionnellement plus présents en FPI (Lischer, 2003; Rastoldo et Rami, 2018). La FPI, et spécialement la formation pour les AFP, est présentée comme d'un niveau d'exigences moins élevé sur le plan cognitif, ainsi que le souligne la définition fournie au public auquel elle s'adresse « Cette formation s'adresse aux jeunes ayant des aptitudes essentiellement pratiques » (SEFRI, 2014, p. 3). De ce fait, les certifications de type AFP, et dans une moindre mesure celles de type CFC, sont souvent perçues comme des formations de second rang par rapport aux formations générales (FG).
L'étude longitudinale de Gomensoro et al. (2017) fondée sur les données de l'étude Transitions from education to employment (Hupka-Brunner et al., 2024), présente les parcours de formation, entre 2000 et 2014, d'élèves à leur sortie de l'école obligatoire. Cette étude permet de suivre les principales tendances de formation en Suisse entre FPI, FG et formation tertiaire. La FG, formation non professionnalisante, se poursuit généralement par une formation tertiaire avant de mener à un emploi alors que la FPI permet d'obtenir un titre professionnel ouvrant l'accès direct à l'emploi, ainsi les apprentis entrent immédiatement en activité professionnelle à l'obtention du titre et 69% des nouveaux diplômés poursuivent leur carrière dans l'entreprise formatrice ou auprès d'un nouvel employeur dans le même métier, dès la fin de la formation. Dans les onze mois suivant l'obtention du titre, 94% d'entre eux seront en emploi (Babel et al., 2018). Selon deux relevés, en 2010 et 2014 (Gomensoro et al., 2017), 5% des détenteurs d'une FPI entament une formation tertiaire.

L'entrée des détenteurs d'une FPI sur le marché du travail est bien documentée, pour le travail en Suisse (Fitzli et al., 2016; Gomensoro et al., 2017; Lamamra et al., 2021; Meyer, 2018; Schweri, 2018; Stern et al., 2010) ou, à l'international, par les données de l'organisation de coopération et de développement économique (OECD) (2010), les pays favorisant la FPI affichent des taux de chômage des jeunes plus bas. Cependant, cette analyse ne tient pas compte des dynamiques du marché du travail. Si une bonne formation facilite l'entrée des jeunes dans l'emploi, elle ne crée pas les postes de travail, ceux-ci dépendent de la demande économique. Donc, bien que la FPI forme des individus compétents, son impact reste limité lorsque le marché du travail ne peut absorber cette main-d'œuvre.

Bien que 65'710 apprentis (OFS, 2024b) aient été évalués en 2023 et que les examens pratiques soient discutés dans la presse quotidienne Suisse (Donzé, 2024; Eigenmann, 2024; Maurisse, 2022; Rambal, 2020), les recherches scientifiques sont encore peu nombreuses et ne font pas de distinction entre les examens pratiques et la procédure de qualification dans sa globalité, c'est-à-dire incluant l'ensemble des domaines d'évaluation (voir section 2.3.1). Les seuls travaux spécifiques que nous avons pu recenser portent sur les pénuries en évaluateurs et les causes des échecs lors de la procédure de qualification de la FPI. Les pénuries en évaluateurs (Graf et al., 2024) sont un risque pour la qualité des examens pratiques (Kägi, 2010), car des personnes non ou insuffisamment qualifiées peuvent alors être mandatées (Dubs, 2006). Les causes relevées sont les départs en retraite, des limitations de la durée de fonction imposées par les cantons (Graf et al., 2024), mais aussi un manque d'intérêt à accomplir un travail par engagement volontaire (Humbel, 2024; Leuzinger, 2019). Selon cette recherche sur les échecs à la procédure de qualification de la FPI, voir la figure 2, le calcul du résultat final est un mélange entre plusieurs évaluations et examens. Avec 4% d'échec en
moyenne, l'examen pratique constitue le principal écueil à la validation de la FPI (Graf et al., 2024).

Le manque de recherche sur le contexte spécifique des examens pratiques s'explique peut-être par la complexité de la mise en œuvre d'une recherche dans un environnement où les pratiques et les critères d'évaluation varient selon les secteurs et les cantons. Bien que la FPI soit régie par une loi commune (LFPr, 2002), elle compte 36 domaines de formation distincts (par exemple : artisanat, vente en gros et au détail ou services de transport), scindés en 240 professions en APF ou CFC (par exemple : libraire, gestionnaire du commerce de détail), elles-mêmes subdivisées en diverses options (par exemple : gestionnaire du commerce de détail en alimentation, gestionnaire du commerce de détail en ameublement) et finalement des spécialisations dans ces options (par exemple : gestionnaire du commerce de détail en alimentation, option conception et réalisation d'expériences d'achat, gestionnaire du commerce de détail en alimentation, option gestion de magasins en ligne). Puis, sous l'égide d'un chef expert désigné par l'association professionnelle, chacune de ces subdivisions organise et met en place ses examens pratiques. Pour rappel, les chefs experts ont des zones de responsabilité variables (par exemple : quelques cantons, une région linguistique ou l'ensemble de la Suisse). Dans ce contexte de multiples petites entités, nous trouvons également des spécifications dans les examens pratiques en fonction de chacun de ces niveaux organisationnels. Les différences les plus notables entre les différents examens pratiques sont : a) la durée, qui varie de 1 à 120 heures ; b) l'organisation des évaluateurs, certains travaillant ensemble tout au long de l'examen, d'autres intervenant à des moments distincts avant de se concerter ; c) l'intervention, parfois autorisée, parfois interdite, de personnes tierces pendant l'examen ; d) la personnalisation de l'examen, pouvant être spécifique à chaque apprenti ou identique pour l'ensemble des apprentis d'une promotion. Le manque de recherche peut également s'expliquer par l'absence de données accessibles sur les protocoles d'examen pratiques, leur conservation étant restreinte et soumise au secret professionnel. Mais également par un manque d'intérêt académique pour les spécificités des évaluations en entreprise dans le cadre de la FPI.

## 5. Cadrage théorique

Les publications formant le cadrage théorique de cette thèse s'appuient principalement sur trois concepts : la référentialisation (Figari, 1994, 2006) ; la motivation selon la théorie de l'autodétermination (TAD) (Deci et Ryan, 1985; Ryan et Deci, 2017) et les conceptions de l'évaluation par les évaluateurs (Issaieva et Crahay, 2010; Luisoni et Monnard, 2015; Yerly et
Berger, 2022). Les concepts sont détaillés et enrichis par d'autres sources dans les publications de la thèse. Dans ce chapitre, nous développons la pertinence de la mobilisation de ces concepts de manière transversale aux publications.

## 5.1. Référentialisation des évaluateurs

La référentialisation (Figari, 1994, 2006) est un concept comprenant plusieurs éléments. Nous avons déjà évoqué le travail d'analyse des évaluateurs entre le référent, ce qu'ils souhaitent observer ou constater, et le référé correspondant à la réalité observée durant l'examen pratique en contexte réel. Il faut également considérer le référentiel de compétences ou « l'outil étalon » selon les termes de Figari (1994) qui sert à mesurer cet écart entre le référent et le référé. Le travail qu'opèrent les évaluateurs pour mesurer cet écart est conditionné par plusieurs facteurs qui constituent le cadre de référence stabilisé (Figari et Remaud, 2014). En premier, dans le cadre des examens pratiques, l'outil étalon précédemment cité est mobilisé de manière indirecte. Le référentiel de compétences constitue la base de la construction du plan de formation, lequel sert ensuite de fondement pour la conception du protocole d'examen pratique, outil concret de l'évaluateur. Deuxièmement, le protocole n'est pas conçu par les évaluateurs mais généré par un système informatique mélangeant aléatoirement des pages de questions respectant les critères fixés par le plan de formation. Troisièmement, le déroulement des examens pratiques est défini (FCS, 2021b; SEFRI, 2022c), tant du point de vue de la durée, de la mise en contexte que de la pondération des points de chaque question. Quatrièmement, des directives formelles et la formation à cette fonction (OFPr, 2003) visent à assurer un fonctionnement homogène des évaluateurs. Ce cadre de référence stabilisé doit faciliter le travail des évaluateurs (Laveault et Grégoire, 2023). Cependant, ceci fait également apparaître un dilemme chez les évaluateurs entre pratiquer un jugement global ou opérer par critères lors des examens pratiques (Cortessis, 2013). Un fonctionnement par jugement global tend à être généralisable à l'encadrement de l'ensemble des examens pratiques, ainsi le référentiel de compétence est un outil normatif (Figari, 1994) présentant des compétences génériques du métier. Tandis qu'un jugement par critères, nécessite pour les évaluateurs d'expliciter (Figari, 1994) et de justifier par leur subjectivité professionnelle (Bessy et Chateauraynaud, 2014), selon le contexte unique de chaque examen pratique, les adaptations faites au protocole. Par exemple, face à la question : « Pouvez-vous me conseiller un assortiment de produits biologiques pour un cadeau », dans une entreprise ne vendant que des produits biologiques, il revient à l'évaluateur de déterminer si l'accent doit être mis sur la proposition d'un cadeau, sur le choix de produits biologiques ou sur la combinaison des deux. Celui-ci devra ensuite justifier dans le protocole lorsqu'une adaptation de la question s'avère
nécessaire, selon un processus de recueil d'informations destiné à éclairer une prise de décision (Mottier Lopez et Allal, 2008).

Ainsi la référentialisation est le processus issu du positionnement de l'évaluateur et de divers facteurs que nous cherchons à identifier. Mieux connaître les conceptions de l'évaluation des évaluateurs permet d'améliorer la compréhension des évaluations lors des examens pratiques. Une recherche sur la concordance des jugements entre les évaluateurs dans le contexte des examens pratiques (Jan, 2023) a montré un faible degré d'accord sur les scores attribués aux questions selon la méthode Angoff (1984) (voir chapitre 8). Cela illustre le caractère multifactoriel de la référentialisation, tel que nous l'avons développé.

### 5.2. Motivation à la fonction d'évaluateur

Nous avons choisi d'étudier la motivation des évaluateurs sous l'angle conceptuel de la TAD (Deci et Ryan, 1985; Ryan et Deci, 2017), celui-ci met en avant l'importance de l'intégration des comportements motivés dans le soi. Bien que d'autres approches existent, centrées sur les croyances en la compétence, telles que la théorie, du locus de contrôle interne-externe (Rotter, 1966) ou la théorie de l'autoefficacité (Bandura, 1997), ou encore le concept de Wigfield et Eccles (2000) axé sur les attentes de succès et la valeur attribuée aux tâches, qui met en lumière les facteurs influençant la décision de s'engager dans une activité. Il nous semble que ces concepts sont pertinents pour expliquer le choix initial de participation, mais ne prennent pas pleinement en compte les mécanismes qui étayent la persistance ou le bien-être des individus une fois engagés. La TAD propose une compréhension nuancée de la motivation en mettant l'accent sur l'expérience du choix et la qualité de la régulation de la motivation des comportements vis-à-vis de la tâche à réaliser. Cette perspective nous paraît particulièrement pertinente dans un contexte où les évaluateurs soumis à une obligation initiale de formation ne sont astreints à aucune exigence ultérieure en termes de quotas ou de participation annuelle obligatoire.

Cette absence de contraintes rigides favorise des engagements variables chez les évaluateurs, certains alternant périodes d'engagement et pauses de plusieurs années. Dans ce contexte, la TAD offre un cadre conceptuel utile pour comprendre ces variations : certains évaluateurs s'investiraient pleinement parce qu'ils perçoivent personnellement la valeur de leur rôle et ressentent un sentiment d'autonomie, tandis que d'autres se désengageraient, faute de motivations intrinsèque ou en raison d'un manque de soutien externe. En effet, un engagement selon une motivation autonome, c'est-à-dire un sentiment de choix et une adhésion personnelle aux objectifs, est associé à un bien-être accru et à une plus grande
persistance (Csillik et Fenouillet, 2019). À l'inverse, un engagement motivé principalement par des pressions externes ou des incitations engendrerait du mal-être et un désengagement progressif (Ryan et Deci, 2017).

Dans ce contexte, développer des connaissances sur les motivations des évaluateurs apparaît comme un levier stratégique. Une meilleure compréhension de ces facteurs permettrait non seulement de soutenir l'engagement des évaluateurs actuels, mais également d'attirer de nouveaux candidats. Cela pourrait ainsi contribuer à limiter les risques de pénurie, un enjeu majeur pour garantir le fonctionnement et la qualité du système par une présence d'évaluateurs actifs suffisante.

La TAD définit la motivation selon un continuum, figure 4, allant de la motivation intrinsèque à l'amotivation, en passant par plusieurs degrés de régulation des types de motivation (Deci et Ryan, 1985).

<table><caption>**Figure 4**
Continuum d'autodétermination</caption><tr><td>Type de motivation</td><td colspan="3">Intrinsèque</td><td colspan="2">Extrinsèque</td><td colspan="2">Amotivation</td></tr><tr><td>Forme de régulation</td><td>Intrinsèque</td><td>Intégrée</td><td>Identifiée</td><td>Introjectée</td><td>Externe</td><td colspan="2">Absence de régulation</td></tr><tr><td>Forme d'intériorisation</td><td colspan="3">Motivation autonome</td><td colspan="2">Motivation contrôlée</td><td colspan="2">Pas d'intériorisation</td></tr><tr><td></td><td colspan="8">Continuum d'autodétermination</td></tr></table>

La motivation intrinsèque, caractérise une motivation ne nécessitant pas de récompense ou apport pour donner envie de réaliser la tâche ; l'individu est sa propre source de motivation. La motivation extrinsèque requiert un apport pour que la motivation perdure ; l'environnement est la source de motivation. L'amotivation décrit un état où toute tentative de motivation devient inefficace ; il n'y a pas de source de motivation. La motivation extrinsèque est décomposée en plusieurs régulations, décrivant les apports nécessaires à la motivation. Des exemples sont visibles dans le tableau 3. Ce dernier présente également des items du questionnaire (Jan et Berger, 2025, publication 2), évalués sur une échelle de Likert allant de 1 à 6. Ainsi que des verbatims issus des focus groups (Jan et al., 2024, prépublication, publication 3). Avec Ryan et Deci (2000), nous utilisons la distinction entre motivation autonome et contrôlée car, celle-ci dépasse l'opposition classique intrinsèque et extrinsèque, en intégrant divers degrés
5. Cadrage théorique

d'autodétermination. Cela permet d'explorer comment des régulations extrinsèques,
lorsqu'elles sont intériorisées, peuvent soutenir l'engagement, enrichissant l'analyse des
processus motivationnels dans nos publications.
<table><caption>**Tableau 3**
Motivation à la fonction d'évaluateur</caption><thead><tr><th>Type de motivation</th><th>Forme de régulation</th><th>Forme d'intériorisation</th><th>Définition de la régulation</th><th>Items du questionnaire</th><th>Verbatims des focus groups</th></tr></thead><tbody><tr><td>Intrinsèque</td><td>Intrinsèque</td><td>Motivation autonome</td><td>Être évaluateur est satisfaisant en lui-même sans besoin d'une contrepartie. L'évaluateur éprouve du plaisir à réaliser les évaluations.</td><td>Parce que je trouve cette tâche intéressante à réaliser. [MI2] (M = 5.32 ; Méd. = 5.33 ; É.-T. = 0.76)</td><td>« Je pense qu'on laisse notre confort, qu'on a quotidiennement, comme gérant des magasins ou d'autres. » [s.2]</td></tr><tr><td>Extrinsèque</td><td>Intégrée</td><td></td><td>Être évaluateur reflète ses valeurs profondes. L'évaluateur considère cette activité comme essentielle à son identité et à son épanouissement.</td><td>Pas d'item pour cette régulation de la motivation</td><td>« Ça fait partie de l'engagement du formateur. » [I.2]</td></tr><tr><td>Identifiée</td><td></td><td></td><td>Être évaluateur est important pour le processus de la formation professionnelle. L'évaluateur s'identifie dans cette procédure de validation d'un futur professionnel.</td><td>Parce que c'est important pour moi de réaliser cette tâche. [ID1] (M = 4.68 ; Méd. = 4.75 ; É.-T. = 0.95)</td><td>« Pour moi c'est le point final de leur apprentissage et de participer à ça [...]. C'est top. » [v.2]</td></tr><tr><td>Introjectée</td><td>Motivation contrôlée</td><td></td><td>Être évaluateur est une obligation morale. L'évaluateur se sent personnellement dans l'obligation de réaliser des évaluations.</td><td>Parce que je me sentirais coupable de ne pas le faire. [IN3] (M = 2.39 ; Méd. = 2.25 ; É.-T. = 1.07)</td><td>« Ça fera bien dans mon CV. » [c.2 et I.2]</td></tr><tr><td>Externe</td><td></td><td></td><td>Être évaluateur est un travail demandé par sa fonction. L'évaluateur doit, par son travail ou cahier des charges, réaliser des évaluations.</td><td>Parce que je suis payé pour cela. [RE3] (M = 1.57 ; Méd. = 1.33 ; É.-T. = 0.66)</td><td>« Ça permet de sortir un peu du terrain et de pouvoir aller vers d'autres succursales. » [m.2]</td></tr><tr><td>Amotivation</td><td>Absence de régulation</td><td>Pas d'intériorisation</td><td>Être évaluateur ne fait pas ou plus de sens. L'évaluateur ne sait pas pour quelle raison il continue de réaliser des évaluations.</td><td>Je trouve cette tâche inutile. [AM1] (M = 1.22 ; Méd. = 1.00 ; É.-T. = 0.46)</td><td>Pas d'exemple pour cette régulation de la motivation</td></tr></tbody></table>
Toujours selon le concept de la TAD, nous analysons : a) les relations dans la satisfaction des besoins psychologiques fondamentaux et leur pouvoir prédictif sur la motivation (Gillet et al., 2008; Hsu et al., 2019; Oyserman et al., 2002) ; b) la hiérarchisation des types de motivation d'après différents niveaux (Fenouillet, 2023; Vallerand et Blanchard, 1998) et c) le processus d'intériorisation et d'intégration des régulations externes selon l'intégration organismique (Ryan et Deci, 2017). Cette méthodologie nous permet de comprendre les fondements de la motivation des évaluateurs sous trois angles complémentaires : l'impact des besoins fondamentaux sur la motivation, la hiérarchisation des types de motivation selon leur contexte, et le processus d'intériorisation des régulations externes.

5.2.1. *Relations entre les besoins psychologiques fondamentaux*

La compétence, l'autonomie et le besoin d'affiliation sont les trois besoins psychologiques fondamentaux selon Ryan et Deci (2017). Dans le contexte des examens pratiques, ils se définissent ainsi : le besoin de compétence fait référence à l'exigence pour l'évaluateur de répondre correctement aux attentes liées à sa fonction de certificateur des futurs professionnels. Le besoin d'autonomie implique que l'évaluateur peut satisfaire aux souhaits de changements dans la création et l'adaptation des procédures de qualification menées. Finalement, le besoin d'affiliation est comblé quand l'évaluateur se sent lié à ses pairs, des collègues très occasionnels dans le contexte de cette fonction.

À la différence de la hiérarchisation des besoins établie dans la pyramide de Maslow (1954), les besoins psychologiques fondamentaux selon Ryan et Deci (2017) doivent tous être satisfaits pour favoriser la motivation et le bien-être. Des recherches mettent en lumière deux aspects essentiels. Premièrement, Hsu et al. (2019) montrent que les besoins d'autonomie et de compétence interagissent pour expliquer l'affiliation, soulignant des liens entre ces besoins. Deuxièmement, la mesure de l'intensité des besoins révèle des corrélations variables (Van Den Broeck et al., 2016). Par exemple, Hoyle et al. (1989) relèvent que le besoin d'affiliation est mieux satisfait dans des contextes collaboratifs à l'instar du travail en duo réalisé par les évaluateurs.

Alors que Deci et Ryan (2000) considèrent l'affiliation moins influente que l'autonomie et la compétence, car ces dernières sont directement liées à la motivation intrinsèque et que Hsu et al. (2019) identifient la compétence comme le besoin le plus déterminant, avec l'autonomie et l'affiliation contribuant à sa compréhension, nous pensons que le besoin d'affiliation est le plus fortement prédictif de la motivation autonome, comme observé par Gillet et al. (2008) et Vallerand (1997) dans des cadres sportifs, étant donné que les examens pratiques laissent
peu d'autonomie aux évaluateurs et qu'il s'agit d'une fonction d'évaluation éloignée des compétences habituellement requises.

### 5.2.2. Modèle hiérarchique de la motivation

Prendre part aux examens pratiques implique une grande responsabilité tout en ayant peu d'incidences professionnelles positives pour les évaluateurs. Les examens pratiques ont une importance majeure dans le processus de qualification en FPI car les apprentis passent là un examen certificatif et éliminatoire. Mais en même temps, cette fonction est éloignée des activités productives quotidiennes des évaluateurs. Elle implique de simuler ou d'examiner des situations professionnelles auprès d'apprentis et d'entreprises inconnues, selon un engagement annuel de quelques jours. De plus, l'échec ou la réussite des apprentis évalués n'a pas d'incidence sur le travail ou le statut de l'évaluateur. Ces deux fonctions sont ainsi complètement séparées.

Pour comprendre cet écart entre deux visions opposées, l'une considérant les examens pratiques comme un moment central, et l'autre les percevant comme un aspect détaché du travail quotidien, nous nous fonderons sur le modèle hiérarchique de la motivation de Vallerand et Blanchard (1998). Ce modèle, figure 5, montre les liens et implications entre un « niveau situationnel » cadrant avec les périodes de déroulement des examens pratiques et un « niveau contextuel » correspondant au contexte de vie en lien avec le travail quotidien, la formation permanente et les relations familiales. Un troisième niveau, global, correspond aux tendances motivationnelles générales et stables sur le long terme. Ces trois niveaux (situationnel, contextuel et global) s'influencent mutuellement (Fenouillet, 2023; Lavigne et Vallerand, 2010; Vallerand et Blanchard, 1998).
<caption>**Figure 5**</caption>

*Modèle hiérarchique de la motivation*

<figure><img src="image_13.png" /></figure>

Par exemple, le niveau global correspond aux croyances liées à l'utilité de la FPI. Un jour, l'entreprise informe son collaborateur que pour répondre aux manques de personnel, des apprentis vont être engagés en FPI. Ne connaissant pas cette manière de fonctionner, il ne concevait que la voie de l'engagement de personnel qualifié pour répondre à la demande de main-d'œuvre. Ses connaissances de la FPI lui donnaient l'impression de perdre son temps et son énergie à former des néophytes. Au bout de quelques années, les anciens apprentis devenus des pairs de travail qualifiés, son expérience au niveau contextuel va modifier le niveau global de sa conception de la FPI. Par la suite, il entreprend la formation permettant de devenir évaluateur aux examens pratiques. Ses premières expériences sont très décevantes, le niveau des apprentis évalués est bas et les résultats qu'il attribue sont majoritairement insuffisants. Cette fois, c'est le niveau situationnel, dans le contexte des examens pratiques, va modifier négativement son avis sur la FPI. Cependant, ceci est nuancé par le niveau contextuel, les apprentis dans son entreprise travaillent, progressent de manière satisfaisante et réussissent leurs examens pratiques. Le niveau contextuel agit comme un filtre entre le niveau situationnel et global, ainsi les certitudes sur la FPI ne sont que peu influencées.
Ce modèle hiérarchique de la motivation de Vallerand et Blanchard (1998), permet de mieux interpréter des motivations liées au travail en entreprise, avec ou sans formation d'apprentis, tout au long de l'année mais aussi dans la fonction ponctuelle d'évaluateur aux examens pratiques.

### 5.2.3. **Intégration organisme**

La théorie de l'intégration organismique explique comment, grâce à deux processus, l'intériorisation et l'intégration, une personne peut transformer des motivations extrinsèques par régulations externes en motivations plus autonomes (Ryan et Deci, 2017). Ce processus est particulièrement pertinent dans le contexte des examens pratiques en FPI. Malgré un manque de recension sur le sujet, nous constatons qu'un certain nombre d'apprentis deviennent eux-mêmes, après quelques années d'expérience, des évaluateurs. Parmi les onze participants aux focus groups de notre troisième étude (Jan et al., 2024, prépublication, publication 3), sept ont suivi ce parcours. Ce changement est souvent nourri par la curiosité (Litman et Spielberger, 2003) pour la fonction ou, autrement dit, par une envie de comprendre l'entier du déroulement de la formation. En entreprise formatrice, les apprentis partagent le quotidien des autres employés, cependant durant les examens pratiques, tout se déroule entre les évaluateurs et les apprentis. Ainsi, sans intégrer ce groupe, une partie du déroulement du processus de formation reste méconnue.

Le processus d'intégration organismique repose sur deux mécanismes complémentaires : l'intériorisation et l'intégration (Deci et Ryan, 1985; Ryan et Deci, 2000). L'intériorisation permet à l'individu d'adopter des types de motivation perçues comme pertinentes ou alignées avec ses valeurs personnelles. L'intégration, quant à elle, constitue une étape plus profonde où ces types de motivation s'harmonisent pleinement avec ses convictions et deviennent une part intrinsèque de son identité. Selon le modèle hiérarchique de la motivation (Vallerand et Blanchard, 1998), le niveau contextuel du travail en entreprise formatrice avec les apprentis, prend du sens en fonction de ce qui est réalisé au niveau situationnel durant les examens pratiques. Cette intégration organismique, de part un fonctionnement ponctuel en tant qu'évaluateur se construit de manière progressive au fil des années d'expérience.

Ce processus permet de répondre aux besoins fondamentaux d'autonomie, de compétence et d'affiliation sociale (Deci et Ryan, 1985). La fonction permet de renforcer le lien avec la communauté professionnelle du domaine de la branche en contribuant à la certification des apprentis. Ensuite, être choisi pour évaluer des apprentis valorise l'expertise et l'expérience du professionnel, renforçant ainsi son sentiment de compétence à travers la reconnaissance de ses savoir-faire. Cependant, le cadre institutionnel imposé aux évaluateurs, limite leur
autonomie dans l'exercice de cette fonction, ce qui peut accentuer la faible validité accordée aux protocoles d'examens pratiques (Jan, 2024b, publication 1). De plus, la fonction d'évaluateur est une activité complexe qui s'apprend (Tourmen, 2014) car elle n'est pas équivalente à l'expérience du métier ou à l'expérience de la formation à ce métier.

### 5.3. Conception de l'évaluation des évaluateurs

L'évaluation dans le contexte des examens pratiques est un « processus de recueil d'information en vue d'une décision à prendre » (Dauvisis, 2006, p. 48) suivant une fonction certificative (De Ketele, 2010). Cependant, ces informations n'expliquent pas la conception que les évaluateurs ont de leur fonction évaluatrice.

Pour rappel, la formation destinée aux évaluateurs des examens pratiques (voir section 3.1.3) est courte et ne s'adresse pas à des spécialistes de l'enseignement, mais à des spécialistes du commerce. Ainsi, la formation est axée sur la mise en pratique et l'application des consignes (contextualisation, pondération et durée de chaque question) (FCS, 2021b) lors des examens pratiques, fondée sur les compétences professionnelles des évaluateurs.

L'évaluation des compétences est enseignée aux évaluateurs comme devant être la mesure de l'écart entre les objectifs prédéfinis (Nadeau, 2009) des protocoles et les réponses apportées par les apprentis, donc une évaluation critériée. L'évaluation ne doit pas reposer sur une comparaison entre les attentes des évaluateurs et la comparaison avec d'anciens apprentis ou avec ses propres apprentis ; ce n'est donc pas une évaluation normative. En outre, du fait du contexte des examens pratiques en FPI, toutes formes de rétroaction envers les apprentis ou les formateurs en entreprises sont formellement interdites. Ceci bien que des travaux mettent en avant l'évaluation comme un moyen de régulation (Allal, 2021; Cartier et Mottier Lopez, 2017) au service des apprentis. Ce que l'évaluateur expérimente durant les examens pratiques ne peut être partagé qu'avec le co-évaluateur, côtoyé généralement exclusivement dans le cadre de cette fonction. Cependant ces expériences, acquises lors des examens pratiques, peuvent favoriser l'autorégulation des évaluateurs, les aider à ajuster et influencer de manière répétée leurs pensées, sentiments et actions dans leur manière de former leurs propres apprentis (Zimmerman, 2000). Relevons cependant que pour réaliser cette autorégulation, les évaluateurs doivent effectuer une transposition. Ils observent l'apprenti A avoir des difficultés à résoudre une situation qui les amènent à adapter leur manière de former leur apprenti B. Nos recherches n'analysent pas la manière dont cette adaptation est réalisée, ainsi nous n'avons pas d'informations sur l'application des régulations dans le processus d'apprentissage (Perrenoud, 1998). Nous n'avons également pas
d'informations sur les compétences en formation des évaluateurs (Perrenoud, 2004). Concrètement, il nous faudrait analyser de quelle manière l'évaluateur va transmettre à son apprenti B et mettre en situation tous les éléments contextuels (manière de poser la question ou particularités de l'entreprise) ayant menés l'apprenti A à donner une mauvaise réponse.

Ainsi notre approche est faite selon la conception que les évaluateurs ont de l'évaluation. Fondée sur Issaieva et Crahay (2010), Luisoni et Monnard (2015) ainsi que Yerly et Berger (2022), nous avons reconstruit une échelle mesurant trois dimensions : a) normative, l'examen pratique est perçu comme une « sanction » permettant de distinguer les bons des mauvais apprentis ; b) critériée, qui donne un moyen de valider la formation selon le niveau de performances devant être atteint par l'apprenti pour être reconnu en tant que professionnel compétent et c) autorégulée qui permet une évaluation par l'évaluateur des apprentissages réalisés durant la formation.

Selon les directives de formation des évaluateurs (OFPr, 2003), l'évaluation doit être critériée et non normative. Ce critère n'est pas lié aux évolutions de l'évaluation (Frenette et Hébert, 2021), mais toujours à l'objectif de l'évaluation en FPI. Les évaluateurs ne doivent pas comparer les apprentis entre eux, mais s'appuyer sur des standards prédéfinis, le référentiel de compétences. Leur rôle est de certifier si chaque apprenti possède les compétences nécessaires pour devenir un professionnel, indépendamment du nombre de candidats réussissant ou échouant aux examens. La conception de l'évaluation comme autorégulation est, pour sa part, une hypothèse de recherche de notre part.

# 6. Approche méthodologique

Tous les participants aux trois études constituant cette thèse sont des évaluateurs actifs dans le commerce. Ce chapitre permet de comprendre de quelle manière ceux-ci sont répartis selon les langues, les domaines du commerce et les types d'articles que nous avons construit.

## 6.1. Participants

Dans le cadre de nos trois recherches, les participants peuvent, comme le montrent la figure 6 et le tableau 4, être répartis verticalement selon les domaines de formation et horizontalement selon la langue choisie pour répondre aux questionnaires. Verticalement, nous avons en premier, les « employés de commerce » réalisant principalement des tâches de bureau. Ensuite, nous avons les 22 branches du commerce de détail. Parmi ces branches du commerce de détail, nous avons choisi la branche alimentation pour réaliser deux de nos
études<fnref n="11" />. Horizontalement, nous avons une séparation en fonction des langues : allemand, français et italien.

Bien que chaque publication détaille les participants de chaque étude, il nous paraît important de présenter de manière générale la population des évaluateurs. Le point principal est l'importante hétérogénéité des évaluateurs malgré leur fonction commune. Leur formation dans le domaine du commerce va d'un titre identique à celui qu'ils ont à évaluer, niveau CITE 3, jusqu'à des titres universitaires. Bien que la grande majorité des évaluateurs travaille dans des entreprises formatrices, certains sont également ou exclusivement enseignants en cours interentreprises, impliqués dans des instituts sociaux ou à la retraite. Dans le domaine de la formation pédagogique, la majorité des évaluateurs n'ont pas de formation certifiante, tandis qu'une petite partie détient le brevet de formateur d'adultes (CITE 6). La répartition entre les genres est proche de l'équilibre, la moyenne d'âge est de 45 ans (É.-T. = 10) pour une expérience en tant qu'évaluateur de 10 ans (É.-T. = 6).

Tableau 4

Langues et domaines des participants des trois publications

<table><thead><tr><th>Langue</th><th>Employé de commerce</th><th>Alimentation</th><th>22 branches</th></tr></thead><tbody><tr><td>Allemand</td><td>Aucune</td><td>Publication n°1 (n=112)</td><td>Aucune</td></tr><tr><td>Français</td><td>Publication n°2 (n=88)</td><td>Publication n°1 (n=68)<br>Publication n°2 (n=57)<br>Publication n°3 (n=11)</td><td>Publication n°2<br>(n=84)</td></tr><tr><td>Italien</td><td>Aucune</td><td>Publication n°1 (n=9)</td><td>Aucune</td></tr></tbody></table>

<footnote n="11">¹¹ Ces branches sont : After-Sales Automobile, Ameublement, Articles de sport, Bijoux - pierres précieuses et montres, Boulangerie-confiserie, Chaussures, Consumer Electronics, DO IT YOURSELF, Électro-ménager, Jouets, Landi, Magasins spécialisés en biens zoologiques, Ménage, Papeterie, Parfumerie, Peinture, Poste, Quincaillerie, Sales Automobile, Textile et Transports publics.</footnote>
<caption>**Figure 6**</caption>

Langues et domaines des participants des trois publications

<figure><img src="image_14.png" /></figure>

Note : Le diamètre des cercles est proportionnel au nombre de participants. Les comparaisons entre cercles ne sont valables qu'au sein d'une même publication.

Une question dans la première étude a permis aux participants de signaler, sans engagement de leur part, leur intérêt pour une participation au focus group utilisé dans la troisième étude. De plus, il est fort possible que des évaluateurs à l'intersection entre « alimentation » et « français » aient participé aux trois études.

Cette thèse place au centre de son analyse le public des évaluateurs francophone du commerce de détail en alimentation. Les contributions issues d'autres langues dans cette même branche (publication 1) ainsi que celles provenant d'autres branches et de langue française (publication 2) n'ont pas vocation à être généralisées à l'ensemble des évaluateurs du commerce helvétique. Cette démarche vise à s'assurer que les résultats obtenus ne
reflètent pas des biais spécifiques à la branche alimentation. Une telle approche permet également de considérer la diversité des domaines concernés, afin d'analyser les similitudes et les particularités qui pourraient influencer l'interprétation et l'utilisation des résultats dans des environnements variés. Cette démarche constituera une base précieuse pour les recherches futures.

## 6.2. Choix méthodologique

Dès le début, nous avons opté pour une méthodologie mixte par une articulation entre deux articles basés sur des données quantitatives puis un article examinant des données qualitatives.

Par les méthodes quantitatives, nous avons pu mesurer l'ampleur des causes et facteurs agissant sur la fonction d'évaluateur aux examens pratiques. Puis, à l'aide de méthodes qualitatives, nous avons obtenu des descriptions détaillées de cette même fonction d'évaluateur (Pluye, 2012). Selon le continuum de Johnson et ses collègues (2007) oscillant entre une recherche exclusivement qualitative ou exclusivement quantitative, nous positionnons notre démarche comme étant à dominante quantitative. Nous avons travaillé de manière séquentielle, ainsi les résultats quantitatifs ont servi à mettre en place notre recherche qualitative (Creswell et Plano Clark, 2011; Pluye, 2012). Le domaine de recherche étant peu exploré, ne pas donner la parole aux participants aurait fait courir le risque « [...] de manquer une partie importante de l'histoire<fnref n="12" /> » (Frechtling et Sharp, 1997, p. 2).

Les trois contributions ont été réalisées successivement, ainsi les résultats de l'une ont servi à améliorer le questionnaire, le guide d'entretien de la recherche suivante et planifier la troisième étude. Ces apports et changements sont présentés entre les publications 1 et 2 puis entre les publications 2 et 3. Cette approche nous a permis d'adapter les outils de collecte de données (questionnaire et guide d'entretiens) en fonction des résultats obtenus, afin de les affiner à mesure de l'avancement de la recherche.

### Instrument de l'approche quantitative

Le fonctionnement de l'instrument étant identique dans la première (n=189) et deuxième (n=228) publication, nous ne ferons pas de distinction. Les questionnaires, uniquement en ligne, ont été créés avec le logiciel LimeSurvey. Les questions ont été conçues pour être facilement accessibles aussi bien sur un smartphone que sur un ordinateur de bureau. Un

<footnote n="12">¹² « [...] may miss important parts of a story. »</footnote>
groupe de quatre évaluateurs issus du corpus a également testé l'intelligibilité des items afin de garantir leur clarté et leur compréhension, leurs réponses n'ont pas été prises en compte. Tous les items ont été définis comme obligatoires, et seuls les questionnaires entièrement complétés sont pris en compte pour l'analyse, ce qui assure la validité des données recueillies.

Le premier questionnaire, proposé en trois langues, a été traduit selon la méthode « Forward-Backward » (Behling et Law, 2000).

## Instrument de l'approche qualitative

Pour la recherche qualitative, nous avons réalisé deux focus groups auxquels ont participé ceux qui ont répondu positivement (n = 29) à l'item « Désirez-vous participer à un groupe de réflexion francophone [...] ? » dans le questionnaire de la première étude. Un peu plus d'une année s'est écoulée entre le questionnaire de la première recherche et la mise en place des focus groups (n = 11).

## 6.3. Cadre éthique du projet

Notre série d'études étant réalisée avec des êtres humains, nous avons selon la loi fédérale relative à la recherche sur l'être humain (LRH) (2011), déposé une demande à la « commission cantonale d'éthique de la recherche sur l'être humain » du canton de Vaud (CER-VD), également compétente pour le canton de Fribourg. Cette loi « vise à protéger la dignité, la personnalité et la santé de l'être humain dans le cadre de la recherche » (LRH) (2011, art. 1). Le CER-VD a indiqué que le projet soumis ne relève pas du champ d'application de la LRH. Par conséquent, le dossier a été orienté vers la commission éthique de l'institution afin d'assurer une évaluation adaptée aux spécificités de l'étude. Le Département des sciences de l'éducation et de la formation de l'université de Fribourg n'ayant pas de commission d'éthique, nous avons mis en place notre propre cadre éthique, appliqué aux trois contributions. Il est fondé sur le « Code d'intégrité scientifique » de l'Académies suisses des sciences (Aebi-Müller et al., 2021) dont les quatre thèmes de la rigueur scientifique sont repris et exemplifiés dans le tableau ci-dessous ainsi que sur les travaux de Kitzinger et al. (2004) concernant les focus groups.
<table><caption>**Tableau 5**
Rigueur scientifique</caption><thead><tr><td>Thème</td><td>Définition</td><td>Commentaire</td></tr></thead><tbody><tr><td>Fiabilité</td><td>Transparence sur la méthodologie et les analyses réalisées.</td><td>Dans les trois articles, les objectifs sont présentés de manière transparente avant le début de chaque recherche.<br/>Nous précisons également notre indépendance dans la création de la recherche vis-à-vis des institutions liées aux examens pratiques, comme la HEFP et les branches professionnelles du commerce.</td></tr><tr><td>Honnêteté</td><td>Garantir notre impartialité dans le projet de recherche.<br/>Faire connaitre notre recherche et les résultats obtenus.</td><td>Nous informons de notre positionnement en tant que chercheur de l'université de Fribourg.<br/>Les participants sont informés que les résultats sont publiés dans des revues scientifiques et serviront à la réalisation d'une thèse de doctorat.</td></tr><tr><td>Respect</td><td>Respect des participants et chercheurs qui seront au centre des recherches sur le terrain.</td><td>Toutes les réponses ont été anonymisées. Spécialement dans les focus groups, ce ne sont pas les informations d'une personne qui sont mises en avant mais les échanges entre tous.</td></tr><tr><td>Responsabilité</td><td>Application des bonnes pratiques et de l'intégrité en recherche en sciences sociales.</td><td>Le public d'évaluateurs, principalement issu de la formation professionnelle, est moins familier des méthodes de recherche scientifique. Des exemples concrets et analogies sont utilisés pour présenter l'utilisation des données.</td></tr></tbody></table>

Note : fondé sur Aebi-Müller et al. (2021) ainsi que Kitzinger et al. (2004)

Pour les deux études quantitatives, les participants ont pu s'informer avant et après le questionnaire, et prendre contact avec nous par e-mail ou par le biais d'un champ de réponses dédié aux questions ou remarques en fin de questionnaire. Répondre à l'ensemble des questions du questionnaire étant obligatoire, nous n'avons pas pu tester l'hypothèse selon laquelle les « non-réponses » seraient une attitude particulière à l'égard du sujet traité (Pourtois, 2007), tel qu'un désengagement envers le questionnaire. Puis, durant l'étude par focus groups, nous avons pu répondre directement aux questions des participants. Ceux-ci ont été informés de la possibilité de quitter l'entretien à tout moment et de faire retirer leurs interventions. Aucune demande en ce sens n'a été relevée, tant dans les remarques des questionnaires que dans les interventions orales.

## 6.4. Posture épistémologique

Notre proximité avec le terrain de recherche (voir section 2.1) a facilité les contacts et la participation des répondants. Selon un ancrage interprétatif (Erickson, 1986; Lessard-Hébert
et al., 1990), notre analyse des données prend en compte l'expérience vécue sur le terrain, tout en reconnaissant notre appartenance à ce même terrain. Nous avons cherché à donner la parole aux évaluateurs, sans chercher à les guider ou imposer une interprétation préconçue. Pour cela, nous avons instauré une distance de sécurité lors de la collecte des données, en utilisant des questionnaires quantitatifs anonymes et en organisant des focus groups où les participants géraient les échanges, notre rôle se limitant à relancer les discussions ou introduire les questions suivantes.

Nous avons cependant pris soin de ne pas tromper ces derniers, en restant clair sur la portée de notre série d'études et leur participation. En effet, leur investissement se fait dans le cadre de la réalisation d'articles scientifiques, mobilisés dans une thèse de doctorat, et non dans un objectif de modification des examens pratiques ou de la fonction des évaluateurs. Ainsi, nous avons eu un accès privilégié au terrain grâce à nos contacts en tant qu'évaluateur actif, formateur d'évaluateurs à la HEFP et ancien supérieur hiérarchique de certains évaluateurs, mais avons toujours insisté et clarifié que ces études sont réalisées en tant que chercheur universitaire. Cunliffe et Karunanayake (2013) proposent une définition du positionnement en tant que chercheur selon quatre positionnements dichotomiques : « Insider-Outsider », « Inclusion-Exclusion », « Collaboration-Autonomie » et « Engagement-Détachement ». En tant que formateur des évaluateurs ainsi qu'acteur actif du domaine, notre positionnement est fortement de type insider, tout en restant conscient de la nécessité de maintenir une distance critique pour éviter toute interprétation biaisée. Nous adoptons une approche inclusive, cherchant à donner la parole aux évaluateurs et à les placer au centre de la collecte et de l'analyse des données, sans tenter de les guider. Nous privilégions également la collaboration, en utilisant des focus groups tout en rassemblant des participants des trois langues et des autres branches du commerce. Enfin, notre démarche est empreinte d'un réel engagement ; bien que critique et analytique, nous sommes investis dans cette série d'études afin de comprendre l'investissement des évaluateurs dans cette fonction.

## 7. Questions de recherche

Afin de traiter notre double problématique, soit : le risque de pénurie d'évaluateurs et le manque de connaissances scientifique sur les motivations à s'engager dans cette fonction, nous avons élaboré trois questions de recherche. Nos questions ne sont pas spécifiques à une publication en particulier, mais transversales à l'ensemble d'entre elles.
Notre première question de recherche est la suivante : **Sur quoi se fonde la référentialisation des évaluateurs ?** Nous avons montré que le protocole utilisé par les évaluateurs lors des examens pratiques découle du référentiel de compétences (voir section 3.2.3). Ce protocole devient leur « référent» au sens de Figari (1994, 2006), les autres documents n'étant pas utilisés par les évaluateurs. Ce faisant, nous cherchons à comprendre la validité accordée par les évaluateurs à ce référent qui conditionne le déroulement de l'examen pratique. Cette question est traitée dans la première étude en utilisant trois types de validité : validité de contenu, validité apparente et validité de conséquence (Anastasi et Urbina, 1996; Laveault et Grégoire, 2023; Penta et al., 2005). Puis, nous cherchons à définir s'il existe des profils d'évaluateurs, malgré l'hétérogénéité sociodémographique de cette population. Nous réalisons une extraction de profils par une analyse en classes latentes (Asparouhov et Muthen, 2012; Geiser, 2013; Nylund et al., 2007). Ensuite, nous examinons les relations entre ces profils et les données sociodémographiques. Cette question est également abordée lors des focus groups à l'aide de questions telles que : « Sur quoi se fonde la référentialisation des évaluateurs ? » ou « Quels sont les facteurs qui font que les évaluateurs se sentent légitimes ? ». Ces questions ont donné lieu à des échanges sur ce qui est sert de référent à leur jugement évaluatif. La question des relations entre profils et données sociodémographiques a été réfléchie suite aux résultats de la recherche sur les divergences de jugement entre évaluateurs (Jan, 2023), qui ont montré un rapport variable au protocole d'examens pratiques malgré un contexte supposé similaire (voir chapitre 8).

Notre deuxième question de recherche est : **Quel type de motivation s'applique à la fonction d'évaluateur ?** Elle est testée par une modélisation par équations structurelles (MES) (Barrett, 2007; Hu et Bentler, 1999; Kline, 2016; Schreiber et al., 2006) puis lors des focus groups. Les évaluateurs fonctionnement par engagement volontaire ; cependant aucune donnée ne permet de définir le type de motivation (Deci et Ryan, 1985) derrière leur engagement. Par la MES nous testons l'articulation entre la satisfaction des besoins psychologiques et la motivation à la fonction d'évaluateur ainsi que trois conceptions de l'évaluation (normative, critériée et autorégulation). Certains résultats de la première publication (Jan, 2024b, publication 1), tels que l'expérience comme évaluateur ou une définition plus fine des formations, ont servi à la conception des items mobilisés dans la MES. Les données de la MES ont participé à la construction du guide d'entretien du focus group, avec la concrétisation de questions ouvertes comme : « Qu'est-ce qui vous motive à fonctionner lors des examens pratiques ? », permettant aux évaluateurs de développer leurs propres arguments.
Notre troisième question de recherche est : **Quelles conceptions de l'évaluation les évaluateurs mobilisent-ils dans leur fonction et leur contexte particulier ?** Elle est étudiée selon trois conceptions considérées comme pertinentes dans le contexte des examens pratiques, c'est-à-dire selon une évaluation sans rétroaction. Nous avons : a) l'évaluation critériée (Luisoni et Monnard, 2015; Yerly et Berger, 2022), qui correspond à la forme d'évaluation devant être réalisée par la fonction d'évaluateur (OFPr, 2003) ; à la différence de b) l'évaluation normative (Yerly et Berger, 2022), comparant les apprentis entre eux, ce qui ne devrait pas avoir lieu ; et c) l'évaluation comme autorégulation (Issaieva et Crahay, 2010; Luisoni et Monnard, 2015; Yerly et Berger, 2022) quand les évaluateurs réinvestissent leurs expériences des examens pratiques dans leurs pratiques de formation des apprentis. L'importance des trois formes d'évaluation a été analysée par la MES présentée à la deuxième question de recherche. Par la suite, lors du focus groups, nous avons questionné ces trois conceptions mais en formulant des questions plus adaptées. Ainsi, pour l'évaluation critériée ou normative, nous avons demandé : « Que voulez-vous observer pour valider les compétences d'un apprenti ? », puis nous avons, par analyse catégorielle (L'Écuyer, 1990), organisé les réponses. Pour l'autorégulation, notre question a été plus directe « À quoi vous sert d'être évaluateur ? ». Nous pensons que des informations complémentaires vont apparaître entre le positionnement réalisé face à des items de questionnaire et la richesse d'un échange entre pairs (Baribeau et Germain, 2010; Kitzinger et al., 2004).

## 8. Premières explorations

Les trois articles sont présentés selon l'ordre chronologique de réalisation des recherches et non dans l'ordre chronologique de publication des articles. Bien que la conception générale de la thèse en trois articles, comprenant deux enquêtes par questionnaires puis une étude par focus groupes, ait été planifiée dès le départ, chaque nouvelle recherche s'appuie sur les résultats de la recherche précédente. Les questions de recherche de la thèse sont transversales aux articles, ainsi chaque article développe sa problématique et ses questions de recherche. D'après les croisements possibles entre les trois recherches, illustrés à la figure 6, il est probable qu'une partie des francophones de la branche alimentation ait participé à l'ensemble des trois études.

La première publication est réalisée à la suite d'une étude basée sur la méthode de Angoff (1984). Il s'agit d'une méthode utilisant les jugements d'experts pour établir des seuils de performance dans les tests. Elle repose sur l'estimation, par un groupe d'experts, du score minimum qu'un candidat « moyen » devrait obtenir pour démontrer des compétences
minimalement satisfaisantes. Chaque expert évalue les items du test en termes de difficulté, en se concentrant sur des candidats jugés juste capables de réussir. Les scores moyens des experts sont ensuite utilisés pour définir le seuil de réussite du test.

Nous avons utilisé cette méthode pour mesurer la convergence de jugement entre les évaluateurs (Jan, 2023) dans un contexte considéré comme similaire. Les six évaluateurs avaient à estimer le pourcentage de réussite d'un apprenti minimalement compétent (Angoff, 1984; Bain, 2017). Un « apprenti minimalement compétent » est la construction mentale, d'une personne qui, pour chaque test, examen ou activité obtient toujours le résultat minimalement suffisant. Les évaluateurs ont, ensuite, pour chaque question d'un protocole d'examen pratique identique, défini l'exactitude de la réponse de cet apprenti théorique, minimalement compétent. Un score de 30% indique que l'évaluateur considère que cet « apprenti minimalement compétent » ne serait capable de répondre correctement qu'à 30% de la question. En raison du nombre d'évaluateurs, supérieur à deux, nous avons traité les données avec le test α de Krippendorff (Hayes et Krippendorff, 2007). Le faible accord inter juges obtenu, α de Krippendorff = 0.39, l'accord est considéré comme faible en dessous de 0.67 et satisfaisant à partir de 0.80 (Krippendorff, 2019). Ceci indique non seulement de grandes divergences mais aussi que le protocole n'est pas un référent (Figari, 1994) perçu de manière identique par les évaluateurs. Ainsi, notre premier article va questionner la validité accordée au protocole d'examens pratiques et la référentialisation des évaluateurs.

Remarque terminologique, dans cette publication à la place du terme « évaluateur », nous utilisons « expert », car c'est la dénomination habituelle en FPI en Suisse.

Les contributions du directeur et du codirecteur portent sur une contribution au plan de recherche et la relecture des manuscrits, tandis que nous assumons le rôle de rédacteur principal des textes.
# 9. Publication 1 : Validité de l'examen pratique

La validité de l'examen pratique sous le regard des experts en formation professionnelle initiale dans la branche du commerce de détail en Suisse (Jan, 2024b).

**Un article de la revue** : Mesure et évaluation en éducation

Volume 47, numéro 2, 2024, p. 1–38

## Résumé

En Suisse, en formation professionnelle initiale dans la branche du commerce de détail, la diplomation passe par l'examen pratique dans l'entreprise formatrice de l'apprenti. Cet examen, certificatif et éliminatoire, dure entre une heure et une heure et demie, selon le type de formation. Il est conduit par deux professionnels du domaine nommés experts. Les buts de cette étude sont, d'une part, de comprendre la validité attribuée par les experts à l'examen pratique et, d'autre part, de définir les raisons de cette évaluation. Pour y parvenir, un échantillon de 189 experts a répondu à un questionnaire sur la validité de cet examen. Les données ont été traitées par des analyses factorielles exploratoires. Nous avons ensuite extrait trois profils d'experts par classes latentes. Les résultats de cette étude ont permis de mettre en évidence, parmi les experts, une hétérogénéité de profils. Ils se différencient selon leur expérience en tant qu'expert et selon leur langue.

**Mots-clés** : classes latentes, évaluateur, évaluation, examen certificatif, formation professionnelle initiale

**Réception** : 25 février 2024

**Version finale** : 14 mai 2024

**Acceptation** : 7 novembre 2024

**Diffusion numérique** : 12 décembre 2024
# La validité de l'examen pratique sous le regard des experts en formation professionnelle initiale dans la branche du commerce de détail en Suisse

## The validity of the practical examination from the perspective of experts in initial vocational education in the retail trade sector in Switzerland

## A validade do exame prático sob a perspectiva de especialistas em formação profissional inicial no setor de comércio varejista na Suíça

David JAN

ID ORCID: 0000-0001-5223-1685

Université de Fribourg

**MOTS CLÉS :** classes latentes, évaluateur, évaluation, examen certificatif, formation professionnelle initiale

En Suisse, en formation professionnelle initiale dans la branche du commerce de détail, la diplomation passe par l'examen pratique dans l'entreprise formatrice de l'apprenti. Cet examen, certificatif et éliminatoire, dure entre une heure et une heure et demie, selon le type de formation. Il est conduit par deux professionnels du domaine nommés experts. Les buts de cette étude sont, d'une part, de comprendre la validité attribuée par les experts à l'examen pratique et, d'autre part, de définir les raisons de cette évaluation. Pour y parvenir, un échantillon de 189 experts a répondu à un questionnaire sur la validité de cet examen. Les données ont été traitées par des analyses factorielles exploratoires. Nous avons ensuite extrait trois profils d'experts par classes latentes. Les résultats de cette étude ont permis de mettre en évidence, parmi les experts, une hétérogénéité de profils. Ils se différencient selon leur expérience en tant qu'expert et selon leur langue.

<figure><img src="image_15.png" /></figure>

Cette oeuvre est distribuée sous licence Creative Commons Attribution 4.0 International http://creativecommons.org/licenses/by/4.0/deed.fr
Validité de l'examen pratique 2

KEY WORDS: assessment, certificate examinations, examiner, latent classes, vocational education

In Switzerland, at the end of their initial vocational education, retail apprentices take a practical examination at the company where they are being trained. This examination, which is both certifying and eliminating, lasts between one and one and a half hours, depending on the type of training. It is conducted by two professionals in the field known as examiners. The objectives of this study are, firstly, to understand the validity attributed to the practical examination by the examiners and, secondly, to define the reasons for this assessment. To achieve this, a sample of 189 examiners answered a questionnaire on the validity of this examination. The data were processed by exploratory factor analysis, and three expert profiles were extracted by latent classes. The results of this study highlighted the heterogeneity of the examiners profiles. They differ according to their experience as examiners and their language.

PALAVRAS-CHAVES: avaliação, avaliador, classes latentes, exame certificativo, formação profissional inicial

Na Suíça, na formação profissional inicial no setor do comércio a retalho, a atribuição de diplomas é feita através de um exame prático realizado na empresa formadora do aprendiz. Este exame, de caráter certificativo e eliminatório, tem uma duração de uma hora a uma hora e meia, dependendo do tipo de formação. É conduzido por dois profissionais da área, designados como peritos. Os objetivos deste estudo são, por um lado, compreender a validade atribuída pelos peritos ao exame prático e, por outro, identificar as razões dessa avaliação. Para tal, foi utilizado um questionário sobre a validade do exame, respondido por uma amostra de 189 peritos. Os dados foram analisados por meio de análises fatoriais exploratórias, a partir das quais foram extraídos três perfis de peritos através de classes latentes. Os resultados deste estudo evidenciaram uma heterogeneidade de perfis entre os peritos, diferenciando-se pela sua experiência enquanto peritos e pela sua lingua.

<footnote>Note de l'auteur: La correspondance liée à cet article peut être adressée à david.jan@unifr.ch</footnote>
## Introduction<fnref n="1" />

En Suisse, la formation professionnelle initiale (FPI) en alternance (duale) est bien implantée. Les apprentis signent un contrat avec une entreprise formatrice (entreprise) qui va les former et les employer deux à trois jours par semaine. Une autre partie de leur temps est consacrée à la formation en école professionnelle, une troisième aux cours interentreprises conformément aux directives du secrétariat d'État à la formation, à la recherche et à l'innovation (SEFRI) (2022). Ainsi, les apprentis sont formés selon une orientation vers le marché du travail leur permettant d'exercer leur profession de manière autonome (SEFRI, 2022). Les compétences sont évaluées en continu et en fin de formation ; les jeunes subiront donc différentes évaluations. L'une d'elles, intitulée examen pratique, est singulière à plusieurs égards. L'examen est sommatif et l'apprenti doit obtenir une note suffisante pour obtenir son diplôme. L'examen pratique, qui se déroule dans l'entreprise de formation de l'apprenti, dure 60 ou 90 minutes, selon le type de formation, suivi d'une correction de 30 minutes. Deux évaluateurs, qui sont des professionnels actifs du métier, conduisent l'examen. Ils doivent venir d'une autre entreprise que celle de l'apprenti. Ils sont nommés «experts en entreprise» mais dans le langage courant, seul le terme «expert» est utilisé.

Cette importante voie de formation est abondamment documentée par la recherche scientifique. Les travaux portent sur le bon déroulement de la formation et s'interrogent sur les raisons qui expliquent les 20 à 25% de résiliations prématurées des contrats d'apprentissage (Kriesi et al., 2016; Réjane, 2023; Schmid & Stalder, 2008), la coordination entre les divers lieux de formation (Berger et al., 2021, 2023; Frey, 2010) ou l'avenir professionnel des diplômés (Gomensoro et al., 2017; Stern et al., 2010). Les informations disponibles sur les examens pratiques ne sont

<footnote n="1">1. Mes remerciements à Beaudouin Laura, Daenzer Annabelle, Lanini Anastasia, Meynet Alexane, Péquignot Mathis, Rana Mariastella et Romanski Soraya qui ont participé à extraire les trois dimensions de la validité de la procédure de qualification durant le séminaire Pratiques de recherche du semestre de printemps 2023 à l'université de Fribourg.</footnote>
pas des recherches mais des opinions. Celles-ci portent sur la pertinence
et sur la justice, selon des facteurs liés à l'encadrement des apprentis et
la qualité fluctuante de la formation (Kuster, 2011) ou le moment de
passation des examens (Tellenbach, 2022). Ces travaux portent sur le
déroulement de la FPI selon les interactions entre entreprises, écoles ou
débouchés professionnels. Notre recherche propose de combler ce vide
en questionnant, par une méthode scientifique, les experts sur la validité
accordée aux examens pratiques.

Nous pensons que l'examen pratique est un moment complexe et intér-
essant de questionnement de l'expert sur son identité professionnelle. En
effet, en période d'examen pratique, l'expert applique la référentialisation,
au sens de Figari (1994), en comparant l'écart entre ce qu'il observe et
ce qu'il aimerait observer chez l'apprenti. Cette référentialisation atteint
un niveau de complexité supérieur, d'une part, par la présence d'un deu-
xième expert avec qui il faut négocier les résultats et, d'autre part, par un
protocole d'examen qui représente le référent officiel et qui peut différer
du référent de l'expert. Ces tensions seront analysées grâce au modèle
des transactions identitaires (Perez-Roux, 2016) et à plusieurs types de
perception de la validité (Penta et al., 2005).

Problématique et objectifs

Une évaluation de Kägi (2010), conduite par la Confédération suisse,
a été réalisée auprès des associations faîtières formatrices, des entreprises,
des écoles et des personnes en formation. Il en ressort que l'évaluation
de la formation des experts aux examens est estimée suffisante à 25% et
insuffisante à 18%. Les remarques principales issues de ce rapport sont
qu'il y a trop peu de cours de formation continue pour les experts et que
les intervalles entre ces cours sont trop longs. Les formations sont associées
aux réformes des lois ou des procédures d'examen, qui sont habituellement
réalisées chaque cinq ou dix ans. De plus, le fait que certains professionnels
exercent sans la formation adéquate ou que le manque de professionnels
permette à des personnes non formées d'exercer cette fonction a aussi été
mentionné comme sujet à caution. Une autre problématique ressort dans
une étude sur le degré d'accord entre les experts (Jan, 2023) réalisée selon
la méthode Angoff (Angoff, 1984; Bain, 2017). Cette méthode demande
aux experts d'imaginer un panel de 100 apprentis minimalement compét-
tents, c'est-à-dire aptes à résoudre les questions, mais toujours avec la note
la plus basse pour que l'examen pratique soit considéré comme suffisant.
Les experts ont pris, une à une, chaque question de l'examen pratique et estiment combien de ces 100 participants minimalement compétents répondraient correctement à chacune des questions. Pour cette étude, six experts expérimentés ont dû évaluer chaque question de l'examen pratique selon cette méthode. Ces experts comptent plus de 10 ans d'expérience, ont expertisé plus de 100 apprentis et préparent chaque année des apprentis pour les examens pratiques. Le protocole d'examen utilisé est la version libre d'accès permettant, tant aux apprentis qu'aux formateurs, de préparer l'examen pratique. Les résultats ont montré de fortes divergences entre les experts. Par exemple, selon l'un des plus grands écarts, un expert a estimé que 30 apprentis minimalement compétents répondraient correctement à la question, tandis qu'un autre a évalué qu'ils seraient 95 à répondre correctement à la même question. Ainsi, la divergence entre ces deux experts est de 65 points. La divergence moyenne dans chacune des questions a été de 45 points (Jan, 2023) pour un accord inter experts de 0,39 selon le test α de Krippendorff (Hayes & Krippendorff, 2007).

Nous voyons, au travers de ces deux exemples, que l'évaluation de cet examen pratique par les experts est, d'une part, vue comme aléatoire (Kägi, 2010) et que, d'autre part, des experts, même très expérimentés, peuvent donner des évaluations très différentes malgré un protocole d'examen identique (Jan, 2023).

## La fonction d'expert

Les experts sont des professionnels actifs dans le domaine alimentaire du commerce de détail. La majorité fonctionne en tant que directeur d'un supermarché. Ils sont tenus d'avoir un minimum de trois ans de pratique et de détenir un diplôme identique ou supérieur à celui qu'ils vont expertiser. Ces professionnels peuvent obtenir le titre d'expert aux examens pratiques à la suite d'une participation à une formation de deux jours selon l'Ordonnance sur la formation professionnelle du SEFRI (2004). La première journée, intitulée cours de base, est commune à toutes les branches de la professionnelle initiale. Durant celle-ci sont abordés les rôles et les tâches des experts conformément aux dispositions légales. La deuxième journée, intitulée cours spécifique, regroupe les experts selon leurs branches de fonctionnement. Lors de cette journée, des informations pratiques liées à l'examen pratique sont présentées : l'utilisation des protocoles d'examen, la gestion du temps et les bonnes pratiques à appliquer lors de situations particulières avec un apprenti.
Les experts sont choisis pour leur posture évaluative, mais également pour leur sagesse pratique (Delahais et al., 2021) du métier. Ceci implique que leurs pairs les considèrent comme des professionnels compétents ayant une attitude valorisante à l'égard de la profession, de la procédure de qualification et de l'apprenti.

## Le déroulement de l'examen pratique

Les examens pratiques se déroulent chaque année durant le mois de mai, le mois de juin étant consacré aux examens en école professionnelle.

Il s'agit d'une évaluation pratique située (Brown et al., 1989; Mottier Lopez et Allal, 2008) qui se déroule dans l'entreprise où l'apprenti fait sa formation.

Il existe deux diplômes: assistant et gestionnaire du commerce de détail. La formation de gestionnaire prend trois ans et l'examen pratique dure 90 minutes, tandis que la formation d'assistant prend deux ans et l'examen pratique dure 60 minutes. La formation d'assistant s'adresse aux personnes rencontrant des difficultés scolaires et le temps consacré à l'école est moindre que pour la formation de gestionnaire. Durant l'examen pratique des assistants, le niveau de complexité des questions, selon la taxonomie de Bloom (1969), est plus bas et la durée de l'examen est raccourcie de 30 minutes. Hormis ces deux différences, les experts évaluent les deux formations de la même manière et selon des protocoles similaires.

Directement après l'examen, pendant quelque 30 minutes, les experts négocient et attribuent les points par concertation (Reuter et al., 2013) à chaque question. Le total final permet de calculer la note d'examen pratique qui est ensuite transmise au coordinateur. L'apprenti n'est pas présent durant la correction.

La pratique d'évaluation n'est pas celle d'un professeur qui évalue son élève après l'avoir accompagné et formé durant plusieurs années. Nous sommes plus proches d'une évaluation de type externe (Merle, 2018) ou institutionnelle (Perrenoud, 2010). C'est la rencontre entre des professionnels qui connaissent le domaine et viennent pour réaliser leur fonction évaluatrice. Cependant, les experts ne connaissent spécifiquement ni l'apprenti ni l'entreprise visitée. Des situations inédites et déstabilisantes pour l'apprenti peuvent en découler. Par exemple, les experts peuvent demander de quelle manière sont choisis les emplacements des zones promotionnelles du magasin alors que cette entreprise ne laisse pas aux employés la possibilité de les choisir.
Les experts évaluent si les compétences opérationnelles (Seufert, 2018) fixées par le plan de formation sont atteintes (Formation du Commerce de Détail Suisse, 2021a, 2021b). Les compétences opérationnelles, dont la définition originale en allemand *Handlungskompetenz* décrit mieux le concept, sont les compétences à réaliser des actions. Ainsi, les apprentis ne doivent pas décrire qu'ils savent faire une tâche, mais le démontrer par une action en situation permettant une évaluation située (Vial, 2012). Ces compétences sont le résultat d'une pratique régulière en entreprise ainsi que d'un aller-retour entre la théorie et la pratique (Perrenoud, 2000). Concrètement, par l'examen pratique, l'apprenti est mis en action dans des situations proches de son travail quotidien. Par exemple, les experts passent en caisse avec une série de produits et évaluent la manipulation de la marchandise, le respect des consignes légales et de sécurité, mais également les compétences sociales dans la manière de dialoguer tout en travaillant. Le niveau de complexité de chaque question est défini selon la taxonomie originelle de Bloom (1969).

Bien que l'examen pratique soit axé sur des compétences opérationnelles, issues des pratiques professionnelles (Le Boterf, 2010), l'évaluation n'est pas formative et ne sera pas une base permettant à l'apprenti de s'améliorer (Scriven, 1996). En fin d'examen pratique, l'apprenti ne recevra aucun commentaire sur sa prestation. C'est une évaluation à fonction certificative qui doit permettre de certifier que l'apprenti peut être considéré comme un employé qualifié.

## Le protocole de l'examen pratique

La structure de base du protocole de l'examen pratique définit le nombre de questions par domaine, le niveau taxonomique et le temps de chaque question. Elle est réalisée par Formation du Commerce de Détail Suisse. Les questions de l'examen pratique sont générées automatiquement selon un échantillonnage de questions stratifiées (Laveault & Grégoire, 2014) depuis une plateforme informatique permettant une adaptation selon les différents types d'entreprises. Cette construction automatisée et structurée des examens pratiques fait que : a) les experts ont un protocole différent d'un apprenti à l'autre ; b) le protocole est adaptable au type d'entreprise visitée (petit magasin de village, grand magasin ou magasin spécialisé) ; c) l'examen porte sur l'ensemble des compétences du métier et ne se focalise pas sur un domaine en particulier.

Chaque question (voir exemple en figure 1) propose une série de solutions probables dans la colonne intitulée Liste de solutions ainsi qu'une zone libre intitulée Protocole qui permet de noter la réponse de l'apprenti.
<table><caption>Figure 1
Question issue d'un protocole de l'examen pratique</caption><thead><tr><th>N° OE</th><th>Objectif évaluateur</th><th>TA</th><th>N°</th><th>Tâche</th><th>Min</th><th>Pts</th><th>Liste de solutions</th><th>Protocole</th><th>Points</th></tr></thead><tbody><tr><td>5.3.14</td><td>Je me montre serviable et m'implique dans mon travail.<br><strong>Consigne pour l'expert:</strong><br>Aucun jeu de rôle, l'expert présente le cas.<br><strong>Thème:</strong><br>Types de clients particuliers</td><td>C3</td><td>2.4</td><td><strong>Entretien de vente/ présentation du cas</strong><br>Un client aveugle pénètre avec son chien dans votre magasin. Comment vous comportez-vous?<br>Que faites-vous dans une telle situation ? Montrez-nous votre façon d'agir comme si vous étiez en situation réelle.<br>1,0 P = très bien<br>0,5 P = satisfaisant</td><td>3</td><td>1</td><td>– Aller au contact du client.<br>– Se présenter avec son nom en tant que collaborateur du magasin.<br>– Demander si le client a besoin d'aide.<br>– Faire attention au choix des mots utilisés (couleurs, apparence, éviter des expressions comme «Voyez-vous»)<br>– Ne pas entraver le chien dans sa mission.</td><td>1</td><td></td><td></td></tr></tbody></table>
Les experts sont libres d'utiliser une zone ou l'autre, voire les deux, le plus important étant de noter les informations nécessaires pour retracer le déroulement de l'examen pratique lors de la l'évaluation par les deux experts.

Les autres zones de la figure 1 décrivent des informations administratives telles que la source ayant servi à la construction de la question, le temps ainsi que le nombre de points attribués à la question.

## Cadre théorique

Comme le montre le protocole de l'examen pratique, les experts sont très encadrés dans la réalisation de leur fonction d'évaluateur et les questions à poser leur sont fournies. Mais, en même temps, le processus de l'examen pratique fait que les experts vont évaluer des apprentis et des entreprises qu'ils ne connaissent presque pas. Pour mieux saisir ce dilemme, nous testerons la perception qu'ont les experts de la validité de l'examen (Penta et al., 2005). Ces types de validité seront intégrés dans le modèle de transactions identitaires (Perez-Roux, 2016) démontrant comment la référentialisation (Figari, 1994) faite par les experts pour réaliser leur évaluation dans un contexte simultanément cadré est une source d'instabilité qui peut être reliée à leur identité professionnelle.

## La validité de l'examen

Dans une première phase, nous testons la validité (Anastasi & Urbina, 1996; Laveault & Grégoire, 2014; Nevo, 1985; Penta et al., 2005) que les experts accordent à l'examen. Lors de la deuxième phase, les facteurs de validité construits servent à réaliser des profils d-experts par le recours à une analyse en classes latentes. Ces profils serviront dans la troisième phase afin de mieux comprendre la référentialisation (Figari, 1994) faite par les experts.

Parmi les six types de validité (Penta et al., 2005), nous en utilisons trois :

1) La validité de contenu interroge les experts sur l'examen pratique en tant qu'outil de qualité pour évaluer le professionnalisme des apprentis. Par exemple, est-ce que les questions reflètent effectivement le travail quotidien des apprentis (Laveault & Grégoire, 2014; Penta et al., 2005)?

2) La validité apparente interroge la qualité apparente de l'examen. Les experts sont des professionnels du commerce de détail, mais pas de la pédagogie ou du plan de formation dont sont issues les
questions des examens pratiques. Cette validité porte ainsi sur la valeur apparente et non réelle de l'examen pratique (Penta et al., 2005). Cette mesure est importante, car elle indique la légitimité et le crédit que les experts accordent au protocole d'examen pratique (Anastasi & Urbina, 1996). Par exemple, est-ce que les tournures de phases limitent la compréhension des questions?

3) La validité de conséquence représente la perception de l'adéquation entre les questions de l'examen pratique et le magasin où se déroule l'expertise. (Laveault & Grégoire, 2014; Nevo, 1985; Penta et al., 2005). Cette validité permet de prendre en compte les conséquences de l'utilisation du protocole d'examen pratique sur l'évaluation de l'examen pratique lui-même (Messick, 1988). Par exemple, est-ce que les réponses des apprentis correspondent à la liste des solutions?

Précisons que ces trois validités sont questionnées selon les percep-
tions qu'ont les experts de la validité de l'examen pratique. Ce n'est pas
l'examen pratique qui est testé, mais la démarche de mesure (Loye, 2019)
avec l'examen pratique pour s'acquitter correctement la fonction d'expert.

Les trois autres types de validité (Penta et al., 2005), en référence à un critère concomitant, prédictif ainsi que conceptuel ne questionnent pas les experts sur l'examen. Ces critères questionnent la validité de l'examen pratique par rapport à d'autres examens et, pour cette raison, ils ne sont pas pertinents pour cette étude.

Les profils des experts

La procédure de construction des profils par l'analyse en classes latentes est présentée dans les résultats. Ainsi, nous passons à la référentialisation (Figari, 1994) selon ces différents profils.

Lors de l'évaluation, l'expert se base sur un référentiel (Figari, 1994, 2006) qui n'est pas un objet de référence préexistant, mais une construction éphémère et personnelle cognitivement mobilisée durant l'examen. Ce référentiel est conçu comme l'outil étalon servant à évaluer l'écart qui existe entre le référent, désignant ce que l'on souhaiterait observer ou constater, et le référé, correspondant à la réalité que l'on observe lors de l'examen pratique en contexte réel. Le référent est multidimensionnel : il entremêle les attentes de l'expert selon ses propres critères de qualité, les besoins du marché, le type d'entreprise visité et son état d'esprit du moment, ainsi la conception même de la fonction d'expert (Issaieva & Crahay, 2010) qui
est propre à chacun. Les experts évaluent les apprentis selon ce qu'ils vont montrer et démontrer durant l'examen pratique, défini par Hadji comme les signes parlants (2012). Ces signes parlants, ou indices, sont issus des pratiques professionnelles (Le Boterf, 2010) que les experts veulent constater dans la prestation de l'apprenti.

L'examen pratique a une fonction certificative, mais la démarche de cette évaluation peut être sommative ou herméneutique (De Ketele, 2010) : sommative, car l'obtention d'une note suffisante est obligatoire pour prétendre à la diplomation, mais également herméneutique, car l'examen pratique avait du sens selon les pratiques professionnelles afin de garantir les acquis d'un futur employé qualifié (Mottier Lopez, 2015). Des biais entrent également en action par la méconnaissance de l'entreprise expertisée puisque l'expert n'est jamais expert dans sa propre entreprise. Ainsi, un effet-entreprise, par analogie à l'effet-école (Grisay, 2006), peut apparaitre ; les experts peuvent être influencés par la réputation des entreprises. Le jugement des experts (Bressoux, 2018) peut, en partie, se construire selon les préjugés sur les entreprises qui deviennent la réputation de l'apprenti expertisé.

Ainsi, la référentialisation (Figari, 1994) est la phase centrale de l'action d'évaluation, car on justifie le résultat, non de manière absolue, mais de manière relative au cadre d'un examen pratique spécifique selon l'écart mesuré entre référent et référé.

## L'identité professionnelle

Le référé (Figari, 1994) peut être double : d'une part, il y a celui de l'expert que l'on vient de présenter mais, d'une autre part, il y a le référé officiel, soit l'examen pratique. Afin d'expliquer de quelle manière le référérent, le référé de l'expert et le référé officiel coexistent, nous utiliserons une version adaptée du modèle des transactions identitaires de Perez-Roux (2016), illustré en figure 2, pour présenter le processus complexe et dynamique de l'accompagnement en formation.

L'identité professionnelle de l'expert, durant ses expertises, est tiraillée entre plusieurs dimensions. La précision « durant ses expertises » est importante, car l'expert quitte son contexte habituel pour aborder une entreprise peu connue, afin d'évaluer un apprenti inconnu avec un deuxième expert souvent côtoyé uniquement dans le cadre de cette fonction. Ainsi, l'identité professionnelle de l'expert n'est pas figée durant les expertises. La référentialisation (Figari, 1994) de l'expert fluctue selon les dimensions et le(s) contexte(s) de la transaction identitaire (Perez-Roux, 2016). Selon
<figure><img src="image_16.png" /><figcaption>Figure 2
*Transactions identitaires* (Adapté de Perez-Roux, 2016, p. 4)</figcaption></figure>

l'axe horizontal, afin de garantir la conformité de l'évaluation officielle, les experts doivent se référer à la structure figée de l'examen pratique mais doivent également évaluer si les compétences de l'apprenti correspondent aux critères actuels du métier. L'axe vertical demande des ajustements entre la propre représentation de l'expert du métier, ses critères quant au travail bien fait et ce qui est demandé par l'examen, mais également des attentes quant aux compétences du métier, telles que définies par le deuxième expert. La référentialisation (Figari, 1994) est l'association que l'expert fait entre ses diverses transactions identitaires, son collègue expert, le protocole d'examen et l'apprenti expertisé.

Dans le modèle présenté en figure 2, l'examen pratique est un objet invariable qui se positionne dans la continuité. Nous positionnons également les trois types de validité retenues. D'abord, la validité apparente, qui évalue spécifiquement la construction des protocoles d'examens selon les questions et les tournures de phrases qui les composent, est située dans la zone de l'examen pratique. Deuxièmement, selon l'adéquation entre le protocole d'examen pratique et l'évaluation d'apprentis en fin
de formation (validité de contenu), cette validité est située entre les axes «Changement(s)» et «Autrui», car elle évalue également l'utilisation et l'application du protocole faites par le deuxième expert. Troisièmement, il y a la validité de conséquence, selon la congruence de l'outil entre les questions, le type de magasin et le plan de formation pour évaluer un futur professionnel. Cette validité est située entre «Soi(s)» et «Changement(s)», car les items évaluent l'expert sur l'écart qu'il ressent entre son référent (Figari, 1994) et le référent officiel du protocole d'examen.

## Objectifs et hypothèses de recherche

Les réponses aux items du questionnaire doivent permettre d'extraire les trois dimensions de la validité de la procédure de qualification et de répondre à notre question de recherche : comment se distinguent les experts en fonction de leur évaluation de la validité de l'examen pratique?

Notre première hypothèse est qu'il existe plusieurs profils d'experts qui se distinguent selon les trois dimensions de la validité. Nous testerons la présence de ces profils par classes latentes. Notre deuxième hypothèse est que les experts, en fonction de leurs profils, fondent leur référentiation principalement sur leur expérience. La fonction d'expert est occasionnelle, peu contrôlée et les protocoles d'examens pratiques ont une structure inchangée depuis 2004. Pour rappel, cette formation dure deux jours et a lieu en début de prise de fonction. En 2014, à la suite d'un changement de niveau taxonomique, une mise à niveau pour la deuxième journée a été proposée aux experts. Cependant, certains ont pu éluder la formation complète depuis quinze ans. Nous testerons la solidité de cette hypothèse avec les autres données sociodémographiques et certains items faisant appel à la référentiation durant les examens pratiques.

## Méthodologie

### Les participants

Grâce à la base de données nationale des experts de la branche allimentation, la population des 457 experts a été sollicitée. Bien que la procédure de qualification soit de la responsabilité des cantons, les experts sont répartis en trois groupes, selon les régions linguistiques francophone, alémanique et italophone<fnref n="2" />.

<footnote n="2">2 Pour l'apprenti, le choix de la langue est défini dans son contrat de travail (français, allemand ou italien) et conditionnera la langue des cours et de son examen pratique.</footnote>
L'échantillon (n = 189) comporte 32% de femmes et l'âge moyen est de 46 ans (M = 46,48, É.-T. = 9,96), représentant 41,35% de la population. La formation suivie est à 28% au niveau 5³ selon la classification internationale type de l'éducation (CITE) et à 72% au niveau CITE 6⁴. Les francophones représentent 36% des réponses pour une proportion de 22% dans la population. Les alémaniques représentent 59% des réponses pour une proportion de 75% et les italophones 5% des réponses pour une proportion de 3% dans la population. L'expérience moyenne pour la fonction d'expert est de 11 ans (M = 11,19; É.-T. = 6,92).

Les experts réalisent en moyenne dix expertises, ce qui représente approximativement trois jours de travail, à raison de trois à quatre expertises par journée, en moyenne, selon un rapport interne du domaine alimentaire du commerce de détail réalisé en 2023.

Ont été retirés de l'échantillon (n = 6), ceux ayant répondu en moins de six minutes, durée minimale d'une réponse de qualité selon des essais empiriques avec trois participants.

## Les instruments

Pour évaluer les perceptions de la validité de contenu, la validité apparente et la validité de conséquence (Penta et al., 2005), onze items de type Likert ont été construits. Les modalités de réponses varient selon six niveaux, allant de « pas du tout d'accord ou ne me correspond pas du tout » à « tout à fait d'accord ou me correspond totalement ». L'instrument est composé de trois parties ; les items figurent en annexe.

## Partie 1 - Questions générales sur l'examen pratique

Cette partie est construite selon des affirmations générales sur l'examen pratique auxquelles l'expert indique son degré d'adéquation. Par exemple, « De manière générale, vous trouvez que la durée de l'examen est trop longue » ou « Selon vous, les examens pratiques et les protocoles d'examens reflètent le travail quotidien des apprentis ».

<footnote n="3">3. Les diplômes courants sont le certificat fédéral de capacité ou la maturité réalisée en école professionnelle.</footnote>

<footnote n="4">4. Les diplômes courants sont le brevet fédéral ou un diplôme obtenu en école spécialisée.</footnote>
## Partie 2 - Questions sur la manière de répondre

La deuxième partie se base sur des captures d'écran de points spécifiques de l'examen pratique en version libre. En lien avec ces images, des questions et des affirmations sont soumises à l'expert, sur lesquelles il doit indiquer son degré d'adéquation.

## Partie 3 - Données sociodémographiques

Les informations demandées sont le genre, l'âge, le plus haut niveau d'étude terminé ainsi que l'entreprise formatrice. Les entreprises ont été séparées en deux groupes, soit « Leader et Historique » désignant deux entreprises qui, selon l'Office fédéral de la statistique (2024), représentent 64% du chiffre d'affaires du commerce de détail et « Autre » pour toutes les autres entreprises.

Pour les informations sur les examens pratiques, nous leur avons demandé le nombre d'années qu'ils avaient cumulées en tant qu'expert, le nombre d'expertises moyennes réalisées ainsi que le nombre d'apprentis que compte leur entreprise. L'expérience des experts est répartie en trois catégories : 1) moins de 3 ans, pour les experts peu ou pas expérimentés, 2) 3 à 15 ans, pour les experts expérimentés ayant uniquement fonctionné selon les protocoles d'examens pratiques de 2004 et 3) plus de 15 ans, pour les experts qui ont fonctionné selon les protocoles d'examens pratiques de 2004, mais également selon l'ordonnance précédente. La séparation entre ces deux derniers groupes est importante, car la précédente ordonnance sur la formation professionnelle imposait déjà une durée mais pas de protocole d'examen. Selon l'ancienne ordonnance de l'Office fédéral de la formation professionnelle et de la technologie (OFFT, 1980), les experts posaient aux apprentis les questions de leur choix.

L'instrument a été traduit en italien et en allemand. La version italienne a été validée par la responsable de cette région. La traduction de la version allemande a été validée selon la méthode *Forward-Backward* (Behling & Law, 2000). Seules des remarques concernant les abréviations des titres et des institutions ont été relevées. Aucune information sur le canton de fonctionnement n'a été demandée, car les experts sont fréquemment appelés à expertiser dans plusieurs cantons de leur région linguistique.
## Les trois types de validité de l'examen

Quatre items sur la validité de contenu (Laveault & Grégoire, 2014; Penta et al., 2005) évaluent dans quelle mesure le protocole d'examen pratique est perçu comme un outil adéquat pour évaluer les apprentis. L'ensemble du déroulement de l'examen, ainsi que les questions posées par les experts, proviennent uniquement du protocole. Par conséquent, ce dernier doit à la fois refléter le travail quotidien et être un outil facilement utilisable.

La validité apparente, mesurée par trois items, est vue comme étant moins rigoureuse (Anastasi & Urbina, 1996; Nevo, 1985; Penta et al., 2005). Elle est cependant importante, car elle mesure l'acceptation et la crédibilité que les experts attribuent à l'examen. Toutes les questions du protocole sont construites selon une terminologie propre à ses concepteurs. Cependant, le langage professionnel, les termes techniques et les tournures de phrases changent selon les entreprises de formation. Par exemple, un même rayon est nommé « épicerie », « marchandise générale » ou « produits secs » selon les entreprises. Ainsi cette validité mesure la crédibilité que les experts attribuent aux termes choisis, mais également leur estimation de la capacité de l'apprenti à comprendre ces différents termes.

Quatre items servent finalement à mesurer les implications attribuées par les experts au protocole en tant qu'instrument de mesure, soit la validité de conséquence (Laveault & Grégoire, 2014; Messick, 1988; Penta et al., 2005). La note que les experts attribuent doit indiquer si l'apprenti est suffisamment compétent pour exercer comme professionnel qualifié.

## La procédure d'administration de l'instrument

L'instrument a été soumis aux experts par courriel, la langue du message (français, allemand ou italien) est définie selon le choix de l'expert dans le système informatique de la branche. L'instrument, disponible en trois langues, a été complété par le logiciel d'enquête en ligne LimeSurvey. Durant le processus, l'expert avait la possibilité de choisir la langue de l'interface. L'appariement de l'expert à l'une des trois langues est défini selon celle qu'il a utilisée pour remplir l'enquête<fnref n="5" />.

<footnote n="5">5. Nous utiliserons par la suite des termes tels que «experts francophones», bien quelques experts bilingues fonctionnent occasionnellement dans une autre langue.</footnote>
La réponse à chaque question a été définie comme obligatoire. Les consignes relatives aux objectifs de l'enquête étaient disponibles dans le courriel et sur LimeSurvey. L'instrument est resté accessible durant un mois et un courriel de rappel a été envoyé après deux semaines.

### La procédure d'analyse

Des analyses factorielles exploratoires (AFE) ont été réalisées à partir des 11 items sur la validité. Les trois facteurs extraits ont été analysés avec le logiciel Mplus 8.3 afin de réaliser des profils en classes latentes. La composition des trois profils d'experts obtenus a été comparée grâce à des tests de Kruskal-Wallis.

## Résultats

Dans notre recherche, plusieurs objectifs se dessinent. D'abord, nous cherchons à extraire les trois dimensions de la validité de la procédure de qualification selon notre cadre théorique. Ensuite, nous désirons distinguer des profils d'experts selon ces dimensions de la validité. Finalement, nous voulons expliquer ces profils selon les données sociodémographiques recueillies.

### La validité de l'examen

Les AFE ont été conduites selon la méthode d'extraction de factorisation en axes principaux et une rotation Oblimin avec normalisation Kaiser (Stafford et al., 2006). Selon l'échantillon de 189 participants, seules les saturations dont la valeur était supérieure à 0,37 ont été prises en compte (Berger, 2021). Les trois facteurs extraits expliquent au total, 57,59% de la variance. Le test de sphéricité de Bartlett est significatif et l'indice KMO est adéquat à 0,70 (Gagnon, 2019). La perception de la validité des examens pratiques est multidimensionnelle par le contexte de l'examen ainsi que le référent construit par l'expert. Ainsi, selon les conseils de Béland et al. (2018), nous donnons la cohérence interne par l'oméga de McDonald.

Le tableau 1 rapporte la matrice de pattern de cette solution factorielle.

Le premier facteur extrait correspond à la validité de contenu, compte quatre items, une valeur propre de 2,85 et explique 25,89% de la variance dans les items. La cohérence interne est bonne avec un oméga de McDonald de 0,73. L'item «Je peux aisément attribuer 0 à 17 points pour la présentation» est conservé, bien qu'il ne sature que faiblement,
car les 17 points possibles de cette question ont un poids important dans l'examen pratique pour deux raisons. Premièrement, selon le protocole, il faut accorder 15 minutes à cette question, ce qui représente un sixième du temps total. Deuxièmement, cette question est appareillée à quatre autres questions pouvant donner jusqu'à 8 points en plus. Ainsi, cette question vaut 25 points, donc le quart de l'examen.

<caption>Tableau 1</caption>

Matrice de pattern de la solution en trois facteurs

<table><thead><tr><th rowspan="2">Dimensions</th><th rowspan="2">Items</th><th colspan="3">Facteurs</th></tr><tr><th>F1</th><th>F2</th><th>F3</th></tr></thead><tbody><tr><td rowspan="4">Validité de contenu<br>ω = 0,73</td><td>Sont suffisants pour certifier que l'apprenti<br>À est un professionnel compétent.</td><td>0,89</td><td></td><td></td></tr><tr><td>Reflètent le travail quotidien des apprentis.</td><td>0,63</td><td></td><td></td></tr><tr><td>Ont un niveau de difficulté adapté pour<br>certifier les compétences d'un gestionnaire<br>du commerce de détail.</td><td>0,63</td><td></td><td></td></tr><tr><td>Je peux aisément attribuer 0 à 17 points pour<br>la présentation.</td><td>0,37</td><td></td><td></td></tr><tr><td rowspan="3">Validité apparente<br>ω = 0,79</td><td>Les questions sont difficiles du point de vue<br>des termes techniques.</td><td></td><td>0,78</td><td></td></tr><tr><td>Les questions sont difficiles du point de vue<br>de la langue.</td><td></td><td>0,75</td><td></td></tr><tr><td>Les tournures de phases rendent les questions<br>difficiles.</td><td></td><td>0,72</td><td></td></tr><tr><td rowspan="4">Validité de conséquence<br>ω = 0,54</td><td>Les réponses des apprentis correspondent à<br>la liste de solutions.</td><td></td><td></td><td>0,63</td></tr><tr><td>Je différencie facilement les trois compétences<br>(professionnelle, méthodologique et sociale)<br>à évaluer dans l'analyse de la présentation.</td><td></td><td></td><td>0,51</td></tr><tr><td>Les réponses de la liste de solutions me<br>semblent correspondre aux pratiques du<br>commerce de détail actuel.</td><td></td><td></td><td>0,47</td></tr><tr><td>Les présentations des apprentis me semblent<br>généralement cohérentes avec la théorie.</td><td></td><td></td><td>0,38</td></tr><tr><td>Valeur propre</td><td></td><td>2,85</td><td>2,21</td><td>1,28</td></tr><tr><td>Variance<br>expliquée (%)</td><td></td><td>25,89</td><td>20,07</td><td>11,63</td></tr></tbody></table>

Note: Les saturations < 0,37 ne sont pas affichées.
Le deuxième facteur extrait correspond à la validité apparente, compte trois items, une valeur propre de 2,21 et explique 20,07% de la variance dans les items. La cohérence interne est bonne avec un oméga de McDonald identique de 0,79.

Le troisième facteur extrait correspond à la validité de conséquence, compte quatre items, une valeur propre de 1,28 et explique 11,63% de la variance dans les items. La cohérence interne est relativement faible avec un oméga de McDonald de 0,54.

## Le profil des experts

Les scores des trois facteurs de validité, standardisés en scores Z, sont traités dans le logiciel Mplus 8.3 (Asparouhov & Muthen, 2012; Caron, 2018; Geiser, 2013; Nylund et al., 2007) pour l'extraction des profils d'experts.

Selon les recommandations de Nylund et al. (2007) et en utilisant le test *Bootstrap Likelihood Ratio Test* (BLRT), reconnu pour sa robustesse dans ce contexte, nous avons conservé trois classes latentes, comme l'indique le tableau 2. Nylund et al. (2007) suggèrent effectivement de conserver la dernière classe latente, qui présente un résultat significatif (p < 0,01). Cette décision est renforcée par la valeur du test *Bayesian Information Criterion* (BIC), plus faible pour le modèle à trois classes, mettant ainsi en évidence la pertinence de cette configuration.

<table><caption>Tableau 2

*Indices statistiques pour le choix du nombre de profils à retenir*</caption><thead><tr><th>Nbre de classes</th><th>Log(L)</th><th>AIC</th><th>BIC</th><th>ABIC</th><th>BLRT</th><th>Entropie</th></tr></thead><tbody><tr><td>2</td><td>-803,03</td><td>1601,31</td><td>1633,72</td><td>1602,05</td><td>&lt; 0,001</td><td>0,46</td></tr><tr><td>3</td><td><strong>-790,65</strong></td><td><strong>1587,84</strong></td><td><strong>1633,22</strong></td><td><strong>1588,88</strong></td><td><strong>&lt; 0,001</strong></td><td><strong>0,60</strong></td></tr><tr><td>4</td><td>-779,92</td><td>1583,66</td><td>1642,01</td><td>1585,00</td><td>ns</td><td>0,69</td></tr></tbody></table>

Log(L), log likelihood; AIC, Akaike Information Criterion; BIC, Bayesian Information Criterion; ABIC, Adjusted Bayesian Information Criterion; BLRT, Bootstrap Likelihood Ratio Test

La figure 3 présente les moyennes de chacun des profils selon les types de validité.
<table><caption>Figure 3
Moyennes pour type de validité en fonction des profils d'experts</caption><thead><tr><th>Type de validité</th><th>Contenu</th><th>Apparente</th><th>Conséquence</th></tr></thead><tbody><tr><td>Eta carré partiel</td><td>0,37</td><td>0,30</td><td>0,46</td></tr><tr><td>1. Examen pratique faiblement valide (n = 105)</td><td>-0,47</td><td>-0,01</td><td>-0,56</td></tr><tr><td>2. Examen pratique peu légitime (n = 63)</td><td>0,48</td><td>-0,56</td><td>0,60</td></tr><tr><td>3. Examen pratique hautement valide (n = 21)</td><td>0,63</td><td>1,65</td><td>0,66</td></tr></tbody></table>

Le tableau 3 rapporte la composition de chacun des profils quant au niveau de formation, de l'entreprise, de l'expérience en tant qu'expert, du genre, de la langue et de l'âge. Il existe des différences dans la composition des profils quant à l'expérience en tant qu'expert et quant à la langue. La répartition des experts dans les profils est dépendante de l'expérience ($F_{(1,186)} = 3.15, p < 0,05$; $\eta^2 = 0,03$) et de la langue ($\chi^2 (2) = 16,22; p < 0,001$; $V = 0,30$). Au vu du peu d'italophones (n = 9), le test a été réalisé pour les alémaniques et pour les francophones. En revanche, nous trouvons que cette répartition est indépendante du niveau de formation, de l'entreprise, du genre et de l'âge des experts.

### Le profil 1: Examen pratique faiblement valide

Ce profil regroupe 56% des experts de l'échantillon, soit 105 experts sur les 189 de l'échantillon complet. Ils évaluent la procédure d'examen pratique comme faiblement valide, tant du point de vue de la validité de contenu que de la validité de conséquence. Concernant la validité apparente, les experts se situent presque exactement à la moyenne de l'échantillon total en score Z (-0,01). La validité apparente attribuée à l'examen
<table><caption>Tableau 3
Description des experts appartenant à chacun des profils</caption><thead><tr><th rowspan="2">n (%)</th><th rowspan="2">Niveau de formation</th><th colspan="2">Entreprise¹</th><th colspan="4">Experlence d'expert</th><th colspan="2">Genre</th><th colspan="2">Langue</th><th rowspan="2">Âge</th></tr><tr><th>CITE 5 (%)</th><th>CITE 6 (%)</th><th>Leader et historique (%)</th><th>Autres (%)</th><th>Moins de 3 ans (%)</th><th>3 à 15 ans (%)</th><th>Plus de 15 ans (%)</th><th>F (%)</th><th>H (%)</th><th>Français (%)</th><th>Allemand (%)</th></tr></thead><tbody><tr><td>1. Examen pratique faiblement valide</td><td>105 (55.56%)</td><td>28 (53.85%)</td><td>77 (56.20%)</td><td>69 (58.47%)</td><td>36 (50.70%)</td><td>10 (55.56%)</td><td>72 (55.38%)</td><td>23 (56.10%)</td><td>39 (63.93%)</td><td>66 (51.56%)</td><td>29 (42.65%)</td><td>70 (62.50%)</td><td>6 (66.67%)</td><td>46</td></tr><tr><td>2. Examen pratique peu légitime</td><td>63 (33.33%)</td><td>15 (28.85%)</td><td>48 (35.04%)</td><td>39 (33.05%)</td><td>24 (33.80%)</td><td>4 (22.22%)</td><td>43 (33.08%)</td><td>16 (39.02%)</td><td>16 (26.23%)</td><td>47 (36.72%)</td><td>23 (33.82%)</td><td>37 (33.04%)</td><td>3 (33.33%)</td><td>48</td></tr><tr><td>3. Examen pratique hautement valide</td><td>21 (11.11%)</td><td>9 (17.31%)</td><td>12 (8.76%)</td><td>10 (8.47%)</td><td>11 (15.49%)</td><td>4 (22.22%)</td><td>15 (11.54%)</td><td>2 (4.88%)</td><td>6 (9.84%)</td><td>15 (11.72%)</td><td>16 (23.53%)</td><td>5 (4.46%)</td><td>0 (0.00%)</td><td>46</td></tr><tr><td>Total</td><td></td><td>189</td><td>52</td><td>137</td><td>118</td><td>71</td><td>18</td><td>130</td><td>41</td><td>61</td><td>128</td><td>68</td><td>112</td><td>9</td></tr></tbody></table>

Note: Les pourcentages arrivent à un total de 100% lorsqu'ils sont lus en colonne.

1. Les entreprises sont séparées en deux groupes: «Leader et historique» qui, comme le nom l'indique, correspondent aux deux entreprises historique et leader en Suisse et «Autres» pour toutes les autres entreprises.
pratique (Anastasi & Urbina, 1996; Nevo, 1985; Penta et al., 2005) est
dans la moyenne des autres experts, mais la validité de contenu (Laveault &
Grégoire, 2014; Penta et al., 2005) dans la capacité de l'examen pratique en
tant qu'outil à évaluer un professionnel ainsi que la validité de conséquence
(Laveault & Grégoire, 2014; Penta et al., 2005) pour le processus de vali-
dation mis en place par cet examen sont en dessous des deux autres profils.

Concernant la composition de ce profil selon la langue et l'expérience,
il est plus adopté par les alémaniques (63%) que par les francophones
(43%). L'expérience moyenne est de 11 ans (M = 11,45; É.-T. = 7,11), ce
qui est similaire à l'ensemble des experts.

Le profil 2 : Examen pratique peu légitime

Ce profil regroupe 33% des experts de l'échantillon, soit 63 experts. Ils évaluent positivement les validités de contenu et de conséquence (Penta et al., 2005) et considèrent l'examen pratique satisfaisant sur le fond. Cependant, la validité apparente est en dessous de la moyenne. Ainsi, les experts accordent peu de crédibilité à la construction et aux termes employés lors de l'examen pratique (Anastasi & Urbina, 1996; Nevo, 1985; Penta et al., 2005). Le protocole est perçu comme un outil adéquat pour réaliser l'examen, mais les termes qui y sont employés ne sont pas « appréciés».

La composition de ce profil est pareillement répartie entre aléma-
niques (33%) et francophones (34%). L'expérience de 11 ans (M = 11,92;
É.-T. = 6,54) de ce profil est également similaire à la moyenne générale.

Le profil 3 : Examen pratique hautement valide

Ce profil regroupe 11% des experts de l'échantillon, soit 21 experts. L'examen pratique est perçu comme hautement valide selon les trois indicateurs construits (Anastasi & Urbina, 1996; Laveault & Grégoire, 2014; Messick, 1988; Penta et al., 2005). Les scores sont les plus élevés des trois profils. Les scores de validité de contenu et de conséquence sont similaires à ceux du profil 2 et plus élevés que ceux du profil 1. Les scores de validité apparente sont particulièrement plus élevés que ceux des deux autres profils, avec un score Z de 1,65. Les experts de ce profil accordent une grande validité à l'examen.

Selon la langue, ce profil est presque exclusivement composé de fran-
cophones (24%). Il comporte seulement 4% des alémaniques et aucun
italophone. L'expérience est plus basse que dans les autres profils, à 8 ans
(M = 7,71; É.-T. = 9,29).
Notre première hypothèse est vérifiée. Selon les types de validités de l'examen, nous avons pu découvrir trois profils d'experts.

### Les caractéristiques sociodémographiques des profils d'experts

Selon notre deuxième hypothèse, nous testons les profils d'experts en fonction des différentes données sociodémographiques afin de tester si l'expérience en tant qu'expert est la principale source de référentialisation (Figari, 1994, 2006).

### Le profil et l'expérience des experts

Les données étant éloignées d'une distribution normale, nous avons utilisé le test non paramétrique de Kruskal-Wallis. Ce test permet de déterminer s'il y a une différence entre les profils d'experts et une donnée observée. Le rang moyen nous renseigne sur le positionnement du groupe observé par rapport au rang moyen attendu.

La différence d'évaluation de la légitimité de l'examen, comme l'illustre le tableau 4, est significative ($H(2) = 7,49; p < 0,05$) (Siegel, 1956) pour une taille d'effet de 4% entre les profils et l'expérience des experts. L'écart entre le rang moyen attendu (95) et les trois rangs moyens montre que la tendance centrale de l'expérience en tant qu'expert n'est pas identique selon les profils. Ainsi l'expérience des experts selon les profils construits représente effectivement des populations distinctes.

<table><caption>Tableau 4
Profil des experts selon leur expérience moyenne</caption><thead><tr><td>Groupe</td><td>n</td><td>M</td><td>É.-T.</td><td>Rang moyen</td></tr></thead><tbody><tr><td>3. Examen pratique hautement valide</td><td>21</td><td>7,71</td><td>6,29</td><td>65</td></tr><tr><td>1. Examen pratique faiblement valide</td><td>105</td><td>11,45</td><td>7,11</td><td>97</td></tr><tr><td>2. Examen pratique peu légitime</td><td>63</td><td>11,92</td><td>6,54</td><td>102</td></tr></tbody></table>

Les experts des profils 1 (Examen pratique faiblement valide) et 2 (Examen pratique peu légitime), qui indiquent une perspective contestant en partie la validité de l'examen, ont une expérience plus longue dans cette fonction. La figure 4 présente les trois profils d'experts selon les groupes d'expérience « Moins de 3 ans », « 3 à 15 ans » et « Plus de 15 ans ». Le profil 1 est similaire pour les trois groupes d'expérience en tant qu'expert. Les profils 2 et 3 sont identiques, à 22%, dans le groupe des experts de moins de trois ans d'expérience mais divergent dans les deux groupes suivants.
Pour les experts ayant plus de 15 ans d'expérience, le profil 3 ne représente que 5% des experts alors qu'ils sont 39% dans le profil 2. Précisons encore que nos données sont transversales et non longitudinales. Ainsi, nous avons des comparaisons entre les profils d'experts et non une évolution de ces derniers.

<figure><img src="image_17.png" /><figcaption>Figure 4
Profil des experts selon leur expérience</figcaption></figure>

Cette information est appuyée par quatre autres résultats. Premièrement, en réalisant le test Kruskal-Wallis en remplaçant l'expérience par l'âge, le résultat est non significatif ($H(2) = 0,81; ns$), montrant ainsi que les années d'expérience sont liées aux profils des experts et non à leur âge. Deuxièmement, un test Kruskal-Wallis entre les trois profils d'experts ($H(2) = 6,80; p < 0,05$) avec l'item « La durée de l'examen [...] est trop longue », non utilisé dans l'analyse factorielle, est aussi significatif. Ce qui signifie que le test est perçu comme trop long pour les classes « Examen pratique hautement valide » (moyenne de rang de 103) et « Examen pratique faiblement valide » (moyenne de rang de 102), mais pas pour la classe « Examen pratique peu légitime » (moyenne de rang de 81). Pour les experts ayant une expérience plus longue, la durée de l'examen pratique est trop courte pour réaliser une évaluation valide. Deux tests de khi carré révèlent que les profils ne diffèrent pas dans leur composition en termes de formation ($\chi^2_{(2)} = 2,29; ns$) ou de genre ($\chi^2_{(2)} = 2,63; ns$).
## Le profil des experts selon leur langue

Une différence significative apparaît selon la langue des experts ($\chi^2_{(2)} = 16,22; p < 0,01; V = 0,30$). Le test de khi carré a été réalisé avec les experts francophones et alémaniques. Les italophones n'ont pas pu être pris en compte, car une valeur inférieure à 5 apparaît dans le tableau de la distribution théorique. Le tableau 5 montre la répartition des trois profils selon la langue.

<table><caption>Tableau 5
Profil des experts selon leur langue</caption><thead><tr><td>Groupe</td><td>n</td><td>Français</td><td>Allemand</td></tr></thead><tbody><tr><td>1. Examen pratique faiblement valide</td><td>105</td><td>43%</td><td>63%</td></tr><tr><td>2. Examen pratique peu légitime</td><td>63</td><td>34%</td><td>33%</td></tr><tr><td>3. Examen pratique hautement valide</td><td>21</td><td>23%</td><td>4%</td></tr></tbody></table>

Le profil 2 est de proportion identique entre les deux langues, tandis que le profil 3 semble être majoritairement présent parmi les experts francophones.

## Discussion

Par des analyses factorielles exploratoires (AFE), nous avons pu extraire trois dimensions de la validité de la procédure de qualification. Ces dimensions nous ont ensuite permis de distinguer trois profils d'experts par une analyse en classes latentes. Nous avons finalement testé les liens entre ces profils et les données sociodémographiques récoltées. Cette discussion porte sur les différences significatives entre les profils des experts et leur perception de validité de l'examen pratique, puis la modulation de ce lien par l'expérience et par la langue de l'expert.

## La validité de l'examen pratique selon les profils des experts

L'examen pratique est ainsi majoritairement perçu comme peu adapté pour les trois types de validité testés. Du point de vue de la validité de contenu (Laveault & Grégoire, 2014; Penta et al., 2005), le protocole d'examen pratique n'est pas considéré comme un bon outil pour évaluer les compétences des apprentis. Selon la validité de conséquence (Laveault & Grégoire, 2014; Nevo, 1985; Penta et al., 2005), il n'est pas venu comme un outil adéquat pour les différentes entreprises d'expertise. Finalement,
en ce qui concerne la validité apparente (Anastasi & Urbina, 1996), l'examen pratique n'est pas perçu comme légitime en raison des tournures de phrase employées.

Nous émettons l'hypothèse que cette faible évaluation de la validité de l'examen pratique est attribuable à son absence d'évolution, devant rester dans la dimension de la continuité de l'ancrage identitaire (Perez-Roux, 2016). Le texte de loi ainsi que le plan de formation étant identiques depuis 2004, l'examen pratique est resté identique. De leur côté, les experts, spécialement ceux ayant cette fonction depuis 2004 ou avant, ont vu beaucoup de changements de leur identité professionnelle dans le commerce de détail. Leur travail quotidien ne se retrouve donc pas dans les protocoles d'examen actuellement en vigueur. Une autre hypothèse est liée au sentiment de lassitude ressenti par les experts pour des protocoles d'examen pratiques identique d'une année à l'autre. Le déroulement des examens suivant toujours le même fil rouge, l'expert expérimenté réalise la majorité de l'examen en se référant à peine à son protocole. Ainsi, il peut avoir l'impression que son propre ressenti est plus pertinent que les observations qu'il aurait dû reporter sur un protocole dont il ne perçoit plus l'utilité.

## Selon l'expérience des experts

En nous basant sur les facteurs de validité de l'examen, nous avons pu construire trois profils significativement liés à l'expérience des experts.

Nous voyons que le profil 1 (Examen pratique faiblement valide), décrivant l'examen pratique comme faiblement valide, est similaire dans les trois groupes d'expérience. Ensuite, il est plus intéressant d'observer la différenciation qui s'opère entre les profils 2 et 3 (Examen pratique peu légitime et Examen hautement valide). Pour les experts ayant une expérience de moins de trois ans, la répartition entre les profils 2 et 3 est identique, à 22%. L'évaluation de l'examen pratique comme étant hautement valide (profil 3) est de plus en plus faible dans les deux groupes d'expérience suivants et inversement pour l'évaluation de l'examen pratique comme étant peu valide (profil 2).

Nous ne parlerons pas d'une évolution, nos données étant transversales et non longitudinales, mais d'une différence entre les trois stades d'expérience des experts. Le troisième profil diminue autant que le deuxième augmente. La différence entre les deux profils est très majoritairement liée à la validité apparente de l'examen. Plus le nombre d'années d'expérience est
élevé, plus la légitimité et le crédit (Anastasi & Urbina, 1996) que les experts accordent au protocole d'examen pratique baissent. Nous avançons deux hypothèses pour expliquer cette différence.

Premièrement, rappelons trois points sur la fonction d'expert : 1) ils suivent une formation unique de deux jours en début de carrière, 2) le protocole d'examen pratique est inchangé depuis 2004 et 3) la pratique de l'expertise occupe en moyenne deux journées annuellement. Les experts ont ainsi pu (dû) développer leur propre conception (Issaieva & Crahay, 2010) de la fonction d'expert et de la référentialisation (Figari, 1994) leur servant à l'évaluation. Le référent, ce qui doit être observé, devrait rester identique, mais la référentialisation est un processus dynamique construit par l'écart entre le référent et le référé qui représente la réalité observée par les experts. Celui-ci a évolué avec les années d'expertise et les pratiques des entreprises, inconnues dans les premières années d'expertise, sont devenues familières. Les experts construisent ainsi un référentiel dont le référent original devient un lointain souvenir. La crédibilité attribuée à une procédure non évolutive baisse au fur et à mesure de l'expérience accumulée.

Deuxièmement, cette évaluation d'une faible validité de l'examen, plus élevée selon l'expérience des experts, est significativement liée avec l'item décrivant l'examen pratique comme trop court. Cette corrélation montre une différence dans l'évaluation des experts. On s'éloigne d'une démarche strictement sommative servant à attribuer une note à un examen pratique pour aller vers une démarche herméneutique (De Ketele, 2010) pour laquelle l'expert va évaluer la qualité de la réflexion en action (Perrenoud, 2001). Cette recherche de signes parlants (Hadji, 2012) issus des pratiques professionnelles (Le Boterf, 2010) mis en perspective avec l'expérience grandissante des experts prend du temps.

D'autres indicateurs soutiennent cette analyse axée sur l'expérience des experts. Pour rappel, le genre, l'âge, le niveau de formation et le type d'entreprise ne sont pas significativement liés aux profils d'experts. Seule la langue (français ou allemand) montre une différence significative. Celle-ci fait l'objet du chapitre suivant.

## Selon la langue des experts

Comme le montrait le tableau 5 illustrant le profil des experts selon leur langue, environ un tiers des experts des deux langues évaluent l'examen pratique comme peu légitime. La principale différence porte sur le profil 3, décrivant l'examen pratique comme hautement valide, qui représente 4% des alémaniques mais 23% des francophones.
Nous attribuons cette différence à une prise de fonction différente entre les experts des deux régions linguistiques. Les francophones débutent en tant qu'experts évaluateurs dès leur nomination tandis que les alémaniques débutent en tant qu'observateurs d'experts qui leur serviront de modèles durant leur première année de fonction. Ainsi, un expert francophone qui vient de finir sa formation va expertiser avec un deuxième expert et est directement impliqué dans l'évaluation. Pour un expert alémanique, sa première année en tant qu'observateur d'un duo d'experts modèles lui permet d'observer sans avoir la responsabilité de l'évaluation.

Cette méthode alémanique, passant par une année d'observation, permet davantage d'échanges sur des pratiques formelles et informelles pour un bon examen pratique entre les deux experts expérimentés et l'expert novice. Cependant, le choix des experts modèles s'effectue parmi les plus expérimentés qui, comme nous l'avons vu précédemment, ont un profil évaluant l'examen pratique comme faiblement valide. Ainsi, ils pourraient orienter les nouveaux experts selon leurs propres avis à propos de l'examen.

## Limites et piste pour une future étude

L'échantillonnage de la population présente un déséquilibre de participation des francophones par rapport aux alémaniques, donnant aux premiers un poids plus grand dans la représentation des données. Les conclusions pourraient différer avec un échantillon plus représentatif selon la répartition des langues au niveau fédéral. Cette différence restant cependant peu importante dans les résultats obtenus, nous trouverons seulement une présence plus marquée des experts francophones dans le profil des examens pratiques perçus comme hautement valides.

Ensuite, bien que la branche alimentation représente 28,56% des examens de la profession de gestionnaire du commerce de détail (Office fédéral de la statistique, 2023), notre recherche est spécifique à une branche. Une étude de plus grande ampleur permettrait de faire la différence entre des résultats spécifiques à ce contexte et ceux qui sont généraux à la profession.

Une autre limite, ou plutôt un point d'attention, est la projection d'une évolution des profils des experts selon leur expérience. Comme notre étude est transversale et non longitudinale, nous ne savons pas de quelle manière évolue l'évaluation de la validité des examens par les experts. Mais nous voyons que le collège d'experts actuel montre des profils sur l'évaluation de la validité des examens significatifs selon leur expérience. Pour confirmer ou infirmer cette information, il faudrait reconduire l'étude plusieurs fois.
Les trois profils construits ainsi que l'expérience des experts seront utilisés comme objet d'attention et outil de création des groupes pour deux séances de *focus group*. Cette étude sera l'occasion de mettre au centre des échanges les conceptions des experts quant à leur rôle tout en faisant émerger les représentations sociales sur les fonctions et sur les pratiques des experts par leurs interactions. Le *focus group* aura également pour objectif de faire échanger les experts sur ce qu'ils veulent observer comme indicateurs chez un apprenti pour dire qu'il est compétent.

## Conclusion

Une faible évaluation de la validité de l'examen pratique de la part des experts ressort de notre étude. En prenant l'expérience des experts comme point de repère, nous avons montré qu'avec une expérience de 15 ans ou plus, l'examen pratique n'est presque jamais perçu comme hautement valide. Nous avons posé les hypothèses a) d'un manque de formation continue des experts et b) d'un décalage entre un examen pratique ancré en 2004 et une dynamique identitaire des professionnels en constante évolution.

Ainsi, la solution idéale serait une adaptation plus fréquente des pro-
tocoles d'examens combinée à de la formation continue.

Cette solution est complexe d'une manière tant externe qu'interne à
l'examen pratique. Sur le plan externe, elle est complexe par l'ampleur
des conséquences d'un changement, l'examen pratique n'étant pas une
procédure détachée de la formation professionnelle initiale. Il représente
l'aboutissement de celle-ci. Ainsi, une modification de l'examen pratique
demanderait que la procédure de préparation à celui-ci soit également
adaptée, ce qui inclut la formation des enseignants et des formateurs des
cours interentreprises, des écoles professionnelles et des entreprises for-
matrices. Deuxièmement, de manière interne, ces changements une fois
décidés doivent être transmis par de la formation continue aux experts
afin qu'ils puissent les appliquer. La fonction d'expert est une occupation
ponctuelle puisque certains vont expertiser durant un ou deux jours une
année, puis feront une pause l'année suivante. Ainsi, le risque concret est
grand que le nombre d'experts ne soit pas suffisant au moment des exa-
mens, car l'expert doit à la fois être disponible et avoir suivi la formation
adaptée à l'examen en cours de validité.
Révision linguistique: Marie-Claire Legaré

Mise en page: Emmanuel Gagnon

Résumé en portugais: Eusébio André Machado

Réception : 25 février 2024

Version finale : 14 mai 2024

Acceptation : 7 novembre 2024

LISTE DES RÉFÉRENCES

Anastasi, A. & Urbina, S. (1996). *Psychological Testing* (7ᵉ éd.). Pearson.

Angoff, W. H. (1984). *Scales, norms, and equivalent scores*. Educational Testing Service.

Asparouhov, T. & Muthen, B. (2012). Using Mplus TECH11 and TECH14 to test the number of latent classes. *Mplus Web Notes, 14*(22), 1-17.

Bain, D. (2017). Fixer un seuil de suffisance pour une épreuve de maîtrise: Apports et limites de la méthode d'Angoff. *Évaluer - Journal international de recherche en éducation et formation, 3*(3), 69-95.

Behling, O. & Law, K. S. (2000). Translating Questionnaires and Other Research Instruments. SAGE Publications. https://doi.org/10.4135/9781412986373

Béland, S., Cousineau, D. & Loye, N. (2018). Utiliser le coefficient omega de McDonald à la place de l'alpha de Cronbach. *McGill Journal of Education, 52*(3), 791-804. https://doi.org/10.7202/1050915ar

Berger, J.-L. (2021). *Analyse factorielle exploratoire et analyse en composantes principales: Guide pratique*. https://doi.org/10.13140/RG.2.2.16206.18246

Berger, J.-L., Wenger, M. & Sauli, F. (2021). What constitutes quality in the Swiss initial vocational education and training dual system: An apprentice perspective. Dans M. J. Chisvert Tarazona, M. Moso Diez & F. Marhuenda Fluixá (dir.), *Apprenticeship in dual and non-dual systems: Between tradition and innovation* (p. 79-103). Peter Lang.

Berger, J.-L., Wenger, M. & Sauli, F. (2023). Engagement en formation professionnelle initiale duale et perceptions de la qualité de la formation. *Didactique, 4*(2), 33-64. https://doi.org/10.37571/2023.0203

Bloom, B. S. (1969). *Taxonomie des objectifs pédagogiques* (M. Lavallée, trad.). Éducation nouvelle.

Bressoux, P. (2018). Comment se fabrique le jugement des enseignants? *Regards croisés sur l'économie, 22*(1), 15-23. https://doi.org/10.3917/rce.022.0015

Brown, J. S., Collins, A. & Duguid, P. (1989). Situated Cognition and the Culture of Learning. *Educational Researcher, 18*(1), 32-42. https://doi.org/10.3102/0013189X018001032

Caron, P.-O. (2018). *La modélisation par équations structurelles avec Mplus*. Presses de l'Université du Québec.
De Ketele, J.-M. (2010). Ne pas se tromper d'évaluation. *Revue française de linguistique appliquée, 15*(1), 25-37. https://doi.org/10.3917/rfla.151.0025

Delahais, T., Devaux-Spatarakis, A., Revillard, A. & Ridde, V. (2021). Introduction: Qui évalue et comment? Dans *Évaluation. Fondements, controverses, perspectives*. Éditions science et bien commun. https://doi.org/10.5281/zenodo.6336071

Figari, G. (1994). *Évaluer: Quel référentiel?* De Boeck.

Figari, G. (2006). Les référentiels entre théorie et méthodologie. Dans G. Figari et L. Mottier Lopez (dir.), Recherche sur l'évaluation en éducation: Problématiques, méthodologies et épistémologie: 20 ans de travaux autour de l'ADMEE-Europe (p. 101-108). L'Harmattan.

Formation du Commerce de Détail Suisse. (2021a). *Plan de formation Assistant/Assistante du commerce de détail avec attestation fédérale de formation professionnelle (AFP)*. https://www.bds-fcs.ch/fr/Medias-digitaux/Download-Center?category=27&disposition=attachment&download=16&searchTerm=taxonomie

Formation du Commerce de Détail Suisse. (2021b). *Plan de formation Gestionnaire du commerce de détail avec certificat fédéral de capacité (CFC)*. https://www.bds-fcs.ch/fr/Medias-digitaux/Download-Center?category=27&disposition=attachment&download=16&searchTerm=taxonomie

Frey, M. (dir.). (2010). Il y a encore des lieux de formation qui ne collaborent pas bien: Évaluation des procédures de qualification dans la formation professionnelle initiale. *Folio : la revue BCH | FPS pour les enseignants de la formation professionnelle, 5*, 4-7.

Gagnon, R. J. (2019). Measurement Theory and Applications for the Social Sciences. *Measurement: Interdisciplinary Research and Perspectives, 17*(4), 209-210. https://doi.org/10.1080/15366367.2019.1610343

Geiser, C. (2013). *Data analysis with Mplus*. The Guilford Press.

Gomensoro, A., Meyer, T., Hupka-Brunner, S., Jann, B., Müller, B., Oesch, D., Rudin, M. & Scharenberg, K. (2017). *Situation professionnelle à l'âge de trente ans. Mise à jour des résultats de l'étude longitudinale TREE*. TREE.

Grisay, A. (2006). Réflexions sur l'«effet-estate». Dans G. Figari et L. Mottier Lopez (dir.), Recherche sur l'évaluation en éducation: Problématiques, méthodologies et épistémologie: 20 ans de travaux autour de l'ADMEE-Europe (p. 34-43). L'Harmattan.

Hadji, C. (2012). *Faut-il avoir peur de l'évaluation?* De Boeck Supérieur.

Hayes, A. F. & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. *Communication Methods and Measures, 1*(1), 77-89. https://doi.org/10.1080/19312450709336664

Issaieva, É. & Crahay, M. (2010). Conceptions de l'évaluation scolaire des élèves et des enseignants: Validation d'échelles et étude de leurs relations. *Mesure et Évaluation en Éducation, 33*(1), 31-61. https://doi.org/10.7202/1024925ar

Jan, D. (2023, 8 juin). *Divergences inter-juges: En utilisant le protocole d'examen de fin d'apprentissage en alternance dans le commerce de détail*. Printemps de la Recherche en Éducation 2023 - Réseau des INSPÉ, Paris. https://doi.org/10.5281/ZENODO.7937207

Kägi, W. (2010). *Évaluation des procédures de qualification dans la formation professionnelle initiale*. Office fédéral de la formation professionnelle et de la technologie. https://edudoc.ch/record/38694/files/Schlussbericht_f.pdf