Mesure et évaluation en éducation

# Élaborer un test d'intérêts pour l'auto-orientation : problèmes de conception, de validation et d'utilisation

Daniel Bain et Jean Cardinet

MESURE

et
ÉVALUATION
en Éducation

<figure><img src="image_1.png" /></figure>

Volume 22, numéro 2-3, 1999

URI : https://id.erudit.org/iderudit/1091251ar

DOI : https://doi.org/10.7202/1091251ar

Aller au sommaire du numéro

Éditeur(s)

ADMEE-Canada - Université Laval

ISSN

0823-3993 (imprimé)
2368-2000 (numérique)

Découvrir la revue

Citer cet article

Bain, D. & Cardinet, J. (1999). Élaborer un test d'intérêts pour l'auto-orientation : problèmes de conception, de validation et d'utilisation. *Mesure et évaluation en éducation, 22*(2-3), 71-96.
https://doi.org/10.7202/1091251ar

Résumé de l'article

Pour qu'un sujet puisse s'auto-orienter, il doit pouvoir disposer d'un instrument d'évaluation directement interprétable et qui soit de valeur métrologique assurée. Ces deux thèses sont illustrées par l'exemple du questionnaire QIPOS. La première partie de l'article présente sa construction et son utilisation souhaitable. La seconde montre la façon dont il faudrait contrôler sa validité et sa fidélité, dans cette situation de décision particulière, où les comparaisons sont à faire entre motivations plutôt qu'entre personnes. Un exemple minimal est présenté, traitant de deux groupes en deux dimensions, pour montrer le principe de l'étude de généralisabilité qui serait à réaliser.
# Élaborer un test d'intérêts pour l'auto-orientation : problèmes de conception, de validation et d'utilisation¹

Daniel Bain
et
Jean Cardinet
IRDP, Neuchâtel

**MOTS-CLÉS:** Intérêts, questionnaire, conseil, auto-orientation, étalonnage, profil, multidimensionnalité, validité, généralisabilité

Pour qu'un sujet puisse s'auto-orienter, il doit pouvoir disposer d'un instrument d'évaluation directement interprétable et qui soit de valeur métrologique assurée. Ces deux thèses sont illustrées par l'exemple du questionnaire QIPOS. La première partie de l'article présente sa construction et son utilisation souhaitable. La seconde montre la façon dont il faudrait contrôler sa validité et sa fidélité, dans cette situation de décision particulière, où les comparaisons sont à faire entre motivations plutôt qu'entre personnes. Un exemple minimal est présenté, traitant de deux groupes en deux dimensions, pour montrer le principe de l'étude de généralisabilité qui serait à réaliser.

**KEY WORDS:** Interests, questionnaire, guidance, self-determination, norms, profile, multidimensionality, validity, generalizability

To be in a position to decide for himself which course to take, a subject should be offered an evaluation instrument that can be directly interpreted, and with adequate validity and reliability. These two theses are illustrated by the presentation of the QIPOS questionnaire. The first part of the article shows how it was constructed and can now be used. The second illustrates how should be controlled its measuring properties, in this particular decision situation, where no comparisons are to be made between subjects, but only within the individual. A minimal example is presented, dealing with two groups in two dimensions, to show the principle of the generalizability study that should be realized.
Remarques liminaires

Comme nous le faisons habituellement (cf. Bain, 1979; Cardinet, 1997) nous utiliserons ici le terme d'orientation dans un sens large, couvrant des pratiques très diverses aussi bien en sciences sociales (notamment en psycho- logie appliquée et en pédagogie) qu'en médecine.

Nous entendrons en effet par orientation toute situation de décision impliquant le choix par ou pour une personne — ou un groupe de personnes — d'un «traitement» (treatment) comme disent Cronbach et Gleser (1965), sur la base d'une cueillette d'information. Ce traitement est censé être la meilleure solution au problème posé et peut prendre, selon les cas, des formes très différentes: exercices, méthodes ou types de formation, activités pro- fessionnelles ou de loisirs, aides didactiques ou approches thérapeutiques, etc.

L'information recueillie peut à son tour correspondre à diverses données; elle constitue souvent un profil de résultats issus d'une procédure d'évaluation.

Nous privilégierons, d'autre part, la perspective individuelle plutôt qu'institutionnelle, en cherchant à optimiser le choix et la satisfaction du sujet évalué, ou plutôt du sujet s'évaluant et apprenant à s'orienter².

Il est facile de discourir sur l'auto-orientation pour ce qui est des inten- tions; nous en avons parfaitement conscience. Les pratiques actuelles ne réalisent que trop rarement ces intentions. C'est du moins ce que nous obser- vons dans nos activités de formateurs d'enseignants et de psychologues ou dans notre collaboration à des recherches-actions dans un cycle d'orientation. Quelles seraient donc les conditions pour qu'une telle prise en charge de leurs choix de formation par les intéressés devienne une réalité dans nos systèmes scolaires ?

Ces conditions sont multiples, à commencer par des changements dans notre façon de concevoir les stratégies d'orientation-sélection (Cardinet, 1997); nous ne pourrons donc les évoquer toutes ici. Nous nous contenterons d'en présenter deux, tout d'abord sous forme de thèses résumant en introduction notre propos; sous forme d'illustrations ensuite, en prenant comme exemple un test d'intérêts utilisé en orientation scolaire, dans le cadre de ce que l'on appelle à Genève l'information scolaire et professionnelle (ISP).
Les thèses des auteurs

Il faut favoriser la participation des «sujets»
de l'évaluation en aménageant le dispositif d'évaluation

Beaucoup de situations d'évaluations, psychologiques ou pédagogiques, sont présentées par les évaluateurs aux évalués comme une occasion de mieux connaître leur fonctionnement cognitif ou socioaffectif, afin qu'ils puissent faire eux-mêmes de meilleurs choix ultérieurement.

En fait, dans ce qui devrait donc être une situation d'apprentissage (à la
connaissance de soi), la collaboration de l'intéressé est très peu, ou trop peu,
sollicitée. L'évaluateur garde la haute main sur tout le processus évaluatif,
relativement opaque pour l'évalué (but, objet, modalités, interprétations de
l'évaluation, etc.), même lorsque des explications seraient matériellement
(temps) et psychologiquement (maturité de l'évalué) possibles. Il y a donc
grand risque que les résultats ne soient que médiocrement intégrés et rarement
réinvestis par le «sujet». En fait, tout se passe trop souvent comme si celui-ci
était plutôt «objet» d'évaluation qu'acteur de sa propre formation, ou décideur
responsable de ses choix. Comme nous avons pu le constater récemment à
l'occasion d'un examen neuropsychologique que l'un de nous a «subi» dans
un milieu médical, ceci n'est pas seulement le propre d'évaluations concernant
des enfants ou des adolescents.

Notre première proposition consistera donc à concevoir l'instrument ou le
dispositif d'évaluation en orientation de telle façon qu'il suscite dans sa pas-
sation et dans son interprétation une collaboration et un engagement actifs de
l'élève considéré dans sa qualité d'apprenant.

Il faut contrôler la validité, puis la fidélité,
des profils qu'on interprète

Un autre problème se pose précisément dans la phase d'interprétation
des résultats, que celle-ci soit le fait de l'évaluateur ou qu'elle soit confiée à
l'évalué. Le choix d'une orientation se fait généralement sur la base d'un
profil de données observées ou mesurées: profil de performances, d'intérêts,
de valeurs, de notes, etc.

Pour que soit assurée la validité générale des interprétations données à ces
profils, il faudrait qu'il existe une relation démontrée empiriquement
et valable quant à la population parente entre telle forme de profil et le
succès d'un premier type de traitement, alors que telle autre forme de profil
annoncerait plutôt la réussite d'un second type de traitement (etc., si l'on a le choix entre davantage de traitements encore).

Pour caractériser cette condition de validité générale d'une évaluation, le statisticien parle de la nécessité d'une interaction entre le type de «traitement» et les dimensions observées par l'évaluation. Il faudrait, par exemple, que des performances plus élevées en mathématiques qu'en français annoncent la réussite future en section scientifique, et inversement pour la section littéraire.

Cette condition, il faut bien le reconnaître, est rarement satisfaite, ne serait-ce que parce que toute prédiction concernant une personne reste toujours aléatoire et nécessairement incertaine, et cela d'autant plus qu'elle est plus immature.

À défaut d'une validité «prédictive» permettant de contrôler l'avenir, une validité «concurrente» pourrait donner certaines garanties d'interprétation correcte si, par exemple, on vérifiait bien que les élèves de section scientifique sont supérieurs dans les branches qui les concernent particulièrement, et réciproquement pour les autres sections. On s'assurerait ainsi que le profil qu'on interprète est bien en rapport avec les motivations, ou autres caractéristiques individuelles, qui ont conduit à l'orientation des sujets vers leur section actuelle. On peut prendre comme critère statistique de cette validité concurrente l'existence d'une différence significative entre les groupes d'orientation, dans l'espace défini par les dimensions du profil.

Cependant, l'existence d'une telle différenciation intergroupes sur un plan général ne suffit pas. Il est encore nécessaire, pour que l'évaluation soit utile, que les configurations (ou formes de profils) qu'on veut interpréter puissent être observées avec une certaine fidélité sur le plan individuel, et non seulement comme une tendance perceptible seulement en moyenne sur de larges échantillons. En d'autres termes, l'écart (le «scatter») entre les divers points du profil doit être estimé pour chaque sujet avec une erreur de mesure suffisamment faible pour que les fluctuations aléatoires ne puissent pas remettre en cause la forme générale du profil qu'on interprète.

Or, ce type de contrôle est rarement fait. Il ne peut d'ailleurs l'être au moyen des techniques statistiques classiques. Nous montrerons dans l'exemple qui suit que, sur ce point comme sur d'autres, la théorie de la généralisabilité peut venir au secours de l'évaluateur dans une situation d'examen individualisée, en tenant compte des diverses «facettes» intervenant dans la situation d'évaluation et de leurs interactions.
## Illustration de ces deux thèses

*Concevoir et appliquer un test d'intérêts dans une perspective métacognitive et psychopédagogique*

L'exemple que nous utiliserons pour illustrer nos thèses est assez caractéristique d'une situation d'orientation-sélection scolaire. Dans les années 1980, au moment où une nouvelle structure se mettait en place, des élèves venaient voir les conseillers en orientation scolaire et professionnelle (COSP) vaudois en disant : «La cinquième année, dite d'orientation (cf. figure 1), est bientôt terminée. Mes notes me permettent d'entrer en division prégymnasiale, mais je ne sais pas quelle section choisir: Littéraire (Latine ou Moderne), Scientifique ou Économique? J'ai par ailleurs de bons résultats dans la plupart des disciplines. Dites-moi où je dois aller! »

Il est évident que, sous cette dernière forme, la question est caricaturale et inacceptable déontologiquement pour le psychologue (encore que...). Mais elle illustre bien, chez certains élèves, une attente magique à l'égard du conseil ou du conseiller en orientation, et en même temps une certaine passivité. Passivité assez normale à cet âge (en l'occurrence 11 ans) puisque l'école n'entraîne guère au choix. D'ailleurs, une bonne partie de la décision (le niveau de la filière: prégymnasiale, supérieure ou terminale) est imposée de l'extérieur par les normes du règlement. Seule la direction d'orientation reste à choisir.

À partir d'une telle demande («Dites-moi où aller»), plus ou moins explicite, notre projet est d'amener l'élève non seulement à assumer personnellement sa décision, mais encore à prendre l'habitude de s'interroger et de s'observer quant à son fonctionnement habituel, et à devenir ainsi progressivement un acteur de sa propre formation et orientation.

Mais encore faudrait-il que la stratégie de l'entretien ou de l'examen psychologique soit conséquente avec une telle intention. Ce ne serait pas le cas d'une approche, caricaturale mais malheureusement plus fréquente qu'on ne le croit, consistant à «soumettre» l'élève à des tests, à lui donner et à lui interpréter les résultats, et finalement à tirer pour lui les conclusions, assorties d'un «Qu'en penses-tu?» qui ne laisse en réalité guère de latitude au consultant.
<figure><img src="image_2.png" /></figure>

Filières: C = classique; Co = commerciale; E = Économique; L = Latine; Li = Littéraire; M = Moderne; S = Scientifique; Te = Technique.

N.B. Depuis 1997 une nouvelle structure se met en place (EVM: École vaudoise en mutation).

<caption>Figure 1. Schéma simplifié de la structure de l'école vaudoise en 1996</caption>

Le questionnaire d'intérêts construit alors par une équipe de conseillers en orientation vaudois, avec l'aide de l'Institut de psychologie de l'Université de Lausanne (Bain & Commission psychotechnique de l'OCOSP, 1993), va dans le sens que nous préconisons. Une description de sa construction et de l'emploi qui en est préconisé devrait le montrer.
Précisions encore que notre objectif n'est pas de faire de la publicité à ce test en particulier, mais de l'utiliser comme exemple d'un instrument et d'une approche conséquents avec une formation à l'auto-orientation.

Nous définirons d'abord très sommairement les intérêts¹ comme des préférences marquées et relativement systématiques pour certains types d'activités dans les domaines scolaires, professionnels ou des loisirs notamment.

Pour ce test, nous avons choisi les activités de *loisirs*, correspondant à une expérience directe des élèves. Ce choix est important parce qu'il donne *a priori* une compétence aux évalués pour se prononcer sur le contenu de leurs réponses, les commenter et les nuancer. Il doit inciter le psychologue à pratiquer une interrogation clinique telle que celle préconisée par André Rey (1958); cette phase s'impose, comme nous le verrons plus loin.

Par ailleurs, les travaux que nous connaissons (cf., par exemple, Amherdt, 1991), ou auxquels nous avons participé (Guyot & Bain, à paraître), montrent une bonne homogénéité et correspondance dans les intérêts relatifs aux trois domaines mentionnés à l'instant: scolaires, professionnels et loisirs.

Le questionnaire QIPOS (Questionnaire d'intérêts pour l'orientation scolaire), destiné à des élèves de onze à quatorze ans, comporte vingt questions de six items (cf. figure 2). Chaque question correspond à une situation où différentes activités sont à hiérarchiser en fonction de leur degré d'intérêt pour le répondant.

Ce mode de réponse s'inspire d'une technique proposée par Rothwell et Miller (Miller, 1962). Il a l'avantage de contraindre à des choix, le sujet ne pouvant se contenter de dire que tout l'intéresse, l'indiffère ou lui déplaît. On voit immédiatement l'analogie entre ces choix contraints et la situation d'orientation scolaire de fin de cinquième.

Parler de préférence systématique à propos d'intérêts implique naturellement que l'on définisse *a priori* des dimensions ou facteurs d'intérêts en fonction desquels les items seront rédigés et que l'on vérifie statistiquement l'homogénéité des différentes échelles ainsi élaborées.

Pour des détails sur le modèle de Holland utilisé et sur les analyses statistiques de validation, nous renvoyons le lecteur à la brochure du test (Bain & Commission psychotechnique de l'OCOSP, 1993). Nous nous contenterons de fournir en annexe 1 un tableau caractérisant brièvement les six dimensions: Réaliste (activités manuelles notamment), Intellectuelle-Investigatrice, Artistique-Littéraire, Sociale, Entrepreneuriale (esprit d'entreprise), Conventionnelle (activités de bureau).
D'autre part, nous avons veillé, lors des différentes étapes de la construc-
tion et de la révision du test, à ce que les coefficients d'homogénéité (alpha de
Cronbach) atteignent – ou avoisinent – le seuil de 0,80 pour les six échelles.
Ce critère n'a cependant pas pu être satisfait pour la dimension Entrepre-
neuriale (α = 0,66), plus hétérogène que les autres.

Consigne: Pour chaque tableau, classe (de 1 à 6) les activités proposées (sans mettre des ex-aequo); mets 1 pour l'activité que tu aimes le plus, 2 à la suivante, etc. et 6 pour celle que tu aimes le moins.

<table><caption>Tableau A
J'aimerais suivre une émission TV</caption><thead><tr><th></th><th>1</th><th>2</th><th>3</th></tr></thead><tbody><tr><td>R</td><td>sur le bricolage</td><td></td><td>3</td></tr><tr><td>I</td><td>sur le fonctionnement du cerveau</td><td></td><td>1</td></tr><tr><td>A</td><td>sur les peintres célèbres</td><td></td><td>2</td></tr><tr><td>S</td><td>sur l'aide aux jeunes drogués</td><td></td><td>4</td></tr><tr><td>E</td><td>sur le travail d'un directeur/d'une directrice d'entreprise</td><td></td><td>5</td></tr><tr><td>C</td><td>sur le travail dans un bureau</td><td></td><td>6</td></tr></tbody></table>

Colonne: 1: dimensions d'intérêts correspondant à chaque item; elles ne figurent pas sur le questionnaire et l'ordre varie par permutation circulaire d'une question à l'autre.

Colonne: 2: libellé de l'item.

Colonne: 3: indication du classement de l'item (rang 1 à 6).

Exemple de réponse montrant une préférence élevée pour le domaine Intellectuel-Investigateur (fonctionnement du cerveau: rang 1) et une inclination médiocre pour la dimension Conventionnelle (travail de bureau: rang 6).

Figure 2. **QIPOS: consigne et exemple de question**

Dans notre perspective clinique, métacognitive et psychopédagogique, l'étape d'interprétation des résultats est évidemment cruciale; elle est préparée par le répondant lui-même. Il reporte selon des instructions précises les réponses sur une grille, dont chacune des six lignes correspond à une des six dimensions définies *a priori*⁴ (cf. figure 3).

Il constate généralement ainsi qu'il a donné plus ou moins systématique-
ment la priorité (rang 1, 2 ou 3) à telle ou telle dimension. Dans l'exemple
de la figure 3, c'est le cas particulièrement pour les facteurs Intellectuel-
Investigateur et Social.
En calculant pour chaque dimension le total des rangs aux items A à T, il obtient en quelque sorte un profil moyen. Celui-ci résume les tendances générales constatées dans les préférences exprimées, en fournissant également un indice simple de distance entre dimensions (cf., par exemple, la différence entre les totaux de I et de S : respectivement 53 et 60).

La caractéristique essentielle de ce profil est qu'il est ipsatif : il compare l'élève à lui-même uniquement. Dans la perspective adoptée par nous, peu importe le fait, connu du psychologue, qu'à cet âge et pour ce questionnaire les intérêts de type Investigateur et Social fassent l'objet d'une préférence plus marquée que les autres et que les facteurs Entrepreneurial et Conventionnel paraissent moins ou peu attractifs.

Dans la phase clinique, le psychologue aide l'élève à saisir les résultats dans leur présentation d'abord, puis dans leur signification. En fait, le conseiller soumet ces données à l'élève qui, pour une fois, joue le rôle d'expert.

Ainsi, celui-ci constatera la plus ou moins grande régularité de certaines préférences; il indiquera si les rangs élevés correspondent à des rejets ou à un simple manque d'intérêt; il expliquera telle réponse atypique (cf. question T dans l'exemple de la figure 3), généralement liée au fait que la situation évoquée est peu familière ou globalement sans intérêt⁵.

<table><thead><tr><th></th><th>A</th><th>B</th><th>C</th><th>D</th><th>E</th><th>F</th><th>G</th><th>H</th><th>I</th><th>J</th><th>Total A-J</th><th>RANG</th></tr></thead><tbody><tr><th>R</th><td>3</td><td>6</td><td>6</td><td>6</td><td>4</td><td>5</td><td>5</td><td>6</td><td>2</td><td>4</td><td>47</td><td>5</td></tr><tr><th>I</th><td>1</td><td>1</td><td>1</td><td>1</td><td>3</td><td>6</td><td>4</td><td>1</td><td>1</td><td>5</td><td>24</td><td>1</td></tr><tr><th>A</th><td>2</td><td>2</td><td>2</td><td>2</td><td>2</td><td>3</td><td>3</td><td>3</td><td>3</td><td>6</td><td>28</td><td>3</td></tr><tr><th>S</th><td>4</td><td>3</td><td>3</td><td>3</td><td>1</td><td>2</td><td>2</td><td>2</td><td>4</td><td>1</td><td>25</td><td>2</td></tr><tr><th>E</th><td>5</td><td>4</td><td>4</td><td>4</td><td>6</td><td>1</td><td>1</td><td>4</td><td>5</td><td>2</td><td>36</td><td>4</td></tr><tr><th>C</th><td>6</td><td>5</td><td>5</td><td>5</td><td>5</td><td>4</td><td>6</td><td>5</td><td>6</td><td>3</td><td>50</td><td>6</td></tr></tbody></table>

<table><thead><tr><th></th><th>K</th><th>L</th><th>M</th><th>N</th><th>O</th><th>P</th><th>Q</th><th>R</th><th>S</th><th>T</th><th>K-T</th><th>A-T</th><th>RANG</th></tr></thead><tbody><tr><th>R</th><td>3</td><td>6</td><td>6</td><td>6</td><td>2</td><td>5</td><td>3</td><td>2</td><td>1</td><td>1</td><td>35</td><td>82</td><td>6</td></tr><tr><th>I</th><td>5</td><td>2</td><td>1</td><td>1</td><td>1</td><td>4</td><td>4</td><td>3</td><td>2</td><td>6</td><td>29</td><td>53</td><td>1</td></tr><tr><th>A</th><td>6</td><td>5</td><td>5</td><td>2</td><td>6</td><td>6</td><td>5</td><td>4</td><td>3</td><td>5</td><td>47</td><td>75</td><td>4</td></tr><tr><th>S</th><td>1</td><td>3</td><td>2</td><td>3</td><td>5</td><td>2</td><td>6</td><td>5</td><td>4</td><td>4</td><td>35</td><td>60</td><td>2</td></tr><tr><th>E</th><td>2</td><td>4</td><td>4</td><td>4</td><td>4</td><td>1</td><td>1</td><td>6</td><td>5</td><td>3</td><td>36</td><td>70</td><td>3</td></tr><tr><th>C</th><td>4</td><td>1</td><td>3</td><td>5</td><td>3</td><td>3</td><td>2</td><td>1</td><td>6</td><td>2</td><td>30</td><td>80</td><td>5</td></tr></tbody></table>

Total pour contrôle : 420

<caption>Figure 3. **Tableau récapitulatif des résultats rempli par l'élève**</caption>
Bref, l'élève sera amené à commenter ses réponses pour les préciser ou les nuancer et, du même coup, à prendre conscience de certaines caractéristiques de ses conduites habituelles, à les mettre en relation avec le choix scolaire prochain ou/et avec des projets de formation ou d'activité plus lointains. Il aura ainsi l'occasion de «s'intéresser à ses intérêts», de perfectionner sa connaissance de lui-même (un des objectifs de nos cours d'information scolaire et professionnelle), et de pouvoir se considérer comme un acteur de sa formation.

Comme on le voit, notre ambition est de dépasser la simple aide ponctuelle au choix ou à la décision, de susciter un apprentissage (aspect psychopédagogique) de stratégies nécessaires pour que le terme d'auto-orientation ne soit pas vide de sens.

Présentée comme nous venons de le faire, cette approche peut paraître aller de soi. Notre expérience ainsi que les doléances de certains élèves et de certaines familles montrent trop souvent que n'est pas le cas.

Nous aimerions en outre mentionner quelques problèmes que soulève le choix de cette pratique.

La construction d'un tel questionnaire implique une attention toute particulière à la validité de contenu et de construct (hypothétique-déductive). L'élaboration du test et sa révision ont bénéficié de l'expérience de plusieurs psychologues connaissant bien le modèle de Holland... et les loisirs des préadolescents. La validité de *construct* a été testée par une analyse du regroupement des items et des six facteurs entre eux (*cf*. les proximités et oppositions postulées par Holland), ainsi que par la corrélation de ces six dimensions avec l'orientation des élèves pour deux groupes (sixième prégymnasiale et huitième supérieure). Dans un tel questionnaire, le point le plus délicat est naturellement de doser l'attractivité des différents domaines pour l'ensemble de la population; de ne pas rendre les activités de type Conventionnel troprebutantes ou artificiellement ludiques; de ne pas gommer l'effort intellectuel dans le domaine Investigateur, par exemple. Sinon, les comparaisons entre totaux par dimension (*cf*. *supra*) risquent d'être nettement biaisées.

La tentation est alors, pour éliminer ce biais potentiel, de recourir à des notes standardisées, stanines ou scores z, qui situent les valeurs individuelles par rapport à celles obtenues dans l'ensemble du groupe (sixième ou huitième) ou dans certains sous-groupes (les filières existant à ces deux degrés). Si cette information n'est pas inintéressante pour le psychologue (comment tel score sur le facteur Investigateur se situe-t-il par rapport à l'ensemble de la
sixième scientifique?), il introduit sans que le conseiller en ait toujours conscience un élément de comparaison non directement pertinent dans la perspective individuelle que nous avons adoptée. On met de facto les élèves en concurrence dans une situation de choix et de préférence qui est annoncée comme personnelle. Surtout, on introduit dans les résultats une transformation (la standardisation) qui rend moins transparente la comparaison des différents points du profil de l'élève. Finalement, on réintroduit par une porte dérobée des éléments de sélection, puisque cela conduit à n'ouvrir les sections latine ou scientifique qu'aux élèves les plus intéressés et motivés dans leurs domaines respectifs. Cette standardisation est particulièrement discutable lorsque le test est passé collectivement et que les résultats communiqués par écrit aux élèves sont exprimés en stanines⁶.

Dans le même ordre d'idée, au moment de la publication du test, nous avons subi beaucoup de pressions pour que nous établissions des barèmes par sexe (voire par sexe et par filière). Nous nous y sommes refusés pour des raisons légales (cf. la décision du Tribunal fédéral dans un cas analogue), statistiques (taille trop faible des échantillons) et surtout déontologiques. De tels barèmes séparés nous amèneraient par exemple à interpréter différemment le profil des totaux de la figure 3 ci-dessus et notamment à minimiser l'intérêt de l'élève pour les activités sociales s'il s'agissait d'une fille (a fortiori d'une fille se destinant à une section littéraire).

Notons en passant que nous n'avons pas cherché à établir la validité prédictive de notre questionnaire à long terme. En effet, aux âges considérés (11-14 ans), il nous apparaît discutable ou vain d'essayer de mesurer des intérêts stables qui influenceraient les choix des élèves pendant toute leur carrière et étaieraient ainsi un pronostic d'adaptation à long terme.

Les études disponibles⁷ montrent une labilité importante de ces intérêts, sous l'influence des personnes et des événements, même après la scolarité obligatoire. Une validité à long terme est probablement illusoire dans ce domaine. Bien heureusement: elle serait la manifestation d'un déterminisme important, fâcheux sur le plan psychologique ou social. D'autre part, les choix d'orientation proposés aux élèves à ce stade de leur scolarité nous paraissent dépendre de bien d'autres facteurs et critères: il y a un certain risque qu'on fasse souvent intervenir ces choix après beaucoup d'autres considérations.

La fonction métacognitive et psychopédagogique de l'examen prime donc toute prétention à une bonne validité prédictive.
En revanche, pour vérifier la pertinence du test dans les décisions prises à court terme, il apparaissait nécessaire d'établir un lien entre les intérêts exprimés et la formation scolaire choisie.

## Contrôler la validité et la fidélité d'un profil d'intérêt

### Validité discriminante d'un profil

**Le principe d'une orientation optimale.** Un modèle statistique global de l'orientation a été proposé (Cardinet, 1998) qui s'appuie sur la théorie de la décision pour déterminer un choix d'orientation aussi «utile» que possible pour l'ensemble des individus. Il suffit d'en rappeler ici l'essentiel: sous sa forme la plus générale, le modèle tient compte de la probabilité qu'a la personne d'appartenir à chaque orientation et de son pronostic de réussite dans chacune de ces voies.

La validation d'un questionnaire devrait donc chercher à montrer que cet instrument permet d'estimer des probabilités d'appartenance et des utilités futures pour chacune des voies de formation ouvertes.

Estimer l'utilité de chaque choix serait possible si l'on identifiait utilité et réussite scolaire, mais nous n'avons pas recueilli les données pour réaliser cette étude, sachant que la validité à long terme des questionnaires est généralement faible.

Pronostiquer l'appartenance future pose aussi de nombreux problèmes théoriques dans le contexte où se situe le QIPOS (les intérêts des jeunes changent vite). Pour cette raison, on ne peut espérer mettre en évidence qu'une validité concurrente, comme il vient d'être dit en conclusion de la section précédente.

Ceci revient à dire que la seule étude de validation réalisable avec ce questionnaire consiste à montrer qu'il différencie bien les groupes qui se sont orientés différemment. Le QIPOS doit permettre de déterminer si un sujet a des intérêts plus typiques de tel groupe que de tel autre.

**Le contrôle de la validité discriminante.** Pour vérifier si le questionnaire est capable de différencier les groupes qui se sont orientés dans des filières diverses, on pourrait effectuer une analyse de variance intergroupes (multivariée du fait que le questionnaire comporte plusieurs échelles). Un test de signification multivarié, comme le Lambda de Wilks, pourrait être calculé. Cependant, comme avec tous les tests de signification statistiques, nous ne pourrions ensuite qu'affirmer le caractère non aléatoire de la distribution, entre les groupes, des vecteurs sujets.
Nous proposerons plutôt de conduire une étude de généralisabilité multi-
variée: celle-ci a en effet l'avantage de quantifier, par le moyen d'un coef-
ficient Rho carré, l'importance relative de la variance de différenciation
intergroupes (la variance des projections, sur la première variable canonique,
des centres de gravité des groupes) par rapport à la variance d'erreur
affectant ces projections (due à l'échantillonnage des questions des échelles du
QIPOS).

**Réduction du problème.** En réalité, nous n'avons pas effectué une telle étude. Notre but, en effet, n'est pas de présenter comme exemplaires, ni comme définitifs, des travaux déjà effectués pour valider le QIPOS. Il est plutôt de présenter nos thèses et de les justifier, en les argumentant et en les illustrant. Or les statistiques multivariées que nous devrions utiliser sont difficiles à comprendre intuitivement et joueraient mal le rôle d'exemple. C'est uniquement le principe à la base d'une telle étude que nous aimerions faire comprendre.

Nous avons donc simplifié le problème au maximum, en traitant une
question inventée en fait pour cette occasion, mais choisie de manière à
susciter une étude de validité et de fidélité, tout en ne faisant appel qu'à la
statistique univariée. La façon dont nous avons abordé la question et les
résultats que nous avons obtenus devraient aider à percevoir la direction des
études multivariées qui nous sembleraient nécessaires. Nous sommes tout à
fait conscients du fait qu'en eux-mêmes nos résultats sont d'intérêt très limité,
mais nous souhaiterions que les lecteurs puissent extrapoler à partir de cet
exemple et imaginer les analyses réelles qui seraient à effectuer.

***Une étude métrologique minimale.*** L'étude que nous avons réalisée se limite à l'emploi de deux échelles du QIPOS pour différencier deux groupes d'orientation seulement. Il s'agit donc d'une démarche très partielle, pour montrer dans quelle direction des contrôles de l'instrument seraient nécessaires.

Nous avons d'abord cherché à vérifier, à partir des résultats d'une
analyse de la variance univariée, qu'il existait une interaction mesurable entre
les profils d'intérêts au QIPOS et les filières scolaires. Ceci validait cet
instrument, en montrant qu'il était en rapport avec l'orientation spontanée
des élèves.
Dans un second temps, nous avons contrôlé que les profils individuels étaient suffisamment indépendants du choix des questions pour qu’on puisse les généraliser à l’ensemble de toutes les questions possibles. Ceci démontrait la fidélité de l’instrument pour une utilisation individuelle.

Il est bien clair que ces deux contrôles particuliers ne font qu’indiquer dans quelle direction des études métrologiques multivariées seraient nécessaires pour valider l’utilisation du QIPOS en orientation scolaire et professionnelle.

**La généralisabilité de l'interaction Dimensions × Orientations.** L'étude a porté sur un échantillon d'élèves vaudois de huitième supérieure, qui avaient répondu au QIPOS. Nous avons tiré au hasard 30 élèves appartenant à une filière Littéraire et 30 provenant d'une filière Technique. Nous avons ensuite sélectionné dans leurs résultats les données relatives aux deux dimensions d'intérêts correspondant théoriquement le plus à ces orientations: le facteur «Artiste-Littéraire» et le facteur «Réaliste» (activités manuelles, sportives ou de plein air). Les moyennes des groupes sont présentées à la figure 4.

L'interaction attendue est manifeste: les élèves de la section Littéraire choisissent pour leurs loisirs surtout des activités de type littéraire et artistique et valorisent moins – ou rejettent plus souvent – les activités pratiques. Les élèves de l'autre section manifestent des préférences et des rejets encore plus marqués, mais dans le sens opposé.

<figure><img src="image_3.png" /></figure>

N.B. Pour faciliter l'interprétation, l'échelle de rangs a été inversée:
1 = intérêt faible; 6 = intérêt élevé.

<caption>Figure 4. **Graphique des moyennes d'intérêts Réalistes et Artistiques-Littéraires pour les deux orientations Littéraire et Technique**</caption>
Une étude de généralisabilité⁸ univariée (Cardinet & Tourneur, 1985; Bain & Pini, 1996) a été effectuée sur ces données pour confirmer l'importance de l'interaction Dimensions d'intérêts × Orientations.

Elle a pris en compte quatre facettes : les Élèves (E) sont nichés (inclus) dans les Orientations (O) et les Items (I) sont nichés dans les Dimensions (D), les deux premières étant croisées avec les deux dernières, puisque chaque élève répond à chaque question.

Orientations et Dimensions sont considérées comme des facettes fixées, tandis que les facettes Élèves et Items sont échantillonnées aléatoirement.

Le logiciel Etudgen⁹ calcule une estimation des différentes composantes de variance qui interviennent dans ce dispositif. Les résultats apparaissent à la figure 5.

Ce tableau ne donne pas directement la généralisabilité de l'effet d'interaction, mais il fournit les éléments pour la calculer : la composante de variance d'interaction (qui donne la variance des scores vrais d'interaction) doit être mise en rapport avec une estimation de la variance des scores d'interaction observés, pour qu'on sache quelle proportion la première représente par rapport à la seconde (proportion qui est le coefficient Rho carré cherché).

La première composante correspond à la variance des scores vrais sur la face de différenciation D × O, en supposant que l'on a ramené à zéro les différences de moyennes entre Orientations et entre Dimensions (en supposant donc des composantes de variance nulles pour ces deux effets principaux). La figure 5 donne une valeur de 0,55985 pour cette composante d'interaction, qui reste seule alors sur la face de différenciation.

La variance d'échantillonnage affectant les scores d'interaction observés reste la même que celle donnée par Etudgen pour l'erreur relative et pour l'erreur absolue, soit 0,05467. En effet, la présente étude ne diffère d'une étude de généralisabilité habituelle (traitée par Etudgen) que par le fait que les moyennes des niveaux de D et de O ont été égalisées (les composantes D et O ayant été considérées comme nulles). L'estimation de la variance des scores observés d'interaction est ainsi $0,55985 + 0,05467$, soit 0,61452.

Le coefficient de généralisabilité Rhô carré représente la proportion de variance due à l'interaction vraie par rapport à la variance observée des scores d'interaction, soit : $0,55985/0,61452 = 0,911$.
On obtient ici le même résultat pour une mesure relative (quand il s'agit simplement d'ordonner les valeurs d'interaction observées) et pour une mesure absolue (quand il faut situer ces scores d'interaction sur l'échelle des degrés d'intérêts).

<table><caption>(Tableau de l'analyse de la variance)</caption><thead><tr><th rowspan="2">NOMS DES FACETTES</th><th colspan="3">ÉCHANTILLON</th><th>UNIVERS</th></tr><tr><th>nombre de niveaux observés</th><th>niveaux traités</th><th>n° des niveaux enlevés</th><th>nombre de niveaux</th></tr></thead><tbody><tr><td>0</td><td>2</td><td>2</td><td>--</td><td>2</td></tr><tr><td>E:0</td><td>30</td><td>30</td><td>--</td><td>INF</td></tr><tr><td>D</td><td>2</td><td>2</td><td>--</td><td>2</td></tr><tr><td>I:D</td><td>10</td><td>10</td><td>--</td><td>INF</td></tr></tbody></table>

<table><caption>(Plan de mesure: DO/EI)</caption><thead><tr><th>SOURCES DE VAR.</th><th>S.C.E.</th><th>D.L.</th><th>C.M.</th><th>COMP. VAR. ALÉATOIRES</th><th>COMP. VAR. MIXTES</th><th>ESP. VAR. MIXTES</th><th>ERREURS TYPES</th><th>% VAR.</th></tr></thead><tbody><tr><td>0</td><td>1,5</td><td>1</td><td>1,470</td><td>-1,13458</td><td>-0,01488</td><td>-0,00744</td><td>0,93910</td><td>0</td></tr><tr><td>E:0</td><td>368,6</td><td>58</td><td>6,355</td><td>-0,39333</td><td>0,23381</td><td>0,23381</td><td>0,14220</td><td>7</td></tr><tr><td>D</td><td>40,3</td><td>1</td><td>40,333</td><td>-1,08981</td><td>0,02988</td><td>0,01494</td><td>0,94071</td><td>0</td></tr><tr><td>OD</td><td>690,1</td><td>1</td><td>690,083</td><td>2,23939</td><td>2,23939</td><td>0,55985</td><td>1,87820</td><td>17</td></tr><tr><td>ED:0</td><td>824,9</td><td>58</td><td>14,222</td><td>1,25429</td><td>1,25429</td><td>0,62715</td><td>0,25976</td><td>19</td></tr><tr><td>I:D</td><td>177,5</td><td>18</td><td>9,860</td><td>0,06896</td><td>0,13635</td><td>0,13635</td><td>0,06009</td><td>4</td></tr><tr><td>01:D</td><td>103,0</td><td>18</td><td>5,723</td><td>0,13479</td><td>0,13479</td><td>0,06740</td><td>0,06037</td><td>2</td></tr><tr><td>EI:0D</td><td>1753,1</td><td>1044</td><td>1,679</td><td>1,67921</td><td>1,67921</td><td>1,67921</td><td>0,07343</td><td>51</td></tr></tbody><tfoot><tr><td>Total:</td><td>3959</td><td>1199</td><td></td><td>2,75892</td><td>5,69286</td><td>3,31871</td><td></td><td></td></tr></tfoot></table>

<table><caption>Figure 5. Résultats fournis par Etudgen pour la différenciation des facettes D et O</caption><thead><tr><th>SOURCES DE VARIATION</th><th>VARIANCE DE DIFFÉRENCIATION</th><th>VAR. D'ERREUR RELATIVE</th><th>VAR. D'ERREUR ABSOLUE</th><th>%</th></tr></thead><tbody><tr><td>0</td><td>0,00000</td><td></td><td></td><td></td></tr><tr><td>E:0</td><td></td><td>0,00779</td><td>0,00779</td><td>14,3</td></tr><tr><td>D</td><td>0,01494</td><td></td><td></td><td></td></tr><tr><td>OD</td><td>0,55985</td><td></td><td></td><td></td></tr><tr><td>ED:0</td><td></td><td>0,02090</td><td>0,02090</td><td>38,2</td></tr><tr><td>I:D</td><td></td><td>0,01364</td><td>0,01364</td><td>24,9</td></tr><tr><td>01:D</td><td></td><td>0,00674</td><td>0,00674</td><td>12,3</td></tr><tr><td>EI:0D</td><td></td><td>0,00560</td><td>0,00560</td><td>10,2</td></tr><tr><td>TOTAL (VARIANCE):</td><td>0,57479</td><td>0,05467</td><td>0,05467</td><td></td></tr><tr><td>ÉCARTS-TYPES (sc.vrais):</td><td>0,75815</td><td>err.δ= 0,23382</td><td>err.Δ= 0,23382</td><td></td></tr><tr><td>COEFFICIENTS DE GÉNÉRALISABILITÉ:</td><td>ρ²(δ)= 0,913</td><td>ρ²(Δ)= 0,913</td><td></td><td></td></tr></tbody></table>
Il est instructif de comparer les diverses sources d'erreurs affectant
la mesure qui nous concerne. L'erreur la plus importante (38% de la variance
d'erreur) est imputable à l'interaction (ED:O) entre la facette Élèves à
l'intérieur des Orientations ou filières (E:O) et la facette Dimensions (D):
selon certaines caractéristiques idiosyncrasiques aux répondants (en particulier
leur sexe), la valorisation de telle ou telle dimension peut être plus forte ou
plus faible qu'attendue à partir des effets principaux E:O et D.

Une autre source d'erreurs attestée est difficile à éliminer dans un tel
questionnaire : c'est le fait que les items à l'intérieur de chaque dimension ont
un niveau d'attractivité relativement différents (I:D ; cf. moyennes de 2,95 à
4,25 pour le facteur Réaliste et de 2,53 et 3,87 pour l'Artistique ; moyenne
générale des scores : 3,41). Elle représente 25% de la variance d'erreur.

Le coefficient de généralisabilité de l'interaction, calculé ci-dessus, est
malgré tout élevé (0,91). Ceci démontre que les profils aux deux échelles du
QIPOS que nous avons considérées peuvent différencier les deux orientations
Littéraires et Techniques en huitième supérieure, quel que soit l'échantillon
d'items tiré pour chaque Dimension, ou l'échantillon d'élèves choisi au hasard
dans chaque Orientation.

Dans le cadre très limité de l'exemple minimal que nous avons choisi,
l'emploi du questionnaire est donc *pertinent*, mais il ne faudrait pas en
conclure directement qu'il va être *utile* dans des examens individuels. Ce point
sera examiné plus bas, sous l'intitulé *Fidélité globale du profil*.

*Extension à N groupes et N dimensions.* L'exemple précédent se limitait
à l'étude de deux groupes en deux dimensions uniquement par souci de sim-
plicité. Il s'agit maintenant de voir comment passer de cette situation limite à
une situation normale, comportant un nombre quelconque de dimensions pour
le questionnaire, et un nombre quelconque de voies d'orientation.

Lorsque le questionnaire ne comporte que deux dimensions A et B, sa
validité discriminante repose sur l'interaction de ces dimensions avec les
groupes, c'est-à-dire sur le fait que la différence entre les deux scores a et b
d'un sujet est positive en moyenne pour un groupe, et négative pour l'autre
groupe. On peut situer tous les sujets d'après leurs scores a et b dans le plan
défini par les deux dimensions A et B. Les scores (a – b) positifs dans un
groupe et négatifs dans l'autre définissent en fait une nouvelle variable com-
posite (A-B), qui constitue un axe discriminant les deux groupes.
La généralisation progressive est facile à imaginer. D'abord, au lieu de donner un poids égal à A et à B, on peut chercher une pondération optimale des deux dimensions du questionnaire. Celle-ci va permettre de définir un axe qui maximise la différenciation des deux groupes (c'est-à-dire la variance intergroupes des projections des sujets sur cet axe).

Si le questionnaire comporte maintenant plus de deux échelles, la solution optimale restera semblable : il s'agira encore de définir la position d'un axe (dans un espace cette fois à 3, 4, ... N dimensions) qui maximisera la variance intergroupes des projections sur cet axe.

Et si le nombre de groupes augmente, le même principe restera applicable. Il existera une fonction discriminante multiple qui différenciera au maximum les groupes, puis éventuellement une seconde qui les différenciera dans une autre direction, puis peut-être une troisième, etc. La densité de chaque groupe en un point donné pourra également être calculée, ce qui permettra d'estimer des probabilités d'appartenance, a priori et a posteriori, de chaque sujet à chaque groupe.

L'exemple minimal qui a été présenté plus haut se généralise donc sans difficulté. La validation complète du questionnaire pour la classification des sujets en N groupes d'orientation reposera sur une analyse de variance multivariée effectuée à l'aide de ce questionnaire, ou mieux encore sur une étude de généralisabilité multivariée¹⁰, indiquant par le biais d'un coefficient Rho carré dans quelle mesure cette classification est assurée, pour chaque fonction discriminante séparément.

## Fidélité globale d'un profil

Le dispositif minimal de validation utilisé dans la section précédente (Validité discriminante d'un profil) n'a validé que partiellement l'emploi du QIPOS pour l'orientation individuelle. En effet, ce sont seulement les moyennes de 30 élèves que l'on a comparées d'une section à l'autre. Il n'est pas certain que, pour un élève isolé, l'orientation de ses intérêts se marque aussi clairement que pour ces profils moyens.

Un autre type d'étude de généralisabilité, utilisant différemment les résultats de la figure 5, va permettre de répondre à cette inquiétude légitime. On restera d'abord dans le cadre de notre exemple minimal, mais on discutera ensuite les implications de cet exemple pour le contrôle de la fiabilité du questionnaire dans une situation réelle, naturellement multidimensionnelle.
**Fidélité d'un profil à deux dimensions.** Rappelons le problème posé: il s'agit de savoir si l'écart véritable entre les deux moyennes de réponses, pour les deux dimensions Réaliste et Artistique-Littéraire, est «grand en général» par rapport aux fluctuations d'échantillonnage dues au choix aléatoire des items. «En général» est à comprendre comme «en moyenne» pour un sujet quelconque choisi au hasard. Quant à «grand», on prend comme critère dans la théorie de la généralisabilité que Rhô carré soit supérieur ou égal à 0.80, c'est-à-dire que la variance des écarts vrais représente au moins 80% de la variance observée des écarts entre les deux moyennes.

Ces deux variances (vraie et observée) peuvent être estimées pour un sujet unique, à partir d'une part de l'écart entre ses deux scores d'intérêt et sa moyenne générale (l'écart est le même pour les deux dimensions d'intérêt) et à partir d'autre part de la variance des dix réponses aux dix items autour de leur moyenne pour chaque dimension. Mais il est clair que les estimations que l'on obtient ainsi sont tout à fait instables, parce que fondées sur trop peu d'observations. Puisqu'on s'intéresse à ce qui se passe «en moyenne», pour pouvoir dire si le test est applicable «en général» à un sujet quelconque, l'idée vient immédiatement de combiner les résultats calculables pour chaque sujet pour en faire une moyenne sur l'ensemble des sujets.

Une étude de généralisabilité permet de faire l'économie de ces longs calculs. Il suffit d'additionner de façon appropriée les composantes de variance fournies par Etudgen pour l'ensemble de l'échantillon. Le schéma de la figure 6a montre comment les composantes du dispositif utilisé pour l'étude de validité (l'étude présentée à la figure 5) se combinent lorsqu'on travaille élève par élève.

On dit alors que la facette Élèves est «découpée». Du même coup la facette Orientations est aussi découpée, puisqu'un élève n'appartient qu'à une seule orientation ou section. Les effets principaux E(lèves) et O(orientations) disparaissent alors. Les indices «e» et «o» disparaissent aussi des autres composantes, indiquant ainsi quels regroupements sont à effectuer. Par exemple, la composante IE:DO est à ajouter à la composante I:D lorsque les facettes E et O sont découpées.
<figure><img src="image_4.png" /><figcaption>Figure 6a</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>Figure 6b</figcaption></figure>

Figure 6. *Passage du plan (I:D) × (E:O) au plan (I:D) par découpage de E et de O*

On arrive ainsi à l'estimation des composantes pour le dispositif individuel I:D, celui qui est schématisé à la figure 6b, et qui correspond à l'examen d'un sujet pris individuellement.

La variance de différenciation des dimensions pour un sujet découpé est ainsi la somme des composantes pour D, DO et DE:O. En reprenant les valeurs de la figure 5, cette variance est $0,01494 + 0,55985 + 0,62715 = 1,20194$.

La variance d'échantillonnage pour un item est la somme des composantes I:D, IO:D et IE:DO, soit $0,13635 + 0,06740 + 1,6792 = 1,88296$.

La variance d'échantillonnage de la moyenne de 10 items est 10 fois plus petite, soit $0,18830$.

L'estimation de la variance observée entre les deux dimensions du profil est alors $1,20194 + 0,18830 = 1,39024$.

Rhô carré est égal à $1,20194/1,39024 = 0,865$, valeur qu'on peut considérer comme satisfaisante. Ceci signifie que les écarts observés chez les élèves entre les deux dimensions considérées de leur profil d'intérêts sont peu affectés par l'échantillonnage des items effectué pour chaque dimension.

Le lecteur remarquera que cette fidélité globale n'a rien à voir avec la fidélité psychométrique de chaque échelle, mesurée préalablement par un coefficient alpha de Cronbach, qui contrôle que le classement des élèves reste le même, qu'on utilise un jeu d'items ou un autre. L'étude de la généralisation bilité du «scatter» entre les deux dimensions étudiées ne fait absolument pas intervenir la variance interélèves, mais uniquement des variances intrapersonnelles, comme le veut la logique de l'examen individualisé exposée en introduction.
**Extension de l'étude de fidélité globale à un profil quelconque.** De la même façon qu'on a pu généraliser l'étude de validité discriminante effectuée en deux dimensions, le contrôle de la part de variance d'erreur due à l'échantillonnage des questions à l'intérieur de chaque échelle, peut être étendu à N dimensions sans difficulté. Il s'agit simplement de comparer la variance vraie entre échelles du profil, telle qu'elle peut être estimée pour les profils individuels, à la variance d'échantillonnage introduite par le choix aléatoire des questions. La signification du rapport entre ces deux variances est indépendante du nombre de dimensions du profil.

Si la variance vraie entre les divers points du profil est importante par rapport à la variance d'échantillonnage des questions, on peut dire que le profil est globalement invariant par rapport à cette source d'erreur.

Nous espérons donc que le détour par l'exemple de deux groupes en deux dimensions, aussi peu réaliste qu'il soit, aura permis de faire comprendre le principe général des deux étapes du contrôle d'utilité proposé, pour un questionnaire destiné à l'auto-orientation des sujets.

* Dans l'étape de validation, une variance intergroupes élevée sur la fonction discriminante (par rapport aux fluctuations aléatoires liées au choix des items) prouve que les profils de réponse des groupes sont différents.

* Dans l'étude de la généralisabilité du profil individuel, l'existence d'une variance intrapersonnelle marquée entre les dimensions permet de rejeter l'hypothèse de profils « plats en général »¹¹.

## En guise de conclusion : les prudences nécessaires

L'exemple du QIPOS n'a été présenté qu'à titre d'illustration des deux thèses avancées au début de ce texte, auxquelles il est temps de revenir en conclusion.

Des contrôles sont nécessaires avant de faire confiance à des outils d'évaluation, et cela d'autant plus que les conséquences des décisions ont une portée plus lointaine. La validation des instruments et des dispositifs utilisés pour l'orientation apparaît une priorité incontournable et devrait être la préoccupation majeure des instituts qui s'intéressent à l'orientation... à condition qu'on leur en donne les moyens !
L'étude de la fidélité, non seulement des scores isolés, mais des profils, semble elle aussi indispensable. Nous estimons en effet, à observer les pratiques dans le domaine de l'orientation scolaire en particulier, que le conseiller (psychologue ou enseignant) suretime grandement la fiabilité des données sur lesquelles il se fonde pour poser un diagnostic ou un pronostic différentiel. En d'autres termes, il considère trop facilement certains profils de réponses, d'erreurs, de scores ou de notes comme caractéristiques de certains problèmes ou comme critères valables pour le choix de tel «traitement», pour la prise de telle décision. Le danger est d'autant plus grand pour le client que les règles de cette décision restent souvent très floues et *a fortiori* inaccessibles à l'intéressé.

Ce manque de transparence de la procédure d'examen nous ramène à la phase clinique de l'examen (ou entretien) d'orientation et à la nécessité d'une analyse en profondeur avec ou par l'élève pour vérifier la pertinence et la validité de l'image de soi fournie par l'instrument. Cette étape amène à évoquer avec l'élève d'autres situations de choix, d'autres occasions où des préférences s'expriment en acte, et ainsi à améliorer la capacité du sujet à analyser son fonctionnement dans des situations de choix engageant fortement son avenir.

Dans la plupart des situations d'évaluation visant à une orientation, il est possible et profitable de s'intéresser à la façon dont l'évalué travaille, de le questionner sur certaines de ses stratégies, de le sensibiliser à sa façon de fonctionner, de l'aider à interpréter lui-même ses résultats, quitte à diminuer le nombre d'épreuves ou de tests, si nécessaire. C'est ce que nous nous efforçons de faire dans le domaine didactique notamment (cf. notamment Bain, 1997).

Pour nous résumer, l'enjeu des décisions d'orientation est tel qu'il justifie une grande prudence, d'abord dans la mise au point des instruments d'évaluation et ensuite dans leur utilisation. À ces deux moments, il importe de restituer au sujet d'évaluation sa fonction d'acteur dans sa propre formation.
## NOTES

1. Texte d'un exposé présenté au XIᵉ colloque de l'ADMÉÉ-Europe à Tramelan (Suisse) le 23 septembre 1997.

2. Pour une discussion plus approfondie sur les aspects individuels et institutionnels de l'orientation scolaire, cf. l'exposé de Cardinet, à ce même colloque 1997.

3. Pour une présentation de la psychologie des intérêts, voir Dupont et al., 1979 et 1987.

4. Une analyse factorielle a vérifié en bonne partie *a posteriori* ces classements *a priori*.

5. Dans l'analyse statistique de validation (cf. ci-dessous le chapitre sur la généralisabilité), ce type de réaction inattendue du sujet à la question se traduit par une augmentation de l'effet d'interaction Élèves × Items, généralement principale source d'erreur affaiblissant la fiabilité des résultats.

6. Cas qui nous a été rapporté récemment par un collègue; cette stratégie fâcheuse est induite par le peu de temps dont dispose le psychologue pour informer et conseiller les élèves de son secteur.

7. Voir par exemple, pour la Suisse romande, les travaux de Weiss (1984), Guyot (1987) et Amherdt (1991).

8. Pour une introduction au modèle de la généralisabilité destinée à des non-spécialistes de la statistique, voir Bain & Pini (1996); pour une présentation plus détaillée et plus technique, cf. Cardinet & Tourneur (1985).

9. Cf. Bain & Pini (1996) pour une présentation de ce logiciel mis au point par le CESSUL, Université Laval (Québec, Canada).

10. La façon de réaliser une étude de généralisabilité multivariée a été présentée par Cronbach et al. (1972), Brennan (1983), et Webb et al. (1983). Pierre Ntereye a introduit le principe de symétrie dans la généralisabilité multivariée dans sa thèse de 1983.

11. Elle ne garantit pas pour autant que les élèves constitueront des groupes très homogènes. Si on ne trouve pas de profils typiques de chaque groupe, il sera difficile d'interpréter un *pattern* d'intérêts particulier, en le disant plus en accord avec telle orientation plutôt que telle autre.

## RÉFÉRENCES

Amherdt, C. H. (1991). *Contribution à l'étude du choix professionnel chez les futurs bacheliers (sur l'exemple d'élèves du Valais central)*. Thèse de psychologie appliquée, Faculté des sciences sociales et politiques, Université de Lausanne.

Bain, D. (1979). *Orientation scolaire et fonctionnement de l'école*. Berne: P. Lang.

Bain, D. (1997). *La métacognition au banc d'essai de la didactique. Réflexions personnelles sur la pertinence et l'utilité du concept de métacognition en didactique de la langue maternelle*. Genève: Centre de recherches psychopédagogiques du cycle d'orientation.

Bain, D., & Commission psychotechnique de l'Office cantonal vaudois d'orientation scolaire et professionnelle (1993). *Questionnaire d'intérêts pour l'orientation scolaire QIPOS: Livret d'instructions et d'informations*. Lausanne: Office cantonal d'orientation scolaire et professionnelle.
Bain, D., & Pini, G. (1996). *Pour évaluer vos évaluations. La généralisabilité: mode d'emploi*. Genève: Centre de recherches psychopédagogiques du cycle d'orientation.

Brennan, R. L. (1983). *Elements of generalizability theory*. Iowa City, IA: American College Testing Program.

Cardinet, J. (1997). *Quelle utilité vise l'orientation?* Exposé présenté au colloque de l'ADMÉÉ-Europe 1997, Tramelan.

Cardinet, J. (1998). *Un modèle statistique global pour les conseils d'orientation*. Neuchâtel: IRDP. (Collection Recherches, n° 98.101)

Cardinet, J., & Tourneur, Y. (1985). *Assurer la mesure*. Berne: Peter Lang.

Cronbach, L. J., & Gleser, G. C. (1965). *Psychological tests and personnel decisions*. Urbana: University of Illinois Press.

Cronbach, L. J., Gleser, G. C., Nanda, H. N., & Rajaratnam, N. (1972). *The dependability of behavioral measurements: Theory of generalizability for scores and profiles*. New York: John Wiley and Sons.

Dupont, J.-B. (1979). *Manuel de l'inventaire personnel de J. L. Holland. Issy-les-Moulineaux: Établissements d'applications psychotechniques*.

Dupont, J.-B., Gendre, F., Berthoud, S., & Descombes, J.-P. (1979). La psychologie des intérêts. Paris: PUF.

Dupont, J.-B., et al. (éds). (1987). La psychologie des intérêts. In *L'orientation scolaire et professionnelle, 16 (3), sept. 1987* (numéro spécial).

Guyot, M. (1987). Le psychologue face à l'orientation des élèves à la fin du premier cycle secondaire. Berne: Peter Lang.

Guyot, M., & Bain, D. (à paraître). Les batteries de tests d'intérêts mesurent-elles les mêmes dimensions? Analyse de quelques instruments en usage en Suisse romande ( titre provisoire). Lausanne: Institut de psychologie de l'Université.

Ntereye, P. (1983). Extension de la théorie de la généralisabilité aux plans multivariés multifacettes. Thèse, Université de l'État, Mons.

Rey, A. (1958). L'examen clinique en psychologie. Paris: PUF.

Webb, N. M., Shavelson, R. J., & Maddahian, E. (1983). Multivariate generalizability theory. New Directions in Testing and Measurement: Generalizability Theory, 18, 67-82.

Weiss, J. (1984). *Individualité et réussite scolaire*. Berne: Peter Lang.
# ANNEXE

## Brève caractérisation des six orientations d'intérêts (de loisirs) dans le QIPOS

### Réaliste

* Orientation des loisirs centrée sur les objets (latin: *res*), sur les travaux manuels et créatifs, sur le bricolage (construire, fabriquer, monter, réparer des objets), sur les activités sportives ou de plein air.

- A1: *J'aimerais suivre une émission sur le bricolage.*

- C5: *J'aimerais passer une partie de mes vacances à travailler dans une ferme.*

### Intellectuelle-Investigatrice

* Loisirs liés à une certaine curiosité intellectuelle, au désir d'étudier et de comprendre le fonctionnement des choses ou des personnes. Intérêt pour des activités de type expérimental ou scientifique: faire des expériences, observer, découvrir, mettre au point, faire preuve d'ingéniosité, inventer.

- D5: *J'aimerais faire des observations au microscope.*

- O6: *À l'occasion des fêtes de Noël, j'aimerais mettre au point un nouvel éclairage électrique.*

### Artistique-Littéraire

* Intérêts pour les arts en général, graphiques et picturaux notamment, mais surtout (majorité d'items) pour l'expression verbale et la littérature, sous forme notamment d'activités de lecture et d'écriture (contes, romans, théâtre, poésie).

- E3: *J'aimerais visiter un atelier de poterie.*

- P6: *Lors d'un reportage filmé en vidéo, j'aimerais écrire les dialogues, commentaires.*

### Sociale

* Orientation vers les contacts sociaux, les relations interpersonnelles, vers des activités d'aide, de soin ou de formation; besoin de se dévouer, d'entreprendre des tâches humanitaires, utiles à autrui ou à la communauté.

- B3: *À l'occasion d'un tournoi de ping-pong, j'aimerais apprendre à jouer à des débutants.*

- L4: *En camping, j'aimerais tenir compagnie à une personne handicapée.*
## Entrepreneuriale (esprit d'entreprise)

* Intérêt pour des activités impliquant des initiatives, un certain esprit d'entreprise, la direction ou l'animation d'un groupe de personnes, l'organisation du travail d'autrui.

- N4: Si j'avais le choix parmi les films suivants, je choisirais l'histoire d'une femme devenue banquière.

- S5: Si j'avais un vieux château, j'aimerais diriger les ouvriers chargés de la rénovation.

## Conventionnelle

* Orientation vers des activités bien structurées, correspondant au goût des règles, de l'ordre; plus particulièrement, intérêts pour des activités commerciales, administratives, de bureau, de comptabilité, de classement.

- G6: J'aimerais suivre un cours de dactylo.

- I5: J'aimerais gagner de l'agent de poche en comptant des véhicules à un carrefour.