# L'établissement d'une norme de qualification sûre dans un contexte non paramétrique

Louis Laurencelle

Université du Québec à Trois-Rivières

La sélection de personnel pour un emploi se base souvent sur une norme psychométrique qu'un candidat doit atteindre afin d'être recruté. Or, cette norme est statistique, c'est-à-dire calculée sur les mesures d'un simple échantillon de la population concernée, et il s'ensuit une incertitude, voire un risque d'erreur, dans la décision de retenir ou rejeter le candidat. Nous proposons une méthode d'établissement d'une norme psychométrique dont la probabilité d'erreur est strictement contrôlée, une « norme sûre », dont la valeur s'appuie uniquement sur les propriétés de base d'une série statistique, sans modèle paramétrique invoqué.

Personnel selection for a job often uses a psychometric norm that the applicant must reach or surpass in order to be retained. Because this norm is statistical, i.e. based on a sample of values drawn from the population, it is marked with uncertainty and this entails a risk of error in deciding whether to retain or dismiss the candidate. We propose a method for establishing a psychometric norm for which the probability of an erroneous decision is strictly controlled, a "safe norm", calculated using only the fundamental properties of the sampled values, without any recourse to a parametric model.

Dans le but de sélectionner et qualifier une personne pour un emploi, les entreprises moyennes à grandes ont de plus en plus recours au testing psychométrique. Que ce soit pour évaluer des compétences cléricales dans la fonction publique, des qualités de force et d'endurance physique dans les forces de l'ordre ou des habiletés motrices et perceptivo-motrices pour certains métiers, les tests permettent de passer au crible les candidats qui se présentent et de transmettre à l'employeur des recrues qui satisfont certains critères prédéfinis, selon une stratégie d'emploi planifiée. Des règles semblables de sélection et de qualification peuvent s'appliquer aussi pour le cheminement d'élèves en éducation, la détection de conditions pathologiques en médecine et dans d'autres contextes.

Sélectionner, cependant, signifie prendre une décision, c'est-à-dire décréter que la personne évaluée « passe » ou « ne passe pas » le test. Supposons, comme il arrive parfois, que toute la procédure de test aboutisse à un score unique (X₀), que ce score doive être comparé à une valeur de référence, une norme, cette valeur ayant été établie à partir

d'une population de référence. Cette norme occupe un rang centile déterminé dans la population, le rang γ (0 < γ < 1), et peut être dénotée Xγ, de sorte que

$$Pr\{X \leq X_{\gamma}\} = \gamma; \quad (1)$$

c'est d'ailleurs par le rang centile que souvent la norme est définie, dans le but de retenir les meilleurs 20 % (γ = 0,80) ou 5 % (γ = 0,95) de la population. La règle de sélection se formulerait alors :

$$\text{Retenir le candidat si son score } X_{0} \geq X_{\gamma}. \quad (2)$$

En appliquant cette règle, un candidat qui n'atteindrait pas le seuil imposé Xγ serait certain d'être rejeté, alors qu'un qui l'atteindrait serait forcément recommandé. Autrement dit,

$$\text{Pr } \{\text{Retenir le candidat } | \ X_{0} = X_{\gamma} - \delta \} = 0 \quad (3)$$

$$\text{Pr } \{\text{Retenir le candidat } | \ X_{0} = X_{\gamma} + \delta \} = 1, \text{ pour } \delta > 0.$$

Le contexte décrit dans le paragraphe précédent est idéal, et il est utopique d'en espérer la réalisation. En fait, à moins de disposer de moyens financiers colossaux, les entreprises ne mesurent pas toute la population : elles doivent se contenter d'un groupe normatif — un échantillon représentatif de la population de référence, d'une taille suffisante pour assurer
la précision voulue des centiles cherchés (Laurencelle 1998) — échantillon à partir duquel il faudra estimer approximativement la norme voulue. Or, cette norme approximative, disons $L_γ$, puisque basée sur un échantillon aléatoire de n éléments, a les propriétés d'une statistique, notamment une espérance (et un biais) et une variance d'erreur (Laurencelle 2000). Quelles que soient la méthode appliquée pour déterminer la norme : linéaire<fnref n="1" />, ordinale (voir plus loin) ou autre, ou la distribution de X, nous avons, approximativement :

$$E\{L_γ\} = X_γ \pm \sigma \times o(1/n) \quad (4)$$

et

$$\mathrm{var}\{L_γ\} \sim \frac{\sigma^2}{n} \times \frac{1}{(f_{X_γ})^2}, \quad (5)$$

« $f_X$ » dénotant la fonction de densité de la variable X. Ainsi, même si la norme approximative $L_γ$ a un biais d'ordre $1/n$, c'est-à-dire relativement faible ou nul, elle est marquée d'une variance d'erreur, une incertitude, qui varie selon $γ$ et inversement selon $n$. Cette incertitude de la norme statistique fait en sorte que, comparativement à (1),

$$\mathrm{Pr}\{X \le L_γ\} \approx \gamma. \quad (6)$$

En outre, l'application de la règle empirique :

Retenir le candidat si son score $X_0 \ge L_γ$ (7) répercute l'incertitude de la norme estimée, de sorte que, pour un candidat dont le score $X_0$ approcherait la norme $L_γ$ à une petite distance $\delta$, nous aurions :

$$\mathrm{Pr}\{\text{Retenir le candidat } | X_0 = L_γ \pm \delta\} \approx \frac{1}{2}. \quad (8)$$

Ainsi, quelqu'un pourrait se voir recommander comme qualifié alors qu'en fait il ne l'est pas ou, dans une autre situation, une personne qualifiée aurait une probabilité non nulle de se voir refuser l'emploi.

Le risque de commettre une décision de sélection erronée à partir d'une norme statistique dépend de deux facteurs : le type d'erreur qu'on veut contrôler et l'écart du score obtenu $X_0$ par rapport à la norme. L'erreur elle-même peut consister soit à admettre quelqu'un qui ne serait pas qualifié : pour contrer ce risque, nous avons besoin d'une norme exigeante ; ou bien l'erreur peut être de refuser l'admission à quelqu'un qualifié, ce qui justifie la norme permissive. Quant à l'écart entre score obtenu et norme, la probabilité de commettre une décision erronée va évidemment varier avec lui. Ainsi, pour quelqu'un non qualifié (i.e. $X_0 < X_γ$), la probabilité d'être sélectionné (i.e. $X_0 \ge L_γ$) dépend à la fois de son score et de la norme $L_γ$ appliquée, d'où :

$$\mathrm{Pr}\{X_0 \ge L_γ | X_0 < X_γ\} \to 0 \text{ si } L_γ - X_0 \to \infty.$$

Or, comme on ne peut modifier la valeur obtenue $X_0$, il faut plutôt relever la norme approximative appliquée, soit :

$$\mathrm{Pr}\{X_0 \ge L_γ' | X_0 < X_γ\} \to 0 \text{ si } L_γ' \to \infty.$$

Dans un tel cas, la norme sûre exigeante ($L_E$) sera telle que la probabilité qu'une personne tout juste non qualifiée soit sélectionnée est d'au plus $\alpha$, ou

$$\max \mathrm{Pr}\{X_0 \ge L_E | X_0 < X_γ\} = \alpha \quad (9)$$

Réciproquement, pour réduire à un seuil convenu le risque de refuser une personne qualifiée, il faut abaisser la norme approximative appliquée, définissant ainsi la norme sûre permissive ($L_P$) par

$$\max \mathrm{Pr}\{X_0 < L_P | X_0 \ge X_γ\} = \alpha \quad (10)$$

Dans le contexte paramétrique du modèle normal, ont été développés les concepts d'intervalle de tolérance et de limites de tolérance (Wilks 1941, Wald et Wolfowitz 1946, Kendall et Stuart 1979), proches parents de la « norme sûre » applicable en psychométrie. Laurencelle (2000, 2002) documente et développe la notion de norme sûre à modèle normal, définissant ainsi des normes exigeantes ou permissives soit en mode unilatéral (comme ci-dessus), soit en mode bilatéral. L'intervalle et les limites de tolérance ont aussi été développés pour d'autres modèles paramétriques (p. ex. Hanson et Koopmans 1964, Bain et Weeks 1965). Qu'arrive-t-il, toutefois, si le modèle paramétrique n'est pas spécifié ou s'il ne peut pas être établi avec assurance?

En l'absence d'un modèle paramétrique, qui fournirait la fonction de répartition $F_X$ et la fonction de densité $f_X$ de la variable X, il reste le recours aux propriétés fondamentales de la série statistique $\{X_1, X_2, \dots, X_n\}$, notamment celles liées aux statistiques d'ordre $(X_{(1:n)}, X_{(2:n)}, \dots, X_{(n:n)})$, notées plus simplement $(X_{(1)}, X_{(2)}, \dots, X_{(n)})$. La seule utilisation de cette série, en dehors de toute invocation paramétrique, permet en effet de définir une norme approximative, le centile statistique $C_γ$, comme estimateur du vrai centile $X_γ$, tel qu'il délimite une proportion $γ$ inférieure de la population. L'une des fonctions d'estimation possibles est :

$$C_γ = X_{\{\gamma[n+1]\}} \quad (11)$$

c'est la norme ordinale, marquée elle aussi d'un léger biais et d'une incertitude<fnref n="2" /> dont nous allons expressément tenir compte.

En supposant maintenant que toutes les mesures considérées proviennent d'une même population X à répartition $F_X$ inconnue, alors la série :

$(F(X_{(1)}), F(X_{(2)}), \dots, F(X_{(n)}))$

équivaut à la série

$(U_{(1)}, U_{(2)}, \dots, U_{(n)})$,

soit les statistiques d'ordre de la variable uniforme standard, de distribution $U \sim (0, 1)$. Les propriétés de cette série, via un calcul par la loi binomiale, vont permettre de définir une

<footnote n="1">¹ L'estimation linéaire d'un centile normal de rang $γ$ est obtenue par $L_γ = \bar{X} + s_X \times z_{1-γ}$, où $z_{1-γ}$ est le centile correspondant de la loi normale standard.</footnote>

<footnote n="2">² La variance d'erreur d'un centile (ordinal) de rang $γ$ est (à l'ordre $1/n$) de $\sigma^2/n \times \gamma(1-\gamma) / [f(X_γ)]^2$. Laurencelle (2000) élabore sur cette question.</footnote>
norme non paramétrique à risque contrôlé, que nous désignons « norme ordinale sûre ».

## STATISTIQUES D'ORDRE ET PROBABILITÉS BINOMIALES

La norme ordinale, ou non paramétrique, se réfère donc, non pas à la métrique de la variable X considérée ni aux paramètres (tels que $\mu_X$ et $\sigma_X$) qui contrôlent sa distribution, mais seulement à ses propriétés d'ordre telles qu'elles sont implicitement transposées dans la variable uniforme $U$ via la transformation intégrale $U = F(X)$, où $U$ varie uniformément de 0 à 1. Si, comme il se doit, l'ensemble des $n$ données normatives $\{X_1, X_2, \dots, X_n\}$ constitue un échantillon aléatoire de la population $X$, la série équivalente virtuelle $\{U_1, U_2, \dots, U_n\}$ est elle aussi un échantillon aléatoire de la population $U$, cette fois avec des propriétés connues. Par exemple, si $n$ est pair, la probabilité que la moitié $(n/2)$ des valeurs $U_i$ soient inférieures à la médiane paramétrique $U = 0,5$ est facilement calculée<fnref n="3" />. Rappelons maintenant certaines propriétés des statistiques d'ordre $(U(1), U(2), \dots, U(n))$, à partir desquelles la norme sûre sera élaborée (David 1981, Kendal et Stuart 1979).

Posons d'abord que $U(1:n)$ tient lieu de $X(1:n)$, la valeur obtenue la plus petite de la série normative $\{X_1, X_2, \dots, X_n\}$. De même, $U(n:n)$ représente $X(n:n)$, la valeur la plus grande, et $U(r:n)$ dénote et remplace la $r$e valeur la plus petite, soit $X(r:n)$. Ainsi, pour $U(n:n)$, c-à-d. la plus grande statistique d'ordre, la probabilité qu'elle soit inférieure ou égale à une valeur $U$ donnée est aussi la probabilité que les $n$ statistiques de la série $U_i$ soient toutes inférieures à $U$, soit $G_{U(n:n)}(U) = U^n$. De même, la probabilité qu'un élément $U_i$ soit supérieur à la valeur $U$ étant $(1-U)$, la probabilité qu'ils soient tous supérieurs est $(1-U)^n$, de sorte que, pour $U(1:n)$, la plus petite statistique de la série, la probabilité qu'elle soit inférieure à $U$ est le complément de cette probabilité, $G_{U(1:n)}(U) = 1 - (1-U)^n$. En général, la fonction de répartition<fnref n="4" /> de $U(r:n)$ dénote la probabilité qu'au moins $r$ parmi les $n$ statistiques $U_i$ soient inférieures ou égales à $U$, ou

$$G_{U(r:n)}(U) = \Pr \{ \text{au moins } r \text{ U}_i \text{ sur } n \le U \}$$

$$= \sum_{i=r}^{n} \binom{n}{i} U^i (1-U)^{n-i}. \qquad (12)$$

C'est cette fonction $G_{U(r:n)}(U)$, notée plus simplement $G_{r,n}(P)$, qui servira à définir notre norme ordinale.

## DÉFINITION ET CALCUL D'UNE NORME ORDINALE UNILATÉRALE

Nous voulons définir une norme, un seuil, tel qu'il servira à sélectionner les candidats appartenant à la fraction $(1-\gamma)$ supérieure<fnref n="5" /> de la population par la règle :

Retenir le candidat si son score $X_0 \ge X(r:n)$, (13) en assurant que la probabilité de commettre une erreur de décision n'excède pas un niveau convenu $\alpha$. Noter qu'ici, la norme $X(r:n)$ est attachée à une statistique d'ordre, dont les paramètres $r$ et $n$ sont contrôlés à travers la variable équivalente $U$.

Norme unilatérale exigeante. La norme exigeante a pour fonction de réduire à $\alpha$ la probabilité de retenir (par $X_0 \ge X(r:n)$) une personne qui en fait ne serait pas qualifiée (selon $X_0 < X_\gamma$), soit :

$$\max \Pr\{X_0 \ge X(r:n) \mid X_0 < X_\gamma\} = \alpha. \qquad (14)$$

Or, quelqu'un de tout juste non qualifié aurait un score $X_0$ proche de $X_\gamma$, et son $U_0 = F(X_0)$ serait proche de $\gamma$. Il s'agit donc de solutionner pour $r$ ou $n$ l'inéquation :

$$\Pr\{U_0 \ge U(r:n) \mid U_0 < \gamma\} \le \alpha \qquad (15)$$

soit : $\Pr\{\gamma \ge U(r:n)\} \le \alpha$

ou : $\Pr\{U(r:n) \le \gamma\} \le \alpha$

$$\text{ou : } \quad G_{r,n}(\gamma) \le \alpha. \qquad (16)$$

Prenons, par exemple, $\gamma = 0,90$, $\alpha = 0,05$ et $n = 100$. Cherchant le rang $r$ approprié, on trouve $G_{95,100}(0,90) \approx 0,0576$ puis $G_{96,100}(0,90) \approx 0,0237 \le \alpha$ ; la norme à appliquer pourrait être $X(96:100)$, et la règle consisterait à retenir les candidats obtenant $X_0 \ge X(96:100)$. Il est intéressant de noter que, en retenant la norme $X(96:100)$, nous obtenons une sélection effective de $\gamma' = r / (n+1) = 96 / 101 \approx 0,95$, donc une sélection plus sévère (comparativement à $\gamma = 0,90$) qui nous protège contre une décision erronée. Dans une autre approche, prenons encore $\gamma = 0,90$ et $\alpha = 0,05$, $r = n - 2$ et cherchant $n$. On finit par trouver $G_{59,61}(0,90) = 0,0491$ et $G_{58,60}(0,90) = 0,0530$, d'où la norme retenue sera $X(59:61)$. Le tableau A1, en annexe, présente quelques valeurs obtenues d'après cette approche, en fournissant la taille $n$ requise pour que la norme au rang indiqué satisfasse les exigences $(\gamma, \alpha, r)$ imposées.

Norme unilatérale permissive. La norme permissive permet de contrôler le risque de rejeter (par $X_0 < X(r:n)$) une personne qui serait qualifiée (selon $X_0 \ge X_\gamma$), soit :

$$\max \Pr\{X_0 < X(r:n) \mid X_0 \ge X_\gamma\} = \alpha. \qquad (17)$$

Quelqu'un qui serait tout juste qualifié aurait un score $X_0$ proche de $X_\gamma$, le $U_0$ frôlant lui-même $\gamma$. La proposition à

<footnote n="3">³ Soit $p = nC_{n/2} (1/2)^n$.</footnote>

<footnote n="4">⁴ Pour le lecteur intéressé, la fonction de densité de $U(r:n)$ est $g_{U(r:n)}(U) = r \binom{n}{r} U^{r-1} (1-U)^{n-r}$</footnote>

<footnote n="5">⁵ La sélection dans la tranche $(1-\gamma)$ inférieure est aussi possible (p. ex. si le critère de sélection est un temps d'exécution d'un test ou bien un indice corporel métabolique). Dans un tel cas, il suffira de transposer symétriquement la règle et la norme prescrites.</footnote>
résoudre est alors :

$$
\mathrm{Pr}\{ U_0 < U_{(r,n)} | U_0 \ge \gamma \} \le \alpha, \quad (18)
$$

$$
\text{d'où :} \quad 1 - \text{Pr}\{ U_{(r:n)} \le U_0 | U_0 \ge \gamma \} \le \alpha
$$

et, finalement :

$$
\begin{gather*}
\mathrm{Pr}\{ U_{(r:n)} \le U_0 | U_0 \ge \gamma \} \ge 1 - \alpha \\
G_{r,n}(\gamma) \ge 1 - \alpha. \tag{19}
\end{gather*}
$$

Reprenant l'exemple avec $\gamma = 0,90$, $\alpha = 0,05$ et $n = 100$, on trouve, en variant $r$, $G_{85,100}(0,90) = 0,9601$ et $G_{86,100}(0,90) = 0,9274$, ce qui permet d'établir la norme sûre permissive aux paramètres $(r, n) = (85, 100)$, fournissant la valeur normative $X_{(85:100)}$. Notons ici que cette norme permissive se situe évidemment en deçà du rang centile $\gamma$, le rang centile trouvé étant $\gamma' = 85 / 101 \approx 0,84$ pour un rang visé $\gamma = 0,90$.

Le lecteur trouvera au tableau A2 les tailles n requises pour que la norme permissive de rang indiqué convienne aux exigences (γ,α,r) demandées.

Estimation de n. En utilisant la parenté qui unit la somme binomiale et la fonction Bêta incomplète, Scheffé et Tukey (1944) ont élaboré une formule qui permet d’estimer le paramètre n requis pour satisfaire approximativement l’équation $G_{r,n}(\gamma) = P$, une fois spécifiées les quantités $\gamma$, $P$ et $r$ :

$$
n^* \approx \frac{\chi^2_{2[P]}}{4} \left[ \frac{1+\gamma}{1-\gamma} \right] + \frac{1}{2}(r-1) . \quad (20)
$$

Dans cette formule, $P = 1 - \alpha$ (Exigeante) ou $\alpha$ (Permissive) selon le cas, et $r$ indique le rang (inférieur) de la norme ; au besoin, obtenir $r$ par $n + 1 - s$ (pour une norme supérieure $s$). Ainsi, pour notre second exemple de norme exigeante ci-dessus, avec $\gamma = 0,90$, $\alpha = 0,05$ et $s = n - 2$, nous avons $P = 1 - \alpha$ et $r = n + 1 - (n - 2) = 3$ (équivalant à une norme inférieure de rang 3), et :

$$
n^* \approx \frac{\chi^2_6[1-0,05]}{4} \left[ \frac{1+0,90}{1-0,90} \right] + \frac{1}{2}(3-1)
$$

soit $12,59 / 4 \times 19 + 1 = 60,80 \approx 61$, tel que déterminé ci-dessus par un calcul extensif. Pour une norme permissive satisfaisant (19), avec $\gamma = 0,95$, $\alpha = 0,01 = P$ et $s = n - 6$, nous avons donc $r = 7$, $\chi^2_{[4,0,10]} = 4,66$ et $n^* = 48,435 \approx 48$, encore une fois la valeur correcte dans ce cas.

Interpolation pour la norme unilatérale. La définition d'une
norme exigeante $X_{(r:n)}$ par l'équation approximative $G_{r,n}(\gamma) \approx$
$\alpha$ n'est pas toujours exactement possible, surtout en raison
du fait que le paramètre « n » n'est pas variable, mais est
plutôt imposé par un contexte donné. C'est alors sur le
paramètre $r$, le rang, que l'utilisateur peut jouer afin de
déterminer sa norme. Reprenons notre premier exemple,
avec une taille imposée $n = 100$, la sélection dans les 10%
meilleurs selon $\gamma = 0,90$ et un niveau d'erreur $\alpha = 0,05$. Par
essais et erreurs, nous avons trouvé $G_{95,100}(0,90) = 0,0576$,
puis $G_{96,100}(0,90) = 0,0237$. Le couple (96, 100) satisfait bien

sûr la contrainte « α ≤ 0,05 », mais il est trop exigeant, alors
que le couple (95, 100) convenait presque. C'est ici que
l'interpolation sur le rang r devient possible et intéressante.

L'interpolation proposée procède en deux temps :
d'abord, trouver une valeur de r intermédiaire, avec partie
fractionnaire, telle que $G_{n,r} \approx \alpha$, ensuite fixer la norme $C_\gamma$ par
une seconde interpolation, cette fois sur X. Pour la première
 étape, l'étude montre aussi que la relation entre $r$ et $\sqrt{-\ln P}$, $P$
étant la probabilité binomiale, est presque linéaire sur de
courts intervalles, ce qui permet l'interpolation. Soit $G_{95,100} =
0,0576$ et $G_{96,100} = 0,0237$, alors, pour trouver $r^*$ tel que $G_{r^*,n} \approx
0,05$, nous faisons

$$
\begin{gather*}
r^* = 95+(96-95)\times \\
\left[ \sqrt{-\ln 0,0576} - \sqrt{-\ln 0,05} \right] / \left[ \sqrt{-\ln 0,0576} - \sqrt{-\ln 0,0237} \right] \\
\text{soit } r^* \approx 95,17. \text{ Une autre étude montre aussi que la relation} \\
\text{directe entre } r \text{ et } n \text{ (avec facteurs } \gamma \text{ et } \alpha \text{ constants) est quasi} \\
\text{linéaire elle aussi, permettant l'interpolation sur une autre} \\
\text{base. Consultant maintenant le tableau A1, nous voyons} \\
\text{que, pour } \gamma = 0,90 \text{ et } \alpha = 0,05, \text{ les tailles voisines de } n = 100 \\
\text{sont 89 et 103, respectivement pour des rangs inférieurs } r_i \text{ de} \\
\text{5 et 6. Le rang inférieur approprié pour } n = 100, r_i^*, \text{ serait} \\
\text{donc}
\end{gather*}
$$

$r_i^* = 5 + (6 - 5) \times [100 - 89] / [103 - 89]$, soit $r_i^* \approx 5,79$, d'où le rang supérieur $r$ à utiliser serait $r^* = n + 1 - r_i^* = 95,21$, en excellente approximation de la valeur trouvée par la méthode précédente. Enfin, dans le second temps de l'estimation, il s'agit de déterminer la norme $C_\gamma = X_{(r:n)}$ par interpolation sur la série des statistiques d'ordre, entre $X_{(r:n)}$ et $X_{(r+1:n)}$. L'interpolation linéaire reste la voie la plus commode$^6$, soit :

$$
X_{(r*:n)} = X_{(r:n)} + (X_{(r+1:n)} - X_{(r:n)}) \times (r^* - r).
$$

DÉFINITION ET CALCUL D'UNE NORME ORDINALE
BILATÉRALE

La documentation disponible (Wilks 1941, David 1981, Rohatgi 1976, Kendall et Stuart 1979) présente un concept qui s'apparente à une norme bilatérale, celui de l'« intervalle de tolérance ». Cet intervalle est borné par deux valeurs $L_{inf}$ et $L_{sup}$, de telle sorte qu'on est assuré au niveau $1-\alpha$ que ces valeurs embrassent une proportion d'au moins $\gamma$ de la population$^7$, c'est-à-dire :

<footnote n="6">⁶ Mais pas vraiment la plus précise, surtout aux rangs centiles extrêmes, dans une aile de la distribution. Ainsi, dans le contexte du modèle normal, la relation entre rangs centiles (P) et centiles (ZP) apparaît fortement non linéaire aux extrémités : la transformation $\sqrt{-\ln P}$ serait alors indiquée avant de procéder à l'interpolation.</footnote>

<footnote n="7">⁷ Pour l'intervalle de tolérance ordinal (ou non paramétrique), défini par les statistiques d'ordre $X(r_1)$ et $X(r_2)$, $r_1 < r_2$, la probabilité que la capacité $\gamma$ déborde la</footnote>
$$ \mathrm{Pr}\{F(L_{\mathrm{sup}}) - F(L_{\mathrm{inf}}) \geq \gamma\} \geq 1 - \alpha. \quad (21) $$

La séduisante proximité de ce concept avec celui de norme bilatérale explique sans doute les hésitations et erreurs trouvées à ce sujet dans des publications récentes (Laurencelle 1998, 2000), heureusement corrigées plus tard (Laurencelle 2002) pour les normes sûres à modèle normal. En fait, dans une norme bilatérale appliquée dans un contexte psychométrique, il ne s'agit pas d'englober avec assurance une proportion $\gamma$ de la population, mais d'inclure ou d'exclure un cas particulier selon que son score $X_0$ s'inscrive dans le corps central, selon $L_{\mathrm{inf}} < X_0 < L_{\mathrm{sup}}$, ou qu'il en déborde, selon $X_0 \le L_{\mathrm{inf}}$ ou $X_0 \ge L_{\mathrm{sup}}$. Il s'agit ici de normes ancrées, c'est-à-dire occupant une position déterminée dans l'axe de mesure $X$, alors que les bornes de l'intervalle de tolérance classique sont flottantes, la largeur seule du filet formé par $L_{\mathrm{sup}} - L_{\mathrm{inf}}$ suffisant à sanctionner l'inclusion.

Nous voulons donc établir une double norme qui servira à discriminer les candidats relevant soit de la portion $(1+\gamma)/2$ supérieure, soit de la portion $(1-\gamma)/2$ inférieure de la population, par rapport à la masse $\gamma$ des candidats située au centre. Nous envisageons ainsi la règle :

Retenir le candidat

$$ \text{si son score } X_0 \le X_{(r:n)} \text{ ou } X_0 \ge X_{(s:n)}. \quad (22) $$

Bilatérale par définition, cette norme est aussi symétrique dans ses rangs (mais pas forcément dans ses valeurs $X$), d'où, d'après la correspondance :

$$ s = n + 1 - r \quad (23) $$

il suffit de fixer $r$.

**Norme bilatérale exigeante.** Supposons que la personne n'est pas qualifiée, selon $X_{(1-\gamma)/2} < X_0 < X_{(1+\gamma)/2}$, et qu'elle ne devrait être retenue ni par en haut ($X_0 \ge X_{(s:n)}$), ni par en bas ($X_0 \le X_{(r:n)}$). Ainsi, nous devons obtenir :

$$ \max \begin{cases} X_0 \le X_{(r:n)} \text{ ou } X_0 \ge X_{(s:n)} \\ X_{(1-\gamma)/2} < X_0 < X_{(1+\gamma)/2} \end{cases} = \alpha \quad (24) $$

ou :

$$ \max \begin{cases} U_0 \le U_{(r:n)} \text{ ou } U_0 \ge U_{(s:n)} \\ (1-\gamma)/2 < U_0 < (1+\gamma)/2 \end{cases} = \alpha. \quad (25) $$

La probabilité de rétention erronée est maximale lorsque $U_0$ approche l'une des bornes $(1-\gamma)/2$ ou $(1+\gamma)/2$. Prenons indifféremment la borne $(1-\gamma)/2$, alors :

$$ \mathrm{Pr}\{(1-\gamma)/2 \le U_{(r:n)} \text{ ou } (1-\gamma)/2 \ge U_{(s:n)}\} \le \alpha \quad (26) $$

Intervertissant les inégalités de (26), nous obtenons :

$$ \mathrm{Pr}\{U_{(r:n)} \ge (1-\gamma)/2 \text{ ou } U_{(s:n)} \le (1-\gamma)/2\}, \quad (27) $$

expression que nous pouvons transposer symboliquement

comme :

$$ \mathrm{Pr}\{-A \text{ ou } B\}, \quad (28) $$

laquelle, par un théorème bien connu, équivaut à l'expression :

$$ \mathrm{Pr}\{-A\} + \mathrm{Pr}\{B\} - \mathrm{Pr}\{-A \text{ et } B\}. \quad (29) $$

Par définition, $\mathrm{Pr}\{-A\} = 1 - \mathrm{Pr}\{A\}$. De plus, l'expression « $-A$ et $B$ » dénote l'événement « $U_{(r:n)} \ge (1-\gamma)/2$ et $U_{(s:n)} \le (1-\gamma)/2$ », impossible puisque $U_{(r:n)} \le U_{(s:n)}$, d'où $\mathrm{Pr}\{-A \text{ et } B\} = 0$. Ainsi, la norme bilatérale exigeante, exprimée par (24), doit satisfaire l'inéquation :

$$ 1 - \mathrm{Pr}\{A\} + \mathrm{Pr}\{B\} \le \alpha, \quad (30) $$

soit :

$$ 1 - G_{r,n}([1-\gamma]/2) + G_{s,n}([1-\gamma]/2) \le \alpha. \quad (31) $$

Par exemple, pour une masse centrale $\gamma = 0,95$ avec $\alpha = 0,01$ et $n = 500$ données normatives, le calcul pour $r = 6$ fournit $p = 0,0139$, et pour $r = 5$, $p = 0,0050$, soit la valeur à retenir. La norme bilatérale à retenir serait donc le couple $X_{(5:500)}$ et $X_{(496:500)}$. Le lecteur trouvera au tableau A3 certains couples $(n, r)$ ajustés pour cette norme.

**Norme bilatérale permissive.** La personne est qualifiée, ne faisant pas partie de la masse centrale ($\gamma$), selon $X_0 < X_{(1-\gamma)/2}$ ou $X_0 > X_{(1+\gamma)/2}$, mais il y a risque de ne pas la détecter si $X_0 > X_{(r:n)}$ ou $X_0 < X_{(s:n)}$. Il s'agit donc de déterminer le triplet $(r, s, n)$ tel que :

$$ \max \begin{cases} X_0 > X_{(r:n)} \text{ et } X_0 < X_{(s:n)} \\ X_0 < X_{(1-\gamma)/2} \text{ ou } X_0 > X_{(1+\gamma)/2} \end{cases} = \alpha. \quad (32) $$

Cette probabilité sera maximale pour un candidat tout juste qualifié, c'est-à-dire quelqu'un dont la valeur $U_0$ approche l'une ou l'autre des bornes $(1-\gamma)/2$ ou $(1+\gamma)/2$. Fixant indifféremment $U_0 = (1-\gamma)/2$, nous avons :

$$ \mathrm{Pr}\{(1-\gamma)/2 > U_{(r:n)} \text{ et } (1-\gamma)/2 < U_{(s:n)}\} \le \alpha' \quad (33) $$

ou :

$$ \mathrm{Pr}\{U_{(r:n)} \le (1-\gamma)/2 \text{ et } U_{(s:n)} \ge (1-\gamma)/2\} \le \alpha \quad (34) $$

L'expression (34), transposée symboliquement, donne :

$$ \mathrm{Pr}\{A \text{ et } -B\}. \quad (35) $$

Utilisant l'égalité $\mathrm{Pr}\{A \text{ et } B\} + \mathrm{Pr}\{A \text{ et } -B\} = \mathrm{Pr}\{A\}$, l'expression (35) devient :

$$ \mathrm{Pr}\{A\} - \mathrm{Pr}\{A \text{ et } B\}. \quad (36) $$

Or, considérant la contrainte $U_{(r:n)} \le U_{(s:n)}$, qui entraîne $\mathrm{Pr}\{U_{(r:n)} \le U \mid U_{(s:n)} \le U\} = 1$, nous avons $\mathrm{Pr}\{A \text{ et } B\} = \mathrm{Pr}\{B\}$, d'où, finalement :

$$ \mathrm{Pr}\{A\} - \mathrm{Pr}\{B\} \le \alpha \quad (37) $$

$$ G_{r,n}([1-\gamma]/2) - G_{s,n}([1-\gamma]/2) \le \alpha. \quad (38) $$

Pour la norme bilatérale permissive, selon $\gamma = 0,95$ avec $\alpha = 0,01$ et $n = 500$ données, l'utilisation de $r = 21$ produit $p = 0,0161$, et $r = 22$ produit $p = 0,0086$, le couple $X_{(22:500)}$ et $X_{(479:500)}$ fixant cette norme (approximativement). Le tableau A4 présente un jeu de couples $(n, r)$ correspondant à cette norme.

<footnote>différence ($X(r_2) - X(r_2)$) est donnée par $1 - \sum_n C_n \gamma^n (1-\gamma)^{n-1}$, pour $i = 0$ à $r_2 - r_1 - 1$ (Rohatgi 1976). De plus, la taille $n$ requise peut être obtenue par les tables unilatérales correspondantes, en déterminant $p$. ex. $n-r$, où $r = r_1 + n - r_2$. L'intervalle ainsi défini ne respecte pas cependant les contraintes de la norme bilatérale telle que proposée en (24).</footnote>
Estimation de n. Nous pouvons remettre en service l'estimation approximative de n (Scheffé et Tukey 1944), telle que concrétisée plus haut par la formule (20). À cette fin, notons d'une part que la couverture bilatérale $\gamma$ devient $1/2(1+\gamma)$ en mode unilatéral. D'autre part, à la fois pour la norme exigeante (30) et la norme permissive (37), la composante $Pr\{B\}$ est typiquement minime, voire insignifiante, de sorte que ces normes correspondent à peu près à $Pr\{A\} \le \alpha$ et $Pr\{A\} \ge 1-\alpha$, respectivement. L'approximation (20) devient ainsi :

$$n^* \approx \frac{\chi_{2r[P]}^2}{4} \left[ \frac{3+\gamma}{1-\gamma} \right] + \frac{1}{2}(r-1), \quad (39)$$

(en rappelant que $r = n + 1 - s$) : comme dans le cas unilatéral, $P = 1 - \alpha$ pour la norme exigeante, et $P = \alpha$ pour la norme permissive.

Interpolation pour la norme bilatérale. La norme bilatérale permissive donnée en exemple ci-dessus, avec $\gamma = 0,95$, $\alpha = 0,01$ et $n = 500$, se situe réellement entre $r = 21$ ($P = 0,0161$) et $r = 22$ ($P = 0,0086$). En interpolant sur $r$ selon $P$, en fait selon $\sqrt{-\ln P}$, nous estimons $r^* \approx 21,77$ pour $P = 0,01$. L'interpolation linéaire à partir des couples $(n, r)$ du tableau A4 est plus simple. La probabilité $\alpha = 0,01$ est satisfaite pour $(n, r) = (477, 21)$ et $(507, 22)$, d'où $r^* \approx 21,77$ pour $n = 500$. La norme plus précise serait donc déterminée (interpolant sur $X$) par le couple $X_{(21,77:500)}$ et $X_{(479,23:500)}$.

## PRÉCISION DE LA NORME PRODUITE

En vertu de leur définition, les normes produites respectent évidemment les contraintes de probabilité qu'on

<table><caption>Tableau 1

Erreurs-types de la norme sûre exigeante ($\gamma = 0,90$, $\alpha \le 0,05$) et de la norme régulière ($\gamma = 0,90$, $\alpha \approx 0,50$) pour différentes tailles $n$ de l'échantillon normatif †</caption><thead><tr><th rowspan="2">n</th><th colspan="2">Norme sûre<br>(α ≤ 0,05)</th><th colspan="2">Norme centrale<br>(α ≈ 0,50)</th><th rowspan="2">R (%)</th></tr><tr><th>r*</th><th>σ<sub>e</sub></th><th>r*</th><th>σ<sub>e</sub></th></tr></thead><tbody><tr><td>50</td><td>2,30</td><td>0,323</td><td>5,1</td><td>0,245</td><td>32</td></tr><tr><td>100</td><td>5,83</td><td>0,205</td><td>10,1</td><td>0,172</td><td>19</td></tr><tr><td>150</td><td>9,72</td><td>0,161</td><td>15,1</td><td>0,140</td><td>15</td></tr><tr><td>200</td><td>13,78</td><td>0,136</td><td>20,1</td><td>0,121</td><td>12</td></tr><tr><td>250</td><td>17,95</td><td>0,120</td><td>25,1</td><td>0,108</td><td>11</td></tr><tr><td>300</td><td>22,20</td><td>0,108</td><td>30,1</td><td>0,099</td><td>9</td></tr><tr><td>400</td><td>30,88</td><td>0,093</td><td>40,1</td><td>0,086</td><td>8</td></tr><tr><td>500</td><td>39,71</td><td>0,082</td><td>50,1</td><td>0,077</td><td>7</td></tr><tr><td>750</td><td>62,23</td><td>0,066</td><td>75,1</td><td>0,063</td><td>6</td></tr><tr><td>1000</td><td>85,13</td><td>0,057</td><td>100,1</td><td>0,054</td><td>5</td></tr><tr><td>2500</td><td>226,06</td><td>0,035</td><td>250,1</td><td>0,034</td><td>3</td></tr><tr><td>5000</td><td>465,84</td><td>0,025</td><td>500,1</td><td>0,024</td><td>2</td></tr></tbody></table>

leur impose ; c'est pourquoi la question de leur précision métrique apparaît toute secondaire. Il reste que cette précision peut être évaluée, et qu'il est intéressant d'établir le coût en incertitude accrue que ces normes doivent encaisser afin d'honorer le seuil de contrôle d'erreur $\alpha$ qu'elles véhiculent.

Les normes, une fois transcrites dans un contexte d'application réel, vont apparaître dans une métrique $X$ et être concrétisées par une statistique d'ordre $X_{(r:n)}$, ou par deux dans le cas de normes bilatérales. Dans le but d'évaluer la précision métrique de la norme, la stipulation d'un modèle distributionnel est incontournable : nous retenons ici le modèle normal standard à toutes fins utiles<fnref n="8" />. Le lecteur trouvera dans la littérature spécialisée ce qu'il faut pour déterminer les différents moments des statistiques d'ordre (David et Johnson 1954, David 1981, Laurencelle 2000)<fnref n="9" />.

Pour cette étude sur la précision, prenons la norme unilatérale exigeante, et quelques valeurs représentatives de $n$, ce pour $\gamma = 0,90$ et $\alpha = 0,05$ ; les rangs $r^*$ appropriés sont déterminés par interpolation. Le tableau 1 fournit ces valeurs et aussi les calculs relatifs à la norme habituelle, qu'on peut désigner par norme centrale, qui correspond grosso modo à la médiane ($\alpha \approx 0,50$) de sa distribution. L'examen du tableau fait voir que non seulement l'incertitude des normes diminue quand $n$ augmente, mais surtout que le coût supplémentaire attaché à la norme sûre, et qui accroît son erreur-type, s'estompe peu à peu avec $n$, comme le montre le ratio $R$. Ce coût supplémentaire, les calculs le montrent bien, provient de la position plus extrême de la norme exigeante (le contraire se produirait pour la norme permissive), la statistique d'ordre plus extrême reposant sur une zone distributionnelle de moindre densité, donc à marge d'incertitude plus large.

## COMPARAISON ET CONVERGENCE DES NORMES ORDINALE ET LINÉAIRE NORMALE

L'examen des données énumérées au tableau 1 laisse voir un rapprochement des rangs interpolés ($r^*$) de la norme sûre par rapport à ceux de la norme centrale, comme si, en fait, la norme sûre convergeait sur la norme centrale à mesure que $n$ croît. C'est cette convergence que nous avons voulu regarder en préparant les données du tableau 2 ;

<footnote>† Le ratio $R$ indique l'excès de l'erreur-type de la norme sûre par rapport à celle de la norme centrale, soit $R = 100 \times [\sigma_e(\text{sûre}) / \sigma_e(\text{centrale}) - 1]$.</footnote>

<footnote n="8">⁸ Parce que ce modèle demeure la référence la plus plausible et la plus représentative, à côté d'autres modèles intéressants (lognormal, exponentiel, famille Bêta, etc.).</footnote>

<footnote n="9">⁹ La variance d'une statistique d'ordre normale (standard) peut être approchée par $P(1-P) / n\phi^2$, où $P = r / (n+1)$, $z$ est la valeur d'abscisse normale à l'intégrale $P$ et $\phi$ est la densité normale à $z$.</footnote>
<table><caption>Tableau 2
Évolution des normes sûres ordinales ($r^*$ et $z_r$) et normales (N) en fonction de n</caption><thead><tr><th rowspan="2">n</th><th colspan="3">α = 0,05</th><th colspan="3">α = 0,01</th></tr><tr><th>r*</th><th>z (r*; n)</th><th>N</th><th>r*</th><th>z (r*; n)</th><th>N</th></tr></thead><tbody><tr><td>100</td><td>2,24</td><td>2,011</td><td>1,927</td><td>1,26</td><td>2,242</td><td>2,056</td></tr><tr><td>250</td><td>7,63</td><td>1,875</td><td>1,815</td><td>5,73</td><td>1,999</td><td>1,891</td></tr><tr><td>500</td><td>17,76</td><td>1,806</td><td>1,763</td><td>14,88</td><td>1,885</td><td>1,814</td></tr><tr><td>1000</td><td>39,44</td><td>1,758</td><td>1,727</td><td>35,17</td><td>1,810</td><td>1,762</td></tr><tr><td>2500</td><td>107,84</td><td>1,716</td><td>1,696</td><td>100,83</td><td>1,747</td><td>1,718</td></tr><tr><td>5000</td><td>225,41</td><td>1,695</td><td>1,681</td><td>215,33</td><td>1,716</td><td>1,693</td></tr><tr><td>∞</td><td></td><td></td><td>1,645</td><td></td><td></td><td>1,645</td></tr></tbody></table>

l'exemple est encore une norme exigeante, cette fois avec $\gamma = 0,95$ et deux valeurs de $\alpha$ ($\alpha = 0,05$ et $\alpha = 0,01$), norme que nous comparons à la norme sûre à modèle paramétrique normal<fnref n="10" /> (Laurencelle 2002) ; ici, la norme centrale, et asymptotique, correspond à l'écart réduit normal $Z = 1,645$ (délimitant une portion inférieure $\gamma = 0,95$ de la population). La figure 1 reprend graphiquement ces données.

La figure 1 montre bien, aussi, que, pour garantir la sûreté définie par le risque d'erreur $\alpha$, la norme ordinale apparaît régulièrement plus exigeante que la norme à base de modèle normal, la différence s'atténuant cependant pour des tailles n croissantes.

Le choix du type de « norme sûre » à privilégier, soit la norme à modèle normal (Laurencelle 2000, 2002), soit la norme ordinale (ou non paramétrique) présentée ici, dépend de la nature des données disponibles et du fait que l'utilisateur puisse certifier ou non la forme de leur distribution dans la population. Bien sûr, la norme sûre de type non paramétrique peut toujours être appliquée, que le modèle de distribution soit inconnu ou encore rebelle à une transformation normalisante. Toutefois, l'avantage d'une norme de type normal, en termes de coût échantillonnal ou de précision, devrait stimuler le psychométricien à trouver une telle transformation, par exemple la conversion d'une variable lognormale à trois paramètres en une variable

normale (voir un cas d'espèce dans Laurencelle 1998, p. 202 et suiv.), afin de bénéficier de la précision et de la puissance du modèle paramétrique normal.

## ÉPILOGUE

La norme sûre, un concept psychométrique basé sur les concepts statistiques de limite de tolérance et d'intervalle de tolérance, est apparue d'abord dans Laurencelle (1998) sous le nom de « norme diagnostique », puis dans Laurencelle (2000) comme « seuil probabiliste » ou « norme d'exclusion », et enfin dans Laurencelle (2002) dans son acceptation actuelle de « norme sûre », avec ses variantes « exigeante » (ou d'exclusion) et « permissive » (ou d'inclusion), en mode unilatéral et bilatéral, basée alors sur le modèle normal. L'extension du concept et la réexpression de toutes ses variantes dans un cadre non paramétrique, que nous avons réalisées ici, pourraient ouvrir un plus grand champ d'applications pratiques à ce type d'évaluation, que ce soit dans un litige juridique concernant la qualification d'un candidat rejeté, dans une enquête épidémiologique auprès des citoyens, dans un contrôle de qualité de produits usinés ou d'autres contextes. L'avenir seul nous informera de la pertinence réelle de cette approche.

## RÉFÉRENCES

* Bain LJ, Weeks DL (1965). Tolerance limits for the generalized Gamma distribution. *Journal of the American Statistical Association*, 60, 1142-1152.

* David HA (1981). *Order statistics*. New York, Wiley.

* David FN, Johnson NL (1954). Statistical treatment of censored data. I. Fundamental formulae. *Biometrika*, 41, 228-240.

* Hanson DL, Koopmans LH (1964). Tolerance limits for the class of distributions with increasing hazard rates.

<footnote n="10">¹⁰ Les normes « normales » (N) présentées au tableau 2 sont tirées de Laurencelle (2002) et d'un volume à paraître du même auteur, *Tables psychométriques*, sauf pour les tailles n = 2500 et 5000, basées plutôt sur une approximation inspirée de Johnson, Kotz et Balakrishnan (1995, éq. 31.26a, p. 520), soit : $N \approx (\delta b + Z\sqrt{b^2 + (1-b^2)(\delta^2 - Z^2)})/(b^2 - Z^2(1-b^2))$, où $Z = \Phi^{-1}(1-\alpha)$, soit le centile (1-α) normal standard, $\delta = \sqrt{n} \times \Phi^{-1}(\gamma)$ et $b = 1 - 1/(4n - 4)$.</footnote>
<figure><img src="image_1.png" /><figcaption>Figure 1. Illustration de la convergence des normes sûres ordinales et normales à $\gamma = 0,95$ vers la valeur asymptotique normale $Z = 1,645$ (telle que $\Phi(1,645) = 0,95$)</figcaption></figure>

Annals of mathematical statistics, 35, 1561-1570.

Johnson NL, Kotz S, Balakrishnan N (1995). *Continuous univariate distributions, Volume 2* (2e édition). New York, Wiley.

Kendall M, Stuart A (1979). *The advanced theory of statistics. Vol. 2: Inference and relationship* (4e édition). New York, Macmillan.

Laurencelle L (1993). La loi uniforme : propriétés et applications. *Lettres Statistiques*, 9, 1-23.

Laurencelle L (1998). Théorie et techniques de la mesure instrumentale. Québec, Presses de l'Université du Québec.

Laurencelle L (2000). L'incertitude des seuils statistiques et les limites de tolérance, avec des applications en psychométrie. *Lettres Statistiques*, 11, 1-29.

Laurencelle L (2002). L'incertitude des seuils statistiques et l'établissement d'une norme de qualification sûre. *Mesure et évaluation en éducation*, 25, 19-33.

Rohatgi VK (1976). *An introduction to probability theory and mathematical statistics*. New York, Wiley.

Scheffé H, Tukey JW (1944). A formula for sample sizes for population tolerance limits. *Annals of mathematical statistics*, 15, 217.

Wald A, Wolfowitz J (1946). Tolerance limits for a normal distribution. *Annals of mathematical statistics*, 17, 208-215.

Wilks SS (1941). Determination of sample sizes for setting tolerance limits. *Annals of mathematical statistics*, 12, 91-96.

Manuscript received May 24th, 2007

Manuscript accepted July 31st, 2007

Appendices follow.
ANNEXE.

<table><caption>Tableau A1. Norme ordinale unilatérale exigeante : taille n minimale pour que la norme X(r) ou X(s) n'accepte un candidat non qualifié à γ que selon un taux d'erreur α</caption><thead><tr><th rowspan="2">r ou s</th><th rowspan="2">Rang</th><th colspan="3">Seuil α = 0,05</th><th colspan="3">Seuil α = 0,01</th></tr><tr><th>γ = 0,90</th><th>γ = 0,95</th><th>γ = 0,99</th><th>γ = 0,90</th><th>γ = 0,95</th><th>γ = 0,99</th></tr></thead><tbody><tr><td>1</td><td>n - 0</td><td>29</td><td>59</td><td>299</td><td>44</td><td>90</td><td>459</td></tr><tr><td>2</td><td>n - 1</td><td>46</td><td>93</td><td>473</td><td>64</td><td>130</td><td>662</td></tr><tr><td>3</td><td>n - 2</td><td>61</td><td>124</td><td>628</td><td>81</td><td>165</td><td>838</td></tr><tr><td>4</td><td>n - 3</td><td>76</td><td>153</td><td>773</td><td>97</td><td>198</td><td>1001</td></tr><tr><td>5</td><td>n - 4</td><td>89</td><td>181</td><td>913</td><td>113</td><td>229</td><td>1157</td></tr><tr><td>6</td><td>n - 5</td><td>103</td><td>208</td><td>1049</td><td>127</td><td>259</td><td>1307</td></tr><tr><td>7</td><td>n - 6</td><td>116</td><td>234</td><td>1182</td><td>142</td><td>288</td><td>1453</td></tr><tr><td>8</td><td>n - 7</td><td>129</td><td>260</td><td>1312</td><td>156</td><td>316</td><td>1596</td></tr><tr><td>9</td><td>n - 8</td><td>142</td><td>286</td><td>1441</td><td>170</td><td>344</td><td>1736</td></tr><tr><td>10</td><td>n - 9</td><td>154</td><td>311</td><td>1568</td><td>183</td><td>371</td><td>1874</td></tr><tr><td>11</td><td>n - 10</td><td>167</td><td>336</td><td>1693</td><td>197</td><td>398</td><td>2010</td></tr><tr><td>12</td><td>n - 11</td><td>179</td><td>361</td><td>1818</td><td>210</td><td>425</td><td>2144</td></tr><tr><td>13</td><td>n - 12</td><td>191</td><td>386</td><td>1941</td><td>223</td><td>451</td><td>2277</td></tr><tr><td>14</td><td>n - 13</td><td>203</td><td>410</td><td>2064</td><td>236</td><td>478</td><td>2409</td></tr><tr><td>15</td><td>n - 14</td><td>215</td><td>434</td><td>2185</td><td>249</td><td>504</td><td>2539</td></tr><tr><td>16</td><td>n - 15</td><td>227</td><td>458</td><td>2306</td><td>262</td><td>529</td><td>2669</td></tr><tr><td>17</td><td>n - 16</td><td>239</td><td>482</td><td>2426</td><td>275</td><td>555</td><td>2798</td></tr><tr><td>18</td><td>n - 17</td><td>251</td><td>506</td><td>2546</td><td>287</td><td>580</td><td>2925</td></tr><tr><td>19</td><td>n - 18</td><td>263</td><td>530</td><td>2665</td><td>300</td><td>606</td><td>3052</td></tr><tr><td>20</td><td>n - 19</td><td>275</td><td>554</td><td>2784</td><td>312</td><td>631</td><td>3179</td></tr><tr><td>21</td><td>n - 20</td><td>286</td><td>577</td><td>2902</td><td>325</td><td>656</td><td>3304</td></tr><tr><td>22</td><td>n - 21</td><td>298</td><td>601</td><td>3020</td><td>337</td><td>681</td><td>3429</td></tr><tr><td>23</td><td>n - 22</td><td>310</td><td>624</td><td>3137</td><td>350</td><td>706</td><td>3554</td></tr><tr><td>24</td><td>n - 23</td><td>321</td><td>647</td><td>3254</td><td>362</td><td>730</td><td>3678</td></tr><tr><td>25</td><td>n - 24</td><td>333</td><td>671</td><td>3371</td><td>374</td><td>755</td><td>3801</td></tr></tbody></table>
<table><caption>Tableau A2. Norme ordinale unilatérale permissive : taille n maximale pour que la norme X(r) ou X(s) ne refuse un candidat qualifié à γ que selon un taux d'erreur α</caption><thead><tr><th rowspan="2">Rang</th><th rowspan="2">ou</th><th colspan="3">Seuil α = 0,05</th><th colspan="3">Seuil α = 0,01</th></tr><tr><th>γ = 0,90</th><th>γ = 0,95</th><th>γ = 0,99</th><th>γ = 0,90</th><th>γ = 0,95</th><th>γ = 0,99</th></tr></thead><tbody><tr><td>1</td><td>n - 0</td><td>-</td><td>-</td><td>5</td><td>-</td><td>-</td><td>-</td></tr><tr><td>2</td><td>n - 1</td><td>3</td><td>7</td><td>35</td><td>-</td><td>3</td><td>15</td></tr><tr><td>3</td><td>n - 2</td><td>8</td><td>16</td><td>82</td><td>5</td><td>9</td><td>44</td></tr><tr><td>4</td><td>n - 3</td><td>14</td><td>28</td><td>137</td><td>9</td><td>17</td><td>83</td></tr><tr><td>5</td><td>n - 4</td><td>20</td><td>40</td><td>198</td><td>14</td><td>26</td><td>129</td></tr><tr><td>6</td><td>n - 5</td><td>27</td><td>53</td><td>262</td><td>19</td><td>37</td><td>180</td></tr><tr><td>7</td><td>n - 6</td><td>34</td><td>67</td><td>329</td><td>25</td><td>48</td><td>234</td></tr><tr><td>8</td><td>n - 7</td><td>41</td><td>81</td><td>399</td><td>31</td><td>60</td><td>292</td></tr><tr><td>9</td><td>n - 8</td><td>48</td><td>95</td><td>471</td><td>37</td><td>72</td><td>353</td></tr><tr><td>10</td><td>n - 9</td><td>56</td><td>110</td><td>544</td><td>43</td><td>85</td><td>415</td></tr><tr><td>11</td><td>n - 10</td><td>63</td><td>125</td><td>618</td><td>50</td><td>98</td><td>479</td></tr><tr><td>12</td><td>n - 11</td><td>71</td><td>140</td><td>694</td><td>57</td><td>111</td><td>545</td></tr><tr><td>13</td><td>n - 12</td><td>79</td><td>155</td><td>771</td><td>64</td><td>124</td><td>612</td></tr><tr><td>14</td><td>n - 13</td><td>86</td><td>171</td><td>848</td><td>71</td><td>138</td><td>681</td></tr><tr><td>15</td><td>n - 14</td><td>94</td><td>187</td><td>927</td><td>78</td><td>152</td><td>750</td></tr><tr><td>16</td><td>n - 15</td><td>102</td><td>203</td><td>1006</td><td>85</td><td>167</td><td>821</td></tr><tr><td>17</td><td>n - 16</td><td>110</td><td>219</td><td>1085</td><td>92</td><td>181</td><td>893</td></tr><tr><td>18</td><td>n - 17</td><td>119</td><td>235</td><td>1166</td><td>99</td><td>196</td><td>965</td></tr><tr><td>19</td><td>n - 18</td><td>127</td><td>251</td><td>1246</td><td>107</td><td>210</td><td>1038</td></tr><tr><td>20</td><td>n - 19</td><td>135</td><td>268</td><td>1328</td><td>114</td><td>225</td><td>1112</td></tr><tr><td>21</td><td>n - 20</td><td>143</td><td>284</td><td>1410</td><td>122</td><td>240</td><td>1186</td></tr><tr><td>22</td><td>n - 21</td><td>152</td><td>300</td><td>1492</td><td>130</td><td>255</td><td>1261</td></tr><tr><td>23</td><td>n - 22</td><td>160</td><td>317</td><td>1575</td><td>137</td><td>270</td><td>1337</td></tr><tr><td>24</td><td>n - 23</td><td>168</td><td>334</td><td>1658</td><td>145</td><td>286</td><td>1413</td></tr><tr><td>25</td><td>n - 24</td><td>177</td><td>351</td><td>1741</td><td>153</td><td>301</td><td>1489</td></tr></tbody></table>
<table><caption>Tableau A3. Norme ordinale bilatérale exigeante : taille n minimale pour que la double norme X(r) et X(s) n'accepte un candidat non qualifié à γ que selon un taux d'erreur α</caption><thead><tr><th rowspan="2">r et s</th><th rowspan="2">Rangs</th><th colspan="3">Seuil α = 0,05</th><th colspan="3">Seuil α = 0,01</th></tr><tr><th>γ = 0,90</th><th>γ = 0,95</th><th>γ = 0,99</th><th>γ = 0,90</th><th>γ = 0,95</th><th>γ = 0,99</th></tr></thead><tbody><tr><td>1</td><td>n - 0</td><td>59</td><td>119</td><td>598</td><td>90</td><td>182</td><td>919</td></tr><tr><td>2</td><td>n - 1</td><td>93</td><td>188</td><td>947</td><td>130</td><td>263</td><td>1325</td></tr><tr><td>3</td><td>n - 2</td><td>124</td><td>250</td><td>1258</td><td>165</td><td>334</td><td>1678</td></tr><tr><td>4</td><td>n - 3</td><td>153</td><td>308</td><td>1549</td><td>198</td><td>399</td><td>2006</td></tr><tr><td>5</td><td>n - 4</td><td>181</td><td>364</td><td>1829</td><td>229</td><td>461</td><td>2318</td></tr><tr><td>6</td><td>n - 5</td><td>208</td><td>418</td><td>2100</td><td>259</td><td>521</td><td>2618</td></tr><tr><td>7</td><td>n - 6</td><td>234</td><td>471</td><td>2366</td><td>288</td><td>579</td><td>2910</td></tr><tr><td>8</td><td>n - 7</td><td>260</td><td>523</td><td>2627</td><td>316</td><td>636</td><td>3196</td></tr><tr><td>9</td><td>n - 8</td><td>286</td><td>575</td><td>2884</td><td>344</td><td>692</td><td>3476</td></tr><tr><td>10</td><td>n - 9</td><td>311</td><td>625</td><td>3138</td><td>371</td><td>747</td><td>3752</td></tr><tr><td>11</td><td>n - 10</td><td>336</td><td>675</td><td>3389</td><td>398</td><td>801</td><td>4024</td></tr><tr><td>12</td><td>n - 11</td><td>361</td><td>725</td><td>3638</td><td>425</td><td>855</td><td>4293</td></tr><tr><td>13</td><td>n - 12</td><td>386</td><td>774</td><td>3885</td><td>451</td><td>908</td><td>4559</td></tr><tr><td>14</td><td>n - 13</td><td>410</td><td>823</td><td>4130</td><td>478</td><td>960</td><td>4823</td></tr><tr><td>15</td><td>n - 14</td><td>434</td><td>872</td><td>4374</td><td>504</td><td>1013</td><td>5084</td></tr><tr><td>16</td><td>n - 15</td><td>458</td><td>920</td><td>4616</td><td>529</td><td>1064</td><td>5343</td></tr><tr><td>17</td><td>n - 16</td><td>482</td><td>968</td><td>4857</td><td>555</td><td>1116</td><td>5601</td></tr><tr><td>18</td><td>n - 17</td><td>506</td><td>1016</td><td>5096</td><td>580</td><td>1167</td><td>5856</td></tr><tr><td>19</td><td>n - 18</td><td>530</td><td>1064</td><td>5335</td><td>606</td><td>1217</td><td>6110</td></tr><tr><td>20</td><td>n - 19</td><td>554</td><td>1111</td><td>5572</td><td>631</td><td>1268</td><td>6363</td></tr><tr><td>21</td><td>n - 20</td><td>577</td><td>1158</td><td>5808</td><td>656</td><td>1318</td><td>6615</td></tr><tr><td>22</td><td>n - 21</td><td>601</td><td>1205</td><td>6044</td><td>681</td><td>1368</td><td>6865</td></tr><tr><td>23</td><td>n - 22</td><td>624</td><td>1252</td><td>6279</td><td>706</td><td>1418</td><td>7114</td></tr><tr><td>24</td><td>n - 23</td><td>647</td><td>1299</td><td>6513</td><td>730</td><td>1467</td><td>7362</td></tr><tr><td>25</td><td>n - 24</td><td>671</td><td>1346</td><td>6746</td><td>755</td><td>1517</td><td>7609</td></tr></tbody></table>
<table><caption>Tableau A4. Norme ordinale bilatérale permissive : taille n maximale pour que la double norme X(r) et X(s) ne refuse un candidat qualifié à γ que selon un taux d'erreur α</caption><thead><tr><th rowspan="2">r et s</th><th rowspan="2">Rangs</th><th colspan="3">Seuil 0,05</th><th colspan="3">Seuil 0,01</th></tr><tr><th>γ = 0,90</th><th>γ = 0,95</th><th>γ = 0,99</th><th>γ = 0,90</th><th>γ = 0,95</th><th>γ = 0,99</th></tr></thead><tbody><tr><td>1</td><td>n - 0</td><td>-</td><td>2</td><td>10</td><td>-</td><td>-</td><td>2</td></tr><tr><td>2</td><td>n - 1</td><td>7</td><td>14</td><td>71</td><td>-</td><td>6</td><td>30</td></tr><tr><td>3</td><td>n - 2</td><td>16</td><td>33</td><td>164</td><td>9</td><td>18</td><td>87</td></tr><tr><td>4</td><td>n - 3</td><td>28</td><td>55</td><td>274</td><td>17</td><td>34</td><td>165</td></tr><tr><td>5</td><td>n - 4</td><td>40</td><td>79</td><td>395</td><td>26</td><td>52</td><td>257</td></tr><tr><td>6</td><td>n - 5</td><td>53</td><td>105</td><td>523</td><td>37</td><td>73</td><td>358</td></tr><tr><td>7</td><td>n - 6</td><td>67</td><td>132</td><td>658</td><td>48</td><td>95</td><td>467</td></tr><tr><td>8</td><td>n - 7</td><td>81</td><td>160</td><td>797</td><td>60</td><td>118</td><td>583</td></tr><tr><td>9</td><td>n - 8</td><td>95</td><td>189</td><td>940</td><td>72</td><td>142</td><td>703</td></tr><tr><td>10</td><td>n - 9</td><td>110</td><td>218</td><td>1086</td><td>85</td><td>167</td><td>828</td></tr><tr><td>11</td><td>n - 10</td><td>125</td><td>248</td><td>1235</td><td>98</td><td>193</td><td>956</td></tr><tr><td>12</td><td>n - 11</td><td>140</td><td>279</td><td>1386</td><td>111</td><td>219</td><td>1088</td></tr><tr><td>13</td><td>n - 12</td><td>155</td><td>309</td><td>1540</td><td>124</td><td>246</td><td>1222</td></tr><tr><td>14</td><td>n - 13</td><td>171</td><td>340</td><td>1695</td><td>138</td><td>274</td><td>1359</td></tr><tr><td>15</td><td>n - 14</td><td>187</td><td>372</td><td>1851</td><td>152</td><td>302</td><td>1498</td></tr><tr><td>16</td><td>n - 15</td><td>203</td><td>403</td><td>2009</td><td>167</td><td>330</td><td>1639</td></tr><tr><td>17</td><td>n - 16</td><td>219</td><td>435</td><td>2169</td><td>181</td><td>359</td><td>1782</td></tr><tr><td>18</td><td>n - 17</td><td>235</td><td>468</td><td>2329</td><td>196</td><td>388</td><td>1926</td></tr><tr><td>19</td><td>n - 18</td><td>251</td><td>500</td><td>2491</td><td>210</td><td>417</td><td>2072</td></tr><tr><td>20</td><td>n - 19</td><td>268</td><td>533</td><td>2653</td><td>225</td><td>447</td><td>2220</td></tr><tr><td>21</td><td>n - 20</td><td>284</td><td>565</td><td>2817</td><td>240</td><td>477</td><td>2369</td></tr><tr><td>22</td><td>n - 21</td><td>300</td><td>598</td><td>2981</td><td>255</td><td>507</td><td>2519</td></tr><tr><td>23</td><td>n - 22</td><td>317</td><td>631</td><td>3147</td><td>270</td><td>537</td><td>2670</td></tr><tr><td>24</td><td>n - 23</td><td>334</td><td>665</td><td>3313</td><td>286</td><td>568</td><td>2822</td></tr><tr><td>25</td><td>n - 24</td><td>351</td><td>698</td><td>3479</td><td>301</td><td>598</td><td>2975</td></tr></tbody></table>