<figure><img src="image_1.png" /></figure>

HAL
open science

# Analyse canonique du point de vue de la classification automatique

Edwin Diday

► To cite this version:

Edwin Diday. Analyse canonique du point de vue de la classification automatique. [Rapport de recherche] IRIA-RR-293, IRIA. 1978, pp.36. hal-04716525

HAL Id: hal-04716525

https://inria.hal.science/hal-04716525v1

Submitted on 1 Oct 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Dw- 0 3994 RR 293

RIA
laboria

laboratoire de recherche
en informatique
et automatique

ANALYSE CANONIQUE
DU POINT DE VUE DE LA
CLASSIFICATION AUTOMATIQUE

Edwin DIDAY

Rapport de Recherche N° 293

Avril 1978

Institut de Recherche
d'Informatique
et d'Automatique

Domaine de Voluceau
Rocquencourt
B. P. 105 78150 - Le Chesnay
France
Tél.: 954 90 20
ANALYSE CANONIQUE DU POINT DE VUE DE
LA CLASSIFICATION AUTOMATIQUE

Edwin Diday

Résumé :

Quand le tableau des données est de grande taille, il est légitime de chercher des combinaisons linéaires dépendant des tendances locales qui peuvent apparaître dans la population. Il s'agit de détecter ces tendances et simultanément les composantes canoniques qui leur sont le mieux associées. Suivant que les donées sont centrées ou non on propose plusieurs algorithmes qui tendent à minimiser le critère. Dans le cas où toutes les variables sont qualitatives, le problème se pose en terme d'analyse factorielle des correspondances et revient à chercher les classes d'objets qui induisent les plus grands $\chi^2$ de contingence entre les variables. Si l'un des deux paquets de variables est formé de variables d'incidence on aboutit à des méthodes intéressantes d'analyse discriminante locale.

Abstract :

When data arrays have a large size, it is legitimate to look for linear combinations depending on
the local tendencies which may appear in the population. Both these tendencies and the canonical
components which are associated to them in the «best» possible may must be simultaneously
detected. We present here several algorithms in order to minimize the criterion, in both the cases
when the data are centered or not. In the case where all the variables are qualitative, the problem
is posed in terms of the factor analysis of correspondances and it amounts to look for the
clusters of objects, that induce the largest $\chi^2$ on the contingency between the variables. If one
of the two variables blocks is composed of incidence variables, we arrive to interesting methods
of local discriminant analysis.
ANALYSE CANONIQUE DU POINT DE VUE
DE LA CLASSIFICATION AUTOMATIQUE

Plan

1) Introduction

2) Analyse canonique typologique

2.1. Les données

2.2. Le critère à optimiser

2.3. Cas centré et non centré

2.4. Comparaison des deux cas

2.5. Recherche de plusieurs facteurs canoniques dans chaque classe

2.6. Quelques aspects numériques

3) Analyse factorielle des correspondances locales

3.1. Le problème

3.2. Expression du critère à minimiser

3.3. Lien entre le critère à minimiser et le $\chi^2$ de contingence

3.4. L'algorithme

3.5. Maximisation du critère

3.6. Autre algorithme possible

4) Analyse discriminante locale

4.1. Le problème

4.2. Expression du critère à minimiser

4.3. L'algorithme

4.4. Choix de la partition de départ

4.5. Aide à la décision
5) Analyse canonique typologique dans le cas de plusieurs paquets de paramètres

5.1. Le problème

5.2. Expression du critère

5.3. L'algorithme

6) Visualisation

7) Les programmes

8) Exemples d'applications
# 1) Introduction

L'un des objectifs majeurs des méthodes d'analyse des données est de faire apparaître des liens entre les variables caractérisant la population des objets. Ainsi, en analyse canonique ce sont les corrélations entre les variables de deux paquets définis à l'avance qu'il faut faire ressortir ; en analyse factorielle des correspondances (voir [1] et [3]), ce sont les contingences les plus caractéristiques entre variables que l'on recherche. En analyse discriminante (voir [2]), il s'agit de trouver une combinaison linéaire des variables ayant un bon pouvoir séparateur des classes données à priori (caractérisant la variable à expliquer).

Dans toutes ces méthodes, on ne se préoccupe pas du fait que les liens qui sont exhibés puissent différer suivant le type de sous population considérée. Ainsi dans une enquête sur les communes d'un pays, il est bien évident que le comportement des variables sera différent suivant que l'on considère les communes entourant les grosses agglomérations urbaines, ou les communes rurales situées loin des villes.

Le problème que nous traitons dans ce travail est le suivant : Comment exhiber les classes d'objets qui ont un comportement homogène vis-à-vis de liens caractéristiques des variables ? Rappelons le cas classique de deux variables non corrélés mais dépendantes: on considère l'ensemble des objets caractérisés par deux variables x et y et l'on suppose que l'ensemble des valeurs prises (x,y) pour chaque objet varie suivant la courbe indiquée, figure 1. On voit que sur la population entière les deux variables ne sont pas du tout corrélées. Par contre, en faisant un découpage de l'ensemble des objets en deux classes telles

<figure><img src="image_3.png" /><figcaption>Figure 1</figcaption></figure>

que dans la première, la variable x prenne des valeurs positives et dans la seconde des valeurs négatives, on obtient une bonne corrélation des deux variables
dans chacune des classes.

Dans le cas de l'analyse canonique le problème peut se poser sous la forme suivante : étant donnés deux paquets de variables X et Y caractérisant un ensemble d'objets E, il s'agit de trouver une partition de E telle que pour chacune des classes qui la constitue, il existe une combinaison linéaire $\xi$ des variables de X et une combinaison linéaire $\eta$ des variables de Y qui soient de corrélation (au carré) maximum.

Dans le cas où toutes les variables sont qualitatives, le problème se pose en terme d'analyse factorielle des correspondances et revient à chercher des classes d'objets qui induisent les plus grands $\chi^2$ de contingence entre les variables.

Enfin, du point de vue de l'analyse discriminante, il s'agit de séparer la population en plusieurs parties $P_i$ et d'associer à chacune de ces parties une combinaison linéaire $L_i$ des variables qui ait un grand pouvoir séparateur des classes données à priori $C_i$ (voir figure 2).

<figure><img src="image_4.png" /><figcaption>Figure 2</figcaption></figure>

Après avoir rappelé quelques propriétés classiques de l'analyse canonique, on énonce le problème de l'analyse canonique du point de vue de la classification automatique, d'abord dans le cas centré (autrement dit, les objets sont centrés dans les classes auxquels ils sont affectés) puis dans le cas non centré. Ayant exprimé les critères à optimiser, on donne dans chaque cas des algorithmes permettant d'obtenir les optimum locaux et on étudie leurs propriétés de convergence.
Les cas particuliers que sont l'analyse factorielle des correspondances et l'analyse discriminante factorielle sont ensuite étudiés, on aborde enfin l'aspect analyse canonique généralisée.

L'intérêt de toutes ces techniques est au moins de trois ordres :

1. Pour les grands tableaux de données (plus de 50000 individus par exemple dans les problèmes de vente par correspondance) il paraît difficile d'accepter que les liens entre les variables ou que les règles de décision soient indépendantes des sous-populations.

2. Toutes ces méthodes conduisent à des représentations visuelles locales plus fidèles car les axes locaux obtenus ont une plus grande inertie que les axes correspondants pour la population entière.

3. Avec l'importance croissante de la micro-informatique, la parcellisation des tableaux de données en petit blocs de même comportement vis-à-vis des variables est intéressant car elle facilite notamment la représentation sur écran et le conversationnel pour la description et l'aide à la décision.

## 2) Analyse canonique typologique

### 2.1. Les données :

L'ensemble des individus est $E = \{z_1, ..., z_n\}$ ; à chaque individu $z_i$ est associé un poids $m_i$. Chaque individu est caractérisé par deux groupes de paramètres $\{x^1, x^2, ..., x^p\}$ et $\{y^1, ..., y^q\}$. La matrice dont les lignes sont les paramètres $x^j$ pour $j = 1, ..., p$ et les colonnes sont les individus $x_1, ..., x_n$ est notée $X$ ; de même $Y$ est la matrice qui contient en ligne les paramètres $\{y^1, ..., y^q\}$ et en colonne les individus $\{z_1, ..., z_n\}$.

<figure><img src="image_5.png" /></figure>
On note $x_{ij}^{j}$ (resp. $y_{ij}$) la valeur prise par l'individu $x_i$ pour le paramètre $x^j$
 resp. $y^j$). Autrement dit, $X = \{x_{ij}\}$ et $Y = \{y_{ij}\}$.

On suppose dans toute la suite que $X'$ et $Y'$ sont injectives.

2.2. Le critère à optimiser :

Nous allons d'abord rappeler, dans le cas d'une seule classe d'élé-
ments de E, les quelques propriétés classiques qui seront utilisées en analyse
canonique typologique.

Soit $A_1$ (resp. $A_2$) les projecteurs linéaires sur les espaces vectoriels $W_1$
 resp. $W_2$) engendrés par l'ensemble des combinaisons linéaires des paramètres
$\{x_1^1, \dots, x_p^p\}$ (resp. $\{y_1^1, \dots, y_q^q\}$). On note $M = \begin{pmatrix} m_1 & & & \\ & \ddots & m_l & \\ & & \ddots & \\ & & & m_n \end{pmatrix}$ la matrice dia-
gonale des poids des individus.

Proposition 1 :

Les combinaisons linéaires $\xi = X'a, \eta = Y'b$ telles que :

<$\xi, \eta$> M soit maximum sont données par $\xi$ (resp. $\eta$) le vecteur propre $||\xi||_M ||\eta||_M$
de plus grande valeur propre $\lambda$ de $A_1 \circ A_2$ (resp. $A_2 \circ A_1$).

$$
\text{De plus } \frac{\|\hat{\xi} - \xi\|_M^2}{\|\xi\|_M^2} = 1 - \frac{\langle \xi, \eta \rangle_M^2}{\|\xi\|_M^2 \|\eta\|_M^2} = 1 - \frac{\|\hat{\xi}\|_M^2}{\|\xi\|_M^2} = 1 - \lambda \\
\text{où } \hat{\xi} = A_2 \xi = \sqrt{\lambda} \eta .
$$

On trouvera en [2] la démonstration de ces propriétés.

D'après cette proposition, il est équivalent de maximiser la corrélation entre
$\xi$ et $\eta$ ou de minimiser $\frac{||\hat{\xi} - \xi||_M}{||\xi||_M}$. On peut exprimer $\frac{||\xi - \hat{\xi}||_M}{||\xi||_M}$ en fonction de

a en posant: $V_{11} = X M X'$, $V_{22} = Y M Y'$, $V_{21} = Y M X'$
$$ (1) \quad \frac{\left|\left|\xi - \hat{\xi}\right|\right|_{\mathcal{M}}}{\left|\left|\xi\right|\right|_{\mathcal{M}}} = \frac{\left|\left|X'a - \sqrt{\lambda}Y'b\right|\right|_{\mathcal{M}}}{\left|\left|a\right|\right|_{V_{11}}} = \frac{\left|\left|X'a - Y'V_{22}^{-1}V_{21}a\right|\right|_{\mathcal{M}}}{\left|\left|a\right|\right|_{V_{11}}} $$

car a et b qui optimisent (1) sont reliés par : $b = \frac{1}{\sqrt{\lambda}} V_{22}^{-1} V_{21} a$.

C'est cette dernière quantité qui sera utilisée pour définir le critère de l'analyse canonique typologique.

Sachant que $A_1 = X'o(Xo Mo X')^{-1}o Xo M$ , $A_2 = Y'o(Yo Mo Y')^{-1}o Yo M$ et que $X'$ est injective on en déduit que les valeurs propres de $A_1$ o $A_2$ sont les mêmes que celles de $V_{11}^{-1}, V_{12}^{-1}, V_{22}^{-1}, V_{21}$ .

D'où le corollaire de la proposition 1 :

**Corollaire :**

$$ \text{Le vecteur a qui minimise } R(a) = \frac{\left|\left|X'a - Y'V_{22}^{-1}V_{21}a\right|\right|_{\mathcal{M}}}{\left|\left|a\right|\right|_{V_{11}}} $$

est le vecteur propre de plus grande valeur propre de $V_{11}^{-1}V_{12}V_{22}^{-1}V_{21}$ .

Dans le cas de l'analyse canonique typologique, les notations nécessitent l'introduction d'un indice de classes i ; on note $P = (P_1, ..., P_k)$ une partition de la population E en k classes ; $n_i$ est le nombre d'individus de la classe $P_i$ ; $X_i$ et $Y_i$ sont les matrices déduites de X et Y en se restreignant aux individus de la classe x ; $V_{i11} = X_i M_i X_i'$, $V_{i22} = Y_i M_i Y_i'$, $V_{i21} = Y_i M_i X_i'$.

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>
$$
\begin{pmatrix} X \\ Y \end{pmatrix} = \left( \begin{array}{c|c|c} 1 \dots n_1 & 1 \dots n_i & 1 \dots n_k \\ \hline \vdots & \vdots & \vdots \\ p & p+i & p+q \\ \hline & Y_i & \end{array} \right) .
$$

Avec ces notations le critère à optimiser en analyse canonique typologique est
une application $\mathbb{R}^{pk} \times \mathbb{P}^k \to \mathbb{R}^+$ :

$$
W(a, P) = \sum_{i=1}^{k} \frac{\left| \| X'_{i} a_{i} - Y'_{i} V_{i22}^{-1} V_{i21} a_{i} \|_{M_{i}}^{2} \right|}{\left| \| a_{i} \|_{V_{i11}}^{2} \right|}
$$

où $\mathbb{P}^k$ est l'ensemble des partitions à k classes.

Il s'agit de trouver $a = (a_1, \dots, a_k) \in \mathbb{R}^{pk}$ et $P \in \mathbb{P}_k$ qui minimisent $W$.
On se restreint d'abord au cas où $M_i$ est la matrice diagonale des poids des
individus de la classe $P_i$.

Nous verrons en 2.5. un critère plus général permettant d'utiliser notamment
plusieurs facteurs au lieu de ne tenir compte que de celui de plus grande va-
leur propre, on considèrera aussi le cas où $M_i = \frac{1}{n_i}$ $I_i$ dépend de la taille des
classes.

2.3. Cas centré et non centré :

Les cas centré et non centré se distinguent par le fait que les variables $x^i$ et $y^j$ sont ou ne sont pas centrées. Le cas centré correspond à l'analyse canonique classique, le cas non centré s'applique à l'analyse factorielle des correspondances ; enfin le cas hybride où les variables $x^i$ sont centrées alors que les $y^j$ ne le sont pas s'applique à l'analyse discriminante.

2.3.1. Cas non centré :

Le critère à optimiser sera utilisé sous la forme suivante :

$$
W(a, P) = \sum_{i=1}^{k} \frac{\left| \| X'_{i} a_{i} - Y'_{i} V_{i22}^{-1} b_{i} \|_{M_{i}}^{2} \right|}{\left| \| a_{i} \|_{V_{i11}}^{2} \right|}
$$
L'idée de base de l'algorithme est simple, il s'agit de faire décroitre $W(a, P)$ en améliorant de manière itérative le choix de $a$ et de $P$ à partir d'un vecteur $a^0 = (a_1^0, ..., a_k^{(0)})$ ou d'une partition $P^{(0)}$ estimés ou tirés au hasard.

Représentation d'une classe : on note $a_i \in \mathbb{R}^p$ le noyau de la classe i.
Etant donnée une partition $P$ ; on note $g$ l'application $\Pi_k \rightarrow \mathbb{R}^{pk} : g(P) = a$
$a = (a_1, ..., a_k)$ où $a_i$ est donné par le vecteur propre de plus grande valeur propre de $v_{i11}^{-1}, v_{i12}^{-1}, v_{i22}^{-1}, v_{i21}$.

Ayant $a$, une partition $P$ se construit à l'aide d'une mesure de ressemblance
$D$ d'un individu $Z = \begin{pmatrix} x \\ y \end{pmatrix} \in \mathbb{R}^{p+q}$ à un noyau $a_i$ de la classe $P_i$ de la façon

suivante :

$$D(z, a_i, P_i) = \left[ \frac{(x'a_i - \sqrt{\lambda_i} y' b_i)^2 - \delta_i(z) \langle a_i, x x' a_i \rangle}{\frac{1}{p(z)} ||a_i||_{\hat{V}_{i11}}^2 + \langle a_i, x x' a_i \rangle} \right] \text{ où } p(z) \text{ est le}$$

poids de l'individu $z$,

$$\text{avec } \delta_i(z) = \frac{||X_i' a_i - \sqrt{\lambda_i} Y_i' b_i||_{M_i}^2}{||a_i||_{\hat{V}_{i11}}^2} \quad \text{où } \begin{pmatrix} X_i \\ Y_i \end{pmatrix} \text{ est la}$$

matrice des coordonnées des individus de la classe i _avec z omis_ s'il ap-
partient à la classe i. De même $\hat{V}_{i11} = \{V_{i11}\}$ avec $x$ omis s'il appartient à
la classe i. Remarquons que $D$ peut prendre des valeurs négatives (plus
$D(z, a_i, P_i)$ se rapproche de $-\infty$ plus $z$ est proche de la classe i).

Soit $\Pi$ l'ensemble des parties de $E$. On appelle $F$ l'application :

$\Pi_k \times \Pi \times \mathbb{R}^{pk} \rightarrow \Pi_k$ qui associe à une partition, une partie de $E$ et un k-uple de noyaux $a = (a_1, ..., a_k)$ une nouvelle partition de k classes maximum. $F$ se construit comme dans la MNDS (cf. [4]). Elle permet de travailler sur des blocs d'individus $H_1, ..., H_r$ où $H_i \in \Pi$ et $h = (H_1, ..., H_r)$ forme une partition de $E$. On peut donc éviter d'avoir en mémoire la population entière.

Donnons la définition précise de $F$ :
$F(Q, H, a) = P$ où P est défini à l'aide d'une suite $\{\pi_n\}$ de $\mathbb{P}_k$ comme suit :
On note $\pi_\ell = (\pi_{\ell 1}, \dots, \pi_{\ell k})$ et $H = \{z_1, \dots, z_n\}$ où $z_i \in E$, r est donc le nombre d'éléments de H.

Soit $\pi_o = Q$, la suite $\pi_n$ se définit par récurrence à partir de $\pi_o$: étant donné $\pi_{\ell-1}$, on construit $\pi_\ell$ comme suit (on suppose $z_\ell \in \mathbb{M}_{\ell-1,j}$) :

a) $\mathfrak{H} i : D(z_\ell, a_i, \mathbb{M}_{\ell-1,1}) \leq D(z_\ell, a_j, \pi_{\ell-1,j})$ avec $j < i$ en cas d'égalité alors $\pi_\ell = \pi_{\ell-1}$.

b) $\exists i : D(z_\ell, a_i, \pi_{\ell-1,i}) = \min_r D(z_\ell, a_r, \pi_{\ell-1,r}) \leq D(z_\ell, a_j, \pi_{\ell-1,j})$

avec $j > i$ en cas d'égalité ; alors $\pi_{\ell,i} = \pi_{\ell-1,i} \cup \{z_\ell\}$, $\pi_{\ell,j} = \pi_{\ell-1,j} - \{z_\ell\}$ et $\pi_{\ell p} = \pi_{\ell-1,p} \quad \forall p \text{ tel que } p \neq i, p \neq j \text{ et } p \in \{1, 2, \dots, k\}$.

Par récurrence, on calcule $\pi_1, \pi_2, \dots, \pi_r$ et on pose $P = \pi_r$.

On note $H^{(o)}, H^{(1)}, \dots, H^{(N)}$ une partition de E et on définit la suite $H^{(m)}$
où m est un entier pouvant être plus grand que N, en posant $H^{(m)} = H^{(r)}$ si
r est le reste de la division de m par N+1.

L'algorithme est basé sur la suite $v_m$ suivante :

$v_o = (a^{(o)}, p^{(o)})$ et $v_{m+1} = (a^{(m+1)}, p^{(m+1)})$ se déduit de $v_m = (a^{(m)}, p^{(m)})$ de →
la manière suivante : $a^{(m+1)} = g(p^{(m)})$ et $p^{(m+1)} = F(p^{(m)}, H^{(m)}, a^{(m+1)})$.

Soit $u_m = W(v_m)$.

Si l'on ajoute un individu z à la classe $P_i$, les matrices $X'_i, Y'_i, V_{i\ell m}^+, M^+$ sont modifiées, on les note $X_i^+, Y_i^+, V_{i\ell m}^+, M^+$. Soit

$$
R_i^+(a_i) = \frac{\| X_i^+ a_i - \sqrt{\lambda_i} Y_i^+ b_i \|_{M_i^+}^2}{\| a_i \|_{V_{i11}^+}^2}
$$

$$
\text{et } R_i(a_i) = \frac{\| X_i a_i - \sqrt{\lambda_i} Y_i b_i \|_{M_i}^2}{\| a_i \|_{V_{i11}^+}^2}
$$
On a le résultat suivant :

**Lemme** : $R_i^+(a_i) = R_i(a_i) + D(z, a_i, P_i)$ si z n'appartient pas à la classe $P_i$.

**Démonstration** :

$$ \begin{aligned} \| |a_i| \|_{V_{i11}^+}^2 &= \langle a_i, V_{i11}^+ a_i \rangle = \langle a_i, (V_{i11} + p(z)\mathbf{v}) a_i \rangle \\ &= \| |a_i| \|_{V_{i11}}^2 + p(z) \| |a_i| \|_{\mathbf{v}}^2 \end{aligned} $$

D'autre part :

$$ \| X_i^+ a_i - \sqrt{\lambda_i} Y_i^+ b_i \|_{M_i}^2 = \| X_i' a_i - \sqrt{\lambda_i} Y_i' b_i \|_{M_i}^2 + (x'a_i - \sqrt{\lambda_i} y_i' b_i)^2 p(z) $$

où $p(z)$ est le poids de l'individu z.

D'où :

$$ R_i^+(a_i) = \frac{\| X_i' a_i - \sqrt{\lambda_i} Y_i' b_i \|_{M_i}^2 + (x'a_i - \sqrt{\lambda_i} y_i' b_i)^2 p(z)}{\| |a_i| \|_{V_{i11}}^2 + p(z) \| |a_i| \|_{\mathbf{v}}^2} $$

$$ R_i^+(a_i) = R_i(a_i) + \frac{p(z)(x'a_i - \sqrt{\lambda_i} y_i' b_i)^2 \|a_i\|_{V_{i11}}^2 - \|X_i'a_i - \sqrt{\lambda_i} Y_i'b_i\|_{M_i}^2 p(z) \|a_i\|_{\mathbf{v}}^2}{\|a_i\|_{V_{i11}}^2 (\|a_i\|_{V_{i11}}^2 + p(z) \|a_i\|_{\mathbf{v}}^2)} $$

$$ R_i^+(a_i) = R_i(a_i) + \frac{p(z)(x'a_i - \sqrt{\lambda_i} y_i' b_i)^2 - p(z) \delta_i(z) \|a_i\|_{\mathbf{v}}^2}{\|a_i\|_{V_{i11}}^2 + p(z) \|a_i\|_{\mathbf{v}}^2} $$

c.q.f.d.
**Proposition 2.**

La suite $u_m$ converge en décroissant.

**Démonstration :**

Nous allons montrer que $u_m \le W(a^{(m)}, P^{(m-1)}) \le u_{m-1}$.

On a $W(a^{(m)}, P^{(m-1)}) \le u_{m-1} = W(a^{(m-1)}, P^{(m-1)})$ car

$$R_i(a_i^{(m)}) = \frac{\|X'_i a_i^{(m)} - Y'_i V_{i22}^{-1} V_{i21} a_i^{(m)}\|_M^2}{\|a_i^{(m)}\|_{V_{i11}}^2} \le \frac{\|X'_i a_i^{(m-1)} - Y'_i V_{i22}^{-1} V_{i21} a_i^{(m-1)}\|_M^2}{\|a_i^{(m-1)}\|_{V_{i11}}^2} \\ = R_i(a_i^{(m-1)})$$

puisque par définition $a_i^{(m)}$ est vecteur propre de $V_{i11}^{-1} V_{i12} V_{i22}^{-1} V_{i21}$ et d'après le corollaire 1 minimise $R_i(a)$.

Reste à montrer que $u_m = W(a^{(m)}, P^{(m)}) \le W(a^{(m-1)}, P^{(m-1)})$.

Deux cas peuvent se produire : soit aucun individu z ne change de classe, autrement dit $P^{(m)} = P^{(m-1)}$ et alors $W(a^{(m)}, P^{(m)}) = W(a^{(m-1)}, P^{(m-1)})$ soit un individu z_ℓ au moins change de classe. Autrement dit il existe deux indices i et ℓ tels que

$$D(z_\ell, a_i^{(m)}, \pi_{\ell-1,i}) \le D(z_\ell, a_j^{(m)}, \pi_{\ell-1,j}) \quad (1)$$

(car on sait que le passage de $P^{(m-1)}$ à $P^{(m)}$ se fait par l'intermédiaire d'une suite $\{\pi_m\}$). Dans ce cas l'individu z_ℓ change de classe et deux termes sont modifiés dans le critère : $R_j(a_j^{(m)})$ qui contenait z_ℓ et $R_i(a_i^{(m)})$ qui le contient maintenant. Cr la contribution de z_ℓ dans chacun de ces termes est justement d'après le lemme : $D(z_\ell, a_i^{(m)}, \pi_{\ell-i}, i)$ et $D(z_\ell, a_j^{(m)}, \pi_{\ell-1}, j)$.

Donc la suite $u_m^o$ est décroissante, sa convergence vient du fait que West positive.

c.q.f.d.
Si l'on note Q la partition P modifiée par la fait que z passe de la classe j à la classe i.

$$W(a, Q) = \sum_{\substack{l=1 \\ l \neq i \\ l \neq j}}^{k} \bar{R}_{l}(a_{l}) + \bar{R}_{i}^{+}(a_{i}) + \bar{R}_{j}^{-}(a_{j})$$

D'où $D(z, a_i, P_i) = W(a, Q) - W(a, P)$. Donc chaque fois qu'un individu change de classe, le critère décroit.

### 2.3.3. L'algorithme :

Nous pouvons résumer l'algorithme des cas centrés et non centrés par les 4 étapes suivantes :

On décompose la population en paquets $\{H^{(o)}, H^{(1)},..., H^{(N)}\}$, soit $n = o$.

1. On part de la partition $P^{(n)} = (P_1^{(n)},..., P_k^{(n)})$ estimée ou tirée au hasard.

2. A l'aide de k analyses canoniques sur les classes $P_i^{(n)}$ on en déduit $a_i^{(n)} = (a_1^{(n)},..., a_k^{(n)})$, k facteurs canoniques.

3. On considère chaque individu z du paquet $H^{(n)} \subset E$. Dans le cas non centré on l'affecte à la classe i si :

$$D(z, a_i^{(n)}, P_i^{(n)}) = \min_{l} D(z, a_l^{(n)}, P_l^{(n)})$$

Dans le cas centré, on l'affecte à la classe i si :

$$\bar{D}(z, a_i, P_i) = \min_{l} \bar{D}(z, a_l, P_l) < 0$$

On obtient ainsi une partition $P^{(n+1)}$.

4. On pose $n = n+1$ et on recommence en ② jusqu'à convergence.

### Remarques :

a) Si $n > N$ on recommence en $H^{(o)}$, autrement dit $H^{(n+1)} = H^{(o)}$, $H^{(n+2)} = H^{(2)}$.

b) Si la taille des données n'est pas trop grande (tout peut être emmagasiné en mémoire centrale), on prend $H^{(o)} = E$, et on itère sur la population elle-
même (i.e. $H^{(n)} = E \forall n$) jusqu'à convergence.

c) Si le tableau de données est trop grand et nécessite une mémoire auxiliaire, il vaut mieux éviter de réduire chaque paquet $H^{(n)}$ à un seul élément de E ne serait-ce que pour éviter un trop grand nombre de diagonalisations.

d) Que l'on prenne $H^{(n)}$ identique ou non à E l'ordre des individus de E intervient dans le résultat obtenu.

2.4. Comparaison du cas centré et du cas non centré.

Dans le cas centré les axes canoniques définis par les vecteurs $\xi_{ij}$ et $\eta_{ij}$ (associés à la classe $P_i$ de la partition cherchée), sont centrés. Il n'en est pas de même dans le cas non centré. Pour éviter cet écueil deux techniques classiques peuvent être utilisées :

a) on peut ajouter un paramètre supplémentaire à chacun des deux groupes de paramètres. Ce nouveau paramètre est un vecteur $n \times 1$ dont toutes les coordonnées sont égales à 1.

b) Si les paramètres sont suffisamment homogènes, on peut diviser chaque coordonnée d'un paramètre donné par la somme des valeurs prises par ce paramètre sur tous les individus.

Dans les deux cas $W_1 \cap W_2$ contient le vecteur
$$ \begin{pmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{pmatrix} $$
donc
$$ \xi_{i1} = \eta_{i1} = \begin{pmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{pmatrix} $$
, comme $\xi_{ij}$ (resp. $\eta_{ij}$) est M orthogonal à $\xi_{i1}$

(resp. $\eta_{i1}$), les $\xi_{ij}$ et $\eta_{ij}$ sont centrés.

Remarques :

Le centrage des facteurs canoniques n'implique pas le centrage des paramètres recodés : $a_{ijl} x^l$ ($a_{ijl}$ est la coordonnée $l$ du facteur j associé à la classe ij). Par contre, cette technique permet de centrer les moyennes $a_{ijl} \bar{x}^l$.
En effet, $\xi_{ij} = \sum_{l=1}^{p} a_{ijl} x^l \rightarrow \bar{\xi}_{ij} = \sum_{l=1}^{p} a_{ijl} \bar{x}^l = 0$

car $\xi_{ij}$ étant centré, la moyenne $\bar{\xi}_{ij}$ l'est aussi.

b) dans le cas non centré, au niveau du calcul des covariances des pa-
ramètres dans chacune des classes, on donne plus de poids aux coordonnées de
grande valeur absolue.

c) * dans le cas où M est la matrice des poids des individus, on a :

$$
V_{i11} = \begin{pmatrix} X_i \\ \bar{X} \end{pmatrix} \quad \text{M}(X_i, \bar{X}) \quad \text{où} \quad \bar{X} = \underbrace{(1, \dots, 1)}_{n \text{ fois}}
$$

$$
d'où \quad V_{i11} = \begin{pmatrix} X_i & M \cdot X'_i & m \\ \bar{X} & \bar{M} & \bar{m} \\ m & 1 & 1 \end{pmatrix} \quad \text{où } m = \begin{pmatrix} m^1 \\ \vdots \\ m^p \end{pmatrix} \quad \text{avec } m^j = \sum_{i=1}^{n} p_i x_i^j
$$

où $p_i$ est le poids des ième individu.

Si l'on note $V_{i11}^C$ la matrice correspondant à $V_{i11}$ dans le cas centré ; on montre facilement que $V_{i11}^C = X_i M X_i' - m m'$.

Or l'inverse d'une matrice du type
$$
\begin{pmatrix} A & B \\ B' & C \end{pmatrix} \text{ est } \begin{pmatrix} (A-BC)^{-1} & B' \\ C & -A^{-1}B \end{pmatrix}.
$$

où seuls les termes diagonaux sont exhibés.

**Conséquence :** $V_{i11}^{-1}$ et $(V_{i11}^C)^{-1}$ sont identiques dans leur bloc supérieur gauche.

2.5. Recherche de plusieurs facteurs canoniques dans chaque classe.

Il s'agit de généraliser la formulation du critère et de l'algorithme
par l'introduction d'un indice supplémentaire associé aux facteurs recherchés.
On note $a_{ij}$ le facteur j associé à la classe i et $a_i = (a_{i1}, a_{i2}, \dots, a_{im})$ où
$m$ est le nombre de facteurs désirés ($m < \text{Min}(p,q)$) qui doit être fixé et
le même pour toutes les classes ; $a_{ij}$ est un vecteur à $p$ lignes donc $a_i$ est

<footnote>* cette remarque m'a été suggérée par M. Baudoin que je remercie !</footnote>
une matrice à p lignes et m colonnes.

Soit $\mathbf{a} = (a_1, \dots, a_k)$ la matrice à $k \times m$ colonnes et $\mathbf{p}$ lignes qui représentent l'ensemble des facteurs associés aux $k$ classes.

On note $\lambda_{ij}$ la $j$-ième plus grande valeur propre de $V_{i11}^{-1} \quad V_{i12} \quad V_{i22}^{-1} \quad V_{i21}$. On en déduit :

$$ b_{ij} = \frac{1}{\sqrt{\lambda_{ij}}} V_{i22}^{-1} V_{i21} a_{ij}. $$

Finalement on peut exprimer le critère à minimiser sous la forme plus générale suivante :

$$ W_m(\mathbf{a}, \mathbf{P}) = \sum_{i=1}^{k} \sum_{j=1}^{m} \frac{\left|\left| X'_{i} a_{ij} - \sqrt{\lambda_{ij}} Y'_{i} V_{i22}^{-1} V_{i21} a_{ij} \right|\right|_{M_i}^2}{\left|\left| a_{ij} \right|\right|_{V_{i11}}^2} $$

Reste à définir les applications $D, F$ et $g$.

**Cas non centré :**

Si l'on reprend l'ensemble des démonstrations en tenant compte de l'indice $j$, il en résulte que

$$ D_m(z, a_i, P_i) = \sum_{j=1}^{m} \left[ \frac{p(z)(x'a_{ij} - \sqrt{\lambda_{ij}} y'b_{ij})^2 - \delta_{ij}(z) \langle a_{ij}, x M x' a_{ij} \rangle}{\|a_{ij}\|_{V_{i11}}^2 + \langle a_{ij}, x M x' a_{ij} \rangle} \right] $$

$$ \text{où } \delta_{ij}(z) = \frac{\left|\left| X'_{i} a_{ij} - \sqrt{\lambda_{ij}} Y'_{i} b_{ij} \right|\right|_{M}^{2}}{\left|\left| a_{ij} \right|\right|_{V_{i11}}^{2}} \quad \text{où} \quad \begin{pmatrix} X_i \\ Y_i \end{pmatrix} \text{ est} $$

la matrice des coordonnées des individus de la classe i avec $z = \begin{pmatrix} x' \\ y' \end{pmatrix}$ omis s'il appartient à la classe i.

Rappelons que $M$ est la matrice diagonale des poids des individus ($p(z)$ pour l'individu $z$) $\hat{V}_{i11} = V_{i11}$ avec $x$ omis s'il appartient à la classe i.

**Remarque :**

Si l'on désire que le poids des individus dépende de la taille des classes, on pose $p(z) = \frac{1}{n_j}$ si $z \in P_j$. Dans ce cas $D_m$ s'écrit sous la forme :
$$
D_m(z, a_i, P_i) = \sum_{j=1}^{m} \left[ \frac{(x'a_{ij} - \sqrt{\lambda_{ij}} y'b_{ij})^2 - \delta_{ij}(z) \langle a_{ij}, x x' a_{ij} \rangle}{\|a_{ij}\|_{\hat{V}_{i11}}^2 + \langle a_{ij}, x x' a_{ij} \rangle} \right]
$$

où $\hat{V}_{i11} = X_i' X_i$ avec x omis s'il appartient à la classe i.

Cas centré :

La fonction d'affectation est définie par :

$$
\bar{D}(z, a_i, P_i) = (\bar{R}_i^+(a_i) - \bar{R}_i(a_i)) + (\bar{R}_j^-(a_j) - \bar{R}_j(a_j))
$$

où z ∈ P_j avec :

$$
\bar{R}_i^+(a_i) = \sum_{j=1}^{m} \frac{\| \bar{X}'_i a_{ij} - \sqrt{\lambda_{ij}} \bar{Y}'_{ij} b_{ij} \|_{M_i^+}^2}{\| a_{ij} \|_{V_{i11}^+}^2}
$$

$\bar{R}_i^-(a_i)$ se définit de la même manière en remplaçant partout + par - .

$$
\bar{R}_i(a_i) = \sum_{j=1}^{m} \frac{\| \bar{X}'_i a_{ij} - \sqrt{\lambda_{ij}} \bar{Y}'_{ij} b_{ij} \|_{M_i}^2}{\| a_{ij} \|_{V_{i11}^2}^2}
$$

Application F : elle se définit comme précédemment (voir 2.3.1 et 2.3.2 pour les cas centré et non centré).

Application g : c'est l'application $\mathbb{P}_k \to \mathbb{R}^{npk} : g(P) = a = (a_1, \dots, a_k)$ où
$a_i = (a_{i1}, \dots, a_{im})$ représente les m vecteurs propres de plus grande valeur propre de $V_{i11}^{-1}, V_{i12}^{-1}, V_{i22}^{-1}, V_{i21}^{-1}$.

2.6. Quelques aspects numériques :

2.6.1. Problème de la non symétrie de $V_{i11}^{-1}, V_{i12}^{-1}, V_{i22}^{-1}, V_{i21}^{-1}$.

On pose $CC' = V_{i11}^{-1}$ et $V_{i12} V_{i22}^{-1} V_{i21} = Z$ d'où $CC' Z a = \lambda a$ (dans ce paragraphe, pour simplifier on omet de mettre les indices ij pour $\lambda$ et $a$).
Soit $\alpha = C\alpha$ d'où $CC' Z C\alpha = \lambda C\alpha$. Cette équation admet comme solutions celles de $C'Z C$. On s'est donc ramené à calculer les vecteurs propres d'une matrice symétrique $C'Z C$. Ayant $\alpha$, on revient facilement à a par $\alpha = C\alpha$.

### Orthonormalisation :

On vérifie facilement que si $\alpha_1$ et $\alpha_2$ sont deux vecteurs propres de $C'Z C$ distincts et $a_{i1} = C\alpha_1, a_{i2} = C\alpha_2$ alors $\langle a_{i1}, a_{i2} \rangle_{V_{i11}} = 0$.

En effet $\langle a_{i1}, a_{i2} \rangle_{V_{i11}} = \langle C\alpha_1, C\alpha_2 \rangle_{V_{i11}} = \langle \alpha_1, C' C \alpha_2 \rangle_{V_{i11}} = \langle \alpha_1, V_{i11}^{-1} \alpha_2 \rangle_{V_{i11}} = \langle \alpha_1, \alpha_2 \rangle = 0$ car $\alpha_1$ et $\alpha_2$ sont deux vecteurs propres distincts d'une même matrice symétrique.

Normalisation : soit $\hat{\alpha} = \frac{\alpha}{||\alpha||}$ et $\alpha = C\hat{\alpha}$ alors

$$ 
\begin{aligned}
||\xi||_D &= \langle a, a \rangle_{V_{i11}} = ||a||^2_{V_{i11}} = \langle C\hat{\alpha}, C\hat{\alpha} \rangle_{V_{i11}} \\
&= \langle \hat{\alpha}, (C'C)C\hat{\alpha} \rangle_{V_{i11}} = \langle \hat{\alpha}, (CC')C\hat{\alpha} \rangle_{V_{i11}} \\
&= \langle \hat{\alpha}, T^{-1}\hat{\alpha} \rangle_{V_{i11}} = \langle \hat{\alpha}, \hat{\alpha} \rangle = \frac{1}{||\alpha||^2} \langle \alpha, \alpha \rangle = 1
\end{aligned}
$$

### 3) Analyse factorielle des correspondances locales.

#### 3.1. Le problème :

Il s'agit du cas non centré où X et Y jouent le rôle de deux varia-
bles qualitatives dont ($x^1, ..., x^p$) d'une part et ($y^1, ..., y^q$) d'autre part
sont les variables caractéristiques. Nous allons montrer que le critère est
une fonction simple de la somme de $k \chi^2$ à $(p-1)(q-1)$ degrés de liberté qu'il
s'agit de maximiser.

#### 3.2. Expression du critère à minimiser.

On affecte un poids $\frac{1}{n}$ à chaque individu (n est l'effectif de la population).
On note $M_i$ la matrice diagonale des poids des individus de la classe i et on impose $M_i = \frac{1}{n} I_i$ où $I_i$ est la matrice unité de dimension card $P_i \times card P_i$.

$V_{i11} = X_i M_i X'_i$ et $V_{i22} = Y_i M_i Y'_i$ où les $X_i$ et les $Y_i$ ne sont pas centrés.

Si l'on note $D_{X_i}$ (resp. $D_{Y_i}$) les matrices diagonales des fréquences des modalités dans la classe i et $P_i$ la matrice de contingence du croisement $X_i, Y_i$; on

$$ \text{en déduit : } V_{i11} = D_{X_i} = \left( \begin{array}{cc} \frac{n_i}{n} & 0 \\ \hline 0 & \frac{n_p^i}{n} \end{array} \right) \quad V_{i22} = \left( \begin{array}{cc} \frac{n_i}{n} & 0 \\ \hline 0 & \frac{n_q^i}{n} \end{array} \right) \quad \text{où} $$

$n_i = \text{card } P_i$, $n_i^i$ est le nombre de fois que la modalité $\ell$ de la variable X est atteinte dans la classe i ; $n_{\ell m}^i$ est le nombre de fois que la modalité $\ell$ de la variable X et la modalité $m$ de la variable Y sont simultanément atteintes dans la classe i.

$$ V_{i12} = X_i M_i Y'_i = P_i = \left\{ \frac{n_i^i}{n} \right\} \begin{array}{l} \ell=1, \dots, p \\ m=1, \dots, q \end{array} \quad V_{i21} = P'_i$$

$$ V_{i11}^{-1} V_{i12} V_{i22}^{-1} V_{i21} = D_{X_i}^{-1} P_i D_{Y_i}^{-1} P'_i $$

$$ \rightarrow D_{X_i}^{-1} P_i D_{Y_i}^{-1} P'_i a_{ij} = \lambda_{ij} a_{ij} $$

$$ \text{et } b_{ij} = \frac{1}{\sqrt{\lambda_{ij}}} V_{i22}^{-1} V_{i21} a_{ij} = \frac{1}{\sqrt{\lambda_{ij}}} D_{Y_i}^{-1} P'_i a_{ij} $$

Le critère à minimiser est :

$$ W_m (a, P) = \sum_{i=1}^{k} \sum_{j=1}^{m} \frac{\left| \| X'_{i} a_{ij} - Y'_{i} V_{i22}^{-1} V_{i21} a_{ij} \|_{M_i}^{2} \right|}{\left| \| a_{ij} \|_{V_{i11}}^{2} \right|} $$
$$ = \sum_{i=1}^{k} \sum_{j=1}^{m} \frac{\left| \| X'_{i} a_{ij} - Y'_{i} D_{Y_i}^{-1} P'_{i} a_{ij} \|_{M_i}^{2} \right|}{\left| \| a_{ij} \|_{D_{X_i}}^{2} \right|} $$

$$ \text{Or } \left| \| X'_{i} a_{ij} - Y'_{i} D_{Y_i}^{-1} P'_{i} a_{ij} \|_{M_i}^2 \right| $$

$$ = \langle (X'_{i} - Y'_{i} D_{Y_i}^{-1} P'_{i}) a_{ij}, (X'_{i} - Y'_{i} D_{Y_i}^{-1} P'_{i}) a_{ij} \rangle $$
$$ = \langle a_{ij}, (X_i - P_i D_{ij}^{-1} Y_i) M_i (X'_i - Y'_i D_{ij}^{-1} P'_i) a_{ij} \rangle $$

$$ = \langle a_{ij}, (X_i M_i X'_i - X_i M_i Y'_i D_{ij}^{-1} P'_i - P_i D_{ij}^{-1} Y_i M_i X'_i + P_i D_{ij}^{-1} Y_i M_i Y'_i D_{ij}^{-1} P'_i) a_{ij} \rangle . $$

$$ = \langle a_{ij}, (D_{ij}^{-1} P'_i - P_i D_{ij}^{-1} P'_i + P_i D_{ij}^{-1} P'_i) a_{ij} \rangle $$

$$ = \langle a_{ij}, (D_{ij}^{-1} P'_i) a_{ij} \rangle = \|a_i\|^2_{D_{ij}^{-1}} - \langle a_{ij}, P_i D_{ij}^{-1} P'_i a_{ij} \rangle $$

d'où

$$ W_m(a,P) = mk - \sum_{i=1}^{k} \sum_{j=1}^{m} \frac{1}{\|a_{ij}\|_{D_{ij}^{-1}}} \langle a_{ij}, P_i D_{ij}^{-1} P'_i a_{ij} \rangle $$

### 3.3. Lien entre le critère à minimiser et le $\chi^2$ de contingence :

D'après le corollaire 2 de la proposition 1, le critère peut encore s'écrire :

$$ W_m(a,P) = km - \sum_{i=1}^{k} \sum_{j=1}^{m} \lambda_{ij} = km - k - \sum_{i=1}^{k} \sum_{j=2}^{m} \lambda_{ij} $$

$$ \text{car } \lambda_{i1} = 1 \quad \forall i. \text{ D'où} $$

$$ W_m(a,P) = k(m-1) - \sum_{i=1}^{k} \sum_{j=2}^{m} \lambda_{ij} . $$

Or la trace de la matrice à diagonaliser

$$ D_{ij}^{-1} P_i D_{ij}^{-1} P'_i \text{ est aussi bien égale à } \sum_{j=1}^{p} \lambda_{ij} \text{ qu'à } \sum_{j=1}^{p} \sum_{l=1}^{q} \frac{P_{jl}^{i2}}{P_j^{i} P_l^{i}} \text{ si} $$

$$ \text{l'on pose } P_{jl}^{i} = \frac{n_{jl}^{i}}{n} . $$
<figure><img src="image_10.png" /></figure>
qui dépendent uniquement des cases du tableau de fréquence XMY' défini par les données initiales car tous les individus associés à une même case de ce tableau ont même coordonnées et donc appartiennent à la même classe.

On voit maintenant que le problème consiste en fait à partir d'une matrice de fréquence, à la décomposer en une norme de matrices de manière à ce que la somme des $\Phi^2$ associées à ces matrices sont maximum.

**Remarque :**

La matrice à diagonaliser $D_X^{-1} P_i D_Y^{-1} P'_i$ n'est pas symétrique en général. Pour se ramener à une matrice symétrique il suffit de poser
$$ a_{ij} = D_X^{-\frac{1}{2}} \alpha_{ij} \text{, d'où} $$

$$ D_X^{-1} P_i D_Y^{-1} P'_i D_X^{-\frac{1}{2}} \alpha_{ij} = \lambda_i D_X^{-\frac{1}{2}} \alpha_{ij} \rightarrow D_X^{-\frac{1}{2}} P_i D_Y^{-1} P'_i D_X^{-\frac{1}{2}} \alpha_{ij} = \lambda_i \alpha_{ij} $$

Comme $P_i D_Y^{-1} P'_i$ est symétrique les $\alpha_{ij}$ sont vecteurs propres d'une matrice symétrique. Pour orthonormaliser les $a_{ij}$ ($j=1,...,p$) il suffit de poser

$$ a_{ij} = D_X^{-\frac{1}{2}} \hat{\alpha}_{ij} \text{ avec } \hat{\alpha}_{ij} = \frac{\alpha_{ij}}{\|\alpha_{ij}\|} \text{. En effet, on a :} $$

$$ \begin{align*} \langle a_{ij}, a_{i\ell} \rangle_{D_X} &= \langle D_X^{-\frac{1}{2}} \hat{\alpha}_{ij}, D_X^{-\frac{1}{2}} \hat{\alpha}_{i\ell} \rangle_{D_X} = \langle \hat{\alpha}_{ij}, D_X^{-1} \hat{\alpha}_{i\ell} \rangle_{D_X} \\ &= \langle \hat{\alpha}_{ij}, \hat{\alpha}_{i\ell} \rangle = 0 \text{ puisque } \alpha_{ij} \text{ est vecteur propre d'une matrice symétrique.} \end{align*} $$

$$ \langle a_{ij}, a_{ij} \rangle_{D_X} = \langle \hat{\alpha}_{ij}, \hat{\alpha}_{ij} \rangle = 1. $$

### 3.5. Maximisation du critère :

Il s'agit de décomposer la matrice initiale en une somme de matrices dont les colonnes et les lignes soient le moins liées possibles. C'est un problème qui peut parfois être utile.

On peut utiliser le même algorithme en changeant le sens des inégalités au moment de l'affectation des cases et en prenant les m vecteurs propres de plus
petite valeur propre au moment du calcul des facteurs.

### 3.6. Autre algorithme possible :

On peut décomposer la matrice de contingence initiale en une somme de k matrices tirées au hasard. L'algorithme consiste ensuite à déplacer les cases pleines d'une matrice à l'autre tant que le critère s'améliore. Il reste à définir une bonne euristique de déplacement car le nombre de possibilités est très grand.

## 4) Analyse discriminante locale :

### 4.1. Le problème :

Il s'agit d'appliquer l'analyse canonique typologique au cas particulier où le deuxième paquet de variables Y représente une variable qualitative. Plus précisément $Y = (y^1, ..., y^q)$ où les $y^j$ sont les caractéristiques de Y.

**Exemple :** la variable qualitative

(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)
(10)
(11)
(12)
(13)
(14)
(15)
(16)
(17)
(18)
(19)
(20)
(21)
(22)
(23)
(24)
(25)
(26)
(27)
(28)
(29)
(30)
(31)
(32)
(33)
(34)
(35)
(36)
(37)
(38)
(39)
(40)
(41)
(42)
(43)
(44)
(45)
(46)
(47)
(48)
(49)
(50)
(51)
(52)
(53)
(54)
(55)
(56)
(57)
(58)
(59)
(60)
(61)
(62)
(63)
(64)
(65)
(66)
(67)
(68)
(69)
(70)
(71)
(72)
(73)
(74)
(75)
(76)
(77)
(78)
(79)
(80)
(81)
(82)
(83)
(84)
(85)
(86)
(87)
(88)
(89)
(90)
(91)
(92)
(93)
(94)
(95)
(96)
(97)
(98)
(99)
(100)
(101)
(102)
(103)
(104)
(105)
(106)
(107)
(108)
(109)
(110)
(111)
(112)
(113)
(114)
(115)
(116)
(117)
(118)
(119)
(120)
(121)
(122)
(123)
(124)
(125)
(126)
(127)
(128)
(129)
(130)
(131)
(132)
(133)
(134)
(135)
(136)
(137)
(138)
(139)
(140)
(141)
(142)
(143)
(144)
(145)
(146)
(147)
(148)
(149)
(150)
(151)
(152)
(153)
(154)
(155)
(156)
(157)
(158)
(159)
(160)
(161)
(162)
(163)
(164)
(165)
(166)
(167)
(168)
(169)
(170)
(171)
(172)
(173)
(174)
(175)
(176)
(177)
(178)
(179)
(180)
(181)
(182)
(183)
(184)
(185)
(186)
(187)
(188)
(189)
(190)
(191)
(192)
(193)
(194)
(195)
(196)
(197)
(198)
(199)
(200)
(201)
(202)
(203)
(204)
(205)
(206)
(207)
(208)
(209)
(210)
(211)
(212)
(213)
(214)
(215)
(216)
(217)
(218)
(219)
(220)
(221)
(222)
(223)
(224)
(225)
(226)
(227)
(228)
(229)
(230)
(231)
(232)
(233)
(234)
(235)
(236)
(237)
(238)
(239)
(240)
(241)
(242)
(243)
(244)
(245)
(246)
(247)
(248)
(249)
(250)
(251)
(252)
(253)
(254)
(255)
(256)
(257)
(258)
(259)
(260)
(261)
(262)
(263)
(264)
(265)
(266)
(267)
(268)
(269)
(270)
(271)
(272)
(273)
(274)
(275)
(276)
(277)
(278)
(279)
(280)
(281)
(282)
(283)
(284)
(285)
(286)
(287)
(288)
(289)
(290)
(291)
(292)
(293)
(294)
(295)
(296)
(297)
(298)
(299)
(300)
(301)
(302)
(303)
(304)
(305)
(306)
(307)
(308)
(309)
(310)
(311)
(312)
(313)
(314)
(315)
(316)
(317)
(318)
(319)
(320)
(321)
(322)
(323)
(324)
(325)
(326)
(327)
(328)
(329)
(330)
(331)
(332)
(333)
(334)
(335)
(336)
(337)
(338)
(339)
(340)
(341)
(342)
(343)
(344)
(345)
(346)
(347)
(348)
(349)
(350)
(351)
(352)
(353)
(354)
(355)
(356)
(357)
(358)
(359)
(360)
(361)
(362)
(363)
(364)
(365)
(366)
(367)
(368)
(369)
(370)
(371)
(372)
(373)
(374)
(375)
(376)
(377)
(378)
(379)
(380)
(381)
(382)
(383)
(384)
(385)
(386)
(387)
(388)
(389)
(390)
(391)
(392)
(393)
(394)
(395)
(396)
(397)
(398)
(399)
(400)
(401)
(402)
(403)
(404)
(405)
(406)
(407)
(408)
(409)
(410)
(411)
(412)
(413)
(414)
(415)
(416)
(417)
(418)
(419)
(420)
(421)
(422)
(423)
(424)
(425)
(426)
(427)
(428)
(429)
(430)
(431)
(432)
(433)
(434)
(435)
(436)
(437)
(438)
(439)
(440)
(441)
(442)
(443)
(444)
(445)
(446)
(447)
(448)
(449)
(450)
(451)
(452)
(453)
(454)
(455)
(456)
(457)
(458)
(459)
(460)
(461)
(462)
(463)
(464)
(465)
(466)
(467)
(468)
(469)
(470)
(471)
(472)
(473)
(474)
(475)
(476)
(477)
(478)
(479)
(480)
(481)
(482)
(483)
(484)
(485)
(486)
(487)
(488)
(489)
(490)
(491)
(492)
(493)
(494)
(495)
(496)
(497)
(498)
(499)
(500)
(501)
(502)
(503)
(504)
(505)
(506)
(507)
(508)
(509)
(510)
(511)
(512)
(513)
(514)
(515)
(516)
(517)
(518)
(519)
(520)
(521)
(522)
(523)
(524)
(525)
(526)
(527)
(528)
(529)
(530)
(531)
(532)
(533)
(534)
(535)
(536)
(537)
(538)
(539)
(540)
(541)
(542)
(543)
(544)
(545)
(546)
(547)
(548)
(549)
(550)
(551)
(552)
(553)
(554)
(555)
(556)
(557)
(558)
(559)
(560)
(561)
(562)
(563)
(564)
(565)
(566)
(567)
(568)
(569)
(570)
(571)
(572)
(573)
(574)
(575)
(576)
(577)
(578)
(579)
(580)
(581)
(582)
(583)
(584)
(585)
(586)
(587)
(588)
(589)
(590)
(591)
(592)
(593)
(594)
(595)
(596)
(597)
(598)
(599)
(600)
(601)
(602)
(603)
(604)
(605)
(606)
(607)
(608)
(609)
(610)
(611)
(612)
(613)
(614)
(615)
(616)
(617)
(618)
(619)
(620)
(621)
(622)
(623)
(624)
(625)
(626)
(627)
(628)
(629)
(630)
(631)
(632)
(633)
(634)
(635)
(636)
(637)
(638)
(639)
(640)
(641)
(642)
(643)
(644)
(645)
(646)
(647)
(648)
(649)
(650)
(651)
(652)
(653)
(654)
(655)
(656)
(657)
(658)
(659)
(660)
(661)
(662)
(663)
(664)
(665)
(666)
(667)
(668)
(669)
(670)
(671)
(672)
(673)
(674)
(675)
(676)
(677)
(678)
(679)
(680)
(681)
(682)
(683)
(684)
(685)
(686)
(687)
(688)
(689)
(690)
(691)
(692)
(693)
(694)
(695)
(696)
(697)
(698)
(699)
(700)
(701)
(702)
(703)
(704)
(705)
(706)
(707)
(708)
(709)
(710)
(711)
(712)
(713)
(714)
(715)
(716)
(717)
(718)
(719)
(720)
(721)
(722)
(723)
(724)
(725)
(726)
(727)
(728)
(729)
(730)
(731)
(732)
(733)
(734)
(735)
(736)
(737)
(738)
(739)
(740)
(741)
(742)
(743)
(744)
(745)
(746)
(747)
(748)
(749)
(750)
(751)
(752)
(753)
(754)
(755)
(756)
(757)
(758)
(759)
(760)
(761)
(762)
(763)
(764)
(765)
(766)
(767)
(768)
(769)
(770)
(771)
(772)
(773)
(774)
(775)
(776)
(777)
(778)
(779)
(780)
(781)
(782)
(783)
(784)
(785)
(786)
(787)
(788)
(789)
(790)
(791)
(792)
(793)
(794)
(795)
(796)
(797)
(798)
(799)
(800)
(801)
(802)
(803)
(804)
(805)
(806)
(807)
(808)
(809)
(810)
(811)
(812)
(813)
(814)
(815)
(816)
(817)
(818)
(819)
(820)
(821)
(822)
(823)
(824)
(825)
(826)
(827)
(828)
(829)
(830)
(831)
(832)
(833)
(834)
(835)
(836)
(837)
(838)
(839)
(840)
(841)
(842)
(843)
(844)
(845)
(846)
(847)
(848)
(849)
(850)
(851)
(852)
(853)
(854)
(855)
(856)
(857)
(858)
(859)
(860)
(861)
(862)
(863)
(864)
(865)
(866)
(867)
(868)
(869)
(870)
(871)
(872)
(873)
(874)
(875)
(876)
(877)
(878)
(879)
(880)
(881)
(882)
(883)
(884)
(885)
(886)
(887)
(888)
(889)
(890)
(891)
(892)
(893)
(894)
(895)
(896)
(897)
(898)
(899)
(900)
(901)
(902)
(903)
(904)
(905)
(906)
(907)
(908)
(909)
(910)
(911)
(912)
(913)
(914)
(915)
(916)
(917)
(918)
(919)
(920)
(921)
(922)
(923)
(924)
(925)
(926)
(927)
(928)
(929)
(930)
(931)
(932)
(933)
(934)
(935)
(936)
(937)
(938)
(939)
(940)
(941)
(942)
(943)
(944)
(945)
(946)
(947)
(948)
(949)
(950)
(951)
(952)
(953)
(954)
(955)
(956)
(957)
(958)
(959)
(960)
(961)
(962)
(963)
(964)
(965)
(966)
(967)
(968)
(969)
(970)
(971)
(972)
(973)
(974)
(975)
(976)
(977)
(978)
(979)
(980)
(981)
(982)
(983)
(984)
(985)
(986)
(987)
(988)
(989)
(990)
(991)
(992)
(993)
(994)
(995)
(996)
(997)
(998)
(999)
(1000)

$$ \text{s'écrit } Y' = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 1 \\ 0 & 1 & 0 \end{pmatrix} = (y^1, y^2, y^3) \text{ avec } y^2 = \begin{pmatrix} 0 \\ 1 \\ 0 \\ 0 \\ 0 \\ 1 \end{pmatrix}. $$

Nous allons montrer que la minimisation du critère revient à chercher des axes discriminants locaux.

**Exemple**

<figure><img src="image_11.png" /></figure>

Si $k=2$ il s'agit de trouver les classes $P_1$ et $P_2$ et les axes $A_1$ et $A_2$ qui discriminent au mieux les 4 classes définies par la variable Y.
4.2. Expression du critère à minimiser :

Soit $M_{\ell} = \frac{1}{n} I_{\ell}$ où $I_{\ell}$ est la matrice unité card $P_{\ell} \times$ card $P_{\ell}$.

$V_{\ell 11} = X_{\ell} M_{\ell} X'_{\ell}$ est la matrice des variances-covariances du nuage des individus de la classe $P_{\ell}$ car $X_{\ell}$ est centré.

$$ V_{\ell 22} = Y_{\ell} M_{\ell} Y'_{\ell} = D_{Y_{\ell}} = \begin{pmatrix} \frac{n_{1}^{\ell}}{n} & 0 \\ 0 & \frac{n_{q}^{\ell}}{n} \end{pmatrix} \quad \text{la matrice diagonale des} $$

fréquences des modalités de la variable Y dans la classe $\ell$ ($Y_{\ell}$ n'est pas centré).

$$ V_{\ell 12} = X_{\ell} M_{\ell} Y'_{\ell} = G_{\ell} D_{Y_{\ell}} \quad \text{où} \quad G_{\ell} = (g_{\ell}^{1}, \dots, g_{\ell}^{q}) $$

$$ \text{avec } g_{\ell}^{j} = \begin{pmatrix} \frac{1}{n_j^{\ell}} & \sum_{i \in [P_{\ell}]} x_{ij} & x_{ip} \\ \vdots & \vdots & \vdots \\ \frac{1}{n_j^{\ell}} & \sum_{i \in [P_{\ell}]} x_{ij} & x_{ip} \end{pmatrix} \quad \text{où } [P_{\ell}] \text{ est l'ensemble des indices} $$

des individus de la classe $P_{\ell}$ et $I_{j}$ est l'ensemble des indices des individus qui prennent la modalité $j$ de la variable $Y$.

Le critère à minimiser est :

$$ W_m(a,P) = \sum_{\ell=1}^{k} \sum_{j=1}^{m} \frac{\left| \sum_{\ell=1}^{k} a_{\ell j}^{X'} - Y' \right| \left| \sum_{\ell=1}^{k} a_{\ell j}^{Y} \right|}{\left| \sum_{\ell=1}^{k} a_{\ell j}^{X'} \right| \left| \sum_{\ell=1}^{m} a_{\ell j}^{Y} \right|} $$

En remplaçant les $V_{\ell ij}$ par leur valeur on obtient :

$$ W_m(a,P) = \sum_{\ell=1}^{k} \sum_{j=1}^{m} \frac{\left| \sum_{\ell=1}^{k} a_{\ell j}^{X'} - Y' \sum_{\ell=1}^{k} a_{\ell j}^{Y} \right|}{\left| \sum_{\ell=1}^{k} a_{\ell j}^{X'} \right| \left| \sum_{\ell=1}^{m} a_{\ell j}^{Y} \right|} $$
$$
\begin{align*}
\text{or } ||X'_{\ell} a_{\ell j} - Y'_{\ell} G'_{\ell} a_{\ell j}||^2_{M_{\ell}} &= \langle (X'_{\ell} - Y'_{\ell} G'_{\ell}) a_{\ell j}, (X'_{\ell} - Y'_{\ell} G'_{\ell}) a_{\ell j} \rangle_{M_{\ell}} \\
&= \langle a_{\ell j}, (X_{\ell} - G_{\ell} Y_{\ell}) M_{\ell} (X'_{\ell} - Y'_{\ell} G'_{\ell}) a_{\ell j} \rangle \\
&= \langle a_{\ell j}, (X_{\ell} M_{\ell} X'_{\ell} - X_{\ell} M_{\ell} Y'_{\ell} G'_{\ell} - G_{\ell} Y_{\ell} M_{\ell} X'_{\ell} + G_{\ell} Y_{\ell} M_{\ell} Y'_{\ell} G'_{\ell}) a_{\ell j} \rangle \\
&= \langle a_{\ell j}, (V_{\ell} - G_{\ell} D_{Y_{\ell}} G'_{\ell} - G_{\ell} D_{Y_{\ell}} G'_{\ell} + G_{\ell} D_{Y_{\ell}} G'_{\ell}) a_{\ell j} \rangle \\
&= \langle a_{\ell j}, (V_{\ell} - G_{\ell} D_{Y_{\ell}} G'_{\ell}) a_{\ell j} \rangle .
\end{align*}
$$

$B_{\ell} = G_{\ell} D_{Y_{\ell}} G'_{\ell}$ est la matrice de variance covariance des centres de gravité autrement dit la matrice de variance inter-classes. Finalement :

$$
W_m (a, P) = \sum_{\ell=1}^{k} \sum_{j=1}^{m} \frac{\|a_{\ell j}\|_{V_{\ell}}^2 - \|a_{\ell j}\|_{B_{\ell}}^2}{\|a_{\ell j}\|_{V_{\ell}}^2}
$$

$$
\rightarrow W_m(a, P) = km - \sum_{\ell=1}^{k} \sum_{j=1}^{m} \frac{\|a_{\ell j}\|_{B_{\ell}}^2}{\|a_{\ell j}\|_{V_{\ell}}^2}
$$

Remarques :

- Pour le calcul des facteurs $a_{\ell j}$ il faut diagonaliser les matrices $V_{\ell 11}^{-1} V_{\ell 12}$
$V_{\ell 22}^{-1} V_{\ell 21} = V_{\ell}^{-1} G_{\ell} D_{Y_{\ell}} D_{Y_{\ell}}^{-1} G'_{\ell} = V_{\ell}^{-1} B_{\ell} \quad \text{d'où :}$

$$
V_{\ell}^{-1} B_{\ell} a_{\ell j} = \lambda_{\ell j} a_{\ell j} \rightarrow \frac{\|a_{\ell j}\|_{B_{\ell}}^{2}}{\|a_{\ell j}\|_{V_{\ell}}^{2}} = \lambda_{\ell j} .
$$

$$
- \text{On sait que } W_m (a, P) = km - \sum_{\ell=1}^{k} \sum_{j=1}^{m} \lambda_{\ell j} \text{, et de plus que } \lambda_{\ell j} = \frac{\|a_{\ell j}\|_{B_{\ell}}^2}{\|a_{\ell j}\|_{V_{\ell}}^2} < 1.
$$

Donc minimiser le critère $W_m(a,P)$ est équivalent à maximiser la somme des $\lambda_{\ell j}$.
Il s'agit donc de trouver les combinaisons linéaires $\xi_{\ell j} = X_{\ell} a_{\ell j}$ qui maximisent la variance inter-classes et minimisent la variance totale. Ou ce qui
revient au même d'après le théorème de Huygens qui minimise la variance intra-classes.

### 4.3. L'algorithme :

Il faut utiliser l'algorithme qui a été défini dans le cas non centré.

Ici la fonction d'affectation est :

$$ \hat{D}(z, a_{\ell}, P_{\ell}) = (\hat{R}_{\ell}^{+}(a_{\ell}) - \hat{R}_{\ell}(a_{\ell})) + (\hat{R}_{\ell}^{-}(a_{\ell}) - \hat{R}_{\ell}(a_{\ell})). $$

où z appartient à la classe P<sub>s</sub>.

Avec

$$ \hat{R}_{\ell}(a_{\ell}) = \sum_{j=1}^{m} \frac{\left|\left|\bar{X}'_{\ell} a_{\ell j} - Y'_{\ell} \bar{G}'_{\ell} b_{\ell j}\right|\right|_{M_{\ell}}^{2}}{\left|\left|a_{\ell j}\right|\right|_{V_{\ell 11}}^{2}} $$

$$ \text{où } b_{\ell j} = \frac{1}{\sqrt{\bar{X}'_{\ell j}}} V_{\ell 22}^{-1} \hat{V}_{\ell 21} a_{\ell j} = \frac{1}{\sqrt{\bar{X}'_{\ell j}}} \bar{G}'_{\ell} a_{\ell j} \text{ où } \hat{V}_{\ell 21} = Y_{\ell i} M_{\ell i} \bar{X}'_{\ell i} $$

$$ \text{et } \bar{G}_{\ell} \text{ est définie par } \bar{X}_{\ell} M_{\ell} Y'_{\ell} = \bar{G}_{\ell} D_{\ell}. $$

En reprenant les calculs faits en 4.2. on obtient :

$$ \hat{R}_{\ell}(a_{\ell}) = \sum_{j=1}^{m} \frac{\left|\left|\bar{X}'_{\ell} a_{\ell j} - Y'_{\ell} \bar{G}'_{\ell} a_{\ell j}\right|\right|_{M_{\ell}}^{2}}{\left|\left|a_{\ell j}\right|\right|_{V_{\ell}}^{2}} = \sum_{j=1}^{m} \frac{\left|\left|a_{\ell j}\right|\right|_{V_{\ell}}^{2} - \left|\left|a_{\ell j}\right|\right|_{\bar{B}_{\ell}}^{2}}{\left|\left|a_{\ell j}\right|\right|_{V_{\ell}}^{2}} $$

$$ \rightarrow \hat{R}_{\ell}(a_{\ell}) = m - \sum_{j=1}^{m} \frac{\left|\left|a_{\ell j}\right|\right|_{\bar{B}_{\ell}}^{2}}{\left|\left|a_{\ell j}\right|\right|_{V_{\ell}}^{2}} \text{ où } \bar{B}_{\ell} = \bar{G}_{\ell} D_{Y_{\ell}} \bar{G}'_{\ell} \text{ et } \bar{V}_{\ell} = \bar{X}_{\ell} M_{\ell} \bar{X}'_{\ell} $$

De même :

$$ \bar{R}_{\ell}^{+}(a_{\ell}) = m - \sum_{j=1}^{m} \frac{\left|\left|a_{\ell j}\right|\right|_{\bar{B}_{\ell}}^{2}}{\left|\left|a_{\ell j}\right|\right|_{V_{\ell}}^{2}} \quad \text{où } \bar{B}_{\ell}^{+} = \bar{G}_{\ell}^{+} D_{Y_{\ell}} + \bar{G}_{\ell}^{+}' $$

$$ \text{avec } D_{Y_{\ell}}^{+} = Y_{\ell}^{+} M_{\ell}^{+} Y_{\ell}^{+}' \text{ et } \bar{G}_{\ell}^{+} : X_{\ell}^{+} M_{\ell}^{+} Y_{\ell}^{+}' = \bar{G}_{\ell}^{+} D_{Y_{\ell}}^{+} $$
enfin $\bar{v}_{\ell}^{+} = x_{\ell}^{+} M_{\ell}^{+} x_{\ell}^{+\prime}$.

On définit de façon analogue $\bar{R}_j^-$ en ramplaçant partout le signe $+$ par le signe $-$.

Finalement

$$ \hat{D}(z, a_{\ell}, P_{\ell}) = \sum_{j=1}^{m} \left[ \frac{\|a_{\ell j}\|_{\bar{B}_{\ell}}^{2}}{\|a_{\ell j}\|_{\bar{V}_{\ell}}^{2}} - \frac{\|a_{\ell j}\|_{\bar{B}_{\ell}^{+}}^{2}}{\|a_{\ell j}\|_{\bar{V}_{\ell}^{+}}^{2}} + \frac{\|a_{sj}\|_{\bar{B}_{s}}^{2}}{\|a_{sj}\|_{\bar{V}_{s}}^{2}} - \frac{\|a_{sj}\|_{\bar{B}_{s}}^{2}}{\|a_{sj}\|_{\bar{V}_{s}^{-}}} \right] $$

L'application $F$ n'est pas modifiée elle se définit comme pour le cas non centré (cf. 2.3.2.).

L'application $g$ de $\mathbb{P}_k \to \mathbb{R}^{mpt}$ est telle que $g(P) = a = (a_1, \dots, a_k)$ où $a_{\ell} = (a_{\ell 1}, \dots, a_{\ell m})$ représente les $m$ vecteurs propres de plus grande valeur propre de $V_{\ell 11}^{-1} V_{\ell 12}^{-1} V_{\ell 22}^{-1} V_{\ell 21}^{-1} = V_{\ell}^{-1} B_{\ell}$.

**Remarque :** $V_{\ell}^{-1} B_{\ell}$ n'est généralement pas symétrique.

Pour se ramener à une matrice symétrique, on pose :

$$ V_{\ell}^{-1} = C_{\ell} C'_{\ell} \text{ et } a_{\ell j} = C_{\ell} \alpha_{\ell j} \text{ d'où } V_{\ell}^{-1} B_{\ell} a_{\ell j} = \lambda_{\ell j} a_{\ell j} $$

$\to C_{\ell} C'_{\ell} B_{\ell} C_{\ell} \alpha_{\ell j} = \lambda_{\ell j} C_{\ell} \alpha_{\ell j}$ les $\alpha_{\ell j}$ qui répondent à cette dernière égalité sont aussi les vecteurs propres de $C'_{\ell} B_{\ell} C_{\ell}$ qui est symétrique.

Pour orthonormaliser $a_{\ell j}$ il suffit de poser $\hat{a}_{\ell j} = \frac{\alpha_{\ell j}}{\|a_{\ell j}\|}$ et
$$ a_{\ell j} = C'_{\ell} \hat{a}_{\ell j} \text{ d'où } \|a_{\ell j}\|_{V_{\ell}}^{2} = \langle a_{\ell j}, a_{\ell j} \rangle_{V_{\ell}} = \langle \hat{a}_{\ell j}, V_{\ell} C_{\ell} C'_{\ell} \hat{a}_{\ell j} \rangle \\ \to \|a_{\ell j}\|_{V_{\ell}}^{2} = \langle \hat{a}_{\ell j}, V_{\ell} C_{\ell} C'_{\ell} \hat{a}_{\ell j} \rangle = \left\langle \frac{\alpha_{\ell j}}{\|\alpha_{\ell j}\|}, \frac{\alpha_{\ell j}}{\|\alpha_{\ell j}\|} \right\rangle = 1 $$

d'autre part $\langle a_{\ell j}, a_{\ell i} \rangle = \frac{1}{\|\alpha_{\ell j}\| \|\alpha_{\ell i}\|} \quad \langle \alpha_{\ell j}, \alpha_{\ell i} \rangle = 0$

puisque les $\alpha_{\ell j}$ pour $j = 1, \dots, p$ sont vecteurs propres d'une matrice symétrique.
### 4.4. Choix de la partition de départ :

On peut par exemple utiliser la technique suivante :

On construit un tableau de confusion de dimension $q \times q$ où $q$ est le nombre de modalités de la variable à expliquer $Y$, chaque modalité $i$ de $Y$ induit une classe $Q_i$ d'objets. Dans la case $(i,j)$ de ce tableau on met le nombre d'objets de la classe $Q_j$ qui se trouvent parmi les $\ell$ plus proches voisins des objets (puis un à un) de la classe $Q_i$. On ramène à o toutes les cases d'effectif inférieur à un effectif seuil, donné. La partition de départ est alors l'ensemble des parties connexes du graphe induit par la matrice de confusion ainsi défini.

### 4.5. Aide à la décision :

Ayant obtenu par exemple 2 facteurs discriminants pour chacune des classes de la partition cherchée, on a la possibilité d'avoir une bonne représentation factorielle discriminante locale. Quand un nouvel individu arrive, on calcule sa distance (localement centrée) à chacun des plans factoriels ainsi définis et on l'affecte au plan le plus proche. Dans ce plan on peut le représenter visuellement en élément supplémentaire. On peut également définir une fonction de décision simple en utilisant le plan auquel il est affecté ; pour cela on calcule la distance de la projection du nouvel individu aux centres de gravité des classes représentées dans le plan retenu à l'aide des coordonnées sur les axes locaux qui lui correspondent et on l'affecte à la classe dont le centre est le plus proche.
5) Analyse canonique typologique dans le cas de plus de deux paquets de variables.

5.1. Notations :

Les données se présentent sous la forme du tableau indiqué ci-dessous :

<figure><img src="image_12.png" /></figure>

On note k le nombre de classes de la partition cherchée.

p le nombre de paquets de variables.

n le nombre de composantes canoniques cherchées dans chacune des classes d'individus.

$X_i^j$ est la matrice $m_i \times n_j$ associée au ième groupe de variables pour la jème classe de la partition P.

Soit $W_i^j$ l'espace vectoriel défini par l'ensemble des combinaisons linéaires des variables du ième paquet.

On note $A_i^j$ l'opérateur de projection linéaire sur $W_i^j$.

Autrement dit :

$$A_i^j = (X_i^j)^T (X_i^j(X_i^j)^{-1})^{-1} X_i^j$$
### 5.2. Le problème :

L'idée consiste à chercher une partition $P = (P_1, ..., P_k)$, un vecteur $Z_j$ de $\mathbb{R}$ card $\ell_j$ pour chaque classe $P_j$ et pucombinaisons linéaires des variables $\xi_i^j$ ($i=1,...,p$, $j=1,...,k$) de chaque paquet de façon que la somme des corrélations au carré entre ces combinaisons et $Z_j$ soit maximum pour l'ensemble des classes.

Dans le cas général où l'on cherche m composantes canoniques on note $\xi_{i\ell}^j$ la $\ell$-ième composante canonique associée à la variété $W_i^j$, d'où

$$ \xi_{i\ell}^j = X_i^j a_{i\ell}^j, \quad a_{i\ell}^j \text{ étant le } \ell\text{ième} \text{ facteur canonique associé à } W_i^j. $$

La formulation mathématique du problème est alors la suivante :

$$ \text{Maximiser } W(P, \xi, Z) = \sum_{j=1}^{k} \sum_{i=1}^{p} \sum_{\ell=1}^{m} \frac{\langle \xi_{i\ell}^{j}, Z^{j} \rangle_{M_j}}{\|\xi_{i\ell}^{j}\|_{M_j}^{2} \|Z^{j}\|_{M_j}^{2}} $$

où $M_j$ est la matrice des poids des individus.

### 5.3. L'algorithme :

Dans le cas centré comme dans le cas non centré, il s'appuie sur le résultat suivant :

**Proposition** : une partition $P$ étant donnée les vecteurs $a_{i\ell}^j$ et $Z_\ell^j$ qui maximisent le critère sont donnés par :

$$ \text{a) } a_{i\ell}^j = (X_i^j (X_i^j')^{-1} X_i^j Z_\ell^j $$

b) $Z_\ell^j$ est le $\ell$-ième vecteur propre de plus grande valeur propre de la matrice

$$ Q^j = \sum_{i=1}^{p} A_i^j . $$

A l'aide de cette proposition, on peut définir un algorithme analogue au précédent (voir 2.3.3) : on part d'une partition des individus soit estimée soit tirée au hasard. Pour chaque classe on calcule les m premiers vecteurs
propres $Z_\ell^j$ ($\ell = 1, \dots, m$) de $Q^j$ ($j=1, \dots, k$). On affecte ensuite chaque individu à la classe qui fait le mieux croître $W$ soit dans le cas centré, soit dans le cas non centré. On recommence le procédé avec la nouvelle partition ainsi obtenue et ainsi de suite jusqu'à l'obtention d'une position stable.
## Conclusion

Pour les grands tableaux de données où l'on recherche des combinaisons linéaires explicatives, il est légitime de supposer que ces combinaisons linéaires puissent ne pas fonctionner partout en raison du risque d'hétérogénéité des données. Suivant que les données sont centrées ou pas on a proposé plusieurs algorithmes permettant d'écrire des programmes donnant une bonne approche à ce problème. L'intérêt de ces méthodes est notamment de permettre une meilleure visualisation des données à l'aide des facteurs locaux obtenus.

En ce qui concerne les recherches ultérieures, il serait intéressant de généraliser ce qui a été fait en analyse factorielle des correspondances et en analyse discriminante au cas de tableaux multiples (engendrés par exemple par des variables qualitatives). Il devrait être également fructueux de préciser et d'utiliser les liens existants entre la dimension des espaces engendrés par les $w_i$, le nombre de classes et de composantes canoniques recherchées.
Bibliographie

[1] BENZENI J.P. (1973), L'analyse des données, DUNOD (Paris).

[2] CAILLEZ F., PAGES J.P. (1976), Introduction à l'analyse des données SMASH (Paris).

[3] LEBART L., FENELON J.P. (1975), Statistique et Informatique appliquées DUNOD (Paris).

[4] BERTIER P., BOUROCHE J.M. (1975), Analyse des données multidimensionnelles PUF (Paris).