Exploration Statistique

Exploration Statistique Multidimensionnelle
Data Mining
P HILIPPE B ESSE

NB. Les cours et travaux pratiques (scénarios, ateliers) du site wikistat.fr sont dispensés en formation initiale à l’INSA de Toulousedans la spécialité d’Ingénieurs en Génie Mathématique et Modélisation. Ils sont également proposés dans le cadre de stages deFormation Professionnelle Qualifiante.

Équipe de Statistique et Probabilités
Institut de Mathématiques de Toulouse — UMR CNRS C5219
Département Génie Mathématique et Modélisation
Institut National des Sciences Appliquées de Toulouse — 31077 – Toulouse cedex 4.

1

Exploration Statistique2

Exploration Statistique

Table des matières• Introduction à la Statistique• Description unidimensionnelle• Description bidimensionnelle• Introduction exploration multidimensionnelle• Analyse en Composantes Principales• Analyse Factorielle Discriminante• Analyse Factorielle des Correspondances• Analyse Factorielle des Correspondances Multiple• Analyse Canonique des Corrélations• Positionnement Multidimensionnel• Classification non supervisée• Factorisation par matrices non négatives (NMF)• Annexe• Compléments d’algèbre linéaire

page 5page 12page 23
page 29
page 31
page 43
page 49
page 57
page 65
page 75
page 80
page 93page 99

Attention ce cours est dense, la lecture de ce document ne suffira pas à la bonne compréhension des outils qui y sont décrits defaçon synthétique. La présence aux cours et la participation active aux TDs sont indispensables à l’acquisition des compétencesincontournables pour une utilisation raisonnable et raisonnée des techniques d’apprentissage statistique.

3

Exploration Statistique4

1

Statistique : Introduction

pour l’emploi et les débouchés des étudiants, la gestion des ressources humaines et les investissements économiques des entreprises ou encore les stratégies scientifiques des laboratoires de recherche.

Statistique : Introduction
Résumé
Introduction à la Statistique et ses méthodes. Contexte et objectifs(descriptif, explicatif, prédictif) d’une analyse statistique ; les compétences nécessaires.
Ce cours est structuré en deux niveaux principaux et quelques
grands thèmes :• L : Description et inférences statistiques élémentaires• M1 : Exploration multivariée• M1 : Inférence statistique• M1 : Modèle linéaire et linéaire général• M2 : Modèle linéaire, modèle mixte• M2 : Apprentissage et modélisation
Réflexions autour de : Statistique et Déontologie scientifique1

Le métier de statisticien

Le développement continu des moyens informatiques de saisie, de stockage(bases de données) et de calcul permet la production, la gestion, le traitement
et l’analyse d’ensembles de données de plus en plus volumineux. Par exemple,
les 600 Mb de données produites en une dizaine d’heures par l’un des séquenceurs actuels représentent l’équivalent de la production mondiale déposée dans
GenBank entre 1982 et 1996. Les séquenceurs arrivant sur le marché en 2010
produisent en 5 jours 200Gb par traitement. Le perfectionnement des interfaces graphiques offre aux utilisateurs, statisticiens ou non, des possibilités demise en œuvre très simples avec des outils logiciels de plus en plus "conviviaux". Cette évolution, ainsi que la popularisation de nouvelles méthodes
algorithmiques (réseaux de neurones, support vector machine, agrégation demodèles...) et outils graphiques, conduisent au développement et à la commercialisation de logiciels généraux, ou spécifiques à des métiers, qui intègrent
un sous-ensemble de méthodes statistiques et algorithmiques plus ou moins
exhaustif.

Quelles sont les compétences nécessaires à la mise en œuvre de tels
logiciels pour analyser, modéliser, interpréter des corpus de donnéesde plus en plus complexes et volumineux produits par une entrepriseou un laboratoire ?
Les enjeux sont en effet majeurs ; les résultats influent directement sur lesprises de décision du management ou la validation de résultats scientifiques etleur valorisation par des publications.

2

Terminologie

Le travail du statisticien est d’abord un travail de communication avec desreprésentants d’autres disciplines ou d’autres métiers. Ceci nécessite beaucoup
de rigueur et donc de précision dans l’emploi des mots et concepts lorsqu’ils’agit de traduire en phrases intelligibles des résultats numériques ou graphiques. En effet, de ces interprétations découleront des prises de décision.

2.1

Statistique, statistiques, statistique

Le mot statistiques avec un "s" est apparu au XVIIIème siècle pour désigner des quantités numériques : des tables ou états, issus de techniques dedénombrement et décrivant les ressources économiques (impôts...), la situation démographique (conscription...), d’un pays. La Statistique est une sousdiscipline des Mathématiques qui s’est développée depuis la fin du XIXème
siècle notamment à la suite des travaux de l’école anglaise (K. Pearson, W.
Gosset (Student), R. Fisher, J. Neyman...). Une statistique est une quantité définie par rapport à un modèle (i.e. une statistique de test) permettant d’inférer
sur son comportement dans une situation expérimentale donnée.

2.2

Statistique descriptive, inférentielle et apprentissage

De manière approximative, il est possible de classer les méthodes statisUne question émerge alors de façon très présente ; elle est fondamentale tiques en trois groupes : celui des méthodes descriptives, celui des méthodes
Page 5 sur 104

06/14

2

Statistique : Introduction

Individu ω ∈ Ω (ou unité statistique) : tout élément de la population.

inférentielles et celui récent de l’apprentissage.
• La Statistique descriptive regroupe les méthodes dont l’objectif princi-

pal est la description des données étudiées ; cette description des données
se fait à travers leur présentation (la plus synthétique possible), leur représentation graphique, et le calcul de résumés numériques. Dans cetteoptique, il n’est pas fait appel à des modèles probabilistes. On notera queles termes de statistique descriptive, statistique exploratoire et analyse desdonnées sont quasiment synonymes.
• La statistique inférentielle. Ce terme regroupe les méthodes dont l’objectif principal est de préciser un phénomène sur une population globale,à partir de son observation sur une partie restreinte de cette population,l’échantillon. Il s’agit donc d’induire (ou encore d’inférer) du particulier au général avec un objectif principalement explicatif. Ce passage nepeut se faire qu’aux moyens de modèles et d’hypothèses probabilistes.
Les termes de statistique inférentielle, statistique mathématique, et statistique inductive sont eux aussi quasiment synonymes.
• L’apprentissage statistique est issu de l’interface entre deux disciplines :Statistique et Machine Learning (apprentissage machine). L’objectif est
principalement la construction d’un modèle statistique traditionnel ou
algorithmique sans nécessairement d’hypothèse probabiliste, en privilégiant la prévision d’une variables qualitative (discrimination ou classification supervisée) ou quantitative (régression). Le contexte est souvent
celui de données de grandes dimensions avec comme défi majeur le cas où
le nombre de variables explicatives p est considérablement plus importantque le nombre n d’observations ou taille de l’échantillon dit d’apprentissage.

Échantillon : sous–ensemble de la population sur lequel sont effectivement
réalisées les observations.
Taille de l’échantillon n : cardinal du sous-ensemble correspondant.
Enquête (statistique) : opération consistant à observer (ou mesurer, ou questionner. . . ) l’ensemble des individus d’un échantillon.
Recensement : enquête dans laquelle l’échantillon observé est la population
tout entière (enquête exhaustive).
Sondage : enquête dans laquelle l’échantillon observé est un sous–ensemble
strict de la population (enquête non exhaustive).
E si qualitative
X
Variable (statistique) : Ω 7−→
R si quantitative
caractéristique (âge, salaire, sexe, glycémie. . . ), définie sur la population
et observée sur l’échantillon ; mathématiquement, il s’agit d’une application définie sur l’échantillon. Si la variable est à valeurs dans R (ou unepartie de R, ou un ensemble de parties de R), elle est dite quantitative(âge, salaire, taille. . . ) ; sinon elle est dite qualitative (sexe, catégorie socioprofessionnelle. . . ). Si les modalités d’une variables qualitatives sontordonnées (i.e. tranches d’âge), elle est dite qualitative ordinale et sinon
qualitative nominale.

Données (statistiques) : ensemble des individus observés (échantillon), desvariables considérées, et des observations de ces variables sur ces individus. Elles sont en général présentées sous forme de tableaux (individus enlignes et variables en colonnes) et stockées dans un fichier informatique.
Lorsqu’un tableau ne comporte que des nombres (valeurs des variables
D’un point de vue méthodologique, la statistique descriptive précède la staquantitatives ou codes associés aux variables qualitatives), il correspondtistique inférentielle ou l’apprentissage statistique dans une démarche de traià la notion mathématique de matrice.
tement de données : ces différents aspects de la statistique se complètent bienplus qu’ils ne s’opposent une fois que le ou les objectifs : descriptif, explicatif,
3 Démarche du statisticien
prédictif sont explicités.
Le crédo de l’enseignant de statistique consiste à répéter inlassablement : un
Le vocabulaire de la Statistique :statisticien (ou les compétences qu’il représente) doit être associé préalablePopulation Ω (ou population statistique) : ensemble (au sens mathématique ment à une étude, des expérimentations, une enquête... De la qualité du recueil
du terme) concerné par une étude statistique. On parle parfois de champ et de l’organisation des données dépendra bien évidemment la pertinence desde l’étude.
résultats de l’analyse. Plusieurs questions sont préalables :Page 6 sur 104

06/14

3

3.1

Statistique : Introduction

Expérimentation

trop complexe, pas assez “parcimonieux”. Une quantité impressionnante de• Quelle est la question biologique, sociologique, épidémiologique à la- méthodes ont été développées ces dernières années sans qu’il soit possible dequelle je veux apporter une réponse ? En particulier, quel est l’objectif déterminer, a priori, celle qui conduira aux meilleures prévisions sur le problème et les données étudiées.
(descriptif, explicatif, prédictif ou une combinaison) ?
• Quelle est la population étudiée ?
• Comment planifier des expériences ou des recueils d’informations dansdes bases pré-existantes ?
• Quels sont les échantillons ?
• Précision des conditions expérimentales• Observations et mesures

3.2

Quel logiciel ?

Deux logiciels sont privilégiés : l’un commercial SAS car le plus répandu
et le plus demandé dans les offres d’emplois ; l’autre, R, en distribution libre(licence GNU) comme outil de développement des dernières avancées méthodologiques du monde universitaire.

Exploration pour un objectif descriptif

4.1

Cette étape est de toute façon un préalable à tout autre objectif. Les données
recueillies sont elles de qualité suffisante ? Sont-elles bien exemptes de biais
ou artefacts expérimentaux ? Leurs grandes structures (groupes, corrélations...)sont-elles en accord avec les connaissances acquises sur le sujet ?
• Valeurs manquantes, erronées ou atypiques,• Modalités trop rares,• Distributions “anormales”,• Incohérences, liaisons non linéaires,• Transformations, imputation, codage...

3.3

4

Décision pour un objectif explicatifSAS

Mis à part le module SAS/IML de langage matriciel très peu utilisé, SAS
est un logiciel de type "boîte noire" superposant des couches basses, pour lesquelles l’utilisateur écrit des lignes de code dans une syntaxe complexe, et desinterfaces graphiques conviviales (SAS/INSIGHT, SAS User Guide, Sas Enterprise Miner...). Sa diffusion est telle qu’il apparaît en situation de quasi monopole dans certaines branches d’activité comme l’industrie pharmaceutique.
Paradoxalement, sa complexité et son coût sont des atouts pour l’emploi destatisticiens indispensables à sa bonne utilisation et donc à sa rentabilisation.
Son apprentissage est incontournable.

4.2

R

Telle variable ou tel facteur a-t-il une influence sur la variable d’intérêt ? Le
modèle théorique est-il en accord avec les résultats expérimentaux ?
• Explicitation de l’hypothèse statistique répondant à la question biologique,• Détermination du modèle statistique correspondant,• Estimation des paramètres du modèle et calcul de la statistique de test,• Prise de décision : rejet ou acceptation de l’hypothèse.

A l’opposé et à l’exception des traitements les plus rudimentaires pilotés
par menu, R est avant tout un langage de programmation pour la manipulation des objets du statisticien : vecteurs, matrices, bases de données, liste derésultats, graphiques. D’un point de vue pédagogique, sa mise en œuvre oblige
à l’indispensable compréhension des méthodes et de leurs limites. Il force à
admettre qu’il ne suffit pas d’obtenir des résultats, il faut leur donner du sens.
Rien ne nous semble en effet plus dangereux que des résultats ou des gra3.4 Apprentissage pour un objectif prédictif
phiques obtenus à l’aide de quelques clics de mulot dont ni les techniques, ni
les options, ni leurs limites ne sont clairement explicitées ou contrôlées par
Un modèle explicatif construit dans l’étape précédente peut être un bon canl’utilisateur. Il est par ailleurs risqué de se laisser enfermer par les seules médidat comme modèle prédictif mais pas nécessairement. Paradoxalement, un
thodes et options offertes par “un” logiciel. En pratique, le ré-agencement ou
modèle “vrai” n’est pas nécessairement un “meilleur” modèle prédictif s’il est
la réorganisation de quelques commandes R offrent une combinatoire très ouPage 7 sur 104

06/14

4

verte de possibilités contrairement à un système clos de menus prédéfinis. Il
offre par ailleurs, grâce à de nombreuses librairies facilement accessibles etcontinuellement mises à jour, un ensemble exhaustif des techniques et de leurs
options ainsi que des interfaces à des gestionnaires de bases de données ou desoutils spécifiques à certaines disciplines (Biologie). Les limitations de R sontd’une part celles d’un langage interprété : lenteur pour l’exécution de boucles(à éviter) et d’autre part la taille des données car elles sont toutes chargées enmémoire.

Statistique : Introductionque faire lorsque les transcriptions (quantités d’ARN messagers) de milliers degènes (les variables statistiques) sont simultanément observées pour seulement
quelques dizaines d’échantillons biologiques ?
La figure : 1 est un exemple original d’emploi de l’analyse canonique (objectif descriptif). Cette méthode permet de mettre en relation deux paquets devariables (gènes et concentrations d’acides gras) observées sur les mêmes individus (souris).

Le jeu de données utilisé provient de l’Unité de Pharmacologie-Toxicologie
de l’INRA de Toulouse. Il concerne 40 souris réparties en 2 génotypes (sauvages et génétiquement modifiées : PPARα déficientes) et 5 régimes alimenEn résumé, il est bien et utile de savoir utiliser ces deux types de logiciels et taires (dha, efad, lin, ref, tsol). Le plan est équilibré complet : quatre souris paril est important de comprendre que l’apprentissage syntaxique d’un logiciel est combinaison des deux facteurs.
indispensable mais secondaire. Une fois les méthodes comprises et appréhendha régime enrichi en acides gras de la famille Oméga 3 et particulièrementdées, il est techniquement facile de passer d’un logiciel à l’autre, leurs foncen acide docosahexaénoïque (DHA), à base d’huile de poisson ;tionnalités étant structurellement les mêmes. La difficulté principale ne réside
efad (Essential Fatty Acid Deficient) : régime constitué uniquement d’acides
pas dans l’obtention de sorties ou résultats mais dans leur compréhension.
gras saturés, à base d’huile de coco hydrogénée ;4.3

Quel choix ?

5

Domaines d’application

lin régime riche en Oméga 3, à base d’huile de lin ;Toutes les méthodes et techniques utilisées nécessitent d’être illustrées sur
des exemples simples ou "académiques", pour ne pas dire simplistes, afin d’encomprendre les fondements. Néanmoins, leur apprentissage effectif requiert
leur utilisation effective sur des jeux de données en vraie grandeur, issus dedifférents domaines d’applications. Ce n’est qu’à cette condition que peuventêtre appréhendées les difficultés de mise en œuvre, les limites, les stratégies
d’interprétation mais aussi la grande efficacité de ces outils.
Ils sont tirés des principaux domaines d’application de la Statistique.

5.1

ref régime dont l’apport en Oméga 6 et en Oméga 3 est adapté des Apports
Nutritionnels Conseillés pour la population française, soit sept fois plus
d’Oméga 6 que d’Oméga 3 ;tsol riche en Oméga 6, à base d’huile de tournesol.
Les expressions des gènes ainsi que des concentrations de 21 acides gras sontmesurées au niveau du foie après euthanasie. Ce jeu de données aux problématiques statistiques très riches est très souvent repris tout au long des présentations des différentes méthodes.

5.2

Sciences de la Vie

Depuis les travaux pionniers de Sir Ronald Fisher, les disciplines desSciences de la Vie ont toujours motivé les développements de la Statistique :modèles de durée de vie, modèles épidémiologiques, dynamique de population... Les techniques de séquençage et les technologies d’instrumentation à
haut débit (transcriptomique, protéomique, métabolomique...) viennent renforcer lourdement cette tendance en posant des défis redoutables au statisticien :Marketing

La prospection ou fouille de données (data mining) est une appellation issue
des services marketing spécialisés dans la gestion de la relation client (GRC)(client relation management ou CRM). Elle désigne un ensemble de techniques
statistiques souvent regroupées dans un logiciel spécialement conçu à cet effet
et vendu avec un slogan racoleur (SAS Enterprise Miner) :Comment trouver un diamant dans un tas de charbon sans se salir
les mains.

Page 8 sur 104

06/14

1.0

5

C22.6n.3

0.0
−1.0

−0.5

Dimension 2

0.5

C20.5n.3
GSTpi2 CYP3A11
C22.5n.3
CYP2c29
C18.0
G6PaseCYP4A14
SPI1.1CYP4A10
GSTmu
C20.3n.3
C18.2n.6
TpalphaPMDCI
mHMGCoASCBSAOX C16.0
C18.3n.3
C16SR
PECI THIOL
IL.2 PPARd
THB
MCAD
TpbetaC20.3n.6GSTa
Pex11a LCE BACT
apoE
HPNCL
ACOTH
BIEN
CACP
ACAT1
CAR1
ALDH3
M.CPT1PXR
i.BABP
PPARg
L.FABP
apoB
X36b4
OCTN2
CPT2
Waf1
ACBP
ACAT2
CIDEA
CYP26
RXRb2
i.BAT
SHP1
MDR1
LXRb
TRa
C20.2n.6PON
cMOAT BSEP
PAL CYP8b1
LPL
mABC1
CYP27b1
VLDLr
CYP2b10
FXR
MTHFR
NURR1
ADISP
MRP6 Lpin2 FAS
ACC1SIAT4cRXRa
GS
AM2R
Lpin
ap2COX1
C20.4n.6
Lpin3
CYP27a1
apoC3
Lpin1
LXRa
C20.1n.9
Bcl.3
hABC1
LPK
PDK4
TRb
NGFiB
C22.4n.6
CYP7a
MS
MDR2
RXRg1
GK
PPARa
CYP2b13
RARa
ADSS1
UCP3
RARb2
C22.5n.6
COX2
CYP24
VDR
c.fos
eif2g
i.NOS
apoA.I
UCP2
C18.3n.6
FDFT
SR.BIFAT G6PDH
Ntcp
i.FABP cHMGCoAS
LDLr
S14
C14.0
C20.3n.9
C16.1n.9 C16.1n.7
ACC2HMGCoAred
PLTP
C18.1n.9
C18.1n.7

−1.0

−0.5

0.0

0.5

1.0

Dimension 1

dha

0.2

WT
PPARα

dha
dha
dha

lin

0.0

lin

tsol

lin
lin tsol
tsol

−0.2

−0.1

Dimension 2

0.1

dha

dha
dha
dha linlin linrefrefrefreflintsol refrefefad
refref
efad

tsol
tsol
tsol
tsol

efad

efad
efad
efad
efad

efad

−0.4

−0.3

−0.2

−0.1

0.0

Dimension 1

0.1

0.2

Statistique : Introduction

Les entreprises commerciales du tertiaire (banques, assurances, téléphonie,
marketing directe, publipostage, ventes par correspondance...) sont en effet très
motivées pour tirer parti et amortir, par une aide à la décision quantifiée, lescoûts de stockage des téraoctets que leur service informatique s’emploie à administrer.
Le contexte informationnel de la fouille de données est celui des data warehouses. Un entrepôt de données, dont la mise en place est assurée par un gestionnaire de données (data manager), est un ensemble de bases relationnelles
extraites des données brutes de l’entreprise et relatives à une problématique.
Chaque banque, assurance... dispose d’un fichier client qui, pour des raisonscomptables, enregistre tous leurs mouvements et comportements. Les données
anonymes en provenance d’une banque décrivent tous les soldes et produits financiers (emprunt, contrats d’assurance vie...) détenus par les clients ainsi quel’historique mensuel des mouvements, nombre d’opérations, de jours à découvert... La base initiale étudiée comprend 1425 clients décrits par 32 variables
explicitées dans une vignette décrivant les données.
Le graphique représenté est un grand classique du marketing bancaire.
L’objectif (descriptif) de statistique multidimensionnelle est de construire desclasses ou segments de clients homogènes quant à leur comportement bancaire.
Une fois les classes construites et l’ensemble des clients affectés, l’agent commercial sait quel langage adopter, quels produits proposer au client qu’il a en
face de lui. Après une analyse factorielle des correspondances multiples, lesclients caractérisés par leur nouvelles coordonnées sont regroupés en classes
dont l’explicitation est facilitée par la représentation des modalités de cesclasses dans le plan factoriel de l’analyse des correspondances multiples (figure 2). Un autre objectif (apprentissage) est abordé sur ces mêmes données
pour la recherche de scores d’appétences ou d’attrition. Les applications marketing sont très nombreuses (intérêts de certains clients pour des produits financiers, risque pour d’autres clients de changer de fournisseur en téléphonie).
Elles le sont également dans les applications financières : risque de défaut depaiement d’un client, de ruine d’une entreprise.

F IGURE 1 – Souris : premier plan des facteurs canoniques : représentation 5.3 Industrieconjointe des relations gènes et acides gras puis des souris selon le génotype
Pour des raisons culturelles et historiques trop longues à développer (culture
et le régime suivi.
déterministe des Écoles d’ingénieurs...), la Statistique a une place très miPage 9 sur 104

06/14

6

Statistique : Introduction

neures dans l’industrie française sauf en cas d’obligation légale : essais cliniques pour l’autorisation de mise sur le marché des médicaments, contrôlede qualité et fiabilité des matériaux pour la conformité aux normes ISO... La
Statistique est ainsi plus vécue comme une contrainte, un contrôle, que comme
une aide à la décision. D’autre part, les exemples développés dans le cadrede thèses sont, outre les questions de confidentialité, souvent trop complexesà expliciter pour s’adapter à la simple illustration de ce cours. Néanmoins, ilfaut être conscient que chacune des techniques abordées, en particulier celles
de biostatistique, se transposent directement : durée de vie et fiabilité des matériaux, fouille de données et traçabilité pour la détection de défaillances... Lecontexte est souvent techniquement très complexe en terme de modélisation
physique mais plus favorable sur le plan statistique, du fait notamment d’unplus grand nombre d’observations que dans le domaine de la santé.

5.4

Big Data

Les entreprises industrielles sont actuellement confrontées à la même situation que celles du tertiaire il y a vingt ans : afflux automatique et stockage
massif de données. La situation et donc les métiers de la Statistique évoluent
considérablement dans ce domaine. Après une période où la question principale est : comment organiser et structurer les matériels et bases de données, laquestion suivante est : que faire, quelles analyses développées pour les valoriser et aider à la décision ? Prospection numérique dans l’industrie pétrolière,
web mining des sites marchands en pleine explosion, utilisation massive desrepérages GPS de flottes de véhicules, bâtiments intelligents bardés de capteurs, imagerie 3D... Les applications et problèmes nécessitent en plus, par
F IGURE 2 – Banque : représentation des classes de clients, w1 à w5, dans le rapport au data mining maintenant classique, une réflexion approfondie sur les
structures de données : fonctions, surfaces, graphes...
premier plan factoriel de l’analyse des correspondances multiples

6

Quelles compétences ?

Les compétences acquises doivent permettre de répondre avec assurance aux
questions suivantes ou alors conduire à une proposition de redéfinition de la
problématique envisagée si celle-ci est trop mal engagée.
• Quelle est précisément la question posée ?
• Quelle méthode utiliser avec quelles limites ?
• Comment la mettre en œuvre ?
Page 10 sur 104

06/14

7

Statistique : Introduction• Comprendre les sorties du logiciel utilisé.
• Quelle décision ?

Un argument tendancieux, pour ne pas dire fallacieux, est souvent avancé :il n’est pas besoin d’être mécanicien pour conduire une voiture. C’est vrai,
il n’est pas nécessaire d’être informaticien pour utiliser un ordinateur. En revanche, toute étude statistique nécessite des choix fondamentaux : transformation des données, sélection de variables, choix de méthodes, valeurs des options et paramètres de ces méthodes... qu’il n’est pas prudent de laisser faire,
par défaut, au logiciel utilisé. Ces choix ne sont pas anodins et autrement plus
difficiles à déterminer que le choix du carburant dans une voiture. Ils doiventêtre conduits en connaissance de cause par opposition à une stratégie de Shadok (cf. figure 3) qui est un mode d’apprentissage de type "jeux vidéos" :exclusivement par essais — erreurs. Elles est utile, mais pas en toute circonstance, car il ne suffit pas d’obtenir un résultat pour qu’il soit pertinent ou mêmesimplement juste.

F IGURE 3 – Shadok : devise numéro 1

Page 11 sur 104

06/14

1

Statistique descriptive unidimensionnelle

Statistique descriptive unidimensionnelle 1.1 Démarche

Résumé
Les objectifs et la démarche d’un première exploration d’un jeu
de données, les outils de la description statistique d’une variable
quantitative (indicateur de tendance centrale, de dispersion, histogramme, diagramme-boîte), puis d’une variable qualitative (fréquences).
Retour au plan.

1

Introduction

l’objectif des outils de Statistique descriptive élémentaire est de fournir desrésumés synthétique de séries de valeurs, adaptés à leur type (qualitatives ou
quantitatives), et observées sur une population ou un échantillon.

Toute étude sophistiquée d’un corpus de données doit être précédée d’uneétude exploratoire à l’aide d’outils, certes rudimentaires mais robustes, en privilégiant les représentations graphiques. C’est la seule façon de se familiariser
avec des données et de dépister les sources de problèmes :• valeurs manquantes, erronées ou atypiques, biais expérimentaux,• modalités trop rares,• distributions “anormales” (dissymétrie, multimodalité, épaisseur desqueues),• incohérences, liaisons non linéaires.
• ...
C’est ensuite la recherche de prétraitements des données afin de corriger lessources de problèmes et les rendre exploitables par des techniques plus sophistiquées :• transformation : logarithme, puissance, réduction, rangs. . . des variables,• codage en classe ou recodage de classes,• imputations ou non des données manquantes,• lissage, décompositions (ondelettes, Fourier) de courbes,
Ensuite, les techniques exploratoires multidimensionnelles permettent des• représentations graphiques synthétiques,• réductions de dimension pour la compression ou le résumé des données,• recherches et représentations de typologies des observations.

Dans le cas d’une seule variable, Les notions les plus classiques sont cellesde médiane, quantile, moyenne, fréquence, variance, écart-type définies parallèlement à des représentations graphiques : diagramme en bâton, histogramme,
diagramme-boîte, graphiques cumulatifs, diagrammes en colonnes, en barre ou 1.2 Avertissement
en secteurs.
Attention le côté rudimentaire voire trivial des outils de statistique descripDans le cas de deux variables, on s’intéresse à la corrélation, au rapport tive uni et bidimensionnelle ne doit pas conduire à les négliger au profit d’unede corrélation ou encore à la statistique d’un test du χ2 associé à une table mise en œuvre immédiate de méthodes beaucoup plus sophistiquées, donc
de contingence. Ces notions sont associées à différents graphiques comme le beaucoup plus sensibles aux problèmes cités ci-dessus. S’ils ne sont pas prisnuage de points (scatterplot), les diagrammes-boîtes parallèles, les diagrammes en compte, ils réapparaîtront alors comme autant d’artefacts susceptibles dedénaturer voire de fausser toute tentative de modélisation.
de profils ou encore en mosaïque.
Les définitions de ces différentes notions se trouvent dans n’importe quel ouvrage élémentaire de Statistique, nous nous proposons simplement de rappelerdans ce chapitre certains outils moins classiques mais efficaces et présents dansla plupart des logiciels statistiques. Cela nous permettra également d’illustrer
les premières étapes descriptives à réaliser sur un jeu de données.

Plus précisément, les méthodes descriptives ne supposent, a priori, aucun
modèle sous-jacent, de type probabiliste. Ainsi, lorsque l’on considère un ensemble de variables quantitatives sur lesquelles on souhaite réaliser une Analyse en Composantes Principales, il n’est pas nécessaire de supposer que ces
variables sont distribuées selon des lois normales. Néanmoins, l’absence dePage 12 sur 104

06/14

2

Statistique descriptive unidimensionnelle

xl
24
26
29
31
33
37
38
41
43
45
46
49
50
52
57
59
60
62

données atypiques, la symétrie des distributions sont des propriétés importantes des séries observées pour s’assurer de la qualité et de la validité desrésultats.
Le déroulement pédagogique linéaire ne doit pas faire perdre de vue quela réalité d’une analyse est plus complexe et nécessite différentes étapes enboucle afin, par exemple, de contrôler l’influence possible des choix parfois
très subjectifs opérés dans les étapes de normalisation ou transformation desdonnées pour éventuellement les remettre en cause.

2

Variable quantitative

2.1

Variable quantitative discrète

nl
1
2
3
2
4
2
4
3
3
1
6
3
1
3
5
2
2
1

Nl
1
3
6
8
12
14
18
21
24
25
31
34
35
38
43
45
47
48

fl (%)
2,08
4,17
6,25
4,17
8,33
4,17
8,33
6,25
6,25
2,08
12,50
6,25
2,08
6,25
10,42
4,17
4,17
2,08

Fl (%)
2,08
6,25
12,50
16,67
25,00
29,17
37,50
43,75
50,00
52,08
64,58
70,83
72,91
79,16
89,58
93,75
97,92
100,00Introduction
TABLE 1 – Effectifs, effectifs cumulés, fréquences et fréquences cumulées.
En général, on appelle variable quantitative discrète une variable quantitative ne prenant que des valeurs entières (plus rarement décimales). Le nombre
de valeurs distinctes d’une telle variable est habituellement assez faible (sauf appelées effectifs et notées n . Les effectifs n sont souvent remplacés par lesll
exception, moins d’une vingtaine). Citons, par exemple, le nombre d’enfants quantités f = nl , appelées fréquences (rappelons que n désigne le nombrelnPrdans une population de familles, le nombre d’années d’études après le bac dans total d’observations,c’est–à–dire le cardinal de Ω : n =l=1 nl ).
une population d’étudiants. . .
On a noté l’âge (arrondi à l’année près) des 48 salariés d’une entreprise ; la série statistique brute est donnée ci-dessous (il s’agit dedonnées fictives).
43 29 57 45 50 29 37 59 46 31 46 24 33 38 49 31
62 60 52 38 38 26 41 52 60 49 52 41 38 26 37 59

Les effectifs cumulés et les fréquences cumulées Il peut être utile de compléter le tableau statistique en y rajoutant soit les effectifs cumulés, soit lesfréquences cumulées. Ces quantités sont respectivement définies de la façon
suivante :
l
l
X
X
Nl =
nj et Fl =
fj .
j=1

57 41 29 33 33 43 46 57 46 33 46 49 57 57 46 43

j=1

On notera que Nr = n et Fr = 1.

Présentation des données
Le tableau statistique C’est un tableau dont la première colonne comporte l’ensemble des r observations distinctes de la variable X ; ces observations sont rangées par ordre croissant et non répétées ; nous les noterons{xl ; l = 1, . . . , r}. Dans une seconde colonne, on dispose, en face de chaquevaleur xl , le nombre de réplications qui lui sont associées ; ces réplications sontIllustration Dans le tableau statistique (1), on a calculé, sur les données présentées dans l’exemple 2.1, les effectifs, effectifs cumulés, fréquences et fréquences cumulées.
Remarque. —Page 13 sur 104

06/14

3

Statistique descriptive unidimensionnelle• Comme c’est le cas ci-dessus, les fréquences sont souvent exprimées en

pourcentages.
• Le choix entre effectifs (resp. effectifs cumulés) et fréquences (resp. fré-

quences cumulées) est très empirique ; il semble naturel de choisir leseffectifs lorsque l’effectif total n est faible et les fréquences lorsqu’il est
plus important ; la limite approximative de 100 paraît, dans ces conditions,assez raisonnable.
La présentation tige–et–feuille (ou “stem–and–leaf”) Cette façon particulière de présenter les données est assez commode, dans la mesure où ellepréfigure déjà un graphique. Elle est illustrée ci–dessous sur le même exemple
que précédemment.
2
3
4
5
6

F IGURE 1 – Diagramme en bâtons

466999113333778888
1113335666666999
02227777799
002

Elle consiste donc, dans la présentation des données, à séparer la partie desdizaines de celle des unités. En face de la partie des dizaines, chaque unité
est répétée autant de fois qu’il y a d’observations de la valeur correspondante.
Bien entendu, cette présentation doit être adaptée de façon appropriée lorsqueles données sont d’un autre ordre de grandeur.

F IGURE 2 – Diagramme cumulatif

Représentations graphiques
Pour une variable discrète, on rencontre essentiellement deux sortes de re- d’observations inférieures ou égales à une valeur donnée de la série. Lorsqu’il
présentations graphiques, qui sont en fait complémentaires : le diagramme en est relatif aux fréquences, c’est en fait le graphe de la fonction de répartition
bâtons et le diagramme cumulatif (en escaliers).
empirique FX définie de la façon suivante :Le diagramme en bâtons Il permet de donner une vision d’ensemble desobservations réalisées. La figure 1 donne le diagramme en bâtons des données
de l’exemple 2.1.


 0
Fl
FX (x) =1

si x < x1 ,si xl ≤ x < xl+1 ,si x ≥ xr .

l = 1, . . . , r − 1,

Le diagramme cumulatif Il figure les effectifs cumulés (resp. les fréquences
Le diagramme cumulatif relatif à l’exemple 2.1 est donné par la figure 2.
cumulées) et permet de déterminer simplement le nombre (resp. la proportion)
Page 14 sur 104

06/14

4

Statistique descriptive unidimensionnelle

Notion de quantile
Définition La fréquence cumulée Fl (0 ≤ Fl ≤ 1) donne la proportion d’observations inférieures ou égales à xl . Une approche complémentaire consisteà se donner a priori une valeur α, comprise entre 0 et 1, et à rechercher xα
vérifiant FX (xα ) ' α. La valeur xα (qui n’est pas nécessairement unique)est appelée quantile (ou fractile) d’ordre α de la série. Les quantiles les plus
utilisés sont associés à certaines valeurs particulières de α.
La médiane et les quartiles La médiane est le quantile d’ordre 12 ; elle partage donc la série des observations en deux ensembles d’effectifs égaux. Le
premier quartile est le quantile d’ordre 14 , le troisième quartile celui d’ordre 43(le second quartile est donc confondu avec la médiane).
F IGURE 3 – Diagramme-boîte et moyenne en rouge
Les autres quantiles Les quintiles, déciles et centiles sont égalementd’usage assez courant.
• la médiane,• la moyenne (ou moyenne arithmétique).

Le diagramme-boîte (ou “box–and–whisker plot”) Il s’agit d’un graphique très simple qui résume la série à partir de ses valeurs extrêmes, de ses Formule de la moyenne pour une variable quantitative discrète :quartiles et de sa médiane. La figure 3 donne le diagramme–boîte de l’exemple
2.1. Dans cet exemple, on a obtenu x 14 = 35, x 12 = 44 et x 34 = 52 ; on norrX
1X
tera que l’obtention, d’une part de x 14 et x 12 , d’autre part de x 43 , ne s’est pasx =n l xl =fl xl .
nfaite de la même façon (en fait, avec une variable discrète, la détermination
l=1
l=1
des quantiles est souvent approximative comme on peut le constater avec cet
exemple).
Caractéristiques numériques

Dispersion Elles servent à préciser la variabilité de la série, c’est–à–dire à
Les caractéristiques (ou résumés) numériques introduites ici servent à syn- résumer l’éloignement de l’ensemble des observations par rapport à leur tenthétiser la série étudiée au moyen d’un petit nombre de valeurs numériques. On dance centrale.
distingue essentiellement les caractéristiques de tendance centrale (ou encore• L’étendue (xr − x1 ),de position ou de localisation) et les caractéristiques de dispersion.
• l’intervalle inter-quartiles (x 3 − x 1 ),4
4Pr
• l’écart-moyen à la médiane ( n1l=1 nl xl − x 21 ),Tendance centrale Leur objectif est de fournir un ordre de grandeur de laPr1• l’écart-moyen à la moyenne ( n l=1 nl |xl − x|),série étudiée, c’est–à–dire d’en situer le centre, le milieu. Les deux caractéristiques les plus usuelles sont :sont des caractéristiques de dispersion que l’on rencontre parfois.
Page 15 sur 104

06/14

5

Statistique descriptive unidimensionnelle

Mais, la caractéristique de loin la plus utilisée est l’écart–type, racine carrée
En général, les deux raisons principales qui peuvent amener à considérer
positive de la variance. Formules de la variance :comme continue une variable quantitative sont le grand nombre d’observations distinctes (un traitement en discret serait dans ce cas peu commode) etrXle caractère “sensible” d’une variable (il est moins gênant de demander à des1
2
var(X) = σX=nl (xl − x)2
individus leur classe de salaire que leur salaire précis). Deux exemples de vanl=1
riables quantitatives fréquemment considérées comme continues sont l’âge etr
1X
le revenu (pour un groupe d’individus).
22=
nl (xl ) − (x) .
nNous noterons (b0 ; b1 ),. . . ,(br−1 ; br ) les classes considérées. Les nombres
l=1

bl−1 et bl sont appelés les bornes de la lième classe ; bl−12+ bl est le centre decette classe et (bl − bl−1 ) en est l’amplitude (en général notée al ).

L’écart–type de X sera donc noté σX .

Présentation des données
Illustration En utilisant toujours l’exemple 2.1, on a calculé :On utilise encore un tableau statistique analogue à celui vu au paragraphe
précédent, en disposant dans la première colonne les classes rangées par ordre
croissant. Les notions d’effectifs, de fréquences, d’effectifs cumulés et de fréquences cumulées sont définies de la même façon que dans le cas discret. On
notera que l’on n’utilise pas dans ce cas la présentation tige–et–feuille car lesvaleurs exactes de la série sont inconnues.

r

x

=

2094
1X
n l xl == 43, 625 ' 43, 6 ans ;
n
48
l=1

2
σX

σX

r
1X

nl (xl )2 − (x)2 =nl=1
q
2 ' 10, 5 ans.
=
σX

=

96620
− (43, 625)2 ' 109, 7760 ;48

Remarque. — Toutes les caractéristiques numériques introduites ici (médiane,moyenne, variance, écart–type...) sont dites empiriques, c’est–à–dire calculées
sur un échantillon Ω ; par opposition, on parle, par exemple, de moyenne théorique (ou espérance mathématique) pour désigner le concept de moyenne relatif à une variable aléatoire réelle.

2.2

Le tableau ci-dessous donne, pour l’année 1987, la répartition desexploitations agricoles françaises selon la SAU (surface agricole
utilisée) exprimée en hectares (Tableaux Économiques de Midi–
Pyrénées, INSEE, 1989, p. 77) ; la SAU est ici une variable quantitative continue comportant 6 classes.

Variable quantitative continue

SAU (en ha)
moins de 5
de 5 à 10
de 10 à 20
de 20 à 35
de 35 à 50
plus de 50

fréquences (%)
24,0
10,9
17,8
20,3
10,2
16,8

Généralités
Représentations graphiques
Une variable quantitative est dite continue lorsque les observations qui lui
Les deux graphiques usuels remplaçant respectivement dans ce cas le diasont associées ne sont pas des valeurs précises mais des intervalles réels. Cela
signifie que, dans ce cas, le sous–ensemble de R des valeurs possibles de la gramme en bâtons et le diagramme cumulatif sont l’histogramme et la courbe
cumulative.
variable étudiée a été divisé en r intervalles contigus appelés classes.
Page 16 sur 104

06/14

6

Statistique descriptive unidimensionnelle

F IGURE 5 – Histogramme (classes d’effectifs égaux) des répartitions des SAU

F IGURE 4 – Courbe cumulative
Courbe cumulative C’est encore une fois le graphe de la fonction de répartition empirique, cette dernière devant maintenant être précisée au moyend’interpolations linéaires.
On appelle fonction de répartition empirique de la variable continue X lafonction FX définie par :si x < b0 ,
 0
fl
F
+
(x
−
b
)
si
bl−1 ≤ x < bl ,FX (x) =l−1
l−1
bl −bl−1
1
si x ≥ br

l = 1, . . . , r,fX (x) = 0flbl −bl−10

si x < b0 ,si bl−1 < x < bl ,si x ≥ br .

l = 1, . . . , r,

Le graphe de fX est alors appelé histogramme de la variable X. Un histogramme est donc la juxtaposition de rectangles dont les bases sont les amplitudes des classes considérées (al = bl − bl−1 ) et dont les hauteurs sontflles quantités bl −b, appelées densités de fréquence. L’aire du lième rectangle
l−1
vaut donc fl , fréquence de la classe correspondante.
L’histogramme correspondant aux données de l’exemple 2.2 est présenté
dans la figure 5.

(on a supposé F0 = 0).
La courbe cumulative relative à l’exemple 2.2 est donnée par la figure 4. On
notera que dans cet exemple, comme c’est souvent le cas avec une variable
quantitative continue, il a fallu fixer arbitrairement la borne inférieure de lapremière classe (il était naturel ici de prendre b0 = 0) ainsi que la borne supérieure de la dernière classe (on a choisi b6 = 200, mais d’autres choix étaientpossibles).

Estimation fonctionnelle La qualité de l’estimation d’une distribution par
un histogramme dépend beaucoup du découpage en classe. Malheureusement,plutôt que de fournir des classes d’effectifs égaux et donc de mieux répartir
l’imprécision, les logiciels utilisent des classes d’amplitudes égales et tracentdonc des histogrammes parfois peu représentatifs. Ces 20 dernières années, àla suite du développement des moyens de calcul, sont apparues des méthodes
d’estimation dites fonctionnelles ou non-paramétriques qui proposent d’estiHistogramme La fonction de répartition empirique est, dans le cas continu, mer la distribution d’une variable ou la relation entre deux variables par une
une fonction dérivable sauf, éventuellement, aux points d’abscisses b0 , b1 , . . . , fonction construite point par point (noyaux) ou dans une base de fonctions
br . Sa fonction dérivée, éventuellement non définie en ces points, est appelée splines. Ces estimations sont simples à calculer (pour l’ordinateur) mais nédensité empirique de X et notée fX . On obtient :cessitent le choix d’un paramètre dit de lissage. Les démonstrations du caPage 17 sur 104

06/14

7

Statistique descriptive unidimensionnelleractère optimal de ces estimations fonctionnelles, liée à l’optimalité du choix
de la valeur du paramètre de lissage, font appel à des outils théoriques plus
sophistiquées sortant du cadre de ce cours (Eubank, 1988, Silverman, 1986).
L’estimation de la densité par la méthode du noyau se met sous la forme
générale :nx − xi1 X
Kgbλ (x) =nλ i=1λoù λ est le paramètre de lissage optimisée par une procédure automatique qui
minimise une approximation de l’erreur quadratique moyenne intégrée (norme
de l’espace L2 ) ; K est une fonction symétrique, positive, concave, appelée
noyau dont la forme précise importe peu. C’est souvent la fonction densité dela loi gaussienne :F IGURE 6 – Histogramme (classes amplitudes égales) des répartitions des
1
K(t) = √ exp(−t2 /2)âges
et estimation non paramétrique de la densité par la méthode du noyau
2π(en rouge).
qui possède de bonnes propriétés de régularité. Le principe consiste simplement à associer à chaque observation un “élément de densité” de la forme
du noyau K et à sommer tous ces éléments. Un histogramme est une version Illustration
particulière d’estimation dans laquelle l”’élément de densité” est un “petit recLa médiane de la variable présentée dans l’exemple 2.2 se situe dans latangle” dans la classe de l’observation.
classe (10 ; 20), puisque la fréquence cumulée de cette classe (52,7) est la première à dépasser 50. On détermine la médiane en faisant l’interpolation linéaire
Quantiles
suivante (l’indice l ci–dessous désigne en fait la troisième classe) :Les quantiles xα d’une variable continue peuvent être déterminés de façon
directe à partir de la courbe cumulative. Cela signifie que, par le calcul, on
50 − Fl−1
doit commencer par déterminer la classe dans laquelle se trouve le quantile
x 21 = bl−1 + al
cherché, puis le déterminer dans cette classe par interpolation linéaire (voirFl − Fl−1
l’illustration plus loin).
15, 1= 10 + 10
17, 8
Moyenne et écart-type' 18, 5 ha.
La moyenne, la variance et l’écart–type d’une variable continue se déterminent de la même manière que dans le cas discret ; dans les formules, on
La moyenne vaut :doit prendre pour xl les centres de classes au lieu des observations (qui nerX3080, 5
sont pas connues). Les valeurs obtenues pour ces caractéristiques sont donc
' 30, 8 ha.
x=
fl xl =
100
assez approximatives ; cela n’est pas gênant dans la mesure où le choix de trail=1
ter une variable quantitative comme continue correspond à l’acceptation d’une
certaine imprécision dans le traitement statistique.
Remarque. —Page 18 sur 104

06/14

8

Statistique descriptive unidimensionnelle

Dans cet exemple, il convient de noter trois choses :3.2• tout d’abord, pour le calcul de la moyenne, nous avons choisi x6 = 100,

Il est clair qu’on ne peut pas envisager de calculer des caractéristiques numériques avec une variable qualitative (qu’elle soit nominale ou ordinale). Dansl’étude statistique d’une telle variable, on se contentera donc de faire des tableaux statistiques et des représentations graphiques. Encore faut–il noter que
les notions d’effectifs cumulés et de fréquences cumulées n’ont de sens que
pour des variables ordinales (elles ne sont pas définies pour les variables nominales).

plutôt que 125, car cette valeur nous a semblé plus proche de la réalité ;• ensuite, il se trouve que, dans ce cas, on peut calculer la vraie valeur dela moyenne, connaissant la SAU totale en France (31 285 400 ha) et lenombre total d’exploitations agricoles (981 720) ; on obtient 31,9 ha, ce
qui signifie que l’approximation obtenue ici est très correcte ;• enfin, le fait que la médiane soit sensiblement plus faible que la moyenne
caractérise les séries fortement concentrées sur les petites valeurs.

2.3

3.3

Variables quantitatives et logiciels

Traitements statistiques

Représentations graphiques

Les représentations graphiques que l’on rencontre avec les variables qualiLe volume des données et la pratique généralisée des logiciels statistiques tatives sont assez nombreuses. Les trois plus courantes, qui sont aussi les plus
induit une prise en compte particulière des notions précédentes. Par principe, appropriées, sont :le codage des valeurs, mêmes réelles, est toujours discret, et la précision fonc• le diagramme en colonnes,
tion du nombre de chiffres significatifs pris en compte En conséquences, tous
• le diagramme en barre,
les calculs des indicateurs (moyenne, variance, quantile...) sont traités avec
• le diagramme en secteurs.
les formules considérant les valeurs comme connues et discrètes, sans pourLes figures 8, 7 et 9 présentent chacun de ces trois graphiques sur les donautant s’intéresser aux fréquences des valeurs car ces dernières sont généralement distinctes les unes des autres. En revanche, les graphiques produits (his- nées de l’exemple 3.3.
togramme, courbe cumulative mais pas l’estimation fonctionnelle) sont issus
Le tableau ci–dessous donne la répartition de la population activede découpages automatiques en classes d’amplitudes égales, pas toujours trèsoccupée (ayant effectivement un emploi) selon la CSP (catégorie sojudicieux, selon les principes des variables continues.
cioprofessionnelle), en France, en mars 1988 (Tableaux de l’Économie Française, INSEE, 1989, p. 59).

3

Variable qualitative

3.1

Variables nominales et ordinales

Par définition, les observations d’une variable qualitative ne sont pas des valeurs numériques, mais des caractéristiques, appelées modalités. Lorsque ces
modalités sont naturellement ordonnées (par exemple, la mention au bac dans
une population d’étudiants), la variable est dite ordinale. Dans le cas contraire(par exemple, la profession dans une population de personnes actives) la variable est dite nominale.

CSP
1. agriculteurs exploitants
2. artisans, commerçants, chefs d’entreprises
3. cadres, professions intellectuelles supérieures
4. professions intermédiaires
5. employés
6. ouvriers

Page 19 sur 104

effectifs en milliers
1312
1739

fréquences (%)
6,1
8,1

2267

10,6

4327
5815
6049

20,1
27,0
28,1

06/14

9

Statistique descriptive unidimensionnelle

4

Détection de problèmes

Les quelques outils de ce chapitre permettent déjà de se faire une première
idée d’un jeu de données mais surtout, en préalable à toute analyse, ils permettent de s’assurer de la fiabilité des données, de repérer des valeurs extrêmes
atypiques, éventuellement des erreurs de mesures ou de saisie, des incohérences de codage ou d’unité.

F IGURE 7 – Diagramme en colonnes

F IGURE 8 – Diagramme en barre

Les erreurs, lorsqu’elle sont décelées, conduisent naturellement et nécessairement à leur correction ou à l’élimination des données douteuses mais d’autres
problèmes pouvant apparaître n’ont pas toujours de solutions évidentes.
• Le mitage de l’ensemble des données ou absence de certaines valeurs en
fait partie. Faut-il supprimer les individus incriminés ou les variables ?
Faut-il compléter, par une modélisation et prévision partielles, les valeursmanquantes ? Les solutions dépendent du taux de valeurs manquantes,
de leur répartition (sont-elles aléatoires) et du niveau de tolérance desméthodes qui vont être utilisées.
• La présence de valeurs atypiques peut influencer sévèrement des estimations de méthodes peu robustes car basées sur le carré d’une distance. Ces
valeurs sont-elles des erreurs ? Sinon faut-il les conserver en transformant
les variables ou en adoptant des méthodes robustes basées sur des écarts
absolus ?
• Même sans hypothèse explicite de normalité des distributions, il est préférable d’avoir à faire à des distributions relativement symétriques. Unetransformation des variables par une fonction monotone (log, puissance)
est hautement recommandée afin d’améliorer la symétrie de leur distribution ou encore pour linéariser (nuage de points) la nature d’une liaison.

4.1

Marketing bancaire

Les données de patrimoine, de revenu, comme également celles de concentration présente des distributions très disymétriques (figure 10 accompagnées
de nombres importants de valeurs atypiques. Le diagramme boîte est un outil
efficace pour identifier ce problème avant d’y remédier par une transformation
appropriée, ici le logarithme.

F IGURE 9 – Diagramme en secteurs
Page 20 sur 104

06/14

10

Statistique descriptive unidimensionnelle

●

●
●

●

●

●

1

●
●

F IGURE 10 – Banque : La simple transformation (log(50 + x)), de la variable cumulants les avoirs, résout bien les problèmes posés par l’allure “lognormale” de sa distribution avec son cortège de valeurs atypiques.

●
●

●
●

●
●

●
●
●

●

●

●
●
●

●
●
●

●

●

PPAR
●

●

●
●

●
●

●
●

●

●

●

●

●

●

●

●

●

●

0

●

●

●
●

●
●

●

●
●

●

●

●
●

●
●

●

●

●
●

●

●

●

●
●

●
●

●
●
●

●

●
●

●
●
●

●

●

●
●

●
●
●
●

●

●

●

●
●

●
●
●
●

●

●
●

●
●
●

●

●

●
●
●

●
●
●

●

●

●
●

●

●

●
●

●
●

●
●

●

●
●

WT
●

●

●
●

●
●

●

●

●

●
●
●

●
●

●

●
●

●

●

●
●

●
●
●

●
●

●

●

●
●

●

●

●
●

●

●

●

●
●
●
●
●

●

●

●

●
●
●
●
●

●

●
●

●

●
●
●

●
●

●

●

●

●

●
●

●

●
●
●
●

●

●

●

●

●

●
●
●
●
●

●

●

●

●

●

●

●

●

●

●
●

●

●

●

●
●

●

●

●

●
●
●

●

●

●
●
●

4.2

●

●
●
●
●
●

●

●

●
●
●

●

●
●
●

●
●
●
●

●
●
●
●
●
●

●
●
●
●
●

Données génomiques−1

Le diagramme boîte parallèle est également très efficace pour visualiser simultanément les distributions d’un grand nombre de variables, par exemple
de centaines voire de milliers de gènes, dont l’expression a été observée dansdifférentes conditions expérimentales. Dans cet exemple, la représentation des
dha
tsol
dha
tsol
efad
ref
efad
ref
lin
lin
diagrammes en boîtes pour les souris, ordonnées selon le génotype et le régime suivi (Fig. 11) ne donne a priori aucune tendance spécifique sur le com1
3
5
7
9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39
portement de l’ensemble des gènes. Cette représentation atteste de la qualité
40 sourisde la production et de prétraitement des données. En effet, celles-ci ont été recueillies en utilisant une membrane par souris ; ainsi, une quelconque anomalie
sur un support, affectant l’ensemble des mesures relatives à une souris parti- F IGURE 11 – Souris : diagrammes en boîtes pour les 40 souris. La ligne verculière, apparaîtrait nécessairement sur cette représentation. Notons seulement ticale et épaisse sépare les souris selon leur génotype. Les lignes verticales etque quelques gènes atypiques, facilement repérables sur la figure 12 comme les fines séparent les souris selon le régime qu’elles ont suivi. La ligne horizontale
plus sur-exprimés, se retrouvent dans les valeurs extrêmes pour chaque souris représente la médiane de l’ensemble des valeurs.
sur la figure 11.
●
●

●

●

●

●

●

●

●

●

●
●

−2

●

Les diagrammes en boîtes pour chaque gène (Fig. 12) révèlent des gènes
dont l’expression est, sur l’ensemble des souris, nettement différentes desautres (par exemple, 16SR, apoA.I, apoE). Les gènes des ARN ribosomiques comme le 16SR (ARN 16s ribosomique mitochondrial), présentent,
Page 21 sur 104

06/14

●
●

11

Statistique descriptive unidimensionnelle

l’expression est systématiquement supérieure à celle des autres, quelles que
soient les conditions expérimentales. De plus, la variabilité de ces expressions
est, le plus souvent, très faible. Ce constat nous conduit à effectuer un centrage
des gènes (en colonnes), afin d’éviter un effet taille lors de la mise en œuvre
de techniques factorielles.

●

1

16SR

SPI1.1

apoE

apoA.I

0

FAS

●
●
●

THIOL

●
●
●

S14
●

●
●

● ●

●

●

●

●

●

●

●
●
●

●
●
●

●

●
●

−1

●

●

●

●

●

●
●

●

●
●

●
●

●
●

●

●

●
●
●

●

●

●

●

●
●
●
●
●

●

●
●

●

−2

●

i.BAT

ACAT1 AM2R Bcl.3 CBS CYP26 CYP8b1 GK

i.BABP Lpin LXRb

MS PAL PPARd S14

TpbetaF IGURE 12 – Souris : Diagrammes-boîtes parallèles représentant simultanément les distributions des logarithmes des expressions des gènes.

dans toutes les cellules de l’organisme, des niveaux d’expression plus élevés
que tous les gènes codant des ARN messagers. Ces ARN servent en effet àla traduction des ARN messagers en protéines. Par ailleurs, on peut constaterque les expressions de certains gènes varient beaucoup plus que d’autres surl’ensemble des souris (par exemple, FAS, S14 et THIOL). Pour ces derniers
gènes, on peut supposer qu’une part de cette variabilité est due aux facteursconsidérés, ce que nous essaierons de confirmer par la suite au moyen de techniques de modélisation.
L’intérêt de ces représentations réside davantage dans la vision synthétiquequ’elles offrent que dans l’information biologique que l’on peut en extraire.
Elles nous orientent également dans les premiers choix méthodologiques à établir avant de poursuivre l’analyse. En effet, les boîtes relatives à la distribution
des gènes mettent clairement en évidence un certain nombre de gènes dont
Page 22 sur 104

06/14

1

Statistique descriptive bidimensionnelle−0.55

Statistique descriptive bidimensionnelle

−0.70

ACAT1

Liaisons entre variables quantitatives (corrélation et nuages depoints), qualitatives (contingence, mosaïque) et de types différents(rapport de corrélation). Introduction au cas multidimensionnel.

−0.75

Retour au plan.

1

−0.65

−0.60

Résumé

Introduction−0.55

Dans cette section, on s’intéresse à l’étude simultanée de deux variables X
et Y , étudiées sur le même échantillon, toujours noté Ω. L’objectif essentiel
des méthodes présentées est de mettre en évidence une éventuelle variation simultanée des deux variables, que nous appellerons alors liaison. Dans certains
cas, cette liaison peut être considérée a priori comme causale, une variable X
expliquant l’autre Y ; dans d’autres, ce n’est pas le cas, et les deux variables
jouent des rôles symétriques. Dans la pratique, il conviendra de bien différencier les deux situations et une liaison n’entraîne pas nécessairement une
causalité. Sont ainsi introduites les notions de covariance, coefficient de corrélation linéaire, régression linéaire, rapport de corrélation, indice de concentration, khi-deux et autres indicateurs qui lui sont liés. De même, nous présentons
les graphiques illustrant les liaisons entre variables : nuage de points (scatterplot), diagrammes-boîtes parallèles, diagramme de profils, tableau de nuages(scatter-plot matrix).

−0.50

−0.45

−0.40

−0.35

−0.30

X36b4

F IGURE 1 – Souris : Nuage de points illustrant la faible liaison linéaire entre
les expressions de deux gènes (corrélation de 0,33).

sez bonne de la variation conjointe des deux variables et est appelé nuage. On
notera qu’on rencontre parfois la terminologie de diagramme de dispersion,
traduction plus fidèle de l’anglais scatter-plot.

Le choix des échelles à retenir pour réaliser un nuage de points peut s’avérer délicat. D’une façon générale, on distinguera le cas de variables homogènes(représentant la même grandeur et exprimées dans la même unité) de celui desvariables hétérogènes. Dans le premier cas, on choisira la même échelle surles deux axes (qui seront donc orthonormés) ; dans le second cas, il est re2 Deux variables quantitatives
commandé soit de représenter les variables centrées et réduites sur des axes
orthonormés, soit de choisir des échelles telles que ce soit sensiblement ces
2.1 Nuage de points
variables là que l’on représente (c’est en général cette seconde solution qu’utiIl s’agit d’un graphique très commode pour représenter les observations si- lisent, de façon automatique, les logiciels statistiques).
multanées de deux variables quantitatives. Il consiste à considérer deux axes 2.2 Rappel : variables centrées et réduites
perpendiculaires, l’axe horizontal représentant la variable X et l’axe verticalla variable Y , puis à représenter chaque individu observé par les coordonnées
Si X est une variable quantitative de moyenne x et d’écart–type σX , ondes valeurs observées. L’ensemble de ces points donne en général une idée as- appelle variable centrée associée à X la variable X − x (elle est de moyenne
Page 23 sur 104

06/14

2

Statistique descriptive bidimensionnelle

nulle et d’écart–type σX ), et variable centrée et réduite (ou tout simplement Par conséquent, corr(X, Y ) est indépendant des unités de mesure de X et dexvariable réduite) associée à X la variable Xσ−(elle est de moyenne nulle et Y . Le coefficient de corrélation est symétrique et prend ses valeurs entre -1 et
X+1. Les valeurs −1 et +1 correspondent à une liaison linéaire parfaite entre Xd’écart–type égal à un). Une variable centrée et réduite s’exprime sans unité.
et Y (existence de réels a, b et c tels que : aX + bY + c = 0).

2.3

Indice de liaison

Notons pour mémoire la possibilité d’utiliser d’autres indicateurs de liaison
Le coefficient de corrélation linéaire est un indice rendant compte numéri- entre variables quantitatives. Construits sur les rangs (corrélation de Spearman)
quement de la manière dont les deux variables considérées varient simultané- ils sont plus robustes faces à des situations de non linéarité ou des valeursment. Il est défini à partir de la covariance qui généralise à deux variables la atypiques mais restent très réducteurs.
notion de variance :cov(X, Y )=nX

wi [xi − x][yi − y]

i=1

=

n
X

wi xi yi − x y.

3

Une variable quantitative et une qualitative

3.1

Notations

Soit X la variable qualitative considérée, supposée à m modalités notées

i=1

x1 , . . . , x ` , . . . , x m

La covariance est une forme bilinéaire symétrique qui peut prendre toute vaet soit Y la variable quantitative de moyenne y et de variance σY2 . Désignant
leur réelle et dont la variance est la forme quadratique associée. En particulier,par Ω l’échantillon considéré, chaque modalité x` de X définit une souson en déduit les deux formules suivantes :population (un sous-ensemble) Ω` de Ω : c’est l’ensemble des individus, supposés pour simplifier de poids wi = 1/n et sur lesquels on a observé x` ; onvar(X + Y ) = var(X) + var(Y ) + 2cov(X, Y ),obtient ainsi une partition dePΩ en m classes dont nous noterons n1 , . . . , nmm2
les cardinaux (avec toujours `=1 n` = n, où n = card(Ω)).
[cov(X, Y )] ≤ var(X)var(Y ) ;Considérant alors la restriction de Y à Ω` (l = 1, . . . , m), on peut définir(cette dernière propriété est l’inégalité de Cauchy-Schwarz).
la moyenne et la variance partielles de Y sur cette sous-population ; nous lesla covariance dépend des unités de mesure dans lesquelles sont exprimées noterons respectivement y` et σ 2 :`les variables considérées ; en ce sens, ce n’est pas un indice de liaison “intrin1 X
sèque”.
Y (ωi ) ;y` =n`C’est la raison pour laquelle on définit le coefficient de corrélation linéaire
ωi ∈Ω`(appelé coefficient de Pearson ou de Bravais-Pearson), rapport entre la cova1 X
riance et le produit des écarts-types :σ`2 =[Y (ωi ) − y` ]2 .
n`ωi ∈Ω`
cov(X, Y )corr(X, Y ) =.
σX σY
3.2 Boîtes parallèles
Le coefficient de corrélation est égal à la covariance des variables centrées et
Une façon commode de représenter les données dans le cas de l’étude simulY −yréduites respectivement associées à X et Y : corr(X, Y ) = cov( X−x
,
).
tanée
d’une variable quantitative et d’une variable qualitative consiste à réaliserσX
σYPage 24 sur 104

06/14

3

Statistique descriptive bidimensionnelle2, est appelé varianceLe premier terme de la décomposition de σY2 , noté σE
expliquée (par la partition, c’est-à-dire par X) ou variance inter (between) ;2
le second terme, noté σR, est appelé variance résiduelle ou variance intra(within).

3.4

Rapport de corrélation

Il s’agit d’un indice de liaison entre les deux variables X et Y qui est définipar :ssY /X =

2
σE
;
2
σY

F IGURE 2 – Banque : Diagrammes-boites illustrant les différences de distribution des âges en fonction de la possession d’une carte Visa Premier.
X et Y n’étant pas de même nature, sY /X n’est pas symétrique et vérifie
0 ≤ sY /X ≤ 1. Cet encadrement découle directement de la formule de dédes diagrammes-boîtes parallèles ; il s’agit, sur un même graphique doté d’une composition de la variance. Les valeurs 0 et 1 ont une signification particulièreéchelle unique, de représenter pour Y un diagramme-boîte pour chacune des intéressante.
sous-populations définies par X. La comparaison de ces boîtes donne une idéeassez claire de l’influence de X sur les valeurs de Y , c’est-à-dire de la liaison 4 Deux variables qualitatives
entre les deux variables.

3.3

Formules de décomposition

4.1

Notations

On considère dans ce paragraphe deux variables qualitatives observées siCes formules indiquent comment se décomposent la moyenne et la variancemultanément
sur n individus. On suppose que la première, notée X, possèdede Y sur la partition définie par X (c’est-à-dire comment s’écrivent ces caracr
modalitésnotéesx1 , . . . , x` , . . . , xr , et que la seconde, notée Y , possède ctéristiques en fonction de leurs valeurs partielles) ; elles sont nécessaires pourmodalitésnotéesy
1 , . . . , yh , . . . , yc .
définir un indice de liaison entre les deux variables.
Ces données sont présentées dans un tableau à double entrée, appelé tablemdecontingence, dans lequel on dispose les modalités de X en lignes et cellesX1y =n` y` ;deY en colonnes. Ce tableau est donc de dimension r × c et a pour élément
n`=1
générique le nombre n`h d’observations conjointes des modalités x` de X etmmyh de Y ; les quantités n`h sont appelées les effectifs conjoints.
1X
1X
2
2
σY2 =
n` (y` − y)2 +n` σ`2 = σE
+ σR
.
n
n
Une table de contingence se présente donc sous la forme suivante :
`=1

`=1

Page 25 sur 104

06/14

4

x1
..
.
x`
..
.
xr
sommes

y1
n11
..
.
n`1
..
.
nr1
n+1

···
···
···
···
···

yh
n1h
..
.
n`h
..
.
nrh
n+h

···
···
···
···
···

yc
n1c
..
.
n`c
..
.
nrc
n+c

Statistique descriptive bidimensionnelle

sommes
n1+
..
.
n`+
..
.
nr+
n

Les quantités n`+ (` = 1, . . . , r) et n+h (hP= 1, . . . , c) sont appeléeslesPrceffectifs marginaux
;
ils
sont
définis
par
n
=
n
et
n
=
n
`+
`h
+h
h=1
`=1 `h ,Pr
Pc
et ils vérifient `=1 n`+ =
n
=
n.
De
façon
analogue,on peut+hh=1
définir les notions de fréquences conjointes et de fréquences marginales.

4.2

Représentations graphiques des profils

On peut envisager, dans le cas de l’étude simultanée de deux variables qualitatives, d’adapter les graphiques présentés dans le cas unidimensionnel : on
découpe chaque partie (colonne, partie de barre ou secteur) représentant une
modalité de l’une des variables selon les effectifs des modalités de l’autre.
Mais, de façon générale, il est plus approprié de réaliser des graphiques représentant des quantités très utiles dans ce cas et que l’on appelle les profils.
On appelle `-ème profil-ligne l’ensemble des fréquences de la variable Y
conditionnelles à la modalité x` de X (c’est-à-dire définies au sein de la souspopulation Ω` de Ω associée à cette modalité). Il s’agit donc des quantités :
n`h
n`c
n`1
,...,
,...,
}.
{
n`+
n`+
n`+

F IGURE 3 – Banque : Diagrammes en barres des profils lignes et colonnes(mosaïque plot) de la table de contingence croisant le sexe et la possession dela carte Visa Premier. La superficie de chaque case est en plus proportionnelle
à l’effectif de la cellule associée.

On définit de façon analogue le h-ème profil-colonne :
{

n1h
n`h
nrh
,...,
,...,
}.
n+h
n+h
n+h

La représentation graphique des profils-lignes ou des profils-colonnes, aumoyen, par exemple, de diagrammes en barre parallèles (mosaïc plot), donne
alors une idée assez précise de la variation conjointe des deux variables.
Page 26 sur 104

06/14

5

4.3

Statistique descriptive bidimensionnelle

Indices de liaison• Le coefficient T de Tschuprow :s

Lorsque tous les profils-lignes sont égaux, ce qui est équivalent à ce que tous
les profils-colonnes soient égaux et que∀(`, h) ∈ {1, . . . , r} × {1, . . . , c} : n`h =n`+ n+h,n

Il est courant en statistique de comparer une table de contingence observée,d’effectif conjoint générique n`h , à une table de contingence donnée a priori(et appelée standard), d’effectif conjoint générique s`h , en calculant la quantité`=1 h=1

s`h

.

r

Φ2
,
d−1
avec : d = inf(r, c). On vérifie maintenant : 0 ≤ T ≤ C ≤ 1 .
Enfin, la p-valeur d’un test d’indépendance (test du χ2 ) est aussi utilisée
pour comparer des liaisons entre variables.
C=

5

Vers le cas multidimensionnel

L’objectif des prochains chapitres de ce cours est d’exposer les techniquesde la statistique descriptive multidimensionnelle. Or, sans connaître ces techniques, il se trouve qu’il est possible de débuter une exploration de données
multidimensionnelles en adaptant simplement les méthodes déjà étudiées.

.

De façon naturelle, pour mesurer la liaison sur une table de contingence, on
utilise donc l’indice appelé khi-deux (chi-square) et défini comme suit :5.1n`+ n+h 2
" r c
#
r X
c (n`h −)X X n2
X
2
`h
n
=n
−1 .
χ =
n`+ n+hn`+ n+h`=1 h=1`=1 h=1n
Le coefficient χ2 est toujours positif ou nul et il est d’autant plus grand quela liaison entre les deux variables considérées est forte. Malheureusement, ildépend aussi des dimensions r et c de la table étudiée, ainsi que de la taillen de l’échantillon observé ; en particulier, il n’est pas majoré. C’est la raison
pour laquelle on a défini d’autres indices, liés au khi-deux, et dont l’objectif
est de palier ces défauts.
4.3.2(r − 1)(c − 1)On peut vérifier : 0 ≤ T ≤ 1 .

Khi-deuxr X
cX(n`h − s`h )2Φ2p• Le coefficient C de Cramer :on dit qu’il n’existe aucune forme de liaison entre les deux variables considérées X et Y . Par suite, la mesure de la liaison va se faire en évaluant l’écart
entre la situation observée et l’état de non liaison défini ci-dessus.
4.3.1

T =

Autres indicateurs

Nous en citerons trois. 2• Le phi-deux : Φ2 = χn . Il ne dépend plus de n, mais dépend encore de r
et de c.

Matrices des covariances et des corrélations

Lorsqu’on a observé simultanément plusieurs variables quantitatives (p variables, p ≥ 3) sur le même échantillon, il est possible de calculer d’une partles variances de toutes ces variables, d’autre part les p(p−1)
covariances des va2
riables prises deux à deux. L’ensemble de ces quantités peut alors être disposédans une matrice carrée (p × p) et symétrique, comportant les variances sur ladiagonale et les covariances à l’extérieur de la diagonale ; cette matrice, appelée matrice des variances-covariances (ou encore matrice des covariances) sera
notée S. Elle sera utilisée par la suite, mais n’a pas d’interprétation concrète.
Notons qu’il est possible de vérifier que S est semi définie positive.
De la même manière, on peut construire la matrice symétrique p×p, comportant des 1 sur toute la diagonale et, en dehors de la diagonale, les coefficients decorrélation linéaire entre les variables prises deux à deux. Cette matrice est appelée matrice des corrélations, elle est également semi définie positive, et nous
la noterons R. Elle est de lecture commode et indique quelle est la structure decorrélation des variables étudiées.

Page 27 sur 104

06/14

6

Statistique descriptive bidimensionnelle

C14.0
C16.0
C18.0

C22.6n.3

C22.5n.3

C20.5n.3

C20.3n.3

C18.3n.3

C22.5n.6

C22.4n.6

C20.4n.6

C20.3n.6

C20.2n.6

C18.3n.6

C18.2n.6

C20.3n.9

C20.1n.9

C18.1n.7

C18.1n.9

C16.1n.7

C16.1n.9

C18.0

C16.0

C14.0

5.2

Tableaux de nuages

Notons X 1 , . . . , X p les p variables quantitatives considérées ; on appelle tableau de nuages le graphique obtenu en juxtaposant, dans une sorte de matrice
carrée p × p, p2 sous-graphiques ; chacun des sous-graphiques diagonaux est
relatif à l’une des p variables, et il peut s’agir, par exemple, d’un histogramme ;le sous-graphique figurant dans le bloc d’indice (j, j 0 ), j 6= j 0 , est le nuage de0
points réalisé avec la variable X j en abscisses et la variable X j en ordonnées. Dans certains logiciels anglo-saxons, ces graphiques sont appelés splom(Scatter PLOt Matrix). Le tableau de nuages, avec la matrice des corrélations,fournit ainsi une vision globale des liaisons entre les variables étudiées.

C16.1n.9
C16.1n.7
C18.1n.9

5.3

C18.1n.7

La matrice des coefficients de Tschuprow (ou de
Cramer)C20.1n.9
C20.3n.9
C18.2n.6
C18.3n.6
C20.2n.6
C20.3n.6
C20.4n.6
C22.4n.6
C22.5n.6
C18.3n.3
C20.3n.3
C20.5n.3

Considérons maintenant le cas où l’on étudie simultanément plusieurs variables qualitatives (p variables, p ≥ 3). La matrice des coefficients de Tschuprow est la matrice carrée d’ordre p, symétrique, comportant des 1 sur la diagonale et, en dehors de la diagonale, les coefficients de Tschuprow entre lesvariables prises deux à deux. Il s’agit donc d’une matrice du même type que lamatrice des corrélations (elle est d’ailleurs, elle aussi, semi définie positive), etson utilisation pratique est analogue. Notons que l’on peut, de la même façon,
utiliser les coefficients de Cramer au lieu des coefficients de Tschuprow.

C22.5n.3
C22.6n.3

5.4

Le tableau de Burt

Le tableau de Burt est une généralisation particulière de la table de contingence dans le cas où l’on étudie simultanément p variables qualitatives. Notonsj
X 1 , . . . , X p ces variables,
Ppappelons cj le nombre de modalités de X , j =1, . . . , p et posons c =j=1 cj . Le tableau de Burt est en fait une matrice
2
F IGURE 4 – Souris : représentation graphique des corrélations entre les va- carrée c × c, constituée de p sous–matrices. Chacune des p sous–matrices
diagonales est relative à l’une des p variables ; la j ième d’entre elles est carriables de concentration de lipides par des intensités de couleur.
rée d’ordre cj , diagonale, et comporte sur la diagonale les effectifs marginauxde X j . La sous–matrice figurant dans le bloc d’indice (j, j 0 ), j 6= j 0 , est la0table de contingence construite en mettant X j en lignes et X j en colonnes ;le tableau de Burt est donc symétrique. Il apparaît en fait comme l’analogue
qualitatif du tableau des nuages.

Page 28 sur 104

06/14

1

Introduction à la Statistique exploratoire
multidimensionnelle
Résumé
Cette vignette fait suite à celles, plus élémentaires, de Statistiquedescriptive unidimensionnelle, bidimensionnelle et multidimensionnelle pour aborder les principales méthodes factorielles de réduction de dimension et de représentation optimale ainsi que celles declassification non supervisée.
Plan du cours :• Introduction• Analyse en Composantes Principales• Analyse Canonique des Corrélations• Analyse Factorielle Discriminante• Analyse Factorielle des Correspondances• Analyse Factorielle des Correspondances Multiple• Positionnement Multidimensionnel• Classification non supervisée• Factorisation par matrices non négatives (NMF)• Compléments d’algèbre linéaire

1

Introduction à la Statistique exploratoire multidimensionnelle

sein d’un échantillon statistique dont la distribution est le plus souvent soumiseà des hypothèses de normalité.
En France, l’expression “Analyse des Données” recouvre les techniques
ayant pour objectif la description statistique des grands tableaux (n lignes,
où n varie de quelques dizaines à quelques milliers, p colonnes, où p varie dequelques unités à quelques dizaines). Ces méthodes se caractérisent par une
utilisation intensive de l’ordinateur, leur objectif exploratoire et une absencequasi systématique d’hypothèses de nature probabiliste au profit des propriétés et résultats de géométrie euclidienne. Elles insistent sur les représentations
graphiques en particulier de celles des individus qui sont considérés au mêmetitre que les variables.
Depuis la fin des années 1970, de nombreux travaux ont permis de rapprocher ou concilier les deux points de vue en introduisant, dans des espaces
multidimensionnels appropriés, les outils probabilistes et la notion de modèle,
usuelle en statistique inférentielle. Les techniques se sont ainsi enrichies de notions telles que l’estimation, la convergence, la stabilité des résultats, le choix
de critères. . .
L’objectif essentiel de ces méthodes est l’aide à la compréhension de volumes de données souvent considérables. Réduction de dimension, représentation graphique optimale, recherche de facteurs ou variables latentes... sont desformulations équivalentes.

2

MéthodesHistorique

Les méthodes de Statistique exploratoire multidimensionnelle se classifient
selon leur objectif (réduction de dimension ou classification) et le type desLes bases théoriques de ces méthodes sont anciennes et sont principa- données à analyser (quantitatives et/ou qualitatives) :lement issues de “psychomètres” américains : Spearman (1904) et Thurs• Description et réduction de dimension (méthodes factorielles) :tone (1931, 1947) pour l’Analyse en Facteurs, Hotteling (1935) pour l’Ana1. Analyse en Composantes Principales (p variables quantitatives),
lyse en Composantes Principales et l’Analyse Canonique, Hirschfeld (1935)
et Guttman (1941, 1959) pour l’Analyse des Correspondances. Pratiquement,
2. Analyse Factorielle Discriminante (p variables quantitatives, 1 valeur emploi ne s’est généralisé qu’avec la diffusion des moyens de calcul dans
riable qualitative),le courant des années 60. Sous l’appellation “Multivariate Analysis” elles
3. Analyse Factorielle des Correspondances simple (2 variables qualipoursuivent des objectifs sensiblement différents à ceux qui apparaîtront entatives) et Multiple (p variables qualitatives),
France. Un individu ou unité statistique n’y est souvent considéré que pour
4. Analyse Canonique (p et q variables quantitatives),
l’information qu’il apporte sur la connaissance des liaisons entre variables au
Page 29 sur 104

06/14

2

Introduction à la Statistique exploratoire multidimensionnelle

5. Multidimensional Scaling (M.D.S.) ou positionnement multidimensionnel ou analyse factorielle d’un tableau de distances.
Toutes les précédentes méthodes sont basées sur des outils classiques de géométrie euclidienne qui sont développés dans les rappels et compléments d’algèbre linéaire.
6. Non negative Matrix Factorisation ou NMF.
• Méthodes de classification :1. Classification ascendante hiérarchique,
2. Algorithmes de réallocation dynamique,
3. Cartes de Kohonen (réseaus de neurones).
Les références introductives les plus utiles pour ce cours sont : Bouroche& Saporta (1980)[2], Jobson (1992)[3], Droesbeke, Fichet & Tassi (1992)[1],
Mardia, Kent & Bibby (1979)[5], Saporta (2006)[6], Lebart, Morineau & Piron(1995)[4].

Références[1] P.C. Besse et A. Pousse, Extension des analyses factorielles, Modèles pourl’Analyse des Données Multidimensionnelles (J.J. Droesbeke et al., réds.),
Economica, 1992, p. 129–158.
[2] J.M. Bouroche et G. Saporta, L’Analyse des Données, Que Sais-je, PUF,
1980.
[3] J.D. Jobson, Applied Multivariate Data Analysis, t. II : Categorical andmultivariate methods, Springer-Verlag, 1992.
[4] L. Lebart, A. Morineau et M. Piron, Statistique exploratoire multidimensionnelle, Dunod, 1995.
[5] K.V. Mardia, J.T. Kent et J.M. Bibby, Multivariate Analysis, Academic
Press, 1979.
[6] G. Saporta, Probabilités, Analyse des Données et Statistique,deuxième éd., Technip, 2006.

Page 30 sur 104

06/14

1

Analyse en Composantes Principales(ACP)
Résumé
Méthode factorielle de réduction de dimension pour l’exploration
statistique de données quantitatives complexes. Construction du modèle statistique associé, estimation. Représentations graphiques desindividus, des variables et simultanée ; qualité de représentation.
Travaux pratiques de complexité croissante par l’études de donnéesde températures puis de données socio-économiques cubiques.
Retour au plan du cours.

Analyse en Composantes Principales (ACP)tion, qui sont là pour aider l’utilisateur à faire l’interprétation la plus juste et laplus objective possible.
L’analyse en Composantes Principales (ACP) est un grand classique del”analyse des données” en France pour l’étude exploratoire ou la compression d’un grand tableau n × p de données quantitatives. Le livre de Jolliffe(2002)[2] en détaille tous les aspects et utilisations de façon exhaustive. Elle
est introduite ici comme l’estimation des paramètres d’un modèle, afin de préciser la signification statistique des résultats obtenus. L’ACP est illustrée dansce chapitre à travers l’étude de données élémentaires. Elles sont constituéesdes moyennes sur dix ans des températures moyennes mensuelles de 32 villes
françaises. La matrice initiale X est donc (32 × 12). Les colonnes sont l’observation à différents instants d’une même variable ; elles sont homogènes et il
est inutile de les réduire.

L’ACP joue dans ce cours un rôle central ; cette méthode sert de fondement
théorique aux autres méthodes de statistique multidimensionnelle dites facto1 introduction
rielles qui en apparaissent comme des cas particuliers. Cette méthode est doncétudiée en détail et abordée avec différents niveaux de lecture. La première
Lorsqu’on étudie simultanément un nombre important de variables quantita- section présente les grands principes de façon très élémentaire, voire intuitive,
tives (ne serait-ce que 4 !), comment en faire un graphique global ? La difficulté tandis que les suivantes explicitent les expressions matricielles des résultats.
vient de ce que les individus étudiés ne sont plus représentés dans un plan, esD’un point de vue plus “mathématique”, l’ACP correspond à l’approximapace de dimension 2, mais dans un espace de dimension plus importante (partiond’une matrice (n, p) par une matrice de même dimensions mais de rang
exemple 4). L’objectif de l’Analyse en Composantes Principales (ACP) est
q<p(cf. rappels d’algèbre linéaire) ; q étant souvent de petite valeur 2, 3 pourde revenir à un espace de dimension réduite (par exemple 2) en déformant lelaconstruction
de graphiques facilement compréhensibles.
moins possible la réalité (cf. l’introduction élémentaire à l’ACP). Il s’agit donc
d’obtenir le résumé le plus pertinent possible des données initiales.
C’est la matrice des variances-covariances (ou celle des corrélations) qui va 2 Espaces vectoriels
permettre de réaliser ce résumé pertinent, parce qu’on analyse essentiellement
la dispersion des données considérées. De cette matrice, on va extraire, par 2.1 Notations
un procédé mathématique adéquat, les facteurs que l’on recherche, en petit
Soit p variables statistiques réelles X j (j = 1, . . . , p) observées sur n indinombre. Ils vont permettre de réaliser les graphiques désirés dans cet espace vidus i (i = 1, . . . , n) affectés des poids wi :de petite dimension (le nombre de facteurs retenus), en déformant le moinsnXpossible la configuration globale des individus selon l’ensemble des variables∀i = 1, . . . , n : wi > 0 et
wi = 1 ;initiales (ainsi remplacées par les facteurs).
i=1

C’est l’interprétation de ces graphiques qui permettra de comprendre la∀i = 1, . . . , n : xji = X j (i), mesure de X j sur le ième individu.
structure des données analysées. Cette interprétation sera guidée par un certain
nombre d’indicateurs numériques et graphiques, appelés aides à l’interpréta- Ces mesures sont regroupées dans une matrice X d’ordre (n × p).
Page 31 sur 104

06/14

2

1
..
.
i
..
.
n

X1

···

Xj

···

Xp

x11
..
.
x1i
..
.
x1n

···

xj1
..
.
xji
..
.
xjn

···

xp1
..
.
xpi
..
.
xpn

···
···

···
···

Analyse en Composantes Principales (ACP)

Attention : Par souci de simplicité des notations, on désigne toujours par xj
les colonnes de la matrice centrée X. On considère donc que des vecteurs“variables” sont toujours centrés.
Ainsi, lorsque les variables sont centrées et représentées par des vecteurs deF:• la longueur d’un vecteur représente un écart-type,• le cosinus d’un angle entre deux vecteurs représente une corrélation.

2.3

Objectifs• À chaque individu i est associé le vecteur xi contenant la i-ème ligne de

Les objectifs poursuivis par une ACP sont :X mise en colonne. C’est un élément d’un espace vectoriel noté E dep
• la représentation graphique “optimale” des individus (lignes), minimisantdimension p ; nous choisissons R muni de la base canonique E et d’une
les déformations du nuage des points, dans un sous-espace Eq de dimenmétrique de matrice M lui conférant une structure d’espace euclidien :psion q (q < p),E est isomorphe à (R , E, M); E est alors appelé espace des individus.
jj•
la représentation graphique des variables dans un sous-espace Fq en ex• À chaque variable X est associé le vecteur x contenant la j-ème coplicitant au “mieux” les liaisons initiales entre ces variables,
lonne centrée (la moyenne de la colonne est retranchée à toute la colonne)•
la réduction de la dimension (compression), ou approximation de X parde X. C’est un élément d’un espace vectoriel noté F de dimension n ;nun tableau de rang q (q < p).
nous choisissons R muni de la base canonique F et d’une métrique deLesderniers
objectifs permettent d’utiliser l’ACP comme préalable à une
matrice D diagonale des poids lui conférant une structure d’espace euclin
autretechniquepréférant des variables orthogonales (régression linéaire) ou
dien : F est isomorphe à (R , F, D) avec D = diag(w1 , . . . , wn ); F est
unnombreréduitd’entrées (réseaux neuronaux).
alors appelé espace des variables.
Des arguments de type géométrique dans la littérature francophone, ou bien
2.2 Métrique des poids
de type statistique avec hypothèses de normalité dans la littérature angloL’utilisation de la métrique des poids dans l’espace des variables F donne saxonne, justifient la définition de l’ACP. Nous adoptons ici une optique inun sens très particulier aux notions usuelles définies sur les espaces euclidiens. termédiaire en se référant à un modèle “allégé” car ne nécessitant pas d’hypoCe paragraphe est la clé permettant de fournir les interprétations en termes thèse “forte” sur la distribution des observations (normalité). Plus précisément,l’ACP admet des définitions équivalentes selon que l’on s’attache à la représtatistiques des propriétés et résultats mathématiques.
sentation des individus, à celle des variables ou encore à leur représentation0xj= Xej , 1n D = ej X0 D1n .simultanée.
Moyenne empirique de X j :x= X0 D1n .
Barycentre des individus :Matrice des données centrées : X= X − 1n x0 .
3 Modèle
0j
Écart-type de X :σj= (xj Dxj )1/2 = xj D .
0Les notations sont celles du paragraphe précédent :Covariance de X j et X k :xj Dxk= P
xj , xk D .
n
0 • X désigne le tableau des données issues de l’observation de p variablesw(x−
Matrice des covariances :
S
=
x)(x
−
x)
i
i=1 i i0quantitatives X j sur n individus i de poids wi ,= X DX.
• E est l’espace des individus muni de la base canonique et de la métrique
hxj ,xk iD
Corrélation de X j et X k := cos θD (xj , xk ).
kxj k kxk kDDPage 32 sur 104

06/14

3

de matrice M,

Analyse en Composantes Principales (ACP)(X, M, D) :• F est l’espace des variables muni de la base canonique et de la métriquedes poids D = diag(w1 , . . . , wn ).
De façon générale, un modèle s’écrit :

cq =
Z

q
X

1/2

0

λk uk vk = Uq Λ1/2 Vq0 .

k=1

Observation = Modèle + Bruitassorti de différents types d’hypothèses et de contraintes sur le modèle et surle bruit.
PreuveEn ACP, la matrice des données est supposée être issue de l’observation deSans hypothèse sur la distribution de l’erreur, une estimation par les moindres carrésn vecteurs aléatoires indépendants {x1 , . . . , xn }, de même matrice de cova- conduit à résoudre le problème :riance σ 2 Γ, mais d’espérances différentes zi , toutes contenues dans un sousespace affine de dimension q (q < p) de E. Dans ce modèle, E(xi ) = zi)( nX
est un paramètre spécifique attaché à chaque individu i et appelé effet fixe, le
2
(2)
min
wi kxi − zi kM ; dim(Eq ) = q, zi − z ∈ Eq .
modèle étant dit fonctionnel. Ceci s’écrit en résumé :Eq ,zii=1{xi ; i = 1, . . . , n}, n vecteurs aléatoires
indépendants de E,E(εi ) = 0, var(εi ) = σ 2 Γ,
Soit X = X − 1n x0 la matrice centrée et Z la matrice (n × p) dont les lignes sontxi = zi + εi , i = 1, . . . , n avec
(1)
σ > 0 inc. Γ rég. et connue,les vecteurs (zi − z)0 .
∃Aq , sous-espace affine de dim. q de E tel que ∀i, zi ∈ Aq (q < p).
Pn
Soit z = i=1 wi zi . Les hypothèses du modèle entraînent que z appartient ànnXXAq . Soit donc Eq le sous-espace vectoriel de E de dimension q tel que :wi kxi − zi k2 =wi kxi − x + z − zi k2 + kx − zk2 ;M

i=1

Aq = z + Eq .

M

M

i=1

Les paramètres à estimer sont alors Eq et zi , i = 1, . . . , n, éventuellement
σ ; zi est la part systématique, ou effet, supposée de rang q ; éliminer le bruit le problème (2) conduit alors à prendre bz = x et devient équivalent à résoudre :revient donc à réduire la dimension.
no
Si les zi sont considérés comme aléatoires, le modèle est alors dit strucmin X − Z M,D ; Z ∈ Mn,p , rang(Z) = q .
(3)turel ; on suppose que {x1 , . . . , xn } est un échantillon statistique i.i.d. Les
Z
unités statistiques jouent des rôles symétriques, elles ne nous intéressent quepour l’étude des relations entre les variables. On retrouve alors le principe de La fin de la preuve est une conséquence immédiate du théorème d’approximation mal’analyse en facteurs (ou en facteurs communs et spécifiques, ou factor analy- tricielles (cf. rappels d’algèbre linéaire).
2
0
sis).
• Les uk sont les vecteurs propres D-orthonormés de la matrice XMX D
associés aux valeurs propres λk rangées par ordre décroissant.
3.1 Estimation• Les vk , appelés vecteurs principaux, sont les vecteurs propres M0
orthonormés de la matrice X DXM = SM associés aux mêmes valeurs
P ROPOSITION 1. — L’estimation des paramètres de (1) est fournie par l’ACP
propres ; ils engendrent des s.e.v. de dimension 1 appelés axes principaux.
de (X, M, D) c’est-à-dire par la décomposition en valeurs singulières dePage 33 sur 104

06/14

4

définit une nouvelle variable centrée C qui, à tout individu i, associe la “mesure”
C(i) = (xi − x)0 f .

Les estimations sont donc données par :
b
z

=

cq
Z

=

x,
q
X

0

0
cq ,
λ1/2 uk vk = Uq Λ1/2 Vq0 = XPP ROPOSITION 2. — Soient p variables quantitatives centrées X 1 , . . . , X p observées sur n individus de poids wi ; l’ACP de (X, M, D) est aussi la recherche des q combinaisons linéaires normées des X j , non corrélées et dontla somme des variances soit maximale.

k=1

cq
où P

=

Vq Vq0 M est la matrice de projection
cq ,M-orthogonale sur E

cq
E
c2
E

=

vect{v1 , . . . , vq },

est

zbi

=

appelé plan principal,c
Pq xi + x.

Analyse en Composantes Principales (ACP)• Les vecteurs f k = Mvk sont les facteurs principaux. Ils permettent dedéfinir les combinaisons linéaires des X j optimales au sens ci-dessus.
• Les vecteurs ck = Xf k sont les composantes principales.
• Les variables C k associées sont centrées, non corrélées et de variance λk ;ce sont les variables principales ;Remarques
1. Les solutions sont emboîtées pour q = 1, . . . , p :cov(C k , C ` )

=

0

0

E1 = vect{v1 } ⊂ E2 = vect{v1 , v2 } ⊂ E3 = vect{v1 , v2 , v3 } ⊂ . . .

0(Xf k ) DXf ` = f k Sf `0

= vk MSMv` = λ` vk Mv` = λ` δk` .

2. Les espaces principaux sont uniques sauf, éventuellement, dans le cas devaleurs propres multiples.

• Les f k sont les vecteurs propres M−1 -orthonormés de la matrice MS.
• La matrice

3. Si les variables ne sont pas homogènes (unités de mesure différentes, variances disparates), elles sont préalablement réduites :C = XF = XMV = UΛ1/2

e = XΣ−1/2 où Σ = diag (σ 2 , . . . , σ 2 ), avec σ 2 = Var (X j ) ;X1pj• Les axes définis par les vecteurs D-orthonormés uk sont appelés axes

est la matrice des composantes principales.

e est alors la matrice R = Σ−1/2 SΣ−1/2 des corrélations.
S
Sous l’hypothèse que la distribution de l’erreur est gaussienne, une estimation par maximum de vraisemblance conduit à la même solution.

3.2

factoriels.

4Graphiques

4.1

Individus

Autre définition

Les graphiques obtenus permettent de représenter “au mieux” les distances
On considère p variable statistiques centrées X 1 , . . . , X p . Une combinaison euclidiennes inter-individus mesurées par la métrique M.
linéaire de coefficients fj de ces variables,
4.1.1 Projectionp
X
Chaque individu i représenté par xi est approché par sa projection Mc=
fj xj = Xf ,cq engendré par les q premiers vecteurs
orthogonale
zbi q sur le sous-espace E
j=1
Page 34 sur 104

06/14

5

Analyse en Composantes Principales (ACP)

principaux {v1 , . . . , vq }. En notant ei un vecteur de la base canonique de E,
la coordonnée de l’individu i sur vk est donnée par :xi − x, vk M = (xi − x)0 Mvk = e0i XMvk = cki .

A
x
e
2

P ROPOSITION 3. — Les coordonnées de la projection M-orthogonale de xi −cq sont les q premiers élément de la i-ème ligne de la matrice C desx sur E
composantes principales.
4.1.2

4
3
2
1
0
-1
-2
-3
-4
-5
-6
-7
-8
-10

Qualités

0

10

20

Axe 1

La “qualité globale” des représentations est mesurée par la part de dispersion expliquée :
Pq
cq
λk
trSMP
rq =
= Pk=1.
ptrSM
k=1 λkRemarque. — La dispersion d’un nuage de points unidimensionnel par rapport
à sa moyenne se mesure par la variance. Dans le cas multidimensionnel, la
dispersion du nuage N par rapport à son barycentre x se mesure par l’inertie,
généralisation de la variance :Ig (N ) =n
X

2

F IGURE 1 – Températures : premier plan des individus.

4.1.3

Contributions

Les contributions de chaque individu à l’inertie de leur nuage
γi =

Pp
2
wi
(ck )2
wi kxi − xkM= Ppk=1 i ,trSM
k=1 λk0

2

wi kxi − xkM = X M,D = tr (X DXM) = tr (SM).

ainsi qu’à la variance d’une variable principale

i=1

La qualité de la représentation de chaque xi est donnée par le cosinus carréde l’angle qu’il forme avec sa projection :γik =wi (cki )2,
λkpermettent de déceler les observations les plus influentes et, éventuellement,
aberrantes. Ces points apparaissent visiblement lors du tracé des diagrammes2[cos θ(xi − x, zbi q )] =boîtes parallèles des composantes principales qui évitent ainsi une lecture fastidieuse de ce tableau des contributions. En effet, ils se singularisent aussi
comme “outliers” ou atypiques hors de la boîte (au delà des moustaches) corPour éviter de consulter un tableau qui risque d’être volumineux (n lignes),
respondant à une direction principale. Les individus correspondants, considéles étiquettes de chaque individu sont affichées sur les graphiques avec des carés comme individus supplémentaires, peuvent être éliminés lors d’une nouractères dont la taille est fonction de la qualité. Un individu très mal représenté
velle analyse.
est à la limite de la lisibilité.
2cq (xi − x)
P

Pq
k 2
k=1 (ci )
M
P
=
.
p
2
k 2
kxi − xkM
k=1 (ci )Page 35 sur 104

06/14

6

4.1.4

Individus supplémentaires

Analyse en Composantes Principales (ACP)

4.2.2

Qualité

Il s’agit de représenter, par rapport aux axes principaux d’une analyse, desLa qualité de la représentation de chaque xj est donnée par le cosinus carré
individus qui n’ont pas participé aux calculs de ces axes. Soit s un tel vecteur, de l’angle qu’il forme avec sa projection :il doit être centré, éventuellement réduit, puis projeté sur le sous-espace de
2
Pq
cq xj
j 2
h
i2
Q
représentation. Les coordonnées sont fournies par :k=1 λk (vk )D
cq xj ) =cos θ(xj , Q
=
.
P
p
2
j 2
kxj kD
k=1 λk (vk )00
vk , Vq Vq0 M(s − x) M = vk MVq Vq0 M(s − x) = ek Vq0 M(s − x).
4.2.3 Corrélations variables — facteurs
Les coordonnées d’un individu supplémentaire dans la base des vecteurs prinCes indicateurs aident à l’interprétation des axes factoriels en exprimant lescipaux sont donc :corrélations entre variables principales et initiales.
√
Vq0 M(s − x).
xj , uk D
λk k
j
k
j k
j
k
=
v ;
cor(X , C ) = cos θ(x , c ) = cos θ(x , u ) =kxj kD
σj j

4.2

Variablesce sont les éléments de la matrice Σ−1/2 VΛ1/2 .

Les graphiques obtenus permettent de représenter “au mieux” les corréla- 4.2.4 Cercle des corrélations
tions entre les variables (cosinus des angles) et, si celles-ci ne sont pas réduites,
ej D = 1, les x
ej sont sur la
ej = σj−1 xj , x
Dans le cas de variables réduites x
leurs variances (longueurs).
sphère unité Sn de F . L’intersection Sn ∩ F2 est un cercle centré sur l’origine
4.2.1 Projection
ej et xj sontet de rayon 1 appelé cercle des corrélations. Les projections de xje étant à l’intérieur du cercle :c xj sur colinéaires, celle de x
Une variable X j est représentée par la projection D-orthogonale Qqle sous-espace Fq engendré par les q premiers axes factoriels. La coordonnéede xj sur uk est :
j

j0

k

x ,u

D

= x Duk==1
0√ xj DXMvk
λk
p
1
0 0
√ ej X DXMvk = λk vjk .
λk

c2 x
ej
Q

D

c2 xj ) ≤ 1.
= cos θ(xj , Q

c2 x
ej est proche de ce cercle, meilleure est la qualité de sa repréAinsi, plus Q
sentation. Ce graphique est commode à interpréter à condition de se méfier
des échelles, le cercle devenant une ellipse si elles ne sont pas égales. Commepour les individus, la taille des caractères est aussi fonction de la qualité desreprésentations.

4.3

BiplotÀ partir de la décomposition en valeurs singulières de (X, M, D), on reP ROPOSITION 4. — Les coordonnées de la projection D-orthogonale de xj marque que chaque valeur
sur le sous-espace Fq sont les q premiers éléments de la j-ème ligne de la
p
h
ij
X
p
matrice VΛ1/2 .
xji − xj =λk uki vkj = UΛ1/2 V0
k=1

Page 36 sur 104

i

06/14

7

Analyse en Composantes Principales (ACP)s’exprime comme produit scalaire usuel des vecteurshihici = UΛ1/2 et vj ou encore ui et VΛ1/2 .

1.0iPour q = 2, la quantité zbi j en est une approximation limitée aux deux premiers
termes.

0.5
Axe

Cette remarque permet d’interpréter deux autres représentations graphiquesen ACP projetant simultanément individus et variables.
1. la représentation isométrique ligne utilise les matrices C et V ; elle permet d’interpréter les distances entre individus ainsi que les produits scalaires entre un individu et une variable qui sont, dans le premier plan
principal, des approximations des valeurs observées X j (ωi ) ;

0.0

2
-0.5
-1.0
-1.0 -0.5 0.0

0.5

2. la représentation isométrique colonne utilise les matrices U et VΛ1/2 ;elle permet d’interpréter les angles entre vecteurs variables (corrélations)et les produits scalaires comme précédemment.
Remarques
1. Dans le cas fréquent où M = Ip et où les variables sont réduites, le point
représentant X j , en superposition dans l’espace des individus se confondavec un pseudo individu supplémentaire qui prendrait la valeur 1 (écarttype) pour la variable j et 0 pour les autres.
2. En pratique, ces différents types de représentations (simultanées ou non)ne diffèrent que par un changement d’échelle sur les axes ; elles sont très
voisines et suscitent souvent les mêmes interprétations. L’usage théoriquement abusif fait finalement superposer les deux représentations isométriques lignes et colonnes.

1.0

Axe 1

1.0
0.5
A
x
e

j

0.0

3
-0.5

5
-1.0
-1.0 -0.5 0.0

0.5

Choix de dimension

La qualité des estimations auxquelles conduit l’ACP dépend, de façon évidente, du choix de q, c’est-à-dire du nombre de composantes retenues pourreconstituer les données, ou encore de la dimension du sous-espace de représentation.

1.0

Axe 2

F IGURE 2 – Températures : Premier et deuxième plan des variables.

De nombreux critères de choix pour q ont été proposés dans la littérature.
Nous présentons ici ceux, les plus courants, basés sur une heuristique et un reposant sur une quantification de la stabilité du sous-espace de représentation.

Page 37 sur 104

06/14

8

Analyse en Composantes Principales (ACP)

D’autres critères, non explicités, s’inspirent des pratiques statistiques décisionnelles ; sous l’hypothèse que l’erreur admet une distribution gaussienne, on
peut exhiber les lois asymptotiques des valeurs propres et donc construire destests de nullité ou d’égalité de ces dernières. Malheureusement, outre la nécessaire hypothèse de normalité, ceci conduit à une procédure de tests emboîtés
dont le niveau global est incontrôlable. Leur utilisation reste donc heuristique.
0

5

10

15

20

La “qualité globale” des représentations est mesurée par la part d’inertie
expliquée :

0
0.4

−5

0.2

La valeur de q est choisie de sorte que cette part d’inertie expliquée rq soit
supérieure à une valeur seuil fixée a priori par l’utilisateur. C’est souvent leseul critère employé.

5.2

−10

0.0

5

renn
roue
janv
nant
dece
ange lill
toul
fevr
stqu
ajac
nove
ango limo
orle
tour
mars
octo
pari reim
nice bord
avri tlse cler
vich
sept
perp mai
nanc
besa
juin
aout
juilmont
dijoembr
gren
mars
nime
lyon stra

−0.2

Pq
λk
rq = Ppk=1 .
λ
k=1 k

10

0.4
0.2
0.0
−0.2

Part d’inertie

15

bres

biar

Comp.2

5.1
20

−5

0.6

−10

On considère que, si tous les éléments de Y sont indépendants, les composantes principales sont toutes de variances égales (égales à 1 dans le cas del’ACP réduite). On ne conserve alors que les valeurs propres supérieures à leurmoyenne car seules jugées plus “informatives” que les variables initiales ; dansle cas d’une ACP réduite, ne sont donc retenues que celles plus grandes que 1.
Ce critère, utilisé implicitement par SAS/ASSIST, a tendance à surestimer lenombre de composantes pertinentes.

0.6

Comp.1F IGURE 3 – Températures : Représentation simultanée ou biplot du premier
plan.

5.3

Règle de Kaiser

ÉboulisC’est le graphique (figures 4) présentant la décroissance des valeurs propres.
Le principe consiste à rechercher, s’il existe, un “coude” (changement de signedans la suite des différences d’ordre 2) dans le graphe et de ne conserver que
les valeurs propres jusqu’à ce coude. Intuitivement, plus l’écart (λq − λq+1 )est significativement grand, par exemple supérieur à (λq−1 − λq ), et plus oncq .
peut être assuré de la stabilité de E

Page 38 sur 104

06/14

9

Analyse en Composantes Principales (ACP)PCTVAR
1.0

CC
20

0.8
10

0.6
0.4

0

0.2
0.0

-10
0

1

2

3

4

5

6

7

8

9

1
0

1
1

1
2

0

K

3

4

5

6

7

8

9 10 11 12

F IGURE 5 – Températures : composantes en boîtes.
qui en est faite. Besse (1992)[1] propose d’étudier la qualité de l’estimation ducq en considérant la fonction perte :sous-espace de représentation E

Diagrammes boîtes

Un graphique (figure 5 ) présentant, en parallèle, les diagrammes boîtes desvariables principales illustre bien leurs qualités : stabilité lorsqu’une grandeboîte est associée à de petites moustaches, instabilité en présence d’une petiteboîte, de grandes moustaches et de points isolés. Intuitivement, on conserveles premières “grandes boîtes”. Les points isolés ou “outliers” désignent lespoints à forte contribution, ou potentiellement influents, dans une direction
principale. Ils nécessitent une étude clinique : une autre analyse dans laquelle
ils sont déclarés supplémentaires (poids nuls) afin d’évaluer leur impact sur
l’orientation des axes.

5.5

2

K

F IGURE 4 – Températures : éboulis des valeurs propres.

5.4

1

Stabilité

La présentation de l’ACP, comme résultat de l’estimation d’un modèle, offre
une autre approche au problème du choix de dimension. La qualité des estimations est évaluée de façon habituelle en statistique par un risque moyen quadratique définissant un critère de stabilité du sous-espace de représentation. Il est
défini comme l’espérance d’une distance entre le modèle “vrai” et l’estimation

2

cq
cq ,
cq ) = 1 Pq − P
Lq = Q(Eq , E= q − trPq P
2M,Doù Q mesure la distance entre deux sous-espaces par la distance usuelle entre
les matrices de projection qui leur sont associées. C’est aussi la somme descarrés des coefficients de corrélation canonique entre les ensembles de composantes ou de variables principales qui engendrent respectivement Eq et son
cq .
estimation E
Un risque moyen quadratique est alors défini en prenant l’espérance de lafonction perte :cq ).
Rq = EQ(Eq , E(4)Sans hypothèse sur la distribution de l’erreur, seules des techniques de rééchantillonnage (bootstrap, jackknife) permettent de fournir une estimationde ce risque moyen quadratique. Leur emploi est justifié, car le risque est invariant par permutation des observations, mais coûteux en temps de calcul.

Page 39 sur 104

06/14

10

1.5

2.0

2.5

3.0

On se pose donc la question de savoir pour quelles valeurs de q les représentations graphiques sont fiables, c’est-à-dire stables pour des fluctuations del’échantillon. Besse (1992)[1] propose d’utiliser une approximation de l’estimateur par jackknife ; elle fournit, directement à partir des résultats de l’A.C.P.
(valeurs propres et composantes principales), une estimation satisfaisante durisque :
−2
d
\
R
).
JKq = RPq + O((n − 1)

Analyse en Composantes Principales (ACP)

0.5

1.0

d
R
Pq est une approximation analytique de l’estimateur jackknife qui a pourexpression :Pnqpj
1 X X n1 i=1 (cki )2 (ci )2
d
RPq =
(5)
n−1
(λj − λk )2
j=q+1

0.0

k=1

1

où cji désigne le terme général de la matrice des composantes principales C.
Ce résultat souligne l’importance du rôle que joue l’écart (λq − λq+1 ) dansla stabilité du sous-espace de représentation. Le développement est inchangé
dans le cas d’une ACP réduite ; de plus, il est valide tant que

2

3

4

5

6

7

8

9

10

11

12

F IGURE 6 – Températures : stabilité des sous-espaces.

2

n>

kSk2
.
inf {(λk − λk+1 ); k = 1, . . . , q}La figure 6 montrent la stabilité du sous-espace de représentation en fonction
de la dimension q pour l’A.C.P. des données de températures. Comme souvent,le premier axe est très stable tandis que le premier plan reste fiable. Au delà, lesaxes étant très sensibles à toute perturbation des données, ils peuvent être associés à du bruit. Ces résultats sont cohérents avec les deux critères graphiques
précédents mais souvent, en pratique, le critère de stabilité conduit à un choix
de dimension plus explicite.

6

Interprétation

Les macros SAS utilisées, de même que la plupart des logiciels, proposent,
ou autorisent, l’édition des différents indicateurs (contributions, qualités, corrélations) et graphiques définis dans les paragraphes précédents.
• Les contributions permettent d’identifier les individus très influents pouvant déterminer à eux seuls l’orientation de certains axes ; ces points sontvérifiés, caractérisés, puis éventuellement considérés comme supplémentaires dans une autre analyse.
• Il faut choisir le nombre de composantes à retenir, c’est-à-dire la dimension des espaces de représentation.
• Les axes factoriels sont interprétés par rapport aux variables initiales bien
représentées.
• Les graphiques des individus sont interprétés, en tenant compte des qualités de représentation, en termes de regroupement ou dispersions par rapport aux axes factoriels et projections des variables initiales.
Les quelques graphiques présentés suffisent, dans la plupart des cas, à l’interprétation d’une ACP classique et évitent la sortie volumineuse, lorsque n
est grand, des tableaux d’aide à l’interprétation (contributions, cosinus carrés). On échappe ainsi à une critique fréquente, et souvent justifiée, des anglosaxons vis-à-vis de la pratique française de “l’analyse des données” qui, paradoxalement, cherche à “résumer au mieux l’information” mais produit plus dechiffres en sortie qu’il n’y en a en entrée !

Page 40 sur 104

06/14

Analyse en Composantes Principales (ACP)

Variances

F IGURE 7 – Souris : éboulis des dix premières valeurs propres de l’ACP.

0.3

Remarque. — L’ACP est une technique linéaire optimisant un critère quadratique ; elle ne tient donc pas compte d’éventuelles liaisons non linéaires etprésente une forte sensibilité aux valeurs extrêmes.

0.2

0.0

0.1

0.2

0.3

0.4

11

−0.1

0.0

0.1

La figure 8 représente conjointement souris et gènes (biplot). Dans le cadrede cette ACP, il est cohérent de rechercher quels sont les 25% des gènes contribuant le plus à la définition de l’espace propre à trois dimensions jugé pertinent. Avec cette sélection, la représentation des variables ainsi restreinte à 30
gènes est plus facilement lisible sur le plan factoriel. Pour des données plus
volumineuses (puces pangénomiques) d’autres outils (version parcimonieuse
ou creuse de l’ACP) sont à considérer.

GSTpi2CYP2c29
CAR1
ACOTH
PMDCI
PECI
mHMGCoAS
GSTmu
G6PaseSIAT4c
AOX
BIEN
SR.BI
ALDH3
VDR
Ntcp
HPNCL
THIOL
GSTa
ACBP
L.FABPLPK
HMGCoAred
ACC2
GKcHMGCoAS
Lpin1
Lpin

−0.2

L’éboulis des premières valeurs propres (figure 7) conduit à considérer trois
dimensions représentant environ les deux tiers de l’inertie globale mais nous
limiterons l’interprétation un peu sommaire au premier plan.

CYP3A11CYP4A10

S14
FAS

−0.3

Exemple : Données génomiques

PC2

7

CYP4A14

−0.3

−0.2

−0.1

0.0

0.1

0.2

0.3

PC1

Le premier plan (Fig. 8) doit être interprété globalement puisque sa
deuxième bissectrice sépare exactement les souris WT des souris PPAR. Les
gènes à coordonnées négatives sur l’axe 2 et positives sur l’axe1 sont sensible- F IGURE 8 – Représentations conjointe sur le premier plan principal. Les soument plus exprimés chez les souris WT, en particulier CYP3A11, CYP4A10, ris identifiés par leur génotype (WT triangles vers le haut, PPAR vers le bas) et
CYP4A14, THIOL, PMDCI, GSTpi2, L.FABP et FAS (négatif sur les deux leur régime (principalement noir-dha et rouge-efad).
axes). À l’inverse, les gènes à forte coordonnée négative sur l’axe 2 s’expriment davantage chez les souris PPAR, par exemple, S14 et CAR1. Ceci
est en partie connu des biologistes.
Sur cette représentation, seules les souris WT présentent des comportement
Page 41 sur 104

06/14

12

Analyse en Composantes Principales (ACP)sensiblement différents au regard des régimes. Le phénomène le plus marquant est l’opposition, chez ces souris WT, entre les régimes dha (triangles
noirs), dont les coordonnées sont toutes positives, et efad (triangles rouges),
dont les coordonnées sont toutes négatives. Les gènes les plus exprimés dansle premier cas (régime dha chez les souris WT) sont CYP3A11, CYP4A10,
CYP4A14 ; dans le second cas (régime efad chez les mêmes souris), il s’agit
des gènes FAS et S14. Parmi ces régulations, on note une opposition entre les
CYP4A, connus pour être impliqués dans le catabolisme des acides gras, et lesgènes FAS et S14 impliqués eux dans la synthèse des lipides. Par ailleurs, larégulation de CYP3A11 par le DHA a déjà été décrite dans la littérature.

Références[1] P.C. Besse, PCA stability and choice of dimensionality, Statistics & Probability Letters 13 (1992), 405–410.
[2] I. Jolliffe, Principal Component Analysis, 2nd edition éd., Springer-Verlag,
2002.

Page 42 sur 104

06/14

1

Analyse factorielle discriminante (AFD)

Analyse factorielle discriminante (AFD)

En posant
w` =

X

wi ,

i∈Ω`

il vient

Résumé

D = T0 DT = diag(w1 , . . . , wm ).

Méthode factorielle de réduction de dimension pour l’exploration
statistique de variables quantitatives et d’une variable qualitative.
Construction du modèle statistique associé, estimation. Représentation graphique optimale des classes des individus, liens avec
d’autres définitions de l’AFD.
Travaux pratiques de complexité croissante par l’études de donnéessocio-économiques.
Retour au plan du cours.

1

Introduction

1.1

Données

1.2

Objectifs

Deux techniques cohabitent sous la même appellation d’analyse discriminante :descriptive : cette méthode recherche, parmi toutes les ACP possibles sur lesvariables X j , celle dont les représentations graphiques des individus discriminent “au mieux” les m classes engendrées par la variable T (e.g.
recherche de facteurs de risque en statistique médicale) ;décisionnelle : connaissant, pour un individu donné, les valeurs des Y j mais
pas la modalité de T , cette méthode consiste à affecter cet individu à une
modalité (e.g. reconnaissance de formes). Cette méthode est décrite dansla partie modélisation de ce cours.

Les données sont constituées de• p variables quantitatives X 1 , . . . , X p jouant le rôle de variables explicatives comme dans le modèle linéaire,• une variable qualitative T , à m modalités {T1 , . . . , Tm }, jouant le rôle devariable à expliquer.
La situation est analogue à celle de la régression linéaire multiple mais,comme la variable à expliquer est qualitative, on aboutit à une méthode très
différente. Les variables sontPnobservées sur l’ensemble Ω des n individus affectés des poids wi > 0, ( i=1 wi = 1), et l’on pose

Remarque. — Lorsque le nombre et les caractéristiques des classes sontconnues, il s’agit d’une discrimination ; sinon, on parle de classification ou
encore, avec des hypothèses sur les distributions, de reconnaissance de mélanges.

1.3

Notations

On note X la matrice (n×p) des données quantitatives, G la matrice (m×p)
des barycentres des classes :
D = diag(wi ; i = 1, . . . , n).
g1 0
1 X
−1


G = D T0 DX =  ...  où g` =wi xi ,
La variable T engendre une partition {Ω` ; ` = 1, . . . , m} de l’ensemble Ω
w`
0
i∈Ω
`
gm
des individus dont chaque élément est d’effectif n` .
On note T (n × m) la matrice des indicatrices des modalités de la variable
et Xe la matrice (n × p) dont la ligne i est le barycentre g` de la classe Ω` à
T ; son terme général est
laquelle appartient l’individu i :1 si T (ωi ) = T```ti = t (ωi ) =.
Xe = TG = PG ;0 sinon
Page 43 sur 104

06/14

2

Analyse factorielle discriminante (AFD)−1

P = TD T0 D est la matrice de projection D-orthogonale sur le sous-espace sontP les observations répétées n` fois du même effet z` pondéré par w` =engendré par les indicatrices de T ; c’est encore l’espérance conditionnellei∈Ω` wi . Le modèle devient donc :sachant T .
Deux matrices “centrées” sont définies de sorte que X se décompose en
X = Xr + Xe
avec
Xr = X − Xe et Xe = Xe − 1n x 0 .
On note également G la matrice centrée des barycentres :G = G − 1m x 0 .
On appelle alors variance intraclasse (within) ou résiduelle :Sr = Xr 0 DXr =m X
Xwi (xi − g` )(xi − g` )0 ,`=1 i∈Ω`{xi ; i = 1, . . . , n}, n vecteurs indépendantsde E,E(εi ) = 0, var(εi ) = Γ,∀`, ∀i ∈ Ω` , xi = z` + εi avec
Γ régulière et inconnue,(1)∃Aq , sous-espace affine de de dimension q de E tel que∀`, z` ∈ Aq , (q < min(p, m − 1)).
Pm
Remarque. — Soit z = `=1 w` z` . Le modèle entraîne que z ∈ Aq . Soit Eq
le sous-espace de dimension q de E tel que Aq = z + Eq . Les paramètres à
estimer sont Eq et {z` ; ` = 1, . . . , m} ; w` est un paramètre de nuisance qui
ne sera pas considéré.

2.2

Estimation

L’estimation par les moindres carrés s’écrit ainsi :et variance interclasse (between) ou expliquée :00

Se = G DG = X e DX e =

m
X

min

P ROPOSITION 1. — La matrice des covariances se décompose en
S = Se + Sr .

2

Définition

2.1

ModèleEq ,z`w` (g` − x)(g` − x)0 .

`=1

(m
XX

)
2
wi kxi − z` kM ; dim(Eq ) = q, z` − z ∈ Eq.

`=1 i∈Ω`

Comme on a
m X
m
m X
X
X
X
2
2
2
wi kxi − z` kM =wi kxi − g` kM +w` kg` − z` kM ,`=1 i∈Ω``=1 i∈Ω``=1

on est conduit à résoudre :(m)
X2w` kg` − z` kM ; dim(Eq ) = q, z` − z ∈ Eq .
min
Eq ,z``=1

La covariance σ 2 Γ du modèle (1) étant inconnue, il faut l’estimée. Ce moDans l’espace des individus, le principe consiste à projeter les individus
dans une direction permettant de mettre en évidence les groupes. À cette fin, dèle stipule que l’ensemble des observations d’une même classe Ωl suit une loi
Il faut privilégier la variance interclasse au détriment de la variance intraclasse (inconnue) de moyenne ze ll et de variance Γ. Dans ce cas particulier, la matrice de covariances intraclasse ou matrice des covariances résiduelles empiconsidérée comme due au bruit.
riques Sr fournit donc une estimation “optimale” de la métrique de référence :En ACP, pour chaque effet zi à estimer, on ne dispose que d’une observationb −1 = S−1
xi ; dans le cas de l’AFD on considère que les éléments d’une même classe Ω`
M=ΓrPage 44 sur 104

06/14

3

Analyse factorielle discriminante (AFD)

Les individus initiaux sont projetés comme des individus supplémentaires dansle système des axes discriminants. Comme en ACP, on peut calculer des cosiP ROPOSITION 2. — L’estimation des paramètres Eq et z` du modèle 1 est nus carrés pour préciser la qualité de représentation de chaque individu.
obtenue par l’ACP de (G, S−1
r , D). C’est l’Analyse Factorielle Discriminante
Il est utile de différencier graphiquement la classe de chaque individu afin
(AFD) de (X|T, D) .
de pouvoir apprécier visuellement la qualité de la discrimination.
.

3

Réalisation de l’AFD

3.3

Représentation des variables

L’espace des variables est (Rm , b. c., D). Chaque variable X j est représenté
Les expressions matricielles définissant les représentations graphiques et les
par un vecteur dont les coordonnées dans le système des axes factoriels est une
aides à l’interprétation découlent de celles de l’ACP.
ligne de la matrice VΛ1/2 .

3.1

Matrice à diagonaliser

3.4

Interprétations

L’ACP de (G, S−1
r , D) conduit à l’analyse spectrale de la matrice positive
Les interprétations usuelles : la norme est un écart-type, un cosinus d’angle−1
Sr -symétrique :est
un coefficient de corrélation, doivent être faites en termes d’écarts-types et
0−1−1
G D GSr = Se Sr .
de corrélations expliquées par la partition.
Comme S−1
r est régulière, cette matrice est de même rang que Se et donc de
La représentation des variables est utilisée pour interprétée les axes en foncmême rang que G qui est de dimension (m × p). Les données étant centréestion des variables initiales conjointement avec la matrice des corrélations exlors de l’analyse, le rang de la matrice à diagonaliser est
1/2
pliquées variables×facteurs : Σ−1. La matrice Σ−1étant la matrice
e VΛ
e
j
−1
diagonale des écarts-types expliqués σe c’est-à-dire des racines carrées desh = rang(Se Sr ) ≤ inf(m − 1, p),éléments diagonaux de la matrice Se .
qui vaut en général m − 1 c’est-à-dire le nombre de classes moins un.
Le point pratique essentiel est de savoir si la représentation des individus1hOn note λ1 ≥ · · · ≥ λh > 0 les valeurs propres de Se S−1r et v , . . . , v les barycentres et des individus initiaux permet de faire une bonne discrimination
vecteurs propresS−1
r -orthonormés associés. On pose
entre les classes définies par la variable T . Si ce n’est pas le cas, l’AFD nesert à rien, les X j n’expliquent pas T . Dans le cas favorable, le graphique desΛ = diag(λ1 , . . . , λh ) et V = [v1 , . . . , vh ].
individus permet d’interpréter la discrimination en fonction des axes et, celui
Les vecteurs vk sont appelés vecteurs discriminants et les sous-espaces vecto- des variables, les axes en fonction des variables initiales. La synthèse des deux
riels de dimension 1 qu’ils engendrent dans Rp les axes discriminants.
permet l’interprétation de T selon les X j .

3.2

Représentation des individus

4

Variantes de l’AFD

L’espace des individus est (Rp , b. c., S−1r ). Une représentation simultanéedes individus xi et des barycentres g` des classes par rapport aux mêmes axes 4.1 Individus de mêmes poids
discriminants est obtenue dans cet espace au moyen des coordonnées :L’AFD peut être définie de différentes façon. Dans la littérature angloC = XS−1
saxonne, et donc dans la version standard d’AFD du logiciel SAS (procédure
r V pour les individus et−1
candisc), ce sont les estimations sans biais des matrices de variances “intra”
C = GS−1 V = D T0 DC pour les barycentres.
r

Page 45 sur 104

06/14

4

Analyse factorielle discriminante (AFD)(within) et “inter” (between) qui sont considérées dans le cas d’individus de Ainsi, les représentations graphiques sont identiques à un facteur d’échelle prèstandis que les parts de variance expliquée et les corrélations variables-facteursmêmes poids 1/n.
sont inchangées.
Dans ce cas particulier,1
1
In et D = diag(n1 , . . . , nm ) où n` = card(Ω` )nnet les matrices de covariances empiriques ont alors pour termes généraux :
D=

n

(S)kj

=

1X j
(x − xj )(xki − xk ),n i=1 i(Se )kj=

1Xn` (g`j − xj )(g`k − xk ),
n

=

1XX j
(xi − g`j )(xki − g`k ).
n

m

`=1
m

(Sr )kj`=1 i∈Ω`

4.2

Métrique de Mahalanobis

L’AFD est souvent introduite dans la littérature francophone comme un cas
particulier d’Analyse Canonique entre un ensemble de p variables quantitatives
et un ensemble de m variables indicatrices des modalités de T . La proposition
suivante établit les relations entre les deux approches :P ROPOSITION 3. — l’ACP de (G, S−1
r , D) conduit aux mêmes vecteurs principaux que l’ACP de (G, S−1 , D). Cette dernière est l’ACP des barycentres
des classes lorsque l’espace des individus est muni de la métrique dite de Mahalanobis M = S−1 et l’espace des variables de la métrique des poids desclasses D.

Les résultats numériques de l’AFD se trouvent alors modifiés de la façon
Du point de vue de le Statistique inférentielle, on sait que les quantités calsuivante:culées ci-dessus ont respectivement (n − 1), (m − 1) et (n − m) degrés deliberté. En conséquence, ce point de vue est obtenu en remplaçant dans les– matrice à diagonaliser :Se S−1 ,calculs– valeurs propres :Λ(I + Λ)−1 ,n∗– vecteurs propres :V(I + Λ)1/2 ,S,S par S =n−1
– représentation des barycentres : C(I + Λ)−1/2 ,n∗
Se par Se = B =Se ,– représentation des variables :VΛ1/2 ,
m−1
1/2
– corrélations variables-facteurs : Σ−1
.
n
e VΛ
Sr .
Sr par S∗r = W =n−m
Les représentations graphiques des individus (voir ci-dessus) ne diffèrent
Les résultats numériques de l’AFD se trouvent alors modifiés de la façon alors que d’une homothétie et conduisent à des interprétations identiques, lessuivante :corrélations variables-facteurs ainsi que les représentations des variables sontn−m−1inchangées.
– matrice à diagonaliser :S∗e S∗−1=SS,r
m−1 e r– valeurs propres :
Λ∗
= n−m
Λ,
m−1
q
n
5 Exemples– vecteurs propres :
V∗
=
V,
q n−m
∗
n−m
– représentation des barycentres : C=
C,
5.1 Les insectes de Lubitsch
q n
1/2
n
∗ ∗1/2,– représentation des variables :V Λ=
m−1 VΛ
Cette méthode est illustrée par une comparaison des sorties graphiques is∗−1 ∗ ∗1/2
−1
1/2
sues
d’une ACP et d’une AFD. Les données décrivent trois classes d’insectes– corrélations variables-facteurs : Σe V Λ= Σe VΛ .
Page 46 sur 104

06/14

5

Analyse factorielle discriminante (AFD)

3

2

1

A
x
e
2

0

-1

-2

-3

5
-4
-4

-3

-2

-1

0

1

2

3

4

4

Axe 1

3
2

F IGURE 1 – Insectes : premier plan factoriel de l’ACP.

A
x
e

1

2

0
-1

sur lesquels ont été réalisées 6 mesures anatomiques. On cherche à savoir si
ces mesures permettent de retrouver la typologie de ces insectes. Ce jeu dedonnées “scolaire”, comme les fameux iris de Fisher conduit à une discrimination assez évidente. La comparaison entre l’ACP et l’AFD met clairement enévidence le rôle de la distance S−1
R que la forme des nuages de chaque classeen analyse discriminante.

5.2

Données génomiques

-2
-3
-4
-8

-7

-6

-5

-4

-3

-2

-1

0

1

2

3

4

5

6

Axe 1

F IGURE 2 – Insectes : premier plan factoriel de l’AFD.

Les données génomiques pose évidemment des problèmes à l’analyse discriminante ; le grand nombre de gènes/variables par rapport au nombre de souris/individus rend impossible l’inversion de la matrice des covariances intraclasses. Aussi, en s’aidant de la sélection de variables suggérée par l’analyseen composantes principales, une analyse factorielle discriminante a été calculée sur les seules souris sauvages (WR) pour qui les régimes apparaissaient déjà
bien différenciés sur l’ACP. Les variables ne sont pas représentées mais lesrapprochements déjà évoqués pour l’ACP sont confirmés et précisés.

Page 47 sur 104

06/14

7

6

4

9

15
4
dha

2

esol

12

218

0

1
111013ref8
lin 175
7
14 20
tournesol
19

efad
16

6

−2

Dim 2 (15.55 %)Analyse factorielle discriminante (AFD)

−4

3

−6

−4

−2

0

2

4

6

Dim 1 (44.91 %)F IGURE 3 – Souris : Les souris de génotype WT dans le premier plan factoriel de l’AFD calculée avec une sélection de variables d’expression de gènes
conditionnellement au régime.

Page 48 sur 104

06/14

1

Analyse Factorielle des Correspondances (AFC)

Analyse Factorielle desCorrespondances (AFC)TABLE 1 – Table de contingence

x1
..
.
x`
..
.
xr
sommesRésumé
Méthode factorielle de réduction de dimension pour l’exploration
statistique d’une table de contingence définie par deux variables
qualitatives. Définition à partir de l’analyse en composantes principales des profils. Définition du modèle statistique associé, estimation. Représentation graphique simultanée des modalités des variables.

1

Introduction

1.1

Données

···
···
···
···
···

yh
n1h
..
.
n`h
..
.
nrh
n+h

···
···
···
···
···

yc
n1c
..
.
n`c
..
.
nrc
n+c

sommes
n1+
..
.
n`+
..
.
nr+
n

n`h /n) et de fréquences marginales rangées dans les vecteurs :
gr
et gc

Travaux pratiques de complexité croissante par l’études de donnéesélémentaires.
Retour au plan du cours.

y1
n11
..
.
n`1
..
.
nr1
n+1

= [f1+ , . . . , fr+ ]0 ,= [f+1 , . . . , f+c ]0 .

Elles permettent de définir les matrices :
Dr
et Dc

= diag(f1+ , . . . , fr+ ),= diag(f+1 , . . . , f+c ).

On sera également amené à considérer les profils–lignes et les profils–
On considère dans cette vignette deux variables qualitatives observées si- colonnes déduits de T. Le `-ième profil-ligne est
multanément sur n individus affectés de poids identiques 1/n. On suppose que
n`1
n`h
n`c
{
,...,
,...,
}.
la première variable, notée X, possède r modalités notées x1 , . . . , x` , . . . , xr ,
n`+
n`+
n`+
et que la seconde, notée Y , possède c modalités notées y1 , . . . , yh , . . . , yc .
c
La table de contingence associée à ces observations, de dimension r × c, est Il est considéré comme un vecteur de R et les r vecteurs ainsi définis sontnotée T ; son élément générique est n`h , effectif conjoint. Elle se présente sous disposés en colonnes dans la matrice c × r
la forme suivante d’une table de contingence présentée dans le Tableau 1).
1
A = T0 D−1r .
n
1.2 Notations
Pc
Pr
Les quantités {n`+ = h=1 n`h ; ` = 1, . . . ,Pr} et {n+h =P `=1 n`h ; h = De même, le h-ième profil-colonne estrc1, . . . , c} sont les effectifs marginaux vérifiant `=1 n`+ = h=1 n+h = n.
n1h
n`h
nrh
{
,...,
,...,
},
De façon analogue, on définit les notions de fréquences conjointes (f`h =
n+h
n+h
n+h
Page 49 sur 104

06/14

2

vecteur de Rr , et la matrice r × c des profils-colonnes est
B=

1.3

Analyse Factorielle des Correspondances (AFC)e et Ye ne sont pas indépenl’hypothèse alternative est H1 : les variables X
dantes.

1
TD−1
c .
n

La statistique de test est alors

Liaison entre deux variables qualitatives

χ2 =

2
c
r X
X
n`h − n`+nn+h;n`+ n+hn
D ÉFINITION 1. — On dit que deux variables X et Y sont non liées relative`=1 h=1
ment à T si et seulement si :elle suit asymptotiquement (pour les grandes valeurs de n), et si l’hypothèsen`+ n+h∀(`, h) ∈ {1, . . . , r} × {1, . . . , c} : n`h =.
H0 est vraie, une loi de χ2 à (r−1)(c−1) degrés de liberté. On rejette donc H0n(et l’on conclut au caractère significatif de la liaison) si χ2 dépasse une valeur
Il est équivalent de dire que tous les profils-lignes sont égaux, ou encore que particulière (valeur ayant une probabilité faible et fixée a priori – en général
0,05 –être dépassée par une loi de χ2 à (r − 1)(c − 1) degrés de liberté).
tous les profils-colonnes sont égaux.
Cette notion est cohérente avec celle d’indépendance en probabilités. En
effet, soit Ω = {1, . . . , n} l’ensemble des individus observés et (Ω, P(Ω), P )l’espace probabilisé associé où P est l’équiprobabilité ; MX = {x1 , . . . , xr }et MY = {y1 , . . . , yc } désignent les ensembles de modalités, ou valeurs prises
e et Ye les variables aléatoires associées aux
par les variables X et Y . On note X
2 variables statistiques X et Y :1.4

Objectifs

Pour préciser la liaison existant entre les variables X et Y , on souhaite définir un modèle statistique susceptible de fournir des paramètres dont la représentation graphique (de type biplot) illustrera les “correspondances” entre lesmodalités de ces 2 variables. Cette approche sera développée au paragraphe 3.

Une autre approche, très courante dans la littérature francophone, consisteà définir l’Analyse Factorielle des Correspondances (AFC) comme étant lerésultat d’une double Analyse en Composantes Principales• l’ACP des profils–lignes,
PX , PY et PXY désignent respectivement les probabilités images définies par• l’ACP des profils–colonnes,
e Ye et le couple (X,e Ye ) sur (MX , P(MX )), (MY , P(MY )) et (MX ×X,
relativement à la métrique dite du χ2 . Cette approche est présentée au paraMY , P(MX ) × P(MY )) ; ce sont les probabilités empiriques. Alors, X et Y graphe 2.
e et Ye sont indépendantes en probabilité (lasont non liées si et seulement si X
Remarque. — :vérification est immédiate).
1. Toute structure d’ordre existant éventuellement sur les modalités de X ou
On suppose maintenant qu’il existe une liaison entre X et Y que l’on soude Y est ignorée par l’AFC
haite étudier. La représentation graphique des profils-lignes ou des profilse : (Ω, P(Ω), P ) →X
7(MX , P(MX )),Ye : (Ω, P(Ω), P ) →7(MY , P(MY )) ;colonnes, au moyen de diagrammes en barres parallèles, ainsi que le calcul
de coefficients de liaison (Cramer ou Tschuprow) donnent une première idéede la variation conjointe des deux variables. Le test du χ2 permet de plus des’assurer du caractère significatif de cette liaison. Il est construit de la manière
suivante :e et Ye sont indépendantes en probabilités ;l’hypothèse nulle est H0 : X

2. Tout individu présente une modalité et une seule de chaque variable.
3. Chaque modalité doit avoir été observée au moins une fois ; sinon, elle est
supprimée.

2

Double ACP

Page 50 sur 104

06/14

3

2.1

Métriques du Chi2

Les correspondances entre modalités évoquées au paragraphe précédant setrouvent exprimées en termes de distances au sens d’une certaine métrique.
Ainsi, chaque modalité x` de X est caractérisée par son profil–ligne représenté
par le vecteur a` de l’espace Rc muni de la base canonique (les coordonnées dea` sont les éléments de la `-ième colonne de A). De même, chaque modalité
yh de Y est caractérisée par son profil–colonne représenté par le vecteur bh del’espace Rr muni de la base canonique.

Analyse Factorielle des Correspondances (AFC)

3. la solution de l’ACP est fournie par la D.V.S. de (B0 −1gr0 , D−1
r , Dc ), qui conduità rechercher les valeurs et vecteurs propres de la matrice (SM)00−1
BDc B0 D−1( car B0 D−1= D−1
r − gr Dc gr = BA − gr gr Drr
c A)

4. les matrices BA − gr gr0 D−1
et BA ont les mêmes vecteurs propres associéesr
aux mêmes valeurs propres, à l’exception du vecteur gr associé à la valeur propre
λ0 = 0 de BA − gr gr0 D−1
r et à la valeur propre λ0 = 1 de BA.
2

Ces espaces sont respectivement munis des métriques, dites du χ2 , de maet D−1
trices D−1
r . Ainsi, la distance entre deux modalités x` et xi de Xc
On note U la matrice contenant les vecteurs propres D−1
r –orthonormés des’écritBA.
La
représentation
des“individus”
del’ACP
réaliséefournitune représenc
X
1
tationdesmodalitésdelavariable
Y
.
Elle
se
fait
au
moyen
des
lignes de la
`
i 2
`
i 2
ka − a kD−1 =(a − ah ) ,cf+h hmatricedes“composantes
principales”
(XMV)
:
h=1
Cc = B0 D−1
et de même pour les modalités de Y . La métrique du χ2 introduit les inversesr U.
des fréquences marginales des modalités de Y comme pondérations des écarts
entre éléments de deux profils relatifs à X (et réciproquement) ; elle attribue 2.3 ACP des profils–lignes
donc plus de poids aux écarts correspondants à des modalités de faible effectif
De façon symétrique (ou duale), on s’intéresse à l’ACP des “individus” mo(rares) pour Y .
dalités de X ou profils–lignes (la matrice des données est A0 ), pondérés parles fréquences marginales des lignes de T (la matrice diagonale des poids est
2.2 ACP des profils–colonnes
Dr ) et utilisant la métrique du χ2 . Il s’agit donc de l’ACP de (A0 , D−1
c , Dr ).
On s’intéresse ici à l’ACP du triplet (B0 , D−1
,
D
).
Dans
cette
ACP,
les
“inc
r
dividus” sont les modalités de Y , caractérisées par les profils–colonnes de T,
P ROPOSITION 3. — Les éléments de l’ACP de (A0 , D−1
c , Dr ) sont fournis
pondérées par les fréquences marginales correspondantes et rangées en lignes−1parl’analyse
spectraledelamatricecarrée,D–symétriqueet semi–définiecdans la matrice B0 .
positive AB.
P ROPOSITION 2. — Les éléments de l’ACP de (B0 , D−1
r , Dc ) sont fournis
On obtient directement les résultats en permutant les matrices A et B, ainsi
par l’analyse spectrale de la matrice carrée, D−1
r –symétrique et semi–définie que les indices c et r. Notons V la matrice des vecteurs propres de la matrice
positive BA.
AB ; les coordonnées permettant la représentation les modalités de la variable
X sont fournies par la matrice :Preuve Elle se construit en remarquant successivement que :Cr = A0 D−1
c V.

1. le barycentre du nuage des profils–colonnes est le vecteur gr des fréquence marginales de X,
2. la matrice BDc B0 −gr Dc gr0 joue le rôle de la matrice des variances–covariances,

Sachant que V contient les vecteurs propres de AB et U ceux de BA,
un théorème de l’annexe (st-m-explo-alglin Compléments d’algèbre linéaire)

Page 51 sur 104

06/14

4

Analyse Factorielle des Correspondances (AFC)montre qu’il suffit de réaliser une seule analyse, car les résultats de l’autre s’en 3.2 Le modèle d’association
déduisent simplement :Il est encore appelé RC-modèle, ou modèle de Goodman :!
q
X
V = AUΛ−1/2 ,p`h = γ.α` .βh .exp
φk .µ`k .νhk .
k=1
U = BVΛ−1/2 ;Ce modèle, muni des contraintes nécessaires, permet de structurer les interacΛ est la matrice diagonale des valeurs propres (exceptée λ0 = 0) communes
tions et de faire des représentations graphiques des lignes et des colonnes deaux deux ACP
T au moyen des paramètres µk et νhk . Ces paramètres peuvent être estiméspar maximum de vraisemblance ou par moindres carrés.
−1/2
−1/2
1/2
0 −1
0 −1
−1
−1
Cc = B Dr U = B Dr BVΛ
= Dc ABVΛ= Dc VΛ ,
Cr

3.3

1/2
−1
= A0 D−1.
c V = Dr UΛ

Le modèle de corrélation

On écrit ici :On en déduit les formules dites de transition :
Cc
Cr

0

p`h = p`+ p+h +−1/2= B Cr Λ,−1/2
0= A Cc Λ.

λk uk` vhk ,

(1)

k=1

La représentation simultanée habituellement construite à partir de ces matrices (option par défaut de SAS) n’est pas a priori justifiée. On lui donnera unsens dans les paragraphes suivants.

3

q
X
p

avec q ≤ inf(r − 1, c − 1), λ1 ≥ · · · ≥ λq > 0 et sous les contraintes
d’identifiabilité suivantes :r
X

Modèles pour une table de contingence

uk` =

`=1
0

c
X

vhk

=

0,

h=1
0

j
k
−1 j
uk D−1r u = v Dc v

= δkj .
On écrit d’abord que chaque fréquence f`h de T correspond à l’observationd’une probabilité théorique p`h ; on modélise donc la table de contingence par Remarque. — :cette distribution de probabilités. On précise ensuite le modèle en explicitant
1. Le modèle (1) ci-dessus est équivalent au modèle considéré par Goodl’écriture de p`h . Différents modèles classiques peuvent être considérés.
man :!
3.1 Le modèle log–linéaire
q
X
p
k k
λk ξ` ηh ,(2)p`h = p`+ p+h 1 +Il consiste à écrire :k=1

ln(p`h ) = µ + α` + βh + γ`havec des contraintes le rendant identifiable. Ce modèle, très classique, est développé par ailleurs.

moyennant une homothétie sur les paramètres.
Pq √2. La quantité k=1 λk uk` vhk exprime l’écart à l’indépendance pour la cellule considérée.

Page 52 sur 104

06/14

5

Analyse Factorielle des Correspondances (AFC)

3. Le modèle suppose que cet écart se décompose dans un sous–espace de associés aux valeurs propres λk .
dimension q < min(c − 1, r − 1).
De plus, le vecteur gr = u0 (resp. gc = v0 ) est vecteur propre D−1
r –normé (resp.
4. Les estimations des paramètres p`+ , p+h , λk , uk , vk peuvent être réali- D−1
c –normé) de la matrice BA (resp. AB) associé à la valeur propre λ0 = 1. Enfin,2sées par maximum de vraisemblance 1 ou par moindres carrés. Dans le les matrices AB et BA sont stochastiques et donc les valeurs propres vérifient :contexte de la statistique descriptive, qui est celui de ce cours, il est natu1 = λ0 ≥ λ1 ≥ · · · ≥ λq > 0.
rel de retenir cette dernière solution.

3.4

Estimation Moindres Carrés dans le modèle decorrélation

3.4.1

CritèreEn identifiant les termes, l’approximation de rang (q + 1) de la matrice P s’écrit
donc :qX
p0
b q = gr gc0 +P
λk uk v k
k=1

Considérons les espaces Rc et Rr munis de leur base canonique et de leurmétrique du χ2 respectives et notons P le tableau des probabilités théoriques
définies selon le modèle (1). Le critère des moindres carrés s’écrit alors :et les propriétés d’orthonormalité des vecteurs propres assurent que les contraintes dumodèle sont vérifiées.
2

2

min
P

3.4.2

1
.
T−P
−1
n
D−1
r Dc

(3)

Estimation

P ROPOSITION 4. — L’estimation des paramètres de (1) en résolvant (3) est−1fournie par la D.V.S. de ( n1 T, D−1
c , Dr ) à l’ordre q. Les probabilités marginales p`+ et p+h sont estimées par f`+ et f+h tandis que les vecteurs uk (resp.
vk ) sont vecteurs propres de la matrice BA (resp. AB) associés aux valeurs
propres λk .
On obtient ainsi, d’une autre façon, l’AFC de la table de contingence T.
−1
Preuve Elle se construit à partir de la D.V.S. de ( n1 T, D−1
c , Dr ) :

1 h
t` =
n

Représentations graphiques

4.1

BiplotLa décomposition de la matrice n1 T se transforme encore en :f`h − f`+ f+h=f`+ f+hmin(r−1,c−1)

X

p

λk

k=0

uk` vhk.
f`+ f+h

En se limitant au rang q, on obtient donc, pour chaque cellule (`, h) de la tableT, une approximation de son écart relatif à l’indépendance comme produit
scalaire des deux vecteurs

min(r−1,c−1)

Xuk` 1/4
v k 1/4
λk et h λk ,
f`+
f+h

p
λk uk` vhk ,k=0−1
où les vecteurs u (resp. v ) sont vecteurs propres D−1
r –orthonormés (resp. Dc –orthonormés) de la matrice1
1 0 −11
1
TD−1
T Dr = BA (resp. T0 D−1
TD−1= AB),
c
r
c
n
n
n
n
k

4

k

1. On suppose alors que les n p`h sont les paramètres de lois de Poisson indépendantes
conditionnellement à leur somme qui est fixée et égale à n.

termes génériques respectifs des matrices
1/4
1/4
D−1
et D−1,r UΛ
c VΛ

2. Matrice réelle, carrée, à termes positifs, dont la somme des termes de chaque ligne (ouchaque colonne) vaut 1.

Page 53 sur 104

06/14

6

Analyse Factorielle des Correspondances (AFC)on voit que dans la seconde des représentations ci–dessus, chaque modalité x`de X est représentée par un vecteur qui est barycentre de l’ensemble des vecteurs associés aux modalités de Y , chacun d’eux ayant pour poids l’élément
correspondant du l-ième profil–ligne. Là encore, la représentation simultanées’en trouve parfaitement justifiée. Malheureusement, dans la pratique, les représentations barycentriques sont souvent illisibles ; elles sont, de ce fait, très
L’AFC apparaît ainsi comme la meilleure reconstitution des fréquences f`h , peu utilisées.
ou encore la meilleure représentation des écarts relatifs à l’indépendance. La
4.4 Autre représentation
représentation simultanée des modalités de X et de Y se trouve ainsi pleinement justifiée.
La pratique de l’AFC montre que l’interprétation des graphiques est toujours
la même, quelle que soit la représentation simultanée choisie parmi les 3 ci–
4.2 Double ACP
dessus.

qui sont encore les estimations des vecteurs ξ` et ηh du modèle 2. Leur représentation (par exemple avec q = 2) illustre alors la correspondance entre lesdeux modalités x` et yh : lorsque deux modalités, éloignées de l’origine, sontvoisines (resp. opposées), leur produit scalaire est de valeur absolue importante ; leur cellule conjointe contribue alors fortement et de manière positive(resp. négative) à la dépendance entre les deux variables.

On peut ainsi envisager d’utiliser, pour une représentation simultanée desChacune des deux ACP réalisée permet une représentation des “individus”(modalités) approchant, au mieux, les distances du χ2 entre les profils–lignes modalités de X et de Y , les coordonnées fournies respectivement par les lignes
d’une part, les profils–colonnes d’autre part. Les coordonnées sont fournies des matrices
cette fois par les matrices (de composantes principales)
1/2
1/2
Cr = D−1
et Cc = D−1
.
r UΛ
c VΛ

−1
D−1
r U et Dc V.

Même si la représentation simultanée n’a plus alors de justification, elle restecouramment employée. En fait, les graphiques obtenus diffèrent très peu deceux du biplot ; ce dernier sert donc de “caution” puisque les interprétations
des graphiques sont identiques. On notera que cette représentation issue de la
double ACP est celle réalisée par la plupart des logiciels statistiques (c’est en
particulier le cas de SAS).

L’interprétation du graphique sera toujours la même et les matrices ci–
dessus, outre leur simplicité, présentent l’avantage de conduire a une représentation graphique qui reste invariante lorsque l’on utilise la technique d’Analyse
Factorielle des Correspondances Multiples sur les données considérées ici.

4.5

Aides à l’interprétation

Les qualités de représentation dans la dimension choisie et les contributions
des modalités de X ou de Y se déduisent aisément de celles de l’ACP Ces
D’autres représentations simultanées, appelées barycentriques, sont propo- quantités sont utilisées à la fois pour choisir la dimension de l’AFC et poursées en utilisant les matrices
interpréter ses résultats dans la dimension choisie.

4.3

Représentations barycentriques

1/2
D−1
et D−1
r UΛ
c VΛ,

4.5.1

ou encore les matrices
1/2
−1
D−1
.
r UΛ et Dc VΛ

Si l’on considère alors, par exemple, la formule de transition
1/2
0 −1
Cr = A0 Cc Λ−1/2 ⇐⇒ Cr Λ1/2 = A0 Cc ⇐⇒ D−1,
r UΛ = A Dc VΛ

Mesure de la qualité globale

Pour une dimension donnée q (1 ≤ q ≤ d = inf(r − 1, c − 1)), la qualité
globale des représentations graphiques en dimension q se mesure par le rapport entre la somme des q premières valeurs propres de l’AFC et leur somme
complète de 1 à d.
Pd
Compte–tenue de la propriété k=1 λk = Φ2 (voir en 6.1), la qualité de laPage 54 sur 104

06/14

7

Analyse Factorielle des Correspondances (AFC)5représentation dans la k–ième dimension s’écrit

ExempleL’exemple des données bancaires ainsi que les données d’expression génomique se prête mal à l’illustration d’une analyse des correspondances, aucun
couple de variable qualitative ne conduit à des représentations intéressantes.

nλk
.
χ2

La table de contingence étudiée à titre d’exemple décrit la répartition desOn parle encore de part du khi–deux expliquée par la k–ième dimension (voir exploitations agricoles de la région Midi–Pyrénées dans les différents départeles sorties du logiciel SAS).
ments en fonction de leur taille. Elle croise la variable qualitative département,à
8 modalités, avec la variable taille de l’exploitation, quantitative découpée en
4.5.2 Mesure de la qualité de chaque modalité
6 classes. Les données, ainsi que les résultats numériques obtenus avec la proPour chaque modalité de X (resp. de Y ), la qualité de sa représentation en cédure corresp de SAS/STAT, sont fournis en annexe.
dimension q se mesure par le cosinus carré de l’angle entre le vecteur représenLa figure 5 présente le premier plan factoriel utilisant les coordonnées obtetant cette modalité dans Rc (resp. dans Rr ) et sa projection D−1
c –orthogonale nues par défaut, c’est–à–dire celles de la double ACP.
(resp. D−1
r –orthogonale) dans le sous–espace principal de dimension q.
Ces cosinus carrés s’obtiennent en faisant le rapport des sommes appropriées des carrés des coordonnées extraites des lignes de Cr (resp. de Cc ).

6

Compléments

4.5.3

6.1

PropriétésContributions à l’inertie totale

L’inertie totale (en dimension d) du nuage des profils–lignes (resp. desprofils–colonnes) est égale à la somme des d valeurs propres. La part due auPd
i–ième profil–ligne (resp. au j–ième profil–colonne) valant f`+ k=1 (ckr` )2Pd(resp. f+h k=1 (ckch )2 ), les contributions à l’inertie totale s’en déduisent immédiatement.
4.5.4

d’ordre q (c’est–à–dire fournie par l’AFC en dimension q) de la table desfréquences initiales ( n1 T) :f`h ' f`+ f+hqXp
λk uk` vhk .
k=1

Contributions à l’inertie selon chaque axe

Il s’agit de quantités analogues à celles ci–dessus, dans lesquelles il n’y apas de sommation sur l’indice k. Ces quantités sont utilisées dans la pratiquepour sélectionner les modalités les plus importantes, c’est–à–dire celles qui
contribuent le plus à la définition de la liaison entre les 2 variables X et Y .
4.5.5• Formule de reconstitution des données. On appelle ainsi l’approximation

Remarque• Les valeurs propres vérifient :dX

λk = Φ2 .

k=1

En effet, on vérifie facilement :En général, on n’interprète pas les axes d’une AFC (en particulier parcequ’il n’y a pas de variable quantitative intervenant dans l’analyse). L’interprétation s’appuie surtout sur la position relative des différentes modalités repérées comme les plus importantes.

trAB =dXk=0

λk = 1 +χ2= 1 + Φ2 ;nd’où le résultat.

Page 55 sur 104

06/14

8

Analyse Factorielle des Correspondances (AFC)

6.2

Invariance• Les tables de contingence T et αT, α ∈ R∗+ , admettent la même AFC(évident).
• Propriété d’équivalence distributionnelle : si deux lignes de T, ` et i,

ont des effectifs proportionnels, alors les représentations de x` et xi sontconfondues (leurs profils sont identiques) et le regroupement de x` et xi
en une seule modalité (en additionnant les effectifs) laisse inchangées lesreprésentations graphiques (même chose pour les colonnes de T). Cette
propriété est une conséquence de la métrique du χ2 .

0.4

6.3

0.3

SINF1
h.g.

A
x
e

0.1

2

Le choix de la dimension pose les mêmes problèmes qu’en ACP De nombreuses techniques empiriques ont été proposées (essentiellement : part d’inertie expliquée, éboulis des valeurs propres). Il existe également une approche
probabiliste qui peut donner des indications intéressantes. Nous la détaillons
ci–dessous.

S1_5
arie

0.2

Choix de la dimension

S_100
S50_99Posons
gers
0.0

q
d
n
`h = nf`+ f+h + n

h.p.

q
X
p
λk uk` vhk ,k=1

S20_50t.g.
S10_20
lot
tarn
-0.1

aver
S5_10
-0.2
-0.5

-0.3

-0.1

0.1
Axe

0.3
1

0.5

0.7

estimation d’ordre q de l’effectif conjoint de la cellule (`, h). Alors, sous certaines conditions (échantillonnage, n grand, modèle multinomial . . . ), on peutmontrer que
r X
c
d
q 2
d
X
X
(n`h − n
`h )
'n
λk
Kq =
q
d
n
`=1 h=1

`h

k=q+1

2
F IGURE 1 – Répartition des exploitations agricoles par taille et par départe- suit approximativement une loi de χ à (r − q − 1)(c − q − 1) degrés de liberté.
On peut donc retenir pour valeur de q la plus petite dimension pour laquelle
ment. Premier plan de l’AFC.
Kq est inférieure à la valeur limite de cette loi. Le choix q = 0 correspondà la situation où les variables sont proche de l’indépendance en probabilités ;les fréquences conjointes sont alors bien approchées par les produits des fréquences marginales.

Page 56 sur 104

06/14

1

Analyse factorielle multiple des correspondances (AFCM)

1p
Considérons maintenant p variables
Pp qualitatives X , . . . , X . On note cj lejnombre de modalités de X , c = j=1 cj et Xj la matrice des indicatrices de
Xj.

Analyse factorielle multiple descorrespondances (AFCM)

On appelle alors tableau disjonctif complet la matrice X, n × c, obtenue parconcaténation des matrices Xj :Résumé
Méthode factorielle de réduction de dimension pour l’exploration
statistique de données qualitatives complexes. Cette méthode est une
généralisation de l’Analyse Factorielle des Correspondances, permettant de décrire les relations entre p (p > 2) variables qualitatives
simultanément observées sur n individus. Elle est aussi souvent utilisée pour la construction de scores comme préalable à une méthodede classification (kmeans) nécessitant des données quantitatives.
Travaux pratiques de complexité croissante par l’études de donnéesélémentaires, puis épidémiologiques avec interactions.
Retour au plan du cours.

1

Codages de variables qualitatives

1.1

Tableau disjonctif complet

X = [X1 | · · · |Xp ].
X vérifie :cX

xki = p, ∀i et

k=1

n X
c
X

xki = np.

i=1 k=1

D’autre part, la somme des éléments d’une colonne de X est égale à l’effectif
marginal de la modalité de la variable X j correspondant à cette colonne.

1.2

Tableau de Burt

On observe toujours p variables qualitatives sur un ensemble de n individus.
On appelle tableau de Burt la matrice B, c × c, définie par :B = X0 X.

On peut écrire B = [Bjl ] (j = 1, . . . , p ; l = 1, . . . , p) ; chaque bloc Bjl , deSoit X une variable qualitative à c modalités. On appelle variable indica- dimension cj × cl , est défini par :trice de la k-ième modalité de x (k = 1, . . . , c), la variable X(k) définie par
Bjl = X0j Xl .

1 si X(i) = Xk ,X(k) (i) =Si j 6= l, Bjl est la table de contingence obtenue par croisement des variables
0 sinon,X j en lignes et X l en colonnes. Si j = l, le bloc diagonal Bjj est lui–mêmeoù i est un individu quelconque et Xk est la k–ième modalité de X. On notera une matrice diagonale vérifiant :nk l’effectif de Xk .
Bjj = diag (nj1 , . . . , njcj ).
On appelle matrice des indicatrices des modalités de X, et l’on notera X, lamatrice n × c de terme général :La matrice B est symétrique, d’effectifs marginaux njl p et d’effectif total np2 .
xki = X(k) (i).
On vérifie :

1.3
c
X
k=1

xki = 1, ∀i et

n
X
i=1

xki = nk .

La démarche suivie dans ce chapitre

La généralisation de l’AFC à plusieurs variables qualitatives repose sur certaines propriétés observées dans le cas élémentaire où p = 2. On s’intéresse
Page 57 sur 104

06/14

2

Analyse factorielle multiple des correspondances (AFCM)

tout d’abord aux résultats fournis par l’AFC usuelle réalisée sur le tableau dis- en AFC classique.
jonctif complet X = [X1 |X2 ] relatif à 2 variables qualitatives X 1 et X 2 ; X
est alors considéré comme une table de contingence (paragraphe 2). Ensuite, P ROPOSITION 1. — L’ACP des profils–lignes issue de l’AFC réalisée sur leon suit la même démarche avec l’AFC réalisée sur le tableau de Burt B rela- tableau disjonctif complet associé à 2 variables qualitatives conduit à l’anatif à X 1 et X 2 (paragraphe 3). Enfin, en utilisant les propriétés obtenues dans lyse spectrale de la matrice D−1
c –symétrique et positive :les deux premiers cas, on généralise cette double approche à un nombre quel
1 Ir Bconque p de variables qualitatives ; on définit ainsi l’Analyse Factorielle desAB =.
2 A IcCorrespondances Multiples (paragraphe 4).

2

AFC du tableau disjonctif complet relatif à
2 variables

2.1

Données

Les r + c valeurs propres de A B s’écrivent√
1 ± λkµk =,2

où les λk sont les valeurs propres de la matrice AB (donc celles de l’AFC
On note toujours X 1 et X 2 les 2 variables qualitatives considérées et r et c classique de X 1 et X 2 ).
−1leurs nombres respectifs de modalités.
Les vecteurs propres Dc –orthonormés associés se mettent sous la forme
Les matrices intervenant dans l’AFC usuelle sont reprises ici avec les mêmes

1 U
notations, mais surlignées. On obtient ainsi :V=;
2 Vla matrice U (resp. V) contient les vecteurs propres D−1
r –orthonormés (resp.
D−1
c -orthonormés) de la matrice BA (resp. AB) ; autrement dit, les matrices
U et V sont les matrices de vecteurs propres obtenues en faisant l’AFC classique de la table de contingence croisant X 1 et X 2 .

T = X = [X1 |X2 ] ;
1
In ;
Dr =
n

1 Dr 0
1
Dc =
= ∆;
0 Dc
2
2
1 0 −1
1 0
A =T Dr = X ;
2n
2
1
1
−1
B =
T Dc = X∆−1 .
2nn

La matrice des composantes principales s’écritCr =1[X1 Cr + X2 Cc ] Λ−1/2 ,2

où Cr et Cc sont encore les matrices de composantes principales de l’AFC
classique.

On considère ici l’AFC comme une double ACP : celle des profils–lignes
A, puis celle des profils–colonnes B.

Dans la pratique, on ne considère que les d = inf(r − 1, c − 1) plus grandes
valeurs propres différentes de 1, ainsi que les vecteurs propres associés. Les
2.2 ACP des profils–lignes
valeurs propres sont rangées dans la matricei
Les profils–lignes, provenant de T, sont associés aux n individus observés.
1h
M = diag (µ1 , . . . , µd ) =Id + Λ1/2 .
Leur ACP conduit ainsi à une représentation graphique des individus, inconnue
2Page 58 sur 104

06/14

3

Analyse factorielle multiple des correspondances (AFCM)

Les autres valeurs propres non nulles sont dues à l’artifice de construction de 2 modalités qu’il a présentées. Dans le cas où n est grand, le graphique desindividus a néanmoins peu d’intérêt ; seule sa forme générale peut en avoir un.
la matrice à diagonaliser ; elles n’ont donc pas de signification statistique.
On notera que la matrice Cr , n × d, fournit les coordonnées permettant la Remarque. — Si, dans l’AFC classique, on choisit d’utiliser, pour la représentation simultanée des modalités de X 1 et de X 2 , les lignes des matrices
représentation graphique des individus sur les axes factoriels.

2.3

−1/2
−1/2
C∗r = D−1
et C∗c = D−1
r U = Cr Λ
c V = Cc Λ

ACP des profils–colonnes

Les profils–colonnes sont associés aux r + c modalités des variables. Leur (voir chapitre précédent, sous–section 4.4), alors on obtient par AFC du tableau
ACP conduit donc à une représentation graphique de ces modalités dont on disjonctif complet la matriceverra qu’elle est très voisine de celle fournie par une AFC classique.
 ∗ 
∗
Cr
−1/2
Cc = Cc M=;C∗c
P ROPOSITION 2. — L’ACP des profils–colonnes issue de l’AFC réalisée sur letableau disjonctif complet associé à 2 variables conduit à l’analyse spectrale il y a invariance de la représentation des modalités lorsque l’on passe d’une−1de la matrice Dr –symétrique et positive :méthode à l’autre. Pour les individus, on obtient
BA =


1 
0
−1 0
X1 D−1
r X1 + X2 D c X2 .
2n

∗

Cr =

1
[X1 C∗r + X2 C∗c ] M−1/22(le commentaire est alors le même qu’avec Cr ).

Les r + c valeurs propres non nulles de B A sont les µk .
−1

Les vecteurs propres Dr –orthonormés associés se mettent sous la forme :1
U = Cr M−1/2 .
n

AFC du tableau de Burt relatif à 2 variables

Dans cette section, on s’intéresse aux résultats fournis par l’AFC réalisée
sur le tableau de Burt B = X0 X, (r + c) × (r + c), relatif aux 2 variables X 1
et X 2 ; B est encore considéré comme une table de contingence. La matrice Bétant symétrique, les profils–lignes et les profils–colonnes sont identiques ; ilsuffit donc de considérer une seule ACP

La matrice des composantes principales s’écrit :


Cr
Cc =
Λ−1/2 M1/2 .
Cc
Ainsi, l’AFC du tableau disjonctif complet permet, grâce aux coordonnéescontenues dans les lignes de la matrice Cc , une représentation simultanée desmodalités des 2 variables. Cette représentation est très voisine de celle obtenue
par l’AFC classique, définie au chapitre
précédent. Une simple homothétie surqchaque axe factoriel, de rapport

3

Les notations des matrices usuelles de l’AFC sont maintenant réutiliséessurmontées d’un tilde. On obtient ainsi :√1+ λk
2λk , permet de passer de l’une à l’autre.

De plus, cette approche permet aussi de réaliser une représentation graphique des individus avec les coordonnées contenues dans les lignes de la matrice Cr . À un facteur près, chaque individu apparaît comme le barycentre desPage 59 sur 104




nDr
T
;
T0 nDc
1
fr = D
fc = 1 Dr 0
= ∆ = Dc ;
D
0 Dc
2
2


1
Ir B
e = B
e =
A
= A B.
2 A Ice = B=
T

06/14

4

Analyse factorielle multiple des correspondances (AFCM)e (ou desOn considère encore l’AFC comme l’ACP des profils–lignes Aeprofils–colonnes B).

• Dans les deux cas d’AFC considérés dans ce chapitre (sur tableau dis-jonctif complet et sur tableau de Burt) on trouve, par construction, desvaleurs propres non nulles sans signification statistique. En conséquence,les critères de qualité s’exprimant comme une “part d’inertie expliquée”
n’ont plus de signification.
• L’AFC sur tableau de Burt ne prend en compte que l’information contenue dans B qui ne considère que les croisements de variables prises deuxà deux. En conséquence, les interactions de niveau plus élevé sont ignorées par cette approche, à moins de procéder à des recodages de variables
comme l’explique l’exemple présenté dans la section 5.

P ROPOSITION 3. — L’ACP des profils–lignes (ou des profils–colonnes) issue
de l’AFC réalisée sur le tableau de Burt associé à 2 variables qualitatives−1
fc –symétrique et positive :conduit à l’analyse spectrale de la matrice DeBe = AB 2.
A−1

fc –orthonormésElle admet pour matrice de vecteurs propres D
e =V
e =V= 1 U .
U
2 V
Les valeurs propres associées vérifient : νk = µ2k .

4Analyse Factorielle des CorrespondancesMultiples

4.1

Définition

On considère maintenant p variables qualitatives (p ≥ 3)Pnotées {X j ; j =p
1, . . . , p}, possédant respectivement cj modalités, avec c = j=1 cj . On suppose que ces variables sont observées sur les mêmes n individus, chacun affecté du poids 1/n.

La matrice des composantes principales s’écrit :


Cr
f
f
Cr = Cc =Λ−1/2 M.
Cc

Soit X = [X1 | · · · |Xp ] le tableau disjonctif complet des observations (Xfr fournit les coordonnées permettant une représentation simul- est n × c) et B = X0 X le tableau de Burt correspondant (B est carré d’ordre
La matrice C
tanée des modalités des deux variables. À une homothétie près, cette représen- c, symétrique).
tation est identique à celle de l’AFC classique, réalisée sur la table de contingence T (mais le rapport d’homothétie, sur chaque axe, n’est plus le même D ÉFINITION 4. — On appelle Analyse Factorielle des Correspondances Multiples (AFCM) des variables (X 1 , . . . , X p ) relativement à l’échantillon consiqu’avec Cc ).
déré, l’AFC réalisée soit sur la matrice X soit sur la matrice B.
Remarque. —• En reprenant les notations de la remarque 2.3, on obtient ici :f∗ (= Cf∗ ) = C
fr M−1 = C∗ =
C
r
c
c




C∗r
.
C∗c

On note njk (1 ≤ j ≤ p, 1 ≤ k ≤ cj ) l’effectif de la k–ième modalité de X j ,1
Dj = diag (nj1 , . . . , njcj ) et ∆ = diag (D1 . . . Dp ) (∆ est carrée d’ordre cnet diagonale).

Ainsi, si l’on utilise ce mode de représentation graphique, les trois ap- 4.2 AFC du tableau disjonctif complet
proches de l’AFC que nous avons présentées conduisent à la même représentation simultanée des modalités des 2 variables : il y a donc invariance
Comme dans le cas p = 2, on reprend les notations de l’AFC classique ende cette représentation.
les surlignant. On obtient ainsi :Page 60 sur 104

06/14

5

Analyse factorielle multiple des correspondances (AFCM)

Comme dans le cas p = 2, la matrice des composantes principales permet deréaliser une représentation graphique des individus dans laquelle chacun apparaît, à un facteur près, comme le barycentre des p modalités qu’il a présentées.

T = X;
1
Dr =
In ;
n
1
∆;
Dc =
p
1 0
A =
X ;
p
1
B =
X∆−1 .
nRemarque. — La généralisation au cas p > 2 restreint les propriétés. Ainsi,
les vecteurs des blocs Vj ne sont pas les vecteurs propres D−1
j –orthonormésd’une matrice connue.
ACP des profils–colonnes
P ROPOSITION 6. — L’ACP des profils–colonnes issue de l’AFC réalisée surle tableau disjonctif complet de p variables conduit à l’analyse spectrale de la−1matrice Dr –symétrique et positive :ACP des profils–lignes

BA =P ROPOSITION 5. — L’ACP des profils–lignes issue de l’AFC réalisée sur letableau disjonctif complet de p variables qualitatives conduit à l’analyse spec−1
trale de la matrice Dc –symétrique et positive :
AB =

p
1
1 X
0
X∆−1 X0 =Xj D−1
j Xj .
np
np j=1−1

La matrice des vecteurs propres Dr –orthonormés vérifie :U = BVM−1/2 .

1
B∆−1 .
np

La matrice des composantes principales s’écrit :Il y a m (m ≤ c − p) valeurs propres notées µk , (0 < µk < 1) rangées dansla matrice diagonale M.

Cc = p∆−1 VM1/2 ;−1
La matrice des vecteurs propres Dc –orthonormés associés se décompose elle se décompose en blocs sous la forme :en blocs de la façon suivante :
C1




Cc =  ...  .
V1


Cp
V =  ...  ;Vpchaque bloc Vj est de dimension cj × m.
La matrice des composantes principales s’écrit :
Cr =

p
X
j=1

Xj D−1
j Vj .

Chaque bloc Cj , de dimension cj ×m, fournit en lignes les coordonnées desmodalités de la variable X j permettant la représentation graphique simultanée.

4.3

AFC du tableau de Burt

Le tableau de Burt B = X0 X, carré d’ordre c, étant symétrique, les profils–
lignes et les profils–colonnes sont identiques ; on ne considère donc ici qu’uneseule ACP
Page 61 sur 104

06/14

6

Analyse factorielle multiple des correspondances (AFCM)

En utilisant encore le tilde dans ce cas, les matrices usuelles de l’AFC deviennent :e = B;
T
fc = 1 ∆ = Dc ;
= D
p
1
e = B
e =
A
B∆−1 = A B.
np

fr
D

B0

=

D0

=

A0

=

[T01 | . . . |T0p ] ;1diag (n01 , . . . , n0c0 ) ;n
1 −1
D B0 .
np 0

Les coordonnées des modalités de la variable supplémentaires X 0 sur lesaxes factoriels sont alors fournies dans les lignes de la matrice

P ROPOSITION 7. — L’ACP des profils–lignes (ou des profils–colonnes) issue−1
fc V
e = pA0 ∆−1 V.
C0 = A0 D
de l’AFC réalisée sur le tableau de Burt associé à p variables qualitatives−1
fc –symétrique et positive :conduit à l’analyse spectrale de la matrice D
4.5 Interprétation
eBe = AB 2.
A
Les représentations graphiques sont interprétées de manière analogue à cequi
est fait dans l’AFC de deux variables, bien que la représentation simultanée−1
fc –orthonormés Ue =Ve =Elle admet pour matrice de vecteurs propres D
des modalités de toutes les variables ne soit pas, en toute rigueur, réellementV.
justifiée.
Les valeurs propres associées vérifient νk = µ2k .
Les “principes” suivants sont donc appliqués :La matrice des composantes principales s’écrit :C1.  1/2
fr = Cfc = Cc M1/2 = C ..  M .

• on interprète globalement les proximités et les oppositions entre les mo-

Cp
fr fournit les coordonnées permettant la représentation simultaLa matrice C
née des modalités de toutes les variables (on ne peut pas faire de représentation
des individus si l’on fait l’AFC du tableau de Burt).

4.4

Variables illustratives

dalités des différentes variables, comme en AFC, en privilégiant les modalités suffisamment éloignées du centre du graphique (attention aux modalités à faible effectif !) ;• les rapports de valeurs propres ne sont pas interprétables comme indicateurs de qualité globale ; on peut néanmoins regarder la décroissance despremières valeurs propres pour choisir la dimension ;• les coefficients de qualité de chaque modalité ne peuvent pas être interprétés ; seules les contributions des modalités à l’inertie selon les axes sontinterprétées, selon le même principe qu’en AFC

Soit X 0 une variable qualitative, à c0 modalités, observée sur les mêmes n 5 Exemple
individus que les X j et n’étant pas intervenue dans l’AFCM Soit T0j la tablede contingence c0 × cj croisant les variables X 0 en lignes et X j en colonnes.
L’AFCM ne donne pas de résultats très intéressants sur les données banL’objectif est maintenant de représenter les modalités de cette variable sup- caires à l’exception du graphe présenté dans le chapitre d’introduction qui est
plémentaire X 0 dans le graphique de l’AFCM réalisée sur X 1 , . . . , X p . Pour relativement plus sophistiqué car il fait préalablement appel à une classification. Il en est de même pour les données d’expression qui sont quantitatives.
cela, on considère les matrices :Page 62 sur 104

06/14

7

TABLE 1 – Données sous la forme d’une table de contingence complèteCentre
Tokyo

Âge
< 50
50 − 69> 70

Boston< 50
50 − 69> 70

Glamorgan< 50
50 − 69> 70

Survie
non
oui
non
oui
non
oui
non
oui
non
oui
non
oui
non
oui
non
oui
non
oui

Histologie
Inflam. minime
Grande inflam.
Maligne Bénigne Maligne Bénigne
9
7
4
3
26
68
25
9
9
9
11
2
20
46
18
5
2
3
1
0
1
6
5
1
6
7
6
0
11
24
4
0
8
20
3
2
18
58
10
3
9
18
3
0
15
26
1
1
16
7
3
0
16
20
8
1
14
12
3
0
27
39
10
4
3
7
3
0
12
11
4
1

Analyse factorielle multiple des correspondances (AFCM)

vie de ces patientes, trois ans après le diagnostic. En plus de cette information,
quatre autres variables sont connues pour chacune des patientes :• le centre de diagnostic,• la tranche d’âge,• le degré d’inflammation chronique,• l’apparence relative (bénigne ou maligne).

L’objectif de cette étude est une analyse descriptive de cette table en cherchant à mettre en évidence les facteurs de décès.

5.2

Analyse brute

On se reportera à la figure 5. La variable survie, qui joue en quelques sortesle rôle de variable à expliquer, est très proche de l’axe 2 et semble liée à chacune des autres variables.

5.3

Analyse des interactions

Pour essayer de mettre en évidence d’éventuelles interactions entre variables, les données sont reconsidérées de la façon suivante :• les variables centre et âge sont croisées, pour construire une variable

c_x_âge, à 9 modalités ;• les variables inflam et appar sont également croisées pour définir lavariable histol, à 4 modalités.
Une nouvelle analyse est alors réalisée en considérant comme actives lesdeux variables nouvellement créées, ainsi que la variable survie, et comme
illustratives les variables initiales : centre, âge, inflam, appar.
Les résultats sont donnés dans la figure 2.

En revanche, l’AFCM est très indiquée et très utilisée dans des enquêtes denature épidémiologique.

5.1

Les données

La littérature anglo-américaine présente souvent des données relatives à plusieurs variables qualitatives sous la forme d’une table de contingence complète(5). C’est le cas de l’exemple ci–dessous qui décrit les résultats partiels d’uneenquête réalisée dans trois centres hospitaliers (Boston, Glamorgan, Tokyo)
sur des patientes atteintes d’un cancer du sein. On se propose d’étudier la surPage 63 sur 104

06/14

8

A
x
e
2

1.0
A>70
0.9
0.8
0.7
0.6
0.5
0.4
0.3
Cbos
0.2
0.1
0.0
-0.1
-0.2
-0.3
-0.4
-0.5
-0.6
-0.7
-1

Analyse factorielle multiple des correspondances (AFCM)

2Snon
X TH>g7- m
Igra

Igra

Tmal

1

XT>-

Cgla

Hg-b

Tmal
XG<5
XG>7
C g l aH pS -n mo n

Ctok
A
x
e

XT<5
0

A<50
S o u iA > - <

2

A>-<

X GX>B-< 5
A>70
Ipet

Tben
Hp-b

Ipet

Cbos
-1

XB>-

Soui

XB>7

A<50
Tben
Ctok
-2
0

1

2

Axe 1

-2

-1

0

1

2

Axe 1

F IGURE 1 – Cancer du sein : analyse des données brutes.

F IGURE 2 – Cancer du sein : analyse des interactions.

Page 64 sur 104

06/14

1

Analyse canonique des corrélations(ACC)
Résumé
Méthode factorielle de réduction de dimension pour l’exploration
statistique de deux ensembles de données quantitatives observées surles mêmes individus. Représentations graphiques des individus, desvariables et simultanée. Lien avec la régression multivariée et les
tests associés.
Rerour au plan du cours.

Analyse canonique des corrélations (ACC)deux groupes de variables quantitatives et qu’elles permettent de retrouverl’analyse des correspondances multiples (en remplaçant chaque groupe parles indicatrices d’une variable qualitative), ainsi que l’A.C.P. (en ne mettant
qu’une seule variable quantitative dans chaque groupe). Nous ne nous intéresserons ici qu’à l’A.C. classique, entre deux groupes de variables quantitatives.
En dépit de sa place centrale au sein des méthodes de statistique multidimensionnelle, pendant longtemps, l’A.C. n’était pas (ou très peu) enseignée
dans ces cursus, compte tenu du petit nombre d’applications auxquelles elle
donnait lieu. Les choses ont changé, d’abord vers le milieu des années 1990,
avec le développement de la régression P.L.S. (partial least squares), méthodeassez voisine de l’A.C., ensuite, plus récemment, avec l’apparition des données de biopuces, dont certaines relèvent typiquement de l’A.C. quant à leurtraitement.

Le logiciel statistique SAS dispose d’une procédure assez complète dédiée àl’A.C. : CANCORR. Divers développements de ce chapitre ont pour objectif demieux saisir la signification de certaines sorties de cette procédure. Les comL’analyse canonique (A.C.) est une méthode de statistique descriptive mul- mandes R permettant de mettre en œuvre l’A.C., telles qu’elles seront présentidimensionnelle qui présente des analogies à la fois avec l’analyse en com- tées dans les T.P., ont été quelque peu calquées sur le principe de la procédure
posantes principales (A.C.P.), pour la construction et l’interprétation de gra- CANCORR.
phiques, et avec la régression linéaire, pour la nature des données. L’objectif général de l’A.C. est d’explorer les relations pouvant exister entre deux 2 Approche élémentairegroupes de variables quantitatives observées sur le même ensemble d’individus. L’étude des relations entre deux groupes de variables constitue la princi- 2.1 Exemple : nutrition chez la souris
pale particularité de l’A.C. par rapport à l’A.C.P. De ce point de vue, l’A.C.
C’est encore l’exemple de la nutrition chez la souris qui sera utilisé pourest d’avantage proche de la régression linéaire multiple (explication d’une variable quantitative par un ensemble d’autres variables quantitatives), méthode illustrer l’A.C. Nous disposons donc des 40 souris sur lesquelles on s’intéresse
dont elle constitue, d’ailleurs, une généralisation (on retrouve la régression maintenant à deux catégories de mesures (de variables) : les expressions des120 gènes considérés et les proportions de 21 acides gras hépatiques. La queslorsque l’un des deux groupes de l’A.C. ne comporte qu’une seule variable).
En fait, l’analyse canonique est, sur le plan théorique, la méthode centrale tion qui va être abordée ici est celle des relations entre ces deux ensembles
de la statistique descriptive multidimensionnelle, dans la mesure où elle gé- de variables : certains acides gras sont-ils plus présents lorsque certains gènes
néralise diverses autres méthodes. Outre la régression linéaire, l’A.C. redonne sont surexprimés, ou le contraire... La réponse sera essentiellement fournie paren effet l’analyse factorielle discriminante lorsque l’un des deux groupes de les graphiques produits par l’A.C. et dans lesquels seront simultanément reprévariables est remplacé par les indicatrices d’une variable qualitative. Elle re- sentés gènes et acides gras : il s’agira donc de graphiques relatifs aux variables.

1

Introduction

Notons tout de suite qu’il n’est pas très courant de représenter les individus
donne également l’analyse factorielle des correspondances lorsque chacun desdeux groupes est remplacé par les indicatrices d’une variable qualitative. Si- en A.C. Toutefois, compte tenu des particularités de l’exemple considéré ici
gnalons également qu’il existe certaines généralisations de l’A.C. à plus de (petit nombre d’observations et structuration de ces observations selon les facPage 65 sur 104

06/14

2

Analyse canonique des corrélations (ACC)

teurs “génotype” et “régime”), nous réaliserons ces graphiques et nous verrons 2.3 Principe général de la méthodequel est leur intérêt.
Chaque variable de chacun des deux groupes (les 10 gènes et les 11 acidesgras) sont mesurées sur les n individus (n = 40). On peut donc associer à
2.2 Notations
chacune un ensemble de 40 valeurs, autrement dit un vecteur de R40 (espace
Dans toute la suite de ce chapitre, on notera n le nombre d’individus consi- vectoriel que l’on a préalablement muni d’une base adéquate et d’une métriquedérés (autrement dit, la taille de l’échantillon observé, ici 40), p le nombre de appropriée). C’est dans cet espace (R40 ) que l’on peut définir la méthode :variables (quantitatives) du premier groupe (les gènes) et q le nombre de va- elle consiste à rechercher le couple de vecteurs, l’un lié aux gènes, l’autres
riables (également quantitatives) du second groupe (les acides gras). On dési- aux acides, les plus corrélés possible. Ensuite, on recommence en cherchantgnera par X la matrice, de dimension n×p, contenant les observations relatives un second couple de vecteurs non corrélés aux vecteurs du premier et le plus
au premier groupe de variables et par Y la matrice, de dimension n × q, conte- corrélés entre eux, et ainsi de suite. La démarche est donc similaire à cellenant celles relatives au second groupe. La j-ième colonne de X (j = 1, . . . , p) utilisée en A.C.P. ou en analyse factorielle discriminante. La représentation
contient donc les observations xji de la j-ième variable du premier groupe (no- graphique des variables se fait soit par rapport aux vecteurs liés aux gènes,tée X j , il s’agit de l’expression du j-ième gène retenu) sur les n individus soit par rapport à ceux liés aux acides (en général, les deux sont équivalentes,
considérés (i = 1, . . . , n). De même, la k-ième colonne de Y (k = 1, . . . , q) au moins pour ce qui est de leur interprétation). Ces vecteurs, obtenus danscontient les observations yik de la k-ième variable du second groupe (notée Y k , chaque espace associé à chacun des deux groupes de variables, sont analogues
il s’agit du pourcentage relatif au k-ième acide gras retenu).
aux facteurs de l’A.C.P. et sont ici appelés variables canoniques. Comme en
En A.C., il est nécessaire d’avoir p ≤ n, q ≤ n, X de rang p et Y de rang A.C.P., on peut tracer le cercle des corrélations sur le graphique des variables,q. Par conséquent, dans l’exemple considéré, il a été nécessaire de faire une ce qui en facilite l’interprétation (dont le principe est le même que pour lesélection des gènes et de ne retenir que les plus importants (ceux dont le rôle graphique des variables en A.C.P.). Des considérations techniques permettent
prépondérant a préalablement été mis en évidence au moyen des techniques de faire également un graphique pour les individus.
exploratoires). Bien que ce ne soit pas imposé par la théorie, nous avons égaleAppelons d le nombre de couples de variables canoniques jugés intéressants,
ment fait, pour être cohérents, une sélection des acides gras. Finalement, nous autrement dit la dimension retenue pour les représentations graphiques. On aavons sélectionné 10 gènes et 11 acides gras hépatiques.
nécessairement 1 ≤ d ≤ p, et on choisit en général d entre 2 et 4. Nous noterons (V s , W s ) (s = 1, . . . , d) les couples de variables canoniques retenus ; on
Les gènes sont les suivants :poseraρs = Cor(V s , W s ) et on appellera corrélations canoniques les coeffiPMDCI THIOL CYP3A11 CYP4A10 CYP4A14 Lpin Lpin1 GSTmu GSTpi2
S14.
cients ρs qui sont, par construction, décroissants.
Les acides gras sont les suivants :C16_0 C18_0 C18_1n_7 C18_1n_9 C18_2n_6 C18_3n_3

3

Approche mathématique

C20_4n_6 C20_5n_3 C22_5n_3 C22_5n_6 C22_6n_3.

Dans ce paragraphe, nous reprenons, plus en détail et avec plus de rigueur
Remarque. — On notera que la notation habituelle des acides gras est un peu
mathématique,les éléments présentés dans le paragraphe précédent. Le lecteur
différente de celle ci-dessus ; ainsi C18_1n_7 correspond à C18:1n-7 ; labiologistepeufamiliarisé
avec ces notions de mathématiques pourra donc lenotation adoptée est nécessaire pour la lecture par le logiciel SAS.
parcourir très rapidement et se contenter d’aller y chercher quelques résultats,
Enfin, sans perte de généralité, on suppose également p ≤ q (on désigne lorsque nécessaire.
donc par premier groupe celui qui comporte le moins de variables). Finalement, nous avons ici : n = 40 ; p = 10 ; q = 11.
Page 66 sur 104

06/14

3

3.1

Analyse canonique des corrélations (ACC)

Représentations vectorielles des données

Ensuite, on cherche le couple normé (V 2 , W 2 ), V 2 combinaison linéaire
des X j non corrélée à V 1 et W 2 combinaison linéaire des Y k non corrélée à
Comme en A.C.P., on peut considérer plusieurs espaces vectoriels réels as- W 1 , telles que V 2 et W 2 soient le plus corrélées possible. Et ainsi de suite...
sociés aux observations.
Remarque. — Dans la mesure où l’A.C. consiste à maximiser des corrélaTout d’abord, l’espace des variables ; c’est F = Rn , muni de la base cano- tions, quantités invariantes par translation et par homothétie de rapport positif
nique et d’une certaine métrique, en général l’identité. À chaque variable X j sur les variables, on peut centrer et réduire les variables initiales X j et Y k
est associé un vecteur unique xj de F dont les coordonnées sur la base cano- sans modifier les résultats de l’analyse. Pour des raisons de commodité, on lenique sont les xji (i = 1, . . . , n). De même, à chaque variable Y k est associé fera systématiquement. Par conséquent, les matrices X et Y seront désormais
un vecteur unique y k de F , de coordonnées les yik . On peut ainsi définir dans F supposées centrées et réduites (en colonnes).
deux sous-espaces vectoriels : FX , engendré par les vecteurs xj (j = 1, . . . , p),
L’A.C. produit ainsi une suite de p couples de variables (V s , W s ), s =en général de dimension p, et FY , engendré par les vecteurs y k (k = 1, . . . , q),1, . . . , p. Les variables V s constituent une base orthonormée de FX (les V s ,en général de dimension q.
combinaisons linéaires de variables centrées, sont centrées ; comme elles sontRemarque. — Il est courant de munir l’espace vectoriel F de la métrique non corrélées, elles sont donc orthogonales pour la métrique identité). Lesdite “des poids”, définie, relativement à la base canonique, par la matrice diag variables W s constituent, de même, un système orthonormé de F (ils n’enY(p1 , . . . , pn ), où les pi (i = 1, . . . , n) sont des poids (positifs et de somme constituent une base que si q = p). Les couples (V s , W s ), et plus particulièreégale à 1) associés aux individus observés. Lorsque tous ces poids sont égaux, ment les premiers d’entre eux, rendent compte des liaisons linéaires entre les
ils valent nécessairement n1 et la matrice définissant la métrique des poids vaut deux groupes de variables initiales. Les variables V s et W s sont appelées les
1
n In , où In est la matrice identité d’ordre n. Dans ce cas, il est équivalent variables canoniques. Leurs corrélations successives (décroissantes) sont apd’utiliser la métrique identité, ce que nous ferons par la suite, dans la mesure pelées les coefficients de corrélation canonique (ou corrélations canoniques)où les individus seront systématiquement équipondérés.
et notées ρs (1 ≥ ρ1 ≥ ρ2 ≥ · · · ≥ ρp ≥ 0).
On peut ensuite considérer deux espaces vectoriels pour les individus, Remarque. — Toute variable canonique V s0 est, par construction, non corrélée
EX = Rp et EY = Rq , eux aussi munis de leur base canonique et d’une (donc orthogonale) avec les autres variables canoniques V s , s 6= s . On peut0certaine métrique. Dans EX , chaque individu i est représenté par le vecteur également montrer que V s0 est non corrélée avec W s , si s 6= s (la même0jxi , de coordonnées xi (j = 1, . . . , p) sur la base canonique. De même, dans propriété est bien sûr vraie pour toute variable W s0 avec les variables V s ,EY , l’individu i est représenté par le vecteur yi , de coordonnées les yik .
s 6= s ).
0

En fait, c’est surtout l’espace F que nous considérerons par la suite, la défi- Remarque. — Si nécessaire, on peut compléter le système des variables W snition de l’A.C. y étant plus naturelle.
(s = 1, . . . , p) pour obtenir une base orthonormée de FY dans laquelle lesdernières
variables W s (s = p + 1, . . . , q) sont associées à des coefficients de
3.2 Retour sur le principe de la méthodecorrélation canonique nuls (ρs = 0, pour s = p + 1, . . . , q).
Le principe général de l’A.C. est décrit ci-dessous, dans l’espace des va3.3 Propriété
riables F .
Dans un premier temps, on cherche un couple de variables (V 1 , W 1 ), V 1
La propriété donnée ici permet, dans la pratique, de déterminer les variablesétant une combinaison linéaire des variables X j (donc un élément de FX ), canoniques V s et W s en utilisant un algorithme standard de recherche desnormée, et W 1 une combinaison linéaire des variables Y k (donc un élément vecteurs propres d’une matrice.
de FY ), normée, telles que V 1 et W 1 soient le plus corrélées possible.
Page 67 sur 104

06/14

4

Analyse canonique des corrélations (ACC)

Dans le même espace, on peut également représenter les variables de l’autre
Dans l’espace vectoriel F muni de la métrique identité, notons PX et PY
les matrices des projecteurs orthogonaux sur les sous-espaces FX et FY dé- groupe, les Y k , en projetant tout d’abord les vecteurs y k dans FX , au moyen
finis plus haut. Les formules usuelles de définition des projecteurs permettent de PX , puis en prenant le produit scalaire de ces projections avec les vecteursv s . On doit donc calculer pour cela les produits scalairesd’écrire (X0 désignant la matrice transposée de X) :PX = X(X0 X)−1 X0 ; PY = Y(Y0 Y)−1 Y0 .

< PX (y k ), v s >=< y k , PX (v s ) >=< y k , v s >,encore égaux aux corrélations entre les variables initiales Y k et les variablescanoniques V s .

On peut alors montrer la propriété ci-dessous.
P ROPOSITION 1. — Les vecteurs V s sont les vecteurs propres normés de la
matrice PX PY respectivement associés aux valeurs propres λs rangées par
ordre décroissant (on peut vérifier que ces valeurs propres sont comprises entre
1 et 0). De même, les vecteurs W s sont les vecteurs propres normés de la matrice PY PX respectivement associés aux mêmes valeurs propres λs . De plus,
les coefficients de corrélation canoniqueρs sont les racines carrées positives√
de ces valeurs propres : ρs = λs , s = 1, . . . , p (le logiciel SAS fournit lescorrélations canoniques ρs ainsi que leurs carrés λs ).

Dans la mesure où le graphique ainsi obtenu est “bon” (sur ce point, voir
plus loin), on peut l’utiliser pour interpréter les relations (proximités, oppositions, éloignements) entre les deux ensembles de variables. Par construction,ce graphique représente les corrélations entre les variables canoniques V s etles variables initiales X j et Y k , corrélations à la base de son interprétation. On
peut aussi conforter cette interprétation en utilisant les coefficients de corrélation linéaire entre variables X j , entre variables Y k , et entre variables X j et
Y k . Tous ces coefficients sont en général fournis par les logiciels.

3.4

Représentation des variables dans le sous-espace FY

Retour sur les représentations graphiques

De façon symétrique, on restreint le système (w1 , . . . , wp ) de FY aux preComme en A.C.P., les représentations graphiques des résultats d’une A.C. se
1dauxquelles on représente aussi bien
font en dimension réduite (souvent 2 ou 3). Nous noterons d cette dimension, mières variables (w , . . .j , w ), par rapportklesvariables
initiales
X
que
les
Y
,
selon
le même principe que celui décrit
avec : 1 ≤ d ≤ p. Plusieurs représentations sont envisageables, à la fois pourci-dessus(lescoordonnées
sontles
corrélations).
les variables et pour les individus.
Là encore, dans la mesure où ce graphique est “bon”, il permet d’interpréter
Représentation des variables dans le sous-espace FX
les relations entre les deux ensembles de variables.
Désignons par v s et ws les vecteurs de FX et FY respectivement associés
Les deux graphiques (dans FX et dans FY ) ayant la même qualité et conduiaux variables canoniques V s et W s .
sant aux mêmes interprétations, un seul suffit pour interpréter les résultats
Dans FX , on considère la base orthonormée (v 1 , . . . , v p ) que l’on restreint d’une analyse.
à (v 1 , . . . , v d ) pour les représentations graphiques.
Représentation des individus
On peut tout d’abord représenter chacune des variables initiales X j au
moyen de ses coordonnées sur les v s . Ces coordonnées s’obtiennent en calculant les produits scalaires < xj , v s >, j = 1, . . . , p, s = 1, . . . , d. Lesvariables X j étant centrées et réduites, les vecteurs xj sont centrés et normés(et il en va de même pour les vecteurs v s ), de sorte que ces produits scalaires
sont égaux aux corrélations entre variables initiales X j et variables canonique
V s (au coefficient n près, puisqu’on a considéré la métrique identité).

Dans chacun des espaces relatifs aux individus (EX et EY ), il est encore
possible de faire une représentation graphique de ces individus en dimensiond, ces deux représentations graphiques étant comparables (d’autant plus comparables que les corrélations canoniques sont élevées).
En fait, on peut vérifier que les coordonnées des individus sur les axes canoniques pour ces deux représentations sont respectivement données par lesPage 68 sur 104

06/14

5

Analyse canonique des corrélations (ACC)

lignes des matrices Vd (dans EX ) et Wd (dans EY ), Vd et Wd désignant les sauter ce paragraphe.
matrices n × d dont les colonnes contiennent les coordonnées des d premières
4.1 Introduction
variables canoniques sur la base canonique de F .
Ouvrages et logiciels anglo-saxons de statistique présentent souvent l’analyse canonique parallèlement à la régression linéaire multivariée (régression
Comme dans toute méthode factorielle, différents éléments doivent être pris d’un ensemble de variables Y k , à expliquer, sur un autre ensemble de variables
en compte pour le choix de la dimension d dans laquelle on réalise les gra- X j , explicatives). Cette approche est, en fait, assez naturelle, dans la mesurephiques (et dans laquelle on interprète les résultats).
où les données sont de même nature dans les deux méthodes et où l’on cherche,• Tout d’abord, il est clair que d doit être choisi petit, l’objectif général de dans l’une comme dans l’autre, des relations linéaires entre variables.
la méthode étant d’obtenir des résultats pertinents dans une dimension
Il convient toutefois de noter les deux différences fondamentales entre lesréduite ; ainsi, le plus souvent, on choisit d égal à 2, 3 ou 4.
deux méthodes : contrairement à ce qu’il se passe en A.C., les deux ensembles• Plus l’indice de dimension s augmente, plus la corrélation canonique ρs de variables X j et Y k ne sont pas symétriques en régression, puisqu’il s’agit
diminue ; or, on ne s’intéresse pas aux corrélations canoniques faibles, d’expliquer les variables Y k au moyen des variables X j ; d’autre part, toujours
puisqu’on cherche à expliciter les relations entre les deux groupes de va- en régression, on suppose la normalité des variables réponses Y k , alors qu’auriables ; par conséquent, les dimensions correspondant à des ρs faibles cune hypothèse de cette nature n’est nécessaire en A.C. L’avantage de cettepeuvent être négligées.
hypothèse (lorsqu’elle est “raisonnable”) est de permettre de réaliser des tests• Le pourcentage que chaque valeur propre λs représente par rapport à la dans le modèle de régression.
somme de toutes les valeurs propres, c’est-à-dire par rapport à la tracede la matrice diagonalisée, facilitent également le choix de d (voir la re- 4.2 Le modèle de régression multivariéemarque 5).
Le modèle de régression multivariée des variables Y k sur les variables X js’écrit :4 Compléments : analyse canonique et réY = XB + U ;Choix de la dimension

gression multivariée

les matrices Y, n × q, et X, n × p, sont celles introduites en A.C. ; B est la
matrice p × q des paramètres inconnus, à estimer (les coefficients de régresL’objectif principal de ce paragraphe est de donner une idée, à l’utilisateur sion) ; U est la matrice n × q des erreurs du modèle. Chaque ligne Ui de U est
du logiciel SAS, du principe des tests figurant dans la procédure CANCORR, un vecteur aléatoire de Rq supposé Nq (0, Σ), les Ui étant indépendants (Σ estcelle qui permet de réaliser l’analyse canonique. Accessoirement, ce para- une matrice inconnue, à estimer, supposée constante en i).
graphe introduit la régression multivariée et fait le lien entre cette technique
L’estimation maximum de vraisemblance de B conduit à la solution :et l’analyse canonique.
B̂ = (X0 X)−1 X0 Y.
On notera que les tests présentés ici sont des tests statistiques classiques
dans le contexte de l’analyse multivariée, que ce soit l’analyse canonique, la On appelle alors valeurs prédites (de Y par le modèle) les quantités :régression multivariée, l’analyse de variance multivariée (la MANOVA), ou
Ŷ = XB̂ = PX Y ;même l’analyse discriminante. Ils apparaissent ainsi dans toutes les procéduresd’autre part, on appelle résidus les quantités :du logiciel SAS permettant de mettre en œuvre ces méthodes.
Le lecteur peu familiarisé avec les méthodes multivariées pourra néanmoins
Page 69 sur 104

Û = Y − Ŷ = P⊥
XY
06/14

6

Analyse canonique des corrélations (ACC)n
En interprétant ces pourcentages comme la part d’inertie globale du nuage(dans l’écriture ci-dessus, P⊥X désigne, dans R , le projecteur orthogonal sur
le sous-espace supplémentaire orthogonal à FX dans Rn ; on sait que ce pro- des individus restituée par les différents axes canoniques (ce qu’elles sont, parexemple, en analyse factorielle discriminante), ces quantités facilitent le choix
jecteur s’écrit : P⊥
X = In − PX ).
de la dimension d retenue pour les graphiques et les interprétations.

4.3

Matrices intervenant dans les tests

Dans le cadre du modèle gaussien, on peut tester la significativité du modèle
en généralisant le test de Fisher, bien connu dans le cas unidimensionnel. Au
numérateur de la statistique de Fisher figure la norme carrée du vecteur ŷ − y,ici remplacée par Ŷ0 Ŷ (cette matrice est centrée). Au dénominateur figure lanorme carrée des résidus, ici remplacée par Û0 Û (on néglige, pour l’instant,les degrés de liberté de ces quantités). La statistique de Fisher est donc remplacée par le produit matriciel Ŷ0 Ŷ(Û0 Û)−1 . Comme on a Ŷ = PX Y, il
vient : Ŷ0 Ŷ = Y0 PX Y = H (la notation H est standard, car cette quantité est liée à l’hypothèse nulle testée). D’autre part, Û = P⊥
X Y entraîne :0
0 ⊥Û Û = Y PX Y = E (il s’agit encore d’une notation standard, cette matrice
représentant les erreurs du modèle). Les tests multidimensionnels de significativité du modèle sont ainsi basés sur l’étude des valeurs propres soit du produit
matriciel−1
HE−1 = (Y0 PX Y)(Y0 P⊥
,
X Y)

4.4

Tests

Il existe plusieurs tests de significativité du modèle de régression multivariée, en général équivalents (au moins au niveau des décisions qu’ils entraînent). Ces tests sont les généralisations classiques du test de Fisher au cas
multivarié (on les retrouve, par exemple, en analyse de variance multivariée)et sont des tests asymptotiques. Le logiciel SAS fournit les trois premiers cidessous, mais pas le quatrième. Il fournit également le test de Roy, basé sur la
λ1plus grande valeurs propre de la matrice HE−1 , soit
, mais ce test est
1 − λ1
à déconseiller.
• Le test de Wilks, adaptation du test du rapport des vraisemblances, estbasé sur la statistiqueΛ=−1soit encore du produit H(H + E) , les valeurs propres de ces deux matrices
se déduisant les unes des autres. Développons le second produit matriciel :pY(1 − λs ) =

s=1

p
Y

(1 − ρ2s ).

s=1• Le test de la trace de Pillai est basé sur la statistique

H + E = Y0 PX Y + Y0 (In − PX )Y = Y0 Y;−1

Z = trace H(H + E)d’où :−1

H(H + E)00

= Y PX Y(Y Y)

−1

=

p
X

λs .

s=1

,

• Le test de la trace de Lawley-Hotelling est basé sur la statistiquematrice ayant les mêmes valeurs propres que
PX Y(Y0 Y)−1 Y0 = PX PY ,T 2 = trace HE−1 =c’est-à-dire les λs (s = 1, . . . , p), carrés des corrélations canoniques.
Remarque. — On peut vérifier (le résultat est classique) que les valeurs propresλs
de la matrice HE−1 valent. Ces valeurs propres sont fournies par le1 − λslogiciel SAS, ainsi que les pourcentages (et les pourcentages cumulés) qu’elles
représentent par rapport à leur somme, trace de la matrice HE−1 .

p
X

λs
.
1
−
λs
s=1

• Le test du khi-deux est basé sur la statistique

Page 70 sur 104

pY1
K = −[(n − 1) − (p + q + 1)] ln(1 − λs ).
2
s=1

06/14

7

Analyse canonique des corrélations (ACC)

Le test du khi-deux présente l’avantage d’être directement utilisable, puis- 5 Exemple : nutrition chez la souris
qu’on compare la statistique K à une loi de khi-deux à pq degrés de libertés (ils’agit d’un test approché).
5.1 Traitements préliminaires
Dans les trois autres tests ci-dessus, on doit transformer la statistique (Λ, Z
Nous donnons ci-dessous les statistiques élémentaires relatives aux deux
ou T 2 ) pour obtenir un test de Fisher approché, les transformations étant assez groupes de variables. Les corrélations entre gènes se trouvent en Annexe A,
compliquées à expliciter (toutefois, SAS les réalise automatiquement).
celles entre acides en Annexe B.
Remarque. — Dans un article de 1951, Rao a montré que, dans la plupart desVariableN
Mean
Std Dev
Minimum
Maximumcas, l’approximation de Fisher du test de Wilks est la meilleure. C’est donc le -------------------------------------------------------------PMDCI
40-0.76730.1861-1.07-0.44
test que nous conseillerons.
Si le modèle de régression est significatif (il en va alors de même pourl’analyse canonique), on peut tester la significativité d’une dimension et del’ensemble des suivantes, en particulier pour guider le choix de la dimension
en A.C. Ainsi, supposons que les corrélations canoniques soient significatives
depuis la première jusqu’à la k-ième (1 ≤ k ≤ p). On peut alors tester l’hypothèse nulle

THIOL
CYP3A11CYP4A10CYP4A14
Lpin
Lpin1
GSTmu
GSTpi2
S14

40
40
40
40
40
40
40
40
40

-0.4110-0.5083-0.9798-0.9930-0.7533-0.7648-0.11900.2298-0.8068

0.21250.25560.22370.24600.17350.16380.15040.14220.2008

-0.90
-1.02
-1.33
-1.29
-1.13
-1.10
-0.44
0
-1.05

-0.03
0.06
-0.48
-0.15
-0.48
-0.49
0.23
0.55
-0.25

{H0 : ρk+1 = · · · = ρp = 0} (⇐⇒ {H0 : d = k})contre l’alternative{H1 : ρk+1 > 0} (⇐⇒ {H1 : d > k}).
Pour cela, il faut adapter soit le test de Wilks, soit le test du khi-deux.
Pour le test de Wilks, il suffit de faire le produit des quantités (1 − λs )de l’indice k + 1 à l’indice p et d’adapter la transformation en fonction desnouvelles dimensions. SAS le fait automatiquement. Pour le test du khi-deux,
il faut considérer la statistique
p
k
X
Y
1
1
Kk = −[(n − 1 − k) − (p + q + 1) +] ln
(1 − λs )
2
λ
s=1 s
s=k+1

et la comparer à une loi de khi-deux à (p − k)(q − k) degrés de liberté.

VariableN
Mean Std Dev Minimum Maximum-----------------------------------------------------C16_0
40
23.03
3.57
14.65
29.72
C18_0
40
6.75
2.64
1.68
10.97
C18_1n_7
40
4.43
3.38
1.53
15.03
C18_1n_9
40
25.27
7.34
14.69
41.23
C18_2n_6
40
15.28
8.76
2.31
40.02
C18_3n_3
40
2.89
5.83
0
21.62
C20_4n_6
40
5.28
4.46
0.75
15.76
C20_5n_3
40
1.79
2.59
0
9.48
C22_5n_3
40
0.87
0.86
0
2.58
C22_5n_6
40
0.44
0.66
0
2.52
C22_6n_3
40
5.91
5.33
0.28
17.35

Remarque. — Les valeurs ci-dessus sont relatives aux variables brutes (auxdonnées initiales). Comme indiqué dans la remarque 3, ces variables ont ensuite été centrées et réduites avant la réalisation de l’A.C.

5.2

Analyse canoniqueRemarque. — Dans l’utilisation de ces tests, il convient de ne pas perdre de Généralités
vue d’une part qu’il s’agit de tests asymptotiques (d’autant meilleurs que lataille de l’échantillon, n, est grande), d’autre part qu’ils ne sont valables que
Les premiers résultats fournis par une A.C. sont les corrélations croiséessous l’hypothèse de normalité des variables Y k .
entre les deux groupes de variables. Nous donnons ces corrélations dans l’anPage 71 sur 104

06/14

8

Analyse canonique des corrélations (ACC)nexe C.
Ensuite sont données les corrélations canoniques reproduites ci-dessous.
1
2
3
4
5
6
7
8
9
10

Canonical Correlation
1
0.96
2
0.93
3
0.91
4
0.86
5
0.79
6
0.72
7
0.61
8
0.41
9
0.25
10
0.04

On notera que “le plus petit” groupe ne comportant que 10 variables, on nepeut déterminer que 10 corrélations canoniques. L’objectif principal de l’A.C.
étant d’étudier les relations entre variables des deux groupes, on peut noter ici
qu’il existe effectivement des relations fortes entre ces deux groupes, puisqueles premiers coefficients canoniques sont très élevés. Compte tenu des valeurs
importantes des premiers coefficients, on peut raisonnablement se contenterde deux ou trois dimensions pour étudier les résultats fournis par la méthodeet nous avons choisi ici seulement deux dimensions, compte tenu qu’il s’agit
essentiellement d’une illustration.

current row and all that follow are zero
Likelihood
Approximate
Ratio
F Value
Num DF
Den DF
0.00003857
4.08
110155.530.00053068
3.31
90
145.910.00403909
2.77
72
135.320.02387531
2.21
56
123.780.08995724
1.78
42
111.330.23902627
1.41
30
98
0.49427788
0.99
2083.8650.78104952
0.56
1269.0810.93806320
0.29
6
54
0.99819295
0.03
2
28

Pr > F<.0001<.0001<.00010.00010.00900.10870.47950.8636
0.93800.9750On voit que le choix optimal de la dimension serait probablement d = 4 (nepas oublier que ces tests sont asymptotiques et que nous avons n = 40). Poursimplifier, nous ne présentons, par la suite, que les graphiques selon les deux
premières dimensions.
Graphique des individus

Dans un premier temps, nous avons réalisé le graphique des individus (les40 souris) relativement aux deux premiers axes canoniques de l’espace desgènes EX (Fig. 1). En général, dans une A.C., ce graphique sert seulement
à contrôler l’homogénéité de l’ensemble des individus (absence d’individus
Remarque. — Les valeurs propres de la matrice HE−1 et les pourcentages atypiques par exemple). Ici, dans la mesure où les individus proviennent d’unplan d’expériences à deux facteurs croisés (le génotype et le régime), il est
d’inertie restitués par les différentes dimensions sont les suivants :intéressant de regarder si l’on retrouve la structure de ce plan. On notera que
Eigenvalues of Inv(E)*H
cela est très net en ce qui concerne le génotype et encore assez net pour ce= CanRsq/(1-CanRsq)
qui est du régime (en fait, la sélection des gènes a été réalisée de telle sorte
Eigenvalue
Difference
Proportion
Cumulative1
12.7583
6.14710.41670.4167que ceux retenus soient le plus structurant possible pour ces deux facteurs ; le2
6.61111.70010.21590.6326
résultat, s’il est rassurant, n’a donc rien d’extraordinaire).
3
4.91112.14330.1604
0.7930
4
5
6
7
8
9
10

2.76781.6571
1.06790.58020.20100.06410.00181.11070.5892
0.48770.37920.13690.06230.09040.05410.03490.01890.00660.00210.00010.88330.93750.97230.99130.99780.99991.0000Signalons pour terminer qu’on a également réalisé le graphique des individus relativement aux deux premiers axes de l’autre espace (espace des acides
gras, EY ) et qu’il est très semblable à celui-ci.
Graphique des variables

Pour la représentation des variables, nous avons considéré le sous-espace
Par ailleurs, les tests de Wilks, de significativité de chaque dimension, sontF
X , engendré par les 10 gènes, et nous avons représenté à la fois les gènes
les suivants :et les acides gras relativement aux deux premières variables canoniques, V 1
Test of H0: The canonical correlations in theet V 2 (Fig. 2). Comme indiqué en 3.4, les coordonnées des variables initiales
Page 72 sur 104

06/14

9

Analyse canonique des corrélations (ACC)sont fournies par leur corrélations avec les variables canoniques.

0.8

5
5
5

0.7

5

0.6

2

2

2

2

4

2

1

3

4

5

1

0.5

4

1

2

3
3

5

5

2

1

3

4

5
2
0.4

Dimension 2

Certaines associations entre gènes et acides gras, en particulier celles correspondant à des points éloignés de l’origine, sont intéressantes à noter. Ainsi
peut-on observer que la séparation des génotypes est principalement liée d’unepart à l’accumulation préférentielle de l’acide gras C18_2n_6 chez les souris
PPAR, au détriment de C16_0, de C18_0 et des acides gras longs polyinsaturés C20_5n_3 et C22_6n_3 (les oméga 3), d’autre part à la plus forte expression des gènes THIOL, PMDCI, CYP3A11 et GSTpi2 chez les souris WT
par rapport aux souris PPAR. On peut également noter les proximités entre le
C16_0 et le gène THIOL, ainsi que les proximités entre CYP3A11 et GSTpi2
et les acides gras C18_0 et C22_6n_3. Par ailleurs, l’opposition entre le régime 2-efad et les régimes 1-dha et 3-lin est liée, sous régime efad, àl’accumulation d’acides gras monoinsaturés (C18_1n_9 et C18_1n_7) chezles souris des deux génotypes (mais plus marquée chez les souris PPAR), accompagnée de la sur-expression du gène S14 presque exclusivement chez lessouris WT. Sous régime riche en Oméga 3 (1-dha et 3-lin), on observe une
accumulation préférentielle des acides gras C20_5n_3 (surtout pour le régime lin), C22_6n_3 (surtout pour le régime dha) et C18_0 accompagnéede régulations positives des gènes GSTpi2, CYP3A11 et des CYP4A qui, cependant, se révèlent moins marquées, voire absentes, chez les souris PPAR.
Enfin, remarquons que la position particulière du régime 5-tsol chez lessouris PPAR est liée à l’accumulation extrêmement marquée de C18_2n_6
dans le foie de ces souris sous le régime tsol (sous ce régime, la proportionde C18_2n_6 est presque deux fois plus importante chez les souris PPAR que
chez les souris WT), soulignant ainsi le rôle primordial de PPARα dans la priseen charge de cet acide gras, que ce soit pour sa dégradation ou pour son utilisation pour la biosynthèse des acides gras longs polyinsaturés de la famille
Oméga 6.

1

3

13

0.3

1
4

1

3
3

4
0.2

4
4
−0.1

0.0

0.1

0.2

0.3

0.4

0.5

Dimension 1

F IGURE 1 – Souris : représentation des individus (souris) dans l’espace desgènes. Les WT sont en rouge-gras et les PPAR en bleu-italique ; les numéroscorrespondent aux régimes.

Page 73 sur 104

06/14

Analyse canonique des corrélations (ACC)

0.5

1.0

10

C18.2n.6
C22.5n.6

0.0

S14
GSTmu
C20.4n.6
Lpin
Lpin1

C18.3n.3
C22.5n.3

C20.5n.3
CYP4A14
C22.6n.3
CYP4A10
GSTpi2
C16.0
C18.0
THIOL
CYP3A11
PMDCI

−1.0

−0.5

Dimension 2

C18.1n.9
C18.1n.7

−1.0

−0.5

0.0

0.5

1.0

Dimension 1

F IGURE 2 – Souris : représentation des gènes (en rouge-gras) et des acides(en bleu-italique) dans le sous-espace des gènes.

Page 74 sur 104

06/14

1

cessaire de déterminer le nombre de dimensions fixant la taille de l’espace dereprésentation. Le graphique représentant la décroissance des valeurs propresaide à ce choix.

Positionnement multidimensionnel(MDS)
Résumé
Méthode factorielle de réduction de dimension pour l’exploration
statistique d’une matrice de distances ou dissemblances entre individus. ACP d’un tableau de distances ou multidimensional scaling.
Travaux pratiques avec étude de données élémentaires.
Retour au plan du cours.

1

Positionnement multidimensionnel (MDS)Introduction

Considérons n individus. Contrairement aux chapitres précédents, on ne
connaît pas les observations de p variables sur ces n individus mais dans certains cas les n(n − 1)/2 valeurs d’un indice (de distance, dissimilarité ou dissemblance) observées ou construites pour chacun des couples d’individus. Ces
informations sont contenues dans une matrice (n × n) D. L’objectif du positionnement multidimensionnel (multidimensional scaling, ou MDS, ou ACPd’un tableau de distances) est de construire, à partir de cette matrice, une représentation euclidienne des individus dans un espace de dimension réduite q
qui approche au “mieux” les indices observés. Autrement dit, visuellement legraphique obtenu représente en dimension (en général) 2 la meilleure approximation des distances observées entre les individus pouvant être des gènes ou
des échantillons biologiques.
Exemple élémentaire : Les données sont constituées d’un tableau contenantles distances kilométriques par route (Source : IGN) entre 47 grandes villes en
France et dans les pays limitrophes. Toutes ces valeurs sont rangées dans letriangle inférieur d’une matrice carrée avec des 0 sur la diagonale. La structuredu réseau routier, le relief, font que cette matrice de distances n’est pas euclidienne qui, dans ce cas, correspondrait à la distance à "vol d’oiseau". Mais,
comme le montre le graphique issu d’un positionnement multidimensionnel,l’approximation euclidienne en est très proche.

Le principal intérêt de cette technique est donc de pouvoir observer graphiquement le même ensemble de données à travers différentes "optiques" etmême d’en comparer les représentations ; chaque optique est définie par la façon dont on mesure des distances ou dissimilarités entre les objets. Citons trois
exemples typiques dans le cas spécifique de gènes décrits par leurs expressions
transcriptomiques et un exemple pluls qualitatif :• chaque gène est un vecteur dans un espace vectoriel muni de la distanceeuclidienne classique (racine de la somme des carrés des écarts). Le MDS
ou ACP du tableau des distances qui en découle est équivalent à l’ACP
dans laquelle les gènes sont les individus (les lignes).
• On mesure la dissimilarité entre deux gènes X j et X k par 1 −cor(X j , X k ) faisant intervenir la corrélation linéaire de Pearson ou cellerobuste sur les rangs de Spearman. Les gènes co-régulés (fortement positivement corrélés) sont très proches, les gènes associés dans un mécanismed’inhibition (fortement négativement corrélés) p
seront aussi proches.
• On mesure la distance entre deux gènes par
1 − cor(X j , X k )2 . Ellevérifie, dans ce cas, les propriétés qui en font une distance euclidienne.
Co-régulés ou inhibés, les gènes corrélés positivement ou négativement
sont proches dans les représentations graphiques.
• Considérons un tableau avec, en ligne, les individus d’un groupe et encolonne les pays de la C.E. La valeur 1 est mise dans une case lorsquel’individu de la ligne a passé au moins une nuit dans le pays concerné.
Il est alors facile de construire une matrice de similarité avec un indicequi compte le nombre de 1 apparaissant dans les mêmes colonnes de tous
les couples d’individus. L’objectif est ensuite d’obtenir une représentationgraphique rapprochant les individus ayant visité les mêmes pays.
Les preuves et développements théoriques sont omis dans cet exposé succinct, ils sont à chercher dans la bibliographie. Voir par exemple Mardia et col.
(1979)[1].

Le MDS étant encore une technique factorielle, comme en ACP il est néPage 75 sur 104

06/14

2

Positionnement multidimensionnel (MDS)

2Distance, similarités

Rappelons quelques propriétés et définitions élémentaires à propos de la
notion de dissemblance ou similarité. Ces poins sont reprécisés dans la vignette
sur la Classification non-supervisée.

2.1

hend

Définitions

bres
400

lour
bord
ando

roya

stma

nant

toul
poit

200

D ÉFINITION 1. —• Une matrice (n × n) D est appelée matrice (d’indices) de distance si elle
est symétrique et si :

laba
renn

ange
lema

limo

• Une matrice (n × n) C est appelée matrice de similarité si elle est symé-

caen

tour

trique et si∀(j, k), ckj ≤ cjj .

leha

0

clem

bour

orle

roue
pari

mont

boul
cala
lill

−200

amie

dijo

gren

dkj = (cjj + ckk − 2ckj )−1/2 .

brux

besa
nanc
metz
luxe
mulh
bale
stra

−600

−400

Une matrice de similarité se transforme en matrice de distance par :

reim

gene
cham

−800

Pour que cette définition corresponde formellement à celle d’une “distance” ilfaudrait ajouter l’axiome d’inégalité triangulaire.

troy

lyon

mars

−400

cp2

perp

nice

djj = 0 et ∀(j, k), j 6= k, dkj ≥ 0.

cher

−200
cp1

0

200

400

D ÉFINITION 2. — Une matrice de distance est dite euclidienne s’il existe une
configuration de vecteurs {x1 , . . . , xn } dans un espace vectoriel euclidien E
de sorte que2
dkj = hxj − xk , xj − xk i .
2

On note A la matrice issue de D de terme général dkj = −dkj /2 et H lamatrice de centrage :H = I − 110 D,

F IGURE 1 – Villes : Positionnement de 47 villes à partir de la matrice de leursqui est la matrice de projection sur le sous-espace D-orthogonal au vecteur 1
distances kilométriques.
dans l’espace euclidien F des variables muni de la métrique des poids.
P ROPOSITION 3. —Page 76 sur 104

06/14

3

• Soit D une matrice de distance et B la matrice obtenue par double cen-trage de la matrice A issue de D :B = HAH0 ,alors D est une matrice euclidienne si et seulement si B est positive(toutes ses valeurs propres sont positives ou nulles).
• Si la matrice de similarité C est positive alors la matrice de distance D
déduite est euclidienne.

2.2

Positionnement multidimensionnel (MDS)P ROPOSITION 4. — La distance entre variables quantitatives d2 (X, Y ) est encore le carré de la distance kPx − Py kD entre les projecteurs D-orthogonaux
sur les directions engendrées par les vecteurs x et y.
Des indices de dissimilarité peuvent également être définis pour un couple devariables qualitatives (à partir de l’indice de Tschuprow) ou pour une variable
quantitative et une variable qualitative (à parti du rapport de corrélation). Ils
ont moins d’intérêt pour des données d’expression et sont laissés de côté.

3

Distances entre variables

L’un des intérêts pratiques du positionnement multidimensionnel est d’aider à comprendre, visualiser, les structures de liaison dans un grand ensemble
de variables. On obtient ainsi des indications pour guider le choix d’un sousensemble de variables, par exemple les plus liées à une variable à expliquer.
Cette approche nécessite la définition d’indices de similarité entre variables.
Beaucoup sont proposés dans la littérature et concrètement utilisés pour lesdonnées d’expression. Les gènes étant considérés comme des variables, ons’intéresse alors à différents critères basés sur la corrélation linéaire usuelle dePearson ou robuste (non paramétrique de Spearman).

Recherche d’une configuration de points

Le positionnement multidimensionnel est la recherche d’une configurationde points dans un espace euclidien qui admette D comme matrice de distances
si celle-ci est euclidienne ou, dans le cas contraire, qui en soit la meilleureapproximation à un rang q fixé (en général 2) au sens d’une norme sur les
matrices. Nous ne nous intéressons dans ce chapitre qu’à la version “métrique” du MDS, une autre approche “non métrique” construite sur les rangs est
développée dans la bibliographie.

Ainsi posé, le problème admet une infinité de solutions. En effet, la distanceentre deux vecteurs xi et xk d’une configuration est invariante par toute transOn note X et Y deux variables statistiques dont les observations sur les formation affine zi = Fxi + b dans laquelle F est une matrice orthogonalemêmes n individus sont rangées dans les vecteurs centrés x et y de l’espace quelconque et b un vecteur de Rp . Une solution n’est donc connue qu’à une
euclidien F muni de la métrique des poids D. On vérifie facilement :rotation et une translation près.
cov(X, Y ) = x0 Dy
σX = kxkD
x0 Dy
cor(X, Y ) =.
kxkD kykD

3.1

Propriétés

La solution est donnée par les résultats (Mardia et col.79) ci-dessous :P ROPOSITION 5. — Soit D une matrice de distance et B = HAH la matricecentrée en lignes et colonnes associée.
La valeur absolue ou le carré du coefficient de corrélation définissent des in• Si D est la matrice de distance euclidienne d’une configuration
dices de similarité entre deux variables quantitatives. Il est facile d’en déduire{x1 , . . . , xn } alors B est la matrice de terme généraldes distances. Le carré du coefficient de corrélation linéaire a la particularité
bkj = (xj − x)0 (xk − x)d’induire une distance euclidienne :d2 (X, Y ) = 2(1 − cor2 (X, Y )).

qui se met sous la forme
B = (HX)(HX)0 .
Page 77 sur 104

06/14

4

Positionnement multidimensionnel (MDS)b qui rend
Elle est donc positive et appelée matrice des produits scalaires de la confi- q fixée, la configuration issue du MDS a une matrice de distance D2Pnguration centrée.
ck
k 2
j,k=1 ({dj } − dj ) minimum et, c’est équivalent, une matrice de produit• Réciproquement, si B est positive de rang p, une configuration de vecteurs
2b qui minimise B − Bb .
admettant B pour matrice des produits scalaires est obtenue en considé- scalaire B
rant sa décomposition spectrale B = U∆U0 . Ce sont les lignes de la
matrice centrée X = U∆1/2 qui fournissent les coordonnées des vec- 4 Données génomiques
teurs de la représentation euclidienne.
Une analyse en composantes principales fournit un premier aperçu de la re3.2 Explicitation du MDS
présentation de gènes relativement aux échantillons biologiques par l’intermédiaire d’un biplot. Le but ici est de s’intéresser aux éventuelles co-régulations
Pour résumé, dans le cas d’une matrice D euclidienne supposée de rang q,
ou inhibitions entre gènes. Le cas échéant, ceux-ci apparaîtront corrélés pole MDS est obtenu en exécutant les étapes suivantes :sitivement ou négativement. Le positionnement multidimensionnel permet de2
1. construction de la matrice A de terme général −1/2dkj ,considérer différentes façon de prendre p
enPcompte des distances inter-gènes :n
2 , positive ou nulle ;•distance
euclidienne,
d
(X,
Y
)
=
1
2. calcul de la matrice des produits scalaires par double centrage B =
i=1 (Xi − Yi ) p0• distance associée à la corrélation carrée, d2 (X, Y ) = 1 − cor(X, Y )2 ,HAH ,comprise entre 0 et 1 ;3. diagonalisation de B = U∆U0 ;• distance associée à la corrélation, d3 (X, Y ) = 1 − cor(X, Y ), comprise
4. les coordonnées d’une configuration, appelées coordonnées principales,
entre 0 et 2.
sont les lignes de la matrice X = U∆1/2 .
En cas de problème de robustesse (valeurs atypiques) encore présent après
Dans le cas euclidien, ACP et MDS sont directement connectés.
transformation en logarithme, remplacer la corrélation linéaire de Pearson parcelle sur les rangs de Spearman peut s’avérer utile.
P ROPOSITION 6. — Soit Y la matrice des données habituelles en ACP. L’ACP
Remarquons tout d’abord que dans les trois cas, plus la valeur est petite,de (Y, M, 1/nI) fournit les mêmes représentations graphiques que le poplus les gènes dont on mesure l’éloignement sont proches. Ensuite, pour d2 etsitionnement calculé à partir de la matrice de distances de terme générald3 , une valeur proche de 1 caractérise deux gènes non corrélés, ce qui n’est
kyi − yj kM . Si C désigne la√matrice des composantes principales, alors les
pas nécessairement le cas de la distance euclidienne. Enfin, il est important
coordonnées principales sont nC.
de noter qu’une corrélation forte et négative entre deux gènes conduit à deux
L’intérêt du MDS apparaît évidemment lorsque les observations Y sont in- résultats opposés selon d2 (valeur proche de 0) et d3 (valeur proche de 2).
La figure 2 illustre les trois possibilités avec le positionnement multidimensionnel des gènes. L’analyse conjointe de ces trois graphiques conduit à denombreuses interprétations sur le plan biologique. Sans rentrer dans les détails, nous noterons que ces trois graphiques tendent à séparer deux groupesde gènes qui interviennent dans deux fonctions biologiques opposées : les
CYP4A, PMDCI, PECI, AOX, BIEN, THIOL, CPT2, mHMGCoAS, Tpalphaet Tpbeta sont impliqués dans le catabolisme des lipides et la cétogénèse
P ROPOSITION 7. — Si D est une matrice de distance, pas nécessairement eu- alors que les gènes FAS, S14, ACC2, cHMGCoAS, HMGCoAred et, plus inclidienne, B la matrice de produit scalaire associée, alors, pour une dimension directement, GK et LPK sont impliqués dans la synthèse de lipides au niveau

connues ou encore si l’on cherche la meilleure représentation euclidienne dedistances non-euclidiennes entre les individus ; c’est l’objet du théorème suivant. En ce sens, le MDS “généralise” l’ACP et permet, par exemple, de considérer une distance de type robuste à base de valeurs absolues mais la représentation des variables pose alors quelques problèmes car le “biplot” n’est plus
linéaire.

Page 78 sur 104

06/14

5

Positionnement multidimensionnel (MDS)d’expériences complémentaires.
GSTpi2CYP4A14
THB

0.4

−0.5

GK

HMGCoAred
ACC2
cHMGCoAS
Lpin1
Lpin

CAR1

0.0

0.2

MCADACOTH
PECI
THB
mHMGCoAS
GSTmu Tpalpha
M.CPT1
LCEPex11a
PON
apoB
RXRa
IL.2
apoE
RXRb2
Tpbeta
VLDLr
LXRb
FXR
CACP
G6Pase
ACAT1
PPARg
GS
LPL
SIAT4c
AM2R
PPARa
PXR
MTHFR
C16SR
AOX
PPARd
X36b4
SHP1
ADISP
OCTN2
MDR1
CIDEA
i.BABPi.BAT
BIEN SPI1.1
Lpin3
RARa
NURR1
TRa
Bcl.3
COX2
ap2
LXRa
hABC1
CBS cMOATCYP27b1
MS
UCP3
CYP26
TRb
RXRg1
CYP2b13
i.NOS
ADSS1
SR.BI
c.fos
CYP7a
ALDH3CPT2
COX1
BACT
VDR
CYP2b10
MDR2
PDK4
mABC1
ACC1
Waf1
MRP6
NGFiB
apoC3
UCP2
eif2g
CYP24
FAT Ntcp
RARb2
FDFT
ACAT2
CYP27a1
HPNCL
BSEP
i.FABP
GSTa
ACBP
G6PDH
PAL
apoA.I
Lpin2 PLTP
LDLr
CYP8b1
LPK

ACAT1PON
PPARd
G6PaseapoB RXRb2
SPI1.1
C16SR
PECI
LXRb
TpalphaM.CPT1GSTmu
mHMGCoAS
apoE
RXRa
CACP LCE i.BABP
PMDCI
X36b4
VLDLr
PPARg
Tpbeta
AM2R
FXR
MTHFR
LPL ADISP
PXR
AOX
OCTN2
CIDEA
i.BAT
MDR1
GS
CBS ACAT2
BACT
SHP1
LXRa Bcl.3
BIEN
SIAT4c
cMOAT
PPARa
NURR1
ap2
COX1 hABC1
TRa
Lpin3
CPT2
CYP26 CYP27b1
ALDH3
TRb
CYP2b10CYP7a
THIOL HPNCLMSSR.BI
UCP3
RXRg1
i.NOS
ACC1 RARa
CYP2b13
Waf1
c.fos
MDR2
ADSS1
VDR
mABC1
GSTa
COX2
L.FABPNGFiBPDK4
apoC3 RARb2 Ntcp
ACBP
UCP2
BSEP
CYP27a1MRP6
PAL eif2g
FDFT
CYP24
Lpin2
i.FABPFAT
G6PDH

Dimension 2

L.FABP

ACOTH
MCAD

IL.2
CYP4A10

0.0

0.0

PMDCI

THIOL

CAR1

−0.2

CYP2c29

GSTpi2Dimension 2

CYP2c29
Pex11aCYP3A11CYP4A10Dimension 2

CYP3A11−0.2

0.5

CYP4A14

0.2

CYP4A14

TpalphaCYP4A10MCAD
PECImHMGCoAS
TpbetaCYP3A11
RXRb2
THB
PMDCI
AOX
CACP
LXRb
C16SR
ACAT1
PPARg
ACOTH
Pex11aPONM.CPT1
IL.2
FXR
PPARd
BIEN
apoB
RXRa
apoE
PXR VLDLr
AM2R
GSTmu
LCE
cMOAT
THIOL
i.BABP
ADISP
X36b4
OCTN2
CBS
CPT2 SPI1.1
CAR1 MTHFR
LPL
GS
MDR1
ALDH3
CIDEA
PPARa
G6Pase BACT
LXRa
i.BAT
SIAT4c
CYP2c29
Lpin3
NURR1
Bcl.3 SHP1
SR.BI CYP26
L.FABP
GSTpi2hABC1
CYP27b1
TRa
Ntcp ap2 RARa
HPNCL
MS
UCP3
VDR
RXRg1
CYP2b10
GSTa
CYP7a
i.NOS
TRb
COX1
CYP2b13
ACAT2
COX2
MDR2
ACBP
ACC1
c.fos
ADSS1
Waf1 PDK4
UCP2
NGFiB
MRP6
mABC1
BSEP
eif2g
FAT RARb2
CYP27a1
apoC3
CYP24
PAL
FDFT
i.FABP
Lpin2
apoA.I
CYP8b1
G6PDH

GK

−0.6

FAS

FAS

−1.0

−0.5
Dimension 1

0.0

0.5

GKFAS
LPK

LDLr

−0.4

−0.4

−1.0

apoA.ILPK
CYP8b1S14

PLTPLpin1
Lpin
cHMGCoAS
HMGCoAred

ACC2

S14

−0.5

0.0
Dimension 1

Lpin
Lpin1
LDLr

PLTP
cHMGCoAS
HMGCoAred
S14

0.5

−0.6

−0.4

−0.2

ACC2

0.0

0.2

0.4

D’une manière générale, on peut retenir que l’utilisation de la distance euclidienne tend à rapprocher des gènes dont les expressions sont proches. En
revanche, les deux autres indicateurs considèrent que deux gènes sont proches
si leur expression varie dans le même sens selon les conditions expérimentales.
La corrélation (d3 ) distingue les gènes corrélés négativement, ce que ne permet pas la corrélation carrée (d2 ) qui doit donc être utilisée en connaissance decause.

Dimension 1

Notons que la distance d1 est plus courante en statistique alors que d3 l’est
davantage dans les études relatives aux biopuces. Autant que possible une comF IGURE 2 – Souris : positionnement multidimensionnel des gènes sur les axes paraison des trois distances est recommandée.
1 et 2 selon 3 distances différentes : distance euclidienne (d1 à gauche), corrélation (d3 au centre), corrélation carrée (d2 à droite).
Références
hépatique. On observera qu’aucun des trois graphiques de la figure 2, analysé individuellement, ne conduit à la totalité de cette interprétation mais que
c’est bien l’analyse conjointe de ces représentations qui permet d’affiner laconnaissance du biologiste sur ces données. Succintement, notons également
que d’autres gènes tendent à participer à ces groupes. Par exemple, le gène
Lpin1 est proche des gènes impliqués dans la lipogénèse. Bien que sa fonction soit actuellement inconnue, il a été observé que la lignée de souris déficiente pour Lpin1 présente des altérations du métabolisme des lipides.

[1] K.V. Mardia, J.T. Kent et J.M. Bibby, Multivariate Analysis, Academic
Press, 1979.

Les gènes dont la position sur le graphique sera le plus modifié en passantde la distance d2 à la distance d3 seront ceux présentant des corrélations négatives et importantes avec de nombreux autres gènes. Un cas typique dansnotre exemple est celui de CAR1 dont l’ACP (ainsi, que la matrice des corrélations) a montré qu’il était négativement corrélés avec des gènes tels que
GSTpi2, CYP3A11, FAS... La position relative des couples de gènes ainsi
obtenus change de façon importante entre les deux graphiques. On observera
en particulier le couple CAR1-GSTpi2 totalement opposé sur l’axe 1 selon
d3 et relativement proche selon d2 (tandis qu’il présente une opposition moins
marquée selon d1 ). La surexpression du gène CAR1 et la sous-expression dugène GSTpi2 chez les souris déficientes en récepteur PPARα n’a pas été décrite et constitue l’un des résultats originaux de ce travail. L’étude d’un lien potentiel entre ces deux modifications d’expression nécessitera la mise en œuvre
Page 79 sur 104

06/14

1

Classification non supervisée

1.2

Classification non supervisée
Résumé
Méthodes de classification non supervisée (ou clustering). Notions de distance, classification ascendante hiérarchique et choix
de distances entre classes, construction du dendrogramme, chjoix
du nombre de classes Classification par ré-allocation dynamique(k-means, partitionning around medoïds), méthode mixte pour lesgrands tableaux.
Travaux pratiques avec SAS et R pour la recherche de classes et leursreprésentations.

Les objectifs

L’objectif d’une méthode de classification déborde le cadre strictement exploratoire. C’est la recherche d’une typologie, ou segmentation, c’est-à-dired’une partition, ou répartition des individus en classes, ou catégories. Ceci est
fait en optimisant un critère visant à regrouper les individus dans des classes,
chacune le plus homogène possible et, entre elles, les plus distinctes possible.
Cet objectif est à distinguer des procédures de discrimination, ou encore declassement (en anglais classification) pour lesquelles une typologie est a prioriconnue, au moins pour un échantillon d’apprentissage. Nous sommes dans une
situation d’apprentissage non-supervisé, ou en anglais de clustering 1 .

1.3

Les méthodes

Un calcul élémentaire de combinatoire montre que le nombre de partitions
possibles d’un ensemble de n éléments croît plus qu’exponentiellement avecn ; le nombre de partitions de n éléments en k classes est
de Stirling,
Ple nombrenle nombre total de partition est celui de Bell : Pn = 1ek = 1∞ kk! .

Pour n = 20, il est de l’ordre de 1013 . Il n’est donc pas question de chercher à optimiser le critère sur toutes les partitions possibles. Les méthodes selimitent à l’exécution d’un algorithme itératif convergeant vers une “bonne”
1 Introduction
partition qui correspond en général à un optimum local. Même si le besoin
de classer des objets est très ancien, seule la généralisation des outils infor1.1 Les données
matiques en a permis l’automatisation dans les années 1970. Celeux et col.
Comme dans le cas du thème précédent (MDS), les données peuvent se pré- (1989)[1] décrivent en détail ces algorithmes.
senter sous différentes formes ; elles concernent n individus supposés affectés,
Différents choix sont laissés à l’initiative de l’utilisateur :pour simplifier, du même poids :• une mesure d’éloignement (dissemblance, dissimilarité ou distance) entre• un tableau de distances (ou dissimilarités, ou mesures de dissemblance),
individus ;n × n, entre les individus pris deux à deux ;• le critère d’homogénéité des classes à optimiser : il est, dans le cas de va• les observations de p variables quantitatives sur ces n individus ;riables quantitatives, généralement défini à partir de la trace d’une matrice• les observations, toujours sur ces n individus, de variables qualitatives ou
de variances-covariances ; soit les variances et covariances interclasses (lad’un mélange de variables quantitatives et qualitatives.
trace correspond alors à l’inertie de la partition), soit les variances et coD’une façon ou d’une autre, il s’agit, dans chaque cas, de se ramener au tavariances intraclasse ;bleau des distances deux à deux entre les individus (c’est-à-dire au premier• la méthode : la classification ascendante hiérarchique et celle par récas). Le choix d’une matrice de produit scalaire permet de prendre en compte
allocation dynamique sont les plus utilisées, seules ou combinées ;simplement un ensemble de variables quantitatives tandis que le troisième cas
1. Faire attention aux faux amis français / anglais : discrimination / classification (supervisée)nécessite plus de développements.
Retour au plan du cours.

et classification / clustering (non-supervisée)Page 80 sur 104

06/14

2

Classification non supervisée• le nombre de classes : c’est un point délicat.
2.1 Indice de ressemblance, ou similarité
Enfin, différents outils recherchent une interprétation, ou des caractérisations,C’est une mesure de proximité définie de Ω × Ω dans R+ et vérifiant :des classes obtenues.

On notera que les principes algorithmiques de ces méthodes sont relativement élémentaires.
Classification ascendante hiérarchique, ou CAH

s(i, j) = s(j, i), ∀(i, j) ∈ Ω × Ω : symétrie ;s(i, i) = S > 0, ∀i ∈ Ω : ressemblance d’un individu avec lui-même ;s(i, j) ≤ S, ∀(i, j) ∈ Ω × Ω : la ressemblance est majorée par S.

Il s’agit de regrouper itérativement les individus, en commençant par le bas
Un indice de ressemblance normé s∗ est facilement défini à partir de s par :(les deux plus proches) et en construisant progressivement un arbre, ou dendrogramme, regroupant finalement tous les individus en une seule classe, à la1s∗ (i, j) = s(i, j), ∀(i, j) ∈ Ω × Ω ;racine (cf. figure 3.5 qui reprend les données élémentaires de la vignette surS
le MDS). Ceci suppose de savoir calculer, à chaque étape ou regroupement, ladistance entre un individu et un groupe ainsi que celle entre deux groupes. Ceci s∗ est une application de Ω × Ω dans [0, 1].
nécessite donc, pour l’utilisateur de cette méthode, de faire un choix supplémentaire : comment définir la distance entre deux groupes connaissant celles 2.2 Indice de dissemblance, ou dissimilaritéde tous les couples d’individus entre ces deux groupes. Différents choix, apUne dissimilarité est une application d de Ω × Ω dans R+ vérifiant :pelés saut en français et linkage en anglais, sont détaillés plus loin. Le nombre
de classes est déterminé a posteriori, à la vue du dendrogramme ou d’un gra∀(i, j) ∈ Ω × Ω
phique représentant la décroissance de la hauteur de chaque saut, ou écart ded(i, j) = d(j, i), : symétrie ;distance, opéré à chaque regroupement.
d(i, j) = 0 ⇔ i = j.
Classification par ré-allocation dynamiqueDans ce cas, le nombre de classes, k, est fixé a priori. Ayant initialisé kcentres de classes par tirage aléatoire (ou autre procédure), tous les individus
sont affectés à la classe dont le centre est le plus proche au sens de la distancechoisie (en principe, euclidienne pour cette méthode). Dans une deuxièmeétape, l’algorithme calcule des barycentres de ces classes qui deviennent lesnouveaux centres. Le procédé (affectation de chaque individu à un centre, détermination des centres) est itéré jusqu’à convergence vers un minimum (local)
ou un nombre d’itérations maximum fixé.

2

Mesures d’éloignement

Les notions de similarité et dissimilarité se correspondent de façon élémentaire. Si s est un indice de ressemblance, alorsd(i, j) = S − s(i, j), ∀(i, j) ∈ Ω × Ω
est un indice de dissemblance. De façon réciproque, si d est un indice de dissemblance avec D = sup(i,j)∈Ω×Ω d(i, j), alors s(i, j) = D − d(i, j) est
un indice de ressemblance. Comme s∗ , un indice de dissemblance normé est
défini par :1d∗ (i, j) = d(i, j), ∀(i, j) ∈ Ω × Ω
DNotons Ω = {i = 1, . . . , n} l’ensemble des individus. Cette section se avec d∗ = 1 − s∗ et s∗ = 1 − d∗ . Du fait de cette correspondance immédiate,
propose de définir sur Ω × Ω différentes mesures d’éloignement entre deux seule la notion de dissemblance, ou dissimilarité, normée est considérée par la
individus. Les hypothèses et propriétés étant de plus en plus fortes.
suite.
Page 81 sur 104

06/14

3

2.3

Distance

Classification non superviséedes inverses des écarts-types :Une distance sur Ω est, par définition, une dissimilarité vérifiant en plus lapropriété d’inégalité triangulaire. Autrement dit, une distance d est une application de Ω × Ω dans R+ vérifiant :Données qualitatives

Si Ω est fini, la distance peut être normée.

Distance euclidienne

Dans le cas où Ω est un espace vectoriel muni d’un produit scalaire, donc
d’une norme, la distance définie à partir de cette norme est appelée distanceeuclidienne :d(i, j) = < i − j, i − j >1/2 = ki − jk.
La condition pour qu’une matrice donnée de distances entre éléments d’unespace vectoriel soit issue d’une distance euclidienne est explicitée dans lechapitre précédent. Toute distance n’est pas nécessairement euclidienne ; voir,
par exemple, celle construite sur la valeur absolue.

2.5

1
1
· · · ).
σ1σp

La métrique dite de Mahalanobis (inverse de la matrice des variancescovariances) peut aussi être utilisée pour atténuer la structure de corrélation.

d(i, j) = d(j, i), ∀(i, j) ∈ Ω × Ω ;d(i, i) = 0 ⇐⇒ i = j ;d(i, j) ≤ d(i, k) + d(j, k), ∀(i, j, k) ∈ Ω3 .

2.4

M = Σ−1 = diag (Utilisation pratiqueDans le cas très particulier où toutes les variables sont binaires (présence,
absence de caractéristiques), de nombreux indices de ressemblances ont été
proposés dans la littérature. Ils sont basés sur les quantités suivantes définispour deux individus i et j distincts :• aij = nombre de caractères communs à i et j sur les p considérés,• bij = nombre de caractères possédés par i mais pas par j,• cij = nombre de caractères possédés par j mais pas par i,• cij = nombre de caractères que ne possèdent ni i ni j.
• bien sûr, aij + bij + bij + dij = p.
Les indices de ressemblance les plus courants sont :a +d• Concordance : ij p ij ,aij
• Jaccard : aij +bij +bij ,2aij• Dice : 2aij +bij
+bij .

Puis, il est facile de construire un indice de dissemblance.

Dans le cas plus général de p variables qualitatives, la distance la plus utiliConcrètement, il peut arriver que les données à traiter soient directement
sée
est celle, euclidienne, dite du χ2 entre profils-lignes du tableau disjonctif
sous la forme d’une matrice d’un indice de ressemblance ou de dissemblance.
Il est alors facile de la transformer en une matrice de dissemblances normées complet (cf. chapitre 6 AFCM). La distance entre deux individus i et k est
alors définie par :avant d’aborder une classification.
mj
n X X j` 1
2
Nous précisons ci-dessous les autres cas.
p
δik j .
dχ2 =
p j=1
n`
`=1
Données quantitatives
Lorsque les p variables sont toutes quantitatives, il est nécessaire de définir
une matrice M de produit scalaire sur l’espace RP . Le choix M = Ip , matrice
identité, est un choix élémentaire et courant ; mais il est vivement conseillé deréduire les variables de variances hétérogènes, comme en ACP, ce qui revient à
considérer, comme matrice de produit scalaire, la matrice diagonale composéeoù mj est le nombre de modalités de la variable qualitative Y j , nj` est l’effectifj`de la `-ième modalité de Y j et δikvaut 1 si les individus i et k présentent une
discordance pour la `-ième modalité de la variables Y j et 0 sinon. L’importance donnée à une discordance est d’autant plus importante que les modalités
considérées sont rares. Le coefficient n/p peut être omis.

Page 82 sur 104

06/14

4

Classification non supervisée

Mélange quantitatif, qualitatif

paires d’individus, selon qu’ils appartiennent à la même classe dans les deuxpartitions, qu’ils sont dans la même classe pour l’une mais pas pour l’autre, etDifférentes stratégies sont envisageables dépendant de l’importance relative enfin qu’ils sont séparés dans les deux partitions.
des nombres de variables qualitatives et quantitatives.
En notant nkl le terme général de la table de contingence croisant les deux
Rendre tout qualitatif . Les variables quantitatives sont rendues qualitatives
partitions, l’indice dit de Rand s’écrit :par découpage en classes. Les classes d’une même variable sont généP P
PP
ralement recherchées d’effectifs sensiblement égaux : bornes des classes
nkl − k n2k+ l n2+l 2 2égales à des quantiles. La métrique à utiliser est alors celle du χ2 décrite
R= k ln n .
+ci-dessus.
Rendre tout quantitatif à l’aide d’une AFCM. Une AFCM est calculée sur Cet indice prend ses valeurs entre 0 et 1, il est égal à 1 lorsque les deux partiles seules variables qualitatives ou sur l’ensemble des variables après tions sont identiques. D’autres variantes ont été proposées.
découpage en classes des variables quantitatives. L’AFCM calculée par
AFC du tableau disjonctif complet produit des scores (cf. chapitre 6) 3 Classification ascendante hiérarchiquequi sont les composantes principales de l’ACP des profils-lignes. Dans lecas d’une AFCM partielle des seules variables qualitatives, les variables 3.1 Principe
quantitatives restantes doivent être nécessairement réduites. Ces scores
L’initialisation de cet algorithme consiste, s’il n’est déjà donné, à calculersont ensuite utilisés comme coordonnées quantitatives des individus en
un tableau de distances (ou de dissemblances) entre les individus à classer.
vue d’une classification.
Métrique de Gower permet de mixer les types de variables mais celle-ci reste L’algorithme démarre alors de la partition triviale des n singletons (chaque individu constitue une classe) et cherche, à chaque étape, à constituer des classes
très peu utilisée.
par agrégation des deux éléments les plus proches de la partition de l’étape
2.6 Bilan
précédente. L’algorithme s’arrête avec l’obtention d’une seule classe. Les regroupements successifs sont représentés sous la forme d’un arbre binaire ou
Une fois ces préliminaires accomplis, nous nous retrouvons donc avec
dendrogramme.
• soit un tableau de mesures quantitatives n × p, associé à une matrice deproduit scalaire p×p (en général Ip ) définissant une métrique euclidienne, 3.2 Distance, ou dissemblance, entre deux classes• soit directement un tableau n × n de dissemblances ou de distances entreÀ chaque étape de l’algorithme, il est nécessaire de mettre à jour le tableau
individus.
desdistances (ou des dissemblances). Après chaque regroupement, de deux
Attention, si n est grand, la deuxième solution peut se heurter rapidement à desindividus,
de deux classes ou d’un individu à une classe, les distances entre ce
problèmes de stockage en mémoire pour l’exécution des algorithmes.
nouvel objet et les autres sont calculées et viennent remplacer, dans la matrice,
2.7 Accord entre partitions
les distances des objets qui viennent d’être agrégés. Différentes approches sontpossibles à ce niveau, donnant lieu à différentes CAH.
Une partition de n individus définit une variable qualitative dont les catéNotons A et B deux classes, ou éléments, d’une partition donnée, wA et wBgories sont les classes de la partition. Une comparaison de deux partitions est
leurs
pondérations, et di,j la distance entre deux individus quelconques i et j.
obtenue an construisant la table de contingence croisant ces deux variables. Cependant, les numéros des classes étant arbitraires, l’appréciation de cet accord
Le problème est de définir d(A, B), distance entre deux éléments d’une parest difficile aussi un indice quantitatif a été proposé en considérant toutes les tition de Ω.
Page 83 sur 104

06/14

5

Cas d’une dissemblance• Initialisation Les classes initiales sont les singletons. Calculer la

Les stratégies ci-dessous s’accommodent d’un simple indice de dissemblance défini entre les individus. Elles s’appliquent également à des indicesplus structurés (distance) mais n’en utilisent pas toutes les propriétés.
d(A, B)=d(A, B)=Classification non superviséematrice de leurs distances deux à deux.
• Itérer les deux étapes suivantes jusqu’à l’agrégation en une seuleclasse :1. regrouper les deux classes les plus proches au sens de la “distance”
entre classes choisie,min (dij ) (saut minimum, single linkage),i∈A,j∈B

2. mettre à jour le tableau de distances en remplaçant les deux classes
regroupées par la nouvelle et en calculant sa “distance” avec chacune des autres classes.

sup (dij ) (saut maximum ou diamètre, complete linkage),i∈A,j∈B

d(A, B)=

1card(A)card(B)Xdij(saut moyen, group average linkage).

i∈A,j∈B

3.4

RésultatsCas d’une distance euclidienne

Graphes

Considérons que les données sont sous la forme d’une matrice n × p devariables quantitatives associée à une métrique euclidienne dans Rp ou directement sous la forme d’une matrice de distances euclidiennes (n × n) desindividus 2 à 2. Dans le premier cas, il est facile de calculer les barycentres desclasses et donc de considérer les distances suivantes entre deux groupes.

Les graphes obtenus à l’issue d’une CAH sont présentés et illustrés dans lasection suivante. Il s’agit du graphique d’aide au choix du nombre de classes
et du dendrogramme, regroupant hiérarchiquement les observations et groupes
par des branches dont la longueur est la distance entre les objets regroupés.
Attention, la représentation du dendrogramme n’est pas unique, celui-ci est
invariant par rotation d’une branche. L’ordre des observations sur l’axe horizontal est donc artificiel, il peut amener à rapprocher des observations qui sontde fait très éloignées l’une de l’autre car regroupées par de longues branches.

d(A, B)= d(gA , gB ) (distance des barycentres, centroïd),wA wB
d(gA , gB ) (saut de Ward).
d(A, B) =wA + wB“Qualité” et choix du nombre de classes
Dans le 2ème cas, le carré de la distance entre 2 barycentres se calcule à partir
La corrélation cophénétique est un indicateur de qualité d’une classificade la matrice des distances 2 à 2.
tion hiérarchique ou d’un dendrogramme est obtenue à partir de la notion deRemarque : Le saut de Ward joue un rôle particulier et est la stratégie la plus
distance cophénétique. Cette distance est définie entre deux observations recourante ; c’est même souvent l’option par défaut (SAS) dans le cas d’une disprésentées dans un arbre par la hauteur des branches qui finissent par les réunir
tance euclidienne entre individus. En effet, ce critère induit, à chaque étape dedans un même groupe. C’est également la distance entre les deux groupes
regroupement, une minimisation de la décroissance de la variance interclasse.
contenant ces observations avant qu’ils ne soient réunis en un même groupe ;De plus, même si la distance entre individus n’est pas euclidienne, la mêmec’est par exemple la distance entre deux espèces dans un arbre phylogénétique.
expression est utilisée pour faire du “saut de Ward” dans le cas non-euclidien.
Toutes les distances ainsi définies entre les objets deux à deux sont rangées
dans une matrice triangulaire de distances cophénétiques.
3.3 Algorithme
A LGORITHME 1 :classification ascendante hiérarchique

La “qualité” d’un arbre de classification peut se résumer par un coefficient decorrélation cophénétique entre les valeurs de la matrice de distances initiales,
par exemple eucliennes, et celle des distances cophénétiques. Évidemment,
Page 84 sur 104

06/14

6

Classification non supervisée

plus proche est cette valeur de 1, meilleure est la classification.

obtenue par simulation (Monte Carlo) selon une loi uniforme et de rechercher
le plus grand écart ou gap. La fonction clusGap qui implémente ce critère
dans la librairie cluster propose 5 méthodes ou critères ! pour rechercher
La silhouette (Rousseeuw, 1987)[8] d’une classification est un graphe monle plus grand gap. Attention, cette fonction n’accepte que des données sous
trant comment chaque observation appartient plus ou moins à sa classe. Supla forme d’une matrice de variables quantitatives, pas celle d’une matrice deposons que n observations aient été réparties en k classes par un quelconquedistances ou dissimilarités.
algorithme. Soit a(i) la moyenne des dissimilarités (ou distances) de l’obserEnfin , dans le contexte de mélanges supposés gaussiens, c’est-à-dire si l’hyvation i avec toutes les autres observations au sein d’une même classe. Pluspothèsed’une situation gaussienne multidimensionnelle, le choix du nombrea(i) est petit meilleur est l’assignation de i à sa classe ; a(i) est la dissimilaritédeclassess’apparente à une sélection de modèle par des critères AIC, BIC,
moyenne de i à cette classe.
spécifiques. Il n’est pas abordé dans ce cours aperçu des méthodes de classifiSoit b(i) la plus faible moyenne des dissimilarités (ou distances) de l’obsercation non-supervisée.
vation i à chaque autre classe dont i ne fait pas partie. La classe avec cette plus
faible dissimilarité moyenne est appelé classe voisine de i car c’est la meilleure 3.5 Illustration
classe suivante pour l’observation i.
Les données sont celles déjà représentées à l’aide du MDS : un tableau
La silhouette de la ième observations est alors donnée parcontenant les distances kilométriques par route (Source : IGN) entre 47 grandes
villes en France et dans les pays limitrophes. Toutes ces valeurs sont rangéesb(i) − a(i)s(i) =.
dans le triangle inférieur d’une matrice carrée avec des 0 sur la diagonale. Il
max a(i), b(i)s’agit donc de regrouper au mieux ces villes, en tenant compte de leurs proxiPlus ces valeurs sont proches de 1 et meilleure est la classification. La moyenne mités relatives au sens de cette distance routière qui n’est pas euclidienne àcause du relief.
de toutes ces valeurs est un autre indicateur global de qualité.
À l’issue de l’exécution, la classification ascendante hiérarchique fournit les
deuxgraphiques précisés ci-dessous.
Le choix du nombre de classes k est, comme le choix de la dimension en• Un graphique d’aide au choix du nombre de classes (cf. figure 3.5). Il
ACP, délicat à opérer. Plusieurs heuristiques on été proposées selon les critères
représente à rebours, en fonction du nombre de classes, la décroissanceprécédents ou encore suivant le graphe de décroissance de la distance interde la distance interclasses. La présence d’une rupture importante dansclasses qui est aussi la décroissance de la variance inter-classe dans le cas ducette décroissance aide au choix du nombre de classes comme dans le cas
saut de Ward. La recherche d’un “coude” dans ce graphe est une indication
du choix de dimension en ACP, avec l’éboulis des valeurs propres. Dans
heuristique du choix de k ; voir l’application dans la section suivante.
ce cas, il faut lire le graphe de droite à gauche et s’arrêter avant le premiersaut jugé significatif. Avec l’indice de Ward, cela revient à couper l’arbre
La statistique du “gap” est une proposition de (Tibshirani et al.)[9] pouravant une perte, jugée trop importante, de la variance interclasses. Dans
tenter de rationaliser cette démarche. Soit Dr la somme de toutes les distances
le cas des villes repérées par leurs distances kilométriques, le choix de 5
prises entre les observations deux à deux au sein d’une même classe r = 1, k ;classes semble raisonnable.
Wk est la moyenne pondérée (par al taille de la classe) de ces sommes de disLa fonction clusGap ne permet pas de calculer la statistique de gap surtances. Si la distance initiale est euclidienne, W est (à un facteur 2 près) laune matrice de distances. La corrélation cophénétique de l’arbre est denorme carrée de la matrice de variance intra-classe. L’idée est alors de com0, 64 mais cela est guère utile dans l’absolu tandis que les silhouhettesparée le graphe de log(Wk ) par rapport à celui d’une distribution de référence
Page 85 sur 104

06/14

Classification non supervisée

4000

5000

7

Height2000

3000

F IGURE 1 – Villes : Décroissance de la variance interclasses à chaque regroupement dans le cas du saut de Ward (à gauche) et à droite silhouettes desobservations dans leur classe respective.

luxe
metz
nanc
reim
troy
besa
dijo
stra
bale
mulh
mars
nice
cham
gene
gren
lyon
hend
bord
roya
mont
perp
ando
lour
toul
boul
cala
brux
lill
caen
cher
leha
roue
amie
pari
bres
renn
stma
laba
nant
clem
limo
poit
ange
lema
tour
bour
orle

0

forme d’arbre binaire, des agrégations successives jusqu’à la réunion enune seule classe de tous les individus. La hauteur d’une branche est proportionnelle à l’indice de dissemblance ou distance entre les deux objets
regroupés. Dans le cas du saut de Ward, c’est la perte de variance interclasses.

1000

sont représentées dans la figure 3.5.
• Le dendrogramme (cf. figure 3.5) est une représentation graphique, sousUne fois un nombre de classes sélectionné par l’un ou l’autre des critères
proposés, une coupure de l’arbre fournit, dans chaque sous-arbre, la répartition
des individus en classes. Ces classes peuvent ensuite être représentées dans lesaxes d’une analyse factorielle :• une ACP si la classification a été opérée sur des variables quantitatives
F IGURE 2 – Villes : Exemple d’un dendrogramme issu de la classification desassorties d’une métrique euclidienne,• une AFCM si la classification a été opérée sur les composantes d’une données par CAH et saut de Ward.
AFCM de variables qualitatives,• un MDS dans le cas de l’exemple (figure 3.5) car la classification est
directement calculée sur un tableau de distance.
Signalons qu’il est courant, dans la pratique, de mettre en œuvre, à l’issue
d’une CAH, une méthode de ré-allocation dynamique avec pour nombre dePage 86 sur 104

06/14

8

Classification non supervisée

classes celui choisi par CAH et pour centres initiaux les barycentres des classes
obtenues : on stabilise ainsi les classes.

hend

bres

400

lour

laba
nant rennstma

bord roya
toul

200

ando

limo

cher
poit angelema caen
tour

clem

0

cp2

perp
bour

orle
pari
troy

lyon

mars

dijo

gren

nice

gene
cham

−400

−200

mont

mulh
bale
−800

−600

−400

−200
cp1

4

Agrégation autour de centres mobiles

leha
roue

4.1

Principes

boul
amie
cala
lill

Différents types d’algorithmes ont été définis autour du même principe deré-allocation dynamique des individus à des centres de classes, eux-mêmes
recalculés à chaque itération. Ces algorithmes requièrent une représentation
vectorielle des individus dans Rp muni d’une métrique, généralement euclidienne. Il est important de noter que, contrairement à la méthode hiérarchiqueprécédente, le nombre de classes k doit être déterminé a priori.

reim
brux

besa

0

nanc
metz
luxe
stra
200

Notons également que l’exemple présenté ici est relativement simple et bien
structuré. Modifier le critère de saut ne change pas grand chose dans ce cas.
Mais, attention, il est facile de vérifier expérimentalement qu’une classification
ascendante est un objet très sensible. En effet, il suffit de modifier une distancedans le tableau, par exemple de réduire sensiblement la distance de Grenoble
à Brest, pour que la classification (nombre de classes, organisation) devienne
très sensible au choix du critère de saut. En revanche, la structure des données
fait que la représentation factorielle de l’ACP du tableau de distance (MDS)
est très robuste à ce type d’“erreur de mesure” ; il est recommandé de systématiquement compléter une classification par une représentation factorielle.

400

Ces méthodes sont itératives : après une initialisation des centres consistant, par exemple, à tirer aléatoirement k individus, l’algorithme répète deux
opérations jusqu’à la convergence d’un critère :1. Chaque individu est affecté à la classe dont le centre est le plus proche ausens d’une métrique.

2. Calcul des k centres des classes ainsi constituées.
F IGURE 3 – Villes : Représentation des classes (couleurs) obtenues par CAH
dans les coordonnées du MDS.
4.2 Principale méthodeIl s’agit de la version proposé par Forgy (1965)[3] des algorithmes de type
kmeans.
A LGORITHME 2 :Page 87 sur 104

06/14

9

• Initialisation Tirer au hasard, ou sélectionner pour des raisonsextérieures à la méthode, k points dans l’espace des individus, en généralk individus de l’ensemble, appelés centres ou noyaux.
• Itérer les deux étapes suivantes, jusqu’à ce que le critère de varianceinterclasses ne croisse plus de manière significative, c’est-à-dire jusqu’à
la stabilisation des classes.
1. Allouer chaque individu au centre (c’est-à-dire à la classe) le plus
proche au sens de la métrique euclidienne choisie ; on obtient ainsi,à chaque étape, une classification en k classes, ou moins si, finalement, une des classes devient vide.
2. Calculer le centre de gravité de chaque classe : il devient le nouveau noyau ; si une classe s’est vidée, on peut éventuellement retirer
aléatoirement un noyau complémentaire.

4.3

PropriétésClassification non supervisée

Nuées dynamiques
La variante proposée par Diday (1973)[2] et parallèlement par Hartigan etWong (1979)[4] consiste à remplacer chaque centre de classe par un noyau
constitué d’éléments représentatifs de cette classe. Cela permet de corriger
l’influence d’éventuelles valeurs extrêmes sur le calcul du barycentre. Diday(1973) a également proposé la recherche de formes fortes communes à plusieurs partitions issues d’initialisations différentes.
Partitionning Around Medoïds
Cet algorithme (PAM), proposé par Kaufman & Rousseeuw (1990)[6], permet de classifier des données de façon plus robuste, c’est-à-dire moins sensible
à des valeurs atypiques. Le noyau d’une classe est alors un médoïd c’est-à-direl’observations d’une classe qui minimise la moyenne des distances ou dissimilarités aux autres observations de la classes. Une différence majeur avec
l’algorithme kmeans est qu’un médoïd fait partie des données et permet donc
de partitionner des matrices de dissimilarités. En contre-partie, il est limité parle nombre d’observations (matrice de dissimilarités à stocker) et en temps decalcul (algorithme en O(n2 )). Il fonctionne de manière analogue à celui de
Mac Queen. À chaque itération, un médoïd est mis en concurrence avec un
autre individu aléatoire. Si l’échange améliore le critère, cet individu devient
le nouveau médoïd.

Convergence Le critère (la variance interclasses) est majoré par la variancetotale. Il est simple de montrer qu’il ne peut que croître à chaque étape del’algorithme, ce qui en assure la convergence. Il est équivalent de maximiser la variance interclasses ou de minimiser la variance intraclasse. Cette
dernière est alors décroissante et minorée par 0. Concrètement, une dizaine d’itérations suffit généralement pour atteindre la convergence.
D’autres algorithmes ont été proposés pour des types de données spéOptimum local La solution obtenue est un optimum local, c’est-à-dire que la cifiques : k-modes (Huang, 1998)[5] pour des variables qualitatives et krépartition en classes dépend du choix initial des noyaux. Plusieurs exé- prototypes pour des variables mixtes. Ils sont disponibles dans R.
cutions de l’algorithme permettent de s’assurer de la présence de formes
La classification des villes par partitionnement autour de médoïds est fournie
fortes, c’est-à-dire de classes, ou partie de classes, présentes de manière
dans la figure 4.4 ; le nombre de classes est fixé a priori à 5 comme le suggère
stable dans la majorité des partitions obtenues.
la CAH alors que les classes obtenues sont sensiblement différentes.

4.4

Variantes

4.5

kmeansToujours sous la même appellation (une option de la commande kmeansde R) Mac Queen (1967)[7] a proposé une modification de l’algorithme précédent. Les noyaux des classes, ici les barycentres des classes concernées, sontrecalculés à chaque allocation d’un individu à une classe. L’algorithme est ainsi
plus efficace, mais la solution dépend de l’ordre des individus dans le fichier.

Combinaison

Chaque méthode précédente peut être plus ou moins adaptée à la situation
rencontrée. La classification hiérarchique, qui construit nécessairement la matrice des distances, n’accepte qu’un nombre limité d’individus ; de son côté,
la ré-allocation dynamique nécessite de fixer a priori le nombre de classes.
La stratégie suivante, adaptée aux grands ensembles de données, permet decontourner ces difficultés.

Page 88 sur 104

06/14

10

Classification non supervisée

1. Exécuter une méthode de ré-allocation dynamique en demandant un
grand nombre de classes, de l’ordre de 10% de n.
2. Sur les barycentres des classes précédentes, exécuter une classification
hiérarchique puis déterminer un nombre “optimal” k de classes.
3. Exécuter une méthode de ré-allocation dynamique sur tout l’ensemble
en fixant à k le nombre de classes. Pour initialiser l’algorithme, il est
habituel de choisir pour noyaux les barycentres (calculés en pondérant
par les effectifs de classes) des classes de l’étape précédente.

hend

bres

400

lour

laba
nant rennstma

bord roya
toul

200

ando

limo

cher
poit angelema caen
tour

clem

0

cp2

perp
bour

pari

−200

mont

nice

troy

lyon

mars
gren

leha
roue

orle

dijo

boul
amie
cala
lill

reim
brux

5

Données génomiques

Pour ce type de données, les biologistes apprécient particulièrement deconstruire une double classification hiérarchique opérant à la fois sur les lignes
et sur les colonnes (gènes et échantillons). Une représentation en fausses couleurs fournit une lecture susceptible de prendre en compte les “distances”
respectives des lignes (gènes) d’une part et des colonnes (échantillons biologiques) d’autre part, et de se faire ainsi une idée des gènes pouvant influencer
la hiérarchie obtenue pour les échantillons. Néanmoins, cette lecture, même en
se limitant à une sélection des gènes, n’est pas très aisée (figure 5).

−400

Le choix de la distance est évidemment important. La plus fréquemment
rencontrée pour l’étude du transcriptome est du type de d3 , basée sur la corrélation. Il nous semble pertinent d’utiliser les trois types de distances et d’en apmulh
bale
stra
précier leur complémentarité quant à l’interprétation des résultats. Nous avons
fait le choix de limiter cette comparaison des distances au MDS et nous nous
−800
−600
−400
−200
0
200
400
contenterons ici de présenter une classification basée sur la distance euclidienne d1 . Le deuxième choix intervenant en classification concerne le critère
cp1
d’agglomération, c’est-à-dire la façon dont est définie la distance entre deuxgroupes, et n’a pas d’interprétation biologique simple. Ce choix a plus une imF IGURE 4 – Villes : Représentation des classes (couleurs) obtenues par PAM plication géométrique, sur la forme des classes obtenues. Nous avons utilisé
le critère de Ward parce qu’il favorise la construction de classes relativement
dans les coordonnées du MDS.
“sphériques” et qu’on peut lui associer des critères guidant la détermination dunombre de classes.
gene
cham

besa

nanc
metz
luxe

L’interprétation de la double classification (Fig. 5) présente des analogies
avec celle de l’ACP sur le premier plan principal. Si l’on s’intéresse aux
individus-souris, on peut constater que les deux génotypes sont différenciés
Page 89 sur 104

06/14

Classification non supervisée

8
6
0

2

4

Valeurs propres

10

12

14

11

1

2

3

4

5

6

7

8

9

10

Dimension

SR.BI
Ntcp
CAR1
PAL
c.fos
TRb
VLDLr
RARa
SIAT4ci.NOS
CYP2b13
eif2g
ADSS1
FAT
UCP2
CYP2b10
NGFiB
CYP26
RARb2
CYP27b1
CYP24
UCP3
RXRg1
Lpin3
i.BAT
GS
PON
COX2
NURR1
M.CPT1
PXR
MS
VDR
PDK4
ACOTH
RXRa
MCAD
CIDEA
OCTN2
ACC1
PPARg
FXR
MDR1
Waf1
apoC3
SHP1
TRa
i.BABP
C16SR
X36b4
COX1
Bcl.3
LXRa
LXRb
LPL
hABC1
ADISP
RXRb2
MTHFR
ap2
CYP7a
mABC1
IL.2
Pex11a
ACAT1
THB
PPARd
CYP4A10CYP4A14CYP3A11
L.FABP
THIOL
PMDCI
GSTmu
GSTpi2CYP2c29
G6Pase
S14
Lpin1
Lpin
FAS
HMGCoAred
PLTP
LDLr
FDFT
G6PDH
ACC2
PPARa
i.FABP
LPK
cHMGCoAS
CYP8b1
CPT2
CACP
PECI
ALDH3
mHMGCoAS
BIEN
GK
GSTa
HPNCL
Lpin2
AOX
ACBP
CBS
SPI1.1
apoA.IMDR2
CYP27a1
BSEP
BACT
TpbetaTpalpha
MRP6
cMOAT
LCE
apoB
AM2R
apoE

PPAR − efad
PPAR − efad
PPAR − ref
WT − efad
WT − efad
WT − efad
WT − dha
WT − dha
WT − dha
WT − dha
WT − tsol
WT − tsol
WT − lin
WT − lin
WT − lin
WT − lin
WT − refWT − refWT − tsol
WT − efad
WT − tsol
WT − refWT − refPPAR − tsol
PPAR − tsol
PPAR − lin
PPAR − lin
PPAR − ref
PPAR − lin
PPAR − dha
PPAR − lin
PPAR − ref
PPAR − tsol
PPAR − tsol
PPAR − efad
PPAR − efad
PPAR − dha
PPAR − dha
PPAR − dha
PPAR − ref

F IGURE 6 – Souris : éboulis des valeurs propres pour le MDS de la matrice dedistance euclidienne inter-gènes.
en deux groupes, à l’exception de trois souris de type PPAR ayant suivi lesrégimes efad (pour deux d’entre elles) et ref. Pour les variables-gènes,on peut distinguer deux grandes classes correspondant, d’après les données,à deux niveaux d’expressions : à gauche, les gènes dont l’expression est
relativement faible, à droite les gènes dont l’expression est globalement
plus élevée. Dans cette seconde classe, un groupe attire particulièrement
l’attention sur l’image : sur une bande verticale correspondant à 14 gènes,les couleurs sont nettement plus variables que sur le reste de l’image.
Il s’agit des gènes : CYP4A10, CYP4A14, CYP3A11, L.FABP,THIOL, PMDCI, S14, Lpin1, Lpin, FAS, GSTmu, GSTpi2,
CYP2c29, G6Pase.

F IGURE 5 – Souris : double classification ascendante hiérarchique des
MDS et classification apparaissent donc comme des techniques complémenindividus-souris et des variables-gènes selon la méthode de Ward, avec la dis- taires, mais elles ne sont pas sensibles de la même façon aux perturbations. La
tance euclidienne.
perturbation d’une donnée peut fortement influencer la structure d’un dendrogramme alors qu’en MDS, la prise en compte conjointe de toutes les distances
deux à deux assure une certaine robustesse pour le calcul des coordonnées
principales. Pour cette raison, il est utile de représenter les classes dans une
projection sur des axes factoriels obtenus soit par MDS soit par ACP. L’éboulis des valeurs propres (Fig. 6) nous oriente vers une représentation du MDS
en deux dimensions.
La représentation de la figure 7 est analogue à celle déjà présentée en application du MDS. Elle est simplement complétée par un codage en couleursPage 90 sur 104

06/14

12

Classification non supervisée

1.0

des gènes, selon leur appartenance à une classe issue de la classification hiérarchique. Pour cela, nous avons coupé l’arbre afin d’en extraire 5 classes.

0.5

CYP4A14CYP3A11CYP4A10
GSTpi2CYP2c29

MCAD
ACOTH
PECI
THB
Pex11amHMGCoAS
GSTmu
TpalphaM.CPT1
LCE
PON
apoB
RXRa
IL.2
apoE
RXRb2
Tpbeta
VLDLr
LXRb
FXR
CACP
G6Pase
ACAT1
PPARg
GS
LPL
SIAT4c
PPARa
PXR
C16SR
MTHFR
AOX
SPI1.1AM2R
PPARd
X36b4
ADISP
SHP1
OCTN2
MDR1
CIDEA
i.BABP
BIEN
Lpin3
i.BAT
RARa
NURR1
TRa
Bcl.3
ap2
COX2
LXRa
cMOAT
hABC1
CPT2
CBS
CYP27b1
MS
UCP3
CYP26
RXRg1
TRb
CYP2b13
ADSS1
i.NOS
SR.BI
c.fos
CYP7a
ALDH3
COX1
BACT
VDR
CYP2b10
MDR2
PDK4
mABC1
ACC1
Waf1
MRP6
NGFiB
apoC3
UCP2
eif2g
CYP24
FATNtcp
RARb2
FDFT
ACAT2
CYP27a1
HPNCL
BSEP
THIOL
i.FABP
GSTa
ACBP
G6PDH
L.FABP
apoA.IPAL
Lpin2 PLTP
LDLr
CYP8b1
LPK
GK

0.0
−0.5

Dimension 2

PMDCI

HMGCoAred
ACC2
cHMGCoAS
Lpin1
Lpin

CAR1

Brièvement, on peut noter que l’axe 1 met en évidence l’opposition précédemment évoquée entre CAR1 (sur-exprimé chez les souris PPAR) et
un groupe de gènes (CYP3A10, CYP4A10, CYP4A14, PMDCI, THIOL et
L-FABP) qui est sur-exprimé chez les souris WT. De manière similaire, l’axe 2
oppose les gènes induits par le régime dha (valeurs positives, gènes impliqués
dans le catabolisme des lipides et dans le métabolisme des xénobiotiques) auxgènes induits par le régime efad (valeurs négatives, gènes principalement impliqués dans la synthèse de lipides). En remontant vers les feuilles de l’arbre declassification, on notera que le groupe des gènes représentés en vert est séparé
en deux sous-groupes qui conservent une cohérence vis-à-vis des fonctions
biologiques de catabolisme et de synthèse des lipides respectivement. Une observation des données individuelles révèle que ces régulations opérées par lesrégimes semblent plus marquées chez les souris WT.
Nous laissons au lecteur l’appréciation sur le nombre de combinaisons d’options possibles qui sont offertes par l’ensemble de ces outils : centrage, réduction, distance, critère de saut, projection, classification !

−1.0

6

En guise de conclusion

S14

Quelle méthode ou combinaison de méthodes associées à quelles options
faut-il choisir et sur quel critère ? Réponse, celle et ceux qui fournissent desrésultats les plus “utiles”. Les techniques mises en œuvre sont fondamentalement “exploratoires”, pas confirmatoires ni décisionnelles. Un résultat “utile”
−1.0
−0.5
0.0
0.5
1.0
fournit de nouveaux éclairages, un point de vue fructueux sur des données
Dimension 1
complexes et ainsi une meilleure compréhension des interactions en jeu. C’est
une étape préalable à la construction de futures modélisations et d’inférences
F IGURE 7 – Souris : représentation par positionnement multidimensionnel qui seront à confirmer. Ainsi, associer au sein d’une même classe, des gènes(distance euclidienne) des 5 groupes issues de la classification hiérarchique de fonctions inconnues à d’autres de fonctions connues est une stratégie fréquente du biologiste pour poser des hypothèses sur l’annotation de ces gènes,des gènes.
hypothèses à infirmer ou confirmer par de nouvelles expériences.
FAS

Attention, la pertinence des résultats et la fiabilité des interprétations reposent sur une juste connaissance des méthodes, des options, des hypothèses
sous-jacentes à ces méthodes : comment interpréter une proximité, au sens dePage 91 sur 104

06/14

13

Classification non supervisée

quelle distance avec quelle confiance ? sinon, l’orientation du travail pour poser de nouvelles hypothèses risque de se fourvoyer ou au mieux adopter une
marche aléatoire (cf. devise Schadok) :...en essayant continuellement on finit par réussir donc, plus ça rate,plus on a de chance que ça marche...

Références[1] G. Celeux, E. Diday, G. Govaert, Y. Lechevallier et H. Ralambondrainy, Classification automatique des données, Dunod,
1989.
[2] E. Diday, The dynamic clusters method in nonhierarchicalclustering, International Journal of Computer & Information
Sciences 2 (1973), no 1, 61–88.
[3] R. Forgy, Cluster Analysis of Multivariate Data : Efficiency versus Interpretability of Classification, Biometrics (1965), no 21,
768–769.
[4] J. A. Hartigan et M. A. Wong, Algorithm AS 136 : a k-meansclustering algorithm, Applied Statistics 28 (1979), 100–108.
[5] Zhexue Huang, Extensions to the k-Means Algorithm for Clustering Large Data Sets with Categorical Values, Data Min. Knowl.
Discov. 2 (1998), no 3, 283–304.
[6] Leonard Kaufman et Peter J. Rousseeuw, Finding Groups in
Data – An Introduction to Cluster Analysis, John Wiley & Sons,
1990.
[7] J. Macqueen, Some methods for classification and analysis ofmultivariate observations, In 5-th Berkeley Symposium on Mathematical Statistics and Probability, 1967, p. 281–297.
[8] Peter J. Rousseeuw, Silhouettes : A graphical aid to the interpretation and validation of cluster analysis, Journal of Computational and Applied Mathematics 20 (1987), no 0, 53 – 65.
[9] Robert Tibshirani, Guenther Walther et Trevor Hastie, Estimating the number of clusters in a data set via the gap statistic,
Journal of the Royal Statistical Society : Series B (Statistical
Methodology) 63 (2001), no 2, 411–423.
Page 92 sur 104

06/14

1

NMF Factorisation par matrices non
négatives
Résumé
Réduction de dimension par factorisation d’une matrice creuse souscontrainte de non négativité des facteurs. Contrairement à l’ACP
les facteurs ne sont pas orthogonaux et ne permettent pas de représentation mais, réduisant la dimension ils permettent classifications
non supervisées et modèles de prévision. Description sommaire desnombreuses options de ces algorithmes principalement conçues pourl’analyse des très grandes matrices du e-commerce, text mining...
Retour au plan du cours.

1

Introduction

Le principe de la factorisation X = UV0 d’une matrice est largement utilisé
en analyse en composantes principales qui utilise la décomposition en valeurssingulières de la matrice X (SVD) pour construire des facteurs orthogonaux
deux à deux. Paatero et Tapper (1994)[5] puis Lee et Seung (1999)[4] ont proposé une autre décomposition sans contrainte d’orthogonalité mais avec cellede non négativité des matrices des facteurs afin d’en simplifier l’interprétation et sur la base d’une motivation “neuronale” : les neurones ne fonctionnent
que de façon additive, pas soustractive. Cette technique a depuis été depuis
largement utilisé dans de très nombreux domaines : imagerie, reconnaissancede formes, fouille de textes, systèmes de recommandations, génomique, avec
pour objectif d’étudier la structure des très grandes matrices creuses. La bibliographie s’est donc largement développée autour de ce thème en proposant différentes versions de l’algorithme avec différentes initialisations et contraintes,
par exemple de parcimonie, dont certaines parallélisables, et tout un ensemble
d’applications.

NMF Factorisation par matrices non négatives

taines situations que la SVD mais cela a un prix ; la complexité algorithmiquede la SVD est polynomiale de l’ordre du produit n × p des dimensions de la
matrice. La complexité de la NMF est un problème nondeterministic polynomial - NP ; l’existence d’un algortihme de complexité polynomiale est inconnue. En revanche, il existe des approches itératives efficaces mais convergeantvers une solution locale sauf dans des cas très spécifiques (Donoho et Stodden,
2003)[2] ; contrairement à la SVD qui conduit à une solution unique (vecteurs
propres et valeurs propres d’une matrice).
Par ailleurs, les facteurs non orthogonaux ne permettent pas de représentation comme en ACP mais sont utilisés comme base d’une classification nonsupervisée ou préalable à une modélisation pour de l’apprentissage supervisée.
Lee et Seung (1999) illustre cette méthode sur la classification d’un corpus de 30991 articles de l’encyclopédie Grolier. Plutôt que de classer ces articles par thèmes choisis a priori, ils sont classés sur la base d’un vocabulaire de 15276 mots. chaque article se décompose (coefficients positifs), en
principe parcimonieusement, sur des “facteurs” ou thèmes, eux-mêmes définischacun par un sous-ensemble petit, jugé “pertinent”, de ces mots. En traitement d’images, un corpus se classifie à partir de facteurs ou motifs élémentaires d’images, en génomique par rapport à des “métagènes”. L’approche nonsupervisée est ainsi susceptible de révéler des structures cachées ou des tendances sans a priori. Par ailleurs, les facteurs de décomposition n’étant pas
orthogonaux, des superpositions apparaissent : des même mots participants à
plusieurs thèmes, des gènes à plusieurs fonctions...

2

NMF : méthode et implémentations

La description présente de la méthode de NMF ne se veut pas exhaustive ;elle est axée sur l’implémentation réalisée dans le package éponyme par Gaujoux et Seoighe (2010)[3] afin d’en préciser les options et critères mis enœuvre.

2.1

Principes

Soit X une matrice (n × p) ne contenant que des valeurs non négatives et
La NMF est donc une technique de réduction de dimension adaptée aux ma- sans ligne ou colonne ne comportant que des 0 ; r un entier choisi relativement
trices creuses contenant des données positives, par exemple des occurrences ou petit devant n et p.
dénombrements de mots, de pannes... La méthode est donc plus adaptée à cerPage 93 sur 104

06/14

2

NMF Factorisation par matrices non négatives

La factorisation non-négative de la matrice X est la recherche de deux maUne fois la factorisation construite il est ensuite facile d’utiliser ces matrices Wn×r et Hr×p ne contenant que des valeurs positives ou nulles et dont trices W et H pour construire des classifications (CAH, k-means), représenle produit approche X.
tations (ACP, MDS), et prévisions à l’aide d’une des nombreuses méthodesd’apprentissage.
X ≈ WH.
Le choix du rang de factorisation r << min(n, p) assure une réduction dras- 2.2 Algorithmestique de dimension et donc des représentations parcimonieuses. Évidemment,
De nombreuses variantes algorithmiques ou sur la forme des pénalisala qualité d’approximation dépend de la parcimonie de la matrice initiale.
tions ont été publiées et implémentées généralement en Matlab, parfois en C,
La factorisation est résolue par la recherche d’un optimum local du problème quelques unes spécifiques en R ; Berry et al. (2007)[1] proposent un tour d’hod’optimisation :rizon de certaines tandis que Gaujoux et Seoighe (2010) en ont implémentées
min [L(X, WH) + P (W, H)] .
dans R pour rendre facilement possible la comparaison des résultats. Trois faW,H≥0
milles d’algorithmes sont généralement citées :L est une fonction perte mesurant la qualité d’approximation et P une fonction• Standard NMF algorithm with multiplicative update,de pénalisation optionnelle ; L est généralement soit un critère de moindres• Alternate Least Square (ALS) algorithm,
carrés (LS ou norme de Frobenius des matrices ou “norme trace”), soit la di• Descente du gradient.
vergence de Kullback-Leibler (KL) ; P est une pénalisation optionnelle de ré- Chacun de ces algorithmes peut par ailleurs être initialisé de différentes fagularisation utilisée pour forcer les propriétés recherchées des matrices W et çons :H, par exemple, la parcimonie des matrices ou la régularité des solutions dans• plusieurs initialisations aléatoires de W et H, le meilleur ajustement est
le cas de données spectrales.
conservé,X•
non-negative double singular value decomposition (NNSVD),
LS : L(A, B) = tr ((A − B)(A − B)0 ) =(ai,j − bi,j )2 ,• une classification (k-means) des lignes ou des colonnes,
i,j• parts positives de matrices issues d’une analyse en composantes indépenX
ai,jdantes (ACI),
KL : L(A, B) = KL(A||B) =ai,j log() − ai,j + bi,j .
bi,j
• ...
i,j
Entre le choix de la fonction objectif : fonction perte (LS ou KL) et l’éventuelle
Dans la librairie NMF de R, construite surtout pour des applications en gé- pénalisation (L1 , L2 , régularité), le choix de l’algorithme ou d’une de ses vanomiques, les variables (features) sont en ligne et les individus / échantillons riantes, le choix de l’initialisation... cela fait beaucoup d’options à comparer,(samples) sont en colonnes. Ceci n’a pas d’importance lorsque le critère des tester. Comme toujours avec une nouvelle méthode et la pression de publicamoindres carrés est utilisé (LS), la résolution est invariante par transposition tion, de très nombreuses variants apparaissent avant qu’une sélection “naturelmais a du sens avec la divergence de Kullback-Leibler qui introduit une dissy- le” n’opère pour aboutir à des choix plus efficaces et consensuels d’options enfonction du type de données traitées.
métrie entre lignes et colonnes.
Berry et al. (2007)[1] décrivent très brièvement les principes de ces difféN.B. Non seulement la solution est locale car la fonction objectif n’est pas
convexe en W et H mais en plus la solution n’est pas unique. Toute matrice rents algorithmes et commentent leurs propriétés : convergence, complexité.
Dr×r non négative et inversible fournit des solutions équivalentes en terme
L’algorithme initial de Lee et Seung (1999)[4] (Multiplicative update algod’ajustement :rithms) peut converger vers un point stationnaire pas nécessairement minima
X ≈ WDD−1 H.
Page 94 sur 104

06/14

3

local, voire un point de la frontière même pas point stationnaire. Ces cas sontheureusement rares en pratique mais la convergence est considérée commelente, demandant plus d’itérations que ses concurrents alors que chaque itération nécessite de nombreux calculs (O(n3 )). Les algorithmes de descente dugradient posent des questions délicates concernant le choix des deux pas dedescente. La dernière famille d’algorithme : moindres carrés alternés (ALS),
exploite le fait que si le problème n’est pas convexe en à la fois W et H, ill’est soit en W soit en H. Il suit le principe ci-dessous et possède de bonnes
propriétés (convergence, complexité).
A LGORITHME 1 : ALS
W =random(n, r)
for i = 1 à Maxiter do
Résoudre en H : W0 WH = W0 X
Mettre à 0 les termes négatifs de H
Résoudre en W : HH0 W0 = HX0
Mettre à 0 les termes négatifs de W
end forNMF Factorisation par matrices non négatives

intervenir au cours d’une étude. Ceux-ci sont illustrés dans la section suivante
sur un jeu de données publiques. Un premier tableau (1) fournit des :• résidus, part de variance expliquée, indice de parcimonie (sparseness),pour évaluer la qualité de l’ajustement,• coefficient de corrélation cophénétique, pureté, entropie ou silhouettepour évaluer la “stabilité” sur plusieurs exécutions.
L’évaluation de la “stabilité” de plusieurs exécutions de NMF repose surdes critères (silhouette, consensus, corrélation cophénétique) issues des méthodes de classification non supervisée. Pour adapter ces critères à la NMF, lanotion de classe d’une observation (resp. d’une variable) est remplacée par larecherche du facteur, ou élément de la base (colonne de W resp. de H), pourlaquelle l’observation (resp. la variable) a obtenu la plus forte contribution.
Comme pour le choix d’une dimension, d’un nombre de classes, seules desheuristiques sont proposées dans la littérature pour le difficile choix de r pourlequel il n’y a pas de critère nettement tranché. C’est finalement l’interprétation, biologique ou autre, qui oriente le choix en sous main, ou encore cidessous la relative stabilité d’une classification non-supervisée.

2.4

Graphiques

La librairie NMF propose tout un ensemble de graphiques intégrant chacun
L’un des inconvénients du (Multiplicative update algorithms) originel est que
une pléthore d’options qu’il serait fastidieux de décrire exhaustivement ; sesi un élément des matrices W ou H prend la valeur 0, il reste à cette valeur,reporter à la documentation en ligne et à l’article de référence (Gaujoux etn’explorant ainsi pas de solutions alternatives. L’ALS est lui plus souple en
Seoighe, 2010)[3]. Leur présentation est largement inspirée des habitudes depermettant d’échapper à de mauvaises solutions locales.
la bioinformatique qui mettent en avant des graphes de type heatmap.
La librairie NMF de R implémente 11 méthodes ; 9 sont basées sur l’algoDes premiers graphiques, non représentés sur l’exemple mais qu’il est facile
rithme initial de Lee et Seung (1999)[4] (Multiplicative update algorithms)
d’obtenir en exécutant le scénario, visualisent les valeurs (heatmap) positives
avec différentes options de perte (LS, KL) et de pénalisation ou d’arrêt, deux
ou nulles des matrices W (resp. H) de la décomposition. Par défaut une classont basées sur les moindres carrés alternés (ALS) avec contrainte de parcisification ascendante hiérarchique (métrique euclidienne, average linkage) desmonie sur les lignes ou les colonnes. Systématiquement, l’option est offerte, etlignes (resp. colonnes) est associée. Il est évidemment possible de modifier ces
encouragée, de lancer plusieurs exécutions à partir de plusieurs initialisations
options par défaut ou d’intégrer les résultats d’une classification exécutée paraléatoires pour sélectionner les options “optimales” puis, une fois les choix
ailleurs.
opérés, pour retenir la meilleure parmi un ensemble d’exécutions.
Des consensus maps sont proposées pour aider au choix de la méthode (fi2.3 Critères de choix
gure 1) et au choix de la dimension (figure 3). Attention, ces graphiques sontconstruits sur les colonnes (variables ou features) de la matrice X et dépendent
Les auteurs proposent différents critères pour aider aux choix des méthodes,
du choix initial de décomposer la matrice ou de sa transposée. Ces graphiques
algorithmes et paramètres, notamment celui du rang r de factorisation, pouvant
Page 95 sur 104

06/14

4

NMF Factorisation par matrices non négatives

montrent si, au cours de plusieurs exécutions de l’algorithme pour différentes
méthodes ou pour différentes valeurs du rang r, les mêmes variables sont au
mieux représentées par le même facteur. C’est donc une information sur lastabilité de l’optimisation obtenue par différentes initialisations.

TABLE 1 – Critères pour chacune des méthodes testées.
Méthodebrunetlee
snmf/l snmf/r
sparseness basis
0.42
0.38
0.39
0.38
sparseness coef
0.87
0.74
0.69
0.74
silhouette coef
0.88
0.73
0.78
0.82
silhouette basis
0.57
0.62
0.51
0.39
residuals
23.k
5.4k
5.6k
5.6k
niter
510
2000
380
460
cophenetic
0.90
0.97
1.00
1.00
dispersion
0.67
0.82
1.00
0.97
silhouette consensus
0.50
0.84
0.98
0.95

Les mêmes indicateurs, que ceux présentés dans un tableau (1) pour le choix
de la méthode, sont déclinés dans des graphiques (figure 2) avec le rang r desmatrices en abscisse.
Enfin, un dernier graphique (figure 4) trace une heatmap représentant lesvaleurs de la matrice initiale X dans laquelle les lignes et colonnes sont réorganisées par double classification ascendante hiérarchique. Ces classifications
sont construites sur les matrices en utilisant par défaut la distance euclidienne
et le critère de saut moyen.

3

Exemple3.1

Les données

L’illustration de la factorisation non négative d’une matrice utilise les données décrites dans le scénario explorant les spécificités d’un corpus de pourriels. Elles se présentent sous une forme classique en fouille de texte d’un tableau avec en lignes des messages et en colonnes des nombres ou taux d’occurrences de mots ou caractères spécifiques. La nature des données : matrice trèscreuse pouvant présenter des valeurs très disparates rend les techniques factorielles habituelles (ACP, AFCM) peu adaptées. Le principal objectif sur ces
données est de prévoir le statut spam ou non spam d’un message en fonction
de son contenu et c’est l’objet d’un autre scénario. Il s’agit, dans un premier
temps de les décrire, par exemple, en représentant et classifiant les principaux
mots clefs.

Ce choix étant arrêté, les figures 2 et 3 conduisent de façon consensuelle au
choix de r = 5 : corrélation cophénétique de 1 avant décroissance et meilleurgraphique de consensus.
La dernière représentation nécessite évidemment d’être agrandie pour êtremieux interprétée. Il est néanmoins facile d’identifier les principaux critères(nombre de lettre capitales ;...) regroupés dans une même classe et correspondant simultanément à une classes de pourriels. En revanche le mot-clef “georges”, qui est le prénom du destinataire, est isolé et caractérise des courriels
correctes. Une analyse plus fine permettrait d’identifier le rôle d’autres classes
de mots.

Références[1] Michael W. Berry, Murray Browne, Amy N. Langville, V. Paul Pauca et
Robert J. Plemmons, Algorithms and applications for approximate nonnegative matrix factorization, Computational Statistics & Data Analysis 52
La méthode (critère et algorithme) “optimale” est choisie en consultant le(2007), no 1, 155 – 173.
tableau 1 et les graphiques de la figure method. Sur ces données, il n’est pasdifficile de se déterminer pour une méthode de moindres carrés (snmf/l) [2] David Donoho et Victoria Stodden, When Does Non-Negative Matrix Facconvergeant plus rapidement et présentant des valeurs optimales (cophenetic,
torization Give a Correct Decomposition into Parts ?, Advances in Neuralresiduals,...) ainsi que la meilleure stabilité sur plusieurs exécutions.
Information Processing Systems 16 (S. Thrun, L.K. Saul et B. Schölkopf,
réds.), MIT Press, 2004, p. 1141–1148.

3.2

Choix de méthode, de rang

Page 96 sur 104

06/14

5

NMF Factorisation par matrices non négatives

F IGURE 1 – Spam : Matrice de “confusion” pour chaque méthode de la factorisation par NMF.
[3] Renaud Gaujoux et Cathal Seoighe, A flexible R package for nonnegative
matrix factorization, BMC Bioinformatics 11 (2010), no 1, 367, http://www.biomedcentral.com/1471-2105/11/367.
[4] D. Lee et S. Seung, Learning the parts of objects by non-negative matrix
factorization, Nature (1999).
[5] Pentti Paatero et Unto Tapper, Positive matrix factorization : A nonnegative factor model with optimal utilization of error estimates of data
values, Environmetrics 5 (1994), no 2, 111–126.
F IGURE 2 – Spam : Évolution des différents critères en fonction du rang desmatrices de la factorisation par NMF.

Page 97 sur 104

06/14

6

NMF Factorisation par matrices non négatives

F IGURE 4 – Spam : Double classification selon les facteurs de la factorisation
F IGURE 3 – Spam : Matrice de “confusion” pour chaque valeur de rang despar NMF et représentation de la matrice creuse initiale ; les message sont en
matrices de la factorisation par NMF.
lignes, les mots clefs en colonnes.

Page 98 sur 104

06/14

1

Rappels et compléments d’algèbre
linéaire

Rappels et compléments d’algèbre linéaire

On note par la suite :
aji
ai

=
=

[A]ji le terme général de la matrice,[a1i , . . . , api ]0 un vecteur-ligne mis en colonne,aj=[aj1 , . . . , ajn ]0 un vecteur-colonne.

Résumé
2.1.1

Types de matrices

Cette vignette rassemble des notations et rappels d’algèbre linéaire
de niveau L. Il introduit les principaux théorèmes d’approximation
matricielle par décomposition en valeurs singulières qui sont à labase des méthodes statistique factorielles.

Une matrice est dite :• vecteur-ligne (colonne) si n = 1 (p = 1),• vecteur-unité d’ordre p si elle vaut 1p = [1, . . . , 1]0 ,• scalaire si n = 1 et p = 1,•
carrée si n = p.
Retour au plan du cours.
Une matrice carrée est dite : 
0 si i 6= jjj
• identité (Ip ) si ai = δi =,1 Notations
1 si i = jj• diagonale si ai = 0 lorsque i 6= j,
Dans tout ce qui suit, E et F sont deux espaces vectoriels réels munis resj• symétrique si ai = aij , ∀(i, j),pectivement des bases canoniques E = {ej ; j = 1, . . . , p} et F = {fi ; i =j• triangulaire supérieure (inférieure) si ai = 0 lorsque i > j (i < j).
1, . . . , n}. On note indifféremment soit un vecteur de E ou de F , un endomorphisme de E, ou une application linéaire de E dans F , soit leurs représenta2.1.2 Matrice partitionnée en blocs
tions matricielles dans les bases définies ci-dessus.
Matrices dont les éléments sont eux-mêmes des matrices. Exemple :
2 Matrices
A21 (r × (p − s))
A11 (r × s).
A(n × p) =A12 ((n − r) × s) A22 ((n − r) × (p − s))2.1

Notations

La matrice d’ordre (n × p) associée à une application linéaire de E dans F
est décrite par un tableau :2.2

Opérations sur les matrices

Somme : [A + B]ji = aji + bji pour A et B de même ordre (n × p).
Multiplication par un scalaire : [αA]ji = αaji pour α ∈ R.

a11
 ..
 .

1
A=
 ai
 .
 ..
a1n


...

aj1
..
.

...

...

aji

...

...

..
.
ajn

...

p 

a1
.. 
. 

api 
.
.. 
. 
apn

Transposition : [A0 ]ji = aij , A0 est d’ordre (p × n).
(A0 )0 = A ; (A + B)0 = A0 + B0 ; (AB)0 = B0 A0 ;
 1
0  100 
A1 A21A1 A12=.
0
0
A12 A22A21 A22
Page 99 sur 104

06/14

2

Pn

Produit scalaire élémentaire : a0 b =colonnes.

i=1 ai bi où a et b sont des vecteurs-

Produit : [AB]ji = a0i bj avec A(n×p) , B(p×q) et AB(n×q) , et pour des matrices par blocs :


A11
A12

A21
A22



B11
B12

B21
B22




=

A11 B11 + A21 B12A12 B11 + A22 B12A11 B21 + A21 B22
A12 B21 + A22 B22

Rappels et compléments d’algèbre linéaire

2.3.2

On note |A| le déterminant de la matrice carrée A (p × p). Il vérifie :|A| =Propriétés des matrices carrées

Trace

Par définition, si A est une matrice (p × p),
trA =

p
X
ajj ,
j=1

A11
A12

trα
trαA
tr(A + B)
trAB

trCC0

=
=
=
=

α,
αtrA,
trA + trB,
trBA,
reste vrai si A est (n × p) et si B est (p × n)pn X
X= trC0 C =(cji )2
i=1 j=1

dans ce cas, C est (n × p).

A21
A22

= |A11 ||A22 − A12 (A11 )−1 A21 |(1)= |A22 ||A11 − A21 (A22 )−1 A12 |,sous réserve de la régularité de A11 et A22 .

(2)

Cette dernière propriété se montre en considérant les matrices :
I −A21 (A22 )−1
et BAB0 ,B=
0I
puis en comparant les déterminants |BAB0 | et |A|.
2.3.3

et il est facile de montrer :ajj , si A est triangulaire ou diagonale,|αA| = α |A|,
|AB| = |A||B|,
A B= |A||C|,
0 C

La trace et le déterminant sont des notions intrinsèques, qui ne dépendentpas des bases de représentation choisies, mais uniquement de l’application linéaire sous-jacente.
2.3.1

p
Y
j=1
p



sous réserve de compatibilité des dimensions.

2.3

Déterminant

InverseL’inverse de A, lorsqu’elle existe, est la matrice unique notée A−1 telleque :AA−1 = A−1 A = I ;elle existe si et seulement si |A| 6= 0. Quelques propriétés :(A−1 )0 = (A0 )−1 ,2.3.4(AB)−1 = B−1 A−1 ,|A−1 | =1.
|A|

Définitions

Une matrice carrée A est dite :symétrique si A0 = A,Page 100 sur 104

06/14

3

Rappels et compléments d’algèbre linéaire

singulière si |A| = 0,
régulière si |A| 6= 0,

rang(A)=dim(Im(A)),
0 ≤ rang(A) ≤ min(n, p),rang(A)=rang(A0 ),rang(A + B)≤rang(A) + rang(B),rang(AB)≤min(rang(A), rang(B)),
rang(BAC)=
rang(A), si B et C sont régulières,rang(A)=rang(AA0 ) = rang(A0 A).

idempotente si AA = A,
définie-positive si, ∀x ∈ Rp , x0 Ax ≥ 0, et si x0 Ax = 0 ⇒ x = 0,
positive, ou semi-définie-positive, si, ∀x ∈ Rp , x0 Ax ≥ 0,
orthogonale si AA0 = A0 A = I (A0 = A−1 ).

3Espaces euclidiensE est un espace vectoriel réel de dimension p isomorphe à Rp .

3.1

Enfin, si B (p × q) est de rang q(q < p) et A est carrée (p × p) de rang p,
alors la matrice B0 AB est de rang q.

Sous-espaces• Un sous-ensemble Eq de E est un sous-espace vectoriel (s.e.v.) de E s’il

3.3

Métrique euclidienne

est non vide et stable :Soit M une matrice carrée (p × p), symétrique, définie-positive ; M définit
sur l’espace E :• un produit scalaire : hx, yiM = x0 My,
1/2• Le q-uple {x1 , . . . , xq } de E constitue un système linéairement indépen• une norme : kxkM = hx, xiM ,dant si et seulement si :• une distance : dM (x, y) = kx − ykM ,hx,yiMq
X.
• des angles : cos θM (x, y) = kxk kykMM
αi xi = 0 ⇒ α1 = · · · = αq = 0.
La matrice M étant donnée, on dit que :i=1• une matrice A est M-symétrique si (MA)0 = MA,• deux vecteurs x et y sont M-orthogonaux si hx, yiM = 0,
• Un système linéairement indépendant Eq = {e1 , . . . , eq } qui engendre• un vecteur x est M-normé si kxkM = 1,
dans E un s.e.v. Eq = vec{e1 , . . . , eq } en constitue une base et• une base Eq = {e1 , . . . , eq } est M-orthonormée sidim(Eq ) = card(Eq ) = q.
∀(x, y) ∈ Eq2 , ∀α ∈ R, α(x + y) ∈ Eq .

3.2∀(i, j), hei , ej iM = δij .

Rang d’une matrice

Dans ce sous-paragraphe, A est la matrice d’une application linéaire de E = 3.4 Projection
R dans F = Rn .
Soit W un sous-espace de E et B = {b1 , . . . , bq } une base de W ; P(p × p)
est une matrice de projection M-orthogonale sur W si et seulement si :Im(A) = vect{a1 , . . . , ap } est le s.e.v. de F image de A ;p∀y ∈ E, Py ∈ W et hPy, y − PyiM = 0.
Ker(A) = {x ∈ E ; Ax = 0} est le s.e.v. de E noyau de A ;E = Im(A) ⊕ Ker(A) si A est carrée associée à un endomorphisme deTouteE matrice idempotente (P2 = P) et M-symétrique (P0 M = MP) est
une matrice de projection M-orthogonale et réciproquement.
et p = dim(Im(A)) + dim(Ker(A)).
Page 101 sur 104

06/14

4

3.4.1

Rappels et compléments d’algèbre linéaire

Propriétés

T HÉORÈME 1. — Soit deux matrices A(n×p) et B(p×n) ; les valeurs propres
nonnulles de AB et BA sont identiques avec le même degré de multiplicité.
• Les valeurs propres de P sont 0 ou 1 (voir § 4) :Si u est vecteur propre de BA associé à la valeur propre λ différente de zéro,u ∈ W,
Pu = u, λ = 1, de multiplicité dim(W ), alors v = Au est vecteur propre de la matrice AB associé à la même valeurv⊥W, (on note v ∈ W ⊥ ) Pv = 0, λ = 0, de multiplicité dim(W ⊥ ). propre.
• trP = dim(W ).
• P = B(B0 MB)−1 B0 M, où B = b1 , . . . , bq .
• Dans le cas particulier où les bj sont M-orthonormés :P = BB0 M =q
X

Les applications statistiques envisagées dans ce cours ne s’intéressent qu’à
des types particuliers de matrices.
T HÉORÈME 2. — Une matrice A réelle symétrique admet p valeurs propresréelles. Ses vecteurs propres peuvent être choisis pour constituer une base orthonormée de E ; A se décompose en :0

bj bj M.

i=1

• Dans le cas particulier où q = 1 alors :

1
bb0
M=
bb0 M.
P= 0
b Mb
kbkM

0

A = VΛV =p
X

λk v k v k0

k=1• Si P1 , . . . , Pq sont des matrices de projection M-orthogonales alors laoù V est une matrice orthogonale [v , . . . , vp ] des vecteurs propres orthonorsomme P1 + · · · + Pq est une matrice de projection M-orthogonale si et més associés aux valeurs propres λk , rangées par ordre décroissant dans laseulement si : Pk Pj = δkj Pj .
matrice diagonale Λ.
• La matrice I − P est la matrice de projection M-orthogonale sur W ⊥ .
T HÉORÈME 3. — Une matrice A réelle M-symétrique admet p valeurs
propresréelles. Ses vecteurs propres peuvent être choisis pour constituer une
4 Eléments propresbase M-orthonormée de E ; A se décompose en :Soit A une matrice carrée (p × p).
p
X
0
A = VΛV 0 M =λk vk vk M

4.1

1

Définitions

k=1• Par définition, un vecteur v définit une direction propre associée à une

valeur propre λ si l’on a :Av = λv.
• Si λ est une valeur propre de A, le noyau Ker(A − λI) est un s.e.v. deoù V = [v1 , . . . , vp ] est une matrice M-orthogonale (V0 MV = Ip et VV0 =M−1 ) des vecteurs propres associés aux valeurs propres λk , rangées par ordre
décroissant dans la matrice diagonale Λ.

E, appelé sous-espace propre, dont la dimension est majoré par l’ordre
Les décompositions ne sont pas uniques : pour une valeur propre simple
de multiplicité de λ. Comme cas particulier, Ker(A) est le sous-espace (de multiplicité 1) le vecteur propre normé est défini à un signe près, tandis
propre associé, si elle existe, à la valeur propre nulle.
que pour une valeur propre multiple, une infinité de bases M-orthonormées• Les valeurs propres d’une matrice A sont les racines, avec leur multiplipeuvent être extraites du sous-espace propre unique associé.
cité, du polynôme caractéristique :Le rang de A est aussi le rang de la matrice Λ associée et donc le nombre|A − λI| = 0.
(répétées avec leurs multiplicités) de valeurs propres non nulles.
Page 102 sur 104

06/14

5

matrice (n × p). L’ensemble Mn,p des matrices (n × p) est un espace vectoriel
de dimension np ; on le munit du produit scalaire :Par définition, si A est positive, on note la racine carrée de A :A1/2 =p
X

p

Rappels et compléments d’algèbre linéaire

0

λk vk vk M = VΛ1/2 V0 M.

hX, YiM,D = trXMY0 D.

k=1

4.2

PropriétéshSi λk 6=Pλj ,p
trA = k=1 λk ;si A est régulière,
si A est positive,si A est définie-positive,

4.3

vk ⊥MQ
vj ;p|A| = k=1 λk ;∀k, λk 6= 0 ;λp ≥ 0 ;λp > 0 ;(4)Dans le cas particulier où M = Ip et D = In , et en notant vec(X) =i00 0x1 , . . . , xp la matrice “vectorisée”, ce produit scalaire devient :0hX, YiIp ,In = trXY =

p
n X
X

xji yij = vec(X)0 vec(Y).

i=1 j=1

La norme associée à ce produit scalaire (4) est appelée norme trace :Décomposition en Valeurs Singulières (DVS)

2= trXMX0 D,

2= trXX0 = SSQ(X) =kXkM,DIl s’agit, cette fois, de construire la décomposition d’une matrice X(n × p)
rectangulaire relativement à deux matrices symétriques et positives D(n × n)et M(p × p).

kXkIp ,Inpn X
X
(xji )2
i=1 j=1

T HÉORÈME 4. — Une matrice X (n × p) de rang r peut s’écrire :X = UΛ1/2 V0 =

r p
X

0

λk uk vk ;(SSQ signifie “sum of squares”).
(3)

k=1

La distance associée à cette norme devient, dans le cas où D est une matrice
diagonale (D = diag(w1 , . . . , wn )), le critère usuel des moindres carrés :U (n × r) contient les vecteurs propres D-orthonormés (U0 DU = Ir ) de lanXmatrice D-symétrique positive XMX0 D associés aux r valeurs propres non
222=
wi kxi − yi kM .
d
(X,
Y)
=
kX
−
Yk
M,D
nulles λk rangées par ordre décroissant dans la matrice diagonale Λ(r × r) ;i=1
V (p × r) contient les vecteurs propres M-orthonormés (V0 MV = Ir ) de la0matrice M-symétrique positive X DXM associés aux mêmes valeurs propres.
5.2 Approximation d’une matrice
De plus,
−1/2
−1/2
0
U = XMVΛ
et V = X DUΛ
.
Les matrices X, M et D sont définies comme ci-dessus ; X est supposéede rang r. On cherche la matrice Zq , de rang q inférieur à r, qui soit la plus
5 Optimisationproche possible de X.

5.1

Norme d’une matrice

L’espace vectoriel E de dimension p (resp. F de dimension n) est munide sa base canonique et d’une métrique de matrice M (resp. D). Soit X une

T HÉORÈME 5. — La solution du problème :no2
min kX − ZkM,D ; Z ∈ Mn,p , rang(Z) = q < r

Page 103 sur 104

Z

06/14

(5)

6

Rappels et compléments d’algèbre linéaire

est donnée par la somme des q premiers termes de la décomposition en valeurssingulières (3) de X :
Zq =

q
X
p
0
0
λk uk vk = Uq Λ1/2
q Vq .
k=1

Le minimum atteint est :2kX − Zq kM,D =

r
X

λk .

k=q+1

Les matrices Uq , Λq et Vq contiennent les q premiers vecteurs et valeurs
propres donnés par la DVS de X ; Zq est appelée approximation de rang q deX.
cq
Ce théorème peut se reformuler d’une manière équivalente. On note Pcq ) la projection M-orthogonale sur Eq = Im(Vq ) (resp. D(resp. Q
orthogonale sur Fq = Im(Uq )) :
cq
P
cq
Q

=

=

q
X
k=1
q
X

0

vk vk M = Vq Vq0 M
0uk uk D = Uq U0q D,

k=1

Zq

0

cq X = XPcq .
= Q

P ROPOSITION 6. — Avec les notations précédentes :ncq = arg max XP0 2
P
q M,D ;
Pq

cq
Q

=

Pq projection M-orthogonale de rang q < r} ,n2
arg max kQq XkM,D ;Qq

Qq projection D-orthogonale de rang q < r} .
Page 104 sur 104

06/14