# Comparaison de méthodes de sélection de variables explicatives en régression PLS Application aux données de procédés de fabrication industrielle

Jean-Pierre Gauchi, Pierre Chagnon

► To cite this version:

Jean-Pierre Gauchi, Pierre Chagnon. Comparaison de méthodes de sélection de variables explicatives en régression PLS Application aux données de procédés de fabrication industrielle. [Rapport Technique] 1999-2, auto-saisine. 1999. hal-01604610

HAL Id: hal-01604610

https://hal.science/hal-01604610v1

Submitted on 7 Jun 2020

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY-SA 4.0 - Attribution - ShareAlike - International
License
Institut National de la Recherche Agronomique

Centre de Recherche de Jouy-en-Josas

Unité de Mathématiques et Informatique Appliquées

Comparaison de méthodes
de sélection de variables explicatives en régression PLS

Application aux données
de procédés de fabrication industrielle

J.P. Gauchi / INRA Jouy-en-Josas / Unité de Biométrie
&
P. Chagnon / Rhodia Recherches / Aubervilliers

Rapport technique n°1999-2

Copyright INRA 1999
Comparaison de méthodes
de sélection de variables explicatives en régression PLS
Application aux données de procédés de fabrication industrielle

J.P. Gauchi / INRA Jouy-en-Josas / Unité de Biométrie

P. Chagnon / Rhodia Recherches / Aubervilliers

Résumé

Les procédés industriels de fabrication chimique, pétrolière, agro-alimentaire sont décrits par un grand nombre de variables. Quand le fabricant ou le chercheur ont pour objectif de piloter et d'optimiser de tels procédés ils souhaitent des modèles des variables expliquées (les réponses) à la fois très explicatifs et de bonne qualité prévisionnelle, construits sur des nombres réduits de variables explicatives pertinentes. Pour atteindre cet objectif il est donc nécessaire de disposer de méthodes performantes de sélection de variables explicatives. On compare ici plusieurs méthodes de sélection de variables, dans les mêmes conditions, sur plusieurs jeux de données issus de procédés de fabrication chimique réels. Leurs efficacités, évaluées avec plusieurs critères, sont comparées à partir du modèle PLS final obtenu pour chaque jeu de données. En conclusion de l'étude nous préconisons une méthodologie de sélection de variables pas à pas, basée sur le maximum de la courbe d'évolution du Q cum en fonction du nombre de variables éliminées.

mots-clés : régression PLS, sélection de variables, procédés industriels.
<table><tr><td>7. Etude du jeu de données LATEX</td><td>29</td></tr><tr><td>8. Etude du jeu de données OXY</td><td>38</td></tr><tr><td>9. Etude du jeu de données SPIRA</td><td>47</td></tr><tr><td>10. Etude du jeu de données GRANU</td><td>56</td></tr><tr><td>11. Synthèse sur les critères</td><td>64</td></tr><tr><td>12. Comparaison des méthodes GA, SMR, BQ, BSDEP</td><td>65</td></tr><tr><td>13. Proposition d'une méthodologie de sélection de variables</td><td>68</td></tr><tr><td>14. Conclusion</td><td>69</td></tr><tr><td>15. Bibliographie</td><td>69</td></tr></table>
# 1. Introduction

On sait que l'on peut construire un modèle de régression PLS quand les nombres des variables explicatives (tableau X) et/ou à expliquer (tableau Y) sont très grands, même s'ils sont supérieurs au nombre d'observations disponibles. Dans les procédés de fabrication chimique, pétrolière, agro-alimentaire, très souvent décrits par un grand nombre de variables explicatives potentielles, le chercheur et le fabricant souhaitent un modèle final à nombre raisonnable de variables pour utiliser facilement le modèle dans une phase ultérieure. Celle-ci peut consister par exemple à faire du contrôle de procédé et de l'optimisation : le modèle de régression PLS doit alors être à la fois explicatif, interprétable et de bonne qualité prévisionnelle, objectifs simultanément accessibles à la régression PLS.

La difficulté réside alors dans le choix d'un sous-ensemble des variables de départ, de taille raisonnable et constitué de variables pertinentes. L'évaluation de tous les modèles possibles, soit $2^p-1$ modèles, si $p$ est le nombre total de variables, n'étant pas possible dès que $p$ approche la centaine, il faut disposer de techniques de sélection de variables.

Cette question de sélection de variables connaît de nombreuses solutions en régression usuelle (aux moindres carrés), depuis le célèbre algorithme déterministe « leaps and bounds » de Furnival & Wilson [1974] jusqu'aux méthodes stochastiques modernes telles celles basées sur l'emploi de chaînes de Markov en simulation de Monte Carlo ou encore du type de celle proposée par Stark & Fitzgerald [1997]. Toutefois, en régression PLS, il n'existe pas encore de méthode suffisamment fiable pour répondre toujours correctement à cette question du choix, même si on peut déjà trouver dans la littérature quelques méthodes pas forcément dédiées aux données de procédés mais aussi aux données de chimiométrie et de relation structure-activité : Baroni & coll. [1992], Lindgren & coll. [1994, 1995], Norinder & coll., [1997], Leardi & coll. [1992], Rodgers & Hopfinger [1994], Swierenga & coll. [1998], Gouti [1999]. L'intérêt du travail présenté ici réside dans la comparaison rigoureuse de nombreuses méthodes sur des jeux de données réels à très grand nombre de variables issus de procédés de fabrication chimique.

L'efficacité des méthodes comparées est établie avec plusieurs critères du modèle PLS final obtenu avec chaque méthode, notamment la capacité de prédiction sur un jeu test. Précisons que cette publication ne concerne que la régression PLS1, c'est-à-dire que le tableau Y se réduit à une seule variable expliquée y. La régression PLS1 est bien décrite dans de nombreux ouvrages et publications, voir par exemple les ouvrages remarquables de Martens & Naes [1989] pour le point de vue du chimiométricien et de Tenenhaus [1998] pour le point de vue du statisticien.
Dans ce dernier ouvrage, en plus de l'aspect théorique, on trouve également des applications très concrètes, analysées dans le détail, et en conséquence d'une grande utilité pour le praticien. Par ailleurs, les documentations des logiciels utilisés aident efficacement dans la construction du modèle PLS. Aussi, nous ne détaillerons pas ici l'aspect théorique de la régression PLS, nous renvoyons le lecteur à ces références pour une information exhaustive. Les calculs ont été réalisés avec les logiciels SAS version 6.12 (SAS Institute, Cary, USA) et SIMCA-R version 4.0 de la société UMETRI (Umea, Suède).

Le plan de cette publication est le suivant. Dans la section 2, on expose quelques arguments pour confirmer la pertinence de la question posée. Dans la section 3 on donne une information succincte sur les cinq jeux de données étudiés. En section 4 sont définis les critères qui nous permettront de décrire complètement les modèles PLS finaux obtenus. En section 5 sont exposées les différentes méthodes comparées. En sections 6, 7, 8, 9, 10 sont fournis tous les résultats commentés respectivement pour les cinq jeux de données. La section 11 fait une courte synthèse sur les critères, la section 12 fournit une comparaison des méthodes les plus intéressantes. La section 13 propose une méthodologie de mise en œuvre d'une sélection de variables, tandis que la conclusion en section 14 indique des suites possibles à ce travail. La section 15 fournit quelques références bibliographiques.

Ajoutons enfin que cet article adopte volontairement le point de vue du praticien et n'a pas de prétention théorique. Nous avons cherché à rendre sa lecture aisée en vue de fournir au chimiométricien ou à l'ingénieur sur le terrain une méthodologie immédiatement opérationnelle.

## 2. Pertinence de la question posée

La pertinence de cette question de sélection de variables en régression PLS se dégage naturellement à partir de l'exposé de plusieurs arguments que nous développons ci-après.

Tout d'abord, l'argument de la parcimonie d'un modèle semble évident dans le domaine des procédés industriels où l'on souhaite un modèle pour piloter le procédé de fabrication. Le modèle doit donc renfermer peu de variables explicatives mais pertinentes, et leurs coefficients de régression doivent être interprétables c'est-à-dire présenter le même signe que celui du coefficient de régression de la régression simple correspondante. Apportons un deuxième argument. Il est vrai que le réflexe d'un spécialiste de l'analyse des données sera, dans cette situation, d'aborder la question avec une approche exploratoire et donc par
exemple de faire son choix « manuellement ». Par exemple, il choisira un nombre raisonnable de variables pertinentes à partir de l'observation des graphiques usuels, notamment celui du cercle de corrélation de l'analyse en composantes principales. Deux critiques peuvent être formulées à l'encontre de cette attitude : tout d'abord ce choix « manuel » est difficilement envisageable quand les variables sont en aussi grand nombre et aussi fortement corrélées, comme le montrent les figures 3, 10, 20, 25 et 33. En outre, même si la patience permet de venir à bout de la sélection « manuelle » à partir de graphiques, rien ne nous assure que le pouvoir de prévision, notamment sur un jeu test, sera le meilleur possible.

Enfin, on peut s'interroger sur l'avantage à faire de la sélection de variables en régression PLS puisque l'on sait que cette méthode est capable justement de traiter le cas où le nombre de variables est plus grand que celui d'observations et de gérer une extrême multicolinéarité du tableau X. Le troisième argument repose sur l'observation que la prévision faite avec le modèle PLS s'améliore considérablement quand on réalise une sélection de variables. Nous terminerons cette section en nous plaçant dans une perspective scientifique plus large. Ainsi, au-delà des exemples de procédés industriels présentés ici, la mise en œuvre d'une sélection de variables en régression PLS peut s'avérer fructueuse dans les domaines en constante progression de la spectrométrie (infra-rouge proche ou moyen, ...) et de la relation structure-activité en biologie. Les praticiens de la régression PLS en spectrométrie conservent traditionnellement toutes les variables, souvent plusieurs centaines ou milliers, pour établir leurs modèles et calculer leurs prédictions. Nous souhaitons également suggérer dans cette publication que même dans cette situation où le but du modèle n'est pas en général - on peut citer toutefois le travail de Fayolle [1997] - une utilisation en conduite « on-line » de procédé, une sélection de variables (qui sont des longueurs d'onde en spectrométrie) peut conduire à beaucoup améliorer la qualité prévisionnelle du modèle PLS. La question se pose de façon semblable dans les modèles de structure-activité où il est connu qu'un grand nombre de descripteurs physico-chimiques et moléculaires n'apportent en fait que du bruit et où les descripteurs vraiment pertinents sont souvent en nombre très réduit. La sélection de variables, là aussi, est donc nécessaire.
### 3. Description des jeux de données

Cinq jeux de données ont été étudiés. Dans les fichiers ils sont tous représentés par des tableaux de $n$ opérations industrielles décrites par $p$ variables explicatives et une variable réponse. On les appellera ADPN, LATEX, OXY, SPIRA et GRANU. Décrivons succinctement ces jeux de données, une description détaillée étant impossible compte tenu de l'aspect évidemment hautement confidentiel de tels procédés industriels.

#### 3.1 Description du jeu de données ADPN

Les données du fichier ADPN sont issues de la fabrication industrielle de l'adiponitrile (ADPN), intermédiaire de la synthèse chimique du Nylon 6-6. L'étape principale de préparation de l'ADPN repose sur une réaction catalysée par le Nickel lors d'un procédé en continu dans un atelier très complexe comportant de nombreuses opérations unitaires de génie chimique. Dans le fichier ce procédé est décrit par $p$ variables explicatives de débit, pression, température et de compositions de mélanges réactionnels évoluant dans le temps ainsi que par la variable réponse « perte en Nickel ». En effet, même si le Nickel ne peut pas être consommé chimiquement par la réaction de par son statut de catalyseur, néanmoins au fil des semaines il se manifeste une baisse sensible et régulière de sa quantité moyenne dans le circuit de l'appareillage. La conséquence indésirable en est une diminution visible du rendement en ADPN. On peut supposer qu'un entraînement mécanique est la cause de cette baisse et donc qu'un réglage approprié des niveaux de certaines variables explicatives puisse limiter la perte en Nickel tout en conservant un niveau nominal de productivité en ADPN. Afin d'atteindre le réglage optimal il est indispensable de disposer d'un modèle de bonne qualité de la perte en Nickel en fonction de quelques variables explicatives ; on cherchera un modèle réaliste à la fois parcimonieux et pertinent à $p_f$ variables explicatives avec $p_f \ll p$. On a pour ce fichier : $n = 71$, $n_L = 57$ observations pour la construction du modèle PLS, tirées aléatoirement parmi les $n$ observations (80% de $n$), $n_T = 14$ observations restantes (20% de l'ensemble) constituant un jeu test et $p = 100$ variables explicatives.
## 3.2 Description du jeu de données LATEX

Les données du fichier LATEX sont issues de la fabrication industrielle, en opérations discontinues, de latex pour le couchage du papier par polymérisation en émulsion. Les variables explicatives sont des températures, des durées de paliers, des vitesses d'introduction de monomères, des taux de catalyseurs et des concentrations réactionnelles. La variable réponse est le taux de produits secondaires appelés de façon générique « insolubles » par l'homme de l'art. L'objectif de ce dernier est de déterminer un modèle du taux d'insolubles en fonction de variables du procédé en vue d'agir sur celles-ci pour aboutir à un latex en fin de réaction à très faible taux de ces produits secondaires. La difficulté inhérente au type de réaction mise en jeu rend impossible l'action sur un grand nombre de variables du procédé, en outre toutes fortement corrélées. Par exemple, une température de palier et la durée de ce palier ne peuvent pas être ajustées indépendamment. Pour trouver un optimum de réglage il est donc nécessaire de disposer d'un modèle le plus parcimonieux possible et s'appuyant sur les coefficients de régression les plus fiables, c'est-à-dire les moins influencés par des coefficients de variables peu explicatives. Celles-ci peuvent apportent effectivement du bruit et sont toujours en nombre important quand le nombre de variables explicatives est grand. On a pour ce fichier : n = 262, $n_L$ = 210, $n_T$ = 52 et p = 117.

## 3.3 Description du jeu de données OXY

Les données du jeu OXY proviennent de la fabrication industrielle de l'oxyde de Titane, produit de très gros tonnage, qui entre dans la composition de très nombreux produits finis, par exemple une bonne partie de toutes les peintures fabriquées sur la planète. On cherche à expliquer une réponse, une caractéristique de blancheur, en fonction des variables des étapes dites d'hydrolyse, de mûrissement et de calcination. Il est particulièrement difficile de fixer correctement les niveaux des variables de ces deux dernières étapes et le besoin de disposer d'un modèle fiable de contrôle de la dérive de la caractéristique de blancheur est d'autant plus crucial que les réactions mises en jeu sont irréversibles et de très fort tonnage. On a : n = 25, $n_L$ = 20, $n_T$ = 5 et p = 95.
### 3.4 Description du jeu de données SPIRA

Les données du jeu SPIRA proviennent de la fabrication par fermentation (biotechnologie) de l'antibiotique Spiramycine. Les observations sont des opérations de fermentation conduites dans plusieurs fermenteurs (procédé "batch") décrites par des variables du procédé, c'est-à-dire des puissances d'agitation, des températures de palier, des pics de consommation de l'oxygène consommé par les bactéries et les temps auxquels se manifestent ces pics, ..., informations enregistrées sur 240 heures à intervalles réguliers. Une analyse de données antérieure ayant montré des corrélations importantes entre le profil de la courbe de l'oxygène consommé et le titre final en Spiramycine dans le "moût" de fabrication, il a été entrepris la mise au point d'un modèle de régression PLS pour relier cette réponse de titre à un sous-ensemble de ces variables explicatives. La fermentation est de longue durée et l'existence d'un modèle fiable peut permettre de stopper cette réaction précocement si le titre prévu par le modèle dès les premières 50 heures est trop faible par rapport au standard de production. En effet, on sait qu'un titre trop faible conduira à une extraction trop difficile de la Spiramycine : en conséquence le moût est inutilisable et il est alors préférable d'enchaîner une autre opération de fermentation. Ce type de conduite de procédé se rapproche de celui proposé par Nomikos & MacGrêgor [1995]. On a : n = 145, $n_L$ = 115, $n_T$ = 29 et p = 96.

### 3.5 Description du jeu de données GRANU

Les données du jeu GRANU proviennent de la fabrication d'émulsions antimousse pour l'industrie du papier. Les opérations sont décrites par des variables explicatives usuelles telles des teneurs en monomères, des températures, ainsi que des courbes granulométriques mesurées en cours de la fabrication. La réponse à modéliser ici est la viscosité de la formulation finale. Cette viscosité dépend en effet, de manière très complexe, de températures du procédé et de tranches-clés des courbes granulométriques. Si on établit un modèle de régression PLS performant avec quelques-unes de ces variables explicatives, on pourra alors dans un deuxième temps agir sur d'autres variables (déjà connues par l'homme de l'art) qui gouvernent les variables explicatives du modèle PLS. On a : n = 29, $n_L$ = 23, $n_T$ = 6 et p = 78.

## 4. Critères descriptifs des modèles de régression PLS
Les critères suivants des modèles de régression PLS ont été choisis pour comparer les méthodes de cette étude. Ce sont :

- $p_f$ : le nombre de variables explicatives du modèle PLS final ; selon le principe de parcimonie un $p_f$ faible sera préférable pour le modèle PLS final,

- $h$ : le nombre de composantes PLS obtenues par la validation croisée du logiciel SIMCA,

- $Q_{cum}^2$ : critère de qualité de prédiction ; il doit être le plus proche possible de 1 ; en régression PLS1 il est défini par :

$$Q_{cum}^2 = 1 - \prod_{j=1}^{h} \frac{PRESS_j}{RSS_{j-1}}$$

avec :

* $PRESS_j$ le PRESS associé au modèle PLS à $j$ composantes, on a :

$$PRESS = \sum_{i=1}^{n_L} (y_i - \hat{y}_{(-i)})^2, \text{où } \hat{y}_{(-i)} \text{ est la prédiction de } y_i \text{ alors que } y_i \text{ est absente lors de la construction du modèle,}$$

* $RSS_{j-1}$ le RSS associé au modèle PLS à $j-1$ composantes, on a :

$$RSS = \sum_{i=1}^{n_L} (y_i - \hat{y}_i)^2, \text{où } \hat{y}_i \text{ est la prédiction de } y_i \text{ alors que } y_i \text{ est présente lors de la construction du modèle,}$$

- $RX_h^2$ : taux d'explication du tableau X (en %) avec un modèle à $h$ composantes PLS ; on a pour un tableau X centré-réduit à $p$ colonnes :

$$RX_h^2 = \frac{\sum_{i=1}^{h} \|t_i\|^2 \|p_i\|^2}{(n_L - 1)p} \times 100, \text{où les } t_i \text{ sont les composantes PLS et les } p_i \text{ les}$$

« loadings » usuels de la régression PLS1,
- $RY_{h,adj}^2$ : taux d'explication ajusté du tableau Y (en %), ici réduit à un vecteur y, avec h composantes PLS, on a :

$$RY_{h,adj}^2 = \left[ 1 - (1 - RY_h^2) \left( \frac{n_L - 1}{n_L - h - 1} \right) \right] \times 100, \text{où } RY_h^2 = \frac{\sum_{i=1}^{n_L} (y_i - \hat{y}_i^{[h]})^2}{\sum_{i=1}^{n_L} (y_i - \bar{y})^2}$$

avec $\hat{y}_i^{[h]}$ la reconstitution de l'observation y_i avec un modèle de régression PLS à h composantes, et $\bar{y}$ la moyenne des $n_L$ observations y_i,

- $C_{max}$ : rapport du plus grand coefficient centré-réduit de régression PLS (en valeur absolue) au plus faible (en valeur absolue), soit :

$$C_{max} = \frac{|\hat{\beta}_{PLS}|_{max}}{|\hat{\beta}_{PLS}|_{min}}$$

- **RDMODX** : rapport du plus grand *DMODX* au plus faible, où *DMODX* est une distance normalisée d'une observation au modèle, dans l'espace des variables explicatives ; elle est définie rigoureusement dans la documentation du logiciel SIMCA et dans Tenenhaus [1998] page 89,

- **NDMODX** : nombre de *DMODX* supérieur au seuil du logiciel SIMCA,

- **RDMODY** : rapport du plus grand *DMODY* au plus faible, où *DMODY* est une distance analogue au *DMODX* mais par rapport aux observations y_i,

- **LSE** : écart-type résiduel, défini par :

$$LSE = \sqrt{\frac{\sum_{i=1}^{n_L} (y_i - \hat{y}_i)^2}{n_L}}$$

- $RT_{o,p}^2$ : coefficient de corrélation au carré, de la droite de régression du nuage [observé, prédit] **des données de test**,

- **SDEP** : écart-type de prédiction **sur le jeu test**, défini par :
$$SDEP = \sqrt{\frac{\sum_{i=1}^{n_T} (y_i - \hat{y}_{(-i)})^2}{n_T}}$$

# 5. Description des méthodes de sélection de variables utilisées

Les méthodes que nous utilisons ici, bien connues pour la plupart, sont très différentes. L'originalité de notre travail réside dans le **couplage** de certaines d'entre elles d'une part et leur comparaison rigoureuse d'autre part. En effet, ces méthodes de sélection peuvent agir directement sur l'ensemble des *p* variables explicatives de départ ou bien sur une **présélection** pertinente *S* de *s* variables explicatives. La constitution de ce sous-ensemble pertinent *S* peut se faire par des régressions simples, **le nom de la méthode commencera alors par SR**. On peut aussi imaginer que la constitution du sous-ensemble *S* trouve son origine dans un choix particulier des variables explicatives par un expert du domaine. Celui-ci peut vouloir en effet imposer certaines variables explicatives, au moins lors de cette présélection, à partir de considérations de bilans matière, énergétique, de traçabilité, ....

## 5.1 Méthodes FMR, BMR, SMR

Les acronymes FMR, BMR et SMR signifient respectivement "Forward Multiple Regression", "Backward Multiple Regression" et "Stepwise Multiple Regression". Ce sont des méthodes bien connues. La méthode FMR est la méthode usuelle de sélection de variables de la régression multiple aux moindres carrés ordinaires, avec introduction une à une des variables dans le modèle, selon un seuil d'entrée choisi (c'est par exemple l'option Forward de la procédure REG du logiciel SAS/STAT). La méthode BMR élimine une à une des variables du modèle, selon un seuil de sortie choisi (c'est par exemple l'option Backward de la procédure REG du logiciel SAS/STAT). La méthode SMR permet l'introduction et l'élimination une à une des variables du modèle, selon des seuils d'entrée et de sortie choisis (c'est par exemple l'option Stepwise de la procédure REG du logiciel SAS/STAT). Chacune de ces méthodes conduit à un sous-ensemble de *p*<sub>*f*</sub> variables explicatives sélectionnées parmi les *p* ; *p*<sub>*f*</sub> n'est évidemment pas forcément identique pour chacune des méthodes. Dans un deuxième temps, on construit un modèle PLS sur ces *p*<sub>*f*</sub> variables explicatives.
## 5.2 Méthode SR

Les lettres SR signifient "simple regression". Dans cette méthode, déjà proposée dans le cadre de la formulation en Chimie [Gauchi, 1995], on réalise d'abord $p$ régressions simples de la réponse $y$ en fonction de chacune des variables explicatives. Parmi les $p$ régressions simples on conserve les $p_f$ variables pour lesquelles la probabilité du test de Student associé au coefficient de la pente est inférieure à un seuil donné. Traditionnellement le seuil choisi est 0.05, on baissera ce seuil à 0.01 ou 0.001 si trop de variables sont sélectionnées, typiquement si $p_f > 0.75p$ ; inversement, on l'augmentera à 0.10 puis 0.20 si nécessaire c'est-à-dire si le nombre de variables sélectionnées est vraiment trop faible, typiquement si $p_f < 0.10p$. Avec cette façon de faire on peut supposer que :

- les $p_f$ variables sélectionnées, même si elles sont très corrélées entre elles, influencent significativement la réponse $y$,

- on a diminué le niveau de bruit du tableau X.

Enfin, le modèle PLS final sera construit sur ces seules $p_f$ variables explicatives.

## 5.3 Méthodes VARC1 et VARC2

Il est connu en Analyse des Données que l'on peut résumer l'information portée par un grand nombre de variables par un faible nombre de variables en réalisant une typologie de l'ensemble des variables avec une méthode de classification de variables [Harman, 1976]. On réalise ici cette typologie sur les $p$ variables avec la procédure VARCLUS du logiciel SAS/STAT, selon deux options : "proportion = 0.7 à 0.9" (méthode VARC1) et "maxeigen=1" (méthode VARC2). Nous renvoyons le lecteur à la documentation de la procédure VARCLUS pour des détails sur ces options. Avec ces méthodes VARC1 et VARC2, on réduit ainsi le nombre $p$ à un sous-ensemble de $p_f$ variables résumant au mieux la typologie des $p$ variables. Chacune de ces $p_f$ variables représentant « au mieux » le cluster de variables dont elle fait partie, on construit le modèle PLS sur ces $p_f$ variables. On utilisera aussi ces méthodes sur le sous-ensemble présélectionné par la méthode SR. Ce seront les méthodes SR-VARC1 et SR-VARC2. On pourra objecter à ces méthodes que beaucoup de variables parmi les $p_f$ expliqueront faiblement la réponse puisque le but de ces $p_f$ variables est avant tout de balayer l'espace des variables sans se préoccuper de leur corrélation avec la réponse. En effet, ceci semble un but contraire à celui poursuivi ici qui est de constituer un sous-ensemble dont la priorité est d'abord d'expliquer et de prédire au mieux la réponse. Nous proposons cependant ces méthodes dans notre étude pour
aider à qualifier les autres méthodes, en quelque sorte pour les borner inférieurement : d'une
certaine façon, les autres méthodes devront se montrer meilleures que ces méthodes VARC1,
VARC2, SR-VARC1 et SR-VARC2.

La méthode GOLPE [Baroni & al, 1992] conduit également à explorer l'espace des variables explicatives pour sélectionner uniquement celles qui le décrivent optimalement (au sens de l'enveloppe convexe constituée des extrémités des vecteurs de ces variables sélectionnées). A notre sens, cette méthode n'est pas adaptée à l'objectif que l'on s'est fixé ici puisque cette exploration n'est pas orientée dans l'explication conjointe de la réponse.

**5.4 Méthode COR**

Elle est basée sur les étapes suivantes :

a) on calcule d'abord le modèle PLS sur les *p* variables de départ, avec *h* composantes PLS significatives par validation croisée,

b) on examine ensuite les tests de significativité des coefficients de corrélation de chaque variable explicative avec chacune des *h* composantes PLS significatives, soit $q = p \times h$ coefficients de corrélation ; **on élimine d'un coup** toutes les variables dont **tous** les *q* coefficients de corrélation ne sont pas significativement différents de zéro ; si aucune des variables explicatives ne satisfait cette dernière condition on abandonne la méthode et on s'oriente vers la méthode suivante *BCOR*,

c) on calcule un modèle PLS final avec les variables restantes.

Le test utilisé pour tester si le coefficient de corrélation linéaire ρ est nul est le test classique de
Fisher [Saporta, 1990].

**5.5 Méthode BCOR**

Elle est basée sur les étapes suivantes (BCOR comme « Backward Correlations ») :

a) on calcule d'abord le modèle PLS sur les *p* variables de départ, avec *h* composantes PLS significatives par validation croisée,

b) on examine ensuite, comme dans la méthode COR, les tests de significativité des coefficients de corrélation de chaque variable explicative avec chacune des *h* composantes PLS significatives, soit *q* = *p*×*h* coefficients de corrélation ; on élimine la variable qui présente le plus petit coefficient de corrélation (en valeur absolue) parmi les variables dont **tous** les *q* coefficients de corrélation ne sont pas significativement
différents de zéro ; si aucune des variables explicatives ne satisfait cette dernière condition, on élimine la variable qui présente le plus petit coefficient de corrélation (en valeur absolue) parmi les variables qui présentent le plus de coefficients de corrélation non significativement différents de zéro,

c) on calcule un modèle PLS avec les *p*-1 variables restantes et on itère en reprenant en b).

On aboutit à un modèle PLS à $p_f$ variables explicatives.

## 5.6 Méthode RCOR

Elle est basée sur les étapes suivantes (RCOR comme « Random Correlations ») :

a) on calcule d'abord un premier modèle PLS sur les *p* variables de départ, avec *h* composantes PLS significatives par validation croisée,

b) on bruite chaque variable du tableau *X* avec un bruit gaussien de variance proportionnelle à la contribution de la variable en question dans les composantes PLS non sélectionnées par validation croisée,

c) on calcule un second modèle PLS sur les *p* variables bruitées ; on repère ainsi :

- les $c_1$ coefficients de corrélation non significativement différents de zéro, dans le second modèle,

- les $c_2$ coefficients de corrélation qui ont changé de signe entre les deux modèles,

- les $c_3$ coefficients de corrélation, de même signe, mais dont la valeur absolue a changé significativement (test au moyen de la transformation Z de Fisher, Saporta [1990]).

d) on calcule un modèle PLS final sur les $p_f = p - c_1 - c_2 - c_3$ variables.

## 5.7 Méthode COEF

Elle est basée sur les étapes suivantes :

a) on calcule d'abord un premier modèle PLS sur les *p* variables de départ, avec *h* composantes PLS significatives par validation croisée,

b) on calcule tous les rapports $C_j = \frac{|\hat{\beta}_j|}{|\hat{\beta}_j|_{max}}$, $j = 1, \dots, p$,

c) on élimine en un coup toute variable $X_j$ pour laquelle le rapport $C_j$ dépasse la valeur seuil $C_s$. On choisira ici empiriquement $C_s = 5$, une autre valeur est possible si le nombre
de variables ne diminue pas sensiblement. On nomme alors la méthode COEF5. C'est une méthode évidemment très empirique, mais qui a pu se montrer utile dans certains cas.

## 5.8 Méthode RCOEF

Elle est basée sur les étapes suivantes (RCOEF comme « Random Coefficients ») :

a) on calcule d'abord un premier modèle PLS sur les *p* variables de départ, avec *h* composantes PLS significatives par validation croisée,

b) on bruite chaque variable du tableau *X* comme dans la méthode RCOR,

c) on calcule un second modèle PLS sur les *p* variables bruitées ; on repère les *c* coefficients de régression PLS (centrés-réduits) qui ont changé de signe,

d) on calcule un modèle PLS final sur les *p* - *c* variables restantes.

## 5.9 Méthodes BQ et SR-BQ

Elles sont basées sur les étapes suivantes (BQ comme « Backward $Q_{cum}^2$ » et SR-BQ comme « Simple Regressions- Backward $Q_{cum}^2$ ») :

a) on calcule d'abord un premier modèle PLS sur les *p* variables de départ (ou *s* variables présélectionnées pour la méthode SR-BQ), avec *h* composantes PLS significatives par validation croisée ainsi que le $Q_{cum}^2$,

b) on supprime la variable explicative présentant le plus petit (en valeur absolue) des coefficients de régression PLS puis on recalcule un nouveau modèle sur les *p*-1 variables et le $Q_{cum}^2$ correspondant,

c) on réitère la démarche de suppression en stockant à chaque fois l'identifiant de la variable supprimée ainsi que la valeur du $Q_{cum}^2$. Finalement, on trace le graphe du $Q_{cum}^2$ en fonction du nombre de variables et on choisit le nombre de variables correspondant à un des maximum de ce graphe associé au nombre de variables le plus faible ; souvent, il n'existe qu'un maximum.

Une variante possible pour sélectionner la variable à supprimer à chaque étape serait, au lieu de se baser sur le coefficient de régression, d'éliminer la variable contribuant le plus faiblement au $Q_{cum}^2$ du modèle PLS courant. La méthode se nommerait alors BQQ ; nous n'avons pas évalué cette méthode. Nous privilégions toutefois la méthode BQ à la méthode BQQ pour la raison
suivante. Le coefficient de régression étant directement lié à la corrélation entre la variable explicative concernée et la réponse, supprimer une variable associée à un faible coefficient de régression revient donc en quelque sorte à supprimer une variable expliquant faiblement la réponse. On peut dire que la méthode BQ est une sélection de variables avec pour objectifs simultanés de bien expliquer la réponse (choix des variables basé sur les valeurs des coefficients de régression) et de conduire à un modèle à bonne capacité de prévision (choix du critère du $Q_{cum}^2$), ce qui sont bien les qualités attendues des modèles de pilotage des procédés industriels.

## 5.10 Méthodes BSDEP et SR-BSDEP

C'est le même type de méthode que le précédent mais le critère de choix est maintenant le SDEP.

## 5.11 Méthode de sélection CINT

Le sigle CINT signifie "confidence interval". La méthode revient à sélectionner en une seule fois les coefficients dont les intervalles de confiance à un niveau donné (on choisira ici 95%) ne contiennent pas zéro. Pour cette méthode, l'intervalle de confiance est construit en utilisant la formule de la variance de l'estimateur PLS, donnée dans Tenenhaus [1998] et que nous rappelons ci-dessous :

$$ \text{var}(\hat{\beta}_{PLS}) \approx s^2 S_h (S'_h X' XS_h)^{-1} S'_h $$

avec :

$$ S_h = [u, X'Xu, X'XX'Xu, \dots, (X'X)^{h-1}u] \text{ où } u = X'y $$

- $s^2$ estimation de la variance expérimentale donnée par la variance résiduelle de la régression de y sur les h composantes PLS.

Les bornes d'un intervalle de confiance approximatif au risque de 5% pour $\beta_{PLS}$ seront définies par : $\hat{\beta}_{PLS} \pm 1.96\sqrt{\text{var}(\hat{\beta}_{PLS})}$.

## 5.12 Méthode JACK

Le principe de cette méthode est basé sur des intervalles de confiance construits avec des estimations d'écart-types des $\hat{\beta}_{PLS}$ par la méthode bien connue de rééchantillonnage Jacknife.
On trouve par exemple dans Efron et Tibshirani [1994] la formule de l'estimation Jacknife de l'écart-type d'un paramètre $\hat{T}$ (erreur-standard), formule que nous rappelons ci-dessous :

$$s_{Jack} = \left[ \frac{n-1}{n} \sum_{i=1}^{n} (\hat{T}_{(-i)} - \hat{T}_{(.)})^2 \right]^{1/2}$$

où $\hat{T}_{(.)}$ est la moyenne des n valeurs de $\hat{T}$ et $\hat{T}_{(-i)}$ la moyenne des n-1 valeurs de $\hat{T}$, la valeur $\hat{T}_i$ ayant été ôtée. Les bornes d'un intervalle de confiance approximatif au risque de 5% pour $\beta_{PLS}$ seront définies par : $\hat{\beta}_{PLS} \pm 1.96s_{\hat{\beta}_{PLS}}^{[Jack]}$ où $s_{\hat{\beta}_{PLS}}^{[Jack]}$ est l'estimateur Jacknife de l'écart-type de $\hat{\beta}_{PLS}$.

Dans la méthode JACK on supprime **en un coup** les variables dont les coefficients de régression PLS ont des intervalles de confiance Jacknife (à 95%) qui contiennent zéro. On a considéré un instant la possibilité d'opérer pas à pas en supprimant à chaque fois, parmi les coefficients dont les intervalles de confiance Jacknife contiennent zéro, le plus petit en valeur absolue. Les résultats décevants obtenus (trop grandes valeurs de $p_f$) ne nous ont pas encouragé à poursuivre dans cette voie.

## 5.13 Méthodes GA et SR-GA

Les lettres GA signifient « Genetic Algorithms ». Ces méthodes sont basées sur l'usage des algorithmes génétiques orientés dans la sélection de variables. C'est Holland [1970] qui, le premier, propose ce type d'algorithmes stochastiques pour optimiser diverses fonctions. Rodgers & Hopfinger [1994] d'une part, Leardi & coll. [1992] d'autre part, utilisent les GA pour faire de la sélection de variables en régression usuelle et également en régression PLS. On trouve aussi dans Swierenga & coll [1998] de la sélection de variables en régression PLS au moyen de l'algorithme de recuit simulé (« annealing algorithm ») fournissant des résultats proches de ceux obtenus avec les GA. On trouvera dans Chaterjee [1996] une bonne introduction aux GA dans une perspective statistique. Les problèmes traités par exemple par Rodgers ou Leardi ont beaucoup moins de 100 variables. Dans notre situation à 100 variables ou plus, l'emploi des GA est peut-être très discutable ; en effet, on verra que la variabilité des solutions est très grande. Nous avons néanmoins retenu cette méthode et utilisé le programme Cerius2/QSAR version 3.7 PDC de la société MSI pour mener à bien les calculs. Les conditions choisies dans ce programme, après une optimisation préliminaire du réglage des paramètres de l'algorithme, sont les suivantes : nombre de générations égal à 100000, une taille de population de 500 modèles de régression PLS, une taille initiale de 20 variables explicatives par modèle et l'option "add new
term" de Cerius2 fixée à 50%. Plusieurs essais ont été réalisés pour chaque méthode, initiés de façon aléatoire.

# 6. Etude du jeu de données ADPN

Pour chaque jeu de données on réalise au préalable une étude détaillée du modèle PLS avec les *p* variables explicatives pour permettre une comparaison plus poussée des résultats après mise en œuvre de la méthode de sélection. La détermination de ces modèles complets a été effectuée avec le logiciel SIMCA déjà signalé dans l'introduction.

## 6.1 Le modèle PLS complet

Le modèle PLS complet pour le jeu ADPN, avec les 100 variables et 57 observations, s'appuie sur 3 composantes PLS significatives $t_1, t_2, t_3$ (au sens de la validation croisée). Au vu de la valeur des caractéristiques apparaissant au tableau 1 ainsi qu'au travers des différents graphiques qui suivent, ce modèle est acceptable, notamment au plan de sa capacité prédictive.

<table><caption>Tableau 1 : Caractéristiques du modèle PLS complet de ADPN.</caption><thead><tr><td>Caractéristique</td><td>Valeur</td></tr></thead><tbody><tr><td><i>p</i><sub>f</sub></td><td>100</td></tr><tr><td><i>h</i></td><td>3</td></tr><tr><td><i>RX</i><sup>2</sup> (%)</td><td>33</td></tr><tr><td><i>RY</i><sup>2</sup><sub>adj</sub> (%)</td><td>94</td></tr><tr><td><i>Q</i><sup>2</sup><sub>cum</sub></td><td>0.78</td></tr><tr><td><i>C</i><sub>max</sub></td><td>828</td></tr><tr><td><i>RDMODX</i></td><td>4.09</td></tr><tr><td><i>NDMODX</i></td><td>5</td></tr><tr><td><i>RDMODY</i></td><td>190</td></tr><tr><td><i>LSE</i></td><td>0.98</td></tr><tr><td><i>LOF</i></td><td>0.16</td></tr><tr><td><i>RT</i><sup>2</sup><sub>o,p</sub></td><td>0.85</td></tr><tr><td><i>SDEP</i></td><td>2.21</td></tr></tbody></table>
On trouve en figure 1 les graphiques [ t₁, t₂ ] et [ t₁, t₃ ] qui montrent que presque toutes les observations sont inscrites à l'intérieur de l'ellipse de Hotelling, les quelques unes extérieures restant très proches de la frontière de l'ellipse. L'absence d'une structure disparate nous laisse espérer une comparaison fiable des différentes méthodes.

<figure><img src="image_2.png" /><figcaption>**Figure 1 :** Graphiques [ t₁, t₂ ] et [ t₁, t₃ ] du modèle complet de ADPN.</figcaption></figure>

La figure 2 illustre un modèle PLS de bonne qualité globale au travers des graphiques [$u_1, t_1$], [$u_2, t_2$] et [$u_3, t_3$].
<figure><img src="image_3.png" /><figcaption>Figure 2 : Graphiques [u₁, t₁], [u₂, t₂], [u₃, t₃] du modèle complet de ADPN.</figcaption></figure>

La figure 3 illustre la structure de forte corrélation du tableau X, chaque point représentant l'extrémité du vecteur d'une variable explicative. Ce type de graphique donne aussi la position du vecteur réponse Y
<figure><img src="image_4.png" /><figcaption>**Figure 3 :** Graphiques [*w*c[1], *w*c[2]] et [*w*c[1], *w*c[3]] du modèle complet de ADPN.</figcaption></figure>

La figure 4 donne les coefficients de régression PLS centrés-réduits (pour permettre les comparaisons ultérieures des méthodes) sous forme de barres horizontales.

<figure><img src="image_5.png" /><figcaption>**Figure 4 :** Coefficients de régression PLS centrés-réduits du modèle complet de ADPN.</figcaption></figure>
De façon simplifiée on dira que la figure 5 donne des indications sur la distance des observations
au modèle, dans l'espace des X et dans l'espace de Y. Par exemple, sur cette figure 5 le graphique
de gauche montre 4 observations dépassant le seuil au delà duquel SIMCA déclare les
observations mal reconstituées par le modèle.

<figure><img src="image_6.png" /><figcaption>**Figure 5 :** *Distances des observations au modèle complet de ADPN.*</figcaption></figure>

Enfin, la figure 6 donne des indications sur la capacité du modèle à reconstituer les données et surtout à prédire les données du jeu test. Sur le graphique de droite, apparaissent les 14 points du jeu test en gros carrés noirs.

<figure><img src="image_7.png" /><figcaption>**Figure 6 :** *Capacité de reconstitution et prédiction du modèle complet de ADPN.*</figcaption></figure>

## 6.2 Résultats des méthodes de sélection
Plutôt que de donner tous les graphiques relatifs à toutes les méthodes, ce qui rendrait fastidieux la lecture de ce document, on récapitulera les résultats à l'aide du tableau 2 où apparaissent également les résultats du modèle complet déjà exposés. Au tableau 3, sont consignés les résultats des méthodes basées sur les algorithmes génétiques, les méthodes GA et SR-GA. Enfin, la figure 7 montre l'évolution des deux critères $Q_{cum}^2$ et SDEP pour les méthodes BQ et BSDEP.

<table><caption>**Tableau 2 : Caractéristiques du modèle PLS obtenu pour chaque méthode, pour ADPN.**</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<br>D<br>M<br>O<br>D<br>X</th><th>N<br>D<br>M<br>O<br>D<br>X</th><th>R<br>D<br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>NONE</td><td>100</td><td>3</td><td>33</td><td>94</td><td>0.78</td><td>828</td><td>4.09</td><td>5</td><td>190</td><td>0.98</td><td>85</td><td>2.21</td></tr><tr><td>SR</td><td>45</td><td>2</td><td>44</td><td>75</td><td>0.62</td><td>148</td><td>2.85</td><td>5</td><td>442</td><td>2.09</td><td>73</td><td>2.72</td></tr><tr><td>SR-FMR</td><td>4</td><td>1</td><td>36</td><td>45</td><td>0.37</td><td>1.57</td><td>7.40</td><td>1</td><td>198</td><td>3.11</td><td>46</td><td>3.90</td></tr><tr><td>SR-BMR</td><td>23</td><td>2</td><td>50</td><td>68</td><td>0.54</td><td>654</td><td>5.67</td><td>3</td><td>196</td><td>2.38</td><td>73</td><td>2.91</td></tr><tr><td>SR-SMR</td><td>6</td><td>2</td><td>51</td><td>83</td><td>0.75</td><td>3.66</td><td>8.80</td><td>3</td><td>275</td><td>1.74</td><td>85</td><td>2.01</td></tr><tr><td>SR-BQ</td><td>32</td><td>2</td><td>43</td><td>78</td><td>0.64</td><td>128</td><td>2.54</td><td>4</td><td>635</td><td>1.94</td><td>88</td><td>2.73</td></tr><tr><td>SR-BSDEP</td><td>32</td><td>2</td><td>43</td><td>78</td><td>0.64</td><td>128</td><td>2.54</td><td>4</td><td>635</td><td>1.94</td><td>88</td><td>2.73</td></tr><tr><td>SR-VARC1</td><td>11</td><td>1</td><td>26</td><td>66</td><td>0.59</td><td>2.45</td><td>4.07</td><td>2</td><td>857</td><td>2.43</td><td>68</td><td>3.14</td></tr><tr><td>SR-VARC2</td><td>9</td><td>1</td><td>30</td><td>64</td><td>0.58</td><td>2.17</td><td>6.36</td><td>3</td><td>99</td><td>2.52</td><td>62</td><td>3.40</td></tr><tr><td>FMR</td><td>20</td><td>3</td><td>36</td><td>95</td><td>0.86</td><td>16.9</td><td>4.32</td><td>3</td><td>118</td><td>0.95</td><td>78</td><td>2.57</td></tr><tr><td>BMR</td><td colspan="12">méthode non applicable à ce jeu de données</td></tr><tr><td>SMR</td><td>17</td><td>3</td><td>41</td><td>93</td><td>0.85</td><td>26.1</td><td>4.27</td><td>2</td><td>397</td><td>1.07</td><td>73</td><td>2.75</td></tr><tr><td>BQ</td><td>13</td><td>2</td><td>46</td><td>85</td><td>0.80</td><td>1.672</td><td>4.45</td><td>3</td><td>54</td><td>1.60</td><td>71</td><td>2.84</td></tr><tr><td>BSDEP</td><td>15</td><td>2</td><td>44</td><td>84</td><td>0.77</td><td>1.46</td><td>3.76</td><td>3</td><td>488</td><td>1.64</td><td>80</td><td>2.31</td></tr><tr><td>VARC1</td><td>20</td><td>1</td><td>17</td><td>57</td><td>0.51</td><td>27.1</td><td>3.42</td><td>3</td><td>141</td><td>2.75</td><td>65</td><td>3.31</td></tr><tr><td>VARC2</td><td>23</td><td>1</td><td>16</td><td>55</td><td>0.47</td><td>276</td><td>2.93</td><td>3</td><td>1337</td><td>2.82</td><td>57</td><td>3.72</td></tr><tr><td>COR</td><td>83</td><td>3</td><td>38</td><td>92</td><td>0.78</td><td>317</td><td>4.04</td><td>6</td><td>112</td><td>1.19</td><td>80</td><td>2.49</td></tr><tr><td>BCOR</td><td>77</td><td>3</td><td>41</td><td>91</td><td>0.77</td><td>84</td><td>3.81</td><td>5</td><td>10849</td><td>1.24</td><td>82</td><td>2.29</td></tr><tr><td>RCOR</td><td>78</td><td>3</td><td>40</td><td>91</td><td>0.78</td><td>180</td><td>3.82</td><td>4</td><td>179</td><td>1.21</td><td>80</td><td>2.48</td></tr><tr><td>COEF5</td><td>66</td><td>3</td><td>36</td><td>95</td><td>0.84</td><td>20.9</td><td>4.78</td><td>5</td><td>47</td><td>0.94</td><td>87</td><td>2.06</td></tr><tr><td>RCOEF</td><td>89</td><td>3</td><td>34</td><td>94</td><td>0.79</td><td>415</td><td>4.19</td><td>4</td><td>109</td><td>0.99</td><td>84</td><td>2.32</td></tr><tr><td>CINT</td><td>93</td><td>3</td><td>32</td><td>95</td><td>0.78</td><td>47.9</td><td>3.65</td><td>6</td><td>1310</td><td>0.91</td><td>85</td><td>2.21</td></tr><tr><td>JACK</td><td>29</td><td>2</td><td>37</td><td>84</td><td>0.78</td><td>78.7</td><td>3.34</td><td>4</td><td>161</td><td>1.66</td><td>69</td><td>2.97</td></tr><tr><td>CV%</td><td>81</td><td>37</td><td>25</td><td>19</td><td>20</td><td>138</td><td>36</td><td>35</td><td>261</td><td>39</td><td>15</td><td>19</td></tr></tbody></table>

NB : Le coefficient de variation (écart-type/moyenne)×100 (CV%) figure pour chaque critère sur les tableaux 2 et 3. Il figurera également sur les tableaux correspondants des quatre autres jeux de données.
<table><caption>**Tableau 3 :** Caractéristiques des modèles PLS obtenus pour 9 essais de la méthode GA et pour 5 essais de la méthode SR-GA, pour ADPN.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<br>D<br>M<br>O<br>D<br>X</th><th>N<br>D<br>M<br>O<br>D<br>X</th><th>R<br>D<br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>GA1</td><td>30</td><td>3</td><td>33</td><td>95</td><td>0.82</td><td>1011</td><td>6.09</td><td>6</td><td>12532</td><td>0.91</td><td>93</td><td>1.51</td></tr><tr><td>GA2</td><td>29</td><td>3</td><td>23</td><td>91</td><td>0.75</td><td>34</td><td>4.11</td><td>3</td><td>84</td><td>1.22</td><td>86</td><td>2.04</td></tr><tr><td>GA3</td><td>27</td><td>3</td><td>37</td><td>96</td><td>0.90</td><td>55</td><td>3.53</td><td>2</td><td>480</td><td>0.84</td><td>89</td><td>1.80</td></tr><tr><td>GA4</td><td>34</td><td>3</td><td>27</td><td>92</td><td>0.81</td><td>80</td><td>2.81</td><td>2</td><td>66</td><td>1.17</td><td>87</td><td>1.84</td></tr><tr><td>GA5</td><td>29</td><td>3</td><td>23</td><td>91</td><td>0.75</td><td>84</td><td>3.17</td><td>2</td><td>281</td><td>1.23</td><td>82</td><td>2.18</td></tr><tr><td>GA6</td><td>21</td><td>3</td><td>26</td><td>92</td><td>0.81</td><td>26</td><td>3.42</td><td>5</td><td>80</td><td>1.20</td><td>80</td><td>2.51</td></tr><tr><td>GA7</td><td>27</td><td>3</td><td>24</td><td>91</td><td>0.78</td><td>58</td><td>3.02</td><td>1</td><td>58</td><td>1.25</td><td>83</td><td>2.11</td></tr><tr><td>GA8</td><td>39</td><td>3</td><td>21</td><td>94</td><td>0.81</td><td>605</td><td>4.58</td><td>5</td><td>107</td><td>1.00</td><td>83</td><td>2.50</td></tr><tr><td>GA9</td><td>38</td><td>3</td><td>29</td><td>95</td><td>0.79</td><td>362</td><td>3.77</td><td>3</td><td>36</td><td>0.89</td><td>88</td><td>1.83</td></tr><tr><td><b>CV%</b></td><td><b>19</b></td><td><b>0</b></td><td><b>19</b></td><td><b>2</b></td><td><b>6</b></td><td><b>134</b></td><td><b>26</b></td><td><b>53</b></td><td><b>271</b></td><td><b>15</b></td><td><b>5</b></td><td><b>16</b></td></tr><tr><td>SR-GA1</td><td>12</td><td>2</td><td>34</td><td>86</td><td>0.77</td><td>22</td><td>3.42</td><td>4</td><td>224</td><td>1.57</td><td>86</td><td>2.17</td></tr><tr><td>SR-GA2</td><td>20</td><td>2</td><td>33</td><td>86</td><td>0.72</td><td>174</td><td>2.71</td><td>3</td><td>28</td><td>1.53</td><td>86</td><td>2.10</td></tr><tr><td>SR-GA3</td><td>14</td><td>2</td><td>37</td><td>87</td><td>0.79</td><td>41</td><td>2.78</td><td>3</td><td>1263</td><td>1.48</td><td>88</td><td>1.80</td></tr><tr><td>SR-GA4</td><td>12</td><td>2</td><td>30</td><td>87</td><td>0.73</td><td>43</td><td>3.08</td><td>2</td><td>175</td><td>1.51</td><td>90</td><td>1.83</td></tr><tr><td>SR-GA5</td><td>18</td><td>2</td><td>34</td><td>87</td><td>0.71</td><td>32</td><td>2.91</td><td>3</td><td>225</td><td>1.49</td><td>71</td><td>3.05</td></tr><tr><td><b>CV%</b></td><td><b>24</b></td><td><b>0</b></td><td><b>7</b></td><td><b>0.6</b></td><td><b>5</b></td><td><b>101</b></td><td><b>10</b></td><td><b>24</b></td><td><b>130</b></td><td><b>2</b></td><td><b>9</b></td><td><b>23</b></td></tr></tbody></table>

NB : les méthodes GA et SR-GA sont initiées par une solution aléatoire ; en effet, on sait que le principe de ces méthodes d'optimisation stochastique est de réaliser plusieurs essais en changeant la solution aléatoire de départ. Pour la méthode GA dix essais ont été réalisés dont un a aboutit à une divergence (valeurs infinies de certains critères). Cinq ont été réalisés pour la méthode SR-GA. Ces nombres peuvent paraître faibles mais ils représentent déjà (avec l'optimisation préalable des réglages de l'algorithmes) des temps calcul considérables, soit un temps moyen d'environ 100 fois plus long que le temps moyen des autres méthodes.
<figure><img src="image_8.png" /><figcaption>Figure 7 : Graphiques d'évolution des critères $Q_{cum}^2$ et SDEP (méthodes BQ et BSDEP) pour ADPN.</figcaption></figure>

## 6.3 Analyse des résultats

### Structure de corrélation des critères

On peut synthétiser cette structure de corrélation des critères par le plan [1,2] des « loadings » d'une ACP à deux composantes retenues par validation croisée (64 % d'inertie), réalisée sur la fusion des tableaux 2 et 3. Ce plan apparaît en figure 8.
<figure><img src="image_9.png" /><figcaption>**Figure 8 :** Plan [1,2] des « loadings » de l'ACP pour ADPN.</figcaption></figure>

On perçoit nettement sur la figure 8 :

- le groupe constitué par les critères *h*, $RT_{o,p}^2$, $RY_{h,adj}^2$, $Q_{cum}^2$ très corrélés entre eux, qui s'oppose à *LSE* et *SDEP*,

- le groupe constitué par les critères *pf*, *NDMODX*, *RDMODY*, $C_{max}$ orthogonal au groupes précédent.

Compte tenu de l'objectif de cette étude, les critères à privilégier sont $pf$ et $Q_{cum}^2$ ; on cherche à obtenir des valeurs faibles de $pf$ et des valeurs les plus proches possibles de 1 pour $Q_{cum}^2$. La figure 8 nous laisse à penser que cette solution est accessible.

## Regroupement des méthodes

Examinons maintenant le graphique de la figure 9 où sont positionnées les différentes méthodes de sélection dans l'espace des critères $pf$ et $Q_{cum}^2$. On privilégie en effet ce graphique plutôt que celui du plan factoriel de l'ACP car, comme on l'a souligné ci-dessus, ces deux critères sont prioritaires.
<figure><img src="image_10.png" /><figcaption>Figure 9 : graphique [$p_f$, $Q_{cum}^2$] pour ADPN.</figcaption></figure>

Sur cette figure 9, l'ensemble 1 regroupe les méthodes intéressantes conduisant à des $p_f$ faibles et des $Q_{cum}^2$ forts ; on les appellera par la suite méthodes candidates. On observe que les méthodes GA et SR-GA sont dans cet ensemble 1.

## Evolution des critères $Q_{cum}^2$ et SDEP

On donne en figure 7 les graphiques d'évolution des critères $Q_{cum}^2$ et SDEP pour les méthodes BQ et BSDEP. Il est tout à fait instructif d'observer un maximum pour la courbe du $Q_{cum}^2$ : cette observation confirme l'hypothèse que le $Q_{cum}^2$ peut s'améliorer quand le nombre de variables diminue, c'est-à-dire en fait quand on élimine des variables qui n'apportent probablement que du bruit. En outre, la figure 7 fait apparaître des optima qui se correspondent à une variable près. On confirmera ce comportement avec les autres jeux de données.
## Variabilité des solutions des méthodes GA et SR-GA

Ces méthodes conduisent à des solutions extrêmement variables comme le résume le coefficient de variation de chacun des critères indiqué au tableau 3.

# 7. Etude du jeu de données LATEX

## 7.1 Le modèle PLS complet

Le modèle PLS complet, avec les 117 variables et les 210 observations, s'appuie sur 2 composantes PLS significatives $t_1$ et $t_2$. La valeur des caractéristiques apparaissant au tableau 4, indique que ce modèle est acceptable.

<table><caption>Tableau 4 : Caractéristiques du modèle PLS complet de LATEX.</caption><thead><tr><td>Caractéristique</td><td>Valeur</td></tr></thead><tbody><tr><td>$p_f$</td><td>117</td></tr><tr><td>$h$</td><td>2</td></tr><tr><td>$RX^2$ (%)</td><td>22</td></tr><tr><td>$RY^2_{adj}$ (%)</td><td>71</td></tr><tr><td>$Q^2_{cum}$</td><td>0.65</td></tr><tr><td>$C_{max}$</td><td>236</td></tr><tr><td>$RDMODX$</td><td>4.82</td></tr><tr><td>$NDMODX$</td><td>34</td></tr><tr><td>$RDMODY$</td><td>4796</td></tr><tr><td>$LSE$</td><td>0.61</td></tr><tr><td>$RT^2_{o,p}$</td><td>0.55</td></tr><tr><td>$SDEP$</td><td>1.27</td></tr></tbody></table>

Comme pour le jeu précédent, on trouve ci-après quelques graphiques illustratifs.
<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /><figcaption>Figure 10 : Graphiques [ t₁, t₂ ] et [w*c[1], w*c[2]] du modèle complet de LATEX.</figcaption></figure>

<figure><img src="image_13.png" /></figure>

<figure><img src="image_14.png" /><figcaption>Figure 11 : Graphiques [ u₁, t₁] et [ u₂, t₂] du modèle complet de LATEX.</figcaption></figure>

La figure 12 donne les coefficients de régression PLS centrés-réduits sous forme de barre
horizontale. La présence de très faibles coefficients (en valeur absolue) nous incite encore à faire
de la sélection de variables.
<figure><img src="image_15.png" /><figcaption>**Figure 12 :** Coefficients de régression PLS centrés-réduits du modèle complet de LATEX.</figcaption></figure>

<figure><img src="image_16.png" /><figcaption>**Figure 13 :** Distances des observations au modèle complet de LATEX.</figcaption></figure>
<figure><img src="image_17.png" /><figcaption>Figure 14 : Capacités de reconstitution et prédiction du modèle complet de LATEX.</figcaption></figure>
## 7.2 Résultats des méthodes de sélection

On récapitule au tableaux 5 et 6 les résultats des méthodes de sélection.

<table><caption>Tableau 5 : Caractéristiques du modèle PLS obtenu pour chaque méthode, pour LATEX.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<br>D<br>M<br>O<br>D<br>X</th><th>N<br>D<br>M<br>O<br>D<br>X</th><th>R<br>D<br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>NONE</td><td>117</td><td>2</td><td>22</td><td>71</td><td>0.65</td><td>234</td><td>6.34</td><td>34</td><td>5098</td><td>0.61</td><td>55</td><td>0.66</td></tr><tr><td>SR</td><td>63</td><td>2</td><td>36</td><td>66</td><td>0.63</td><td>348</td><td>5.86</td><td>40</td><td>464</td><td>0.67</td><td>49</td><td>0.70</td></tr><tr><td>SR-FMR</td><td>16</td><td>2</td><td>28</td><td>73</td><td>0.68</td><td>173</td><td>6.33</td><td>20</td><td>2675</td><td>0.59</td><td>66</td><td>0.56</td></tr><tr><td>SR-BMR</td><td>26</td><td>2</td><td>42</td><td>62</td><td>0.59</td><td>31</td><td>9.30</td><td>23</td><td>1654</td><td>0.70</td><td>44</td><td>0.75</td></tr><tr><td>SR-SMR</td><td>15</td><td>2</td><td>37</td><td>68</td><td>0.64</td><td>63</td><td>5.08</td><td>17</td><td>2062</td><td>0.64</td><td>57</td><td>0.64</td></tr><tr><td>SR-BQ</td><td>11</td><td>2</td><td>52</td><td>71</td><td>0.70</td><td>8</td><td>9.56</td><td>12</td><td>1492</td><td>0.62</td><td>52</td><td>0.70</td></tr><tr><td>SR-BSDEP</td><td>13</td><td>2</td><td>49</td><td>70</td><td>0.67</td><td>15</td><td>11</td><td>13</td><td>1351</td><td>0.63</td><td>57</td><td>0.66</td></tr><tr><td>SR-VARC1</td><td>15</td><td>2</td><td>31</td><td>68</td><td>0.65</td><td>6</td><td>7.44</td><td>21</td><td>1103</td><td>0.64</td><td>42</td><td>0.32</td></tr><tr><td>SR-VARC2</td><td>14</td><td>1</td><td>19</td><td>62</td><td>0.60</td><td>4</td><td>6.21</td><td>19</td><td>2012</td><td>0.71</td><td>50</td><td>0.32</td></tr><tr><td>FMR</td><td>19</td><td>2</td><td>31</td><td>70</td><td>0.66</td><td>8</td><td>5.05</td><td>26</td><td>2933</td><td>0.62</td><td>50</td><td>0.68</td></tr><tr><td>BMR</td><td>27</td><td>2</td><td>29</td><td>64</td><td>0.58</td><td>33</td><td>11.22</td><td>16</td><td>680</td><td>0.69</td><td>46</td><td>0.72</td></tr><tr><td>SMR</td><td>18</td><td>2</td><td>33</td><td>70</td><td>0.65</td><td>210</td><td>5.42</td><td>24</td><td>191</td><td>0.63</td><td>47</td><td>0.72</td></tr><tr><td>BQ</td><td>24</td><td>2</td><td>39</td><td>72</td><td>0.70</td><td>3</td><td>5.95</td><td>20</td><td>646</td><td>0.60</td><td>60</td><td>0.62</td></tr><tr><td>BSDEP</td><td>24</td><td>2</td><td>39</td><td>72</td><td>0.70</td><td>3</td><td>5.95</td><td>20</td><td>646</td><td>0.60</td><td>60</td><td>0.62</td></tr><tr><td>VARC1</td><td>23</td><td>2</td><td>26</td><td>58</td><td>0.51</td><td>30</td><td>6</td><td>23</td><td>370</td><td>0.74</td><td>50</td><td>0.68</td></tr><tr><td>VARC2</td><td>37</td><td>2</td><td>18</td><td>66</td><td>0.56</td><td>513</td><td>6</td><td>23</td><td>48207</td><td>0.66</td><td>56</td><td>0.64</td></tr><tr><td>COR</td><td>100</td><td>2</td><td>26</td><td>69</td><td>0.64</td><td>87</td><td>6.25</td><td>33</td><td>1295</td><td>0.63</td><td>55</td><td>0.65</td></tr><tr><td>BCOR</td><td>101</td><td>2</td><td>26</td><td>69</td><td>0.64</td><td>109</td><td>6.63</td><td>33</td><td>1050</td><td>0.63</td><td>55</td><td>0.66</td></tr><tr><td>RCOR</td><td>89</td><td>2</td><td>29</td><td>69</td><td>0.32</td><td>183</td><td>5.75</td><td>34</td><td>91</td><td>0.63</td><td>54</td><td>0.67</td></tr><tr><td>COEF5</td><td>54</td><td>2</td><td>28</td><td>72</td><td>0.68</td><td>13</td><td>5.37</td><td>27</td><td>602</td><td>0.61</td><td>58</td><td>0.64</td></tr><tr><td>RCOEF</td><td>106</td><td>2</td><td>23</td><td>71</td><td>0.66</td><td>125</td><td>6.55</td><td>29</td><td>540</td><td>0.61</td><td>55</td><td>0.65</td></tr><tr><td>CINT</td><td>112</td><td>2</td><td>22</td><td>71</td><td>0.65</td><td>90</td><td>5.88</td><td>30</td><td>762</td><td>0.61</td><td>55</td><td>0.65</td></tr><tr><td>JACK</td><td>53</td><td>2</td><td>30</td><td>72</td><td>0.69</td><td>154</td><td>4.33</td><td>32</td><td>4254</td><td>0.60</td><td>51</td><td>0.70</td></tr><tr><td>CV%</td><td>80</td><td>11</td><td>28</td><td>6</td><td>396</td><td>121</td><td>27</td><td>30</td><td>282</td><td>6</td><td>11</td><td>17</td></tr></tbody></table>

<table><tr><td></td><td></td><td></td><td></td><td></td><td></td><td>R<br>D<br>M</td><td>N<br>D<br>M</td><td>R<br>D<br>M</td></tr></table>
<table><caption>Tableau 6 : Caractéristiques des modèles PLS obtenus pour 10 essais de la méthode GA et pour 4 essais de la méthode SR-GA, pour LATEX.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>O<sub>D</sub><br>X</th><th>O<sub>D</sub><br>X</th><th>O<sub>D</sub><br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>GA1</td><td>20</td><td>2</td><td>20</td><td>80</td><td>0.75</td><td>178</td><td>5.70</td><td>20</td><td>265</td><td>0.51</td><td>70</td><td>0.53</td></tr><tr><td>GA2</td><td>16</td><td>2</td><td>22</td><td>80</td><td>0.75</td><td>22</td><td>9.00</td><td>21</td><td>1196</td><td>0.51</td><td>67</td><td>0.56</td></tr><tr><td>GA3</td><td>14</td><td>2</td><td>21</td><td>80</td><td>0.76</td><td>252</td><td>9.28</td><td>19</td><td>1021</td><td>0.51</td><td>74</td><td>0.49</td></tr><tr><td>GA4</td><td>27</td><td>2</td><td>17</td><td>81</td><td>0.75</td><td>338</td><td>6.95</td><td>27</td><td>5827</td><td>0.50</td><td>75</td><td>0.48</td></tr><tr><td>GA5</td><td>16</td><td>2</td><td>24</td><td>80</td><td>0.75</td><td>37</td><td>9.36</td><td>17</td><td>507</td><td>0.51</td><td>67</td><td>0.56</td></tr><tr><td>GA6</td><td>17</td><td>2</td><td>23</td><td>80</td><td>0.76</td><td>15</td><td>9.54</td><td>22</td><td>281</td><td>0.51</td><td>71</td><td>0.52</td></tr><tr><td>GA7</td><td>20</td><td>2</td><td>25</td><td>73</td><td>0.67</td><td>56</td><td>8.23</td><td>17</td><td>696</td><td>0.59</td><td>61</td><td>0.61</td></tr><tr><td>GA8</td><td>14</td><td>2</td><td>23</td><td>80</td><td>0.76</td><td>17</td><td>8.64</td><td>18</td><td>817</td><td>0.51</td><td>73</td><td>0.50</td></tr><tr><td>GA9</td><td>16</td><td>2</td><td>21</td><td>81</td><td>0.75</td><td>153</td><td>7.26</td><td>23</td><td>1380</td><td>0.50</td><td>72</td><td>0.52</td></tr><tr><td>GA10</td><td>10</td><td>2</td><td>26</td><td>79</td><td>0.76</td><td>16</td><td>17.24</td><td>18</td><td>2261</td><td>0.52</td><td>70</td><td>0.53</td></tr><tr><td><strong>CV%</strong></td><td><strong>27</strong></td><td><strong>0</strong></td><td><strong>12</strong></td><td><strong>3</strong></td><td><strong>4</strong></td><td><strong>107</strong></td><td><strong>34</strong></td><td><strong>16</strong></td><td><strong>116</strong></td><td><strong>5</strong></td><td><strong>6</strong></td><td><strong>7</strong></td></tr><tr><td>SR-GA1</td><td>12</td><td>2</td><td>29</td><td>77</td><td>0.73</td><td>14</td><td>10</td><td>17</td><td>8188</td><td>0.55</td><td>70</td><td>0.54</td></tr><tr><td>SR-GA2</td><td>10</td><td>1</td><td>17</td><td>75</td><td>0.73</td><td>5</td><td>7</td><td>16</td><td>1711</td><td>0.57</td><td>59</td><td>0.63</td></tr><tr><td>SR-GA3</td><td>13</td><td>2</td><td>29</td><td>77</td><td>0.73</td><td>18</td><td>9</td><td>16</td><td>3056</td><td>0.55</td><td>59</td><td>0.65</td></tr><tr><td>SR-GA4</td><td>12</td><td>1</td><td>19</td><td>75</td><td>0.73</td><td>5</td><td>10</td><td>16</td><td>842</td><td>0.58</td><td>76</td><td>0.32</td></tr><tr><td><strong>CV%</strong></td><td><strong>11</strong></td><td><strong>38</strong></td><td><strong>27</strong></td><td><strong>2</strong></td><td><strong>0</strong></td><td><strong>62</strong></td><td><strong>16</strong></td><td><strong>3</strong></td><td><strong>95</strong></td><td><strong>3</strong></td><td><strong>13</strong></td><td><strong>28</strong></td></tr></tbody></table>

On donne en figure 15 les graphiques d'évolution des critères $Q_{cum}^2$ et SDEP en fonction du nombre de variables explicatives pour les méthodes BQ et BSDEP.
<figure><img src="image_18.png" /><figcaption>Figure 15 : Graphiques d'évolution des critères $Q_{cum}^2$ et SDEP (méthodes BQ et BSDEP) pour LATEX.</figcaption></figure>
## 7.3 Analyse des résultats

### Structure de corrélation des critères

On obtient maintenant le plan [1,2] des « loadings » de la figure 16.

<figure><img src="image_19.png" /><figcaption>Figure 16 : Plan [1,2] des « loadings » de l'ACP pour LATEX.</figcaption></figure>

La structure de corrélation des critères diffère assez peu pour LATEX par rapport à celle du jeu de données précédent, si ce n'est que *h* et $Q_{cum}^2$ s'expriment maintenant plutôt selon une troisième dimension.

### Regroupement des méthodes

Il apparaît sur la figure 17. L'ensemble 3 est à peu près le même que pour ADPN. Dans l'ensemble candidat les méthodes communes à ADPN et LATEX sont les GA et SR-GA, et SR-SMR, SMR, FMR, BQ, BSDEP.
<figure><img src="image_20.png" /><figcaption>Figure 17 : graphique [$p_f$, $Q_{cum}^2$] pour LATEX.</figcaption></figure>

## Evolution des critères $Q_{cum}^2$ et SDEP

On retrouve les mêmes allures pour ces courbes d'évolution (figure 15) que dans le cas de ADPN. Là encore, les optima se correspondent presque exactement.

## Variabilité des solutions des méthodes GA et SR-GA

Pour la méthode SR-GA on remarque la constance du $Q_{cum}^2$ mais qui n'empêche pas une grande variabilité du SDEP.
# 8. Etude du jeu de données OXY

## 8.1 Le modèle PLS complet

Le modèle PLS complet, avec 95 variables et 20 observations, s'appuie sur 3 composantes PLS significatives $t_1, t_2, t_3$. La valeur des caractéristiques apparaissant au tableau 7 indique que ce modèle est acceptable.

<table><caption>Tableau 7 : Caractéristiques du modèle PLS complet de OXY.</caption><thead><tr><td>Caractéristique</td><td>Valeur</td></tr></thead><tbody><tr><td>$p_f$</td><td>95</td></tr><tr><td>$h$</td><td>3</td></tr><tr><td>$RX^2$ (%)</td><td>54</td></tr><tr><td>$RY^2_{adj}$ (%)</td><td>87</td></tr><tr><td>$Q^2_{cum}$</td><td>0.65</td></tr><tr><td>$C_{max}$</td><td>164</td></tr><tr><td>$RDMODX$</td><td>2.29</td></tr><tr><td>$NDMODX$</td><td>3</td></tr><tr><td>$RDMODY$</td><td>125</td></tr><tr><td>$LSE$</td><td>0.24</td></tr><tr><td>$RT^2_{o,p}$</td><td>0.94</td></tr><tr><td>$SDEP$</td><td>0.63</td></tr></tbody></table>

Comme pour les jeux précédents, on trouve ci-après quelques graphiques illustratifs.

<figure><img src="image_21.png" /><figcaption>Figure 18 : Graphiques [$t_1, t_2$] et [$t_1, t_3$] du modèle complet de OXY.</figcaption></figure>
<figure><img src="image_22.png" /><figcaption>Figure 19 : Graphiques [ u₁, t₁ ], [ u₂, t₂ ], [ u₃, t₃ ] du modèle complet de OXY.</figcaption></figure>

<figure><img src="image_23.png" /><figcaption>Figure 20 : Graphiques [w*c[1], w*c[2]] et [w*c[1], w*c[3]] du modèle complet de OXY.</figcaption></figure>
<figure><img src="image_24.png" /><figcaption>Figure 20 : Coefficients de régression PLS centrés-réduits du modèle complet de OXY.</figcaption></figure>

<figure><img src="image_25.png" /><figcaption>Figure 21 : Distances des observations au modèle complet du jeu OXY.</figcaption></figure>
<figure><img src="image_26.png" /><figcaption>**Figure 22 : Capacités de reconstitution et prédiction du modèle complet sur le jeu OXY.**</figcaption></figure>
## 8.2 Résultats des méthodes de sélection

On récapitule au tableaux 8 et 9 les résultats des méthodes de sélection.

<table><caption>Tableau 8 : Caractéristiques du modèle PLS obtenu pour chaque méthode, pour OXY.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<sub>D</sub><br>M<br>O<br>D<br>X</th><th>N<sub>D</sub><br>M<br>O<br>D<br>X</th><th>R<sub>D</sub><br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>NONE</td><td>95</td><td>3</td><td>54</td><td>87</td><td>0.65</td><td>164</td><td>2.29</td><td>3</td><td>125</td><td>0.24</td><td>94</td><td>0.63</td></tr><tr><td>SR</td><td>16</td><td>2</td><td>70</td><td>66</td><td>0.48</td><td>76</td><td>3.98</td><td>1</td><td>23</td><td>0.41</td><td>33</td><td>0.90</td></tr><tr><td>SR-FMR</td><td>2</td><td>1</td><td>70</td><td>61</td><td>0.54</td><td>1.09</td><td>29.1</td><td>1</td><td>32</td><td>0.44</td><td>25</td><td>1.00</td></tr><tr><td>SR-BMR</td><td>9</td><td>1</td><td>65</td><td>45</td><td>0.41</td><td>1.5</td><td>4.09</td><td>0</td><td>46</td><td>0.53</td><td>1*</td><td>1.28</td></tr><tr><td>SR-SMR</td><td>2</td><td>1</td><td>70</td><td>61</td><td>0.54</td><td>1</td><td>29.10</td><td>1</td><td>32</td><td>0.44</td><td>25</td><td>1.00</td></tr><tr><td>SR-BQ</td><td>3</td><td>1</td><td>69</td><td>64</td><td>0.59</td><td>1</td><td>12.7</td><td>1</td><td>100</td><td>0.43</td><td>20</td><td>1.10</td></tr><tr><td>SR-BSDEP</td><td>9</td><td>2</td><td>75</td><td>66</td><td>0.53</td><td>47</td><td>7.1</td><td>1</td><td>88</td><td>0.40</td><td>57</td><td>1.40</td></tr><tr><td>SR-VARC1</td><td>3</td><td>1</td><td>59</td><td>57</td><td>0.48</td><td>1</td><td>15</td><td>0</td><td>22</td><td>0.47</td><td>51</td><td>1.18</td></tr><tr><td>SR-VARC2</td><td>4</td><td>1</td><td>53</td><td>59</td><td>0.55</td><td>1</td><td>4</td><td>0</td><td>71</td><td>0.46</td><td>36</td><td>0.70</td></tr><tr><td>FMR</td><td>5</td><td>2</td><td>63</td><td>84</td><td>0.75</td><td>3</td><td>12.31</td><td>1</td><td>10</td><td>0.28</td><td>96</td><td>1.01</td></tr><tr><td>BMR</td><td colspan="12">méthode non applicable à ce jeu de données</td></tr><tr><td>SMR</td><td>5</td><td>2</td><td>63</td><td>84</td><td>0.75</td><td>3</td><td>12.3</td><td>1</td><td>10</td><td>0.28</td><td>96</td><td>1.01</td></tr><tr><td>BQ</td><td>12</td><td>2</td><td>50</td><td>85</td><td>0.77</td><td>2</td><td>3.6</td><td>0</td><td>138</td><td>0.27</td><td>88</td><td>0.67</td></tr><tr><td>BSDEP</td><td>29</td><td>2</td><td>46</td><td>81</td><td>0.73</td><td>3</td><td>3.42</td><td>1</td><td>146</td><td>0.30</td><td>98</td><td>0.22</td></tr><tr><td>VARC1</td><td>18</td><td>3</td><td>45</td><td>83</td><td>0.23</td><td>35</td><td>3.6</td><td>1</td><td>59</td><td>0.28</td><td>9</td><td>1.32</td></tr><tr><td>VARC2</td><td>16</td><td>2</td><td>48</td><td>58</td><td>0.28</td><td>10</td><td>2.9</td><td>2</td><td>123</td><td>0.45</td><td>80</td><td>0.88</td></tr><tr><td>COR</td><td>79</td><td>3</td><td>63</td><td>84</td><td>0.66</td><td>77</td><td>2.2</td><td>2</td><td>32</td><td>0.27</td><td>92</td><td>0.89</td></tr><tr><td>BCOR</td><td>73</td><td>3</td><td>68</td><td>83</td><td>0.66</td><td>285</td><td>2.5</td><td>1</td><td>23</td><td>0.28</td><td>95</td><td>0.99</td></tr><tr><td>RCOR</td><td>60</td><td>3</td><td>71</td><td>83</td><td>0.69</td><td>158</td><td>2.3</td><td>2</td><td>39</td><td>0.28</td><td>94</td><td>1.20</td></tr><tr><td>COEF5</td><td>58</td><td>3</td><td>54</td><td>87</td><td>0.73</td><td>8</td><td>2.4</td><td>2</td><td>51</td><td>0.24</td><td>98</td><td>0.41</td></tr><tr><td>RCOEF</td><td>72</td><td>3</td><td>55</td><td>89</td><td>0.72</td><td>136</td><td>2.4</td><td>2</td><td>2038</td><td>0.23</td><td>97</td><td>0.55</td></tr><tr><td>CINT</td><td>90</td><td>3</td><td>55</td><td>88</td><td>0.67</td><td>45</td><td>2.3</td><td>3</td><td>14283</td><td>0.24</td><td>95</td><td>0.62</td></tr><tr><td>JACK</td><td>21</td><td>2</td><td>62</td><td>82</td><td>0.77</td><td>9</td><td>2.4</td><td>0</td><td>115</td><td>0.29</td><td>97</td><td>0.54</td></tr><tr><td>CV%</td><td>105</td><td>39</td><td>15</td><td>18</td><td>26</td><td>154</td><td>110</td><td>77</td><td>380</td><td>28</td><td>52</td><td>35</td></tr></tbody></table>

<footnote>* cette valeur n'est pas une erreur ; en effet sur les 5 points du jeu test un seul point mal placé peut suffire à perturber beaucoup les différentes caractéristiques de ce jeu test.</footnote>
<table><caption>**Tableau 9 :** Caractéristiques des modèles PLS obtenus pour 9 essais de la méthode GA et pour 5 essais de la méthode SR-GA, pour OXY.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<br>D<br>M<br>O<br>D<br>X</th><th>N<br>D<br>M<br>O<br>D<br>X</th><th>R<br>D<br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>GA1</td><td>17</td><td>3</td><td>64</td><td>98</td><td>0.83</td><td>8</td><td>3.89</td><td>1</td><td>61</td><td>0.10</td><td>28</td><td>1.24</td></tr><tr><td>GA2</td><td>16</td><td>3</td><td>60</td><td>97</td><td>0.72</td><td>9</td><td>3.86</td><td>1</td><td>460</td><td>0.12</td><td>30</td><td>1.55</td></tr><tr><td>GA3</td><td>21</td><td>3</td><td>58</td><td>97</td><td>0.67</td><td>22</td><td>3.95</td><td>1</td><td>13</td><td>0.12</td><td>21</td><td>1.29</td></tr><tr><td>GA4</td><td>18</td><td>3</td><td>70</td><td>98</td><td>0.87</td><td>8</td><td>2.82</td><td>0</td><td>34</td><td>0.10</td><td>66</td><td>1.98</td></tr><tr><td>GA5</td><td>15</td><td>3</td><td>68</td><td>98</td><td>0.86</td><td>7</td><td>2.92</td><td>0</td><td>51</td><td>0.10</td><td>69</td><td>0.92</td></tr><tr><td>GA6</td><td>14</td><td>3</td><td>62</td><td>97</td><td>0.71</td><td>296</td><td>2.58</td><td>0</td><td>279</td><td>0.13</td><td>63</td><td>1.10</td></tr><tr><td>GA7</td><td>20</td><td>3</td><td>68</td><td>91</td><td>0.74</td><td>129</td><td>2.59</td><td>0</td><td>14</td><td>0.19</td><td>70</td><td>0.59</td></tr><tr><td>GA8</td><td>17</td><td>3</td><td>63</td><td>97</td><td>0.87</td><td>72</td><td>3.87</td><td>1</td><td>83</td><td>0.12</td><td>73</td><td>2.22</td></tr><tr><td>GA9</td><td>18</td><td>3</td><td>61</td><td>98</td><td>0.72</td><td>38</td><td>3.15</td><td>1</td><td>34</td><td>0.11</td><td>57</td><td>0.61</td></tr><tr><td><strong>CV%</strong></td><td><strong>13</strong></td><td><strong>0</strong></td><td><strong>6</strong></td><td><strong>2</strong></td><td><strong>10</strong></td><td><strong>146</strong></td><td><strong>18</strong></td><td><strong>95</strong></td><td><strong>134</strong></td><td><strong>23</strong></td><td><strong>39</strong></td><td><strong>44</strong></td></tr><tr><td>SR-GA1</td><td>8</td><td>1</td><td>59</td><td>52</td><td>0.41</td><td>1.50</td><td>4.79</td><td>0</td><td>35</td><td>0.49</td><td>0.01</td><td>1.49</td></tr><tr><td>SR-GA2</td><td>8</td><td>1</td><td>59</td><td>52</td><td>0.41</td><td>1.50</td><td>4.79</td><td>0</td><td>35</td><td>0.49</td><td>0.01</td><td>1.49</td></tr><tr><td>SR-GA3</td><td>5</td><td>1</td><td>57</td><td>62</td><td>0.53</td><td>1.44</td><td>5.38</td><td>0</td><td>32</td><td>0.44</td><td>7</td><td>1.44</td></tr><tr><td>SR-GA4</td><td>5</td><td>1</td><td>57</td><td>62</td><td>0.53</td><td>1.44</td><td>5.38</td><td>0</td><td>32</td><td>0.44</td><td>7</td><td>1.44</td></tr><tr><td>SR-GA5</td><td>5</td><td>1</td><td>57</td><td>62</td><td>0.53</td><td>1.44</td><td>5.38</td><td>0</td><td>32</td><td>0.44</td><td>7</td><td>1.44</td></tr><tr><td><strong>CV%</strong></td><td><strong>24</strong></td><td><strong>0</strong></td><td><strong>2</strong></td><td><strong>10</strong></td><td><strong>14</strong></td><td><strong>2</strong></td><td><strong>6</strong></td><td><strong>0</strong></td><td><strong>5</strong></td><td><strong>6</strong></td><td><strong>97</strong></td><td><strong>2</strong></td></tr></tbody></table>

On donne en figure 23 les graphiques d'évolution des critères $Q_{cum}^2$ et SDEP.
<figure><img src="image_27.png" /><figcaption>Figure 23 : Graphiques d'évolution des critères $Q_{cum}^2$ et SDEP (méthodes BQ et BSDEP) pour OXY.</figcaption></figure>
## 8.3 Analyse des résultats

### Structure de corrélation des critères

On obtient maintenant le plan [1,2] des « loadings » de la figure 24.

<figure><img src="image_28.png" /><figcaption>Figure 24 : Plan [1,2] des « loadings » de l'ACP pour OXY.</figcaption></figure>

La structure de corrélation des critères reste, pour l'essentiel, assez proche de celles des deux jeux de données précédents. On remarque toutefois la différence de comportement du critère SDEP ce qui s'explique facilement par la taille particulièrement réduite du jeu test, et donc pour lequel quelques observations un peu éloignées des autres peuvent suffire à influencer beaucoup le critère comme on peut le constater sur le graphique de droite de la figure 22.

### Regroupement des méthodes
Il apparaît sur la figure 25. L'ensemble 3 est à peu près le même que pour ADPN et LATEX. Dans l'ensemble candidat les méthodes communes à ADPN, LATEX et OXY sont les GA, SMR, FMR, BQ, BSDEP. On note que la méthode SR-GA n'est plus maintenant dans l'ensemble candidat 1.

<figure><img src="image_29.png" /><figcaption>Figure 25 :graphique [$p_f$, $Q_{cum}^2$] pour OXY.</figcaption></figure>

## Evolution des critères $Q_{cum}^2$ et SDEP

La courbe du $Q_{cum}^2$ présente un maximum pour 12 variables qui ne correspond pas cette fois-ci à un minimum de la courbe du SDEP. On peut en trouver la raison dans la remarque faite plus haut au sujet de la taille du jeu test.
## Variabilité des solutions des méthodes GA et SR-GA

Il est intéressant de noter que, pour ce jeu de données, les valeurs de $Q_{cum}^2$ pour les essais de SR-GA sont beaucoup plus faibles que celles du $Q_{cum}^2$ issues des essais de la méthode GA. Par ailleurs, on retrouve pour celle-ci une variabilité importante sur le critère $p_f$.

# 9. Etude du jeu de données SPIRA

## 9.1 Le modèle PLS complet

Le modèle PLS complet, avec les 96 variables et 115 observations, s'appuie sur 2 composantes PLS significatives $t_1, t_2$. La valeur des caractéristiques de ce modèle apparaissent au tableau 10.

<table><caption>Tableau 10 : Caractéristiques du modèle PLS complet sur le jeu SPIRA.</caption><thead><tr><td>Caractéristique</td><td>Valeur</td></tr></thead><tbody><tr><td>P<sub>f</sub></td><td>96</td></tr><tr><td>h</td><td>2</td></tr><tr><td>RX<sup>2</sup> (%)</td><td>26</td></tr><tr><td>RY<sup>2</sup><sub>adj</sub> (%)</td><td>56</td></tr><tr><td>Q<sup>2</sup><sub>cum</sub></td><td>0.37</td></tr><tr><td>C<sub>max</sub></td><td>965</td></tr><tr><td>RDMODX</td><td>2.91</td></tr><tr><td>NDMODX</td><td>22</td></tr><tr><td>RDMODY</td><td>211</td></tr><tr><td>LSE</td><td>0.20</td></tr><tr><td>RT<sup>2</sup><sub>o,p</sub></td><td>66</td></tr><tr><td>SDEP</td><td>0.15</td></tr></tbody></table>

On trouve ci-après quelques graphiques illustratifs.
<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /><figcaption>Figure 25 : Graphiques [ t₁, t₂ ] et [w*c[1], w*c[2]] du modèle complet de SPIRA.</figcaption></figure>

<figure><img src="image_32.png" /></figure>

<figure><img src="image_33.png" /><figcaption>Figure 26 : Graphiques [ u₁, t₁ ] et [ u₂, t₂ ] du modèle complet de SPIRA.</figcaption></figure>
<figure><img src="image_34.png" /><figcaption>Figure 27 : Coefficients de régression PLS centrés-réduits du modèle complet de SPIRA.</figcaption></figure>

<figure><img src="image_35.png" /><figcaption>Figure 28 : Distances des observations au modèle complet de SPIRA.</figcaption></figure>
<figure><img src="image_36.png" /><figcaption>Figure 29 : Capacités de reconstitution et prédiction du modèle complet de SPIRA.</figcaption></figure>
## 9.2 Résultats des méthodes de sélection

On récapitule au tableaux 11 et 12 les résultats des méthodes de sélection.

<table><caption>Tableau 11 : Caractéristiques du modèle PLS obtenu pour chaque méthode, pour SPIRA.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<br>D<br>M<br>O<br>D<br>X</th><th>N<br>D<br>M<br>O<br>D<br>X</th><th>R<br>D<br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>NONE</td><td>96</td><td>2</td><td>26</td><td>56</td><td>0.37</td><td>965</td><td>2.91</td><td>22</td><td>211</td><td>0.20</td><td>66</td><td>0.15</td></tr><tr><td>SR</td><td>47</td><td>2</td><td>32</td><td>57</td><td>0.41</td><td>257</td><td>3.29</td><td>19</td><td>1624</td><td>0.20</td><td>51</td><td>0.19</td></tr><tr><td>SR-FMR</td><td>3</td><td>2</td><td>79</td><td>51</td><td>0.50</td><td>2</td><td>317</td><td>5</td><td>5376</td><td>0.21</td><td>59</td><td>0.17</td></tr><tr><td>SR-BMR</td><td>13</td><td>2</td><td>40</td><td>57</td><td>0.45</td><td>13</td><td>5.62</td><td>10</td><td>1850</td><td>0.20</td><td>30</td><td>0.25</td></tr><tr><td>SR-SMR</td><td>3</td><td>2</td><td>79</td><td>51</td><td>0.50</td><td>2</td><td>317</td><td>5</td><td>5376</td><td>0.21</td><td>59</td><td>0.17</td></tr><tr><td>SR-BQ</td><td>9</td><td>2</td><td>45</td><td>58</td><td>0.53</td><td>3</td><td>11</td><td>7</td><td>606</td><td>0.20</td><td>45</td><td>0.20</td></tr><tr><td>SR-BSDEP</td><td>3</td><td>2</td><td>75</td><td>50</td><td>0.48</td><td>2</td><td>170</td><td>1</td><td>326</td><td>0.22</td><td>67</td><td>0.16</td></tr><tr><td>SR-VARC1</td><td>14</td><td>2</td><td>31</td><td>49</td><td>0.37</td><td>116</td><td>6</td><td>6</td><td>367</td><td>0.22</td><td>27</td><td>0.26</td></tr><tr><td>SR-VARC2</td><td>12</td><td>2</td><td>38</td><td>42</td><td>0.35</td><td>39</td><td>6</td><td>5</td><td>53824</td><td>0.23</td><td>43</td><td>0.21</td></tr><tr><td>FMR</td><td>5</td><td>2</td><td>45</td><td>59</td><td>0.51</td><td>3</td><td>20</td><td>5</td><td>1361</td><td>0.20</td><td>52</td><td>0.19</td></tr><tr><td>BMR</td><td>7</td><td>2</td><td>47</td><td>53</td><td>0.46</td><td>8</td><td>13</td><td>5</td><td>532</td><td>0.21</td><td>54</td><td>0.19</td></tr><tr><td>SMR</td><td>5</td><td>2</td><td>45</td><td>59</td><td>0.51</td><td>3</td><td>20</td><td>5</td><td>1361</td><td>0.20</td><td>52</td><td>0.19</td></tr><tr><td>BQ</td><td>15</td><td>2</td><td>35</td><td>63</td><td>0.56</td><td>2</td><td>3.85</td><td>23</td><td>286</td><td>0.19</td><td>45</td><td>0.21</td></tr><tr><td>BSDEP</td><td>5</td><td>2</td><td>62</td><td>55</td><td>0.51</td><td>2</td><td>11.8</td><td>5</td><td>780</td><td>0.21</td><td>71</td><td>0.14</td></tr><tr><td>VARC1</td><td>31</td><td>2</td><td>21</td><td>52</td><td>0.31</td><td>102</td><td>4</td><td>16</td><td>3644</td><td>0.21</td><td>52</td><td>0.18</td></tr><tr><td>VARC2</td><td>27</td><td>2</td><td>23</td><td>52</td><td>0.33</td><td>31</td><td>4</td><td>14</td><td>1506</td><td>0.21</td><td>55</td><td>0.17</td></tr><tr><td>COR</td><td>87</td><td>2</td><td>29</td><td>53</td><td>0.37</td><td>200</td><td>2.84</td><td>21</td><td>355</td><td>0.21</td><td>68</td><td>0.14</td></tr><tr><td>BCOR</td><td>88</td><td>2</td><td>28</td><td>54</td><td>0.37</td><td>331</td><td>2.90</td><td>21</td><td>461</td><td>0.21</td><td>68</td><td>0.14</td></tr><tr><td>RCOR</td><td>68</td><td>2</td><td>33</td><td>51</td><td>0.36</td><td>376</td><td>3.34</td><td>17</td><td>3994</td><td>0.21</td><td>67</td><td>0.14</td></tr><tr><td>COEF5</td><td>50</td><td>2</td><td>27</td><td>61</td><td>0.46</td><td>160</td><td>3.60</td><td>17</td><td>3287</td><td>0.19</td><td>58</td><td>0.17</td></tr><tr><td>RCOEF</td><td>78</td><td>2</td><td>26</td><td>58</td><td>0.42</td><td>94</td><td>2.91</td><td>18</td><td>292</td><td>0.20</td><td>63</td><td>0.19</td></tr><tr><td>CINT</td><td>93</td><td>2</td><td>26</td><td>56</td><td>0.38</td><td>97</td><td>2.91</td><td>22</td><td>334</td><td>0.20</td><td>66</td><td>0.15</td></tr><tr><td>JACK</td><td>27</td><td>2</td><td>31</td><td>62</td><td>0.51</td><td>20</td><td>4.13</td><td>12</td><td>703</td><td>0.19</td><td>56</td><td>0.19</td></tr><tr><td>CV%</td><td>99</td><td>0</td><td>44</td><td>9</td><td>289</td><td>174</td><td>230</td><td>60</td><td>286</td><td>5</td><td>21</td><td>18</td></tr></tbody></table>
<table><caption>**Tableau 12** : Caractéristiques des modèles PLS obtenus pour 10 essais de la méthode GA et pour 5 essais de la méthode SR-GA, pour SPIRA.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<sub>D</sub><br>M<br>O<br>D<br>X</th><th>N<sub>D</sub><br>M<br>O<br>D<br>X</th><th>R<sub>D</sub><br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>GA1</td><td>19</td><td>2</td><td>17</td><td>66</td><td>0.48</td><td>178</td><td>4.32</td><td>10</td><td>3127</td><td>0.18</td><td>49</td><td>0.22</td></tr><tr><td>GA2</td><td>22</td><td>2</td><td>23</td><td>66</td><td>0.49</td><td>22</td><td>3.56</td><td>10</td><td>2073</td><td>0.18</td><td>42</td><td>0.22</td></tr><tr><td>GA3</td><td>20</td><td>2</td><td>29</td><td>67</td><td>0.55</td><td>252</td><td>4.58</td><td>9</td><td>454</td><td>0.18</td><td>49</td><td>0.19</td></tr><tr><td>GA4</td><td>21</td><td>2</td><td>21</td><td>66</td><td>0.50</td><td>338</td><td>4.36</td><td>12</td><td>23764</td><td>0.18</td><td>50</td><td>0.20</td></tr><tr><td>GA5</td><td>18</td><td>2</td><td>29</td><td>67</td><td>0.55</td><td>26</td><td>4.08</td><td>9</td><td>7883</td><td>0.17</td><td>45</td><td>0.20</td></tr><tr><td>GA6</td><td>26</td><td>2</td><td>18</td><td>66</td><td>0.49</td><td>26</td><td>3.68</td><td>12</td><td>416</td><td>0.18</td><td>54</td><td>0.18</td></tr><tr><td>GA7</td><td>20</td><td>2</td><td>21</td><td>60</td><td>0.48</td><td>80</td><td>4.72</td><td>8</td><td>738</td><td>0.19</td><td>59</td><td>0.17</td></tr><tr><td>GA8</td><td>18</td><td>2</td><td>23</td><td>64</td><td>0.47</td><td>8</td><td>4.76</td><td>8</td><td>396</td><td>0.18</td><td>45</td><td>0.22</td></tr><tr><td>GA9</td><td>17</td><td>2</td><td>31</td><td>67</td><td>0.56</td><td>26</td><td>4.97</td><td>11</td><td>153</td><td>0.18</td><td>50</td><td>0.19</td></tr><tr><td>GA10</td><td>22</td><td>2</td><td>28</td><td>66</td><td>0.53</td><td>2014</td><td>3.85</td><td>16</td><td>139</td><td>0.18</td><td>46</td><td>0.21</td></tr><tr><td>CV%</td><td>13</td><td>0</td><td>21</td><td>3</td><td>7</td><td>207</td><td>11</td><td>23</td><td>188</td><td>3</td><td>10</td><td>9</td></tr><tr><td>SR-GA1</td><td>17</td><td>2</td><td>37</td><td>63</td><td>0.49</td><td>10</td><td>4</td><td>9</td><td>363</td><td>0.19</td><td>40</td><td>0.22</td></tr><tr><td>SR-GA2</td><td>22</td><td>2</td><td>35</td><td>64</td><td>0.44</td><td>51</td><td>4</td><td>11</td><td>1021</td><td>0.18</td><td>42</td><td>0.22</td></tr><tr><td>SR-GA3</td><td>16</td><td>2</td><td>40</td><td>64</td><td>0.50</td><td>16</td><td>5</td><td>12</td><td>617</td><td>0.18</td><td>44</td><td>0.21</td></tr><tr><td>SR-GA4</td><td>18</td><td>2</td><td>34</td><td>63</td><td>0.50</td><td>63</td><td>5</td><td>14</td><td>504</td><td>0.19</td><td>35</td><td>0.22</td></tr><tr><td>SR-GA5</td><td>19</td><td>2</td><td>35</td><td>64</td><td>0.48</td><td>17</td><td>3</td><td>10</td><td>333</td><td>0.18</td><td>47</td><td>0.20</td></tr><tr><td>CV%</td><td>13</td><td>0</td><td>7</td><td>1</td><td>5</td><td>76</td><td>20</td><td>17</td><td>49</td><td>3</td><td>11</td><td>4</td></tr></tbody></table>
<figure><img src="image_37.png" /><figcaption>Figure 30 : Graphiques d'évolution des critères $Q_{cum}^2$ et SDEP pour SPIRA.</figcaption></figure>
## 9.3 Analyse des résultats

### Structure de corrélation des critères

On obtient maintenant le plan [1,2] des « loadings » de la figure 31.

<figure><img src="image_38.png" /><figcaption>Figure 31 : Plan [1,2] des « loadings » de l'ACP pour SPIRA.</figcaption></figure>

La structure de corrélation des critères est ici très différente de celles des autres jeux de données. Notamment, le $Q_{cum}^2$ et le SDEP sont très corrélés d'une part, et d'autre part la corrélation négative apparaissant entre le $Q_{cum}^2$ et $p_f$ est très favorable.

### Regroupement des méthodes

Il apparaît sur la figure 32. L'ensemble 3 est semblable à l'ensemble 3 des autres jeux de données. Dans l'ensemble candidat les méthodes communes à ADPN, LATEX, OXY et SPIRA
sont les méthodes GA, SMR, FMR, BQ, BSDEP. On note que la méthode SR-GA n'est plus maintenant dans l'ensemble candidat 1.

<figure><img src="image_39.png" /><figcaption>Figure 32 :graphique [$p_f$, $Q_{cum}^2$] pour SPIRA.</figcaption></figure>

## Evolution des critères $Q_{cum}^2$ et SDEP

La figure 30 montre que les graphiques d'évolution des critères $Q_{cum}^2$ et SDEP présentent des optima qui coïncident encore à une variable près.

## Variabilité des solutions des méthodes GA et SR-GA

Elle est encore manifeste avec ce jeu de données.
# 10. Etude du jeu de données GRANU

## 10.1 Le modèle PLS complet

Le modèle PLS complet, avec les 78 variables et les 23 observations, s'appuie sur 2 composantes PLS significatives $t_1, t_2$. La valeur des caractéristiques de ce modèle apparaissent au tableau 13.

<table><caption>Tableau 13 : Caractéristiques du modèle PLS complet pour GRANU.</caption><thead><tr><td>Caractéristique</td><td>Valeur</td></tr></thead><tbody><tr><td>$p_f$</td><td>78</td></tr><tr><td>$h$</td><td>2</td></tr><tr><td>$RX^2$ (%)</td><td>57</td></tr><tr><td>$RY_{adj}^2$ (%)</td><td>70</td></tr><tr><td>$Q_{cum}^2$</td><td>0.52</td></tr><tr><td>$C_{max}$</td><td>129</td></tr><tr><td>$RDMODX$</td><td>4.77</td></tr><tr><td>$NDMODX$</td><td>3</td></tr><tr><td>$RDMODY$</td><td>110</td></tr><tr><td>$LSE$</td><td>0.96</td></tr><tr><td>$RT_{o,p}^2$</td><td>21</td></tr><tr><td>$SDEP$</td><td>1.86</td></tr></tbody></table>

On trouve ci-après quelques graphiques illustratifs.

<figure><img src="image_40.png" /><figcaption>Figure 33 : Graphiques [$t_1, t_2$] et [$w^*c[1], w^*c[2]$] du modèle complet de GRANU.</figcaption></figure>
<figure><img src="image_41.png" /><figcaption>Figure 34 : Graphiques [ u₁, t₁ ] et [ u₂, t₂ ] du modèle complet de GRANU.</figcaption></figure>

<figure><img src="image_42.png" /><figcaption>Figure 35 : Coefficients de régression PLS centrés-réduits.du modèle complet de GRANU.</figcaption></figure>

L'allure de la figure 35 traduit l'autocorrélation très marquée entre les variables explicatives qui représentent essentiellement les tranches granulométriques.
<figure><img src="image_43.png" /><figcaption>**Figure 36 :** *Distances des observations au modèle complet de GRANU.*</figcaption></figure>

<figure><img src="image_44.png" /><figcaption>**Figure 37 :** *Capacités de reconstitution et prédiction du modèle complet pour GRANU.*</figcaption></figure>
## 10.2 Résultats des méthodes de sélection

On récapitule au tableaux 14 et 15 les résultats des méthodes de sélection.

<table><caption>Tableau 14 : Caractéristiques du modèle PLS obtenu pour chaque méthode, pour GRANU.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<br>D<br>M<br>O<br>D<br>X</th><th>N<br>D<br>M<br>O<br>D<br>X</th><th>R<br>D<br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>NONE</td><td>78</td><td>2</td><td>57</td><td>70</td><td>0.52</td><td>129</td><td>4.77</td><td>3</td><td>110</td><td>0.96</td><td>21</td><td>1.86</td></tr><tr><td>SR</td><td>47</td><td>2</td><td>55</td><td>68</td><td>0.75</td><td>104</td><td>6</td><td>4</td><td>103</td><td>0.98</td><td>7</td><td>2.00</td></tr><tr><td>SR-FMR</td><td>9</td><td>2</td><td>66</td><td>73</td><td>0.62</td><td>27</td><td>6</td><td>0</td><td>405</td><td>0.91</td><td>1</td><td>1.85</td></tr><tr><td>SR-BMR</td><td colspan="12">méthode non applicable</td></tr><tr><td>SR-SMR</td><td>4</td><td>2</td><td>72</td><td>72</td><td>0.60</td><td>15</td><td>8</td><td>0</td><td>45</td><td>0.92</td><td>6</td><td>1.50</td></tr><tr><td>SR-BQ</td><td>4</td><td>2</td><td>84</td><td>74</td><td>0.72</td><td>1</td><td>9</td><td>0</td><td>75</td><td>0.89</td><td>0</td><td>1.76</td></tr><tr><td>SR-BSDEP</td><td>6</td><td>2</td><td>81</td><td>74</td><td>0.70</td><td>3</td><td>13</td><td>0</td><td>97</td><td>0.89</td><td>1</td><td>1.62</td></tr><tr><td>SR-VARC1</td><td>6</td><td>2</td><td>77</td><td>56</td><td>0.53</td><td>8</td><td>7</td><td>1</td><td>42</td><td>1.16</td><td>5</td><td>2.16</td></tr><tr><td>SR-VARC2</td><td>4</td><td>2</td><td>84</td><td>52</td><td>0.52</td><td>4</td><td>11</td><td>0</td><td>26</td><td>1.21</td><td>13</td><td>2.21</td></tr><tr><td>FMR</td><td>21</td><td>2</td><td>37</td><td>78</td><td>0.47</td><td>83</td><td>6</td><td>2</td><td>15</td><td>0.83</td><td>7</td><td>2.66</td></tr><tr><td>BMR</td><td colspan="12">méthode non applicable</td></tr><tr><td>SMR</td><td>6</td><td>2</td><td>49</td><td>79</td><td>0.52</td><td>5</td><td>10</td><td>1</td><td>132</td><td>0.80</td><td>1</td><td>2.14</td></tr><tr><td>BQ</td><td>7</td><td>2</td><td>62</td><td>85</td><td>0.72</td><td>2</td><td>9</td><td>2</td><td>46</td><td>0.69</td><td>5</td><td>2.57</td></tr><tr><td>BSDEP</td><td>3</td><td>2</td><td>91</td><td>68</td><td>0.62</td><td>2</td><td>33</td><td>0</td><td>77</td><td>0.99</td><td>12</td><td>1.66</td></tr><tr><td>VARC1</td><td>16</td><td>2</td><td>37</td><td>71</td><td>0.41</td><td>22</td><td>6</td><td>0</td><td>169</td><td>0.94</td><td>10</td><td>1.95</td></tr><tr><td>VARC2</td><td>17</td><td>2</td><td>25</td><td>75</td><td>0.35</td><td>1100</td><td>5</td><td>1</td><td>45</td><td>0.87</td><td>21</td><td>1.68</td></tr><tr><td>COR</td><td>63</td><td>2</td><td>52</td><td>61</td><td>0.72</td><td>51</td><td>5</td><td>4</td><td>43</td><td>1.09</td><td>16</td><td>1.63</td></tr><tr><td>BCOR</td><td>63</td><td>2</td><td>52</td><td>61</td><td>0.72</td><td>51</td><td>5</td><td>4</td><td>43</td><td>1.09</td><td>16</td><td>1.63</td></tr><tr><td>RCOR</td><td>10</td><td>2</td><td>58</td><td>67</td><td>0.39</td><td>13</td><td>12</td><td>2</td><td>16</td><td>1.00</td><td>0</td><td>2.99</td></tr><tr><td>COEF5</td><td>41</td><td>2</td><td>55</td><td>79</td><td>0.59</td><td>71</td><td>6</td><td>2</td><td>196</td><td>0.81</td><td>4</td><td>2.52</td></tr><tr><td>RCOEF</td><td>62</td><td>2</td><td>58</td><td>75</td><td>0.54</td><td>324</td><td>5</td><td>2</td><td>138</td><td>0.87</td><td>41</td><td>2.14</td></tr><tr><td>CINT</td><td>42</td><td>2</td><td>64</td><td>72</td><td>0.59</td><td>217</td><td>5</td><td>3</td><td>110</td><td>0.92</td><td>16</td><td>1.81</td></tr><tr><td>JACK</td><td>2</td><td>2</td><td>100</td><td>49</td><td>0.52</td><td>2</td><td>101</td><td>0</td><td>9</td><td>1.25</td><td>6</td><td>1.94</td></tr><tr><td>CV%</td><td>103</td><td>0</td><td>31</td><td>14</td><td>21</td><td>236</td><td>161</td><td>105</td><td>99</td><td>15</td><td>103</td><td>20</td></tr></tbody></table>
<table><caption>Tableau 15 : Caractéristiques des modèles PLS obtenus pour 7 essais de la méthode GA et pour 3 essais de la méthode SR-GA, pour GRANU.</caption><thead><tr><th>Méthode</th><th>p<sub>f</sub></th><th>h</th><th>RX<sup>2</sup><br>(%)</th><th>RY<sup>2</sup><sub>adj</sub><br>(%)</th><th>Q<sup>2</sup><sub>cum</sub></th><th>C<sub>max</sub></th><th>R<br>D<br>M<br>O<br>D<br>X</th><th>N<br>D<br>M<br>O<br>D<br>X</th><th>R<br>D<br>M<br>O<br>D<br>Y</th><th>LSE</th><th>RT<sup>2</sup><sub>o,p</sub><br>(%)</th><th>SDEP</th></tr></thead><tbody><tr><td>GA1</td><td>9</td><td>2</td><td>39</td><td>91</td><td>0.70</td><td>13</td><td>14</td><td>1</td><td>12</td><td>0.53</td><td>2</td><td>2.09</td></tr><tr><td>GA2</td><td>20</td><td>2</td><td>41</td><td>86</td><td>0.58</td><td>30</td><td>8</td><td>2</td><td>27</td><td>0.66</td><td>6</td><td>2.60</td></tr><tr><td>GA3</td><td>20</td><td>2</td><td>41</td><td>87</td><td>0.47</td><td>44</td><td>6</td><td>1</td><td>6</td><td>0.64</td><td>6</td><td>2.92</td></tr><tr><td>GA4</td><td>20</td><td>2</td><td>35</td><td>85</td><td>0.60</td><td>20</td><td>8</td><td>1</td><td>36</td><td>0.69</td><td>13</td><td>2.87</td></tr><tr><td>GA5</td><td>10</td><td>2</td><td>40</td><td>90</td><td>0.73</td><td>4</td><td>15</td><td>1</td><td>36</td><td>0.56</td><td>3</td><td>2.07</td></tr><tr><td>GA6</td><td>20</td><td>2</td><td>35</td><td>85</td><td>0.60</td><td>20</td><td>8</td><td>1</td><td>36</td><td>0.69</td><td>13</td><td>2.87</td></tr><tr><td>GA7</td><td>10</td><td>2</td><td>40</td><td>90</td><td>0.73</td><td>4</td><td>15</td><td>1</td><td>36</td><td>0.56</td><td>3</td><td>2.07</td></tr><tr><td>CV%</td><td>36</td><td>0</td><td>7</td><td>3</td><td>15</td><td>74</td><td>37</td><td>33</td><td>48</td><td>11</td><td>71</td><td>16</td></tr><tr><td>SR-GA1</td><td>4</td><td>2</td><td>50</td><td>78</td><td>0.70</td><td>2</td><td>48</td><td>1</td><td>38</td><td>0.82</td><td>0.25</td><td>1.84</td></tr><tr><td>SR-GA2</td><td>4</td><td>2</td><td>50</td><td>78</td><td>0.70</td><td>2</td><td>48</td><td>1</td><td>38</td><td>0.82</td><td>0.25</td><td>1.84</td></tr><tr><td>SR-GA3</td><td>4</td><td>2</td><td>50</td><td>78</td><td>0.70</td><td>2</td><td>48</td><td>1</td><td>38</td><td>0.82</td><td>0.25</td><td>1.84</td></tr><tr><td>CV%</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td><td>0</td></tr></tbody></table>
<figure><img src="image_45.png" /><figcaption>**Figure 38** : Graphiques d'évolution des critères Q² cum et SDEP(méthodes BQ et BSDEP) pour GRANU.</figcaption></figure>
## 10.3 Analyse des résultats

### Structure de corrélation des critères

On obtient maintenant le plan [1,2] des « loadings » de la figure 39.

<figure><img src="image_46.png" /><figcaption>Figure 39 : Plan [1,2] des « loadings » de l'ACP pour GRANU.</figcaption></figure>

La structure de corrélation des critères est différente de celles des autres jeux de données, mais la corrélation négative favorable apparaissant pour SPIRA est conservée ici.

### Regroupement des méthodes

Il apparaît sur la figure 40. L'ensemble 3 est semblable à l'ensemble 3 des autres jeux de données. Dans l'ensemble candidat les méthodes communes à ADPN, LATEX, OXY, SPIRA et GRANU sont les méthodes GA, SMR, BQ, BSDEP.
<figure><img src="image_47.png" /><figcaption>Figure 40 : Graphique [*p<sub>f</sub>* , *Q<sub>cum</sub>²*] pour GRANU.</figcaption></figure>

Evolution des critères Q² cum et SDEP

Sur la figure 38 on observe que les optima coïncident presque exactement.

Variabilité des solutions des méthodes GA et SR-GA

Cette variabilité est inexistante pour la méthode SR-GA. En revanche elle est très grande pour la méthode GA puisque *p*<sub>*f*</sub> varie de 9 à 20. En outre, 3 essais sur 10 ont divergé avec ce jeu de données.
# 11. Synthèse sur les critères

On peut faire cette synthèse sur les cinq jeux de données fusionnés, en réalisant une analyse en composantes principales pour laquelle trois composantes sont trouvées significatives par validation croisée. Les plans des critères (« loadings ») apparaissent en figure 41 et 42. Les plans factoriels sur les méthodes ne sont pas autorisés, compte tenu de la trop grand différence des jeux de données étudiés. Les figures 41 et 42 en plus des commentaires des sections précédentes sur les critères prioritaires nous montrent que les $Q_{cum}^2$ forts correspondent plutôt à des *NDMODX*, *RDMODX* et *RDMODY* faibles, des valeurs faibles pour ces trois derniers critères étant des caractéristiques attendues pour un bon modèle.

<figure><img src="image_48.png" /><figcaption>**Figure 41 :**Plan [1,2] des « loadings » de l'ACP sur les cinq jeux de données fusionnés.</figcaption></figure>
<figure><img src="image_49.png" /><figcaption>**Figure 42 :**Plan [1,3] des « loadings » de l'ACP sur les cinq jeux de données fusionnés.</figcaption></figure>

# 12. Comparaison des méthodes GA, SMR, BQ, BSDEP

Finalement, si nous privilégions les critères $p_f$ et $Q_{cum}^2$ il nous reste quatre méthodes candidates : GA, SMR, BQ, BSDEP. On peut encore restreindre le choix.

## Méthode GA

La méthode GA conduit certes à des $p_f$ faibles et des $Q_{cum}^2$ forts, mais elle se caractérise par des défauts majeurs : grande variabilité, opérations préliminaires fastidieuses de réglage des paramètres de l'algorithme génétique proprement dit, et un temps d'exécution considérablement plus long qu'avec les autres méthodes (au moins 100 fois plus long). On ne retient donc pas cette méthode pour des problèmes à si grand nombre de variables, même si nous confirmons son intérêt majeur quand le nombre de variables à sélectionner est faible, typiquement inférieur à 30. Nous renvoyons le lecteur à Rodgers & Hopfinger [1994].
## Méthode SMR

Cette méthode traditionnelle de sélection de variables pas-à-pas de la régression multiple reste une méthode intéressante en régression PLS. Toutefois, dans les problèmes à si grand nombre de variables, il est possible que cette méthode échoue si la multicollinéarité devient trop forte, car la matrice X'X des équations normales peut s'avérer alors non inversible. En outre, dans les données issues de tels procédés industriels, l'ingénieur de fabrication fait souvent intervenir des variables explicatives liées fonctionnellement par exemple pour des raisons de traçabilité, ce qui, pour le coup, augmente considérablement le risque d'échec de cette méthode de sélection. On ne retient donc pas cette méthode.

## Méthode BSDEP

Cette méthode est prometteuse si on la compare à la méthode BQ sur ces cinq jeux de données au moyen du tableau 16.

<table><caption>Tableau 16 : Comparaison de la méthode BSDEP et BQ par rapport aux critères p<sub>f</sub> et Q<sup>2</sup><sub>cum</sub>.</caption><thead><tr><td>Jeu</td><td>BQ (p<sub>f</sub>)</td><td>BSDEP (p<sub>f</sub>)</td></tr></thead><tbody><tr><td>ADPN</td><td>0.80 (13)</td><td>0.77 (15)</td></tr><tr><td>LATEX</td><td>0.70 (24)</td><td>0.77 (24)</td></tr><tr><td>OXY</td><td>0.77 (12)</td><td>0.73 (29)</td></tr><tr><td>SPIRA</td><td>0.56 (15)</td><td>0.51 (5)</td></tr><tr><td>GRANU</td><td>0.72 (7)</td><td>0.62 (3)</td></tr></tbody></table>

Les résultats des deux méthodes sont très proches mais dans le cas d'un jeu test très réduit ou mal structuré, tel celui du jeu OXY, le résultat de la méthode BSDEP est moins bon, puisque p<sub>f</sub> vaut 29. Ainsi, cette dernière méthode nous semble plus risquée dans la mesure où elle est basée sur un seul jeu test. Une amélioration possible serait d'utiliser plusieurs jeux tests, mais alors le temps de calcul s'en trouverait très allongé. Nous ne retenons donc pas cette méthode.

## Méthode BQ

C'est finalement la méthode que nous préconisons à l'issue de cette étude et sur laquelle nous fondons la méthodologie de la section suivante. Bien entendu, une critique majeure que l'on peut faire à cette méthode est que l'optimum [Q<sup>2</sup><sub>cum</sub>, p<sub>f</sub>] ainsi déterminé n'est que local puisque la méthode est essentiellement déterministe et de plus séquentielle. Il est vrai que des méthodes
stochastiques telles celles reposant sur le recuit simulé (Swierenga & al, 1998) ou les
algorithmes génétiques (Rodgers & Hopfinger, 1994), visant, par construction, à la recherche
d'optimum globaux semblent plus appropriées. Cependant, nous avons vérifié au cours de cette
'étude que pour des problèmes à **aussi grands nombres de variables**, les algorithmes génétiques
fournissent un ensemble de solutions qui peut être très disparate d'une part, et d'autre part
obtenu après un temps de calcul totalement rédhibitoire pour le praticien (qui peut être 1000 fois
plus long que la méthode *BQ* sur les jeux de données étudiés ici). En outre, il est indispensable
lors d'une étape préliminaire, très coûteuse en temps de calcul, d'optimiser les niveaux de
nombreux paramètres de réglage de ces algorithmes. Leur usage n'est donc pas envisageable
dans l'état actuel de la puissance des ordinateurs pour de tels problèmes industriels. Nous
pensons que ce sera une voie bénéfique pour le praticien dans quelques années si cette puissance
est considérablement augmentée.

Par ailleurs, on remarque que la méthode SR-BQ n’est pas une méthode candidate. Les suppositions posées au §5.2 ne permettent pas de conduire à de meilleurs modèles PLS finaux.

Nous donnons ci-après les numéros des variables sélectionnées pour chaque jeu de données avec
la méthode *BQ*:

ADPN : 11, 29, 31, 42, 44, 46, 68, 69, 72, 86, 90, 95, 100.

LATEX : 2, 4, 5, 26, 32, 34, 51, 53, 54, 55, 57, 64, 74, 83, 84, 90, 95, 96, 97, 98, 101, 110, 115, 116.

OXY : 15, 35, 48, 49, 53, 57, 61, 75, 79, 90, 92, 95.

SPIRA : 26, 31, 32, 49, 56, 61, 65, 67, 71, 72, 75, 76, 77, 78, 80.

GRANU : 1, 3, 25, 40, 68, 76, 78.
# 13. Proposition d'une méthodologie de sélection de variables

Elle comporte quatre étapes :

## Etape 1

Etablir un modèle PLS sur l'ensemble des variables explicatives et vérifier l'absence d'observations trop extérieures à l'ellipse de Hotelling sur les $h(h-1)/2$ graphiques bidimensionnels des $h$ composantes PLS retenues par validation croisée. En effet, la robustesse aux « outliers » de la méthode BQ n'a pas encore été évaluée.

## Etape 2

Mettre en œuvre la méthode BQ et établir la courbe du $Q_{cum}^2$ en fonction du nombre de variables explicatives éliminées.

## Etape 3

Choisir le nombre $p_f$ de variables qui correspond à un maximum de la courbe du $Q_{cum}^2$ et établir le modèle PLS final sur ces $p_f$ variables explicatives.

## Etape 4

Calculer des intervalles de confiance « jacknife » sur les coefficients de régression PLS centrés-réduits. On peut se poser la question de l'intérêt de construire des intervalles de confiance pour des coefficients biaisés par construction. Cette information peut toutefois être d'une certaine utilité si le biais est faible ; en toute rigueur il faudrait donc fournir simultanément les biais des coefficients PLS.

## Remarque importante

On peut être tenté d'enlever les variables par blocs pour accélérer la procédure. Nous déconseillons vivement cette façon de faire car nous avons observé que ceci conduit souvent dans la pratique à louper un sous-ensemble de variables explicatives optimal et peut aboutir à un très mauvais modèle.
## 14. Conclusion

Le choix de la méthode BQ, très concrètement argumenté dans ce travail, est bien conforme à l'esprit de la régression PLS, créée dans un contexte de « distribution-free » où la validation des composantes PLS elles-mêmes repose sur une validation croisée. Il resterait à évaluer la robustesse de la méthode relativement à des niveaux de bruit élevés et la présence de points extrêmes. En effet, on sait que dans certaines situations la validation croisée peut être très sensible à la présence de tels points extrêmes. On pourrait peut-être alors améliorer la méthode BQ en sélectionnant le nombre de composantes du modèle PLS calculé à chacune des p-1 étapes non pas par validation croisée mais par l'approche inférentielle proposée par Cléroux & Lazraq [1999] : cette approche semble plus robuste en présence de points extrêmes.

Enfin, nous souhaitons également que d'autres chercheurs comparent leurs propres méthodes de sélection sur les cinq jeux de données analysés dans cette étude. Les fichiers au format EXCEL peuvent être fournis par message à l'adresse E-mail suivante : gauchi@banian.jouy.inra.fr.

Cette étude fait l'objet d'une publication soumise à la revue "Chemometrics and Intelligent Laboratory Systems".

## 15. Bibliographie

BARONI, M., CLEMENTI, S., CRUCIANI, G., COSTANTINO, G., RIGNANELLI, D., OBERRAUCH, E. (1992). Predictive ability of regression models. Part II: selection of the best predictive PLS model. Journal of chemometrics, 6, 347-356.

CHATTERJEE, S., LAUDATO, M., LYNCH, A.A. (1996). Genetic algorithms and their statistical applications: an introduction. Computational Statistics & Data Analysis, 22, 633-651.

CLEROUX, R., LAZRAQ, A. (2000). Redondance et PLS : une approche inférentielle. Conférence invitée aux XXXIIèmes Journées de Statistique, 15-19 Mai 2000. Fès, Maroc.

EFRON, B., TIBSHIRANI, R.J. (1994). An introduction to the bootstrap. Chapman & Hall, London.
FAYOLLE, P. (1997). Analyse quantitative par spectroscopie moyen infrarouge de la composition de milieux de fermentation : mesures hors ligne et déportée. Thèse de doctorat de l'Université Paris 7.

FURNIVAL, G.M., WILSON Jr, R.W. (1974). Regressions by leaps and bounds. Technometrics, 16, 499-511.

GAUCHI, J.-P. (1995). Utilisation de la régression PLS pour l'analyse des plans d'expériences en chimie de formulation. Rev. Statistique Appliquée, XLIII(1), 65-89.

GOUTI, N. (1999). Traitement des données pour les méthodes d'analyse multivoies : application au contrôle de qualité. Thèse de doctorat de l'Institut National Agronomique Paris-Grignon.

HARMAN, H.H. (1976). Modern Factor Analysis, 3d Edition. Chicago : University of Chicago Press.

HOLLAND, J. (1975). Adaptation in artificial and natural systems. University of Michigan Press: Ann Arbor, MI.

LEARDI, R., BOGGIA, R., TERRILE, M. (1992). Genetic algorithms as a strategy for feature selection. Journal of Chemometrics, 6, 267-281.

LINDGREN, F., GELADI, P., RÄNNAR, S., WOLD, S. (1994). Interactive variable selection (IVS) for PLS. Part I: theory and algorithms. Journal of chemometrics, 8, 349-363

LINDGREN, F., GELADI, P., BERGLUND, A., SJÖSTRÖM, M., WOLD, S. (1995). Interactive variable selection (IVS) for PLS. Part II: Chemical application. Journal of chemometrics, 9, 331-342.

MARTENS, H., Naes, T. (1989). Multivariate Calibration. Wiley.

NOMIKOS P., MACGREGOR, J.F. (1995). Multy-way partial least squares in monitoring batch processes. Chemometrics and Intelligent Laboratory Systems, 30, 97-108.

NORINDER, U., RIVERA, C., UNDEN, A. (1997). A quantitative structure-activity relationship study of some substance P-related peptides - A multivariate approach using PLS and variable selection. Journal of peptide research, 49, 155-162.

ROGERS, D., HOPFINGER, A.J. (1994). Application of genetic function approximation to quantitative structure-activity relation-ships and quantitative structure-property relationships. J. Chem. Inf. Sci. 34, 854-866.

SAPORTA, G. (1990). Probabilités, analyse des données et statistique. Dunod, Paris.

STARK, J.A., FITZGERALD, W.J. (1997). A Fast Algorithm for variable Selection in the Normal Linear Model. Technical Report CUED/F-INFENG/TR 288, Dept of Engineering, University of Cambridge.

SWIERENGA, H., de GROOT, P.J., de WEIJER, A.P., DERKSEN, M.W.J., BUYDENS,
L.M.C. (1998). Improvement of PLS model transferability by robust wavelength selection. Chemometrics and Intelligent Laboratory Systems, 41, 237-248.

TENENHAUS, M., (1998). La Régression PLS - Théorie et Pratique. Editions Technip, Paris.