# Premiers pas en régression linéaire avec SAS®

Josiane Confais, Monique Le Guen

► To cite this version:

Josiane Confais, Monique Le Guen. Premiers pas en régression linéaire avec SAS®. 2007. halshs-00180861

HAL Id: halshs-00180861

https://shs.hal.science/halshs-00180861v1

Submitted on 22 Oct 2007

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
<figure><img src="image_2.png" /></figure>

UNIVERSITÉ PARIS 1
- PANTHÉON - SORBONNE -

Documents de Travail du
Centre d'Economie de la Sorbonne

CES Working Papers

<figure><img src="image_3.png" /></figure>

CENTRE NATIONAL
DE LA RECHERCHE
SCIENTIFIQUE

<figure><img src="image_4.png" /></figure>

Premiers pas en régression linéaire avec SAS®

Josiane CONFAIS, Monique LE GUEN

2007.47

Maison des Sciences Économiques, 106-112 boulevard de L'Hôpital, 75647 Paris Cedex 13

http://ces.univ-paris1.fr/cesdp/CES-docs.htm

ISSN : 1955-611X
# Premiers pas en régression linéaire avec SAS®

Josiane Confais (UPMC-ISUP) –
Monique Le Guen (CNRS-CES-MATISSE-UMR8174)
e-mail : confais@ccr.jussieu.fr
e-mail : monique.leguen@univ-paris1.fr

## Résumé

Ce tutoriel<fnref n="1" /> montre, de façon intuitive et sans formalisme excessif, les principales notions théoriques nécessaires à la compréhension et à l'interprétation des résultats d'analyses de régression linéaire, simple et multiple, produits par la procédure REG de SAS® et par le menu FIT de SAS/INSIGHT<fnref n="2" />.

Ce tutoriel est issu d'un cours enseigné par les auteurs dans différentes formations : ISUP, Master de Paris 1, formation permanente du CNRS, au CEPE de l'INSEE. Il fait suite à un premier document de travail publié à l'Unité Méthodes statistiques de l'INSEE.

Nous avons ajouté de nombreux graphiques et affichages de SAS/INSIGHT qui par ses possibilités de visualisation et d'interactivité, facilite la compréhension à la fois des données et des techniques. Nous avons également ajouté des liens vers des applets ou d'autres documents accessibles sur internet.

Nous insistons dans ce tutoriel sur l'importance des graphiques exploratoires et sur les limites des résultats obtenus par une régression linéaire, si l'étape de vérification des suppositions n'est pas systématiquement entreprise.

**Mots clés** : Régression linéaire simple, Régression linéaire multiple, Moindres carrés ordinaires, SAS, Proc REG, SAS/INSIGHT, Graphiques exploratoires, Validation

## First steps in linear regression with SAS®

### Abstract

This tutorial<fnref n="3" /> shows in an intuitive way and without excessive formalism, the theoretical notions necessary to understand and interpret simple and multiple regression produced by SAS® PROC REG and by the menu FIT of SAS/INSIGHT<fnref n="4" />.

This tutorial is based heavily on training courses given by the authors in high-profile institutions like ISUP, Master Degree at Paris 1 University, CNRS and CEPE-INSEE. It follows a first working paper published by UMS-INSEE. Thanks to SAS/INSIGHT interactivity and visualization tools, we created numerous graphs and displays to improve the understanding of data and statistical methods. This tutorial also includes various links towards applets or other documents from the internet.

We insist in this tutorial on the significance of exploratory graphs and on the limits of results obtained by a linear regression if the assumptions are not systematically checked.

**Keywords:** Simple Linear Regression, Multiple Linear Regression, Ordinary Least Squares, SAS, Proc REG, SAS/INSIGHT, Exploratory Graphics, Validation.

JEL Classification : C01, C52

AMS Classification : 62J05

<footnote n="1">¹ Ce tutoriel est publié dans le n°33 de la revue électronique MODULAD à l'adresse http://www-rocq.inria.fr/axis/modulad/numero-35/Tutoriel-confais-35/confais-35.pdf</footnote>

<footnote n="2">² SAS® et SAS/INSIGHT sont les marques déposées de SAS Institute Inc., Cary, NC, USA</footnote>

<footnote n="3">³ This tutorial was published in the electronics review MODULAD, n° 33, http://www-rocq.inria.fr/axis/modulad/numero-35/Tutoriel-confais-35/confais-35.pdf</footnote>

<footnote n="4">⁴ SAS® and SAS/INSIGHT are registered trademarks of SAS Institute Inc., Cary, NC, USA</footnote>
# Sommaire

1. SENSIBILISATION À LA RÉGRESSION LINÉAIRE SIMPLE .................................................................................. 5

1.1. Où se place la régression linéaire ? .................................................................................................................. 5

1.2. Ajustement affine ou Régression Simple.................................................................................................................. 6

1.2.1. Comment trouver la droite qui passe « au plus près » de tous les points?.................................................................................. 8

1.2.2. Méthode d'estimation des paramètres $β_0$ et $β_1$ .................................................................................................................. 9

1.2.3. Effet d'un point observation sur la droite de régression .................................................................................................................. 11

1.2.4. Décomposition de l'écart entre $Y_i$ et la moyenne de Y .................................................................................................................. 11

1.2.5. Analyse de la variance .................................................................................................................................................................................. 12

Ce que le modèle explique et ce qu'il n'explique pas.................................................................................................................. 12

Standard de présentation de l'Analyse de la Variance .................................................................................................................. 13

Comment apprécier globalement la régression.................................................................................................................................................. 15

Exemple : Régression de la Taille en fonction du Poids .................................................................................................................. 16

1.2.6. Représentations géométriques .................................................................................................................................................................................. 19

Régression simple de Y sur X .................................................................................................................................................................................. 19

Distribution en un point fixé de X.................................................................................................................................................................................. 21

Représentation de X fixé et Y aléatoire.................................................................................................................................................................................. 22

1.3. Glissement fonctionnel de la méthode des Moindres Carrés Ordinaires à la Régression. ............ 23

1.3.1. De l'Astronomie.................................................................................................................................................................................. 24

1.3.2. ... Aux Sciences Sociales .................................................................................................................................................................................. 24

1.3.3. Galton Diagram Regression.................................................................................................................................................................................. 24

1.3.4. Formalisation des Suppositions .................................................................................................................................................................................. 26

1.4. Confiance à accorder aux résultats................................................................................................................................. 27

1.4.1. Test de la signification globale de la régression .................................................................................................................. 27

1.4.2. Statistiques liées au paramètre $β_1$ .................................................................................................................................................................................. 28

Calcul de la variance de $b_1$.................................................................................................................................................................................. 29

Test portant sur le paramètre $β_1$.................................................................................................................................................................................. 30

Calcul de l'intervalle de confiance de $β_1$.................................................................................................................................................................................. 31

1.4.3. Statistiques liées au paramètre $β_0$ .................................................................................................................................................................................. 31

Calcul de la variance de $b_0$.................................................................................................................................................................................. 31

Test portant sur le paramètre $β_0$.................................................................................................................................................................................. 32

Calcul de l'intervalle de confiance de $β_0$.................................................................................................................................................................................. 33

Exemple d'estimation des paramètres avec Proc REG.................................................................................................................. 34

1.4.4. Précision sur l'estimation de Y.................................................................................................................................................................................. 35

Intervalle de confiance autour de l'estimation de la droite de régression.................................................................................................................. 36

Intervalle de prévision de Y sachant X.................................................................................................................................................................................. 38

Exemple avec les options CLI CLM de la Proc REG.................................................................................................................. 39

2. LA RÉGRESSION LINÉAIRE MULTIPLE .................................................................................................................. 41

2.1. Le critère des moindres carrés.................................................................................................................................................................................. 41

2.2. Formalisation de la régression linéaire multiple.................................................................................................................. 42

2.3. Exemples de régression linéaire multiple avec Proc REG.................................................................................................................. 44

2.3.1. Présentation des données.................................................................................................................................................................................. 44

2.3.2. Régression linéaire multiple avec Proc REG sans options.................................................................................................................. 45

2.4. TYPE I SS et TYPE II SS de Proc REG................................................................................................................................. 48

2.4.1. Définition de TYPE I SS et TYPE II SS.................................................................................................................................................................................. 48

2.4.2. Interprétations conjointes de TYPE I SS et TYPE II SS.................................................................................................................. 51

2.4.3. Options SS1 et SS2 de l'instruction model de Proc REG.................................................................................................................. 51

2.4.4. Tester la nullité de r paramètres pour tester un sous modèle.................................................................................................................. 53

2.4.5. Exemple de test partiel avec PROC REG.................................................................................................................................................................................. 54

2.5. Ce qu'il faut retenir des 'SS'.................................................................................................................................................................................. 56

2.6. Les résidus.................................................................................................................................................................................................................................................. 57

Conclusion .................................................................................................................................................................................................................................................. 58

3. QUAND LES RÉSULTATS D'UNE RÉGRESSION NE SONT PAS FORCÉMENT PERTINENTS.................................................. 59

3.1. Exemples en régression simple.................................................................................................................................................................................. 59

3.1.1. Une même valeur pour des situations différentes .................................................................................................................. 59

3.1.2. Pondérations et régression linéaire par morceaux.................................................................................................................. 61

Théorie de la régression pondérée.................................................................................................................................................................................. 64

3.1.3. Transformation des données.................................................................................................................................................................................. 64

3.1.4. Méthode non paramétrique du LOWESS .................................................................................................................................................................................. 68

3.2. Exemples en régression multiple.................................................................................................................................................................................. 70

3.2.1. Y « expliquée » par la corrélation entre deux régresseurs.................................................................................................................. 70

3.2.2. Instabilité des coefficients de la régression, en cas de multicolinéarité.................................................................................................................. 72
<table>
  <tbody>
    <tr>
      <td>Exemple sur données réelles</td>
      <td>72</td>
    </tr>
    <tr>
      <td>Exemple sur données avec modèle théorique connu et régresseurs corrélés</td>
      <td>74</td>
    </tr>
    <tr>
      <td>3.3. Conditions d'utilisation de la régression, les diagnostics</td>
      <td>76</td>
    </tr>
    <tr>
      <td>3.3.1. Modèle Inadapté</td>
      <td>77</td>
    </tr>
    <tr>
      <td>3.3.2. L'influence de certaines données, les données atypiques -Outliers-</td>
      <td>77</td>
    </tr>
    <tr>
      <td>3.3.3. Corrélation et colinéarité entre les régresseurs</td>
      <td>78</td>
    </tr>
    <tr>
      <td>4. VALIDATION D'UNE RÉGRESSION</td>
      <td>79</td>
    </tr>
    <tr>
      <td>4.1. Introduction</td>
      <td>79</td>
    </tr>
    <tr>
      <td>4.1.1. Modèle et notations</td>
      <td>79</td>
    </tr>
    <tr>
      <td>4.1.2. Problèmes à étudier</td>
      <td>80</td>
    </tr>
    <tr>
      <td>4.2. Vérification des suppositions de base sur les erreurs</td>
      <td>80</td>
    </tr>
    <tr>
      <td>4.2.1. Espérance nulle</td>
      <td>80</td>
    </tr>
    <tr>
      <td>4.2.2. Indépendance</td>
      <td>80</td>
    </tr>
    <tr>
      <td>Cas particulier où les observations sont apparentées (cas des chroniques) :</td>
      <td>81</td>
    </tr>
    <tr>
      <td>4.2.3. Egalité des variances (homoscédasticité)</td>
      <td>82</td>
    </tr>
    <tr>
      <td>4.2.4. Normalité des erreurs</td>
      <td>84</td>
    </tr>
    <tr>
      <td>4.2.5. Exemple</td>
      <td>84</td>
    </tr>
    <tr>
      <td>Modèle</td>
      <td>84</td>
    </tr>
    <tr>
      <td>Dessin des résidus contre les 4 régresseurs (avec SAS/INSIGHT)</td>
      <td>85</td>
    </tr>
    <tr>
      <td>Test d'homoscédasticité et tracé du QQ-PLOT avec PROC REG.</td>
      <td>87</td>
    </tr>
    <tr>
      <td>4.3. Influence d'observations</td>
      <td>88</td>
    </tr>
    <tr>
      <td>4.3.1. Hat matrice et leverages</td>
      <td>88</td>
    </tr>
    <tr>
      <td>4.3.2. Résidus studentisés internes</td>
      <td>90</td>
    </tr>
    <tr>
      <td>4.3.3. Résidus studentisés externes</td>
      <td>90</td>
    </tr>
    <tr>
      <td>4.3.4. Mesure globale de l'influence sur le vecteur des coefficients: Distance de COOK</td>
      <td>90</td>
    </tr>
    <tr>
      <td>4.3.5. Influence sur chacun des coefficients : DFBETAS</td>
      <td>91</td>
    </tr>
    <tr>
      <td>4.3.6. Précision des estimateurs : COVRATIO</td>
      <td>91</td>
    </tr>
    <tr>
      <td>4.3.7. Influence sur la valeur ajustée: DFFITS</td>
      <td>91</td>
    </tr>
    <tr>
      <td>4.3.8. Coefficient global PRESS</td>
      <td>92</td>
    </tr>
    <tr>
      <td>4.3.9. Comment obtenir les mesures d'influence dans SAS</td>
      <td>92</td>
    </tr>
    <tr>
      <td>Dans PROC REG</td>
      <td>92</td>
    </tr>
    <tr>
      <td>Dans SAS/INSIGHT</td>
      <td>93</td>
    </tr>
    <tr>
      <td>4.3.10. Tableau récapitulatif</td>
      <td>93</td>
    </tr>
    <tr>
      <td>4.3.11. Exemple</td>
      <td>95</td>
    </tr>
    <tr>
      <td>4.4. Colinéarité des régresseurs</td>
      <td>99</td>
    </tr>
    <tr>
      <td>4.4.1. Méthodes basées sur l'étude de la matrice X'X</td>
      <td>100</td>
    </tr>
    <tr>
      <td>Etude de la matrice de corrélation des régresseurs</td>
      <td>101</td>
    </tr>
    <tr>
      <td>4.4.2. Variance Inflation Factor</td>
      <td>101</td>
    </tr>
    <tr>
      <td>4.4.3. Condition index et variance proportion</td>
      <td>102</td>
    </tr>
    <tr>
      <td>Les indices de colinéarité</td>
      <td>103</td>
    </tr>
    <tr>
      <td>4.4.4. Remèdes en cas de multi-colinéarité</td>
      <td>104</td>
    </tr>
    <tr>
      <td>4.4.5. Exemple</td>
      <td>105</td>
    </tr>
    <tr>
      <td>Regression RIDGE</td>
      <td>106</td>
    </tr>
    <tr>
      <td>4.5. Choix des régresseurs</td>
      <td>107</td>
    </tr>
    <tr>
      <td>4.5.1. Utilisation des sommes de carrés</td>
      <td>107</td>
    </tr>
    <tr>
      <td>Rappel sur les sommes de carrés apportés par un régresseur</td>
      <td>107</td>
    </tr>
    <tr>
      <td>Tests des apports à SS<sub>Modèle</sub> d'une variable</td>
      <td>108</td>
    </tr>
    <tr>
      <td>Exemple d'élimination progressive</td>
      <td>109</td>
    </tr>
    <tr>
      <td>4.5.2. Différentes méthodes basées sur les sommes de carrés</td>
      <td>111</td>
    </tr>
    <tr>
      <td>Méthode FORWARD (ascendante)</td>
      <td>111</td>
    </tr>
    <tr>
      <td>Méthode BACKWARD (descendante)</td>
      <td>112</td>
    </tr>
    <tr>
      <td>Méthode STEPWISE (progressive)</td>
      <td>112</td>
    </tr>
    <tr>
      <td>Exemples de sélection STEPWISE</td>
      <td>113</td>
    </tr>
    <tr>
      <td>4.5.3. Amélioration de R<sup>2</sup></td>
      <td>115</td>
    </tr>
    <tr>
      <td>Maximum R<sup>2</sup> Improvement (MAXR)</td>
      <td>115</td>
    </tr>
    <tr>
      <td>Minimum R<sup>2</sup> Improvement (MINR)</td>
      <td>116</td>
    </tr>
    <tr>
      <td>4.5.4. Autres méthodes basées sur R<sup>2</sup> : RSQUARE et ADJRSQ</td>
      <td>116</td>
    </tr>
    <tr>
      <td>4.5.5. Coefficient CP de Mallows</td>
      <td>116</td>
    </tr>
    <tr>
      <td>Sélection suivant le coefficient CP</td>
      <td>117</td>
    </tr>
    <tr>
      <td>Utilisation du coefficient CP dans une sélection de régresseurs</td>
      <td>117</td>
    </tr>
    <tr>
      <td>4.5.6. Critères AIC et BIC</td>
      <td>117</td>
    </tr>
    <tr>
      <td>4.5.7. Exemple de sélection RSQUARE</td>
      <td>118</td>
    </tr>
    <tr>
      <td>CONCLUSION</td>
      <td>120</td>
    </tr>
    <tr>
      <td>ANNEXES</td>
      <td>122</td>
    </tr>
    <tr>
      <td>ANNEXE 1</td>
      <td>123</td>
    </tr>
  </tbody>
</table>
<table><tr><td>SYNTAXE SIMPLIFIÉE DE LA PROCÉDURE REG DE SAS</td><td>123</td></tr><tr><td>PROC REG options;</td><td>123</td></tr><tr><td>MODEL dépendante = régresseurs / options;</td><td>124</td></tr><tr><td>Instructions BY FREQ ID WEIGHT:</td><td>125</td></tr><tr><td>REWEIGHT expression / WEIGHT = valeur;</td><td>125</td></tr><tr><td>TEST equation(s);</td><td>125</td></tr><tr><td>RESTRICT equation(s);</td><td>125</td></tr><tr><td>OUTPUT OUT = nomtab mot_clef = nom_var;</td><td>126</td></tr><tr><td>PLOT Yvar1*Xvar1='s' Yvar2*Xvar2='s' / options;</td><td>126</td></tr><tr><td>PRINT mots-clefs;</td><td>126</td></tr><tr><td>Options RIDGE et PCOMIT des instructions PROC REG ou MODEL</td><td>127</td></tr><tr><td>ANNEXE 2</td><td>128</td></tr><tr><td>MODE D'EMPLOI TRÈS SUCCINCT DE SAS/INSIGHT</td><td>128</td></tr><tr><td>Le lancement de SAS/INSIGHT</td><td>128</td></tr><tr><td>Rôle statistique des variables dans SAS/INSIGHT</td><td>129</td></tr><tr><td>Menu principal de SAS/INSIGHT</td><td>130</td></tr><tr><td>Graphiques standard en SAS/INSIGHT</td><td>130</td></tr><tr><td>Les Analyses Statistiques avec SAS/INSIGHT</td><td>132</td></tr><tr><td>Exemple de Régression linéaire sur la Table SAS : Chenille (processionnaire du pin du §2.3.1.)</td><td>132</td></tr><tr><td>Impression et Sauvegarde</td><td>133</td></tr><tr><td>Pour imprimer</td><td>133</td></tr><tr><td>Pour sauvegarder les résultats graphiques ou tableaux dans un fichier</td><td>133</td></tr><tr><td>Pour insérer un fichier externe .bmp dans Word</td><td>134</td></tr><tr><td>Pour plus d'information sur les graphiques</td><td>135</td></tr><tr><td>ANNEXE 3</td><td>136</td></tr><tr><td>STATISTIQUES RELATIVES À L'ANALYSE DE LA VARIANCE</td><td>136</td></tr><tr><td>STATISTIQUES SUR LES PARAMÈTRES</td><td>137</td></tr><tr><td>ANNEXE 4</td><td>138</td></tr><tr><td>RELATIONS ENTRE LA LOI NORMALE ET LES STATISTIQUES DE LOIS</td><td>138</td></tr><tr><td>ANNEXE 5</td><td>139</td></tr><tr><td>CONSTRUCTION D'UN QQ-PLOT</td><td>139</td></tr><tr><td>PRINCIPE DE LA DROITE DE HENRY</td><td>139</td></tr><tr><td>1. Soit une variable X dont on veut vérifier l'adéquation à une loi normale (m,σ)</td><td>139</td></tr><tr><td>2. Si X suit une loi normale (m,σ) alors:</td><td>139</td></tr><tr><td>3. En pratique, on ordonne les valeurs xᵢ : on note xᵢᵢ les valeurs ordonnées.</td><td>139</td></tr><tr><td>GÉNÉRALISATION</td><td>140</td></tr><tr><td>QQ-PLOT AVEC SAS</td><td>140</td></tr><tr><td>BIBLIOGRAPHIE</td><td>141</td></tr></table>
# 1. Sensibilisation à la régression linéaire simple

Cette sensibilisation à la régression présente de manière détaillée la logique et les calculs permettant la compréhension de la régression simple.

On montre tout d'abord la démarche algébrique qui conduit à un ajustement affine, puis par un détour obligé à l'Histoire, on « glisse » vers la modélisation en s'appuyant sur la Statistique.

## 1.1. Où se place la régression linéaire ?

La **régression linéaire** se classe parmi les méthodes d'analyses multivariées qui traitent des données quantitatives.

C'est une méthode d'investigation sur données d'observations, ou d'expérimentations, où l'objectif principal est de rechercher une liaison linéaire entre une variable Y quantitative et une ou plusieurs variables X également quantitatives.

C'est la méthode la plus utilisée pour deux raisons majeures :

* c'est une **méthode ancienne**,

* c'est l'**outil de base** de la plupart des modélisations plus sophistiquées comme la régression logistique, le modèle linéaire généralisé, les méthodes de traitement des séries temporelles, et surtout des modèles économétriques, etc.

A l'aide du tableau 1.1, on peut repérer les méthodes les plus courantes d'analyses statistiques et les procédures SAS utiles pour rechercher des liaisons, selon le type (nominal, ordinal, intervalle, ratio) des variables Y et X. Le lecteur peu familiarisé avec la terminologie des variables SAS pourra voir sur le site de MODULAD, le tutoriel<fnref n="5" /> « *La Proc FREQ de SAS, Tests d'indépendance et d'association* », de J. CONFAIS, Y. GRELET, M. LE GUEN.

<footnote n="5">⁵ http://www-rocq.inria.fr/axis/modulad/archives/numero-33/tutorial-confais-33/confais-33-tutorial.pdf, page 5-7.</footnote>
<table><caption>**Tableau 1.1 Procédures SAS adaptées selon le type des variables (nominal, ordinal, intervalle, ratio)**</caption><thead><tr><th></th><th>X intervalle/ratio</th><th>X ordinale/nominale</th><th></th></tr></thead><tbody><tr><td rowspan="2">Y intervalle/ratio</td><td>Régression linéaire<br><b>PROC REG</b></td><td>Analyse de la variance<br><b>PROC ANOVA</b></td><td>Modèles linéaires généralisés<br><b>PROC GLM</b></td></tr><tr><td>Si Y est ordinale ou à 2 modalités<br><b>PROC LOGISTIC</b></td><td>Analyses de tableaux de contingence<br><b>PROC FREQ</b><br>Régression logistique<br><b>PROC LOGISTIC</b></td><td>Traitements des variables catégorielles<br><b>PROC CATMOD</b></td></tr></tbody></table>

Pour la régression linéaire la procédure REG est la plus complète. Cependant le module SAS/INSIGHT, qui est à la fois un tableur, un grapheur et un analyseur, est particulièrement adapté pour étudier des données dans une problématique de régression linéaire couplée à une analyse exploratoire des données.

Dans les exemples nous utiliserons l'une ou l'autre de ces possibilités. En annexe 2, on trouvera un mode d'emploi très succinct de SAS/INSIGHT.

## 1.2. Ajustement affine ou Régression Simple

### Exemple

Soient les 2 mesures de poids (variable X) et taille (variable Y) relevées sur un échantillon de 20 objets.
<table><caption>Tableau 1.2 Données Taille et Poids</caption><thead><tr><td>identifiant</td><td>poids (X)</td><td>taille (Y)</td></tr></thead><tbody><tr><td>1</td><td>46</td><td>152</td></tr><tr><td>2</td><td>78</td><td>158</td></tr><tr><td>3</td><td>85</td><td>160</td></tr><tr><td>4</td><td>85</td><td>162</td></tr><tr><td>5</td><td>85</td><td>158</td></tr><tr><td>6</td><td>85</td><td>159</td></tr><tr><td>7</td><td>95</td><td>165</td></tr><tr><td>8</td><td>95</td><td>165</td></tr><tr><td>9</td><td>100</td><td>166</td></tr><tr><td>10</td><td>100</td><td>159</td></tr><tr><td>11</td><td>100</td><td>166</td></tr><tr><td>12</td><td>103</td><td>168</td></tr><tr><td>13</td><td>105</td><td>163</td></tr><tr><td>14</td><td>105</td><td>164</td></tr><tr><td>15</td><td>115</td><td>168</td></tr><tr><td>16</td><td>115</td><td>166</td></tr><tr><td>17</td><td>115</td><td>162</td></tr><tr><td>18</td><td>130</td><td>165</td></tr><tr><td>19</td><td>135</td><td>167</td></tr><tr><td>20</td><td>150</td><td>172</td></tr></tbody></table>

Le graphique du nuage de points, d'abscisse le **poids** et d'ordonnée la **taille** montre qu'il existe une **relation linéaire** entre ces deux variables. Lorsque le poids augmente, la taille a tendance à croître également.

<figure><img src="image_5.png" /><figcaption>Figure 1.1 Taille\*Poids</figcaption></figure>

Les points du nuage sont approximativement alignés sur une droite (y=ax+b) à une erreur près.

$$ \text{Taille} = \beta_0 + \beta_1 \text{Poids} + \text{erreur} $$

La variable Taille (Y) est appelée la variable "réponse", ou selon les domaines disciplinaires, variable à expliquer, ou encore variable dépendante. La variable Poids (X) est la variable "régresseur", encore appelée variable explicative, ou variable indépendante.

$\beta_0$ est l'ordonnée à l'origine.
$\beta_1$ est la pente de la droite d'ajustement.

**Note:** Dans ce document nous n'utiliserons que les termes « réponse » et « régresseurs », pour éviter toutes confusions sémantiques très dommageables lors des interprétations des résultats, et particulièrement lors de la communication des résultats à un tiers.

Par exemple, la variable dite expliquée n'est pas forcément expliquée par les variables dénommées explicatives. Quand aux variables dites indépendantes, elles sont, dans le cas de données réelles, rarement indépendantes.

### 1.2.1. Comment trouver la droite qui passe « au plus près » de tous les points?

Pour trouver la droite qui passe « au plus près » de tous les points il faut se donner un critère d'ajustement.

<figure><img src="image_6.png" /><figcaption>**Figure 1.2 Projection des points $M_1...M_4$ sur la droite.**</figcaption></figure>

On projette les points $M_1$ à $M_4$ parallèlement à l'axe des Y. Sur la droite on obtient les points $P_1$ à $P_4$, comme le montre la figure 1.2. Le critère retenu pour déterminer la droite D passant au plus près de tous les points sera tel que :

> La somme des carrés des écarts (SCE) des points observés $M_i$ à la droite solution soit minimum.

La droite solution sera appelée **droite de régression de Y sur X**.

Le critère est le « **critère des Moindres Carrés Ordinaires** » (MCO, *Ordinary Least Squares* en anglais), appelé aussi par les statisticiens « **critère de Norme L²**». Les écarts sont calculés en projetant les points $M$ **parallèlement à l'axe des Y**. On pourrait aussi projeter les points $M$ **parallèlement à l'axe des X**, on aurait alors une autre droite solution (régression de X sur Y). Dans ces deux régressions Y et X ne jouent pas le même rôle.
On pourrait aussi projeter les points M perpendiculairement à la droite solution. Y et X joueraient dans ce cas le même rôle. C'est la situation que l'on rencontre dans une Analyse en Composantes Principales<fnref n="6" />, illustrée dans la figure 1.3.

<figure><img src="image_7.png" /><figcaption>Figure 1.3 Trois projections possibles du point (Xᵢ, Yᵢ)</figcaption></figure>

### 1.2.2. Méthode d'estimation des paramètres β₀ et β₁

La Somme des Carrés des Ecarts (SCE) est donnée par :

$$S = \sum_{i=1}^{n} \varepsilon_{i}^{2} = \sum_{i=1}^{n} (Y_{i} - \beta_{0} - \beta_{1}X_{i})^{2}$$

La valeur de cette fonction S est minimum lorsque les dérivées de S par rapport à β₀ et β₁ s'annulent. La solution est obtenue en résolvant le système :

$$\frac{\partial S}{\partial \beta_0} = 0 \quad \text{et} \quad \frac{\partial S}{\partial \beta_1} = 0$$

Les dérivées par rapport à β₀ et β₁ sont :

$$\frac{\partial S}{\partial \beta_0} = -2 \sum_{i=1}^{n} (Y_i - \beta_0 - \beta_1 X_i)$$

$$\frac{\partial S}{\partial \beta_1} = -2 \sum_{i=1}^{n} X_i (Y_i - \beta_0 - \beta_1 X_i)$$

Ces dérivées s'annulent pour deux valeurs b₀ et b₁ solutions des 2 équations à 2 inconnues :

<footnote n="6">⁶ On pourrait encore prendre comme critère la somme des valeurs absolues des écarts des points observés à la droite, ce serait alors un critère de norme L¹, et pourquoi pas prendre un exposant non entier appartenant à l'intervalle [1,2], ce serait une norme L⁵.</footnote>
**équation 1 :**

$$ \sum_{i=1}^{n} (Y_i - b_o - b_1 X_i) = 0 $$

**équation 2 :**

$$ \sum_{i=1}^{n} X_i (Y_i - b_o - b_1 X_i) = 0 $$

Ce système de 2 équations à 2 inconnues déterminent les **équations normales**.

Développons ces 2 équations normales :

* l'équation 1 donne : $\sum Y_i - nb_o - b_1 \sum X_i = 0$ et en divisant par n $\bar{Y} = b_o + b_1 \bar{X}$.

On remarque que la droite solution passe par le centre de gravité du nuage

$$ (\bar{X}, \bar{Y}) = \left( \frac{\sum_i X_i}{n}, \frac{\sum_i Y_i}{n} \right) $$

* L'équation 2 donne

$$ \sum Y_i X_i - b_0 \sum X_i - b_1 \sum X_i^2 = 0 $$

dans laquelle on remplace $b_0$

$$ \sum Y_i X_i - (\bar{Y} - b_1 \bar{X}) \sum X_i - b_1 \sum X_i^2 = 0 $$

Solution :

$$ b_1 = \frac{\sum X_i Y_i - (\sum X_i \sum Y_i) / n}{\sum X_i^2 - (\sum X_i)^2 / n} $$

en divisant numérateur et dénominateur par n on retrouve les expressions de la covariance et de la variance empiriques :

$$ b_1 = \frac{\sum (X_i - \bar{X})(Y_i - \bar{Y})}{\sum (X_i - \bar{X})^2} = \frac{\text{Cov}(X, Y)}{\text{Var}(X)} \qquad \text{formule n° 1} $$

Les points qui sont sur la droite de régression ont pour ordonnée :

$$ \hat{Y} = b_0 + b_1 X $$

Le coefficient $b_1$ dépend au numérateur de la covariance entre X et Y, et de la variance de X pour le dénominateur.

## Terminologie

$\hat{Y}$ est l'estimation de Y obtenue à partir de l'équation de régression.

$\hat{Y}$ se prononce Y chapeau.
$b_0$ et $b_1$ sont les **estimateurs** des moindres carrés des paramètres inconnus $\beta_0$ et $\beta_1$. On appelle estimations les valeurs particulières (solutions) prises par les estimateurs $b_0$ et $b_1$.

Dans la suite du document on ne fera pas de différence de notations entre les estimateurs $b_0$ ou $b_1$ et leurs estimations.

### 1.2.3. Effet d'un point observation sur la droite de régression

Avec cet applet java http://www.stat.sc.edu/~west/javahtml/Regression.html on peut voir l'effet de levier (leverage) sur le calcul de la droite de régression en ajoutant un point -rouge- par un simple clic de souris. Ici le point rouge est un point influent dans la liaison (X,Y). Plus le point est éloigné de la tendance plus son levier sera grand. Il peut aussi exister des points atypiques -Outliers- seulement en direction des X, ou dans la direction des Y (voir le chapitre 4).

<figure><img src="image_8.png" /></figure>

### 1.2.4. Décomposition de l'écart entre $Y_i$ et la moyenne de Y

En un point d'observation $(X_i, Y_i)$ on décompose l'écart entre $Y_i$ et la moyenne des Y en ajoutant puis retranchant $\hat{Y}_i$ la valeur estimée de Y par la droite de régression. Cette procédure fait apparaître une somme de deux écarts :

$$ (Y_i - \bar{Y}) = (Y_i - \hat{Y}_i + \hat{Y}_i - \bar{Y}) \\ (Y_i - \bar{Y}) = (Y_i - \hat{Y}_i) + (\hat{Y}_i - \bar{Y}) $$

Ainsi l'écart total $(Y_i - \bar{Y})$ peut être vu comme la somme de deux écarts :

* un écart entre $Y_i$ observé et $\hat{Y}_i$ la valeur estimée par le modèle

* un écart entre $\hat{Y}_i$ la valeur estimée par le modèle et la moyenne $\bar{Y}$.

Le graphique suivant montre l'explication géométrique de cette décomposition. Cet artifice de décomposition aura un intérêt fondamental dans l'analyse de la variance abordée au paragraphe suivant.
<figure><img src="image_9.png" /><figcaption>Figure 1.4 Décomposition des différents écarts</figcaption></figure>

$$ \text{Ecart total } (\mathbf{Y}_i - \bar{\mathbf{Y}}) = \text{écart dû au model } (\mathbf{Y}_i - \hat{\mathbf{Y}}_i) + \text{écart résiduel } (\hat{\mathbf{Y}}_i - \bar{\mathbf{Y}}) $$

### 1.2.5. Analyse de la variance

**Ce que le modèle explique et ce qu'il n'explique pas**

A partir de l'équation de la droite de régression (modèle retenu), on peut pour tout point i d'abscisse $X_i$ calculer son estimation (ordonnée) $\hat{Y}_i$

$$ \hat{Y}_{i}=b_{0}+b_{1} X_{i} \quad \text { avec } \quad b_{0}=\bar{Y}-b_{1} \bar{X} $$

ce qui donne :

$$ \hat{Y}_{i}=\bar{Y}+b_{1}(X_{i}-\bar{X}) $$

ou encore

$$ \hat{Y}_{i}-\bar{Y}=b_{1}(X_{i}-\bar{X}) \qquad \text { formule n}^{\circ} \text { 2 } $$

En un point i l'écart ou résidu est : $Y_i - \hat{Y}_i = (Y_i - \bar{Y}) - (\hat{Y}_i - \bar{Y})$

On élève les deux membres au carré et on somme sur les observations i :

$$ \sum_{i}(Y_{i}-\hat{Y}_{i})^{2}=\sum_{i}(Y_{i}-\bar{Y})^{2}+\sum_{i}(\hat{Y}_{i}-\bar{Y})^{2}-2\sum_{i}(Y_{i}-\bar{Y})(\hat{Y}_{i}-\bar{Y}) $$

En utilisant la formule n°2 :

$$ \sum_{i}(Y_{i}-\hat{Y}_{i})^{2}=\sum_{i}(Y_{i}-\bar{Y})^{2}+\sum_{i}(\hat{Y}_{i}-\bar{Y})^{2}-2\sum_{i}(Y_{i}-\bar{Y}) \cdot b_{1}(X_{i}-\bar{X}) $$

En utilisant une transformation de la formule n°1 : $b_1 \sum (X_i - \bar{X})^2 = \sum (X_i - \bar{X})(Y_i - \bar{Y})$ on obtient
$$ \sum_{i} (Y_{i} - \hat{Y}_{i})^{2} = \sum_{i} (Y_{i} - \bar{Y})^{2} + \sum_{i} (\hat{Y}_{i} - \bar{Y})^{2} - 2 \cdot b_{i}^{2} \sum_{i} (X_{i} - \bar{X})^{2} $$

En utilisant la formule n° 2 :

$$ \sum_{i} (Y_{i} - \hat{Y}_{i})^{2} = \sum_{i} (Y_{i} - \bar{Y})^{2} + \sum_{i} (\hat{Y}_{i} - \bar{Y})^{2} - 2 \sum_{i} (\hat{Y}_{i} - \bar{Y})^{2} $$

On aboutit enfin à l'égalité fondamentale :

$$ \sum_{i} (Y_{i} - \bar{Y})^{2} = \sum_{i} (\hat{Y}_{i} - \bar{Y})^{2} + \sum_{i} (Y_{i} - \hat{Y}_{i})^{2} $$

La SCE (Somme des Carrés des Ecarts) totale est égale à la somme des carrés des écarts dus au modèle augmentée de la somme des carrés des écarts dus aux erreurs

$$ \text{SCE totale} = \text{SCE modèle} + \text{SCE erreur} $$

Cette formule montre que :

Les variations de Y autour de sa moyenne, c'est-à-dire **SCE Totale (SS Total)** pour Sum of Squares en anglais) peuvent être expliquées par :

* le modèle grâce à **SCE Modèle (SS Model)** en anglais) ;

* et ce qui ne peut être expliqué par le modèle, est contenu dans **SCE Errur (SS Error)** en anglais).

L'erreur est aussi appelée le « résidu ».

Standard de présentation de l'Analyse de la Variance

On a l'habitude de représenter l'analyse de la variance sous forme d'un tableau, faisant apparaître les 3 sources de variation : le total en 3ème ligne qui se décompose en la partie modèle et la partie erreur.

A chaque source de variation (Total, Modèle, Errur) correspond un nombre de degrés de liberté (ddl) respectivement égal à n-1, p, n-p-1,

n : nombre d'observations

p : nombre de variables régresseurs (la variable X₀, constante égale à 1, correspondant au paramètre β₀, n'est pas comprise).

Nous présentons le tableau général de l'analyse de variance pour p régresseurs. Pour la régression simple, p=1 (une seule variable régresseur).
<table><caption>Tableau 1. 3 Analyse de variance (version anglaise)</caption><thead><tr><th>Source</th><th>DF</th><th>Sum of Squares</th><th>Mean Square</th></tr></thead><tbody><tr><td>MODEL</td><td>p</td><td>&Sigma;<sup>n</sup><sub>i=1</sub>(Y&#770;<sub>i</sub> - Y&#773;)<sup>2</sup></td><td>&Sigma;<sup>n</sup><sub>i=1</sub>(Y&#770;<sub>i</sub> - Y&#773;)<sup>2</sup> / p</td></tr><tr><td>ERROR</td><td>n-p-1</td><td>&Sigma;<sup>n</sup><sub>i=1</sub>(Y<sub>i</sub> - Y&#770;<sub>i</sub>)<sup>2</sup></td><td>&Sigma;<sup>n</sup><sub>i=1</sub>(Y<sub>i</sub> - Y&#770;<sub>i</sub>)<sup>2</sup> / (n - p - 1)</td></tr><tr><td>TOTAL</td><td>n-1</td><td>&Sigma;<sup>n</sup><sub>i=1</sub>(Y<sub>i</sub> - Y&#773;)<sup>2</sup></td><td></td></tr></tbody></table>

**Abréviations:**

**DF** : Degrees of Freedom se traduit par degrés de liberté (ddl).

Ils vérifient : $DF_{total}=DF_{model}+DF_{erreur}$

**SS** : Sum of Squares se traduit par Somme des Carrés des Ecarts (SCE)

**MS** : Mean Square, est le rapport SS/DF, relatif soit au modèle soit à l'erreur

**MSE** : Mean Square Error = $\frac{\sum_{i=1}^{n}(Y_i - \hat{Y}_i)^2}{n-p-1}$ représente le carré de l'écart moyen résiduel.

Tous ces « indicateurs » SS, MS, MSE, vont jouer un rôle important dans l'appréciation du modèle calculé à partir des observations.

<figure><img src="image_10.png" /><figcaption>Figure 1.5 Décomposition des SS-Sums of Squares</figcaption></figure>

La figure 1.5 montre les liens entre **SS total**, **SS model** et **SS error** lorsque l'on somme les carrés des écarts sur tous les points i.
Il est remarquable que la formule de décomposition de l'écart total en un point i, vu
au § 1.2.4.

$$
(Y_i - \bar{Y}) = (\hat{Y}_i - \bar{Y}) + (Y_i - \hat{Y}_i)
$$

prennela même forme pour la somme des carrés.

$$
\sum_{i} (Y_{i} - \bar{Y})^{2} = \sum_{i} (\hat{Y}_{i} - \bar{Y})^{2} + \sum_{i} (Y_{i} - \hat{Y}_{i})^{2}
$$

**Comment apprécier globalement la régression**

Les deux quantités SCE totale (SS total) et SCE modèle (SS model) sont des sommes de carrés donc toujours positives ou nulles et telles que SCE Modèle ≤ SCE Totale.

Le rapport $\frac{\text{SCE Modèle}}{\text{SCE Totale}}$ est donc compris entre 0 et 1.

On appelle ce rapport **le coefficient de détermination**

$$
R^2 = \frac{\text{SCE Modèle}}{\text{SCE Totale}} = \frac{\text{SS mod el}}{\text{SS Total}}
$$

**Cas particulier :**

Si tous les points Yᵢ observés sont alignés sur la droite de régression, le modèle est parfaitement adapté et SCE Errur = 0,

Dans ce cas:
$$ \frac{\text{SCE Modèle}}{\text{SCE Totale}} = 1 $$

**Interprétation de R²**

R² qui varie entre 0 et 1, mesure la proportion de variation totale de Y autour de la moyenne expliquée par la régression, c'est-à-dire prise en compte par le modèle. Plus R² se rapproche de la valeur 1, meilleure est l'adéquation du modèle aux données.

Un R² faible signifie que le modèle a un faible pouvoir explicatif.

On démontre que R² représente aussi le carré du **coefficient de corrélation linéaire** entre Y et Y estimé:

$$
R^2 = \text{Corr}^2(Y, \hat{Y})
$$

Dans le cas de la régression simple, R est aussi la valeur absolue du coefficient de corrélation linéaire entre Y et X.

$$
R = |\operatorname{Corr}(Y,X)|
$$
## Lien entre coefficient de corrélation de 2 variables et le cosinus de leur angle

Soient 2 vecteurs $X_1$ et $X_2$ définis dans un espace $R^n$ (espace des n observations), le coefficient de corrélation entre $X_1$ et $X_2$ est aussi le cosinus de l'angle $\theta$ entre ces 2 vecteurs.

En utilisant les conventions de notation, le produit scalaire de 2 vecteurs $X_1$ et $X_2$ se note $\langle X_1, X_2 \rangle = \|X_1\| \cdot \|X_2\| \cos(\theta)$

On a :

$$ \operatorname{Cos}(X_1, X_2) = \frac{\langle X_1, X_2 \rangle}{(\langle X_1, X_1 \rangle \langle X_2, X_2 \rangle)^{1/2}} = \frac{1}{n} \sum_{i=1,n} \frac{(X_{1,i} - \bar{X})(X_{2,i} - \bar{X})}{s_1 * s_2} = \text{Corrélation } (X_1, X_2) $$

$s_1 * s_2$ étant le produit des écarts-type des 2 vecteurs.

L'interprétation d'un coefficient de corrélation comme un cosinus est une propriété importante.

Comme le remarque TOMASSONE (1992), les variables X n'étant pas des variables aléatoires, il est plus correct de parler de « cosinus » des angles formés par les vecteurs associés, en réservant le terme « coefficient de régression » pour sa similitude avec l'estimation de ce coefficient à partir d'un échantillon.

## Exemple : Régression de la Taille en fonction du Poids

Sur les données du tableau 1.2, la première étape consiste à « regarder » les données pour vérifier qu'une liaison linéaire est envisageable (Proc GPLOT). Puis en deuxième étape on calcule le coefficient de corrélation (Proc CORR). Cette deuxième étape non indispensable en régression simple deviendra essentielle en régression multiple. Enfin on effectue une régression linéaire (Proc REG).

## Programme SAS

```sas
Proc gplot data=libreg.tailpoid;
  plot Y*X;
  title 'Graphique taille en fonction du Poids ';

Proc corr data=libreg.tailpoid;
  title 'Corrélation ';
  var Y X;

Proc REG data=libreg.tailpoid;
  title 'Régression de la Taille en fonction du Poids ';
  model y=x;
  run;
```
<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

Le coefficient de corrélation CORR entre Y et X vaut 0.83771.

## Sortie standard de la Proc REG sans options

<figure><img src="image_13.png" /></figure>

Dans la sortie de Proc REG on obtient d'abord le tableau d'analyse de la variance, puis les estimations des paramètres.
## Lecture de l'Analyse de la Variance

$$SS \text{ Model} = \sum_{i=1}^{n} (\hat{Y}_{i} - \bar{Y})^{2} = 280.52918$$

$$SS \text{ Error} = \sum_{i=1}^{n} (Y_{i} - \hat{Y}_{i})^{2} = 119.22082$$

$$SS \text{ Total} = 399.75$$

$$\text{Mean Square Model} = \frac{\sum_{i=1}^{n} (\hat{Y}_{i} - \bar{Y})^{2}}{p} = 280.52918$$

$$\text{Mean Square Error} = \frac{\sum_{i=1}^{n} (Y_{i} - \hat{Y}_{i})^{2}}{(n-p-1)} = 6.62338$$

$$\text{Root MSE} = \sqrt{\text{MS ERROR}} = 2.57359$$

$$\text{Dependant Mean} = \bar{Y} = 163.25$$

$$R^{2} = \frac{\text{SS Model}}{\text{SS Total}} = 0.7018 = \text{CORR}(X,Y)^{2} = (0.83771)^{2}.$$

## Autres indicateurs

$$\bullet \text{ CV} = 1.57647 \quad \text{C'est le Coefficient de Variation} = \frac{\text{Root MSE}}{\text{Dep Mean}} * 100$$

Le CV est un indicateur sans dimension -exprimé en %- permettant de comparer l'écart moyen résiduel à la moyenne de la variable dépendante Y. Ce pourcentage est plutôt utilisé pour comparer 2 modèles (donc 2 CV) portant sur le même jeu de données.

### Le coefficient R² ajusté, Adj R-sq

Le R² ajusté (utilisé en régression multiple) tient compte du nombre de paramètres du modèle.

$$R^{2}_{\text{ajusté}} = 1 - \frac{(n - \text{intercept})(1 - R^{2})}{n - p}$$

Avec Intercept=0, si il n'y a pas de constante $b_0$ à l'origine<fnref n="7" /> sinon Intercept =1.

Le reproche fait au coefficient de détermination est qu'il peut approcher la valeur 1, interprété comme un ajustement parfait, si on ajoute suffisamment de variables régresseurs.

Le R² ajusté tient compte du rapport p/n entre le nombre de paramètres du modèle et le nombre d'observations.

Selon certains auteurs ce coefficient permet de comparer des modèles de régression sur différents ensembles de données, mais il ne fait pas l'unanimité.

**Attention** : Adj R-sq peut prendre des valeurs inférieures à zéro !

<footnote n="7">⁷ S'il n'y a pas de constante $b_0$ à l'origine, les statistiques relatives à l'analyse de la variance n'ont pas la même interprétation.</footnote>
## Lecture du tableau des paramètres

Intercept = $b_0$ = 145.98 donne la valeur de la constante à l'origine. On peut remarquer que dans cet exemple, cette valeur n'a pas de signification dans le monde physique. On ne peut concevoir qu'à un poids de valeur nulle corresponde une taille de 145.98.

La pente de la droite (coefficient de X) = $b_1$ = 0.1703.

On l'interprète comme augmentation de la taille lorsque le poids augmente de une unité.

Equation de la droite : $\text{Taille} = 145.98 + 0.1703 * \text{Poids}$

La encore il faut se préserver de toute interprétation causale. Peut-on agir et augmenter le poids en espérant faire augmenter la taille ?

Nous verrons les autres indicateurs dans la suite du chapitre.

Pour mieux comprendre la technique de la régression, voyons certaines représentations géométriques.

### 1.2.6. Représentations géométriques

#### Régression simple de Y sur X

Afin d'avoir une idée géométrique de la régression prenons un exemple avec n=3 observations $(y_1,x_1)$, $(y_2,x_2)$ et $(y_3,x_3)$.

Le vecteur réponse $Y = (y_1,y_2,y_3)$, et le vecteur régresseur $X = (x_1,x_2,x_3)$ peuvent se représenter dans l'espace à 3 dimensions des observations. On nomme 1,2,3 les axes de ce repère.

Dans l'espace des observations représenté figure 1.6 <fnref n="8" />, la droite $\Delta$ des constantes a pour vecteur directeur (1,1,1).

<footnote n="8">⁸ La figure 1.6 est une synthèse des graphiques de DRAPER & SMITH (1966) pp112-113 et SAPORTA (2006) p208</footnote>
<figure><img src="image_14.png" /><figcaption>Figure 1.6 Régression de Y sur (X, Δ) dans l'espace des 3 observations.</figcaption></figure>

L'interprétation géométrique de la régression est la suivante :

Régresser Y sur (Δ et X) consiste à **projeter orthogonalement** Y sur le plan (Δ, X) ce qui donne le point P.

Si d'autre part on projette Y sur la droite Δ, on obtient le point Q.

Par le théorème des 3 droites perpendiculaires Q est aussi la projection orthogonale de P sur Δ.

Dans le triangle YQP, rectangle en P, on peut appliquer le théorème de Pythagore :

$$YQ^2 = YP^2 + PQ^2$$

$$\sum_{i} (Y_{i} - \bar{Y})^{2} = \sum_{i} (Y_{i} - \hat{Y}_{i})^{2} + \sum_{i} (\hat{Y}_{i} - \bar{Y})^{2}$$

La longueur $YQ^2$ représente la somme des carrés corrigée **SCE Totale (SS Total)**.

La longueur $YP^2$ représente la somme des carrés non expliquée par le régression **SCE Erreur (SS error)**.

La longueur $PQ^2$ représente la somme des carrés expliquée par la régression soit **SCE Modèle (SS model)**.

C'est l'équation fondamentale de l'analyse de la variance vue précédemment :

$$SS \text{ Total} = SS \text{ Model} + SS \text{ Error}$$
Le coefficient de détermination $R^2$ est le rapport $\frac{PQ^2}{YQ^2}$.

$R^2$ représente donc le carré du cosinus de l'angle (YQ, QP), c'est à dire l'angle entre Y et $\hat{Y}$.

**Plus l'angle entre Y et $\hat{Y}$ est faible, meilleur est le pouvoir explicatif du modèle.**

Et maintenant il suffit de généraliser mentalement à l'ordre n cette représentation à 3 dimensions.

**Remarque en régression multiple**

Si au lieu d'avoir une seule variable régresseur X, on avait plusieurs variables $X_1, \dots, X_p$, alors le plan de projection $(X, \Delta)$ serait remplacé par l'hyperplan formé par les vecteurs $X_1, \dots, X_p, \Delta$.

Régresser Y sur les p variables régresseurs consisterait à projeter orthogonalement Y sur l'hyperplan déterminé par $X_1, \dots, X_p, \Delta$.

**Distribution en un point fixé de X**

Jusqu'ici, on ne s'est appuyé que sur des calculs algébriques et sur des notions de géométrie, sans faire appel à des notions de statistique. On ne cherchait que la droite d'ajustement sur l'échantillon.

**Aucune supposition n'a été nécessaire dans toutes les démonstrations.**

Si maintenant, on souhaite utiliser les résultats obtenus à partir des observations, vues comme un échantillon, pour **inférer** sur la population, il faut faire appel à des notions de probabilité, et de statistique puisque dans les relevés de données (exemple : *Poids et Taille*) à notre disposition on n'a qu'un échantillon de valeurs et non toute la population.

Sur la figure 1.7, on remarque que pour une même valeur du *Poids*, par exemple 85, il y a plusieurs valeurs possibles de la *Taille* (158, 159, 160 et 162).

<figure><img src="image_15.png" /><figcaption>**Figure 1.7 Taille en fonction du Poids**</figcaption></figure>
Il n'y a pas de valeur unique associée à une valeur Xᵢ mais une distribution de valeurs.

Pour chaque valeur du poids (X) existe une distribution théorique des tailles (Y). Les valeurs de centrage sont les espérances des tailles de la population correspondant à chaque poids Xᵢ. L'espérance (moyenne théorique μᵢ) de chaque distribution de Y, est appelée « statistiquement parlant » l'espérance de Yᵢ sachant Xᵢ que l'on note E(Yᵢ/Xᵢ).

L'hypothèse de la régression linéaire est que les μᵢ sont alignés sur la vraie droite de régression qui est inconnue.

Remarque : pour simplifier l'écriture on note E(Yᵢ) au lieu de E(Yᵢ/Xᵢ), soit :

$$ \mu_i = E(Y_i) = \beta_0 + \beta_1 X_i $$

Représentation de X fixé et Y aléatoire

<figure><img src="image_16.png" /><figcaption>Figure1.8 Distributions de Y pour X fixé</figcaption></figure>

Pour un même poids X₁ fixé on a une distribution de taille Y₁, dont on a observé une réalisation y1, ou plusieurs.

Par exemple sur le graphique Taille*Poids de la figure 1.7, on remarque que pour X=46 on a une seule valeur observée Y=152, tandis que pour X=85 on observe plusieurs valeurs de Y (158, 159, 160 et 162).

Chaque Yᵢ est une variable aléatoire qui a une distribution de probabilité de Yᵢ sachant Xᵢ notée p(Yᵢ | Xᵢ). Des hypothèses sur la régularité de ces distributions devront être faites :
* les **distributions**, pour tous les points $X_i$, sont supposées **normales**

* les **espérances** des distributions sont centrées sur la droite de régression

* les **variances** de chaque $Y_i$ conditionnellement à $X_i$ sont toutes **égales**.

De plus les variables aléatoires $Y_i$ ne doivent pas être reliées entre elles, elles sont supposées **indépendantes**.

Ces suppositions se résument ainsi :

Les variables aléatoires $Y_i$ sont indépendantes,

d'espérance et de variance :

$$E(Y_i) = \beta_0 + \beta_1 X$$

$$\text{variance}(Y_i) = \sigma^2$$

Il faut avoir à l'esprit que $E(Y_i)$ est une espérance conditionnelle. De même lorsque l'on parle de variance de Y, c'est sous-entendu, variance conditionnellement à X.

## « Vraie » droite de régression et droite estimée par la régression

La figure 1.8 montrant les distributions de Y pour X fixé est une illustration du modèle de régression linéaire.

Toujours en supposant que le modèle linéaire postulé est le véritable modèle, on obtiendrait le vraie droite de régression $E(Y) = \beta_0 + \beta_1 X$, si on avait à notre disposition toute la population.

Comme on n'a qu'un échantillon d'observations, on n'a qu'une **estimation** $\hat{Y} = b_0 + b_1 X$ ou droite estimée par la régression.

## A propos des erreurs

L'erreur théorique $\varepsilon_i$ représente l'écart entre $Y_i$ observé et l'espérance $E(Y_i)$ non observable. On notera que $\varepsilon_i$ non plus n'est pas observable. Ce qui est observable c'est l'erreur $e_i$ correspondant à l'écart entre $Y_i$ observé et $\hat{Y}_i$, son estimation par le modèle.

Le résidu observé $e_i$ est une **estimation** de l'erreur inobservable $\varepsilon_i$.

## 1.3. Glissement fonctionnel de la méthode des Moindres Carrés Ordinaires à la Régression.

*De la théorie des erreurs en astronomie à l'étude des moyennes en sciences sociales, un siècle les sépare.*
### 1.3.1. De l'Astronomie...

Historiquement la méthode des moindres carrés à d'abord été développée par LEGENDRE en 1805, pour répondre à une question posée par les astronomers et les spécialistes de la géodésie comme le rapporte DESROSIÈRES (1993) :

> "Comment combiner des observations effectuées dans des conditions différentes, afin d'obtenir les meilleures estimations possibles de plusieurs grandeurs astronomiques ou terrestres liées entre elles par une relation linéaire?".

Ces grandeurs sont mesurées par des instruments imparfaits, et par des observateurs qui ne sont pas tous identiques. **Il y a des erreurs de mesures dans les observations.**

De là provient le vocabulaire : observation, écart, erreur ou résidu. Vous pouvez trouver sur internet une traduction anglaise de ce premier article scientifique de Legendre sur les moindres carrés (Least Squares)
http://www.stat.ucla.edu/history/legendre.pdf.

### 1.3.2. ... Aux Sciences Sociales

En s'appuyant sur :

1. Le théorème central limite (LAPLACE 1810) montrant que même si la distribution de probabilité des erreurs ne suit pas une loi normale, celle de la moyenne tend vers une loi normale, quand le nombre des observations s'accroît indéfiniment,

2. La synthèse opérée par Laplace et Gauss vers 1810 entre:

* comment combiner au mieux des observations imparfaites ?
Réponse : en utilisant le milieu (la moyenne),

* comment estimer le degré de confiance que mérite une estimation ?
Réponse : en terme de probabilité,

Galton inventeur de la "régression" et PEARSON inventeur de la "corrélation" appliquèrent l'ajustement des moindres carrés à des données sociales dans les années 1880.

Nous reproduisons ci-après le graphique<fnref n="9" /> de GALTON, révélateur d'une « *Reversion* », et accessible sur internet :
http://www.stat.ucla.edu/history/regression.gif.

### 1.3.3. Galton Diagram Regression

En 1885 GALTON réalisa le tableau qui croise la taille de 928 enfants (devenus adultes) nés de 203 parents, en fonction de la taille moyenne de leurs parents (la taille de la mère étant préalablement multipliée par un coefficient 1.08).

<footnote n="9">⁹ F GALTON, Regression towards mediocrity in hereditary stature", *Journal of the Anthropological Institute* 15 (1886), 246-263.</footnote>
<table><caption>Table 8.1. Galton's 1885 cross-tabulation of 928 adult children born of 205 midparents, by their height and their midparent's height.</caption><thead><tr><th rowspan="2">Height of the mid-parent in inches</th><th colspan="10">Height of the adult child</th><th rowspan="2">Total no. of adult children</th><th rowspan="2">Total no. of mid-parents</th><th rowspan="2">Medians</th></tr><tr><th>&lt;61.7</th><th>62.2</th><th>63.2</th><th>64.2</th><th>65.2</th><th>66.2</th><th>67.2</th><th>68.2</th><th>69.2</th><th>70.2</th><th>71.2</th><th>72.2</th><th>73.2</th><th>&gt;73.7</th></tr></thead><tbody><tr><td>&gt;73.0</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>1</td><td>3</td><td>—</td><td>4</td><td>5</td><td>—</td></tr><tr><td>72.5</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>1</td><td>2</td><td>1</td><td>2</td><td>2</td><td>7</td><td>2</td><td>—</td><td>19</td><td>6</td><td>72.9</td></tr><tr><td>71.5</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>3</td><td>5</td><td>10</td><td>4</td><td>9</td><td>2</td><td>2</td><td>—</td><td>43</td><td>11</td><td>69.9</td></tr><tr><td>70.5</td><td>1</td><td>—</td><td>1</td><td>1</td><td>1</td><td>3</td><td>12</td><td>18</td><td>14</td><td>7</td><td>4</td><td>3</td><td>3</td><td>—</td><td>68</td><td>22</td><td>69.5</td></tr><tr><td>69.5</td><td>—</td><td>—</td><td>1</td><td>16</td><td>4</td><td>17</td><td>27</td><td>20</td><td>33</td><td>25</td><td>20</td><td>11</td><td>4</td><td>5</td><td>183</td><td>41</td><td>68.9</td></tr><tr><td>68.5</td><td>1</td><td>—</td><td>7</td><td>11</td><td>16</td><td>25</td><td>31</td><td>34</td><td>48</td><td>21</td><td>18</td><td>4</td><td>3</td><td>—</td><td>219</td><td>49</td><td>68.2</td></tr><tr><td>67.5</td><td>—</td><td>3</td><td>5</td><td>14</td><td>15</td><td>36</td><td>38</td><td>28</td><td>38</td><td>19</td><td>11</td><td>4</td><td>—</td><td>—</td><td>211</td><td>33</td><td>67.6</td></tr><tr><td>66.5</td><td>—</td><td>3</td><td>3</td><td>5</td><td>2</td><td>17</td><td>17</td><td>14</td><td>13</td><td>4</td><td>—</td><td>—</td><td>—</td><td>—</td><td>78</td><td>20</td><td>67.2</td></tr><tr><td>65.5</td><td>1</td><td>—</td><td>9</td><td>5</td><td>7</td><td>11</td><td>11</td><td>7</td><td>7</td><td>5</td><td>2</td><td>1</td><td>—</td><td>—</td><td>66</td><td>12</td><td>66.7</td></tr><tr><td>64.5</td><td>1</td><td>1</td><td>4</td><td>4</td><td>1</td><td>5</td><td>5</td><td>—</td><td>2</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>23</td><td>5</td><td>65.8</td></tr><tr><td>&lt;64.0</td><td>1</td><td>—</td><td>2</td><td>4</td><td>1</td><td>2</td><td>2</td><td>1</td><td>1</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td><td>14</td><td>1</td><td>—</td></tr><tr><td>Totals</td><td>5</td><td>7</td><td>32</td><td>59</td><td>48</td><td>117</td><td>138</td><td>120</td><td>167</td><td>99</td><td>84</td><td>41</td><td>17</td><td>14</td><td>928</td><td>205</td><td>—</td></tr><tr><td>Medians</td><td>—</td><td>—</td><td>66.3</td><td>67.8</td><td>67.9</td><td>67.7</td><td>67.9</td><td>68.3</td><td>68.5</td><td>69.0</td><td>69.0</td><td>70.0</td><td>—</td><td>—</td><td>—</td><td>—</td><td>—</td></tr></tbody></table>

Source: Galton (1886a).

Note: All female heights were multiplied by 1.08 before tabulation. Galton added an explanatory footnote to the table: "In calculating the Medians, the entries have been taken as referring to the middle of the squares in which they stand. The reason why the headings run 62.2, 63.2, &c., instead of 62.5, 63.5, &c., is that the observations are unequally distributed between 62 and 63, 63 and 64, &c., there being a strong bias in favour of integral inches. After careful consideration, I concluded that the headings, as adopted, best satisfied the conditions. This inequality was not apparent in the case of the Mid-parents." Galton republished these data in 1889, where they are referred to as the R.F.F. Data (Record of Family Faculties); he then noted that the first row must be in error (four children cannot have five sets of parents), but he claimed that "the bottom line, which looks suspicious, is correct" (p. 208).

<figure><img src="image_17.png" /><figcaption>Figure 8.7. Galton's recorded regression of Table 8.1, with one of the "concentric and similar ellipses" drawn in. The geometric relationship of the two regression lines to the ellipse is also shown. (From Galton, 1886a.)</figcaption></figure>

<figure><img src="image_18.png" /></figure>

En présentant ce tableau sous forme d'un graphique, GALTON remarqua que l'on pouvait voir des ellipses de densités. Si les parents sont plus grands que la moyenne, les enfants seront également plus grands que la moyenne mais avec une taille plus proche de la moyenne que celle de leurs parents.

Si les parents sont de petites tailles, leurs enfants seront également plus petits que la moyenne, mais avec une taille plus proche de la moyenne que celle de leurs parents. Il y a régression vers la moyenne.

D'où le terme de « régression ».

Ce n'est que vers les années 1930 que le formalisme de la méthode des moindres carrés associé à une interprétation probabiliste est devenu la « Régression » (ARMATTE (1995)).
Le glissement des méthodes d'analyse, des erreurs en Astronomie vers des estimations de moyennes en Sciences Sociales, a conduit à appeler **erreur** ou **perturbation** ou encore **aléa**, l'écart de Y par rapport à sa moyenne.

Le modèle s'écrit :

$$ 
\begin{array}{l}
Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i \\
\text{où les erreurs } \varepsilon_i \text{ sont des aléas} \\
\text{indépendants} \\
\text{d'espérance} = 0 \\
\text{de variance } \sigma^2
\end{array}
$$

### 1.3.4. Formalisation des Suppositions

L'ensemble des suppositions nécessaires pour élaborer les tests statistiques se résume ainsi :

* l' erreur $\varepsilon_i$ est une variable aléatoire d'espérance nulle et de variance constante $\sigma^2$.

$$ E(\varepsilon_i) = 0 \text{ et } \mathrm{Var}(\varepsilon_i) = \sigma^2 $$

* l' erreur $\varepsilon_i$ est non corrélée à $\varepsilon_j$.

$$ \mathrm{Cov}(\varepsilon_i, \varepsilon_j) = 0 \text{ pour } i \neq j $$

* les erreurs $\varepsilon_i$ sont normalement distribuées

$$ \varepsilon_i \approx N(0, \sigma^2) $$

On résume souvent ces 3 suppositions par l'expression *"i i d selon une loi normale"* qui signifie

**Indépendantes et Identiquement Distribuées selon une loi normale**

Il faut de plus que les variables aléatoires Y conditionnellement à X soient indépendantes, et que les régresseurs $X_j$ soient non aléatoires et non corrélés.

Lorsque ces suppositions sont vérifiées, l'estimateur MCO est non biaisé et efficace (de variance minimum). En anglais on utilise l'acronyme BLUE (BEST Linear Unbiased Estimator)

Nous verrons au paragraphe suivant, comment interviennent ces suppositions sur les aléas dans les raisonnements statistiques.
## 1.4. Confiance à accorder aux résultats

Pour inférer de l'échantillon à la population dont sont issues les observations, la logique statistique nous conduit à effectuer des tests d'hypothèses, et à déterminer des intervalles de confiance autour des valeurs estimées.

Successivement on va chercher à :

* tester la signification globale de la régression,

* tester l'hypothèse nulle $β_1=0$ et à calculer l'intervalle de confiance de $β_1$,

* tester l'hypothèse nulle $β_0=0$ et à calculer l'intervalle de confiance de $β_0$,

* calculer la précision de l'estimation de Y pour la moyenne et pour une observation individuelle.

### 1.4.1. Test de la signification globale de la régression

Ce test a surtout un intérêt dans le cadre de la régresssion multiple, c'est à dire avec p régresseurs. En anticipant sur le chapitre 2, qui présente la régression multiple, on généralise le modèle de régression à un régresseur au cas d'un modèle à p régresseurs $X_1, X_2, \dots, X_p$ :

$$ \mu_i = E(Y_i) = \beta_0 + \beta_1 X_1 + \dots + \beta_p X_p $$

Ce test permet de connaître l'apport global de l'ensemble des variables $X_1, \dots, X_p$ à la détermination de Y.

On veut tester l'hypothèse nulle :

$H_0: \beta_1 = \dots = \beta_p = 0$ contre

$H_a$: Il existe au moins un $\beta_j$ parmi $\beta_1, \dots, \beta_p$ non égal à 0.

On calcule la statistique de test

$$ F = \frac{\text{MS model}}{\text{MS error}} $$

avec $\text{MSmodel} = \frac{\text{SS model}}{\text{p}}$ et $\text{MSerror} = \frac{\text{SS error}}{n-p-1}$ représentant respectivement

une somme de carrés des écarts moyens respectivement pour le modèle et pour l'erreur.

**Si $H_0$ est vraie et sous réserve des suppositions suivantes, ce rapport F est une valeur observée d'une variable qui suit une loi de Fisher-Snedecor à p et n-p-1 degrés de liberté.**

Si les $\varepsilon_i$ sont indépendants et suivent une loi normale de même variance
$$ \varepsilon_i \approx N(0, \sigma^2) $$
Alors la statistique F suit une loi de Fisher-Snedecor

$$F = \frac{\text{MS model}}{\text{MS error}} \approx F(p, n-p-1)$$

## Règle de décision

Si $F$ observé $\ge$ $F_{1-\alpha}$ ($p$, $n-p-1$)

Alors $H_0$: $\beta_1 = \cdots = \beta_p = 0$ doit être rejetée au niveau $\alpha$

où $F_{1-\alpha}$ ($p$, $n-p-1$) représente le quantile d'ordre $(1-\alpha)$ de la loi de Fisher-Snedecor à ($p$) et ($n-p-1$) degrés de liberté.

**Note:** Dans SAS, la fonction de répartition inverse pour une loi de Fisher-Snedecor est donnée par la fonction FINV.

Instruction SAS $\Rightarrow$ $F = FINV(1-\alpha, p, n-p-1)$

Avec $n=$ nombre d'observations et $p =$ nombre de régresseurs (non compris la constante).

Pour éviter de raisonner sur F, SAS fournit la *p-value* associée au F observé. La *p-value* est le niveau de significativité du test de Fisher-Snedecor, c'est-à-dire la probabilité de dépasser le F observé si l'hypothèse nulle est vraie.
On compare la *p-value* au risque $\alpha$ choisi (par exemple $\alpha=0.05$).

## Raisonnement sur la p-value

Si $\text{p-value} \le \alpha$
Alors on rejette l'hypothèse nulle $\beta_1 = \cdots = \beta_p = 0$

## Interprétation

On dit que la régression est significative au niveau $\alpha$.

Le modèle retenu améliore la prévision de Y par rapport à la simple moyenne des Y.

Pour la régresssion simple, ce test porte uniquement sur le paramètre $\beta_1$.

Ce test fournit un moyen d'apprécier la régression dans son ensemble, ce qui ne signifie pas que chacun des coefficients de la régression soit significativement différent de 0.

### 1.4.2. Statistiques liées au paramètre $\beta_1$

Pour s'assurer de la significativité du paramètre $\beta_1$, on va dans une première étape calculer la variance de $b_1$, puis en deuxième étape tester l'hypothèse nulle $\beta_1=0$, en troisième étape on pourra alors déterminer un intervalle de confiance pour $\beta_1$ autour de $b_1$.
## Calcul de la variance de b₁

On a vu que $b_1$ est le rapport de la covariance entre X et Y divisé par la variance de X :

$$b_1 = \frac{\sum (X_i - \bar{X})(Y_i - \bar{Y})}{\sum (X_i - \bar{X})^2}$$

On développe le numérateur :

$$b_1 = \frac{\sum (X_i - \bar{X})Y_i - \bar{Y}\sum (X_i - \bar{X})}{\sum (X_i - \bar{X})^2}$$

Comme le 2ème terme du numérateur est nul, par définition de la moyenne $\sum (X_i - \bar{X}) = 0$, il ne reste que le 1er terme :

$$b_1 = \frac{((X_1 - \bar{X})Y_1 + \cdots + (X_n - \bar{X})Y_n)}{\sum (X_i - \bar{X})^2}$$

On ne peut calculer la variance de $b_1$ que si on fait des suppositions sur les $X_i$ et sur les liaisons entre les $Y_i$.

### Suppositions pour calculer la variance de b₁

* Si les $X_i$ sont non aléatoires

* Si les $Y_i$ sont non corrélés et de même variance $\sigma^2$

* Et comme par construction $\text{Cov}(\bar{Y}, b_1) = 0$

Alors :

$$\text{Var}(b_1) = a_1^2 \text{Var}(Y_1) + \cdots + a_n^2 \text{Var}(Y_n)$$

avec $a_i = \frac{(X_i - \bar{X})}{\sum (X_i - \bar{X})^2}$ assimilés à des constantes

Ce qui permet d'aboutir à :

$\sigma^2$ représente la variance **inconnue** de Y. Il faut de nouveau faire une supposition.

### Supposition

* Si le modèle postulé est le modèle correct

* Alors $\sigma^2$ peut être estimé par les erreurs entre les $Y_i$

* observés et $\hat{Y}_i$
$$ \text{Mean Square Error} = \text{MSE} = s^2 = \frac{\sum (Y_i - \hat{Y}_i)^2}{n-2} $$

$$ \text{Note : Pour la régression multiple : } \text{MSE} = s^2 = \frac{\sum (Y_i - \hat{Y}_i)^2}{n-p-1} $$

Compte tenu de toutes ces suppositions, l'estimateur de l'écart-type de $b_1$ devient :

$$ s(b_1) = \frac{s}{\sqrt{\sum (X_i - \bar{X})^2}} $$

**Remarques:**

* La variance de $b_1$ est inversement proportionnelle à la dispersion des $X_i$ autour de la moyenne.

Donc, si on veut améliorer la précision de $b_1$ il faut, si possible, augmenter la variance empirique des $X_i$.

* La variance de $b_1$ est inversement proportionnelle à (n-2), n étant la taille de l'échantillon.

Donc, si on veut améliorer la précision de $b_1$ il faut augmenter la taille de l'échantillon.

**Test portant sur le paramètre $\beta_1$**

On s'intéresse au test de l'hypothèse nulle:

$H_0 : \text{paramètre } \beta_1 = 0$ contre $H_a : \text{paramètre } \beta_1 \neq 0$

$$ \text{On calcule la statistique de test } T_{\text{observé}} = \frac{b_1}{s(b_1)} $$

Si $\beta_1=0$ la statistique $T_{\text{observé}}$ suit une loi de Student, **sous l'hypothèse** que les erreurs soient indépendantes et identiquement distribuées selon la loi Normale.

**Suppositions**

Si $\beta_1 = 0$

Si $\varepsilon_i \approx N(0, \sigma^2)$

Alors $T$ observé suit une loi de Student à n-1 degrés de liberté

**Raisonnement**

On compare la *p-value* associée à $T$ observé, au risque $\alpha$ choisi (par ex: $\alpha=0.05$).

Si $\text{p-value} \le \alpha$

Alors on rejette l'hypothèse $\beta_1 = 0$

Conclusion : $\beta_1$ est significativement différent de zéro au niveau $\alpha$
## Calcul de l'intervalle de confiance de β₁

On peut calculer un intervalle de confiance (IC de niveau 1-α) autour de b₁, ce qui permet de statuer sur le paramètre β₁ :

$$IC_{1-\alpha}(\beta_1)=[b_1 - t_{1-\alpha/2} \cdot s(b_1); b_1 + t_{1-\alpha/2} \cdot s(b_1)]$$

où $t_{1-\alpha/2}$ représente le quantile d'ordre $1-\alpha/2$ de la loi de Student à (n-2) degrés de liberté.

### Note

* Dans SAS, la fonction de répartition inverse pour une loi de Student est donnée par la fonction TINV.

Instruction SAS $\Rightarrow$ T = TINV(1 - α/2, n - 2) avec n= nombre d'observations

* Dans le cas de la régression multiple avec p=nombre de régresseurs, la formule précédente devient:

Instruction SAS $\Rightarrow$ T = TINV(1 - α/2, n - p - 1)

En pratique : si α=5% et si n est assez grand (n>30), pour approcher la loi de Student par la loi Normale,

Alors

$$IC_{0.95}(\beta_1)=[b_1 - 1.96 \cdot s(b_1); b_1 + 1.96 \cdot s(b_1)]$$

### Interprétation

Si la valeur 0 est dans l'intervalle de confiance de $β₁$, alors l'introduction de la variable X dans le modèle n'apporte aucun pouvoir explicatif sur Y.

### 1.4.3. Statistiques liées au paramètre β₀

La première étape consiste à calculer la variance de $b_0$, puis en deuxième étape à tester l'hypothèse nulle $β_0=0$, en troisième étape on pourra alors déterminer un intervalle de confiance pour $β_0$.

#### Calcul de la variance de $b_0$

On a vu que $b_0$ vaut :

$$b_0 = \bar{Y} - b_1 \bar{X}$$

la variance vaut:

$$\text{Var}(b_0) = \text{Var}(\bar{Y} - b_1 \bar{X})$$

#### Raisonnement pour calculer la variance de $b_0$

Pour pouvoir calculer la variance il faut faire des suppositions sur les termes de cette expression.

On suppose que les $X_i$ sont non aléatoires.
Seuls la moyenne des $Y_i$ et le coefficient $b_1$ sont des variables aléatoires. On peut montrer de plus que la covariance entre $\bar{Y}$ et le coefficient $b_1$ est nulle<fnref n="10" />.

**Suppositions** pour calculer la variance de $b_0$

Si les $X_i$ sont non aléatoires

Si les $Y_i$ sont non corrélés et de même variance $\sigma^2$

Et comme par construction $\text{Cov}(\bar{Y}, b_1) = 0$

Alors :

$$ 
\begin{aligned}
\text{Var}(b_0) &= \text{Var}(\bar{Y}) + \bar{X}^2 \text{Var}(b_1) = \\
&= \frac{\sigma^2}{n} + \bar{X}^2 \frac{\sigma^2}{\sum (X_i - \bar{X})^2} = \frac{\sigma^2 \sum X_i^2}{n \sum (X_i - \bar{X})^2}
\end{aligned}
$$

$\sigma^2$ représente la variance **inconnue** de Y. Il faut de nouveau faire une supposition.

**Supposition**

Si le modèle postulé est le modèle correct

Alors $\sigma^2$ peut être estimé par les erreurs entre les Y observés et $\hat{Y}$

$$ s^2 = \frac{\sum (Y_i - \hat{Y}_i)^2}{n - 2} = \text{MSE} $$

L'estimateur de la variance de $b_0$ devient :

$$ s^2(b_0) = \frac{s^2 \sum X_i^2}{n \sum (X_i - \bar{X})^2} $$

**Remarque:**

La variance de $b_0$ est proportionnelle à la somme des carrés des $X_i$.

Si le plan d'expérience est tel que les valeurs des $X_i$ sont très grandes, la variance de $b_0$ sera très grande, et l'estimation de $b_0$ n'aura aucune signification.

**Test portant sur le paramètre $\beta_0$**

Test de l'hypothèse nulle $H_0 : \text{paramètre } \beta_0 = 0$ contre $H_a : \text{paramètre } \beta_0 \neq 0$

On calcule la statistique de test

$$ \text{Tobservé} = \frac{b_0}{s(b_0)} $$

<footnote n="10">¹⁰ voir démonstration dans NETER, WASSERMAN, KUTNER pp75-77.</footnote>
Si $\beta_0=0$ la statistique T observé suit une loi de Student à n-2 degrés de liberté, sous l'hypothèse que les erreurs sont indépendantes et identiquement distribuées selon la loi Normale.

### Supposition

Si $\epsilon_i \approx N(0, \sigma^2)$
Alors T observé suit une loi de Student

### Raisonnement

On compare la *p-value* associée à T observé, c'est-à-dire la probabilité de dépasser le T observé en valeur absolue, au risque $\alpha$ choisi (par exemple $\alpha=0.05$).

Si p-value $\le \alpha$
Alors on rejette l'hypothèse $\beta_0 = 0$

Conclusion $\beta_0$ est significativement différent de zéro au niveau $\alpha$

### Calcul de l'intervalle de confiance de $\beta_0$

On peut assigner un intervalle de confiance autour de $b_0$, ce qui permet de statuer sur le paramètre $\beta_0$:

$$IC_{1-\alpha}(\beta_0)=[b_0 - t_{1-\alpha/2} \cdot s(b_0)] \beta_0 + t_{1-\alpha/2} \cdot s(b_0)$$

où $t_{1-\alpha/2}$ représente le quantile d'ordre $1-\alpha/2$ de la loi de Student à n-2 degrés de liberté.

### Note

* Dans SAS, la fonction de répartition inverse pour une loi de Student est donnée par la fonction TINV.

Instruction SAS $\Rightarrow$ T = TINV(1 - $\alpha$ / 2, n - 2) avec n= nombre d'observations

* Dans le cas de la régression multiple avec $p$=nombre de régresseurs, la formule précédente devient:

Instruction SAS $\Rightarrow$ T = TINV(1 - $\alpha$ / 2, n - $p$ - 1)

En pratique si on choisit le risque $\alpha=5\%$ et si n est assez grand ($n>30$) pour approcher la loi de Student par la loi Normale, alors l'intervalle de confiance de $\beta_0$ à 95% est donné par :

$$IC_{0.95}(\beta_0)=[b_0 - 1.96 \cdot s(b_0)] \beta_0 + 1.96 \cdot s(b_0)$$
## Interprétation

Si la valeur 0 est dans l'intervalle de confiance de β₀, alors la droite de régression passe par l'origine.

## Exemple d'estimation des paramètres avec Proc REG

Sur l'exemple de la Taille en fonction du Poids

## Programme SAS

```
Proc REG data=libreg.tailpoid outest=TableSortie;
title 'Régression de la Taille en fonction du Poids ';
model y=x;
proc Print;
title "Table de l'option outest";
run;
```

## Sortie de Proc REG

<figure><img src="image_19.png" /></figure>

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>

## Interprétation du test de la signification globale de la régression

La statistique F = (MS model / MS error) = (280.529 / 6.62) = 42.35 indique que globalement le modèle avec le régresseur Poids améliore la prévision de la Taille, par rapport à la moyenne seule dans le modèle.
## Interprétation des estimations des paramètres

L'estimateur de $\beta_0$ a pour valeur 145.98994. Son écart type vaut 2.71384.

La statistique de Test t value = $\frac{145.9894}{2.71384} = 53.79$ et sa p value associée est bien inférieure au seuil 0.05.

On rejette l'hypothèse que $\beta_0 = 0$ avec une grande confiance.

Même raisonnement pour l'estimateur de $\beta_1$ qui a pour valeur 0.17030.

### Note

Dans le cas de la régression simple la statistique de test de l'estimateur de $\beta_1$ et lié à $F : F = (t value)^2$

Dans la table en sortie par l'option `outest=`, SAS enregistre RMSE et les valeurs des paramètres.

SAS n'imprime pas en standard les intervalles de confiance des paramètres mais on peut les récupérer dans cette table en sortie, en utilisant l'option `outest=` et le mot clé `Tableout`.

## Programme SAS

```
Proc REG data=libreg.tailpoid outest=TableSortie Tableout;
title 'Régression de la Taille en fonction du Poids ';
model y=x;
proc PRINT data=TableSortie;
title "Table produite par l'option outest avec le mot clé Tableout";
run;
```

<figure><img src="image_22.png" /></figure>

Les lignes L95B et U95B donnent les intervalles de confiance à 95% des paramètres.

### 1.4.4. Précision sur l'estimation de Y

On a vu que pour chaque valeur $X_i$ fixée, la **vraie droite de régression** était le lieu de l'espérance (i.e. la **valeur moyenne**) de Y et que les Y devaient théoriquement se distribuer selon une loi normale centrée sur cette droite avec une variance théorique $\sigma^2$.
Pour évaluer la précision sur l'estimation de Y on aura deux optiques à considérer, soit on s'intéressera à l'intervalle de confiance autour de l'estimation de la droite de régression, soit on s'intéresse à l'intervalle de prévision de Y en fonction de X.

## Intervalle de confiance autour de l'estimation de la droite de régression

Soit $X_k$ représentant un niveau particulier de X pour lequel nous voulons estimer la valeur moyenne de Y. $X_k$ peut être une valeur connue dans l'échantillon, ou une autre valeur de la variable régresseur non repérée dans l'échantillon. La réponse moyenne quand $X=X_k$ est notée $E(Y_k)$. L'estimateur de $E(Y_k)$ est noté $\hat{Y}_k$.

Il faut voir la distribution d'échantillonnage de $\hat{Y}_k$, comme la distribution que l'on obtiendrait si on effectuait des mesures répétées en $X_k$.

### Calcul de l'erreur-type sur $\hat{Y}_k$

On a vu que l'estimation de $E(Y_k)$ est donnée par :

$$ \hat{Y}_k = \bar{Y} + b_1(X - \bar{X}_k) $$

Plaçons-nous en un point $X_k$ et calculons la variance de $\hat{Y}_k$ :

$$ \mathrm{Var}(\hat{Y}_k) = \mathrm{Var}(\bar{Y} + b_1(X - \bar{X}_k)) $$

Pour pouvoir calculer la variance il faut faire des suppositions sur les termes de cette expression.

Comme précédemment on suppose que les $X_i$ sont non aléatoires.

Seuls la moyenne des $Y_i$ et le coefficient $b_1$ sont des variables aléatoires. On peut montrer de plus que la covariance entre $\bar{Y}$ et le coefficient $b_1$ est nulle<fnref n="11" />.

**Suppositions** pour calculer la variance de $\hat{Y}_k$

* Si les $X_i$ sont non aléatoires

* Si les $Y_i$ sont non corrélés et de même variance $\sigma^2$

* Et comme par construction $\mathrm{Cov}(\bar{Y}, b_1) = 0$

Alors :

$$ \begin{align*} \mathrm{Var}(\hat{Y}_k) &= \mathrm{Var}(\bar{Y}) + (X_k - \bar{X})^2 \mathrm{Var}(b_1) = \\ &= \frac{\sigma^2}{n} + (X_k - \bar{X})^2 \frac{\sigma^2}{\sum (X_i - \bar{X})^2} \end{align*} $$

Comme précédemment, on ne connaît pas la variance théorique $\sigma^2$ de Y. Il faut l'estimer.

<footnote n="11">¹¹ voir démonstration dans NETER, WASSERMAN, KUTNER pp75-77.</footnote>
## Supposition

Si le modèle postulé est le modèle correct

Alors $\sigma^2$ peut être estimé par les erreurs entre les Y observés et $\hat{Y}$

$$s^2 = \frac{\sum (Y_i - \hat{Y}_i)^2}{n - 2} = \text{MSE}$$

L'estimateur de l'erreur-type de $\hat{Y}_k$ devient : $$s(\hat{Y}_k) = s\left[ \frac{1}{n} + \frac{(X_k - \bar{X})^2}{\sqrt{\sum (X_i - \bar{X})^2}} \right]^{1/2}$$

### Calcul de l'intervalle de confiance de $\hat{Y}_k$

On montre que pour un modèle de régression la statistique $\frac{\hat{Y}_k - E(Y)}{s(\hat{Y}_k)}$ suit une distribution de Student à (n-2) degrés de liberté.

La **vraie valeur moyenne** $\mu_k$ de Y pour un $X_k$ a une probabilité égale à (1-α) d'appartenir à l'intervalle de confiance :

$$\text{IC}_{1-\alpha}(E(Y_k)) = [\hat{Y}_k - t_{1-\alpha/2} \cdot s(\hat{Y}_k); \hat{Y}_k + t_{1-\alpha/2} \cdot s(\hat{Y}_k)]$$

L'intervalle de confiance de $\hat{Y}_k$ se matérialise par deux lignes courbes, des hyperboles, comme le montre la figure 1.9.

<figure><img src="image_23.png" /><figcaption>Figure 1.9 Intervalle de confiance à 95% de la moyenne des Tailles selon les valeurs des Poids</figcaption></figure>

A propos de la largeur de l'intervalle de confiance, on peut faire les remarques suivantes :
* La largeur varie en fonction de $(X_k - \bar{X})$

* La largeur est minimum au point $X_k = \bar{X}$

C'est dire que la précision est la **meilleure**, au **centre de gravité** du nuage des points

* La largeur croît lorsqu'on s'éloigne du centre de gravité. La précision est la plus **mauvaise** aux **extrémités** du nuage de points.

## Intervalle de prévision de Y sachant X

Ici on s'intéresse à la prévision d'une nouvelle observation individuelle de Y pour une valeur $X_k$, de la variable X et non pas à la valeur moyenne de Y.

Dans ce cas, la variance de Y a deux composantes :

1. la variance de la position centrale de la distribution d'échantillonnage de $\hat{Y}_k$, cf. calcul réalisé au paragraphe précédent

2. la variance $\sigma^2$ de la distribution de Y autour de sa position centrale au point $X = X_k$. Comme précédemment, on estime $\sigma^2$ par $s^2$.

Pour une explication visuelle de cette décomposition<fnref n="12" /> voir la figure 1.10.

<figure><img src="image_24.png" /><figcaption>Figure 1.10 Illustration de la prédiction d'une nouvelle observation individuelle de Y</figcaption></figure>

L'estimateur de l'erreur-type de Y sachant X devient :

$$s^2 + s^2(\hat{Y}_k) = s^2 \left[ 1 + \frac{1}{n} + \frac{(X_k - \bar{X})^2}{\sqrt{\sum (X_i - \bar{X})^2}} \right]$$

L'intervalle de confiance d'une prévision de Y sachant X se matérialise là aussi par deux lignes courbes décalées d'une distance "s" par rapport à l'intervalle de confiance calculé pour la moyenne de $Y_k$.

<footnote n="12">¹²Source : NETER, WASSERMAN et KUTNER, p82.</footnote>
Les remarques faites précédemment sur l'estimation de la moyenne de $Y_k$ sont les mêmes que celles faites pour une observation individuelle. A savoir, la largeur de l'intervalle de confiance varie en fonction de $(X_k - \bar{X})$, c'est au centre de gravité du nuage de points que la précision est la meilleure, et aux extrémités du nuage de points que cette précision est la plus mauvaise.

<figure><img src="image_25.png" /><figcaption>Figure 1.11 Intervalle de confiance à 95% des prévisions individuelles des Tailles</figcaption></figure>

Sur la figure 1.11 on voit que l'intervalle de confiance des prévisions individuelles est évidemment plus grand que l'intervalle de confiance des moyennes théoriques.

**Attention**

En prévision et dans un cadre temporel, on cherche à estimer aux extrémités de la plage de variation de X, or c'est justement là que la précision est la moins bonne!

**Exemple avec les options CLI CLM de la Proc REG**

Les options CLI (Confidence Limit Individual) et CLM (Confidence Limit Mean) de l'instruction **model** de Proc REG donnent ces intervalles de confiance.

Pour sauvegarder ces valeurs dans une table SAS il faut utiliser l'instruction **Output**.

**Programme SAS**

```sas
Proc REG data=libreg.tailpoid;
title 'Régression de la Taille en fonction du Poids ';
model y=x /CLI CLM;
Output Out=Table2 Predicted=Pred residual=Residu
    LCL=Borne_Inf_ind UCL=Borne_Sup_Ind
    LCLM=Borne_Inf_Moy UCLM=Borne_Sup_Moy;
proc PRINT data=Table2; title "Table produite par
l'instruction OUTPUT";
run;
```
# Sortie de PROC REG

<figure><img src="image_26.png" /></figure>

## Lecture :

Les options CLM CLI donne pour chaque observation, les valeurs :

Dependant variable : Y

Predicted Value : Ŷ

Std Error mean predict : erreur-type au point $X_i$

95% CL Mean : les 2 colonnes suivantes donnent les bornes inférieure et supérieure de l'intervalle de prédiction à 95% de la moyenne.

95% CL Predict : les 2 colonnes suivantes donnent les bornes inférieure et supérieure de l'intervalle pour une prédiction individuelle.

Residual : résidu

L'instruction Output avec les mots clés LCL UCL LCLM UCLM permettent de récupérer ces statistiques dans une table SAS:

<figure><img src="image_27.png" /></figure>
## 2. La régression linéaire multiple

Dans ce chapitre nous reprenons les concepts de la régression linéaire simple pour les formaliser et les étendre à la régression multiple. Nous présentons les différentes formes de décomposition de sommes de carrés (Sum of Squares) et commentons les résultats obtenus avec la procédure REG.

### 2.1. Le critère des moindres carrés

Tout comme en régression linéaire simple; la régression linéaire multiple cherche à approximer une relation fonctionnelle trop complexe en général, par une fonction mathématique simple telle qu'une équation de la forme:

$$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_p X_p + \varepsilon$$

Reprenons le résumé des concepts de la régression linéaire présenté au chapitre 1. L'équation de régression ou modèle postulé, met en relation:

* Y : variable **réponse** (à expliquer ou variable dépendante).

* Xj : variables **régresseurs** (explicatives ou variables indépendantes).

Cette équation est **linéaire** par rapport aux **paramètres** (coefficients de régression) β₀, β₁, ..., βₚ. Le modèle est dit linéaire. Ces paramètres sont inconnus, on les estime en minimisant le critère des moindres carrés (MCO ou Ordinary Least Squares). Le critère des moindres carrés correspond à la minimisation de la somme des carrés des écarts (SC Erreur en français, SS Error en anglais) entre Y observé et Y estimé par l'équation de régression.

Y estimé est noté Y.

$$\hat{Y}_i = b_0 + b_1 X_{1i} + \dots + b_p X_{pi}$$

avec:

Y : variable réponse

Xj : p variables régresseurs, j=1,...,p

i : indice de l'observation courante, i=1,...,n

n : le nombre d'observations.

Les valeurs qui minimisent ce critère sont des estimations b₀, b₁, ..., bₚ des paramètres β₀, β₁, ..., βₚ inconnus.

### Estimation des paramètres du modèle

Dans le cas d'un modèle à p variables régresseurs le critère des moindres carrés s'écrit:
$$ S(\beta_0, \dots, \beta_p) = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 = \sum_{i=1}^{n} \varepsilon_i^2 = \sum_{i=1}^{n} (Y_i - \beta_0 - \beta_1 X_{1i} - \dots - \beta_p X_{pi})^2 $$

Les valeurs des $\beta$ qui minimisent ce critère seront les solutions $b_0, b_1, \dots, b_p$ du système linéaire de (p+1) équations à (p+1) inconnues.

$$ \begin{align*} S_{11}b_1 + S_{12}b_2 + \dots + S_{1p}b_p &= S_{1y} \\ \vdots & \\ S_{p1}b_1 + S_{p2}b_2 + \dots + S_{pp}b_p &= S_{py} \end{align*} $$

Avec

$$ S_{kj} = \sum_{i=1,n} (X_{ki} - \bar{X}_k)(X_{ji} - \bar{X}_j) \quad \text{pour } k,j=1,2,\dots,p $$

$$ S_{ky} = \sum_{i=1,n} (X_{ki} - \bar{X}_k)(Y_i - \bar{Y}) \quad \text{pour } k=1,2,\dots,p $$

Pour résoudre un tel système linéaire les mathématiciens ont développé le calcul (algèbre) matriciel qui permet une présentation et des traitements compacts de grands tableaux de données. La notation matricielle est donc devenue l'unique moyen d'appréhender la régression multiple. Cependant cette présentation cache bien des difficultés du point de vue des résolutions numériques sur données réelles.

Les estimateurs des moindres carrés estiment les paramètres inconnus $\beta_0, \beta_1, \dots, \beta_p$ avec une certaine précision. Sous les suppositions que les erreurs sont indépendantes et identiquement distribuées selon une loi normale, les estimateurs MCO sont centrés sur une valeur à laquelle est associé un intervalle de confiance. L'intervalle de confiance dépend de l'adéquation du modèle aux données, adéquation qui dépend des erreurs inconnues $\varepsilon_i$ :

$$ \varepsilon_i = Y_i - E(Y_i) $$

## 2.2. Formalisation de la régression linéaire multiple

En notation matricielle :

* $Y$ est le vecteur colonne des n observations de la variable réponse

* $X(n,p)$ la matrice des observations des p vecteurs $X_i$, chacun de dimension $(n,1)$.

A cette matrice on ajoute en première colonne un vecteur constitué uniquement de 1. Ce vecteur correspond à la constante $X_0$. La matrice X est alors de dimension $(n,p+1)$.

Cette représentation permet de traiter la constante $X_0$ comme une variable explicative.
* $\beta$ est le vecteur colonne des $(p+1)$ coefficients de régression ou paramètres inconnus $\beta_i$.

* $\varepsilon$ représente le vecteur des erreurs.

$$Y = \begin{vmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{vmatrix}$$

$$X = \begin{vmatrix} 1 & X_{11} & X_{12} & \cdots & X_{1p} \\ 1 & & & & \\ 1 & & & & \\ \vdots & & & & \\ 1 & X_{n1} & X_{n2} & \cdots & X_{np} \end{vmatrix}$$

$$\beta = \begin{vmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots \\ \beta_p \end{vmatrix}$$

$$\varepsilon = \begin{vmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \vdots \\ \varepsilon_n \end{vmatrix}$$

le modèle s'écrit: $Y = X\beta + \varepsilon$

Y estimé par le modèle de régression s'écrit:

$$\hat{Y} = X\hat{\beta} = XB$$

Le vecteur colonne $\hat{\beta}$ (noté aussi $B$) représente le vecteur des estimateurs $b_i$ des moindres carrés des paramètres inconnus $\beta$.

Les notations matricielles permettent d'écrire simplement le système à résoudre pour trouver les coefficients $b_i$ qui minimisent le critère des moindres carrés:

$$(X'X)B = (X'Y)$$

$X'$ désignant la matrice transposée de $X$.

Le vecteur $B$ des coefficients solution s'obtient en inversant la matrice $(X'X)$:

$$B = (X'X)^{-1} \cdot (X'Y)$$

La résolution de ce système n'est pas toujours possible. Cette résolution est liée à la possibilité d'inversion de la matrice $(X'X)$.

Supposons que 2 variables $X_i$ et $X_j$ soient corrélées entre elles c'est-à-dire qu'il existe une relation linéaire permettant de passer de $X_i$ à $X_j$ on a alors 2 lignes de la matrice $(X'X)$ qui sont proportionnelles et lorsque l'on veut résoudre le système il ne reste plus que p équations indépendantes et toujours $(p+1)$ inconnues à trouver.
Le système est indéterminé, il existe une infinité de solutions.

Les variances des estimateurs (b) sont les éléments diagonaux de la matrice de variance-covariance des X inversée multipliés par la variance des erreurs $\sigma^2$.

$$\sigma^2(b) = \sigma^2(X'X)^{-1}$$

Comme pour la régression simple $\sigma^2$ est estimé par $$MSE = \frac{\text{SS error}}{n-p-1}$$
Les variances des estimateurs dépendent des éléments diagonaux de la matrice à inverser. Si des régresseurs sont corrélés, les variances des estimateurs des paramètres sont élevées, et les estimations sont instables (non robustes). Un exemple de cette instabilité sera donné au chapitre 4.

## La matrice H

A partir de l'expression du vecteur B des estimateurs des coefficients on peut calculer l'estimation de Y:

$$ \hat{Y} = XB $$

$$ \hat{Y} = X(X'X)^{-1}X'Y $$

$$ \hat{Y} = HY $$

avec

$$ H = X(X'X)^{-1}X' $$

Cette matrice H - *H comme Hat matrice* - qui ne comporte que des données relatives aux variables régresseurs va jouer un rôle important, et son usage sera développé au chapitre 4.

## 2.3. Exemples de régression linéaire multiple avec Proc REG

### 2.3.1. Présentation des données

Pour présenter la régression multiple avec quelques options de Proc REG, nous avons repris l'exemple de la chenille processionnaire du pin traité dans l'ouvrage de TOMASSONE & al. Cet exemple est fréquemment analysé dans la littérature française (voir FOUCART, AZAIS-BARBET). On pourra ainsi, avec leurs ouvrages, poursuivre des analyses plus complexes de ces données.

Le fichier de données est composé de 33 placettes où sont plantés des arbres infectés par des nids de chenille « procesionnaire du pin », une variable réponse (X11 et sa transformée en Log et dix variables régresseurs potentiels (X1-X10)).

« Les expérimentateurs souhaitent connaître l'influence de certaines caractéristiques de peuplements forestiers (variables régresseurs X1-X10) sur le développement de la chenille processionnaire du pin (variable réponse X11 ou son logarithme) ».

* X11 : Nombre de nids de processionnaires par arbre d'une placette.

* Log = Log(X11), transformation de la variable X11 par son logarithme

* X1 : Altitude (en mètre)

* X2 : pente (en degré)

* X3 : nombre de pins dans une placette de 5 ares

* X4 : hauteur de l'arbre échantillonné au centre de la placette

* X5 : diamètre de cet arbre
X6 : note de densité de peuplement

X7 : orientation de la placette

(1 orientation vers le sud, 2 autre)

X8 : Hauteur (en m) des arbres dominants

X9 : nombre de strates de végétation

X10 : mélange du peuplement (1 pas mélangé, 0 mélangé)

## Données de base

<table><caption>Données Chenille processionnaire de TOMASSONE</caption><thead><tr><th>Obs</th><th>X1</th><th>X2</th><th>X3</th><th>X4</th><th>X5</th><th>X6</th><th>X7</th><th>X8</th><th>X9</th><th>X10</th><th>X11</th><th>log</th></tr></thead><tbody><tr><td>1</td><td>1200</td><td>22</td><td>1</td><td>4.0</td><td>14.8</td><td>1.0</td><td>1.1</td><td>5.9</td><td>1.4</td><td>1.4</td><td>2.37</td><td>0.86289</td></tr><tr><td>2</td><td>1342</td><td>28</td><td>8</td><td>4.4</td><td>18.0</td><td>1.5</td><td>1.5</td><td>6.4</td><td>1.7</td><td>1.7</td><td>1.47</td><td>0.38526</td></tr><tr><td>3</td><td>1231</td><td>28</td><td>5</td><td>2.4</td><td>7.8</td><td>1.3</td><td>1.6</td><td>4.3</td><td>1.5</td><td>1.4</td><td>1.13</td><td>0.12222</td></tr><tr><td>4</td><td>1254</td><td>28</td><td>18</td><td>3.0</td><td>9.2</td><td>2.3</td><td>1.7</td><td>6.9</td><td>2.3</td><td>1.6</td><td>0.85</td><td>-0.16252</td></tr><tr><td>5</td><td>1357</td><td>32</td><td>7</td><td>3.7</td><td>10.7</td><td>1.4</td><td>1.7</td><td>6.6</td><td>1.8</td><td>1.3</td><td>0.24</td><td>-1.42712</td></tr><tr><td>6</td><td>1250</td><td>27</td><td>1</td><td>4.4</td><td>14.8</td><td>1.0</td><td>1.7</td><td>5.8</td><td>1.3</td><td>1.4</td><td>1.49</td><td>0.39878</td></tr><tr><td>7</td><td>1422</td><td>37</td><td>22</td><td>3.0</td><td>8.1</td><td>2.7</td><td>1.9</td><td>8.3</td><td>2.5</td><td>2.0</td><td>0.30</td><td>-1.20397</td></tr><tr><td>8</td><td>1309</td><td>46</td><td>7</td><td>5.7</td><td>19.6</td><td>1.5</td><td>1.3</td><td>7.8</td><td>1.8</td><td>1.6</td><td>0.07</td><td>-2.65926</td></tr><tr><td>9</td><td>1127</td><td>24</td><td>2</td><td>3.5</td><td>12.6</td><td>1.0</td><td>1.7</td><td>4.9</td><td>1.5</td><td>2.0</td><td>3.00</td><td>1.09861</td></tr><tr><td>10</td><td>1075</td><td>34</td><td>9</td><td>4.3</td><td>12.0</td><td>1.6</td><td>1.8</td><td>6.8</td><td>2.0</td><td>2.0</td><td>1.21</td><td>0.19062</td></tr><tr><td>11</td><td>1166</td><td>24</td><td>17</td><td>5.5</td><td>16.7</td><td>2.4</td><td>1.5</td><td>11.5</td><td>2.9</td><td>1.7</td><td>0.38</td><td>-0.96758</td></tr><tr><td>12</td><td>1182</td><td>41</td><td>32</td><td>5.4</td><td>21.6</td><td>3.3</td><td>1.4</td><td>11.3</td><td>2.8</td><td>2.0</td><td>0.70</td><td>-0.35667</td></tr><tr><td>13</td><td>1179</td><td>15</td><td>0</td><td>3.2</td><td>10.5</td><td>1.0</td><td>1.7</td><td>4.0</td><td>1.1</td><td>1.6</td><td>2.64</td><td>0.97078</td></tr><tr><td>14</td><td>1256</td><td>21</td><td>0</td><td>5.1</td><td>19.5</td><td>1.0</td><td>1.8</td><td>5.8</td><td>1.1</td><td>1.4</td><td>2.05</td><td>0.71784</td></tr><tr><td>15</td><td>1251</td><td>26</td><td>2</td><td>4.2</td><td>16.4</td><td>1.1</td><td>1.7</td><td>6.2</td><td>1.3</td><td>1.8</td><td>1.75</td><td>0.55962</td></tr><tr><td>16</td><td>1536</td><td>38</td><td>31</td><td>5.7</td><td>17.8</td><td>3.1</td><td>1.7</td><td>11.4</td><td>2.8</td><td>1.9</td><td>0.06</td><td>-2.81341</td></tr><tr><td>17</td><td>1554</td><td>27</td><td>20</td><td>5.6</td><td>20.2</td><td>2.8</td><td>1.9</td><td>9.2</td><td>2.7</td><td>1.3</td><td>0.13</td><td>-2.04022</td></tr><tr><td>18</td><td>1305</td><td>30</td><td>6</td><td>3.8</td><td>15.7</td><td>1.4</td><td>1.2</td><td>7.2</td><td>2.1</td><td>1.9</td><td>1.00</td><td>0.00000</td></tr><tr><td>19</td><td>1316</td><td>34</td><td>8</td><td>3.1</td><td>11.4</td><td>1.5</td><td>1.8</td><td>5.0</td><td>1.6</td><td>2.0</td><td>0.41</td><td>-0.89160</td></tr><tr><td>20</td><td>1427</td><td>39</td><td>19</td><td>4.6</td><td>15.2</td><td>2.4</td><td>1.6</td><td>9.1</td><td>2.4</td><td>1.9</td><td>0.72</td><td>-0.32850</td></tr><tr><td>21</td><td>1575</td><td>20</td><td>32</td><td>5.2</td><td>18.9</td><td>3.0</td><td>1.7</td><td>9.4</td><td>2.5</td><td>1.8</td><td>0.67</td><td>-0.40048</td></tr><tr><td>22</td><td>1397</td><td>26</td><td>16</td><td>4.2</td><td>14.8</td><td>2.2</td><td>1.6</td><td>7.7</td><td>2.2</td><td>1.8</td><td>0.12</td><td>-2.12026</td></tr><tr><td>23</td><td>1377</td><td>29</td><td>4</td><td>5.3</td><td>19.8</td><td>1.2</td><td>1.8</td><td>6.8</td><td>1.6</td><td>1.9</td><td>0.97</td><td>-0.03046</td></tr><tr><td>24</td><td>1574</td><td>24</td><td>23</td><td>5.2</td><td>17.8</td><td>2.4</td><td>1.8</td><td>7.8</td><td>2.2</td><td>2.0</td><td>0.07</td><td>-2.65926</td></tr><tr><td>25</td><td>1396</td><td>45</td><td>13</td><td>4.7</td><td>15.2</td><td>1.7</td><td>1.6</td><td>7.8</td><td>2.1</td><td>1.4</td><td>0.10</td><td>-2.30259</td></tr><tr><td>26</td><td>1393</td><td>27</td><td>5</td><td>4.7</td><td>18.3</td><td>1.2</td><td>1.7</td><td>7.5</td><td>1.7</td><td>2.0</td><td>0.68</td><td>-0.38566</td></tr><tr><td>27</td><td>1433</td><td>23</td><td>18</td><td>6.5</td><td>21.0</td><td>2.7</td><td>1.8</td><td>13.7</td><td>2.7</td><td>1.3</td><td>0.13</td><td>-2.04022</td></tr><tr><td>28</td><td>1349</td><td>24</td><td>1</td><td>2.7</td><td>5.8</td><td>1.0</td><td>1.7</td><td>3.6</td><td>1.3</td><td>1.8</td><td>0.20</td><td>-1.60944</td></tr><tr><td>29</td><td>1208</td><td>23</td><td>2</td><td>3.5</td><td>11.5</td><td>1.1</td><td>1.7</td><td>5.4</td><td>1.3</td><td>2.0</td><td>1.09</td><td>0.08618</td></tr><tr><td>30</td><td>1198</td><td>28</td><td>15</td><td>3.9</td><td>11.3</td><td>2.0</td><td>1.6</td><td>7.4</td><td>2.8</td><td>2.0</td><td>0.18</td><td>-1.71480</td></tr><tr><td>31</td><td>1228</td><td>31</td><td>6</td><td>5.4</td><td>21.8</td><td>1.3</td><td>1.7</td><td>7.0</td><td>1.5</td><td>1.9</td><td>0.35</td><td>-1.04982</td></tr><tr><td>32</td><td>1229</td><td>21</td><td>11</td><td>5.8</td><td>16.7</td><td>1.7</td><td>1.8</td><td>10.0</td><td>2.3</td><td>2.0</td><td>0.21</td><td>-1.56065</td></tr><tr><td>33</td><td>1310</td><td>36</td><td>17</td><td>5.2</td><td>17.8</td><td>2.3</td><td>1.9</td><td>10.3</td><td>2.6</td><td>2.0</td><td>0.03</td><td>-3.50656</td></tr></tbody></table>

## 2.3.2. Régression linéaire multiple avec Proc REG sans options

Nous étudions le modèle linéaire de la variable Log en fonction des 4 régresseurs X1, X2, X4, X5.

Étape 1 : Graphique de la matrice de diagrammes de dispersion (Scatter Plot avec SAS/INSIGHT)

Étape 2 : Analyse des corrélations entre les variables

Étape 3 : Régression multiple

Nous utilisons SAS/INSIGHT qui est beaucoup plus efficace pour obtenir des graphiques exploratoires, (voir en annexe 2 le mode d'emploi succinct de SAS/INSIGHT).

## Programme SAS

```sas
/* étape 2 */
proc CORR data=libreg.chenilles; title 'Corrélation de X1 X2
X4 X5 avec Log';
var X1 X2 X4 X5 Log;
run;
/* étape 3 */
```
```sas
proc REG data=libreg.chenilles;
title 'Régression de LOG avec X1 X2 X4 X5 sans options';
model Log=X1 X2 X4 X5;
run;
```

<figure><img src="image_28.png" /><figcaption>**Figure 2.1: Matrice des diagrammes de dispersion des variables croisées 2*2.**
Sur la diagonale sont affichées les valeurs min et max pour chaque variable.</figcaption></figure>

## Sortie SAS de PROC CORR

<figure><img src="image_29.png" /></figure>

Le graphique des diagrammes de dispersion de la figure 2.1, donne une image des liaisons entre toutes les variables X1, X2, X4, X5, Log. On voit d'un coup d'œil que les variables X4 et X5 sont très liées. Le coefficient de corrélation vaut 0.90466. D'autre part la variable réponse Log est liée négativement à tous les régresseurs. La matrice de Scatter Plot est un complément utile à l'analyse de la matrice des coefficients de corrélation. Elle permet aussi de repérer les points atypiques (outliers) en X et en Y.
Sortie SAS de PROC REG sans options

<figure><img src="image_30.png" /></figure>

Cette sortie est analogue à celle de la régression simple, on retrouve les mêmes informations explicitées au chapitre1.

Lecture du test global dans le tableau de l'Analyse de Variance

• F value = 12.83 avec *p value* <0.001 → rejet de H₀ tous les paramètres ne sont pas tous nuls

• R² = 0.6471 → 64% de la variabilité de Y est expliquée par le modèle.

Lecture des paramètres

• Intercept b₀ = 7.73214 s(b₀)=1.48858

• Coefficient de X1 b₁=-0.00392 s(b₁)=0.00115

• Coefficient de X2 b₂=-0.05734 s(b₂)=0.01939

• Coefficient de X4 b₄ = -1.35614 s(b₄)=0.31983

• Coefficient de X5 b₅= 0.28306 s(b₅)=0.07626

Toutes les *p-value* associées aux estimateurs des paramètres sont <0.05, on rejette l'hypothèse de nullité pour chacun des coefficients de la régression.

Cependant le coefficient de X5 est positif alors que la corrélation (X5, Log) est négative.

Peut-on alors parler d'un effet positif de cette variable X5 sur la variable réponse Log ?

La corrélation entre X4 et X5 provoque une instabilité des valeurs des coefficients.

2.4. TYPE I SS et TYPE II SS de Proc REG

Nous verrons d'abord la définition des statistiques Type I SS et Type II SS relatif à un paramètre puis les tests partiels relatifs à plusieurs paramètres.
### 2.4.1. Définition de TYPE I SS et TYPE II SS

Reprenons l'équation fondamentale de l'analyse de la variance :

$$SS \text{ Total} = SS \text{ Model} + SS \text{ Error}$$

SS total qui représente la somme des carrés des écarts entre Y et sa moyenne est invariant quel que soit le nombre de variables régresseurs p dans le modèle. Lorsqu'on introduit une nouvelle variable régresseur dans un modèle SS Model augmente et donc SS Error diminue de la même quantité.

Pour juger de la contribution d'une variable régresseur à la réduction de SS Error, la Proc REG calcule pour chaque variable du modèle, deux sortes de SS Error.

* TYPE I SS : représente la réduction de SS Error liée à la variable lorsqu'elle est introduite **séquentiellement** dans le modèle.

* TYPE II SS : représente la réduction de SS Error liée à la variable lorsqu'elle est introduite la **dernière** dans le modèle.

#### • TYPE I SS

Soit le modèle complet définit avec les p régresseurs de l'instruction MODEL de Proc REG :

$$IC_{0.95}(\beta_i)=[b_i - 1.96 \cdot s(b_i); b_i + 1.96 \cdot s(b_i)]$$

Soit d'autre part le modèle restreint aux **k premiers régresseurs** :

$$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k + \varepsilon$$

Pour la "k"ème variable, TYPE I SS correspond à la différence entre SSerror du modèle à (k-1) régresseurs et SSerror du modèle à k régresseurs.

**Attention** : Le TYPE I SS d'une variable dépend de l'ordre de la variable dans l'instruction MODEL de Proc REG.

A TYPE I SS peut être associée une statistique de test, la *F Value* ou F de Fisher-Snedecor, et sa *p-value*, niveau de significativité du test. Le calcul de la *F value* et de sa *p value* associée n'est pas réalisé dans Proc REG<fnref n="13" />.

#### • F VALUE : statistique de Fisher-Snedecor

Cette statistique de test vaut :

$$F \text{ VALUE} = \frac{\text{TYPE I SS}}{\text{MS Error}}$$

Le numérateur TYPE I SS correspond à la réduction de SS error lorsque l'on passe du modèle à (k-1) régresseurs -la variable étudiée étant exclue- au modèle à k régresseurs.

Le dénominateur MS Error correspond au modèle complet à p régresseurs.

La statistique de test *F value* ainsi définie permet de tester l'hypothèse nulle de la kème variable.

<footnote n="13">¹³ La statistique de Fisher-Snedecor *F value* et son niveau de significativité *p-value pour Type I SS et TYPE II SS* sont disponibles dans Proc GLM et dans SAS/INSIGHT.</footnote>
### Hypothèse à tester

On veut tester si le paramètre $\beta_k = 0$.

$$H_0 : \beta_k = 0 \quad \text{contre}$$

$$H_a : \beta_k \neq 0$$

La statistique de test F value est sous $H_0$ une valeur observée d'une variable F de Fisher-Snedecor à 1 et (n-p-1) degrés de liberté. L'hypothèse nulle doit être rejetée au niveau $\alpha$ lorsque :

$$F_{\text{observé}} \geq F_{1-\alpha} (1, n-p-1)$$

où $F_{1-\alpha}(1, n-p-1)$ représente le quantile d'ordre $(1-\alpha)$ de la loi de Fisher-Snedecor à (1) et (n-p-1) degrés de liberté.

### Règle de décision

$$\text{Si } F\text{value} \geq F_{1-\alpha} (1, n-p-1)$$

Alors $H_0: \beta_k = 0$ doit être rejeté au niveau $\alpha$

### Raisonnement

Au seuil $\alpha$% la valeur maximum atteinte par F sous l'hypothèse nulle $H_0 : \beta_k = 0$ est $F_{1-\alpha}(1, n-p-1)$, si donc F value est supérieure on rejette l'hypothèse nulle. La variable contribue significativement à la réduction de SS Error, lorsqu'elle est entrée en dernier dans le modèle à k régresseurs.

#### Prob > F

C'est la *p-value* associée à *F value*.

On compare la *p-value*, au risque $\alpha$ choisi (par exemple $\alpha=0.05$).

### Raisonnement sur la p-value

$$\text{Si } \text{p-value} \leq \alpha$$

Alors on rejette l'hypothèse nulle $\beta_k = 0$

**Interprétation** : Si la probabilité (Prob>F) est faible (<0.05) la variable contribue significativement à la réduction de SS Error dans le modèle à k régresseurs.

#### TYPE II SS

Soit le modèle complet définit avec p régresseurs dans l'instruction MODEL de Proc REG :

$$\text{IC}_{0.95}(\beta_i) = [b_i - 1.96 \cdot s(b_i), b_i + 1.96 \cdot s(b_i)]$$

Pour la kème variable, TYPE II SS correspond à la différence entre SSerror du modèle à **(p-1) régresseurs** (le kème régresseur étant exclu) et SSerror du modèle complet à p régresseurs.
A TYPE II SS peut être associée une statistique de test, la *F value* ou F de Fisher-Snedecor, et sa *p-value*, niveau de significativité du test.

**Remarque** : Par construction TYPE I SS et TYPE II SS de la dernière variable du modèle ont la même valeur.

Le calcul de la *F value* et de sa *p value* associée n'est pas réalisé dans Proc REG, il faut faire le calcul à la main, ou utiliser l'option de Proc REG, SELECTION=FORWARD ou BACKWARD qui donne les *F value* de TYPE II à chaque pas.

### F VALUE : statistique de Fisher-Snedecor

Cette statistique de test vaut :
$$F \text{VALUE} = \frac{\text{TYPE II SS}}{\text{MS Error}}$$

Le numérateur TYPE II SS correspond à la réduction de SS error lorsque l'on passe du modèle à (p-1) régresseurs –le régresseur étudié étant exclu- au modèle complet à p régresseurs.

Le dénominateur MS Error correspond au modèle complet, avec les p régresseurs. La statistique de test *F value* ainsi définie permet de tester l'hypothèse nulle du "k"ème régresseur, lorsqu'il entre en dernier dans le modèle. C'est un F dit **partiel**.

### Hypothèse à tester

On veut tester si le paramètre $\beta_k = 0$.

$H_0 : \beta_k = 0$ contre

$H_a : \beta_k \neq 0$

La statistique de test *F value* est sous $H_0$ une valeur observée d'une variable F de Fisher-Snedecor à 1 et (n-p-1) degrés de liberté. L'hypothèse nulle doit être rejetée au niveau $\alpha$ lorsque :

$F_{\text{observé}} \geq F_{1-\alpha} (1, n-p-1)$

où $F_{1-\alpha} (1, n-p-1)$ représente le quantile d'ordre $(1-\alpha)$ de la loi de Fisher-Snedecor à (1) et (n-p-1) degrés de liberté.

### Règle de décision

Si $Fvalue \geq F_{1-\alpha} (1, n-p-1)$

Alors $H_0 : \beta_k = 0$ doit être rejetée au niveau $\alpha$
### Raisonnement

Au seuil $\alpha$% la valeur maximum atteinte par F sous l'hypothèse nulle $H_0 : \beta_k = 0$ est $F_{1-\alpha}(1, n-p-1)$, si donc F value est supérieure on rejette l'hypothèse nulle.

Le régresseur contribue significativement à la réduction de SS Error, lorsqu'il est entré en dernier dans le modèle.

**Remarque :** $F$ value = $T^2$, avec T représentant la valeur du test de Student associé au paramètre.

### Prob > F

C'est la $p$-value associée à F value. On compare la $p$-value, au risque $\alpha$ choisi (par ex : $\alpha=0.05$).

#### Raisonnement sur la $p$-value

Si $p$-value $\le \alpha$
Alors on rejette l'hypothèse nulle $\beta_k = 0$

**Interprétation :** Si la probabilité (Prob>F) est faible, le régresseur contribue significativement à la réduction de SS Error, même lorsqu'il est entré en dernier dans le modèle complet à p régressseurs.

### 2.4.2. Interprétations conjointes de TYPE I SS et TYPE II SS

* Lorsque le modèle ne comporte qu'une seule variable régresseur :
  TYPE I SS = TYPE II SS = SS modèle

* Lorsque le modèle comporte plus d'une variable régresseur :
  le TYPE I SS (lié au F séquentiel) dépend de l'ordre d'apparition des variables régresseurs dans l'instruction MODEL, tandis que TYPE II SS (lié au F partiel) n'en dépend pas.

Si pour un régresseur $X_i$, le F séquentiel et le F partiel sont plus grands que ceux des autres régresseurs, alors $X_i$ a une **contribution plus grande** puisqu'il réduit plus la variation de SS Error, que la variable soit entrée en séquence dans le modèle ou en dernier.

Si pour un régresseur $X_i$, le F séquentiel est significatif et le F partiel ne l'est plus c'est qu'il y a des **colinéarités entre les régresseurs**.

L'information apportée par ce régresseur est redondante par rapport à l'information apportée par les précédents régresseurs déjà introduits dans le modèle.

### 2.4.3. Options SS1 et SS2 de l'instruction model de Proc REG

Les options SS1 et SS2 de l'instruction model de PROC REG permettent d'obtenir les statistiques Type I SS et Type II SS.
## Programme SAS

```sas
proc REG data=libreg.chenilles;
    title 'Régression de Log avec X1 X2 X4 X5 avec Options
SS1 SS2 ';
    model Log=X1 X2 X4 X5/ SS1 SS2;
run;
```

## Sortie de Proc REG de SAS

<figure><img src="image_31.png" /></figure>

## Lecture

### Exemple pour X1 :

* Type I SS = 14.12216 est la réduction de SS error lorsque la variable X1 est entrée la première dans le modèle (elle est alors la seule variable régresseur).

* Type II SS = 7.30671 est la réduction de SS error lorsque la variable X1 est entrée la dernière dans le modèle.

Pour tester si cette réduction est significative il faut faire le calcul à la main, car dans cette sortie, Proc REG ne fournit pas les F value et les proba associées pour TYPE I SS et TYPE II SS :

$$ \text{F value} = \frac{\text{TYPE I SS}}{\text{MS Error}} = \frac{14.1222}{0.62512} = 22.59 $$

$$ \text{F value} = \frac{\text{TYPE II SS}}{\text{MS Error}} = \frac{7.30671}{0.62512} = 11.69 $$

On peut vérifier ces F value avec les sorties de SAS/INSIGHT.
<figure><img src="image_32.png" /></figure>

**Note :** SAS/ INSIGHT nomme TYPE III tests ce qu'on a appelé TYPE II SS dans la Proc REG

On retrouve bien les calculs faits à la main (cf. **F Stat =22.59** pour la F value de Type I SS et **F Stat=11.69** pour la F value de Type II SS).

La variable X4 a un comportement bizarre, lorsqu'elle est entrée en 3ème rang dans le modèle elle est limite au niveau significativité (pvalue =0.0490), alors que son apport est **très significatif** lorsqu'elle est entrée la dernière (p value =0.0002)

**La liaison entre X4 et X5 nous joue des tours !**

### 2.4.4. Tester la nullité de r paramètres pour tester un sous modèle

Ce type d'analyse est d'usage courant en Econométrie. L'idée est de mettre à l'épreuve une approche **théorique** par une validation **empirique**. L'intérêt porte non sur l'estimation des paramètres mais sur la « spécification » du modèle. Par spécification on entend la recherche des variables-régresseurs intervenant dans la détermination de la variable « à expliquer » Y.

On veut tester la nullité de r (indices k à q) paramètres parmi les p, c'est à dire l'hypothèse nulle

$H_0 : \beta_k = \cdots = \beta_q = 0$ contre

$H_a :$ il y a parmi les $\beta_k \cdots \beta_q$ des coefficients non égaux à 0) (not all $\beta_k \cdots \beta_q$ equal to 0).

Le modèle sans les r variables est appelé le **modèle restreint** par opposition au **modèle complet** à p variables.

Ici aussi on raisonne sur les réductions de SS error.

On note :

RRSS (Restricted Residual Sum of Squares) = Somme des carrés des résidus du modèle restreint

URSS (Unrestricted Residual Sum of Squares)=Somme des carrés des résidus du modèle complet.
L'hypothèse est testée en évaluant la statistique F dite partielle<fnref n="14" />

$$F = \frac{(RRSS - URSS)/r}{URSS/(n-p-1)} = \frac{(RRSS - URSS)/r}{MSE}$$

La statistique de test F est sous $H_0$ une valeur observée d'une variable F de Fisher-Snedecor à r et (n-p-1) degrés de liberté. L'hypothèse nulle doit être rejetée au niveau $\alpha$ lorsque :

$$F_{\text{observé}} \geq F_{1-\alpha}(r, n-p-1)$$

où $F_{1-\alpha}(r, n-p-1)$ représente le quantile d'ordre $(1 - \alpha)$ de la loi de Fisher-Snedecor à (r) et (n-p-1) degrés de liberté.

### Règle de décision

Si $F_{\text{value}} \geq F_{1-\alpha}(r, n-p-1)$

Alors $H_0: \beta_k = \cdots = \beta_q = 0$ doit être rejetée au niveau $\alpha$

L'instruction **TEST** de la Proc REG réalise ces tests en fournissant la statistique de Fisher-Snedecor *F* value et son niveau de significativité *p*-value associé, noté *Prob>F*.

### 2.4.5. Exemple de test partiel avec PROC REG

On veut tester si les 2 coefficients de X4 et X5 sont nuls.

$H_0: \beta_4 = \beta_5 = 0$

instruction SAS $\Rightarrow$ test X4=0, X5=0;

#### Programme SAS

```sas
proc REG data=libreg.chenilles;
    title "Test de l'Hypothèse nulle X4=0 et X5=0";
    model Log=X1 X2 X4 X5;
test X4=0, X5=0;
```

* Pour le modèle restreint (sans X4 et X5) on a :

<table><caption>Analysis of Variance</caption><thead><tr><th>Source</th><th>DF</th><th>Sum of Squares</th><th>Mean Square</th><th>F Value</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Model</td><td>2</td><td>20.83168</td><td>10.41584</td><td>10.86</td><td>0.0003</td></tr><tr><td>Error</td><td>30</td><td>28.76434</td><td>0.95881</td><td></td><td></td></tr><tr><td>Corrected Total</td><td>32</td><td>49.59603</td><td></td><td></td><td></td></tr></tbody></table>

<footnote n="14">¹⁴ La statistique de test F ainsi calculée est appelée *F partiel* quand elle ne porte que sur un sous-ensemble de paramètres, pour la distinguer de la statistique F, qui porte sur l'ensemble des paramètres du modèle complet.</footnote>
→ RRSS = 28.76434

* Pour le modèle complet :

<table><caption>Analysis of Variance</caption><thead><tr><th>Source</th><th>DF</th><th>Sum of Squares</th><th>Mean Square</th><th>F Value</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Model</td><td>4</td><td>32.09265</td><td>8.02316</td><td>12.83</td><td>&lt;.0001</td></tr><tr><td>Error</td><td>28</td><td>17.50338</td><td>0.62512</td><td></td><td></td></tr><tr><td>Corrected Total</td><td>32</td><td>49.59603</td><td></td><td></td><td></td></tr></tbody></table>

→ URSS = 17.50338 avec DF=(n-p-1)=28

d'où

$$F = \frac{(RRSS - URSS)/r}{URSS/(n-p-1)} = \frac{(RRSS - URSS)/r}{MSE} = \frac{(28.76434 - 17.50338)/2}{17.80338/28} = \frac{5.63048}{0.62512} = 9.01$$

## Sortie SAS pour le test partiel

<table><caption>The REG Procedure<br>Model: MODEL1<br>Test 1 Results for Dependent Variable log</caption><thead><tr><th>Source</th><th>DF</th><th>Mean Square</th><th>F Value</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Numerator</td><td>2</td><td>5.63048</td><td>9.01</td><td>0.0010</td></tr><tr><td>Denominator</td><td>28</td><td>0.62512</td><td></td><td></td></tr></tbody></table>

On trouve bien la valeur F Value = 9.01 avec un niveau de significativité Prob > F de 0.0010.

## Conclusion

Le niveau de significativité (0.0010) étant bien inférieur à 0.05, on rejette l'hypothèse nulle H₀: β₄ = β₅ = 0

Il existe au moins un effet de X₄ et/ou de X₅ sachant X₁ et X₂ introduit dans le modèle.
## 2.5. Ce qu'il faut retenir des 'SS'

Décomposition des SS : Sum of Squares

<figure><img src="image_33.png" /></figure>

Lorsqu'on introduit une nouvelle variable dans un modèle :

SS model augmente de la même quantité que

SS error décroît

Donc le coefficient de détermination R-square augmente toujours.

Cependant on n'améliore pas nécessairement la précision de l'estimation de Y.

En effet $SS \ Error \ décroît$ mais $s^2 = MSE \ error = \frac{SS \ Error}{n-p-1}$ peut croître donc augmenter la largeur de l'intervalle de confiance de Y estimé qui est proportionnel à MSE.

A la limite si le nombre de variables $p + 1$ (le 1 correspond à la variable constante $X_0$) est égal au nombre d'observations (n), l'équation de régression passera exactement par tous les points du nuage, l'ajustement sera parfait.

Dans ce cas $SS \ Error$ vaut 0, et le coefficient de détermination $R^2$ vaut 1. Ce n'est plus de la statistique mais de la résolution d'équations !

D'autre part les colinéarités entre les régresseurs rendent les résultats instables. En augmentant le nombre de régresseurs on augmente les risques de colinéarités. Le chapitre 4 traitera de ce problème.

### Modèles "parcimonieux"

Par sagesse, les statisticiens parlent de modèles « parcimonieux », pour signifier qu'un modèle doit comporter un nombre limité de variables par rapport au nombre d'observations, si on veut que le modèle ait une portée prévisionnelle et/ou explicative.
## 2.6. Les résidus

En un point d'observation i, l'écart entre Y observé et Y estimé par le modèle est le résidu au point i:

$$e_i = Y_i - \hat{Y}_i$$

Ces résidus $e_i$ sont vus comme les erreurs observées des vraies erreurs inconnues

$\epsilon_i$ :

$$\epsilon_i = Y_i - E(Y_i)$$

Nous avons vu que les suppositions faites sur les $\epsilon_i$ pour élaborer les tests statistiques se résument ainsi « les erreurs doivent être indépendantes et identiquement distribuées selon une loi normale ».

Si le modèle est approprié aux données, les résidus observés $e_i$ doivent refléter les propriétés des vraies erreurs inconnues $\epsilon_i$.

C'est donc par le biais de l'analyse des résidus que l'on cherchera à valider le modèle de régression postulé.

Pour cela on effectuera différents graphiques des résidus en fonction de:

* Y la variable réponse

* Y estimé ($\hat{Y}$)

* $X_i$ les variables régresseurs

* la variable temporelle, si l'analyse statistique porte sur des séries chronologiques

* etc.

De même on étudiera la normalité des résidus, leur indépendance.

En effet, les résidus contiennent d'une part un aléa d'espérance nulle et de variance $\sigma^2$, et d'autre part une information concernant l'inadéquation du modèle aux données (c'est-à-dire l'écart entre le modèle postulé et le modèle correct inconnu). Ce que l'on veut c'est que l'importance de cette deuxième partie soit moindre que celle due à l'aléa.

Pour cela on devra rechercher si dans les résidus il n'existe pas une structure organisée ou un contenu informationnel qui prouverait que le modèle postulé se différencie significativement du modèle correct.

Tous les tests sont faits en supposant que le modèle postulé est le modèle correct, si donc l'analyse des résidus prouve l'inadéquation du modèle postulé, les tests ne sont plus valables, ou sont biaisés.

Des orientations pour l'analyse critique des résidus seront données dans le chapitre 4.
## Conclusion

Au cours des chapitres 1 et 2 nous avons présenté la majeure partie des concepts théoriques nécessaires à la compréhension d'un modèle de régression. Les démonstrations ont été limitées à l'essentiel. Le lecteur se reportera à la bibliographie pour avoir plus de précision et de rigueur mathématique. L'ouvrage de TOMASSONE & al., en particulier, est vivement conseillé.

Dans le chapitre 3, nous analyserons à partir d'exemples de la littérature, les difficultés de la régression linéaire lorsqu'on étudie des données réelles, qui « prennent un malin plaisir » à ne pas se comporter comme la théorie le suppose.

Pour aider aux diagnostics, de nombreuses options sont disponibles dans la procédure REG, ce que nous verrons au chapitre 4.
### 3. Quand les résultats d'une régression ne sont pas forcément pertinents

Dans ce chapitre nous montrons sur quelques exemples les difficultés rencontrées dans l'application de la régression linéaire simple et la régression linéaire multiple sur données réelles ou simulées, lorsque les suppositions ne sont pas vérifiées. Nous présentons quelques aides très utiles. Ce n'est qu'un petit survol de la littérature sur le sujet de la robustesse qui nécessite à lui seul plusieurs ouvrages.

Ce chapitre a pour objectif de vous sensibiliser à l'importance des diagnostics proposés dans Proc REG, qui seront vus au chapitre 4.

La majorité des résultats d'une régression sont présentés avec les sorties de SAS/INSIGHT, pour montrer l'apport de l'interactivité, et l'importance des graphiques dans la compréhension des analyses.

#### 3.1. Exemples en régression simple

##### 3.1.1. Une même valeur pour des situations différentes

Cet exemple est de TOMASSONE & al. (1986). Dès 1973 ANSCOMBE, neveu et collaborateur de J.W TUKEY (1977) avait proposé un exemple similaire dans «Graphs in Statistical Analysis». Soient les 5 couples de 16 observations (X,Ya), (X,Yb), (X,Yc), (X,Yd), (Xe,Ye) sur lesquels on effectue 5 régressions linéaires simples.

<table><thead><tr><th>OBS</th><th>X</th><th>Ya</th><th>Yb</th><th>Yc</th><th>Yd</th><th>Xe</th><th>Ye</th></tr></thead><tbody><tr><td>1</td><td>7</td><td>5,535</td><td>0,113</td><td>7,399</td><td>3,864</td><td>13,715</td><td>5,654</td></tr><tr><td>2</td><td>8</td><td>9,942</td><td>3,770</td><td>8,546</td><td>4,942</td><td>13,715</td><td>7,072</td></tr><tr><td>3</td><td>9</td><td>4,249</td><td>7,426</td><td>8,468</td><td>7,504</td><td>13,715</td><td>8,491</td></tr><tr><td>4</td><td>10</td><td>8,656</td><td>8,792</td><td>9,616</td><td>8,581</td><td>13,715</td><td>9,909</td></tr><tr><td>5</td><td>12</td><td>10,737</td><td>12,688</td><td>10,685</td><td>12,221</td><td>13,715</td><td>9,909</td></tr><tr><td>6</td><td>13</td><td>15,144</td><td>12,889</td><td>10,607</td><td>8,842</td><td>13,715</td><td>9,909</td></tr><tr><td>7</td><td>14</td><td>13,939</td><td>14,253</td><td>10,529</td><td>9,919</td><td>13,715</td><td>11,327</td></tr><tr><td>8</td><td>14</td><td>9,450</td><td>16,545</td><td>11,754</td><td>15,860</td><td>13,715</td><td>11,327</td></tr><tr><td>9</td><td>15</td><td>7,124</td><td>15,620</td><td>11,676</td><td>13,967</td><td>13,715</td><td>12,746</td></tr><tr><td>10</td><td>17</td><td>13,693</td><td>17,206</td><td>12,745</td><td>19,092</td><td>13,715</td><td>12,746</td></tr><tr><td>11</td><td>18</td><td>18,100</td><td>16,281</td><td>13,893</td><td>17,198</td><td>13,715</td><td>12,746</td></tr><tr><td>12</td><td>19</td><td>11,285</td><td>17,647</td><td>12,590</td><td>12,334</td><td>13,715</td><td>14,164</td></tr><tr><td>13</td><td>19</td><td>21,365</td><td>14,211</td><td>15,040</td><td>19,761</td><td>13,715</td><td>15,582</td></tr><tr><td>14</td><td>20</td><td>15,692</td><td>15,577</td><td>13,737</td><td>16,382</td><td>13,715</td><td>15,582</td></tr><tr><td>15</td><td>21</td><td>18,977</td><td>14,652</td><td>14,884</td><td>18,945</td><td>13,715</td><td>17,001</td></tr><tr><td>16</td><td>23</td><td>17,690</td><td>13,947</td><td>29,431</td><td>12,187</td><td>33,281</td><td>27,435</td></tr></tbody></table>
Les estimations des Y sont les suivantes :

<table><thead><tr><th>OBS</th><th>Ya_est</th><th>Yb_est</th><th>Yc_est</th><th>Yd_est</th><th>Ye_est</th></tr></thead><tbody><tr><td>1</td><td>6,18</td><td>6,18</td><td>6,18</td><td>6,18</td><td>11,61</td></tr><tr><td>2</td><td>6,99</td><td>6,99</td><td>6,99</td><td>6,99</td><td>11,61</td></tr><tr><td>3</td><td>7,80</td><td>7,80</td><td>7,80</td><td>7,80</td><td>11,61</td></tr><tr><td>4</td><td>8,61</td><td>8,61</td><td>8,61</td><td>8,61</td><td>11,61</td></tr><tr><td>5</td><td>10,22</td><td>10,23</td><td>10,22</td><td>10,22</td><td>11,61</td></tr><tr><td>6</td><td>11,03</td><td>11,03</td><td>11,03</td><td>11,03</td><td>11,61</td></tr><tr><td>7</td><td>11,84</td><td>11,84</td><td>11,84</td><td>11,84</td><td>11,61</td></tr><tr><td>8</td><td>11,84</td><td>11,84</td><td>11,84</td><td>11,84</td><td>11,61</td></tr><tr><td>9</td><td>12,65</td><td>12,65</td><td>12,65</td><td>12,65</td><td>11,61</td></tr><tr><td>10</td><td>14,27</td><td>14,27</td><td>14,27</td><td>14,27</td><td>11,61</td></tr><tr><td>11</td><td>15,07</td><td>15,08</td><td>15,08</td><td>15,08</td><td>11,61</td></tr><tr><td>12</td><td>15,88</td><td>15,89</td><td>15,89</td><td>15,89</td><td>11,61</td></tr><tr><td>13</td><td>15,88</td><td>15,89</td><td>15,89</td><td>15,89</td><td>11,61</td></tr><tr><td>14</td><td>16,69</td><td>16,69</td><td>16,69</td><td>16,69</td><td>11,61</td></tr><tr><td>15</td><td>17,50</td><td>17,50</td><td>17,50</td><td>17,50</td><td>11,61</td></tr><tr><td>16</td><td>19,12</td><td>19,12</td><td>19,12</td><td>19,12</td><td>27,43</td></tr></tbody></table>

Les ajustements par les 5 droites de régressions sont donnés figure 3.1 ; ils sont identiques, mêmes estimations, mêmes statistiques pour R²=0.617, mêmes coefficients b₀=0.520, b₁=0.809, mêmes erreurs-types sur les coefficients, et pourtant les situations sont bien différentes.

## Analyse des résultats

* Sur le 1er graphique on peut voir que le modèle semble bien **adapté**.

* Sur le 2ème graphique le modèle linéaire est **inadapté**, un modèle quadratique de la forme $Y = \beta X^2$ serait préférable.

* Sur le 3ème graphique un point est **suspect** et entraîne la droite de régression vers le haut.

* Sur le 4ème graphique la variance des erreurs varie. Il y a un phénomène **d'hétéroscédasticité** (variance de Y sachant X non constante).

* Sur le 5ème graphique le **plan expérimental** défini par les valeurs de Xe est particulièrement mauvais. Un seul point extrême détermine la droite. Que se passe-t-il entre X=13.715 et X=34.281 ? La liaison est-elle linéaire ?

Un simple diagramme cartésien (Scatter plot) permet dans chacun des 5 cas de vérifier si les suppositions de la régression linéaire sont respectées, et de porter un diagnostic.
LES PIEGES DE LA REGRESSION

5 situations différentes mais 5 analyses de régression identiques

<figure><img src="image_34.png" /></figure>

<figure><img src="image_35.png" /></figure>

<figure><img src="image_36.png" /></figure>

<figure><img src="image_37.png" /></figure>

<figure><img src="image_38.png" /></figure>

Résultats Y=b0 + b1X

Nombre d'observations 16

Degrés de liberté 14

R carré 0,617

Moyenne de Y 12,600

Ereur std de l'est. de Y=RMSE 3,226

Moyenne de X 14,937

Constante b0 0,520

Coefficient b1 0,809

Ereur std du coef. b1 0,170

<caption>Figure 3.1 : 5 droites de régression</caption>

3.1.2. Pondérations et régression linéaire par morceaux

Cet exemple inspiré de J.P. BENZECRI & F.BENZECRI (1989), « Calculs de corrélation entre variables et juxtaposition de tableaux », est totalement artificiel.
L'objectif de cet exemple est double : montrer d'une part l'effet d'une pondération des observations sur les résultats d'une analyse de régression et d'autre part de sensibiliser par des graphiques, à l'usage abusif de la régression lorsque l'hypothèse de linéarité sur tout l'intervalle n'est pas valide.

## Tableau des données

101 observations (variables X et Y) sont générées par programme de la manière suivante : X varie de -50 à +50 avec un pas de 1 et à chaque pas Y est calculé selon les formules linéaires suivantes :

Si $X < -10$ alors $Y = X + 20$

Si $-10 \le X < 11$ alors $Y = -X$

Si $X \ge 11$ alors $Y = X - 20$

X est la variable régresseur, Y est la variable réponse. X et Y sont donc rigoureusement liées par une fonction linéaire par morceaux.

Les 3 parties ont des pentes (paramètre $\beta_1$) respectives de +1 pour les 40 premières observations, -1 pour les observations 41 à 61, et +1 pour les observations 62 à 101.

On effectue une première régression sans pondération, sur toutes les observations (figure 3.2), puis deux régressions pondérées, en pondérant par 100 les observations de la **partie centrale**, les autres observations ayant une pondération de 1, puis une 3ème régression avec une pondération par 1000.

On utilise l'instruction `"Weight"` de la Proc Reg.

## Programme SAS de génération des observations et analyse de régression

L'appel de Proc REG se fait par une macro.

```sas
data ligne;
do x=-50 to 50;
p1=1; p100=1; pmil=1;
if x < -10 then y=x+20;
else if x < 11 then do; y=-x;
else if x < 10 then do; y=-x;
p100=100; pmil =1000; end;
y=x-20;
output;
end;
%macro reg(poids=);
proc reg data=ligne;
model y=x;
%if &poids^= %then weight &poids; %str(;);
title "Avec ponderation &poids";
%mend;
%reg(poids=p1)
%reg(poids=p100)
%reg(poids=p1000)
quit;
```
<figure><img src="image_39.png" /><figcaption>a) Observations (X,Y) générées sans aléa</figcaption></figure>

<figure><img src="image_40.png" /><figcaption>c) Régression avec pondération de 100</figcaption></figure>

<figure><img src="image_41.png" /><figcaption>b) Régression sans pondération</figcaption></figure>

<figure><img src="image_42.png" /><figcaption>d) Régression avec pondération de 1000</figcaption></figure>

<caption>**Figure 3.2 Droite de régression selon les pondérations utilisées (1, 100, 1000)**</caption>

## Analyse des résultats

En pondérant de 3 façons différentes la partie centrale on obtient des *F* value, des coefficients de détermination, des estimations de $\beta_1$ droite de régression- totalement différents et cependant toujours significatif (cf. Tableau 3.1)

<table><caption>**Tableau 3.1**</caption><thead><tr><td>Pondération</td><td>F value</td><td>P value</td><td>R<sup>2</sup></td><td>estimation de β<sub>1</sub></td><td>T Student</td></tr></thead><tbody><tr><td>sans pondération</td><td>261.433</td><td>&lt;0.0001</td><td>0.7253</td><td>0.0255</td><td>16.169</td></tr><tr><td>par 100</td><td>11.740</td><td>&lt;0.0009</td><td>0.1060</td><td>-0.2512</td><td>-3.427</td></tr><tr><td>par 1000</td><td>389.810</td><td>&lt;0.0001</td><td>0.7985</td><td>-0.8580</td><td>-19.744</td></tr></tbody></table>

En fonction de la pondération, la droite de régression « tourne » jusqu'à s'adapter à la pente de la partie centrale, comme on le voit dans les figures 3.2 (b, c, d).

Si la modélisation devient correcte pour la partie centrale, il n'en va pas de même pour les deux autres parties.

Si, par contre on réalise 3 études séparées sur les 3 intervalles où l'hypothèse de linéarité entre X et Y est exacte, on obtient des coefficients de détermination $R^2=1$ (corrélation parfaite) et des droites de régression totalement adaptées aux données (SS Error=0).

L'exemple met en lumière les questions que l'on doit se poser avant d'effectuer une régression : **l'hypothèse de linéarité est elle plausible sur tout l'intervalle ?**.
## Théorie de la régression pondérée

### L'instruction Weight de Proc REG

L'instruction **Weight** de Proc REG, minimise la somme des carrés résiduels pondérés :

$$ \sum_{i} w_{i} (Y_{i} - \hat{Y}_{i})^{2} $$

$w_i$ : valeur de la variable spécifiée dans l'instruction Weight,

$Y_i$ : valeur observée de la variable à expliquer,

$\hat{Y}_i$ : valeur prédite pour l'observation i.

Les équations normales utilisées sont dans ce cas :

$$ \beta = (X'WX)^{-1} (X'WY) $$

$W$ : matrice diagonale constituée des poids.

### Quand utiliser l'instruction Weight ?

Lorsque l'hypothèse de variance constante des erreurs n'est pas vérifiée (hétéroscédasticité des erreurs), la littérature statistique propose d'utiliser la régression pondérée en prenant comme pondération l'inverse des variances théoriques $\sigma_i^2$.

$$ w_i = \frac{1}{\sigma_i^2} $$

En général les variances théoriques des erreurs ne sont pas connues, elles sont estimées.

## Conclusion

L'artifice de pondération des données doit être utilisé avec discernement. En particulier il faut au préalable contrôler si les observations sont homogènes, c'est-à-dire si d'éventuels groupes aux comportements différents peuvent être différenciés. Une approche par analyse de données ou analyse exploratoire des données peut s'avérer nécessaire. On utilisera avec profit des marqueurs de couleurs (SAS/INSIGHT et sa boîte à outils **Tools**) pour repérer si une variable de groupe ne fait pas apparaître des mélanges de populations.

Il existe des **méthodes robustes** pour pondérer les observations mais elles sortent du cadre de cet ouvrage. La lecture de l'ouvrage de ROUSSEEUW et al. (2003) est fortement recommandée.

### 3.1.3. Transformation des données

Lorsque sur un graphique, la liaison entre X et Y n'apparaît pas linéaire, on peut essayer de transformer les données, pour tenter de linéariser la liaison.
## Exemple : Liaison entre Produit National Brut et taux d'urbanisation

La table SAS Paysniv3 porte sur 173 pays des 5 continents (figure 3.3).

<figure><img src="image_43.png" /><figcaption>Figure 3.3 Effectifs par Continent</figcaption></figure>

Sur la Figure 3.4 a, sont représentées la variable PNB, Produit national brut en fonction du taux d'urbanisation URBA, et la droite de régression, pour 173 pays.

Bien que les résultats statistiques soient significatifs ($R^2=0.4358$, $F=122.06$, $p value <0.0001$, $T$ de Student = 11,05, $p value <0.0001$) cette analyse n'est pas satisfaisante.

La supposition de liaison linéaire n'est pas vérifiée, confirmé par le graphique des résidus (figure 3.3 b).

La variance des erreurs n'est pas constante, elle augmente en fonction de URBA. Il y a un effet d'entonnoir caractéristique de l'hétéroscédasticité des erreurs.

<figure><img src="image_44.png" /><figcaption>a) régression linéaire PNB en fonction de URBA</figcaption></figure>

<figure><img src="image_45.png" /><figcaption>b) graphique des résidus $R_PNB$ en fonction de URBA</figcaption></figure>

<caption>Figure 3.4</caption>

Les couleurs des points observations correspondent aux couleurs des continents de la Figure 3.3.

On peut noter grâce aux couleurs que l'Afrique (point rouge) se différencie totalement de l'Europe (point bleu), on a à faire à des mélanges de population. Cependant pour notre démonstration sur les transformations on passera sous silence cette remarque.

Pour dilater les valeurs faibles et en même temps compressor les valeurs élevées du PNB on transforme la variable en son logarithme.
En SAS/INSIGHT il suffit de cliquer sur le nom de la variable PNB sur le graphique et de demander par le menu → Edit # Variables # Log, la transformation de la variable PNB en son logarithme Log (L_PNB). Tous les affichages sont modifiés (figures 3.5 a et b).

<figure><img src="image_46.png" /><figcaption>**Figure 3.5 Liaison entre le taux d'urbanisation et le Produit National Brut**</figcaption></figure>

La transformation a eu un double effet (figure 3.5). D'une part elle a symétrisé la distribution du PNB, visible sur les Box-plots, et d'autre part elle a linéarisé la liaison entre Log(PNB) et URBA

Les indicateurs statistiques de la régression sont nettement améliorés. (R²=0.6468, F=289.39, *pvalue*<0.0001, T de Student = 34,05, *pvalue* <0.0001).

<figure><img src="image_47.png" /><figcaption>**Figure 3.6**</figcaption></figure>

Les résidus (figure 3.6 b) se trouvent maintenant bien repartis dans la bande (-2, +2), à l'exception de 2 pays atypiques, Oman et Equatorial Guinea, sur lesquels il faut s'interroger.
## Echelle de Tukey – Ladder of Power

Les transformations de variables occupent une place importante dans la littérature. On a vu précédemment, que la transformation Log du PNB, permettait de linéariser la liaison entre Y et X. Pour choisir une transformation appropriée, J.W. TUKEY (1977) a proposé ce qu'on appelle maintenant l'échelle de transformation de TUKEY<fnref n="15" />.

<figure><img src="image_48.png" /><figcaption>### Echelle de Tukey</figcaption></figure>

Selon la forme des courbes définies par les points (Xi,Yi) on pourra soit monter l'échelle, c'est-à-dire transformer X ou Y en ses puissances (Y², Y³ etc.) soit descendre l'échelle, en prenant √Y, Log(Y), -1/√Y, -1/Y etc.

### Astuce de lecture proposée par J. Vanpoucke et E. Horber<fnref n="16" />

La forme des courbes du tableau 3.2 dessine un arc, et la flèche indique selon son orientation s'il faut monter ou descendre l'échelle.

Ainsi pour PNB en fonction de URBA, les données formaient une courbe d'allure n°3, il faut donc soit monter l'échelle en X, soit descendre l'échelle en Y. Comme la distribution de URBA est symétrique (voir figure 3.5 a), c'est plutôt sur PNB qu'il faut agir (distribution non symétrique, voir le Box plot de PNB).

Cette procédure raisonnée permet d'éviter d'agir complètement par « essais-erreurs », cependant pour trouver le bon choix on n'évite pas de faire quelques essais, grandement facilités par l'interactivité de SAS/INSIGHT.

<footnote n="15">¹⁵ TUKEY utilise le mot « re-expression » et non le mot « transformation » d'une variable.</footnote>

<footnote n="16">¹⁶ JACQUES VANPOUCKE de l'Université Sabatier de Toulouse et EUGÈNE HORBER de l'Université de Genève, sont les fondateurs de l'Association MIRAGE, Mouvement International pour le développement de la recherche en Analyse Graphique et Exploratoire, http://www.unige.ch/ses/sococ/mirage/</footnote>
<table><caption>Tableau 3.2 Transformations appropriées selon la forme des courbes</caption><thead><tr><th>Forme de Courbes</th><th>Description de l'action</th><th>Transformation sur X</th><th>Transformation sur Y</th></tr></thead><tbody><tr><td></td><td>Descendre l'échelle en X ou Monter l'échelle en Y</td><td>√X, Log(X), -1/√X etc.</td><td>Y<sup>2</sup>, Y<sup>3</sup> etc.</td></tr><tr><td></td><td>Descendre l'échelle en X ou Descendre l'échelle en Y</td><td>√X, Log(X), -1/√X etc.</td><td>√Y, Log(Y), -1/√Y etc.</td></tr><tr><td></td><td>Monter l'échelle en X ou Descendre l'échelle en Y</td><td>X<sup>2</sup>, X<sup>3</sup> etc.</td><td>√Y, Log(Y), -1/√Y etc.</td></tr><tr><td></td><td>Monter l'échelle en X ou Monter l'échelle en Y</td><td>X<sup>2</sup>, X<sup>3</sup> etc.</td><td>Y<sup>2</sup>, Y<sup>3</sup> etc.</td></tr></tbody></table>

<figure><img src="image_49.png" /></figure>

<figure><img src="image_50.png" /></figure>

<figure><img src="image_51.png" /></figure>

<figure><img src="image_52.png" /></figure>

Pour vous familiariser avec les transformations aller voir cet applet sur internet http://noppa5.pc.helsinki.fi/opetus/sd/sdt0.html. Développé par JUHA PURANEN de l'Université de Helsinski, cet applet montre l'effet de différentes transformations sur la liaison entre 2 variables, Y= Distance de freinage et X=Vitesse du véhicule, dont tout conducteur sait que la liaison n'est pas linéaire.

Il montre également la technique de lissage de courbes par LOWESS.

### 3.1.4. Méthode non paramétrique du LOWESS

La méthode non paramétrique du LOWESS - Locally Weighted Smoothing Scatter- de Cleveland (1979, 1993, 1994) permet de lisser une courbe. Cette technique combine une technique de régression linéaire ou polynomiale locale avec la flexibilité de la régression non linéaire. Le lissage obtenu permet à l'œil de repérer des points atypiques, de voir d'éventuelles structures, de détecter des non linéarités etc.

Le principe repose sur des régressions locales définies sur des fenêtres glissantes. Chaque point observation est estimé, par une droite éventuellement un polynome, à partir des points de son voisinage, situés dans une fenêtre. Chaque point du voisinage est pondéré en fonction de sa distance au point estimé.

Les paramètres sur lesquels on peut agir sont la largeur de la fenêtre (Bandwith) et la fonction de pondération des points. Le principe est analogue à celui des moyennes mobiles, plus la largeur de la fenêtre est grande plus la série sera lissée. Pour la fonction de poids, on utilise généralement la fonction tri-cube.
$$W(x) = (1 - |x|^3)^3 \text{ pour } |x| < 1$$

$$W(x) = 0 \quad \text{pour } |x| \ge 1$$

SAS/INSIGHT permet d'utiliser cette technique. L'exemple<fnref n="17" /> porte sur les températures quotidiennes maximum de Melbourne de janvier 1981 à décembre 1990 (Source : Australian Bureau of Meteorology, 3650 observations).

Dans le menu Fit de la régression, on demande une régression simple de la variable *Température* en Y en fonction de la variable *Date* en X. Lorsque l'analyse de régression est affichée, on choisit le menu → **Curves # Loess**

<figure><img src="image_53.png" /><figcaption>**Figure 3.6 Technique du LOWESS appliquée à des données de températures**</figcaption></figure>

La droite de régression est strictement horizontale avec une température moyenne de 21°04 sur les 10 années (figure 3.6).

<table><thead><tr><th></th><th>Model Equation</th></tr></thead><tbody><tr><td>temperature</td><td>= 21.0418 - 0.0001 date</td></tr></tbody></table>

La technique du LOWESS (parfois dénommée LOESS) permet le lissage de la série. Elle nécessite beaucoup de calculs, ce qui ne pose plus de problèmes avec les ordinateurs actuels si la technique est bien programmée. C'est une des techniques modernes les plus attractives puisqu'elle ne nécessite pas de préciser la forme d'un modèle, elle laisse « parler les données » Cette technique est très utile dans la phase exploratoire des données mais elle a son revers, elle ne fournit pas de fonction analytique comme la régression linéaire.

<footnote n="17">¹⁷ Les données proviennent de la banque de données de Rob J. Hyndman sur des séries temporelles http://www-personal.buseco.monash.edu.au/~hyndman/TSDL/</footnote>
<figure><img src="image_54.png" /><figcaption>Tableau 3.3</figcaption></figure>

En cliquant sur le curseur Alpha (paramètre du LOWESS lié à la largeur de bande - bandwith) on peut agir sur la largeur de la fenêtre et voir l'effet sur le filtrage. Avec un coefficient Alpha de 0.005, on fait apparaître un lissage moins régulier.

<figure><img src="image_55.png" /><figcaption>Figure 3.7 après modification du paramètre de filtrage Alpha</figcaption></figure>

Pour connaître la technique du LOWESS programmée dans SAS, il suffit de cliquer sur un mot clé (par exemple Alpha –voir Tableau 3.3) et de demander l'aide en ligne par le menu

Help # Help on Selection.

Il existe aussi dans SAS une procédure LOESS dans le module SAS/ETS.

## 3.2. Exemples en régression multiple

### 3.2.1. Y « expliquée » par la corrélation entre deux régresseurs

Cet exemple, montre l'influence sur le coefficient de détermination lorsque les régresseurs sont corrélés. Les données sont issues du cours de Georges Monette de York University.

```
Data HWH;
  input Weight Height Health;
  cards;
    68 94 120
    137 114 60
    94 104 123
    121 107 94
    100 118 104
    93 91 117
    76 123 139
    102 73 100
    122 112 91
    89 78 91
```
69 61 103
123 150 131
33 60 128
207 193 107
135 153 141
;
proc reg;
ModHW: model health=weight;
ModHH: model health=Height;
ModHWH: model health=weight Height;
run;

* Pour le premier modèle, régression simple de HEALTH en fonction de WEIGHT, le coefficient de détermination vaut **0.0738**. **Aucune liaison entre santé et poids.**

* Pour le deuxième modèle, régression simple de HEALTH en fonction de HEIGHT, le coefficient de détermination vaut **0.0367**. **Aucune liaison entre santé et taille.**

* Pour le troisième modèle du tableau 3.4, donnant les résultats de la régression multiple de HEALTH en fonction de WEIGHT et HEIGHT, le coefficient de détermination vaut **0.6551**. La statistique F et les T de student sont tous significatifs. Si on s'arrête à ces seules indications le modèle explique 65 % de la variation de Health, voir le tableau 3.4.

<table><caption>Tableau 3.4 Régression de Health en fonction de WEIGHT et HEIGHT</caption><thead><tr><th colspan="6">Analysis of Variance</th></tr><tr><th>Source</th><th>DF</th><th>Sum of Squares</th><th>Mean Square</th><th>F Value</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Model</td><td>2</td><td>4295.20012</td><td>2147.60006</td><td>11.39</td><td>0.0017</td></tr><tr><td>Error</td><td>12</td><td>2261.73322</td><td>188.47777</td><td></td><td></td></tr><tr><td>Corrected Total</td><td>14</td><td>6556.93333</td><td></td><td></td><td></td></tr><tr><td>Root MSE</td><td></td><td>13.72872</td><td>R-Square</td><td>0.6551</td><td></td></tr><tr><td>Dependent Mean</td><td></td><td>109.93333</td><td>Adj R-Sq</td><td>0.5976</td><td></td></tr><tr><td>Coeff Var</td><td></td><td>12.48822</td><td></td><td></td><td></td></tr></tbody><thead><tr><th colspan="6">Parameter Estimates</th></tr><tr><th>Variable</th><th>DF</th><th>Parameter Estimate</th><th>Standard Error</th><th>t Value</th><th>Pr &gt; |t|</th></tr></thead><tbody><tr><td>Intercept</td><td>1</td><td>101.08315</td><td>11.55217</td><td>8.75</td><td>&lt;.0001</td></tr><tr><td>Weight</td><td>1</td><td>-0.77406</td><td>0.16689</td><td>-4.64</td><td>0.0006</td></tr><tr><td>Height</td><td>1</td><td>0.82603</td><td>0.18369</td><td>4.50</td><td>0.0007</td></tr></tbody></table>

Cette fausse explication de la santé par le Poids et le Taille est due à la corrélation entre les régresseurs (0.8357). Ce qui est visible sur la matrice de corrélation et sur la matrice de scatter plot.
## Matrice de corrélation et Scatter Plot

<figure><img src="image_56.png" /><figcaption>Correlation Matrix</figcaption></figure>

<table><thead><tr><th></th><th>Health</th><th>Height</th><th>Weight</th></tr></thead><tbody><tr><th>Health</th><td>1.0000</td><td>0.1916</td><td>-0.2717</td></tr><tr><th>Height</th><td>0.1916</td><td>1.0000</td><td>0.8357</td></tr><tr><th>Weight</th><td>-0.2717</td><td>0.8357</td><td>1.0000</td></tr></tbody></table>

<figure><img src="image_57.png" /></figure>

### 3.2.2. Instabilité des coefficients de la régression, en cas de multicolinéarité

#### Exemple sur données réelles

Cet exemple est de D. LADIRAY <fnref n="18" />. On dispose de 44 observations et on cherche à expliquer le taux d'urbanisation, variable URBA, en fonction de 10 variables régresseurs, POP87 à ESPER.

<table><caption>Tableau 3.5 Tableau des données</caption><thead><tr><th>OBS</th><th>URBA</th><th>POP87</th><th>NAT</th><th>MORT</th><th>ACCR</th><th>DOUB</th><th>FERTI</th><th>MORTI</th><th>AGE15</th><th>AGE65</th><th>ESPER</th><th>CCR-Cal</th></tr></thead><tbody><tr><td>1</td><td>81</td><td>0.4</td><td>32</td><td>5</td><td>2.8</td><td>25</td><td>4.6</td><td>32.0</td><td>41</td><td>2</td><td>67</td><td>2.7</td></tr><tr><td>2</td><td>53</td><td>0.7</td><td>20</td><td>9</td><td>1.1</td><td>63</td><td>2.5</td><td>12.0</td><td>25</td><td>11</td><td>74</td><td>1.1</td></tr><tr><td>3</td><td>79</td><td>0.6</td><td>47</td><td>8</td><td>4.0</td><td>18</td><td>7.4</td><td>59.0</td><td>50</td><td>3</td><td>64</td><td>3.9</td></tr><tr><td>4</td><td>68</td><td>17.0</td><td>46</td><td>13</td><td>3.3</td><td>21</td><td>7.2</td><td>80.0</td><td>49</td><td>4</td><td>62</td><td>3.3</td></tr><tr><td>5</td><td>90</td><td>4.4</td><td>23</td><td>7</td><td>1.7</td><td>41</td><td>3.1</td><td>12.3</td><td>33</td><td>9</td><td>75</td><td>1.6</td></tr><tr><td>6</td><td>60</td><td>3.7</td><td>45</td><td>8</td><td>3.7</td><td>19</td><td>7.4</td><td>54.0</td><td>51</td><td>3</td><td>67</td><td>3.7</td></tr><tr><td>7</td><td>80</td><td>1.9</td><td>34</td><td>3</td><td>3.2</td><td>22</td><td>4.4</td><td>19.0</td><td>40</td><td>1</td><td>72</td><td>3.1</td></tr><tr><td>8</td><td>80</td><td>3.3</td><td>30</td><td>8</td><td>2.2</td><td>32</td><td>3.8</td><td>52.0</td><td>38</td><td>5</td><td>65</td><td>2.2</td></tr><tr><td>9</td><td>9</td><td>1.3</td><td>47</td><td>14</td><td>3.3</td><td>21</td><td>7.1</td><td>117.0</td><td>44</td><td>3</td><td>52</td><td>3.3</td></tr><tr><td>10</td><td>86</td><td>0.3</td><td>34</td><td>4</td><td>3.0</td><td>23</td><td>5.6</td><td>42.0</td><td>34</td><td>2</td><td>69</td><td>3.0</td></tr><tr><td><u>11</u></td><td>72</td><td>14.8</td><td><u>39</u></td><td>7</td><td>3.1</td><td>22</td><td>6.9</td><td>79.0</td><td>37</td><td>2</td><td>63</td><td>3.2</td></tr><tr><td>12</td><td>49</td><td>11.3</td><td>47</td><td>9</td><td>3.8</td><td>18</td><td>7.2</td><td>59.0</td><td>49</td><td>4</td><td>63</td><td>3.8</td></tr><tr><td>13</td><td>46</td><td>51.4</td><td>30</td><td>9</td><td>2.1</td><td>33</td><td>4.0</td><td>92.0</td><td>36</td><td>4</td><td>62</td><td>2.1</td></tr><tr><td>14</td><td>81</td><td>1.4</td><td>30</td><td>4</td><td>2.6</td><td>27</td><td>5.9</td><td>38.0</td><td>30</td><td>1</td><td>68</td><td>2.6</td></tr><tr><td>15</td><td>15</td><td>6.5</td><td>53</td><td>19</td><td>3.4</td><td>20</td><td>7.8</td><td>137.0</td><td>49</td><td>3</td><td>47</td><td>3.4</td></tr><tr><td>16</td><td>40</td><td>2.4</td><td>47</td><td>17</td><td>3.0</td><td>23</td><td>7.3</td><td>135.0</td><td>48</td><td>3</td><td>48</td><td>3.0</td></tr><tr><td>17</td><td>16</td><td>14.2</td><td>48</td><td>22</td><td>2.6</td><td>27</td><td>7.6</td><td>182.0</td><td>46</td><td>4</td><td>39</td><td>2.6</td></tr><tr><td>18</td><td>13</td><td>107.1</td><td>44</td><td>17</td><td>2.7</td><td>26</td><td>6.2</td><td>140.0</td><td>44</td><td>4</td><td>50</td><td>2.7</td></tr><tr><td>19</td><td>5</td><td>1.5</td><td>38</td><td>18</td><td>2.0</td><td>34</td><td>5.5</td><td>142.0</td><td>40</td><td>3</td><td>46</td><td>2.0</td></tr><tr><td>20</td><td>25</td><td>800.3</td><td>33</td><td>12</td><td>2.1</td><td>33</td><td>4.3</td><td>101.0</td><td>38</td><td>4</td><td>55</td><td>2.1</td></tr><tr><td>21</td><td>51</td><td>50.4</td><td>45</td><td>13</td><td>3.2</td><td>21</td><td>6.3</td><td>113.0</td><td>44</td><td>3</td><td>57</td><td>3.2</td></tr><tr><td>22</td><td>26</td><td>0.2</td><td>48</td><td>10</td><td>3.8</td><td>18</td><td>7.1</td><td>68.0</td><td>45</td><td>2</td><td>51</td><td>3.8</td></tr><tr><td>23</td><td>7</td><td>17.8</td><td>42</td><td>17</td><td>2.5</td><td>28</td><td>6.1</td><td>112.0</td><td>41</td><td>3</td><td>52</td><td>2.5</td></tr><tr><td>24</td><td>28</td><td>104.6</td><td>44</td><td>15</td><td>2.9</td><td>24</td><td>6.6</td><td>125.0</td><td>45</td><td>4</td><td>50</td><td>2.9</td></tr><tr><td>25</td><td>22</td><td>16.3</td><td>25</td><td>7</td><td>1.8</td><td>38</td><td>3.7</td><td>29.8</td><td>35</td><td>4</td><td>70</td><td>1.8</td></tr><tr><td>26</td><td>64</td><td>0.2</td><td>30</td><td>4</td><td>2.6</td><td>26</td><td>3.6</td><td>12.0</td><td>38</td><td>3</td><td>62</td><td>2.6</td></tr></tbody><tfoot><tr><td>OBS</td><td>URBA</td><td>POP87</td><td>NAT</td><td>MORT</td><td>ACCR</td><td>DOUB</td><td>FERTI</td><td>MORTI</td><td>AGE15</td><td>AGE65</td><td>ESPER</td><td>CCR-Cal</td></tr></tfoot></table>

<footnote n="18">¹⁸ Ladiray D. (1990) Autopsie d'un résultat: L'exemple des procédures Forecast, X11, Cluster. Club SAS 1990</footnote>
<table><tr><td>27</td><td>24</td><td>38.8</td><td>34</td><td>13</td><td>2.1</td><td>33</td><td>4.4</td><td>103.0</td><td>39</td><td>4</td><td>53</td><td>2.1</td></tr><tr><td>28</td><td>12</td><td>0.7</td><td>48</td><td>23</td><td>2.5</td><td>28</td><td>5.8</td><td>183.0</td><td>35</td><td>3</td><td>40</td><td>2.5</td></tr><tr><td>29</td><td>22</td><td>174.9</td><td>31</td><td>10</td><td>2.1</td><td>33</td><td>4.2</td><td>88.0</td><td>40</td><td>3</td><td>58</td><td>2.1</td></tr><tr><td><b>30</b></td><td>11</td><td>6.5</td><td><b>39</b></td><td>18</td><td>2.1</td><td>33</td><td>4.7</td><td>160.0</td><td>35</td><td>3</td><td>43</td><td>2.1</td></tr><tr><td>31</td><td>16</td><td>3.8</td><td>41</td><td>16</td><td>2.5</td><td>28</td><td>5.8</td><td>122.0</td><td>43</td><td>3</td><td>50</td><td>2.5</td></tr><tr><td>32</td><td>32</td><td>16.1</td><td>31</td><td>7</td><td>2.4</td><td>28</td><td>3.9</td><td>30.0</td><td>39</td><td>4</td><td>67</td><td>2.4</td></tr><tr><td>33</td><td>40</td><td>61.5</td><td>35</td><td>7</td><td>2.8</td><td>25</td><td>4.7</td><td>50.0</td><td>41</td><td>3</td><td>65</td><td>2.8</td></tr><tr><td>34</td><td>100</td><td>2.6</td><td>17</td><td>5</td><td>1.1</td><td>61</td><td>1.6</td><td>9.3</td><td>24</td><td>5</td><td>71</td><td>1.2</td></tr><tr><td>35</td><td>17</td><td>53.6</td><td>29</td><td>8</td><td>2.1</td><td>33</td><td>3.5</td><td>57.0</td><td>36</td><td>3</td><td>63</td><td>2.1</td></tr><tr><td>36</td><td>19</td><td>62.2</td><td>34</td><td>8</td><td>2.6</td><td>27</td><td>4.5</td><td>55.0</td><td>40</td><td>4</td><td>63</td><td>2.6</td></tr><tr><td>37</td><td>32</td><td>1062.0</td><td>21</td><td>8</td><td>1.3</td><td>53</td><td>2.4</td><td>61.0</td><td>28</td><td>5</td><td>66</td><td>1.3</td></tr><tr><td>38</td><td>92</td><td>5.6</td><td>14</td><td>5</td><td>0.9</td><td>77</td><td>1.6</td><td>7.5</td><td>24</td><td>7</td><td>75</td><td>0.9</td></tr><tr><td>39</td><td>76</td><td>122.2</td><td>12</td><td>6</td><td>0.6</td><td>124</td><td>1.8</td><td>5.5</td><td>22</td><td>10</td><td>77</td><td>0.6</td></tr><tr><td>40</td><td>64</td><td>21.4</td><td>30</td><td>5</td><td>2.5</td><td>28</td><td>4.0</td><td>33.0</td><td>39</td><td>4</td><td>65</td><td>2.5</td></tr><tr><td>41</td><td>65</td><td>42.1</td><td>20</td><td>6</td><td>1.4</td><td>51</td><td>2.1</td><td>30.0</td><td>31</td><td>4</td><td>67</td><td>1.4</td></tr><tr><td>42</td><td>97</td><td>0.4</td><td>23</td><td>6</td><td>1.7</td><td>41</td><td>3.7</td><td>12.0</td><td>34</td><td>8</td><td>68</td><td>1.7</td></tr><tr><td>43</td><td>51</td><td>2.0</td><td>37</td><td>11</td><td>2.6</td><td>26</td><td>5.1</td><td>53.0</td><td>42</td><td>3</td><td>62</td><td>2.6</td></tr><tr><td>44</td><td>67</td><td>19.6</td><td>17</td><td>5</td><td>1.2</td><td>59</td><td>1.8</td><td>8.9</td><td>30</td><td>5</td><td>73</td><td>1.2</td></tr></table>

Dans le tableau 3.5, deux valeurs de la variable NAT (taux de natalité) pour OBS=11 et OBS=30 sont légèrement modifiées (39 est remplacé par 40)

Les régressions effectuées avant et après modifications donnent les résultats suivants pour les coefficients de régression :

<table><caption>Tableau 3.6</caption><thead><tr><th>Résultat 1 (valeur 39)</th><th>Résultat 2 (valeur 40)</th></tr><tr><th>Avant</th><th>Après</th></tr></thead><tbody><tr><td>URBA =</td><td>URBA=</td></tr><tr><td>25.541</td><td>20.689</td></tr><tr><td>-0.026 POP87</td><td>-0.026 POP87</td></tr><tr><td><b>-6.661 NAT</b></td><td><b>-4.047 NAT</b></td></tr><tr><td><b>+2.681 MORT</b></td><td><b>-0.005 MORT</b></td></tr><tr><td><b>+64.506 ACCR</b></td><td><b>+39.832 ACCR</b></td></tr><tr><td>+0.019 DOUB</td><td>+0.015 DOUB</td></tr><tr><td>+7.834 FERTI</td><td>+7.307 FERTI</td></tr><tr><td>+0.101 MORTI</td><td>+0.128 MORTI</td></tr><tr><td>-1.132 AGE15</td><td>-1.157 AGE15</td></tr><tr><td>+2.709 AGE65</td><td>+2.848 AGE65</td></tr><tr><td>+0.910 ESPER</td><td>+0.969 ESPER</td></tr></tbody></table>

Les résultats "Avant" et "Après" (tableau 3.6) sont particulièrement instables pour les estimations des coefficients des 3 variables, NAT (taux de natalité), MORT (taux de mortalité) et ACCR (taux d'accroissement de la population).
### Explication

Ces 3 variables **ne sont pas indépendantes**, elles sont liées entre elles par une relation quasi-linéaire ACCR= (NAT-MORT)/10. Dans le tableau 3.5, on peut comparer ACCR avec la variable ACCR\_CAL, en dernière colonne, calculée avec la formule exacte.

Lors de l'inversion de la matrice X'X, il y a une valeur propre qui est presque nulle. Conséquence une légère perturbation des données entraîne de grands changements dans les estimations des paramètres.

### Exemple sur données avec modèle théorique connu et régresseurs corrélés

Cet exemple est de T. Foucart (2007). Pour étudier l'effet des corrélations entre les régresseurs sur les estimations des paramètres, T. Foucart a généré 100 observations d'un **vrai modèle théorique** :

$$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_3 + \beta_4 X_4 + \varepsilon$$

Les vraies valeurs des paramètres du modèle théorique sont :

$$\beta_1 = 0$$

$$\beta_1 = \beta_2 = 0.5$$

$$\beta_3 = \beta_4 = -0.5$$

Les 4 régresseurs X₁ à X₄ suivent des lois normales centrées et réduites.

L'erreur ε suit une loi normale N(0, σ²),

On impose de plus des contraintes sur la matrice des corrélations entre les régresseurs.

<table><caption>**Tableau 3.7 Corrélation imposée**</caption><thead><tr><th></th><th>X<sub>1</sub></th><th>X<sub>2</sub></th><th>X<sub>3</sub></th><th>X<sub>4</sub></th></tr></thead><tbody><tr><th>X<sub>1</sub></th><td>1</td><td></td><td></td><td></td></tr><tr><th>X<sub>2</sub></th><td>0.5</td><td>1</td><td></td><td></td></tr><tr><th>X<sub>3</sub></th><td>0.5</td><td>0.5</td><td>1</td><td></td></tr><tr><th>X<sub>4</sub></th><td>-0.5</td><td>0.4</td><td>0.3</td><td>1</td></tr></tbody></table>

Et on impose la valeur du coefficient de détermination R² = 0.5.

Les données générées RIDGE1 sont disponibles sur le site de T. Foucart<fnref n="19" />.

### Résultats avec SAS/INSIGHT

* la matrice de corrélation

<figure><img src="image_58.png" /></figure>

Menu → **Analyze # Mutivariate** avec les 5 variables X1, X2, X3, X4, Y dans le rôle Y

On la trouve dans le (tableau 3.8) ci-dessous.

<footnote n="19">¹⁹ http://foucart.thierry.free.fr/StatPC/.</footnote>
<figure><img src="image_59.png" /><figcaption>Tableau 3.8 Statistiques univariées et matrice de corrélation</figcaption></figure>

On vérifie sur le tableau 3.8 que la matrice de corrélation a bien les valeurs imposées du Tableau 3.7.

* la matrice de scatter plot

Menu → Analyze# Scatter Plot avec les 5 variables (X1, X2, X3, X4, Y) dans le rôle X et les mêmes dans le rôle Y

<figure><img src="image_60.png" /><figcaption>Figure 3.6 Matrice de diagrammes de dispersion</figcaption></figure>

La matrice de diagrammes de dispersion permet de repérer les liaisons entre les régresseurs et la variable Y. Y est lié à X1, X2, avec un coefficient positif, et Y est lié à X3, X4 avec un coefficient négatif.

* La régression linéaire

Menu → Analyze#Fit avec les 4 variables X1, X2, X3, X4, dans le rôle de X et Y dans le rôle de Y
<table><caption>Analysis of Variance</caption><thead><tr><th>Source</th><th>DF</th><th>Sum of Squares</th><th>Mean Square</th><th>F Stat</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Model</td><td>4</td><td>112.7185</td><td>28.1796</td><td>22.88</td><td>&lt;.0001</td></tr><tr><td>Error</td><td>95</td><td>117.0120</td><td>1.2317</td><td></td><td></td></tr><tr><td>C Total</td><td>99</td><td>229.7305</td><td></td><td></td><td></td></tr></tbody></table>

<table><caption>Summary of Fit</caption><tbody><tr><td>Mean of Response</td><td>-0.1650</td><td>R-Square</td><td>0.4907</td></tr><tr><td>Root MSE</td><td>1.1098</td><td>Adj R-Sq</td><td>0.4692</td></tr></tbody></table>

<table><caption>Parameter Estimates</caption><thead><tr><th>Variable</th><th>DF</th><th>Estimate</th><th>Std Error</th><th>t Stat</th><th>Pr &gt;|t|</th></tr></thead><tbody><tr><td>Intercept</td><td>1</td><td>-0.1650</td><td>0.1110</td><td>-1.49</td><td>0.1405</td></tr><tr><td>X1</td><td>1</td><td>1.6339</td><td>0.8739</td><td>1.87</td><td>0.0646</td></tr><tr><td>X2</td><td>1</td><td>-0.1482</td><td>0.5659</td><td>-0.26</td><td>0.7940</td></tr><tr><td>X3</td><td>1</td><td>-1.0375</td><td>0.4153</td><td>-2.50</td><td>0.0142</td></tr><tr><td>X4</td><td>1</td><td>0.4439</td><td>0.7848</td><td>0.57</td><td>0.5730</td></tr></tbody></table>

Avec la méthode des moindres carrés, le coefficient de détermination R²=0.4907 est bien calculé (le théorique vaut 0.50), *par contre les coefficients sont très différents de ceux du modèle théorique*.

Les estimations MCO sont respectivement : 1.6339, -0.1482, -1.0375, 0.4439 au lieu des vraies valeurs : 0.5, 0.5, -0.5, -0.5. Mêmes les signes ne sont pas respectés.

## Conclusion

Les conséquences des colinéarités entre les variables régresseurs sont les suivantes :

* Les coefficients de régression sont instables ;

* Leur signe peuvent changer (positif $\leftarrow$ négatif) rendant les interprétations fausses, ce qui a de graves conséquences lors de la recherche des effets d'une variable régresseur ;

* Les variances des estimateurs sont élevées.

La technique de la régression bornée (Ridge Regression) a été proposée dans les années 1970, pour pallier ces inconvénients. On en trouvera un exemple au chapitre 4 (paragraphe 4.4.5). L'article de T. FOUCART (2007) « Evaluation de la régression bornée »<fnref n="20" />, montre que là encore on ne peut systématiquement y recourir. Il faut bien connaître les données et le domaine pour en faire bon usage.

## 3.3. Conditions d'utilisation de la régression, les diagnostics

Les différents exemples présentés dans ce chapitre montrent l'importance des analyses et diagnostics effectués avant et après les premiers traitements.

Pour réaliser les tests d'hypothèses de la régression on a supposé, en pure théorie, que le modèle linéaire postulé est correct, que les suppositions, *a priori* sur les variables et sur les erreurs, sont vraies. Ces suppositions sont nécessaires pour

<footnote n="20">²⁰ Site http://foucart.thierry.free.fr/colreglin/Regression_bornee.pdf,</footnote>
définir les tests comme on l'a vu au Chapitre 1, car on ne peut calculer les variances
que dans des cas gaussiens et sous certaines conditions.

Suppositions sur les variables

* Les observations $Y_i$ sont supposées indépendantes

* Les variables $X_j$ sont non aléatoires.

Suppositions sur les erreurs

* les erreurs sont d'espérance nulle ce qui est vérifié par construction si la constante $\beta_0$ existe dans le modèle.

* les erreurs sont de variance constante

* les erreurs suivent une distribution normale

* les erreurs sont indépendantes

Les erreurs sont inconnues, elles sont approchées par les résidus, **si le modèle est correct.**

Après examen des résidus, on peut conclure: les suppositions semblent ou ne semblent pas être violées. Ce qui ne signifie pas que les suppositions soient correctes. Cela veut dire que sur la base des données que l'on a étudiée, on n'a aucune raison de dire que les suppositions sont fausses.

3.3.1. Modèle Inadapté

C'est par l'examen des résidus que l'on peut voir si le modèle postulé est vraisemblablement correct, ou s'il est **inadapté**.

Les résidus contiennent à la fois des erreurs de mesure et des erreurs de spécification du modèle, comme des variables omises, ou des liaisons non linéaires.
On peut avoir des tests satisfaisants, de bonnes précisions sur les estimateurs des paramètres, alors que le modèle est inadapté à l'étude.

En dehors de certaines visualisations il n'y a que le bon sens et la **pré-connaissance du problème** qui permettent de repérer l'inadéquation du modèle aux données.

3.3.2. L'influence de certaines données, les données atypiques -Outliers-

Certaines données atypiques peuvent fausser les résultats. Les visualisations graphiques permettent parfois de les identifier.

Le livre de BELSLEY, KUH et WELSH (BKW) a popularisé une méthode rigoureuse de recherche des observations influentes. L'option INFLUENCE de Proc REG permet cette analyse.

On peut alors être amené à retirer ces points atypiques des analyses, ou à procéder
à des techniques « robustes » (voir ROUSSEEUW et al. (2003)). La procédure
ROBUSTREG de SAS disponible en V9 reprend ces techniques.
### 3.3.3. Corrélation et colinéarité entre les régresseurs

La colinéarité est un **gros problème**, lot quotidien du statisticien praticien lorsqu'il analyse des données réelles, principalement en sciences économiques et sociales.

C'est également le trio "BKW" qui a proposé des indicateurs de détection de colinéarités.

Les options TOL, VIF et COLLIN, COLLINOINT de Proc REG sont des aides aux diagnostics de colinéarité.

Tous ces compléments à la régression, représentations graphiques, indicateurs techniques de BKW, etc., nécessitent de faire appel aux nombreuses options de Proc REG, qui seront présentées au chapitre 4 « Validation d'une régression ».
# 4. Validation d'une régression

Dans ce chapitre, on présente les différents éléments nécessaires à la validation d'une régression, c'est-à-dire la vérification des suppositions de base du modèle, l'étude de la robustesse au niveau des observations (détection des observations influentes et atypiques) et au niveau des variables (colinéarités, choix d'un sous-ensemble de régresseurs).

Les sorties de SAS-version 9 illustrant ce chapitre sont réalisés avec le même exemple que pour le chapitre 2 (§2.3.1), issu du livre de Tomassone et al. (1992).

## 4.1. Introduction

Un principe de base doit être appliqué : explorer les données par des graphiques et/ou des calculs numériques.

Les calculs préalables des caractéristiques des variables Y et des Xj, ainsi que des histogrammes et des tracés Box-Plot de ces différentes variables permettent en effet de mettre en évidence des problèmes. Bien sûr le calcul des corrélations entre Y et les Xj est nécessaire.

Il faut étudier les variables, et donc en particulier faire des graphiques, par exemple de Y contre les régresseurs Xj pour contrôler la linéarité des liaisons. Pour cela, on utilisera la procédure GPLOT, ou le menu « Scatter-Plot » de SAS/INSIGHT.

Dans PROC REG, l'instruction PLOT permet de faire des graphiques des variables entrant dans la régression, mais aussi des variables créées comme les valeurs résiduelles et ajustées.

De plus, une Analyse en Composantes Principales des régresseurs, avec Y en variable supplémentaire, peut aussi être utile pour visualiser comment Y se reconstruit à partir de l'ensemble des X.

### 4.1.1. Modèle et notations

Si on postule un modèle avec n observations (i) et p variables régresseurs (j) et une constante, on note :

* Y réponse ou variable dépendante

* X matrice des variables régresseurs

* β coefficients de régression

* ε erreurs.

Le modèle linéaire s'écrit : $Y_i = \beta_0 + \beta_1 X_{i1} + \beta_2 X_{i2} + \beta_3 X_{i3} + ... + \beta_p X_{ip} + \varepsilon_i$.

D'où l'ajustement :
$$ \hat{Y}_i = b_0 + b_1 X_{i1} + b_2 X_{i2} + \dots + b_p X_{ip} \quad \text{et les résidus } e_i = Y_i - \hat{Y}_i. $$

**Suppositions sur les erreurs** : $\varepsilon_i$ sont des aléas, indépendants, d'espérance nulle, de variance constante, et de même loi (cf. chapitre 1).

→on dit « IID avec loi normale N(0,σ²)».

### 4.1.2. Problèmes à étudier

*Vérification des suppositions sur les erreurs ;*

*Robustesse de la régression : détection des observations influentes, et de la colinéarité des régresseurs ;*

*Choix d'un sous-ensemble de régresseurs.*

## 4.2. Vérification des suppositions de base sur les erreurs

Les suppositions sur les erreurs (inconnues) doivent être vérifiées à partir de leurs observations (les résidus).

### 4.2.1. Espérance nulle

Il faut vérifier que les résidus sont de moyenne nulle. Or les résidus construits par les moindres carrés sont centrés par construction, si la constante est dans le modèle (ce que l'on suppose ici).

### 4.2.2. Indépendance

Il faudrait vérifier que le vecteur des résidus forme un échantillon tiré de n variables aléatoires indépendantes

On obtient $\hat{Y}$ par projection du vecteur Y sur le sous-espace engendré par les régresseurs : il en résulte que les n composants du vecteur e des résidus, $e_i = Y_i - \hat{Y}_i$, sont reliés par des relations ainsi que le montre la figure 4.1 :
<figure><img src="image_61.png" /><figcaption>Figure 4.1 : Projection de Y dans l'espace des régresseurs</figcaption></figure>

Dans la représentation géométrique dans l'espace Rⁿ, le vecteur des n résidus est situé dans le sous-espace orthogonal à celui des régresseurs ; celui-ci étant de dimension (p+1), le vecteur des résidus est alors situé dans un espace de dimension (n-(p+1)).

L'indépendance n'a donc de sens que si n est grand par rapport à p.

**Remarque :**

De façon générale, pour tester l'indépendance, on met en œuvre des tests non paramétriques (qui ne sont proposés dans SAS) basés sur des séquences : séquence des signes des différences successives ($e_{i+1} - e_i$), ou séquence des signes des différences à la médiane ($e_i$ - Mediane).

**Cas particulier où les observations sont apparentées (cas des chroniques) :**

Alors le test de Durbin-Watson permet de vérifier si le résidu en i est non-corrélé au résidu en (i+1) : on parle d'auto-corrélation d'ordre 1. Il est obtenu par l'option DW de l'instruction MODEL de Proc REG.

On calcule ainsi le coefficient de Durbin-Watson à partir des résidus $e_i = Y_i - \hat{Y}_i$,

$$DW = \frac{\sum_{i} (e_{i+1} - e_{i})^{2}}{\sum_{i} e_{i}^{2}}$$

En notant $\rho = \left( \frac{\sum e_{i+1} \cdot e_i}{\sum e_i^2} \right)$, si les résidus forment un processus autorégressif d'ordre 1,
c'est-à-dire suivent le modèle $e_{i+1} = \rho \cdot e_i + \eta_i$, alors DW vaut à peu près $2(1 - \rho)$,
où $DW \approx 2 \cdot \left( 1 - \frac{\sum e_{i+1} \cdot e_i}{\sum e_i^2} \right)$.

**Liens entre les valeurs ρ et DW:**

Si $0 < \rho < 1$ $\Rightarrow$ DW compris entre 0 et 2

Si $0 > \rho > -1$ $\Rightarrow$ DW compris entre 2 et 4

S'il n'y a pas d'auto-corrélation d'ordre 1 $\Leftrightarrow \rho$ proche de 0, donc DW proche de 2.

Il existe des tables dites de Durbin-Watson permettant de tester l'absence d'auto-corrélation d'ordre 1 en fonction du niveau de confiance $\alpha$, et de n (nombre d'observations) et p (nombre de variables). On y lit deux valeurs d1 et d2:

<figure><img src="image_62.png" /></figure>

Les causes de l'auto-corrélation sont une mauvaise spécification du modèle, ou l'absence d'une variable importante. Les remèdes sont soit de travailler sur les différences premières en Y c'est-à-dire $(Y_i - Y_{i-1})$, soit d'appliquer la méthode de Cochran-Orcutt (voir les livres spécialisés en Econométrie). PROC AUTOREG, du module SAS/ETS, réalise des régressions où le problème de l'auto-corrélation des résidus est résolu.

**Remarque** : Beaucoup de logiciels donnent systématiquement cette statistique DW, mais interpréter le test de Durbin-Watson sur les résidus n'a aucun sens si les données ne sont pas apparentées.

### 4.2.3. Egalité des variances (homoscédasticité)

Les graphiques des résidus contre les différents régresseurs $X_j$, permettent de visualiser si les résidus sont répartis dans une bande de valeurs horizontale autour de 0, c'est à dire s'il y a homoscédasticité. Sinon on peut alors détecter quelle est la variable responsable de l'hétéroscédasticité.

<figure><img src="image_63.png" /><figcaption>**Figure 4.2 :** Graphique « typique » des résidus contre $X_j$ révélant une hétéroscédasticité</figcaption></figure>
Ces graphiques peuvent être tracés par la procédure GPLOT si on a stocké les résidus dans une table, mais peuvent aussi être faits à l'intérieur de la procédure REG, à l'aide de l'instruction PLOT, avec «R.» comme nom de variable en ordonnée car le résidu est stocké en interne dans la variable ayant le nom R.
Dans SAS/INSIGHT, un graphique des résidus (dénommé R_Y) contre X est tracé si le modèle est une régression à un régresseur ; sinon c'est le tracé de R_Y contre l'estimation Ŷ (dénommée P_Y) qui est tracé par défaut. Ces deux variables sont automatiquement créées dans la table SAS active. Il est possible de réaliser les autres graphiques à l'aide de la variable R_Y.

L'instruction MODEL de Proc REG possède une option SPEC pour tester s'il y a un problème d'hétéroscédasticité : l'hypothèse nulle « homoscédasticité » est testée à l'aide d'une statistique suivant une loi du Chi2 (cf. White H., (1980)). Le test est global, et donc en cas de rejet de H0, on ne sait pas quelle est la variable responsable de l'hétéroscédasticité.

D'autres tests, comme ceux de Goldfeldt et Quandt, ou de Breush et Pagan (voir les publications spécialisées en Econométrie, par exemple Green (2005)), permettent de mettre en évidence l'hétéroscédasticité dûe aux différentes variables. Mais ils sont assez lourds à mettre en œuvre, et ne sont pas faits par des procédures SAS.

Une méthode plus simple peut permettre d'avoir une idée préalable sur l'existence d'un problème. Celle-ci s'apparente au test de Chow (1960) pour une série chronologique, où on teste l'égalité des variances des résidus de 2 sous périodes de la chronique.

Ici, on trie les résidus selon les valeurs croissantes de la variable Xj suspecte (par PROC SORT), ensuite on partage le vecteur des résidus triés en 2 paquets (premiers, derniers) dont on calcule les variances. Puis on teste l'hypothèse nulle d'égalité de ces 2 variances c'est à dire la possibilité d'homoscédasticité, à l'aide de la procédure TTEST de SAS.

### Quelques remèdes en cas d'hétéroscédasticité :

- transformer Y ou Xj par une fonction racine carrée, ou Log, ou carré, etc. pour « aplatir » les variances : l'échelle de Tukey donnée au chapitre 3 (§3.1.3), peut aider au choix de la transformation ;

- mettre en œuvre une régression pondérée avec l'instruction WEIGHT, en prenant comme poids $\frac{1}{\sqrt{f(X_j)}}$ si la variance $\sigma^2$ est une fonction connue f de $X_j$;

- mettre en œuvre les moindres carrés généralisés, ce qui peut se faire par PROC GLM.
### 4.2.4. Normalité des erreurs

Supposition : Les $\varepsilon_i$ sont indépendant, et suivent une loi N(0,σ²).

Cette supposition de normalité est nécessaire pour effectuer les tests sur les coefficients et les tests sur les sommes de carrés à l'aide des statistiques de Student ou de Fisher vues aux chapitres 1 et 2.

Comme tout test, le test d'adéquation à une loi nécessite l'indépendance. Or les résidus sont liés. Donc réaliser un test de normalité à une loi N(0, σ²) sur ces résidus n'a pas de sens.

Dans SAS, un tracé « QQ-Plot »<fnref n="21" /> pour les résidus permet de vérifier graphiquement l'adéquation à la loi normale (0,s²) ou s² est estimé par MSE (Mean Square Error du modèle). Le QQ-Plot est obtenu dans la procédure REG avec l'instruction PLOT : on demande le tracé de R (variable interne des résidus) contre NQQ (variable interne contenant les quantiles de la loi normale) : voir l'exemple ci-dessous (§4.2.5). Dans SAS/INSIGHT, une fois que l'on a exécuté le modèle, on peut ajouter aux sorties standards un graphique QQ-Plot appelé « Residual Normal QQ » dans le menu Graphs (penser à cocher « Reference lines » dans le menu contextuel du graphique pour tracer la droite).

### 4.2.5. Exemple

On utilise les données « Processionnaire du pin » issu du livre de Tomassone et al..(1983), déjà traitées au chapitre 2. On se limite dans ce paragraphe au modèle Y = log = f(X1 X2 X4 X5), dont on verra que c'est un « bon » modèle.

On trouvera au §2.3.2 les caractéristiques des variables, la matrice de corrélation et les graphiques de dispersion des variables.

**Modèle**

```sas
proc reg data=libreg.chenilles; title 'Modèle Y = X1 X2 X4 X5'
;
LOG : model LOG=X1 X2 X4 X5 ;
run ;
quit;
```

<footnote n="21">²¹ On trouvera en annexe 5 le principe de construction des QQ-Plot pour l'adéquation à certaines lois.</footnote>
Modèle Y = X1 X2 X4 X5

The REG Procedure

Model: LOG

Dependent Variable: log

<table><tr><td>Number of Observations Read</td><td>33</td></tr><tr><td>Number of Observations Used</td><td>33</td></tr></table>

<table><caption>Analyse de variance</caption><thead><tr><th>Source</th><th>DF</th><th>Somme des carrés</th><th>Carré moyen</th><th>Valeur F</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Model</td><td>4</td><td>32.09265</td><td>8.02316</td><td>12.83</td><td>&lt;.0001</td></tr><tr><td>Error</td><td>28</td><td>17.50338</td><td>0.62512</td><td></td><td></td></tr><tr><td>Corrected Total</td><td>32</td><td>49.59603</td><td></td><td></td><td></td></tr></tbody></table>

<table><tr><td>Root MSE</td><td>0.79065</td><td>R-Square</td><td>0.6471</td></tr><tr><td>Dependent Mean</td><td>-0.81328</td><td>Adj R-Sq</td><td>0.5967</td></tr><tr><td>Coeff Var</td><td>-97.21683</td><td></td><td></td></tr></table>

<table><caption>Résultats estimés des paramètres</caption><thead><tr><th>Variable</th><th>DF</th><th>Résultat estimé des paramètres</th><th>Error std</th><th>Valeur du test t</th><th>Pr &gt; |t|</th></tr></thead><tbody><tr><td>Intercept</td><td>1</td><td>7.73214</td><td>1.48858</td><td>5.19</td><td>&lt;.0001</td></tr><tr><td>X1</td><td>1</td><td>-0.00392</td><td>0.00115</td><td>-3.42</td><td>0.0019</td></tr><tr><td>X2</td><td>1</td><td>-0.05734</td><td>0.01939</td><td>-2.96</td><td>0.0062</td></tr><tr><td>X4</td><td>1</td><td>-1.35614</td><td>0.31983</td><td>-4.24</td><td>0.0002</td></tr><tr><td>X5</td><td>1</td><td>0.28306</td><td>0.07626</td><td>3.71</td><td>0.0009</td></tr></tbody></table>

## Dessin des résidus contre les 4 régresseurs (avec SAS/INSIGHT)

On y affiche le numéro de certaines observations, qui ont des résidus un peu grands, ou qui seront détectés plus loin comme « atypiques » (§4.3.11)
<figure><img src="image_64.png" /></figure>

Remarque : instruction de tracé des résidus dans PROC REG

/* dessin des residus contre les X dans PROC REG */
plot R.*X1='1' R.*X2='2' R.*X4='4' R.*X5='5' / vref = 0 ;

QQ-Plot (avec SAS/INSIHT)

<figure><img src="image_65.png" /></figure>

Le tracé QQ-Plot montre un assez bon ajustement à la loi normale.
## Test d'homoscédasticité et tracé du QQ-PLOT avec PROC REG.

```sas
/*option SPEC + dessin QQ_Plot */
proc reg data=libreg.chenilles; title 'Modèle Y = X1 X2 X4 X5';
LOG : model LOG=X1 X2 X4 X5 / SPEC;
run;
/* QQ Plot */
plot R.* NQQ.;
quit;
```

### Modèle Y = X1 X2 X4 X5

The REG Procedure

Model: LOG

Dependent Variable: log

<table><thead><tr><th colspan="3">Test d'indication du Premier et du Second</th></tr><tr><th>DF</th><th>Khi 2</th><th>Pr > Khi 2</th></tr></thead><tbody><tr><td>14</td><td>12.09</td><td>0.5991</td></tr></tbody></table>

L'homoscédasticité des résidus n'est pas rejetée.

<figure><img src="image_66.png" /></figure>
## 4.3. Influence d'observations

Dans le but d'avoir une régression plus robuste, il faut détecter les observations influentes, détection qui commence là-aussi par des graphiques soit de Y contre les Xj, soit des résidus contre les Xj.

Dans la figure 4.3, ej est nul car l'observation i est influente à cause de son caractère atypique.

<figure><img src="image_67.png" /><figcaption>Figure 4.3 : Exemple d'observation à fort effet de levier</figcaption></figure>

SAS calcule une série d'indicateurs par les 2 options R et INFLUENCE de l'instruction MODEL. L'ouvrage « Regression Diagnostics » de Belsley D.A., Kuh K. et Welsh R.E. (1980) en est la référence de base.

Ces indicateurs sont basés sur des détections de l'influence selon des mesures différentes, donc détecteront des influences de nature différente : on distinguera donc des observations influentes sur la régression, ou suspectes, ou atypiques, ce dernier terme étant plutôt recommandé.

Les mesures peuvent être classées en 3 groupes :

* détection d'un effet de levier de l'observation, donnant un résidu petit : *leverage* ;

* détection de résidu grand donc observation atypique ;

* détection d'un grand effet sur l'ajustement, ou les coefficients, ou la précision.

### 4.3.1. Hat matrice et leverages

On utilise ici le modèle sous sa forme matricielle :

$$Y = \begin{vmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{vmatrix} \quad X = \begin{vmatrix} 1 & X_{11} & X_{12} & \cdots & X_{1p} \\ 1 \\ \vdots \\ 1 & X_{n1} & X_{n2} & \cdots & X_{np} \end{vmatrix} \quad \beta = \begin{vmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots \\ \beta_p \end{vmatrix} \quad \varepsilon = \begin{vmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \vdots \\ \varepsilon_n \end{vmatrix}$$
L'estimation des moindres carrés est le vecteur $B = (X'X)^{-1}X'Y$.

D'où l'ajustement $\hat{Y} = X(X'X)^{-1}X'Y$

En notant $H= X(X'X)^{-1}X'$, on obtient $\hat{Y} = HY$ et $e = (I-H)Y$

Cette matrice est nommée H pour *Hat matrice* car hat se traduit par chapeau, et $\hat{Y}$ se dit *Y chapeau*.

Dans l'espace $R^n$, H est la matrice de la projection de Y sur l'espace engendré par les variables régresseurs X (espace de dimension (p+1)) : c'est donc la matrice d'un projecteur, dont deux propriétés sont : $H' = H$, et $\text{trace}(H) = p+1$.

H est une matrice carrée (n,n), dont la diagonale comporte les n coefficients $h_{ii}$. De l'expression matricielle de H, on déduit $h_{ii} = x_i'(X'X)^{-1}x_i$.

Les coefficients $h_{ii}$ ne comportent donc que des données relatives aux variables explicatives $X_j$.

Les « leverages » (leviers) des observations sont ces n valeurs $h_{ii}$.

Un levier représente l'influence de l'observation i sur la valeur ajustée $\hat{Y}_i$, à cause des valeurs $x_i$ prises par les variables en i.

On peut montrer que $h_{ii} = (1/n) + (x_i - x_c)'(X'_cX_c)^{-1}(x_i - x_c)$, où $(x_i - x_c)$ est la différence entre le vecteur des valeurs des variables pour l'observation i, et le vecteur des valeurs moyennes, et $X_c$ la matrice de taille (n,p) des valeurs centrées.

Le levier en i est donc une « distance » entre les valeurs des X prises en i et les valeurs moyennes calculées sur les n observations

Des différentes propriétés de H, on déduit:

$$ 
\begin{align*} 
h_{ii} &= \sum_{j=1}^{n} h_{ij}^{2} = h_{ii}^{2} + \sum_{j \neq i} h_{ij}^{2} \\ 
\text{trace}(H) &= p+1 \Rightarrow \sum_{i=1}^{p} h_{ii} = p+1 \\ 
\Rightarrow \frac{1}{n} \le h_{ii} \le 1 
\end{align*} 
$$

et aussi des formules concernant les variances : $\text{var}(\hat{Y}_i) = \sigma^2 h_{ii}$ et $\text{var}(e_i) = \sigma^2(1-h_{ii})$.

On en conclut que $h_{ii}$ est toujours plus petit ou égal à 1.

**Règle** (colonne Hat Diag H): Si les leviers étaient tous égaux, la valeur commune serait $(p+1)/n$. De façon empirique, un levier supérieur à $2(p+1)/n$ est suspect.
### 4.3.2. Résidus studentisés internes

Ils sont appelés en anglais *Standardized Residuals* ou *STUDENT*.

On connaît la variance de chaque résidu : $var(e_i) = \sigma^2(1-h_{ii})$. Dans cette formule,

on estime $\sigma^2$ par $s^2 = \frac{\sum e_i^2}{n - (p+1)} = \text{MSE}$; donc le résidu standardisé est :

$$r_i = \frac{e_i}{s\sqrt{1-h_{ii}}}$$

Bien que numérateur et dénominateur ne soient pas indépendants, on considère que cette quantité $r_i$ suit une loi de Student à $(n-1-(p+1)) = (n-p-2)$ ddl, d'où le nom *STUDENT*.

**Règle** (colonne Student) : $r_i$ sera suspect si $|ri| > 2$ (quantile de la loi de Student $(1-\alpha/2)$, pour le seuil $\alpha=5\%$, avec l'approximation par une loi normale si n grand).

### 4.3.3. Résidus studentisés externes

Ils sont appelés en anglais *Studentized Residuals* ou *RSTUDENT*.

On remplace dans l'expression de $r_i$ l'estimation s par $s_{(-i)}$ qui est l'estimation de s obtenue en refaisant l'ajustement du modèle sans l'observation i, ce qui rend $e_i$ indépendant de $s_{(-i)}$ : ceci donne

$$r_{(-i)} = \frac{e_i}{s_{(-i)}\sqrt{1-h_{ii}}}$$

**Règle** (colonne RStudent) : $r_{(-i)}$ suit aussi une loi de Student à $(n-1-(p+1))$ ddl et sera donc aussi suspecte si $|r_{(-i)}| > 2$. Certains auteurs préconisent d'autres quantiles à un seuil fixé $\alpha$ pour $r_{(-i)}$ : quantile $1-\alpha/2n$ plutôt que $1-\alpha/2$.

### 4.3.4. Mesure globale de l'influence sur le vecteur des coefficients: Distance de COOK

Pour chaque observation i, on calcule une « distance » entre le vecteur B des coefficients de la régression et le vecteur B(-i) obtenu en refaisant la régression sans l'observation i : la distance se mesure à l'aide de $(X'X)$ et est normée par $s^2$, estimation de $\sigma^2$.

$$(\text{COOKD})_i = \frac{|B - B(-i)'(X'X)|B - B(-i)|}{(p+1)s^2} = \frac{r_i^2 h_{ii}}{(p+1)(1-h_{ii})}$$

**Règle** : (colonne Cook's D) : La distance de COOK étant normée, une valeur supérieure à 1 est suspecte$^{22}$.

<footnote>$^{22}$ Certains auteurs suggèrent une limite de $4/(n-p-1)$, la calibration à 1 pouvant laisser passer des valeurs influentes</footnote>
### 4.3.5. Influence sur chacun des coefficients : DFBETAS

Pour chaque variable, on calcule la différence entre le coefficient estimé bj et celui obtenu avec l'estimation sans l'observation i, bj(-i).

Avec standardisation, on obtient pour chaque variable explicative j :

$$ (\text{DFBETAS})_i = \frac{(b_j - b_j(-i))}{s(-i)\sqrt{(X'X)}_{j,i}} $$

**Règle** : Empiriquement, un DFBETAS dont la valeur absolue est plus grande que $\frac{2}{\sqrt{n}}$ est suspect.

Utilisation conjointe COOKD et DFBETAS : S'il y a beaucoup de variables, on regarde d'abord les observations globalement influentes (COOKD élevé), puis pour cette observation quelle(s) variable(s) cause(nt) cette influence (DFBETAS).

### 4.3.6. Précision des estimateurs : COVRATIO

La quantité Mean Square Error (MSE) mesure la précision globale de l'estimation : MSE petit indique une bonne précision. MSE est aussi la variance des résidus.

Ici, on mesure la précision en utilisant une variance « généralisée », évaluée par : $s^2 || (X'X)^{-1} ||$ calculée avec et sans l'observation i ((la notation $|| (..) ||$ désigne le déterminant de la matrice)) :

$$ (\text{COVRATIO})_i = \frac{s^2 (-i) ||(X'X)^{-1}||_{(-i)}}{s^2 ||(X'X)^{-1}||} $$

Donc $(\text{COVRATIO})_i$ plus grand que 1 indique que le fait de mettre l'observation i augmente la précision, alors qu'une valeur plus petite que 1 indique une diminution de la précision.

**Règle** : Belsley, Kuh et Welsh suggèrent qu'un écart à l'unité dépassant $3(p+1)/n$ est grand.

### 4.3.7. Influence sur la valeur ajustée: DFFITS

Pour chaque observation i, $(\text{DFFITS})_i$ donne la différence entre la valeur ajustée pour l'observation i et la valeur prédite de Y pour i dans le modèle estimé sans cette observation i. Un grand écart indiquera une forte modification dans la valeur ajustée par le modèle quand l'observation i est retirée.

Avec une standardisation à $s(-i)$:

$$ (\text{DFFITS})_i = \frac{\hat{Y}_i - \hat{Y}_i(-i)}{s(-i)\sqrt{h_{ii}}} = r(-i)\sqrt{\frac{h_{ii}}{1-h_{ii}}} $$

**Règle** : DFFITS est déclaré suspect s'il est en valeur absolue plus grand que $2\sqrt{\frac{(p+1)}{n}}$.
### 4.3.8. Coefficient global PRESS

$$ \text{Predicted Residuals Sum of Squares} = \text{PRESS} = \sum_{i=1,n} (Y_i - \hat{Y}_i)^2 $$

Ce coefficient (unique) est calculé en faisant n estimations $\hat{Y}_i(-i)$ obtenues en enlevant une observation. Il devrait donc être égal à la somme des carrés des résidus du modèle avec toutes les observations (SSResidus) si aucune observation ne pose problème.

Des coefficients PRESS individuels $(Y_i - \hat{Y}_i)^2$ peuvent être obtenus uniquement dans la table SAS créé par l'instruction OUTPUT. Ces coefficients peuvent être comparés aux coefficients DFFITS, comme le montre la figure 4.4 ci-dessous :

<figure><img src="image_68.png" /><figcaption>Figure 4.4 : Illustration de PRESS et DFFITS</figcaption></figure>

### 4.3.9. Comment obtenir les mesures d'influence dans SAS

#### Dans PROC REG

Elles sont affichées en sortie par des options de l'instruction MODEL.

- Option R → pour toutes les observations, le résidu et son écart-type, les résidus standardisés STUDENT, la distance de COOK et un dessin indiquant la position du résidu par rapport à l'intervalle [-2 ; +2] ;

- Option INFLUENCE → pour toutes les observations, levier, résidu studentisé externe RSTUDENT, COVRATIO, DFFITS et DFBETAS de chaque coefficient.

Certaines mesures peuvent être stockées dans une table de sortie SAS (table possédant n lignes au moins), à l'aide de l'instruction OUTPUT : on crée des variables en utilisant les mots-clefs R, STUDENT, RSTUDENT, H, COOKD, DFFITS et PRESS.

L'option PRESS de l'instruction MODEL permet d'obtenir le coefficient PRESS « global », qui sera affiché en sortie, et stocké dans la table de l'instruction OUTPUT si cette instruction existe.
## Dans SAS/INSIGHT

Une fois que l'on a exécuté le modèle, on peut ajouter à la table SAS sur laquelle on travaille, des variables à l'aide du menu Vars. Les variables ajoutées ont alors le nom indiqué entre parenthèses ci-dessous (où Y est le nom de la variable réponse du modèle) :

- Hat Diag, (H_Y)

- Residual (R_Y)

- Standardized residual (RS_Y)

- Studentized residual (RT_Y)

- Cook's D (D_Y)

- Dffits (F_Y)

- Covratio (C_Y)

- Dfbetas (BY_Intercept, BY_X1, BY_X2, etc.)

### 4.3.10. Tableau récapitulatif

<table><thead><tr><th></th><th>Std Err<br>Residual</th><th>Student Residual</th><th>Rstudent</th><th>Hat Diag H</th></tr></thead><tbody><tr><th>signifiant</th><td>estimateur de<br>l'erreur-type du<br>résidu i</td><td>résidus<br>studentisés<br>internes, appelés<br>standardized<br>residual dans<br>SAS-Insight</td><td>résidus<br>studentisés<br>externes, appelés<br>studentized<br>residual dans<br>SAS-Insight</td><td>levier de l'obs. i</td></tr><tr><th>objet</th><td>permet de calculer<br>l'intervalle de<br>confiance autour<br>du résidu i</td><td>test de<br>significativité<br>du résidu i</td><td>à comparer avec<br>Student Residual<br>écart-type calculé<br>en retirant l'obs. i</td><td>mesure l'influence<br>de l'obs.i à cause<br>des valeurs xi</td></tr><tr><th>valeurs<br>critiques</th><td></td><td>2</td><td>2</td><td>2(p + 1)/n</td></tr><tr><th>Règle de<br>décision</th><td></td><td>|Student residual| > 2<br>alors le résidu i<br>est<br>significativement<br>≠ 0</td><td>|RStudent| > 2<br>alors l'observation<br>i nécessite une<br>investigation !</td><td>h<sub>ii</sub> > 2(p + 1)/n<br>nécessite une<br>investigation</td></tr><tr><th>Option<br>de PROC<br>REG</th><td>R</td><td>R</td><td>Influence</td><td>Influence</td></tr></tbody></table>
<table><thead><tr><th></th><th>Cook's D</th><th>Df betas</th><th>Cov Ratio</th><th>Dffits</th></tr></thead><tbody><tr><td>signifiant</td><td>distance de Cook</td><td>DFBETAS relatif à chaque coefficient β<sub>j</sub></td><td>Ratio de MSE sans et avec l'observation i</td><td>statistique DFFITS</td></tr><tr><td>objet</td><td>mesure le changement en retirant l'obs. i, sur les estimations de l'ensemble des coefficients</td><td>mesure normalisée de l'effet de l'obs. i sur l'estimation, pour chaque coefficient β<sub>j</sub></td><td>mesure l'effet de l'obs. i sur la précision</td><td>mesure normalisée du changement dans la valeur prédite, avec et sans l'obs. i</td></tr><tr><td>valeurs critiques</td><td>1 ou <sup>4</sup>&frasl;<sub>(n-p-1)</sub></td><td><sup>2</sup>&frasl;<sub>&radic;n</sub></td><td><sup>3(p+1)</sup>&frasl;<sub>n</sub></td><td>2&radic;<span style="background-color:yellow;">(<sup>p+1</sup>&frasl;<sub>n</sub>)</span></td></tr><tr><td>Règle de décision</td><td>CookD > 1 alors l'observation i est influente globalement</td><td>|Dfbetas| > <sup>2</sup>&frasl;<sub>&radic;n</sub> indique une influence de l'obs. i sur l'estimation de β<sub>j</sub></td><td>|Covratio - 1| > <sup>3(p+1)</sup>&frasl;<sub>n</sub> nécessite une investigation</td><td>|Dffits| > 2&radic;<span style="background-color:yellow;">(<sup>p+1</sup>&frasl;<sub>n</sub>)</span> indique une influence de l'obs. i sur Ŷ<sub>i</sub></td></tr><tr><td>Option de PROC REG</td><td>R, Influence</td><td>Influence</td><td>R</td><td>R</td></tr></tbody></table>

On trouvera dans le programme SAS ci-dessous une macro CRITIQUE (avec comme paramètres : n nombre d'observations, p nombre de régresseurs, et b0 indicateur de la présence d'une constante) permettant d'afficher les valeurs critiques des différentes mesures d'influence.
```sas
%MACRO CRITIQUE
    (n= ,          /* nombre d'observations*/
    p= ,          /* nombre de régresseur */
    b0=1          /* bo=1 si constante
    (intercept) */
);

data seuil;
n=&n; p=&p; b0=&b0;
dcook=4 / (&n-&p-&b0);
hat_diag=2* (&p+&b0) / &n;
covratio=3* (&p+&b0) / &n;
dffits=2*sqrt((&p+&b0) / &n);
dfbetas=2/sqrt(&n);
proc print data=seuil;
%mend;
/*
*exemple appel de la macro ;
%critique(n= 44 ,p= 4 ,b0=1);
run;
```

### 4.3.11. Exemple

On utilise les données « Processionnaire du pin » issu du livre de Tomassone et al.(1983) et on se limite de nouveau au modèle $Y = \log = f(X1 X2 X4 X5)$.

```sas
/* appel de la macro */
Title 'Valeurs critiques pour n = 33 et p = 4';
%critique(n= 33 ,p= 4 ,b0=1);
run;

title ' influence des observations ';
proc reg data=libreg.chenilles;;
LOG : model LOG=X1 X2 X4 X5 /R influence ;
run;
/* exemple de stockage des criteres */
output out=influence H=levier COOKD=dcook STUDENT = rsi
RSTUDENT = rse ;
quit;
```

Voici les valeurs limites pour les coefficients d'influence :

<table><thead><tr><th>Obs</th><th>n</th><th>p</th><th>b0</th><th>dcook</th><th>hat_diag</th><th>covratio</th><th>dffits</th><th>dfbetas</th></tr></thead><tbody><tr><td>1</td><td>44</td><td>4</td><td>1</td><td>0.10256</td><td>0.22727</td><td>0.34091</td><td>0.67420</td><td>0.30151</td></tr></tbody></table>

La table des valeurs des coefficients d'influence de toutes les observations est donnée ci-après. Mais plutôt que de rechercher les valeurs limites dans cette table, de simples Box-Plot permettent de les repérer rapidement.