<table><thead><tr><th>Obs</th><th>R_log</th><th>R<sup>2</sup>_log</th><th>RT_log</th><th>H_log</th><th>D_log</th><th>Bio_Intercept</th><th>Bio_X1</th><th>Bio_X2</th><th>Bio_X4</th><th>Bio_X5</th><th>F_log</th><th>C_log</th></tr></thead><tbody><tr><td>1</td><td>0.33599</td><td>0.44584</td><td>0.43937</td><td>0.09147</td><td>0.00400</td><td>0.09843</td><td>-0.05828</td><td>-0.06801</td><td>-0.04923</td><td>0.05234</td><td>0.13941</td><td>1.27397</td></tr><tr><td>2</td><td>0.39825</td><td>0.53225</td><td>0.52532</td><td>0.11337</td><td>0.00724</td><td>0.00264</td><td>0.02688</td><td>-0.01167</td><td>-0.14834</td><td>0.15830</td><td>0.18784</td><td>1.28572</td></tr><tr><td>3</td><td>-0.12740</td><td>-0.17506</td><td>-0.17200</td><td>0.15276</td><td>0.00111</td><td>-0.02891</td><td>0.00102</td><td>-0.00445</td><td>0.03108</td><td>-0.00407</td><td>-0.07303</td><td>1.40794</td></tr><tr><td>4</td><td>0.09551</td><td>0.12698</td><td>0.12471</td><td>0.09480</td><td>0.00034</td><td>0.01497</td><td>-0.00089</td><td>0.00104</td><td>-0.00649</td><td>-0.00788</td><td>0.04036</td><td>1.32122</td></tr><tr><td>5</td><td>-0.01087</td><td>-0.01442</td><td>-0.01416</td><td>0.09104</td><td>0.00000</td><td>0.00078</td><td>-0.00140</td><td>-0.00116</td><td>-0.00111</td><td>0.00244</td><td>-0.00448</td><td>1.31951</td></tr><tr><td>6</td><td>0.89723</td><td>1.15893</td><td>1.16637</td><td>0.04120</td><td>0.01154</td><td>0.12929</td><td>-0.10515</td><td>-0.04965</td><td>0.04266</td><td>-0.03267</td><td>0.24177</td><td>0.97836</td></tr><tr><td>7</td><td>0.54068</td><td>0.77260</td><td>0.76690</td><td>0.21656</td><td>0.03300</td><td>-0.13312</td><td>0.18854</td><td>0.17878</td><td>-0.00538</td><td>-0.13641</td><td>0.40321</td><td>1.37459</td></tr><tr><td>8</td><td>-0.43550</td><td>-0.63061</td><td>-0.62369</td><td>0.23707</td><td>0.02471</td><td>0.06998</td><td>0.08085</td><td>-0.28038</td><td>-0.07361</td><td>0.01658</td><td>-0.34766</td><td>1.48360</td></tr><tr><td>9</td><td>0.34463</td><td>0.48397</td><td>0.45737</td><td>0.11742</td><td>0.00573</td><td>0.14429</td><td>-0.10171</td><td>-0.03963</td><td>-0.05180</td><td>0.03991</td><td>0.16863</td><td>1.30755</td></tr><tr><td>10</td><td>1.06078</td><td>1.53641</td><td>1.57665</td><td>0.23745</td><td>0.14701</td><td>0.48930</td><td>-0.63930</td><td>0.26565</td><td>0.47664</td><td>-0.47132</td><td>0.87979</td><td>1.01264</td></tr><tr><td>11</td><td>-0.01681</td><td>-0.02399</td><td>-0.02355</td><td>0.21461</td><td>0.00003</td><td>-0.00545</td><td>0.00714</td><td>0.00348</td><td>-0.00904</td><td>0.00654</td><td>-0.01231</td><td>1.52700</td></tr><tr><td>12</td><td>0.10911</td><td>0.16228</td><td>0.15943</td><td>0.27685</td><td>0.00202</td><td>0.02039</td><td>-0.04996</td><td>0.05580</td><td>-0.02903</td><td>0.05115</td><td>0.09865</td><td>1.65083</td></tr><tr><td>13</td><td>0.09232</td><td>0.12927</td><td>0.12697</td><td>0.18399</td><td>0.00075</td><td>0.04025</td><td>-0.01407</td><td>-0.04281</td><td>-0.00605</td><td>-0.00224</td><td>0.06029</td><td>1.46547</td></tr><tr><td>14</td><td>0.51470</td><td>0.69675</td><td>0.69020</td><td>0.12704</td><td>0.01413</td><td>0.10261</td><td>-0.07666</td><td>-0.14632</td><td>-0.05782</td><td>0.12497</td><td>0.26330</td><td>1.25892</td></tr><tr><td>15</td><td>0.28053</td><td>0.37025</td><td>0.36447</td><td>0.08165</td><td>0.00244</td><td>0.04857</td><td>-0.02676</td><td>-0.02181</td><td>-0.06915</td><td>0.07560</td><td>0.10868</td><td>1.27440</td></tr><tr><td>16</td><td>0.35179</td><td>0.49872</td><td>0.49193</td><td>0.20406</td><td>0.01275</td><td>-0.18643</td><td>0.12665</td><td>0.09137</td><td>0.12233</td><td>-0.10837</td><td>0.24908</td><td>1.44116</td></tr><tr><td>17</td><td>-0.25012</td><td>-0.34526</td><td>-0.33976</td><td>0.16046</td><td>0.00456</td><td>0.10308</td><td>-0.10651</td><td>0.03639</td><td>0.00433</td><td>-0.02423</td><td>-0.14854</td><td>1.39851</td></tr><tr><td>18</td><td>-0.18215</td><td>-0.24595</td><td>-0.24178</td><td>0.12257</td><td>0.00169</td><td>-0.01182</td><td>-0.00607</td><td>-0.01127</td><td>0.07785</td><td>-0.07214</td><td>-0.09036</td><td>1.35226</td></tr><tr><td>19</td><td>-0.53336</td><td>-0.72135</td><td>-0.71502</td><td>0.12543</td><td>0.01493</td><td>-0.00664</td><td>-0.05219</td><td>-0.11461</td><td>0.17012</td><td>-0.09230</td><td>-0.27079</td><td>1.24866</td></tr><tr><td>20</td><td>1.71056</td><td>2.29211</td><td>2.49725</td><td>0.10908</td><td>0.12864</td><td>-0.49654</td><td>0.35204</td><td>0.60098</td><td>0.06252</td><td>-0.13427</td><td>0.87379</td><td>0.47631</td></tr><tr><td>21</td><td>0.89615</td><td>1.29548</td><td>1.31207</td><td>0.23453</td><td>0.10284</td><td>-0.38213</td><td>0.53134</td><td>-0.39635</td><td>-0.08150</td><td>0.12191</td><td>0.72625</td><td>1.15033</td></tr><tr><td>22</td><td>-1.37360</td><td>-1.79024</td><td>-1.86815</td><td>0.05826</td><td>0.03965</td><td>0.11629</td><td>-0.26821</td><td>0.15040</td><td>0.14571</td><td>-0.09153</td><td>-0.46464</td><td>0.69354</td></tr><tr><td>23</td><td>0.88622</td><td>1.16287</td><td>1.17053</td><td>0.07090</td><td>0.02084</td><td>-0.07800</td><td>0.05356</td><td>-0.02543</td><td>-0.07646</td><td>0.16123</td><td>0.32336</td><td>1.00791</td></tr><tr><td>24</td><td>-0.82583</td><td>-1.15686</td><td>-1.16418</td><td>0.18483</td><td>0.06069</td><td>0.36554</td><td>-0.44270</td><td>0.21731</td><td>-0.04419</td><td>0.02911</td><td>-0.55435</td><td>1.15178</td></tr><tr><td>25</td><td>0.09451</td><td>0.13298</td><td>0.13063</td><td>0.19199</td><td>0.00084</td><td>-0.02751</td><td>0.01017</td><td>0.05453</td><td>0.00887</td><td>-0.01224</td><td>0.06368</td><td>1.47973</td></tr><tr><td>26</td><td>0.09002</td><td>0.11919</td><td>0.11707</td><td>0.08759</td><td>0.00027</td><td>-0.00737</td><td>0.01298</td><td>-0.00722</td><td>-0.02162</td><td>0.02507</td><td>0.03627</td><td>1.31123</td></tr><tr><td>27</td><td>0.03982</td><td>0.05739</td><td>0.05636</td><td>0.22964</td><td>0.00020</td><td>-0.00827</td><td>0.00422</td><td>-0.01313</td><td>0.02032</td><td>-0.01208</td><td>0.03077</td><td>1.55604</td></tr><tr><td>28</td><td>-0.65248</td><td>-0.93937</td><td>-0.93733</td><td>0.22821</td><td>0.05219</td><td>-0.01506</td><td>-0.16289</td><td>0.10754</td><td>-0.11565</td><td>0.29823</td><td>-0.50970</td><td>1.32416</td></tr><tr><td>29</td><td>-0.09597</td><td>-0.12680</td><td>-0.12435</td><td>0.08079</td><td>0.00028</td><td>-0.02556</td><td>0.01179</td><td>0.01527</td><td>0.00357</td><td>0.00298</td><td>-0.03687</td><td>1.30110</td></tr><tr><td>30</td><td>-1.05040</td><td>-1.39433</td><td>-1.41937</td><td>0.09215</td><td>0.03947</td><td>-0.24601</td><td>0.20872</td><td>0.00778</td><td>-0.21675</td><td>0.27484</td><td>-0.45222</td><td>0.92192</td></tr><tr><td>31</td><td>-1.03359</td><td>-1.43776</td><td>-1.46704</td><td>0.17328</td><td>0.08666</td><td>-0.18417</td><td>0.28956</td><td>-0.07650</td><td>0.26750</td><td>-0.46377</td><td>-0.67164</td><td>0.98872</td></tr><tr><td>32</td><td>-0.12787</td><td>-0.19257</td><td>-0.18922</td><td>0.29470</td><td>0.00310</td><td>-0.03068</td><td>0.04274</td><td>0.04959</td><td>-0.10197</td><td>0.07997</td><td>-0.12231</td><td>1.68934</td></tr><tr><td>33</td><td>-2.02086</td><td>-2.65655</td><td>-3.01635</td><td>0.07429</td><td>0.11327</td><td>0.09749</td><td>0.20004</td><td>-0.49187</td><td>-0.22716</td><td>0.06711</td><td>-0.85449</td><td>0.30330</td></tr></tbody></table>

## Dessins BOX-PLOT des coefficients d'influence :

Ce type de représentation est très riche en information sur la forme d'une variable, et l'existence de valeurs différentes des autres (outliers). On en trouvera l'explication détaillée dans Le Guen (2001) 23.

<footnote n="23">23 http://matisse.univ-paris1.fr/leguen/leguen2001b.pdf</footnote>
<figure><img src="image_69.png" /></figure>

Résidus standardisés

Internes

Externes

<figure><img src="image_70.png" /></figure>

Leviers

<figure><img src="image_71.png" /></figure>

CovRatio

<figure><img src="image_72.png" /></figure>

Dffits

<figure><img src="image_73.png" /></figure>

DCook

<figure><img src="image_74.png" /></figure>

Dfbetas
La distribution des leviers ne révèle pas d'outliers, mais au vu des valeurs, on constate que quelques observations ont cependant un levier un peu trop grand (> 0.23) : 8, 10, 12, 21 et 32.

Les observations 20 et 33 ont des résidus « grands » (|STUDENT| et |RDSTUDENT| > 2) et donc un grand effet sur la précision (COVRATIO -1) > 0.34 car quand on les enlève de la régression, SSE diminue fortement.

Et elles influent également sur |DFFITS| >> 0.67. Les observations 10 et 21 ont une forte incidence sur l'ensemble des coefficients (DCOOK > 0.10) et donc sur certains coefficients (DFBETAS > 0.30), ceux de X1 et X2 pour les 2 observations, celui de X4 pour l'observation 10.

Pour résumer, les observations 10 20 21 et 33 seraient atypiques. Cependant, au vu des données, où ces observations sont des placettes issues d'un plan d'expérience, on peut penser qu'il n'est pas judicieux de les retirer de la régression.

Le dessin humoristique de la figure 4.5 ci-dessous (publié dans le manuel du logiciel OSIRIS, mais l'auteur nous est inconnu) illustre le mauvais réflexe que pourrait avoir le statisticien au vu de données atypiques !
<figure><img src="image_75.png" /><figcaption>**Figure 4.5 : Que faire en présence de données atypiques ?**</figcaption></figure>

## 4.4. Colinéarité des régresseurs

Différents symptômes sont révélateurs de problèmes de colinéarité :

- De grandes corrélations entre les régresseurs ;

- Un grand changement dans les coefficients quand on ajoute ou enlève un régresseur ;

- Des coefficients non significatifs alors que le test global d'analyse de variance sur tous les coefficients est significatif ;

- La non significativité et/ou une très grande variance pour le coefficient d'un régresseur théoriquement important dans le modèle ;

- Un coefficient de signe opposé à celui auquel on s'attendait.

Ce sont des problèmes d'inversion de X'X, qui entrainent une augmentation des variances des coefficients, et donc leur instabilité car $Var(β) = σ^2(X'X)^{-1}$. Et la non-inversion de X'X se rencontre quand il existe des combinaisons linéaires entre les colonnes de X.
L'exemple simple de la figure 4.6 illustre le phénomène d'instabilité dû à la liaison entre deux régresseurs.

<figure><img src="image_76.png" /><figcaption>Figure 4.6 : Projection de Y dans l'espace de 2 régresseurs corrélés</figcaption></figure>

Dans l'espace $R^n$, les cosinus d'angle entre variables sont les corrélations (voir chapitre 1, §1.2.5): Ici X1 et X2 étant très corrélées, l'angle entre les 2 vecteurs est petit, ce qui rend le sous-espace (X1,X2), et donc la projection, instables<fnref n="24" />.

### 4.4.1. Méthodes basées sur l'étude de la matrice X'X

La matrice X possède n lignes et (p+1) colonnes :

$$X = (x_{ij}) = \begin{bmatrix} 1 & x_{11} & x_{12} & x_{1p} \\ 1 & x_{21} & x_{22} & x_{2p} \\ \vdots & \vdots & \vdots & \vdots \\ 1 & x_{n1} & x_{n2} & x_{np} \end{bmatrix}$$

La matrice (X'X) est une matrice carrée (p+1), symétrique, dont les éléments sont calculés ainsi :

$$\begin{align*} (X'X)_{11} &= n \\ (X'X)_{kk} &= \sum_{i=1,n} x_{ik}^2, \forall k \neq 1 \\ (X'X)_{kh} &= \sum_{i=1,n} x_{ik} x_{ih}, \forall k,h \neq 1 \\ (X'X)_{k1} &= \sum_{i=1,n} x_{ik} = n. \text{ moyenne}(X_k), \forall k \neq 1 \end{align*}$$

En étudiant les leviers au §4.3.1, on a utilisé les variables régresseurs centrées. Si on considère la matrice $X_c$ de taille (n,p) ayant en colonnes les p régresseurs centrés, alors $(X_c'X_c) = n$. COV où COV est la matrice de variance-covariance des variables $X_j$. Quand les variables sont non-corrélées, alors $(X'_c X_c)$ est une matrice diagonale puisque toutes les covariances sont nulles.

<footnote n="24">²⁴ Le site de Chong Ho Yu illustre de façon très amusante ce problème d'instabilité
http://creative-wisdom.com/computer/sas/collinear_subject_space.html</footnote>
Donc X'X est égal à n.R si on travaille sur des régresseurs centrés et réduits, où R est la matrice carrée symétrique des coefficients de corrélation entre les p régresseurs.

## Etude de la matrice de corrélation des régresseurs

Cette étude se révèle intéressante.

- Si les régresseurs ne sont pas corrélés entre eux, cette matrice, notée R, n'a que des 1 sur sa diagonale, et 0 ailleurs : c'est la matrice identité.

- La matrice R est symétrique définie et positive, et de rang p. Les valeurs propres de R sont donc en nombre de p, elles sont positives et leur somme vaut p (trace de R). Quand il n'y a aucune liaison entre les régresseurs, elles sont toutes égales à 1 car R est la matrice identité. Sinon, on aura des valeurs propres plus petites et mêmes proches de 0 : l'examen des valeurs propres révèlera donc les problèmes de liaison entre les régresseurs.

- $R^{(-1)}$, matrice inverse de R, est également riche en informations. En effet on peut montrer que ses éléments diagonaux $(R_j^{(-1)})$ sont égaux à $1/(1 - R^2_j)$ où $R^2_j$ est le coefficient de corrélation multiple de la régression avec constante de $X_j$ sur les (p-1) autres variables.

- Si on définit un modèle avec les régresseurs centrés et réduits, en remplaçant l'expression de (X'X) dans l'estimateur des moindres carrés, on montre (cf. Woolridge (2000)) que le vecteur des coefficients $B_c$ de ce modèle est

$$B_c = \frac{1}{n} R^{-1} X'Y, \text{ et la matrice de variance-covariance vaut } \text{Var}(B_c) = \frac{\sigma^2}{n} R^{-1}.$$

Une étude préalable de la matrice de corrélation des régresseurs, complétée éventuellement par une Analyse en Composantes Principales, s'impose donc et permet de visualiser les liaisons entre variables.

REG possède des options TOL, VIF et COLLIN, COLLINOINT pour détecter des problèmes de colinéarité selon deux optiques différentes.

SAS/ INSIGHT donne les indices TOL et VIF par défaut, et affiche la table COLLIN uniquement.

### 4.4.2. Variance Inflation Factor

On a vu au §4.4.1 que la matrice de variance-covariance des coefficients du modèle où les régresseurs sont centrés et réduits est $R^{-1}$, à un facteur près. Donc l'élément diagonal j de cette matrice mesure comment la variance du coefficient de $X_j$ sera augmentée par la colinéarité.

Pour chaque variable $X_j$, on nomme cet élément $VIF_j$ (Variance Inflation Factor ou inflation de variance) : $VIF_j = 1/(1 - R^2_j)$ où $R^2_j$ est le coefficient de corrélation multiple de la régression avec constante de $X_j$ sur les (p-1) autres variables.
S'il y a colinéarité, alors $R^2_j$ est proche de 1, donc VIF_j est grand. Comme la loi de ce coefficient n'est pas connue, Belsley et al. ont défini un seuil limite de façon empirique.

**Règle** : une valeur de VIF plus grande que 10 révèle un problème.

Tomassone (1983) propose de calculer un indice global de colinéarité défini

comme la somme des VIF de tous les régresseurs : $$ I = \frac{1}{p} \left( \sum_{j=1}^{p} \text{VIF}_j \right) $$

Remarque: la tolérance (option TOL) est définie comme l'inverse de la variance inflation

$$ TOL_j = 1/VIF_j $$

### 4.4.3. Condition index et variance proportion

On a signalé au §4.4.1 que l'étude les valeurs propres de la matrice de corrélations révèle les problèmes de liaisons entre les régresseurs.

Cette étude se fait aussi par l'analyse en composantes principales (ACP), qui consiste à transformer des variables pour obtenir d'autres variables orthogonales, qui sont des combinaisons linéaires des premières, appelées composantes principales (cf. Saporta (2006) ou Tenenhaus (1994)).

Plus précisément si Z est la matrice (n,p) des variables initiales centrées et réduites, on construit la matrice W (n,p) des variables orthogonales avec la relation $W = Z U$. En ACP, on démontre que la matrice U est la matrice des vecteurs propres normés de R, associés aux p valeurs propres ($\lambda_k, k = 1, 2, ..., p$), qui sont positives car R est symétrique définie positive. On les ordonne de la plus grande à la plus petite : une liaison parfaite entre les variables Z entraine une nullité des dernières valeurs propres.

On montre également que la variance d'une composante $W_k$ est égale à $\lambda_k$.

Si on construit le modèle avec les variables $W^{25}$, on trouve donc la solution des moindres carrés $Y = W\hat{c} + e$, avec $\hat{c} = (W'W)^{-1}W'Y$.

Et la matrice de variance-covariance des coefficients est $\text{Var}(\hat{c}) = \sigma^2(W'W)^{-1}$ ; pour un coefficient : $\text{var}(\hat{c}_k) = \frac{\sigma^2}{n\lambda_k}$.

Comme les variables sont orthogonales et de variance égale à la valeur propre, on en déduit $Y = W\hat{c} + e = \Omega^{-1}W'Y$, avec $\Omega^{-1} = \text{Diag} \left[ \left( \frac{1}{n\lambda_k} \right), k = 1, \dots, p \right]$ matrice diagonale.

<footnote n="25"><sup>25</sup> On trouvera dans le chapitre 6 du livre Tomassone et al (1992), le principe de cette méthode qu'il appelle « régression orthogonalisée »</footnote>
On passe facilement de $\hat{c}$ à $\hat{\alpha}$ car $Y = W\hat{c} + e = ZU\hat{c} + e = Z\hat{\alpha} + e$, et donc $\hat{\alpha} = U\hat{c}$.
La matrice de variance-covariance est $\text{Var}(\hat{\alpha}) = U\text{Var}(\hat{c})U'$ ; pour le coefficient du
régresseur j, $\text{var}(\hat{\alpha}_j) = \frac{\sigma^2}{n} \sum_{k=1}^{p} \frac{U_{jk}^2}{\lambda_k}$ : des valeurs propres faibles entrainent donc de
grandes variances des coefficients.

Les indices de colinéarité

A - Tout d'abord, l'édition des valeurs propres donnera des informations sur l'existence de colinéarité.

De façon générale, on calcule les valeurs propres de la matrice (X'X) du modèle,
préalablement transformée pour avoir uniquement la valeur 1 sur les éléments
diagonaux. Il y a donc (p+1) valeurs propres : c'est l'option COLLIN.
Si on travaille sur un modèle avec les régresseurs centrés comme ci-dessus, il y
aura p valeurs propres : c'est l'option COLLINOINT.

On édite ces valeurs propres de la plus grande λ₁ à la plus petite λ_L, (L=p ou p+1).
Une valeur propre nulle révèle l'existence d'une dépendance linéaire entre les
colonnes de X, donc une colinéarité.

On nomme « Condition Index » le rapport $CI = \sqrt{\frac{\lambda_1}{\lambda_k}}$, appelé aussi « indice de conditionnement ». Le dernier de ces rapports $CI = \sqrt{\frac{\lambda_1}{\lambda_L}}$ (L=p ou p+1) est nommé « Condition Number ».

Comme la loi de ce coefficient n'est pas connue, Belsley et al. ont défini un seuil
limite de façon empirique :

**Règle (colonne Condition Index) :** une valeur grande met en évidence un problème ; empiriquement $CI > 30$ avec l'option COLLINOINT, ou $CI > 100$ avec COLLIN.

Remarque : On peut définir une « indice de multicolinéarité » en calculant la moyenne des inverses des valeurs propres (cf. Foucart 2006, 2007) : Cet indice serait calculé comme $I = \frac{1}{p} \left( \sum_k \frac{1}{\lambda_k} \right)$ si on considère que les régresseurs sont centrés et réduits (p valeurs propres).

B – Ensuite, pour chaque valeur propre et donc chaque CI, sont données des « VARiance PROPortions », qui indiquent quelles variables sont responsables de la colinéarité révélée par cette valeur propre.

En effet, on a vu que la matrice de variance-covariance des coefficients $\hat{\alpha}$ de la
régression sur les variables centrées et réduites est $\text{Var}(\hat{\alpha}) = U\text{Var}(\hat{c})U'$ et que
pour un coefficient j, $\text{var}(\hat{\alpha}_j) = \frac{\sigma^2}{n} \sum_{k=1}^{p} \frac{U_{jk}^2}{\lambda_k}$.
La colonne « proportion de variance » pour le coefficient d'une variable j est le vecteur $\text{Var. Prop.} = \left( \frac{U_{jk}^2}{\lambda_k^2}, k = 1, \dots, p \text{ ou } (p+1) \right)$, normé pour que la somme de ses composantes soit égale à 1.

**Règle** : d'après Belsley, Kuh et Welsh, si les proportions de variance de plusieurs variables sont plus grandes que 0.50 pour un « condition index » grand, les variables correspondantes ont un problème de colinéarité entre elles.

**Remarque** : l'option COLLINOINT exclut la constante des estimateurs de coefficients; les p variables sont centrées et réduites et (X'X) est donc, à un coefficient près, la matrice de corrélation entre les p variables explicatives.

L'option COLLIN inclut la constante dans les estimations de coefficients. X contient donc la variable constante égale à 1. La matrice X'X, de taille (p+1), est normée pour avoir 1 sur la diagonale, mais les variables ne sont pas centrées.

Belsley, Kuh et Welsh recommandent de n'utiliser l'option COLLIN que si la constante a une interprétation physique. Centrer les variables (option COLLINOINT) consiste à supposer que la constante n'a pas d'effet sur la colinéarité des autres variables régresseurs. De plus, ceci est cohérent avec les calculs du « Variance Inflation Factor ». On trouvera dans l'article d'Hélène Rousse-Erkel (1990) des précisions et des prolongements aux travaux de Belsley et al. sur la colinéarité.

#### 4.4.4. Remèdes en cas de multi-colinéarité

- Retirer certains régresseurs, principaux « responsables » de la colinéarité ;

- Les transformer par des ratios si on identifie le facteur commun de liaison ;

- Augmenter la taille n de l'échantillon avec le recueil d'autres observations ;

- Sélectionner les régresseurs, si p est trop grand par rapport à n ;

- Faire une Ridge-Regression 26 (transformer (X'X) en (X'X + kI)) (Hoerl et Kennard (1970)) ;

- Travailler sur les composantes principales issues des régresseurs 27 ;

- Faire une régression PLS ;

- Utiliser les méthodes de type « LASSO » de Tibshirani (1996) ;

- Etc. .

La régression RIDGE et la régression sur composantes principales peuvent être réalisées à l'aide des options RIDGE et PCOMIT de l'instruction Proc REG (voir l'annexe 1 pour la syntaxe).

**Remarques** :

- Quelques unes de ces méthodes sont décrites dans les articles de la R.S.A. de P.Cazes (1975) ou de R. Palm et A.F.lemma (1995).

- La régression PLS (Partial Least Square) semble une méthode plus efficace que la régression Ridge ou la régression sur composantes principales en cas de

<footnote n="26">26 Voir l'exemple au §4.4.5.</footnote>

<footnote n="27">27 C'est la « régression orthogonalisée » de Tomassone (§4.4.3.)</footnote>
colinéarité, et s'applique aussi au cas où p est très grand par rapport à n (voir les publications de Tenenhaus (1995,1998)).

PROC ORTHOREG de SAS propose d'autres solutions pour réaliser une régression sur données « mal conditionnées », c'est à dire en cas de colinéarités des variables.

### 4.4.5. Exemple

On utilise les données « Processionnaire du pin » issu du livre de Tomassone et al. (1983), avec le modèle Y = log = f(X1 X2 X4 X5).

```sas
proc reg data=libreg.chenilles; title 'option TOL VIF';
LOG : model log=X1 X2 X4 X5 /tol vif collinoint;
run;
quit;
```

<table><caption>Résultats estimés des paramètres</caption><thead><tr><th>Variable</th><th>DF</th><th>Résultat estimé des paramètres</th><th>Érreur std</th><th>Valeur du test t</th><th>Pr &gt; |t|</th><th>Tolérance</th><th>Inflation de variance</th></tr></thead><tbody><tr><td>Intercept</td><td>1</td><td>7.73214</td><td>1.48858</td><td>5.19</td><td>&lt;.0001</td><td></td><td>0</td></tr><tr><td>X1</td><td>1</td><td>-0.00392</td><td>0.00115</td><td>-3.42</td><td>0.0019</td><td>0.89075</td><td>1.12265</td></tr><tr><td>X2</td><td>1</td><td>-0.05734</td><td>0.01939</td><td>-2.96</td><td>0.0062</td><td>0.97425</td><td>1.02643</td></tr><tr><td>X4</td><td>1</td><td>-1.35614</td><td>0.31983</td><td>-4.24</td><td>0.0002</td><td>0.17630</td><td>5.67209</td></tr><tr><td>X5</td><td>1</td><td>0.28306</td><td>0.07626</td><td>3.71</td><td>0.0009</td><td>0.18145</td><td>5.51106</td></tr></tbody></table>

Aucune des valeurs VIF ne sont trop grandes, et tous les coefficients sont significatifs.

<table><caption>Collinearity Diagnostics (intercept adjusted)</caption><thead><tr><th rowspan="2">Nombre</th><th rowspan="2">Valeur propre</th><th rowspan="2">Index de condition</th><th colspan="4">Proportion de variation</th></tr><tr><th>X1</th><th>X2</th><th>X4</th><th>X5</th></tr></thead><tbody><tr><td>1</td><td>2.11413</td><td>1.00000</td><td>0.05758</td><td>0.01571</td><td>0.03506</td><td>0.03509</td></tr><tr><td>2</td><td>0.97576</td><td>1.47196</td><td>0.04243</td><td>0.87463</td><td>0.00581</td><td>0.00845</td></tr><tr><td>3</td><td>0.81585</td><td>1.60976</td><td>0.89080</td><td>0.10710</td><td>0.00847</td><td>0.01228</td></tr><tr><td>4</td><td>0.09426</td><td>4.73583</td><td>0.00920</td><td>0.00256</td><td>0.95067</td><td>0.94418</td></tr></tbody></table>

<figure><img src="image_77.png" /></figure>

Dans la colonne « condition Index » (traduit dans la version française de SAS par « Index de condition ») il n'y a pas de grandes valeurs. Sur la 4ème et dernière ligne (c'est celle de « condition number »), en regardant les proportions de variance, on constate que les 2 variables X4 et X5 sont les « responsables » de la faiblesse de la 4ème valeur propre : on avait vu au chapitre 2 (§2.3.2) que c'est le couple de régresseurs le plus corrélaté.
## Regression RIDGE

Cette méthode, due à Hoerl et Kennard (1970), consiste à modifier (X'X) pour la rendre inversible. Pour cela on ajoute un terme constant k à la diagonale (0 ≤ k ≤ 1). La solution des moindres carrés sera donc obtenue en inversant (X'X + kI) : les coefficients obtenus sont appelés « coefficients ridge ». On trace ensuite la variation des coefficients ridge en fonction de k : c'est la « Ridge Trace ». On détermine la valeur de k à partir de laquelle les coefficients se stabilisent : ce sera la valeur choisie.

```sas
title 'Ridge-regression sur le modele a 4 variables' ;
proc reg data=libreg.chenilles ridge = 0 to 1 by 0.05 outest =
coeff_ridge ;
LOG: model log=X1 X2 X4 X5 ;
plot / ridgeplot ;
run;
quit;
proc print data = coeff_ridge ;
run ;
```

<figure><img src="image_78.png" /></figure>

Ici les coefficients ridge se stabilisent pour $k \approx 0.3$.

Les valeurs des coefficients sont alors lus dans la table `coeff_ridge`. Dans cette table, la première ligne est le modèle habituel, et la deuxième correspond à $k=0$, ce qui est le même modèle.

Pour `_RIDGE_` = 0.3,
$b1$ = -0.003281930, $b2$ = -0.047532; $b4$ = -0.40556; $b5$ = 0.05207.
<figure><img src="image_79.png" /></figure>

## 4.5. Choix des régresseurs

Ce choix s'avère nécessaire en particulier si le nombre d'observations est petit par rapport au nombre de régresseurs, à cause du rang de X'X qui peut devenir plus petit que p. Ceci peut entraîner une instabilité des coefficients comme on l'a vu au paragraphe précédent.

Soit un modèle avec n observations et p régresseurs ; on sélectionne dans les cas suivants (cette liste est non exhaustive) :

1. n petit par rapport à p ;

2. colinéarité des régresseurs ;

3. choix d'un modèle plus simple pour la prévision (principe de PARCIMONIE). (1 et 2 entraînent des problèmes d'inversion de X'X).

Proc REG permet ce choix par l'option « SELECTION = method », de l'instruction MODEL. Il n'y a pas de sélection dans SAS/INSIGHT.

### 4.5.1. Utilisation des sommes de carrés

La formule de base est : $SS_{Totale} = SS_{Modèle} + SS_{Erreurs}$

**Rappel sur les sommes de carrés apportés par un régresseur**
Les sommes de carrés apportés par les régresseurs peuvent être obtenues par les options SS1 SS2 de l'instruction MODEL de REG, ce qui a déjà été vu dans le chapitre 2 (§2.4.1), ou bien par les « Type III Tests » dans SAS/INSIGHT.

- SS1(Xj) = somme des carrés apportée par la variable Xj introduite en séquence dans la régression, la régression contenant uniquement les variables qui la précédent dans la liste de variables explicatives de l'instruction MODEL.

- SS2(Xj) = somme des carrés apportée par la variable Xj, lorsque l'ensemble des (p-1) autres régresseurs est déjà dans la régression. Ce sont les sommes de carrés données par la table « Type III Tests » de SAS/INSIGHT.

SS2(Xj) correspond au calcul du carré de la différence entre la valeur de Y estimée par la régression avec les p variables et celle estimée dans la régression à (p-1) variables, sans Xj. Pour le choix de régresseurs, le deuxième calcul d'apport de somme de carrés est le plus intéressant, car il ne dépend pas de l'ordre d'introduction des variables dans le modèle. On notera « SSapporté par j » cette quantité SS2(Xj).

## Tests des apports à SS<sub>Modèle</sub> d'une variable

Les tests décrits dans le chapitre 2 (§2.4.3), ne sont pas faits par l'option SS2 de l'instruction MODEL de REG, mais sont donnés dans la table «Type III Tests» de SAS/INSIGHT.

Plus généralement, comme on l'a vu au §2.4.4, un modèle sans r variables est appelé modèle restreint par opposition au modèle complet à p variables.

- RRSS (Restricted Residual Sum of Squares) = Somme des carrés des résidus du modèle restreint

- URSS (Unrestricted Residual Sum of Squares)=somme des carrés des résidus du modèle complet.

La valeur de la statistique du test est $F = \frac{(RRSS - URSS)/r}{URSS/(n - p - 1)}$.

Dans le cas d'une seule variable, r vaut 1, et donc en passant aux sommes de carrés du modèle :

$$F = \frac{(RRSS - URSS)/1}{URSS/(n - p - 1)} = \frac{SS_{\text{Modèle complet}} - SS_{\text{Modèle sans j}}}{MSE}.$$

$$F = \frac{SS_{\text{apporté par j}}}{MSE}$$

Les tests de significativité de ces sommes de carrés sont donc réalisés à l'aide d'une statistique F, obtenue en divisant SS par la quantité MSE (Mean Square Error) du modèle avec constante contenant tous les régresseurs. De plus, la valeur de F associé à SS est aussi le carré du t de Student du coefficient de la variable j dans la régression à p régresseurs.
## Exemple d'élimination progressive

On analyse les données « Processionnaire du pin » issu du livre de Tomassone et al..(1983). On va calculer les apports de sommes de carrés pour éliminer progressivement les variables à partir du modèle complet à 10 variables. On utilise les sorties de SAS/INSIGHT, qui permet dans le tableau « Type III Tests » de tester la validité de l'apport des sommes de carrés.

### Modèle à 10 variables

<table><thead><tr><th></th><th></th><th colspan="6">Modél Equat ion</th></tr></thead><tbody><tr><td rowspan="3">I og</td><td>=</td><td>10.9984</td><td>-</td><td>0.0044</td><td>X1</td><td>-</td><td>0.0538</td><td>X2 +</td><td>0.0679</td><td>X3</td></tr><tr><td>-</td><td>1.2936</td><td>X4 +</td><td>0.2316</td><td>X5 -</td><td>0.3568</td><td>X6 -</td><td>0.2375</td><td>X7</td></tr><tr><td>+</td><td>0.1811</td><td>X8 -</td><td>1.2853</td><td>X9 -</td><td>0.4331</td><td>X10</td><td></td><td></td></tr></tbody></table>

<table><thead><tr><th></th><th></th><th colspan="6">Anal ysis of Vari ance</th></tr><tr><th>Source</th><th>DF</th><th>Sum of Squares</th><th>Mean Square</th><th>F Stat</th><th>Pr &gt; F</th><th>Var Inflation</th></tr></thead><tbody><tr><td>Model</td><td>10</td><td>34.4662</td><td>3.4466</td><td>5.01</td><td>0.0008</td><td>0</td></tr><tr><td>Error</td><td>22</td><td>15.1299</td><td>0.6877</td><td></td><td></td><td>1.8774</td></tr><tr><td>C Total</td><td>32</td><td>49.5960</td><td></td><td></td><td></td><td>1.1904</td></tr></tbody></table>

<table><thead><tr><th rowspan="2">Variable</th><th rowspan="2">DF</th><th rowspan="2">Estimate</th><th rowspan="2">Std Error</th><th colspan="3">Parameter Estimates</th><th rowspan="2">Tolerance</th><th rowspan="2">Var Inflation</th></tr><tr><th>t</th><th>Pr &gt;|t|</th><th>Var</th></tr></thead><tbody><tr><td>Intercept</td><td>1</td><td>10.9984</td><td>3.0603</td><td>3.59</td><td>0.0016</td><td></td><td>0</td></tr><tr><td>X1</td><td>1</td><td>-0.0044</td><td>0.0016</td><td>-2.85</td><td>0.0094</td><td>0.5327</td><td>1.8774</td></tr><tr><td>X2</td><td>1</td><td>-0.0538</td><td>0.0219</td><td>-2.46</td><td>0.0223</td><td>0.8400</td><td>1.1904</td></tr><tr><td>X3</td><td>1</td><td>0.0679</td><td>0.0995</td><td>0.68</td><td>0.5017</td><td>0.0239</td><td>41.8708</td></tr><tr><td>X4</td><td>1</td><td>-1.2936</td><td>0.5638</td><td>-2.29</td><td>0.0317</td><td>0.0624</td><td>16.0219</td></tr><tr><td>X5</td><td>1</td><td>0.2316</td><td>0.1044</td><td>2.22</td><td>0.0371</td><td>0.1066</td><td>9.3845</td></tr><tr><td>X6</td><td>1</td><td>-0.3568</td><td>1.5665</td><td>-0.23</td><td>0.8219</td><td>0.0170</td><td>58.7558</td></tr><tr><td>X7</td><td>1</td><td>-0.2375</td><td>1.0060</td><td>-0.24</td><td>0.8156</td><td>0.6064</td><td>1.6491</td></tr><tr><td>X8</td><td>1</td><td>0.1811</td><td>0.2367</td><td>0.76</td><td>0.4525</td><td>0.0693</td><td>14.4226</td></tr><tr><td>X9</td><td>1</td><td>-1.2853</td><td>0.8648</td><td>-1.49</td><td>0.1514</td><td>0.0895</td><td>11.1686</td></tr><tr><td>X10</td><td>1</td><td>-0.4331</td><td>0.7349</td><td>-0.59</td><td>0.5616</td><td>0.6057</td><td>1.6509</td></tr></tbody></table>

C'est un modèle globalement bon (F d'analyse de variance significatif), mais les coefficients des régresseurs X3 X6 X7 X8 X9 et X10 sont non significatifs. De plus, l'inflation de variance est plus grande que 10 pour les régresseurs X3 X4 X6 et X9. Le modèle n'est donc pas un « bon modèle » : il faut éliminer des régresseurs. Pour cela on effectue les tests sur les apports de sommes de carrés.
<table><thead><tr><th rowspan="2">Source</th><th rowspan="2">DF</th><th rowspan="2">Sum of Squares</th><th colspan="2">Type III Tests</th><th rowspan="2">F Stat</th><th rowspan="2">Pr &gt; F</th></tr><tr><th>Mean</th><th>Square</th></tr></thead><tbody><tr><td>X1</td><td>1</td><td>5.5717</td><td>5.5717</td><td>8.10</td><td>0.0094</td></tr><tr><td>X2</td><td>1</td><td>4.1551</td><td>4.1551</td><td>6.04</td><td>0.0223</td></tr><tr><td>X3</td><td>1</td><td>0.3208</td><td>0.3208</td><td>0.47</td><td>0.5017</td></tr><tr><td>X4</td><td>1</td><td>3.6205</td><td>3.6205</td><td>5.26</td><td>0.0317</td></tr><tr><td>X5</td><td>1</td><td>3.3869</td><td>3.3869</td><td>4.92</td><td>0.0371</td></tr><tr><td>X6</td><td>1</td><td>0.0357</td><td>0.0357</td><td>0.05</td><td>0.8219</td></tr><tr><td>X7</td><td>1</td><td>0.0383</td><td>0.0383</td><td>0.06</td><td>0.8156</td></tr><tr><td>X8</td><td>1</td><td>0.4023</td><td>0.4023</td><td>0.59</td><td>0.4525</td></tr><tr><td>X9</td><td>1</td><td>1.5190</td><td>1.5190</td><td>2.21</td><td>0.1514</td></tr><tr><td>X10</td><td>1</td><td>0.2389</td><td>0.2389</td><td>0.35</td><td>0.5616</td></tr></tbody></table>

Les variables X3, X6, X7, X8, X9, et X10 ont un apport non significatif : on élimine la variable X6 dont l'apport est le plus petit.

Remarque : on peut vérifier ici que $F(X6) = t^2(X6) \rightarrow 0.0529 = (-0.23)^2$ (cf. chapitre 1, §1.3.4)

<table><thead><tr><th rowspan="2">Source</th><th rowspan="2">DF</th><th rowspan="2">Sum of Squares</th><th colspan="2">Type III Tests</th><th rowspan="2">F Stat</th><th rowspan="2">Pr &gt; F</th></tr><tr><th>Mean</th><th>Square</th></tr></thead><tbody><tr><td>X1</td><td>1</td><td>5.5373</td><td>5.5373</td><td>8.40</td><td>0.0081</td></tr><tr><td>X2</td><td>1</td><td>4.1218</td><td>4.1218</td><td>6.25</td><td>0.0200</td></tr><tr><td>X3</td><td>1</td><td>0.9909</td><td>0.9909</td><td>1.50</td><td>0.2327</td></tr><tr><td>X4</td><td>1</td><td>4.0339</td><td>4.0339</td><td>6.12</td><td>0.0212</td></tr><tr><td>X5</td><td>1</td><td>3.5100</td><td>3.5100</td><td>5.32</td><td>0.0304</td></tr><tr><td>X7</td><td>1</td><td>0.0871</td><td>0.0871</td><td>0.13</td><td>0.7196</td></tr><tr><td>X8</td><td>1</td><td>0.3742</td><td>0.3742</td><td>0.57</td><td>0.4589</td></tr><tr><td>X9</td><td>1</td><td>1.8513</td><td>1.8513</td><td>2.81</td><td>0.1074</td></tr><tr><td>X10</td><td>1</td><td>0.2063</td><td>0.2063</td><td>0.31</td><td>0.5813</td></tr></tbody></table>

→ On élimine X7

<table><thead><tr><th rowspan="2">Source</th><th rowspan="2">DF</th><th rowspan="2">Sum of Squares</th><th colspan="2">Type III Tests</th><th rowspan="2">F Stat</th><th rowspan="2">Pr &gt; F</th></tr><tr><th>Mean</th><th>Square</th></tr></thead><tbody><tr><td>X1</td><td>1</td><td>6.3925</td><td>6.3925</td><td>10.06</td><td>0.0041</td></tr><tr><td>X2</td><td>1</td><td>4.0447</td><td>4.0447</td><td>6.36</td><td>0.0187</td></tr><tr><td>X3</td><td>1</td><td>0.9455</td><td>0.9455</td><td>1.49</td><td>0.2344</td></tr><tr><td>X4</td><td>1</td><td>4.9416</td><td>4.9416</td><td>7.78</td><td>0.0102</td></tr><tr><td>X5</td><td>1</td><td>4.7047</td><td>4.7047</td><td>7.40</td><td>0.0119</td></tr><tr><td>X8</td><td>1</td><td>0.3782</td><td>0.3782</td><td>0.60</td><td>0.4480</td></tr><tr><td>X9</td><td>1</td><td>1.7752</td><td>1.7752</td><td>2.79</td><td>0.1076</td></tr><tr><td>X10</td><td>1</td><td>0.2984</td><td>0.2984</td><td>0.47</td><td>0.4997</td></tr></tbody></table>

→ On élimine X8

<table><thead><tr><th rowspan="2">Source</th><th rowspan="2">DF</th><th rowspan="2">Sum of Squares</th><th colspan="2">Type III Tests</th><th rowspan="2">F Stat</th><th rowspan="2">Pr &gt; F</th></tr><tr><th>Mean</th><th>Square</th></tr></thead><tbody><tr><td>X1</td><td>1</td><td>7.0905</td><td>7.0905</td><td>11.34</td><td>0.0025</td></tr><tr><td>X2</td><td>1</td><td>4.1181</td><td>4.1181</td><td>6.59</td><td>0.0166</td></tr><tr><td>X3</td><td>1</td><td>1.1435</td><td>1.1435</td><td>1.83</td><td>0.1884</td></tr><tr><td>X4</td><td>1</td><td>5.0418</td><td>5.0418</td><td>8.06</td><td>0.0088</td></tr><tr><td>X5</td><td>1</td><td>4.5410</td><td>4.5410</td><td>7.26</td><td>0.0124</td></tr><tr><td>X9</td><td>1</td><td>1.4670</td><td>1.4670</td><td>2.35</td><td>0.1381</td></tr><tr><td>X10</td><td>1</td><td>0.4195</td><td>0.4195</td><td>0.67</td><td>0.4205</td></tr></tbody></table>

→ On élimine X10
<table><thead><tr><th rowspan="2">Source</th><th rowspan="2">DF</th><th rowspan="2">Sum of Squares</th><th colspan="3">Type III Tests</th><th rowspan="2">F Stat</th><th rowspan="2">Pr &gt; F</th></tr><tr><th>Mean Square</th><th>df</th><th>1</th></tr></thead><tbody><tr><td>X1</td><td>1</td><td>6.6711</td><td>6.6711</td><td>10.81</td><td>0.0029</td><td></td><td></td></tr><tr><td>X2</td><td>1</td><td>4.2645</td><td>4.2645</td><td>6.91</td><td>0.0142</td><td></td><td></td></tr><tr><td>X3</td><td>1</td><td>0.9272</td><td>0.9272</td><td>1.50</td><td>0.2314</td><td></td><td></td></tr><tr><td>X4</td><td>1</td><td>4.7457</td><td>4.7457</td><td>7.69</td><td>0.0101</td><td></td><td></td></tr><tr><td>X5</td><td>1</td><td>4.3079</td><td>4.3079</td><td>6.98</td><td>0.0138</td><td></td><td></td></tr><tr><td>X9</td><td>1</td><td>1.4451</td><td>1.4451</td><td>2.34</td><td>0.1381</td><td></td><td></td></tr></tbody></table>

→ On élimine X3

<table><thead><tr><th rowspan="2">Source</th><th rowspan="2">DF</th><th rowspan="2">Sum of Squares</th><th colspan="3">Type III Tests</th><th rowspan="2">F Stat</th><th rowspan="2">Pr &gt; F</th></tr><tr><th>Mean Square</th><th>df</th><th>1</th></tr></thead><tbody><tr><td>X1</td><td>1</td><td>5.8582</td><td>5.8582</td><td>9.32</td><td>0.0051</td><td></td><td></td></tr><tr><td>X2</td><td>1</td><td>4.0243</td><td>4.0243</td><td>6.40</td><td>0.0176</td><td></td><td></td></tr><tr><td>X4</td><td>1</td><td>6.2247</td><td>6.2247</td><td>9.90</td><td>0.0040</td><td></td><td></td></tr><tr><td>X5</td><td>1</td><td>5.6406</td><td>5.6406</td><td>8.97</td><td>0.0058</td><td></td><td></td></tr><tr><td>X9</td><td>1</td><td>0.5259</td><td>0.5259</td><td>0.84</td><td>0.3685</td><td></td><td></td></tr></tbody></table>

→ On élimine X9

<table><thead><tr><th rowspan="2">Source</th><th rowspan="2">DF</th><th rowspan="2">Sum of Squares</th><th colspan="3">Type III Tests</th><th rowspan="2">F Stat</th><th rowspan="2">Pr &gt; F</th></tr><tr><th>Mean Square</th><th>df</th><th>1</th></tr></thead><tbody><tr><td>X1</td><td>1</td><td>7.3067</td><td>7.3067</td><td>11.69</td><td>0.0019</td><td></td><td></td></tr><tr><td>X2</td><td>1</td><td>5.4683</td><td>5.4683</td><td>8.75</td><td>0.0062</td><td></td><td></td></tr><tr><td>X4</td><td>1</td><td>11.2389</td><td>11.2389</td><td>17.98</td><td>0.0002</td><td></td><td></td></tr><tr><td>X5</td><td>1</td><td>8.6123</td><td>8.6123</td><td>13.78</td><td>0.0009</td><td></td><td></td></tr></tbody></table>

On a obtenu un modèle dont les apports de toutes les variables sont tous significatifs : on arrête donc le processus.

La procédure réalisée donne donc comme modèle final $Y = f(X1 X2 X4 X5)$; qui est le modèle déjà étudié et qui s'est révélé être un modèle « correct », vérifiant les suppositions de base sur les erreurs (§4.2.5), où 4 observations sont atypiques (§4.3.11), et dans lequel les 4 régresseurs n'ont pas de problème de colinéarité (§4.4.5).

### 4.5.2. Différentes méthodes basées sur les sommes de carrés

#### Méthode FORWARD (ascendante)

On introduit les variables une par une : on commence par un modèle à une variable, et on ajoute à chaque étape une variable. Les $SS_{\text{Modèle}}$ augmentent forcément (gain) et le principe est de faire entrer à chaque pas la variable qui apportera l'augmentation la plus significative de la somme des carrés du modèle. Donc, la variable qui est introduite est celle qui a $SS_{\text{apporté par j}}$ maximum, donc qui possède le F le plus grand, et significatif avec une probabilité par défaut associée au F de 0.5 : ce seuil s'appelle le seuil «pour entrer» SLE de REG.

Il y a au plus p modèles sélectionnés, qui sont affichés par ordre croissant de k ($k=1$ à L, $L \le p$.
### Méthode BACKWARD (descendante)<fnref n="28" />

On part de la régression à p régresseurs, et on élimine à chaque pas la variable la moins significative, c'est-à-dire qu'on élimine la variable ayant $SS_{apporté par j}$ minimum, c'est-à-dire le F ou le t de Student le plus petit (probabilité par défaut associée au F de 0.10 : seuil «pour sortir» SLS de REG).

Il y a au plus p modèles sélectionnés, qui sont affichés par ordre décroissant de k ($k=p$ à L, $L \ge 1$.

### Méthode STEPWISE (progressive)

C'est une combinaison FORWARD/BACKWARD : on effectue une sélection FORWARD, en laissant la possibilité de faire sortir du modèle à chaque pas une des variables devenue non significative (seuils de probabilité «pour entrer» 0.15, «pour sortir» 0.15 par défaut dans REG).

**Remarque** : les méthodes FORWARD, BACKWARD et STEPWISE ne donnent pas forcément le meilleur sous-ensemble à k variables. On peut le voir sur l'exemple ci-dessous, extrait de Brenot, Cazes et Lacourly (1975). On considère un modèle à 3 régresseurs. La figure 4.6 illustre graphiquement les liaisons dans $R^n$ :

<figure><img src="image_80.png" /><figcaption>Figure 4.6 : représentation géométrique dans $R^n$ de y et $x1 \ x2 \ x3$</figcaption></figure>

Dans l'espace $R^n$, y, $x1$ et $x3$ sont coplanaires, et $x1$, qui n'appartient pas au plan, est telle que son coefficient de corrélation avec y est le plus fort des coefficients de corrélations de y avec les 3 régresseurs.

La meilleure régression avec 2 variables est donc $y=f(x1)$. La meilleure régression à 2 variables est donc $y=f(x2, x3)$.

Les méthodes de sélection donneront les choix successifs :

BACKWARD : (x1, x2, x3) → (x2, x3) → x2 ou x3
FORWARD : x1 → (x1, x2) ou (x1, x3) → (x1, x2, x3)
STEPWISE : x1 → (x1, x2) ou (x1, x3) → (x1, x2, x3) → (x2, x3)

Les modèles à 1 ou à 2 variables trouvés par ces méthodes sont différents, et ne sont pas forcément les meilleurs : BACKWARD trouve le meilleur modèle à 2 variables, mais pas celui à 1 ; FORWARD et STEPWISE trouvent le meilleur modèle à 1 variable mais pas celui à 2 ; la méthode STEPWISE effectue un pas de plus que FORWARD.

<footnote n="28">²⁸ C'est la méthode réalisée au §4.5.1.</footnote>
## Exemples de sélection STEPWISE

On sélectionne parmi les 10 variables candidates dans les données « Processionnaire du pin » issu du livre de Tomassone et al. (1983).

* Tout d'abord, on conserve les seuils par défaut SLE = SLS = 0.15 de la méthode.

```sas
title 'regression STEPWISE ';
```

```sas
proc reg data =libreg.chenilles;
```

```sas
log10 : model log = x1--x10 / selection = stepwise;
```

```sas
run;
```

```sas
quit;
```

Stepwise Selection: Step 1

Variable X9 Entered: R-Square = 0.3528 and C(p) = 17.6721

<table><thead><tr><th colspan="6">Analyse de variance</th></tr><tr><th>Source</th><th>DF</th><th>Somme des carrés</th><th>Carré moyen</th><th>Valeur F</th><th>Pr > F</th></tr></thead><tbody><tr><td>Model</td><td>1</td><td>17.49867</td><td>17.49867</td><td>16.90</td><td>0.0003</td></tr><tr><td>Error</td><td>31</td><td>32.09735</td><td>1.03540</td><td></td><td></td></tr><tr><td>Corrected Total</td><td>32</td><td>49.59603</td><td></td><td></td><td></td></tr></tbody></table>

<table><thead><tr><th>Variable</th><th>Résultat estimé des paramètres</th><th>Errore std</th><th>Type II SS</th><th>Valeur F</th><th>Pr > F</th></tr></thead><tbody><tr><td>Intercept</td><td>1.77374</td><td>0.65375</td><td>7.62205</td><td>7.36</td><td>0.0108</td></tr><tr><td>X9</td><td>-1.30538</td><td>0.31753</td><td>17.49867</td><td>16.90</td><td>0.0003</td></tr></tbody></table>

Bounds on condition number: 1, 1

Stepwise Selection: Step 2

Variable X1 Entered: R-Square = 0.4690 and C(p) = 11.2904

<table><thead><tr><th colspan="6">Analyse de variance</th></tr><tr><th>Source</th><th>DF</th><th>Somme des carrés</th><th>Carré moyen</th><th>Valeur F</th><th>Pr > F</th></tr></thead><tbody><tr><td>Model</td><td>2</td><td>23.26290</td><td>11.63145</td><td>13.25</td><td>&lt;.0001</td></tr><tr><td>Error</td><td>30</td><td>26.33313</td><td>0.87777</td><td></td><td></td></tr><tr><td>Corrected Total</td><td>32</td><td>49.59603</td><td></td><td></td><td></td></tr></tbody></table>

<table><thead><tr><th>Variable</th><th>Résultat estimé des paramètres</th><th>Errore std</th><th>Type II SS</th><th>Valeur F</th><th>Pr > F</th></tr></thead><tbody><tr><td>Intercept</td><td>5.83839</td><td>1.69652</td><td>10.39561</td><td>11.84</td><td>0.0017</td></tr><tr><td>X1</td><td>-0.00353</td><td>0.00138</td><td>5.76422</td><td>6.57</td><td>0.0156</td></tr><tr><td>X9</td><td>-1.01284</td><td>0.31386</td><td>9.14074</td><td>10.41</td><td>0.0030</td></tr></tbody></table>

Bounds on condition number: 1.1525, 4.6099
Stepwise Selection: Step 3

Variable X2 Entered: R-Square = 0.5310 and C(p) = 8.8262

<table><caption>Analyse de variance</caption><thead><tr><th>Source</th><th>DF</th><th>Somme des carrés</th><th>Carré moyen</th><th>Valeur F</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Model</td><td>3</td><td>26.33301</td><td>8.77767</td><td>10.94</td><td>&lt;.0001</td></tr><tr><td>Error</td><td>29</td><td>23.26301</td><td>0.80217</td><td></td><td></td></tr><tr><td>Corrected Total</td><td>32</td><td>49.59603</td><td></td><td></td><td></td></tr></tbody></table>

<table><thead><tr><th>Variable</th><th>Résultat estimé des paramètres</th><th>Erreur std</th><th>Type II SS</th><th>Valeur F</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Intercept</td><td>6.76034</td><td>1.68890</td><td>12.85278</td><td>16.02</td><td>0.0004</td></tr><tr><td>X1</td><td>-0.00352</td><td>0.00132</td><td>5.74447</td><td>7.16</td><td>0.0121</td></tr><tr><td>X2</td><td>-0.04486</td><td>0.02293</td><td>3.07012</td><td>3.83</td><td>0.0601</td></tr><tr><td>X9</td><td>-0.82500</td><td>0.31503</td><td>5.50133</td><td>6.86</td><td>0.0139</td></tr></tbody></table>

Bounds on condition number: 1.2705, 10.625

Stepwise Selection: Step 4

Variable X3 Entered: R-Square = 0.5799 and C(p) = 7.2958

<table><caption>Analyse de variance</caption><thead><tr><th>Source</th><th>DF</th><th>Somme des carrés</th><th>Carré moyen</th><th>Valeur F</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Model</td><td>4</td><td>28.76097</td><td>7.19024</td><td>9.66</td><td>&lt;.0001</td></tr><tr><td>Error</td><td>28</td><td>20.83505</td><td>0.74411</td><td></td><td></td></tr><tr><td>Corrected Total</td><td>32</td><td>49.59603</td><td></td><td></td><td></td></tr></tbody></table>

<table><thead><tr><th>Variable</th><th>Résultat estimé des paramètres</th><th>Erreur std</th><th>Type II SS</th><th>Valeur F</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>Intercept</td><td>9.54614</td><td>2.24151</td><td>13.49616</td><td>18.14</td><td>0.0002</td></tr><tr><td>X1</td><td>-0.00481</td><td>0.00145</td><td>8.13804</td><td>10.94</td><td>0.0026</td></tr><tr><td>X2</td><td>-0.04848</td><td>0.02217</td><td>3.55650</td><td>4.78</td><td>0.0373</td></tr><tr><td>X3</td><td>0.06911</td><td>0.03826</td><td>2.42796</td><td>3.26</td><td>0.0816</td></tr><tr><td>X9</td><td>-1.72321</td><td>0.58251</td><td>6.51184</td><td>8.75</td><td>0.0062</td></tr></tbody></table>

Bounds on condition number: 5.724, 52.201

## Résultats :

La sélection se fait en 4 étapes. A chaque étape, des résultats globaux sur le modèle sont données (R², CP, analyse de variance). Pour vérifier si les régresseurs n'ont pas de colinéarité « pathologique », le « Condition Number » (cf. 4.4.3) est borné : ici par exemple au 4ème pas, Condition Number a une borne supérieure très grande (52.20) donc on peut soupçonner l'existence d'une colinéarité entre les 4 régresseurs.

All variables left in the model are significant at the 0.1500 level.

No other variable met the 0.1500 significance level for entry into the model.

<table><caption>Summary of Stepwise Selection</caption><thead><tr><th>Étape</th><th>Variable entrée</th><th>Variable supprimée</th><th>Nombre var. dans</th><th>R carré partiel</th><th>R carré du modèle</th><th>C(p)</th><th>Valeur F</th><th>Pr &gt; F</th></tr></thead><tbody><tr><td>1</td><td>X9</td><td></td><td>1</td><td>0.3528</td><td>0.3528</td><td>17.6721</td><td>16.90</td><td>0.0003</td></tr><tr><td>2</td><td>X1</td><td></td><td>2</td><td>0.1162</td><td>0.4690</td><td>11.2904</td><td>6.57</td><td>0.0156</td></tr><tr><td>3</td><td>X2</td><td></td><td>3</td><td>0.0619</td><td>0.5310</td><td>8.8262</td><td>3.83</td><td>0.0601</td></tr><tr><td>4</td><td>X3</td><td></td><td>4</td><td>0.0490</td><td>0.5799</td><td>7.2958</td><td>3.26</td><td>0.0816</td></tr></tbody></table>

Le modèle trouvé en 4 étapes est le modèle LOG=f(X9, X1, X2, X3).
* Puis on fixe les seuils SLE et SLS à 5% par les options SLE= 0.05 et SLS = 0.05.

```sas
title 'regression STEPWISE avec seuils à 0.05 ';
proc reg data =libreg.chenilles ;
log10 : model log = x1--X10 / selection = stepwise SLE = 0.05
SLS = 0.05;
run ;
quit;
```

Dans ce cas, 2 pas seulement sont effectués et le modèle est LOG= f(X9, X1).

All variables left in the model are significant at the 0.0500 level.

No other variable met the 0.0500 significance level for entry into the model.

<table><caption>Summary of Stepwise Selection</caption><thead><tr><th>Étape</th><th>Variable entrée</th><th>Variable supprimée</th><th>Nombre var. dans</th><th>R carré partiel</th><th>R carré du modèle</th><th>C(p)</th><th>Valeur F</th><th>Pr > F</th></tr></thead><tbody><tr><td>1</td><td>X9</td><td></td><td>1</td><td>0.3528</td><td>0.3528</td><td>17.6721</td><td>16.90</td><td>0.0003</td></tr><tr><td>2</td><td>X1</td><td></td><td>2</td><td>0.1162</td><td>0.4690</td><td>11.2904</td><td>6.57</td><td>0.0156</td></tr></tbody></table>

### Remarque

On peut raisonner soit avec les sommes de carrés comme on vient de le faire aux §4.5.1 et 4.5.2, soit avec $R^2 = \frac{SS_{\text{Modèle}}}{SS_{\text{Total}}}$, ce qui est équivalent compte-tenu de l'équation d'analyse de variance : $SS_{\text{Totale}} = SS_{\text{Modèle}} + SS_{\text{Érreurs}}$

D'où les autres méthodes présentées ci-dessous.

### 4.5.3. Amélioration de R²

#### Maximum R² Improvement (MAXR)

C'est une méthode qui procède par étape comme les précédentes. Elle tente de trouver le meilleur modèle au sens du R² pour chaque valeur k du nombre de régresseurs.

La méthode MAXR commence par choisir la variable donnant le plus grand R² (c'est à dire celle qui est la plus corrélée avec Y).

Puis est ajoutée celle qui provoque la plus grande augmentation du R².

Une fois ce modèle à 2 variables obtenu, tous les échanges possibles entre une des 2 variables présentes dans le modèle et une variable extérieure sont examinés, c'est-
à-dire que le R² de la régression est calculé, et l'échange qui est fait est celui qui
fournit l'accroissement maximum de R².

La comparaison recommence alors avec 3 variables dans le modèle.

Ce processus continue jusqu'à ce qu'aucune permutation n'augmente R².

La différence entre les méthodes STEPWISE et MAXR est que toutes les
permutations possibles sont évaluées dans MAXR **avant** le changement. Dans
STEPWISE, seul le « moins bon » régresseur est retiré, sans vérifier si on pourrait
ajouter la « meilleure » variable. En contre partie, MAXR demande évidemment
beaucoup plus de calculs.

### Minimum R² Improvement (MINR)

Il s'agit du même processus que le précédent sauf que la procédure d'échange fait appel au couple de variables associé au plus petit accroissement du R². L'objectif est ainsi d'explorer plus de modèles que dans le cas MAXR et donc, éventuellement, de tomber sur un meilleur optimum.

### 4.5.4. Autres méthodes basées sur R² : RSQUARE et ADJRSQ

Ces méthodes ne fonctionnent pas par étapes. Elles affichent pour toute valeur de k, le *meilleur sous-ensemble* de k régresseurs au sens de R² ou $R^2_{adj}$ (défini au chapitre 1 §1.2.5), ce que n'assurent pas les méthodes STEPWISE ou MAXR/MINR.

Elles demandent beaucoup plus de calculs car il faut examiner toutes les régressions possibles, mais les puissants moyens informatiques actuels rendent ces méthodes très rapides.

Pour $k=1$ à $p$, les modèles sont affichés dans l'ordre décroissant de R² (ou $R^2_{adj}$).

Pour limiter le volume des sorties quand le nombre de variables est grand, l'option BEST = q limite l'affichage aux q premiers modèles pour chaque valeur de k.

Ceci permet d'explorer rapidement les sous-ensembles de variables, mais les modèles sélectionnés, optimaux au sens R² (ou $R^2_{adj}$), ne le sont pas forcément au niveau des données. Aussi il est recommandé d'afficher des critères supplémentaires de qualité comme les critères CP, AIC et BIC présentés ci-dessous.

Il faudra aussi valider les modèles, comme on l'a vu dans ce chapitre aux §4.2, §4.3, §4.4.

### 4.5.5. Coefficient CP de Mallows

Ce coefficient proposé par Mallows en 1973, est basé sur la recherche des régresseurs ayant le meilleur pouvoir prédictif, c'est à dire l'erreur totale moyenne la plus petite. Il permet ainsi de choisir entre plusieurs régressions différant à la fois par le nombre de régresseurs et la précision atteinte.

En effet, si on ajoute des régresseurs on diminue, en général, le biais des estimations mais on risque d'augmenter les variances des estimations et «l'erreur totale» moyenne, car on a pu ajouter des variables très liées aux variables initialement introduites.
La précision étant mesurée par MSE ou bien SSE, on calculera le coefficient ainsi :

- Si $q < p$, $CP(q) = [SSE(q)/MSE] - [n - 2(q + 1)]$

- où $SSE(q) = \text{somme des carrés des erreurs de la régression avec q régresseurs et constante,}$

- et $MSE = \text{précision s}^2 \text{ calculée avec les p régresseurs (soit } SSE(p)/(n(p+1))\text{)}$.

- Si $q = p$, alors $CP(p) = p+1$.

Si le « bon » modèle est choisi, l'estimation est sans biais, et alors $CP(q)$ est proche de $(q+1)$ : voir plus de détails dans Daniel et Wood (1980).

Dans le cas où $CP$ vaut $(p+1)$, on a la même précision que la régression globale.

## Sélection suivant le coefficient CP

En plus du $R^2$, REG affiche les sous-ensembles de régresseurs par ordre croissant de CP.

A partir du modèle complet, on choisit le premier sous-ensemble dont le CP approche la valeur $(p+1)$: c'est le « meilleur » sous-ensemble de régresseurs.

On peut aussi faire le graphique de $CP(q)$ en fonction de $q$ ($q=1$ à $p$) et regarder la position de l'optimum ainsi que Mallows recommande:

## Utilisation du coefficient CP dans une sélection de régresseurs

On demande à afficher le coefficient de chaque modèle obtenu par la méthode de sélection choisie, en ajoutant l'option CP à l'instruction MODEL de REG. Pour un nombre $k$ donné de régresseurs, il est conseillé de choisir le sous-ensemble de $k$ variables ayant une valeur de CP la plus grande.

### 4.5.6. Critères AIC et BIC

Ces critères ne sont pas des critères de sélection des régresseurs, mais des indicateurs de la qualité du modèle.

De manière générale, ces critères mesurent la qualité d'un modèle statistique bâti sur $k$ paramètres sur un échantillon de taille $n$, à partir de la fonction de vraisemblance $L$.

Akaike Information Criterion (1969) : $AIC = -2 \text{Log}(L) + 2k$

Sawa's Bayesian information criterion (1978) : $BIC = -2 \text{Log}(L) + k \text{Log}(n)$

Le critère BIC est d'un autre critère utilisé nommé « critère de Schwartz ».

Dans le cas d'un modèle de régression à $p$ régresseurs avec constante :

$$AIC = n \text{Log} \left( \frac{SSE}{n} \right) + 2(p+1)$$

$$BIC = n \text{Log} \left( \frac{SSE}{n} \right) + 2(p+3)q \quad \text{avec} \quad q = \frac{n s^2}{SSE}$$
Ces indicateurs sont utilisés comme la règle habituelle consistant à choisir le modèle ayant la meilleure précision (SSE petit).

### 4.5.7. Exemple de sélection RSQUARE

On sélectionne parmi les 10 variables candidates dans les données « Processionnaire du pin » issu du livre de Tomassone et al. (1983). On demande l'affichage des 2 meilleurs modèles pour chaque nombre de régresseurs par l'option BEST = 2.

```sas
title 'regression RSQUARE ';
proc reg data =libreg.chenilles;
log10 : model log = X1--X10 / selection = RSQUARE AIC BIC CP
BEST = 2;
run;
quit;
```

<table><thead><tr><th>Nombre dans le modèle</th><th>R-carré</th><th>C(p)</th><th>AIC</th><th>BIC</th><th>Variables du modèle</th></tr></thead><tbody><tr><td>1</td><td>0.3528</td><td>17.6721</td><td>3.0848</td><td>3.7414</td><td>X9</td></tr><tr><td>1</td><td>0.2931</td><td>21.9804</td><td>5.9985</td><td>6.3390</td><td>X8</td></tr><tr><td>2</td><td>0.4690</td><td>11.2904</td><td>-1.4474</td><td>-0.3146</td><td>X1 X9</td></tr><tr><td>2</td><td>0.4249</td><td>14.4777</td><td>1.1911</td><td>1.8812</td><td>X1 X8</td></tr><tr><td>3</td><td>0.5368</td><td>8.4026</td><td>-3.9541</td><td>-2.0508</td><td>X1 X4 X5</td></tr><tr><td>3</td><td>0.5310</td><td>8.8262</td><td>-3.5382</td><td>-1.7348</td><td>X1 X2 X9</td></tr><tr><td>4</td><td>0.6471</td><td>2.4513</td><td>-10.9258</td><td>-6.1357</td><td>X1 X2 X4 X5</td></tr><tr><td>4</td><td>0.5799</td><td>7.2958</td><td>-5.1757</td><td>-2.2991</td><td>X1 X2 X3 X9</td></tr><tr><td>5</td><td>0.6577</td><td>3.6865</td><td>-9.9325</td><td>-4.1182</td><td>X1 X2 X4 X5 X9</td></tr><tr><td>5</td><td>0.6550</td><td>3.8819</td><td>-9.6724</td><td>-3.9701</td><td>X1 X2 X4 X5 X10</td></tr><tr><td>6</td><td>0.6764</td><td>4.3383</td><td>-9.7858</td><td>-2.3328</td><td>X1 X2 X3 X4 X5 X9</td></tr><tr><td>6</td><td>0.6764</td><td>4.3392</td><td>-9.7846</td><td>-2.3322</td><td>X1 X2 X4 X5 X6 X9</td></tr><tr><td>7</td><td>0.6864</td><td>5.6125</td><td>-8.8285</td><td>0.0994</td><td>X1 X2 X3 X4 X5 X8 X9</td></tr><tr><td>7</td><td>0.6848</td><td>5.7284</td><td>-8.6597</td><td>0.1627</td><td>X1 X2 X3 X4 X5 X9 X10</td></tr><tr><td>8</td><td>0.6925</td><td>7.1785</td><td>-7.4679</td><td>2.8386</td><td>X1 X2 X3 X4 X5 X8 X9 X10</td></tr><tr><td>8</td><td>0.6901</td><td>7.3519</td><td>-7.2110</td><td>2.9101</td><td>X1 X2 X3 X4 X5 X7 X8 X9</td></tr><tr><td>9</td><td>0.6942</td><td>9.0519</td><td>-5.6569</td><td>5.7796</td><td>X1 X2 X3 X4 X5 X7 X8 X9 X10</td></tr><tr><td>9</td><td>0.6942</td><td>9.0557</td><td>-5.6512</td><td>5.7806</td><td>X1 X2 X3 X4 X5 X6 X8 X9 X10</td></tr><tr><td>10</td><td>0.6949</td><td>11.0000</td><td>-3.7346</td><td>8.7654</td><td>X1 X2 X3 X4 X5 X6 X7 X8 X9 X10</td></tr></tbody></table>
Dans le tableau des modèles, on constate que, parmi les modèles à 4 variables, celui
qui a le meilleur R², et les plus petites valeurs de AIC et BIC est $Y = f(X1 X2 X4 X5)$,
qui est le modèle étudié aux paragraphes §4.2.5, §4.3.11 et §4.4.5. Par contre le
critère CP est plus petit que celui 2ème modèle sélectionné $Y = f(X1 X2 X3 X9)$, qui
pourrait donc être également un modèle à étudier : c'est d'ailleurs le modèle final
trouvé par la méthode STEPWISE (§4.5.2) avec les seuils par défaut de 15 %.
Conclusion

Arrivé au terme de ce tutoriel nous voulons insister sur deux points non abordés par la technique de la régression : la qualité des données et les difficultés d'interprétation. Ces deux points sont du ressort du spécialiste du domaine d'études sur lequel le statisticien applique la régression.

La qualité de l'information apportée par les données (observations) intervient dans la validité et la robustesse d'un modèle de régression. Mais cette qualité n'est pas appréhendable par le statisticien-praticien.

Ce sont des connaissances externes à la statistique mais internes à l'étude qui doivent intervenir. Ces connaissances sont aussi indispensables pour déterminer le plan d'échantillonnage. Cette étape qui se situe au niveau de la collecte des données et donc en amont de l'analyse statistique des données mériterait à elle seule un long développement.

Une fois réglées toutes les difficultés reste un dernier point et non des moindres, **l'interprétation**. Prenons un exemple concret : parmi des enfants, on effectue une enquête permettant de mesurer l'étendue du vocabulaire et la taille de leurs pieds.

La corrélation entre ces deux variables est nettement significative ! Le bon sens permet d'éviter d'en tirer des conclusions aberrantes. Sous cette corrélation se cache l'influence de la variable âge.

Autre exemple, dans un état des U.S.A on a corrélé sur les 20 dernières années, le taux de criminalité et le taux de fréquentation dans les églises. Là aussi la corrélation obtenue est très élevée, mais le bon sens ne vient que peu en aide. La variable cachée est l'immigration italienne et irlandaise.

A la lumière de ces deux exemples, gardons-nous de toutes interprétations hâtives.

Avoir toujours à l'esprit que sous une corrélation peut se cacher l'effet d'une autre variable, ou d'un autre facteur.

On peut cependant utiliser le modèle identifié, s'il est correct, dans un but de prévision mais surtout pas dans un but de "contrôle" (action sur les variables explicatives dans l'espoir d'agir sur Y) ou d'explication. Sinon, on pourrait augmenter l'intelligence de nos enfants en augmentant la taille de leurs pieds!

L'erreur qui perdure dans la littérature, est de donner le nom de variable dépendante ou variable **expliquée** à Y et de variables indépendantes ou variables explicatives à X, ce qui amène à déduire logiquement qu'il existe une idée de cause à effet entre X et Y. « Mécaniquement », ce n'est pas l'objet de la régression.

La régression sur données d'observations ne permet pas de déduire une quelconque relation de cause à effet de X sur Y et/ou de Y sur X. Il faut d'autres pratiques méthodologiques pour expliquer la causalité qui peut avoir des formes multiples.
La liaison entre 2 variables X et Y peut se rencontrer dans 5 situations:

* X cause Y

* Y cause X

* X et Y inter-agissent l'une sur l'autre, problème de circularité, ou de rétro-action

* X et Y évoluent ensemble sous l'effet d'une même variable

* X et Y sont liées par hasard

La causalité peut être validée par "l'outil" régression que **si on peut faire des comparaisons** sur des groupes comparables. C'est un débat historique qui est de plus en plus d'actualité. Les économètres tentent de pallier la faiblesse des techniques de régression appliquées à des données d'observations, en essayant de se rapprocher des techniques expérimentales. Ils ont introduit la méthode des variables instrumentales, avec l'idée de pouvoir comparer des individus qui ne diffèrent que sur une seule dimension : le *traitement*. Ils ont également proposé de traiter des données issues « d'expériences naturelles » et « d'expériences contrôlées », c'est un premier pas vers des interprétations causales (voir BEHAGHEL (2006).

Terminons sur ce constat, les méthodes de régression sont des méthodes très puissantes, mais qui doivent être utilisées avec beaucoup de discernement et de prudence. En toute honnêteté il ne faut pas se contenter d'un seul modèle et d'une seule procédure REG, il faut en tester plusieurs.

C'est un travail d'explorateur et de détective. C'est ce que nous avons tenté de mettre en lumière.
# ANNEXES

<table><tr><td>ANNEXE 1</td><td>123</td></tr><tr><td>SYNTAXE SIMPLIFIÉE DE LA PROCÉDURE REG DE SAS</td><td>123</td></tr><tr><td>PROC REG options</td><td>123</td></tr><tr><td>MODEL dépendante = régresseurs / options</td><td>124</td></tr><tr><td>Instructions BY FREQ ID WEIGHT</td><td>125</td></tr><tr><td>REWEIGHT expression / WEIGHT = valeur</td><td>125</td></tr><tr><td>TEST equation(s)</td><td>125</td></tr><tr><td>RESTRICT equation(s)</td><td>125</td></tr><tr><td>OUTPUT OUT = nomtab mot_clef = nom_var</td><td>126</td></tr><tr><td>PLOT Yvar1*Xvar1='s' Yvar2*Xvar2='s' / options</td><td>126</td></tr><tr><td>PRINT mots-clefs</td><td>126</td></tr><tr><td>Options RIDGE et PCOMIT des instructions PROC REG ou MODEL</td><td>127</td></tr><tr><td>ANNEXE 2</td><td>128</td></tr><tr><td>MODE D'EMPLOI TRÈS SUCCINCT DE SAS/INSIGHT</td><td>128</td></tr><tr><td>Le lancement de SAS/INSIGHT</td><td>128</td></tr><tr><td>Rôle statistique des variables dans SAS/INSIGHT</td><td>129</td></tr><tr><td>Menu principal de SAS/INSIGHT</td><td>130</td></tr><tr><td>Graphiques standard en SAS/INSIGHT</td><td>130</td></tr><tr><td>Les Analyses Statistiques avec SAS/INSIGHT</td><td>132</td></tr><tr><td>Exemple de Régression linéaire sur la Table SAS : Chenille (processionnaire du pin du §2.3.1.)</td><td>132</td></tr><tr><td>Impression et Sauvegarde</td><td>133</td></tr><tr><td>Pour imprimer</td><td>133</td></tr><tr><td>Pour sauvegarder les résultats graphiques ou tableaux dans un fichier</td><td>133</td></tr><tr><td>Pour insérer un fichier externe .bmp dans Word</td><td>134</td></tr><tr><td>Pour plus d'information sur les graphiques</td><td>135</td></tr><tr><td>ANNEXE 3</td><td>136</td></tr><tr><td>STATISTIQUES RELATIVES À L'ANALYSE DE LA VARIANCE</td><td>136</td></tr><tr><td>STATISTIQUES SUR LES PARAMÈTRES</td><td>137</td></tr><tr><td>ANNEXE 4</td><td>138</td></tr><tr><td>RELATIONS ENTRE LA LOI NORMALE ET LES STATISTIQUES DE LOIS</td><td>138</td></tr><tr><td>ANNEXE 5</td><td>139</td></tr><tr><td>CONSTRUCTION D'UN QQ-PLOT</td><td>139</td></tr><tr><td>PRINCIPE DE LA DROITE DE HENRY</td><td>139</td></tr><tr><td>1. Soit une variable X dont on veut vérifier l'adéquation à une loi normale (m,σ)</td><td>139</td></tr><tr><td>2. Si X suit une loi normale (m,σ) alors</td><td>139</td></tr><tr><td>3. En pratique, on ordonne les valeurs xᵢ : on note xᵢ(i) les valeurs ordonnées.</td><td>139</td></tr><tr><td>GÉNÉRALISATION</td><td>140</td></tr><tr><td>QQ-PLOT AVEC SAS</td><td>140</td></tr><tr><td>BIBLIOGRAPHIE</td><td>141</td></tr></table>
# Annexe 1

## Syntaxe simplifiée de la Procédure REG de SAS

La procédure REG est une procédure « interactive » permettant d'étudier plusieurs modèles en un seul appel de PROC REG. On donne ici son utilisation pour l'étude d'un seul modèle.

PROC REG options ;
    MODEL dépendante = régresseurs / options ;
    BY nom_var ;
    FREQ nom_var ;
    ID nom_var ;
    WEIGHT nom_var ;
    REWEIGHT expression / option ;
RUN ;
    TEST équation(s) ;
    RESTRICT équation(s) ;
    OUTPUT OUT = data_sas mot_clef = nom_var ;
    PLOT yvar*xvar='symbol' / options ;
QUIT ;

### PROC REG options ;

DATA=NOMTAB data_set_option option commune à toutes les procédures

OUTEST = TAB permet de créer des tables SAS de résultats utiles, comme les coefficients estimés, et des résultats créés dans des options.

Autres options : ALL CORR NOPRINT SIMPLE USSCP

ALL Demande beaucoup d'impressions (induit l'option SIMPLE, USSCP, et CORR).

CORR Imprime la matrice de corrélation de toutes les variables du modèle.

NOPRINT Supprime les impressions.

SIMPLE Imprime somme, moyenne, variance, écart-type et somme des carrés non corrigée pour les variables utilisées dans REG.

USSCP Imprime les sommes de carrés non corrigées et la matrice des produits croisés pour toutes les variables utilisées dans REG.

PRESS Permet d'obtenir dans la table OUTEST le coefficient PRESS

RIDGE et PCOMIT pour les régressions Ridge et sur composantes principales (voir à la fin de cette annexe).
## MODEL dépendante = régresseurs / options ;

dépendante : nom de la variable dépendante

régresseurs : liste des noms des p variables régresseurs

Remarque : on peut donner un label à l'instruction MODEL, label qui sera alors affiché dans les sorties.

## Quelques options de l'instruction MODEL :

### Sélection de régresseurs

Option sous la forme `SELECTION = nom` (où nom est un des mots-clefs de la liste ci-après) :

<table><tr><td>NONE</td><td>pas de sélection (choix par défaut)</td></tr><tr><td>FORWARD</td><td>sélection ascendante</td></tr><tr><td>BACKWARD</td><td>sélection descendante</td></tr><tr><td>STEPWISE</td><td>sélection progressive ascendante</td></tr><tr><td>MAXR, MINR</td><td>sélection basée sur gain maximum/minimum en R²</td></tr><tr><td>RSQUARE, ADJRSQ</td><td>sélection du meilleur sous-ensemble au sens de R², R²</td></tr><tr><td>ajusté</td><td></td></tr><tr><td>CP</td><td>sélection basée sur CP de Mallows</td></tr></table>

### Autres options associées à SELECTION :

<table><tr><td>INCLUDE = n</td><td>inclure les n premières variables explicatives dans les modèles explorés (n<p)</td></tr><tr><td>SLE = valeur</td><td>seuil de significativité pour entrer</td></tr><tr><td>SLS = valeur</td><td>seuil de significativité pour rester</td></tr><tr><td>STOP = s</td><td>arrête l'exploration au meilleur sous-ensemble de s variables (avec s < p); STOP = p par défaut.</td></tr><tr><td>BEST = k</td><td>arrête l'exploration après k modèles.</td></tr></table>

### Attention aux valeurs par défaut des seuils :

SLE = 0.50 en FORWARD et SLE = 0.15 en STEPWISE

SLS = 0.10 en BACKWARD et SLS = 0.15 en STEPWISE

Remarque : les différentes valeurs du critère de sélection choisi sont stockées dans la table OUTEST, où on trouve aussi les 2 variables :

_IN_ nombre de régresseurs hors constante

_P_ nombre de régresseurs y compris la constante si elle existe dans le modèle

### Autres options de l'instruction MODEL :

Définir un modèle sans constante : NOINT

Afficher :

- des résultats complémentaires pour les observations :
- P (prévisions) CLI CLM (intervalles de prévision à 95 % individuels et sur la moyenne) R(résidus) INFLUENCE (indices de détection des observations influentes)

- des coefficients: DW (Durbin-Watson), CP (Cp de Mallows), BIC, AIC, etc.;

- les sommes de carrés SS1 SS2 (carrés de type I ou II)

### Diagnostiquer des problèmes particuliers:

- heteroscédasticité: SPEC (et ACOV)

- colinéarité: TOL VIF et COLLIN COLLINOINT

## Instructions BY FREQ ID WEIGHT :

Ce sont des instructions communes à toutes les procédures. En particulier, WEIGHT permet de définir une régression pondérée.

### REWEIGHT expression / WEIGHT = valeur ;

Cette instruction permet de redéfinir les poids, et en particulier d'omettre une observation de la régression.

expression est une comparaison sur une variable (on peut utiliser la variable OBS. qui contient le numéro de l'observation),

WEIGHT = valeur donne cette valeur de poids aux observations vérifiant l'expression.

Exemple : pour supprimer l'observation numéro 20, on écrit
REWEIGHT obs. = 20 / WEIGHT = 0 ;

## TEST equation(s) ;

Cette instruction permet de tester une ou des hypothèses sur les estimations des paramètres (les équations doivent être séparées par des virgules). Chaque équation est une fonction linéaire formée de coefficients et de noms de variables (ici, INTERCEPT est le nom de la constante).

Exemples:
TEST X1 = 0, INTERCEPT = 0;
tester (β1=0) et (β0=0)
TEST X3-X4 = 0;
tester (β3= β4)

## RESTRICT equation(s);

Elle permet de fixer des contraintes sur les coefficients, avec des équations identiques à TEST.
Exemple: `RESTRICT X1-X3 = 0;` modèle avec contrainte ($\beta_1 = \beta_3$)

**OUTPUT OUT = nomtab mot_clef = nom_var ;**

Cette instruction permet de créer une table SAS contenant certaines des variables créées par la régression. Ce tableau contiendra aussi les variables du modèle (réponse et régresseurs).

**Liste des mots_clefs pour les variables créées par la régression**

(ces mots_clefs sont utilisables aussi pour les instructions PLOT et PRINT, sauf PRESS):

**PREDICTED (ou P) valeur prédite**

L95M U95M limites des intervalles à 95% sur la moyenne des valeurs prédites

L95 U95 limites des intervalles à 95% sur une valeur prédite

STDP écart-type de la valeur moyenne prédite

STDI écart-type de la valeur prédite

**RESIDUAL (ou R) résidu**

STDR écart-type du résidu

NQQ quantile normal (pour le dessin QQPLOT)

STUDENT résidu studentisé interne

RSTUDENT résidu studentisé externe

H levier

PRESS coefficient Press (individuel)

COOKD DFFITS COVRATIO mesures d'influence des observations

**PLOT Yvar1*Xvar1='s' Yvar2*Xvar2='s' / options ;**

Cette instruction permet de tracer des graphiques en désignant les variables ordonnée Yvar et abscisse Xvar, et le symbole associé.

Différentes options sont possibles pour définir les caractéristiques des graphiques (cf. la documentation SAS).

Attention : on peut utiliser une des variables créées par la régression, définies plus haut dans la liste des mots-clefs de l'instruction OUTPUT, **à condition de faire suivre son nom par un point** : par exemple **P.** ou **R.**

On peut aussi utiliser la variable **OBS.** pour désigner le numéro de l'observation.

Remarque : l'option RIDGEPLOT permet de tracer le dessin des coefficients RIDGE (voir plus loin la description de l'option RIDGE).

**PRINT mots-clefs ;**

Cette instruction permet d'imprimer certaines des variables créées avec la liste des mots-clefs vue plus haut.
## Options RIDGE et PCOMIT des instructions PROC REG ou MODEL

On peut effectuer une régression Ridge ou une régression sur composantes principales, par une option de PROC REG ou de MODEL. La procédure travaille alors sur les données centrées (l'option NOINT est ignorée).

**RIDGE = liste**

liste est une liste de valeurs qui peut être définie par la syntaxe `kd to kf by p`, où l'intervalle de variation du coefficient ridge est `[kd,kf]`, la variation se faisant par pas de p.

Chaque valeur donne une estimation des coefficients Ridge, qui est placée dans une table SAS à définir avec l'option `OUTEST = table` de PROC REG. La colonne `_TYPE_` indique quelle méthode on a employé : pour la méthode Ridge, `_TYPE_` = RIDGE, et les valeurs de la liste sont stockées sous le nom de variable `_RIDGE_`. On trouve ensuite les valeurs des coefficients Ridge de chaque régresseur.

**PCOMIT = k**

k est un entier positif ou nul.

La procédure calcule alors les paramètres estimés en utilisant les composantes principales à l'exclusion des k dernières ; L'estimation des coefficients est placée dans une table SAS à définir avec l'option `OUTEST = table` de PROC REG, avec ici `_TYPE_` = IPC.

Remarque : k peut aussi être une liste d'entiers non négatifs, pour permettre de faire plusieurs essais d'élimination de composantes.

## Autres options de PROC REG tilisables en association avec les options RIDGE et PCOMIT :

OUTSTB pour avoir les estimations standardisés des coefficients estimés par RIDGE ou IPC;

OUTSEB pour avoir les erreurs standardisées des coefficients ;

OUTVIF pour avoir les Variance Inflation Factor des coefficients.

## Dessin « Ridge Trace »

Le dessin des coefficients Ridge en fonction des valeurs du paramètre (définies par l'option RIDGE = liste) est obtenu par l'instruction `PLOT` avec l'option `RIDGEPLOT`, à condition que les coefficients soient stockés dans une table par l'option `OUTEST`. On écrit alors simplement l'instruction :

`PLOT / RIDGEPLOT;`
## Mode d'emploi très succinct de SAS/INSIGHT

Le module de SAS/Insight est à la fois un tableur un grapheur et un analyseur. Il permet de faire de l'Analyse Exploratoire des Données et de l'analyse confirmatoire dans l'esprit de TUKEY. Il est particulièrement bien adapté à la régression linéaire couplée à l'AED, grâce à ses possibilités de visualisation et d'interactivité.

<table><caption>Tableau des Grandes Fonctions de SAS/INSIGHT</caption><thead><tr><th colspan="2">Analyse Exploratoire</th><th rowspan="2">Analyse confirmatoire</th></tr><tr><th>Techniques</th><th>Méthodes</th></tr></thead><tbody><tr><td><strong>Visualisation</strong><br>graphiques 1D, 2D, 3D</td><td><strong>Analyse des distributions</strong><br>- paramétrique<br>- non paramétrique<br>- QQ plots</td><td><strong>Ajustement par modèles</strong><br>Régression linéaire,<br>Analyse de<br>- variance,<br>- covariance</td></tr><tr><td><strong>Exploration des données</strong><br>Rechercher, trier et éditer<br>Identifier / données<br>Brosser (Brushing et Slicing)<br>Colorier, Marquer / critère<br>Supprimer, cacher, exclure des calculs<br>Animation etc.</td><td><strong>Analyse Composantes Principales</strong><br>Rotation axes<br><br><strong>Analyse Canonique des Corrélations</strong><br><br><strong>Analyse Discriminante</strong></td><td>GLM (MLG)<br>Rég. Logistique<br>Logit Probit</td></tr><tr><td><strong>Ré-expression des données</strong></td><td colspan="2">Plus de 20 fonctions mathématiques ou statistiques</td></tr></tbody></table>

Nous ne présentons que quelques manipulations essentielles de SAS/INSIGHT. Pour une présentation plus complète voir l'ouvrage de DESTANDAU S. & LE GUEN M.

## Le lancement de SAS/INSIGHT

→ dans la barre de commande de SAS, taper : **INSIGHT** puis **entrée**

<figure><img src="image_81.png" /></figure>

1. Si la table de données n'existe pas encore
Dans la boîte de dialogue, cliquer sur le bouton-poussoir **New**
<figure><img src="image_82.png" /></figure>

## Boîte de dialogue de SAS/INSIGHT

Un tableau de données vide s'ouvre. Saisissez vos données.

<figure><img src="image_83.png" /></figure>

### 2. Si la table existe

Dans la boîte de dialogue sélectionner la bibliothèque : « Library » et la table SAS « Data set », et cliquer sur le bouton Open.

Affichage de la table SAS dans un tableur (cf. ci-dessous écran à gauche) et menu déroulant (cf. écran à droite).

<figure><img src="image_84.png" /></figure>

<figure><img src="image_85.png" /></figure>

La Table TAILPOID a 3 variables et 20 observations indiqué par un flèche en haut à gauche le menu déroulant-pop menu ou encore menu contextuel- s'affiche avec les actions possibles sur le tableur.

<figure><img src="image_86.png" /></figure>

## Rôle statistique des variables dans SAS/INSIGHT

Dans SAS/INSIGHT toute variable SAS définit en caractère est forcément une variable nominale. Par défaut une variable numérique n'est pas nominale, elle est d'intervalle. C'est à l'utilisateur de choisir le type d'échelles de mesures (Interval/Nominal) souhaité, en cliquant et cochant la zone au dessus du nom de la variable
<figure><img src="image_87.png" /></figure>

Ce rôle statistique déterminera les types de graphiques à 1 dimension, 2 dimensions ou 3 dimensions et les types d'analyses.

## Menu principal de SAS/INSIGHT

<figure><img src="image_88.png" /></figure>

## Graphiques standard en SAS/INSIGHT

* Graphiques pour les variable nominales : Bar Chart (1D), Mosaic Plot (1D)

* Graphiques pour les variables d'intervalle : Histogram (1D), Box Plot (1D), Line Plot(2D), Scatter Plot (2D), Contour Plot (3D), Rotating Plot (3D).

Pour réaliser un graphique il y a 2 possibilités : en utilisant les options par défaut, ou en passant par une boîte de dialogue pour modifier les options par défaut.
C'est un principe général dans SAS/INSIGHT.

### Choix 1 – avec options par défaut

Dans le tableur :

→ Cliquer sur le nom de la variable d'intervalle Y

→ menu : Analyze# Box Plot/Mosaic Plot(Y)

L'affichage est immédiat avec les options par défaut.
<figure><img src="image_89.png" /></figure>

Sur le graphique, en cliquant sur la flèche en bas à gauche un menu déroulant s'affiche pour modifier les options. Par exemple, ajouter la moyenne avec **Means**, ajouter les valeurs des quantiles avec **Values** etc.

### Choix 2 – avec options modifiables

→ menu : Analyze# Box Plot/Mosaic Plot(Y)

<figure><img src="image_90.png" /></figure>

Dans la boîte de dialogue qui s'affiche sélectionner la variable Y (dans la liste à gauche) puis cliquer sur le bouton-poussoir Y, pour que la variable choisie Y soit sélectionnée. Les boutons poussoirs **Method** et **Output** permettent de modifier les options par défaut.
Pour plus d'information sur les graphiques voir les articles en ligne sur les sites internet donnés en fin de cette annexe (page 354)

Les Analyses Statistiques avec SAS/INSIGHT

→ menu : Analyze # Distribution

Etude d'une distribution (équivalent à Proc Univariate)

→ menu : Analyze # Fit → Analyse de régression linéaire, GLM, Régression logistique, Probit, Logit, ANOVA

→ menu : Analyze # Multivariate → Analyse en Composantes Principales, Analyse canonique, Analyse discriminante.

Même principe que pour les graphiques :

- Soit on sélectionne la ou les variables puis le menu Analyze #..... Les analyses sont réalisées avec les options par défaut,

- Soit on choisit le menu Analyze #...., une boîte de dialogue s'affiche pour sélectionner la ou les variables, et choisir les nouvelles options.

Exemple de Régression linéaire sur la Table SAS : Chenille (processionnaire du pin du §2.3.1.)

<figure><img src="image_91.png" /></figure>
→ Sélectionner dans la liste de gauche la variable Réponse (Log) puis cliquer sur le bouton de rôle Y, idem pour les variables régresseurs (X4,X2,X4,X5), en cliquant sur le bouton de rôle X. Si on veut la constante 1 ($β_0$) dans le modèle, cocher **Intercept**.

→ Cliquer sur le bouton pousoir Method :

<figure><img src="image_92.png" /></figure>

Pour la régression linéaire les options à cocher sont :

* **Response Dist** : Normal

* **Link Function** : Canonical

* **Scale** : MLE

## Impression et Sauvegarde

Nous présentons seulement quelques possibilités, pour imprimer un ou des éléments affichés, puis les sauvegarder dans un fichier externe, et enfin les insérer dans un document Word.

### Pour imprimer

→ Sélectionner avec la souris, le graphique ou le tableau à imprimer, ou choisir Menu : **Edit# Windows # Select all** pour sélectionner tous les éléments affichés

→ **File # Print**

### Pour sauvegarder les résultats graphiques ou tableaux dans un fichier

→ Sélectionner avec la souris la bordure du graphique ou le tableau à sauvegarder, ou choisir

Menu : **Edit# Windows # Select all** pour sélectionner tous les éléments affichés

→ **File # save # Graphics File...**

puis renseigner la boîte de dialogue en choisissant par exemple le format .bmp et en suffixant le nom du fichier par .bmp (SAS ne le fait pas).

<figure><img src="image_93.png" /></figure>
Le fichier sera sauvegardé dans le répertoire courant qui est affiché en bas de l'écran de SAS

<figure><img src="image_94.png" /></figure>

Pour modifier l'emplacement, il suffit de double cliquer dessus et de changer le répertoire (fenêtre *Change Folder*).

Pour insérer un fichier externe .bmp dans Word

Dans un document Word : → **insertion # image # à partir d'un fichier.....**
Pour plus d'information sur les graphiques

Consulter les articles en ligne sur les sites internet :

DESTANDAU S., LADIRAY D., M. LE GUEN, (1999), « AED mode d'emploi », Courrier des Statistiques, INSEE, n° 90, http://www.insee.fr/fr/ffc/docs_ffc/cs90e.pdf

LE GUEN M. (2001), La boîte à moustaches de Tukey, un outil pour initier à la Statistique, Statistiquement Vôtre, n° 4, 14 pages. http://matisse.univ-paris1.fr/leguen/leguen2001b.pdf

LE GUEN M. (2004), « L'Analyse Exploratoire des Données et SAS/Insight, Visualisation Dynamiques des Données », Cahiers de la Maison des Sciences Economiques, Matisse, Série rouge, n°2004.01, 13 pages, ftp://mse.univ-paris1.fr/pub/mse/cahiers2004/R04001.pdf

CONFAIS J. & LE GUEN M., (2003), Graphiques conventionnels et Graphiques moins conventionnels. Importance de la visualisation Interactive, Document de travail ISUP-MATISSE, n°2003, 21 pages. http://matisse.univ-paris1.fr/doc2/leguen1490.pdf
## Statistiques relatives à l'analyse de la variance

<table><thead><tr><th>Statistique</th><th>Formule</th><th>Signification</th></tr></thead><tbody><tr><td>Mean Square</td><td>MS = <sup>SS</sup>&frasl;<sub>DF</sub></td><td>C'est le rapport d'une somme des carrés des écarts (SS) divisée par le nombre de degrés de liberté (DF).<ul><li>pour SS model DF=p</li><li>pour SS error DF=n-p-1</li></ul>La statistique Mean Square Error donne l'estimation s<sup>2</sup> de la vraie valeur inconnue de la variance des erreurs σ<sup>2</sup>.</td></tr><tr><td>F Value</td><td>F = <sup>MS Model</sup>&frasl;<sub>MS Error</sub></td><td>Statistique de Fisher-Snedecor pour tester si tous les paramètres β sont nuls.</td></tr><tr><td>Prob&gt;F</td><td>Probf(F Value, ndf, ddf)</td><td>C'est la p-value ou niveau de significativité du test, associée à F Value. La p-value est calculée en utilisant la fonction SAS : Probf.<br>Probf : fonction SAS de la fonction de répartition d'une variable de Fisher-Snedecor<br>ndf : nombre de degrés de liberté du numérateur de F Value<br>ddf : nombre de degrés de liberté du dénominateur de F Value.</td></tr><tr><td>Root MSE</td><td>√MS Error</td><td>Standard Deviation, soit l'écart moyen résiduel.<br>C'est l'estimation de "s", l'écart-type des erreurs</td></tr><tr><td>R-square</td><td>R<sup>2</sup> = <sup>SS Model</sup>&frasl;<sub>SS Total</sub> = <sup>SS Total - SS Error</sup>&frasl;<sub>SS total</sub></td><td>F et Rsquare (R<sup>2</sup>) sont liés par la relation<br>F = <sup>n-p-1</sup>&frasl;<sub>p</sub> * <sup>Rsquare</sup>&frasl;<sub>1-Rsquare</sub></td></tr><tr><td>Dep Mean</td><td>Y&#773; = ∑<sub>i=1,n</sub> Y<sub>i</sub> / n</td><td>moyenne de la variable réponse Y</td></tr></tbody></table>
<table><thead><tr><td>Statistique</td><td>Formule</td><td>Signification</td></tr></thead><tbody><tr><td>Adj R-sq</td><td>1 - ((n - intercept) (1 - R<sup>2</sup>)) / (n - p)</td><td>R<sup>2</sup> ajusté en fonction du nombre de régresseurs du modèle. Intercept=0 s'il n'y a pas de constante<sup>29</sup> sinon intercept =1.</td></tr><tr><td>CV</td><td>= Root MSE / Dep Mean * 100</td><td>Coefficient de variation exprimé en %</td></tr></tbody></table>

## Statistiques sur les paramètres

Pour chaque paramètre $\beta_j$, SAS donne : l'estimation du paramètre avec son erreur-type, le test de l'hypothèse nulle ($\beta_i = 0$) et la *p-value* associée.

**Remarque** : La variable notée Intercept correspond à la variable constante $X_0 = 1$.

<table><thead><tr><td>Statistique</td><td>Formule</td><td>Signification</td></tr></thead><tbody><tr><td>Estimate</td><td>solution de : (X'X) * b = (X'Y)</td><td>estimation du paramètre β<sub>j</sub></td></tr><tr><td>Standard Error</td><td>√(X'X)<sub>ii</sub><sup>-1</sup> MSE</td><td>erreur-type de l'estimateur du paramètre β<sub>j</sub> calculé à partir du j<sup>ième</sup> élément de la diagonale de la matrice (X'X)<sup>-1</sup></td></tr><tr><td>T for H<sub>0</sub> : Parameter=0</td><td>T = Estimate / Std Error of Estimate</td><td>statistique T de Student pour tester l'hypothèse nulle:<br>H<sub>0</sub> : paramètre β<sub>j</sub> =0 contre<br>H<sub>a</sub> : paramètre β<sub>j</sub> ≠0<br>Remarque<br>T<sup>2</sup> = Fvalue partiel</td></tr><tr><td>Prob > !T!</td><td>Probt(T,df)</td><td>C'est la p-value ou niveau de significativité du test de Student.<br>La p-value est calculée en utilisant la fonction SAS : Probt.<br>Probt : fonction SAS de la fonction de répartition d'une variable de Student à df (Degree of Freedom) degrés de liberté.</td></tr></tbody></table>

<footnote n="29"><sup>29</sup> S'il n'y a pas de constante $b_0$ à l'origine, les statistiques relatives à l'analyse de la variance n'ont pas la même interprétation.</footnote>
# Annexe 4

## Relations entre la loi normale et les statistiques de lois

### Chi2, T de Student et F de Fisher-Snedecor

**Normale** si $X \sim N(0,1)$

**Chi2** alors $Z = X^2$ suit une loi de $\chi^2$ à 1 degré de liberté (ddl)
et $Z = \sum_{i=1,n} X_i^2$ suit un $\chi^2$ à n ddl, si les $X_i$ sont **indépendants** et
$N(0,1)$

### T de Student à n ddl

Si Z suit une loi de $\chi^2$ à n ddl et si Z est indépendant de X

alors $T = \frac{X}{\sqrt{\frac{Z}{n}}}^2$ suit une loi de Student à n ddl.

### F de Fisher-Snedecor

Si $Z_1$ et $Z_2$ sont des variables aléatoires **indépendantes** suivant chacune une loi de $\chi^2$ à $v_1$ et $v_2$ ddl

alors $F = \frac{\frac{Z_1}{v_1}}{\frac{Z_2}{v_2}}$ suit une loi de Fisher-Snedecor à $(v_1, v_2)$ ddl.
# Annexe 5

## Construction d'un QQ-Plot

Ce graphique permet une visualisation de l'adéquation à une loi. Dans le cas de la loi normale, il est appelé « droite de Henry »

### Principe de la droite de Henry

**1. Soit une variable X dont on veut vérifier l'adéquation à une loi normale (m,σ)**

On dispose de n observations de X : (x_i) pour i = 1 à n.

On note $F(x_i)$ la fonction de répartition empirique en (x_i) :

$$F(x_i) = \text{prob}(X \le x_i) = \text{prob}\left(\frac{X - m}{\sigma} \le \frac{x_i - m}{\sigma}\right)$$

Soit $\phi$ la fonction de répartition de la loi normale (0,1) : on peut trouver une valeur u_i de même fonction de répartition : $\exists u_i$ tel que $\phi(u_i) = F(x_i) \Leftrightarrow u_i = \phi^{-1}(F(x_i))$.

**2. Si X suit une loi normale (m,σ) alors :**

$$ 
\begin{align*}
F(x_i) &= \text{prob}(X \le x_i) = \text{prob}\left(\frac{X - m}{\sigma} \le \frac{x_i - m}{\sigma}\right) = \phi\left(\frac{x_i - m}{\sigma}\right) \\
\Rightarrow u_i &= \phi^{-1}(F(x_i)) = \phi^{-1}\left(\phi\left(\frac{x_i - m}{\sigma}\right)\right) = \frac{x_i - m}{\sigma}
\end{align*}
$$

Donc les points $(x_i, u_i)$ sont alignés sur la droite d'équation $u_i = (x_i - m) / \sigma$.

**3. En pratique, on ordonne les valeurs x_i : on note x_{(i)} les valeurs ordonnées.**

Bien sûr, on a alors $F(x_{(i)}) = i/n$.

Le « nuage de points » à représenter est donc défini ainsi : $[u_i = \phi^{-1}(i/n) ; x_{(i)}]$

**Attention** : pour faire les mêmes représentations que SAS, on mettra les valeurs de X en ordonnées.
La droite d'équation Y = (X-m)/σ est celle dont les points du nuage doivent se rapprocher en cas d'adéquation à la loi normale : on la représente donc également sur le même plan.

**Remarque** : Proc UNIVARIATE du module SAS/Base, ainsi que le menu « Distribution » de SAS-INSIGHT, utilise un calcul légèrement différent de celui exposé ici :

On cherche $u_i = \phi^{-1}\left(\frac{r_i - \frac{3}{8}}{n + \frac{1}{4}}\right)$ où $r_i$ est le rang de l'observation i ($r_i$ = i en général).

Ceci permet en particulier de ne pas « perdre » les points extrêmes.

## Généralisation

Si on veut visualiser l'adéquation à une autre loi que la loi normale, il suffit de connaître la fonction de répartition G de cette loi, et que celle-ci soit inversible.

On remplace alors $\phi$ par G dans les formules du §2.

## QQ-Plot avec SAS

SAS permet de représenter des QQ-Plot pour les lois suivantes :

**Normale, LogNormale, Exponentielle et Weibull.**

Dans le module SAS/Base, la procédure UNIVARIATE possède une instruction QQPLOT (voir la documentation SAS pour son utilisation un peu complexe).

Dans SAS/INSIGHT, on les trouve dans le menu « Distribution », rubrique « Graphs » → « QQ-Plot ». Pour tracer la droite de référence, dans le menu « Curves » demander « QQ ref line ».

Lorsque l'on a exécuté une régression linéaire avec le menu « Fit », on peut ajouter aux sorties standards un graphique QQ-Plot appelé « Residual Normal QQ » dans le menu « Graphs » (penser à cocher « Reference lines » dans le menu contextuel du graphique pour tracer la droite).
Bibliographie

AKAIKE, H., (1969), « Fitting Autoregressive Models for Prediction », *Annals of the Institute of Statistical Mathematics*, 21, 243 - 247.

ARMATTE M., (1995), *Histoire du modèle linéaire, Formes et Usages en Statistique et Econométrie jusqu'en 1945*, Thèse de Doctorat, EPHE le 24/01/1995

ANSCOMBE F., « Graphs in Statistical Analysis », *The American Statistician*, February 1973, vol.27, n°1, p17-21.

BEHAGHEL L., (2006), *Lire l'économétrie*, Collection Repères, Editions La Découverte.

BELSLEY D.A., KUH E., WELSH R.E., (1980), *Regression diagnostics*, Wiley.

BENZECRI J.P., BENZECRI F., (1989), « Calculs de corrélation entre variables et juxtaposition de tableaux », *Les cahiers de l'analyse de données*, 1989, n° 3, pp347-354.

BRENOT J., CAZES P., LACOURLY N., (1975) « Pratique de la régression : Qualité et protection », *Cahiers du BURO* n° 23, pp 1-81.

CAZES P., (1975), « Protection de la régression par utilisation de contraintes linéaires et non linéaires », *Revue de statistique appliquée*, volume XXIII, numéro 3.

CAZES P., (1976), « Régression par boule et par l'Analyse des Correspondances », *Revue de statistique appliquée*, Vol XXIV n°4, pp5-22.

CHATTERJEE S., HADI A. S., (1988), *Sensitivity analysis in linear regression*, Wiley.

CHOW, G.C., (1960), « Tests of Equality between Sets of Coefficients in Two Linear Regressions », *Econometrica*, 28, 591-605.

CLEVELAND W. S., (1979), « Robust Locally Weighted Regression and Smoothing Scatterplots », *Journal of the American Statistical Association*, Vol. 74, pp. 829-836.

CLEVELAND W. S., (1993), *Visualizing Data*, Hobart Press, Summit, New Jersey, USA 1993.

CLEVELAND W. S., (1994), *The Elements of Graphing Data*, Hobart Press, Summit, New Jersey, USA 1994.

CONFAIS J., LE GUEN M., (2003), « La régression linéaire sous SAS », *Document de travail n°F9605 de la Direction des Statistiques Démographiques et Sociales de l'INSEE*

CONFAIS J., LE GUEN M., (2003), « Graphiques conventionnels et Graphiques moins conventionnels. Importance de la visualisation Interactive », *Document de travail ISUP-MATISSE*, n°2003, 21 pages.

http://matisse.univ-paris1.fr/doc2/leguen1490.pdf
COOK R.D., WEISBERG S., (1994), *An Introduction to Regression Graphics*, Wiley Series in Probability and Statistics.

DESJARDINS D., (1998), « Outliers, Inliers, and Just Plain Liars—New Graphical EDA + (EDA Plus) Techniques for Understanding Data », SUGI 26, SAS.
http://www2.sas.com/proceedings/sugi26/p169-26.pdf

DESTANDAU S., LE GUEN M., (1995), *Analyse exploratoire des données avec SAS/INSIGHT*, INSEE GUIDES N°7-8.

DANIEL, C., WOOD, F., (1980), *Fitting Equations to Data*, Revised Edition, New York: John Wiley & Sons, Inc.

DESROSIÈRES A., (1993), *La politique des grands nombres, histoire de la raison statistique*, Editions la Découverte

DESTANDAU S., LADIRAY D., M. LE GUEN, (1999), « AED mode d'emploi », *Courrier des Statistiques*, INSEE, n° 90, http://www.insee.fr/fr/ffc/docs_ffc/cs90e.pdf

DRAPER N.R., SMITH H., (1966), *Applied regression analysis*, Wiley.

ERICKSON B.H. & NOSANCHUK T.A., (1995-2^d^ édition), *Understanding Data*, Open Université Press, 381 pages.

ERKEL-ROUSSE H., (1990), «Détection et effets de la multicolinéarité dans les modèles linéaires ordinaires », *Document de travail n° 9002 du département des études économiques d'ensemble de l'INSEE*.

ERKEL-ROUSSE H., (1995), « Détection de la multicolinéarité dans un modèle linéaire ordinaire: quelques éléments pour un usage averti des indicateurs de BELSEY, KUH ET WELS », *Revue Statistiques Appliquées*, volume XLIII, numéro 4.

FOUCART F., (2006), « Colinéarité et régression linéaire », *Math. & Sciences. Humaines*, ~ *Mathematics and Social Sciences*, 44e année, n° 173, 2006(1), p. 5-25.
http://www.ehess.fr/revue-msh/pdf/N173R963.pdf

FOUCART F., (2007) « Evaluation de la régression bornée » en cours de publication dans la *Revue des Nouvelles Technologies de l'Information*. Article consultable sur le site :
http://foucart.thierry.free.fr/colreglin/Regression_bornee.pdf

FREUND R.J., LITTELL R.C., (1991), *SAS System for regression, 2^nd^ edition*, SAS-Editor.

GALTON F., (1886), «Regression towards mediocrity in hereditary stature», *Journal of the Anthropological Institute* 15 (1886), p246-263.
http://www.stat.ucla.edu/history/regression.gif

Greene W., (2005), *L'Econométrie*, Pearson Education », 5ème Edition

HOERL A.E., KENNARD R.W., (1970), « Ridge Regression: (1) biased estimation for non-orthogonal problems ; (2) applications to non-orthogonal problems», *Technometrics*, 12, pp. 55-67; pp. 68-82.
INDJEHAGOPIAN J.P., (1993), *Cours d'économétrie*, Polycopié ISUP.

LADIRAY D., (1990), « Autopsie d'un résultat : L'exemple des procédures Forecast, X11, Cluster », *Club SAS 1990*

LADIRAY D., (1997 et suivantes), *Analyse exploratoire des données*, Cours polycopié de l'ENSAE.

LE GUEN M., (2001), « La boîte à moustaches de TUKEY, un outil pour initier à la statistique », *Statistiquement Vôtre*, n° 4, 14 pages.
[http://matisse.univ-paris1.fr/leguen/leguen2001b.pdf](http://matisse.univ-paris1.fr/leguen/leguen2001b.pdf)

LE GUEN M., (2004), « L'analyse exploratoire des données et SAS/Insight. Visualisation dynamique des données », *Cahiers de la Maison des sciences économiques, Matisse, Série rouge*, n°2004.01, 13 pages,
[ftp://mse.univ-paris1.fr/pub/mse/cahiers2004/R04001.pdf](ftp://mse.univ-paris1.fr/pub/mse/cahiers2004/R04001.pdf)

MALINVAUD E., (1966), *Méthodes statistiques de l'économétrie*, Dunod

MOLES A., (1990), *Les sciences de l'imprécis*, Le Seuil

NETER J., WASSERMAN W., KUTNER M. H., (1990), *Applied Linear Statistical Models*, Irwin
3e édition

PALM R., IEMMA A.F., (1995), « Quelques alternatives à la régression classique dans le cas de la colinéarité », *Revue Statistiques Appliquées*, volume XLIII, numéro 2.

ROUSSEEUW P.J., LEROY A.M., (2003 -2e edition), *Robust regression and outlier detection*,
Wiley.

SAPORTA G., (2006), *Probabilités, analyse des données et statistique*, Technip.

S.A.S, (1981), Technical Report A102, *SAS Regression Applications*

S.A.S, (1990), *Stat User's Guide version 6*

S.A.S, (1991), FREUND R.J., LITTELL R.C., *SAS System for regression*, (2ème édition)

SAUTORY O., (1995), *La Statistique Descriptive avec le Système SAS*, INSEE GUIDES numéros 1-2.

SAWA, T., (1978), «Information Criteria for Discriminating Among Alternative Regression Models», *Econometrica*, 46, 1273 - 1282.

SAVILLE J.D., WOOD G. R., (1990), *Statistical Methods: The Geometric Approach*, Springer-Verlag

SEN A., SRIVASTAVA M., (1990), *Regression Analysis, Theory, Methods, and Applications*, Springer-Verlag
STIGLER S. M., (1986), *The history of Statistics, The measurement of uncertainty before 1900*, The Belknap Press of Harvard University Press.

TENENHAUS M., (1994), *Méthodes statistiques en gestion*, Dunod-Entreprise.

TENENHAUS M., (1998), *La régression PLS : Théorie et pratique*, Editions Technip.

TENENHAUS M., GAUCHI J. P., MENARDO C., (1995) «Régression PLS et applications», R.S.A., volume XLIII, numéro 1.

TIBSHIRANI R., (1996), «Regression shrinkage and selection via the lasso», *J. Royal. Statist. Soc B.*, Vol. 58, No. 1, pages 267-288,
http://www-stat.stanford.edu/~tibs/lasso/lasso.pdf

TOMASSONE R., ANDRAIN S., LESQUOY E., MILLIER C., (1992), *La Régression Nouveaux regards sur une ancienne méthode statistique*, INRA-Masson, 2ᵉ édition.

TOMASSONE R., DERVIN C., MASSON J. P., (1993), *Biométrie, modélisation de phénomènes biologiques*, Masson.

TUKEY J.W., (1977), *Exploratory Data Analysis*, Addison Wesley Publishing Company, Reading, Massachusetts.

WHITE H., (1980), *Econometrics*, volume 48, pages 817-838

WOOLDRIDGE J.M., (2000), *Introductory Econometrics: A Modern Approach*, South Western

WONNACOTT T.H., WONNACOTT R.J., (1991), *Statistique*, 4ᵉ édition, Economica.

YU CH. H0, animation sur le problème des multicolinéarités, http://www.creative-wisdom.com/multimedia/collinear.html, puis cliquer sur PC Version (17 megas) pour décharger la vidéo.