# Modèles à effets fixes, à effets aléatoires, modèles mixtes ou multi-niveaux : propriétés et mises en œuvre des modélisations de l'hétérogénéité dans le cas de données groupées

Laurent Davezies

<figure><img src="image_1.png" /></figure>

To cite this version:

Laurent Davezies. Modèles à effets fixes, à effets aléatoires, modèles mixtes ou multi-niveaux : propriétés et mises en œuvre des modélisations de l'hétérogénéité dans le cas de données groupées. 2011. hal-05483941

HAL Id: hal-05483941

https://insee.hal.science/hal-05483941v1

Preprint submitted on 29 Jan 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
Direction des Études et Synthèses Économiques

G 2011 / 03

Modèles à effets fixes, à effets aléatoires, modèles mixtes ou multi-niveaux : propriétés et mises en œuvre des modélisations de l'hétérogénéité dans le cas de données groupées

Laurent DAVEZIES

Document de travail

<figure><img src="image_3.png" /></figure>

Institut National de la Statistique et des Études Économiques
INSTITUT NATIONAL DE LA STATISTIQUE ET DES ÉTUDES ÉCONOMIQUES

Série des documents de travail
de la Direction des Études et Synthèses Économiques

G 2011 / 03

Modèles à effets fixes, à effets aléatoires,
modèles mixtes ou multi-niveaux :
propriétés et mises en œuvre des modélisations
de l'hétérogénéité dans le cas de données groupées

Laurent DAVEZIES *

JANVIER 2011

Je remercie mes anciens collègues de la Direction de l'évaluation, de la prospective et de la performance au Ministère de l'éducation nationale, qui, par leurs interrogations récurrentes, ont contribué à initier et améliorer la rédaction de ce document.

Je remercie également Romain AEBERHARDT, Cédric AFSA, Magali BEFFY, Chantal BRUTEL, Nila CECI-RENAUD, Vincent COTTET, Pauline GIVORD et Fabienne ROSENWALD pour leurs encouragements.

<footnote>* Faisait partie du Département des Études Économiques d'Ensemble - Division « Redistribution et Politiques Sociales » au moment de la rédaction de ce document.</footnote>
Modèles à effets fixes, à effets aléatoires,
modèles mixtes ou multi-niveaux :
propriétés et mises en œuvre des modélisations
de l'hétérogénéité dans le cas de données groupées

Résumé

Ce document présente et discute les modélisations possibles de l'hétérogénéité sur données individuelles pouvant faire l'objet de regroupements, par exemple des données de résultats scolaires pour des élèves regroupés par classes ou par établissements. Sans aborder l'ensemble des modélisations possibles, il s'agit essentiellement de discuter, dans le cadre d'un modèle linéaire, de la pertinence d'une modélisation à effets fixes ou à effets aléatoires en fonction de la problématique traitée, et des constatations empiriques issues des données traitées. Les hypothèses statistiques des modèles sont discutées ainsi que les propriétés des estimateurs qui en découlent. Pour chacun des modèles, des exemples de programmes SAS sont présentés. Les tests d'Hausman et l'usage que l'empiriste peut en faire pour asseoir son choix de modélisation sont exposés. Au-delà du modèle linéaire, les modèles concernant les variables binaires sont présentés dans un dernier chapitre.

**Mots-clés** : effets fixes, effets aléatoires, test d'Hausman, modèle multiniveaux, modèle mixte

Fixed effects models, random effects models,
mixed models or multilevel models :
properties and implementation of modeling
of the heterogeneity in presence of clustered data

Abstract

This document presents the different ways to model heterogeneity in case of clustering, such pupils achievement in classroom or schools. In the linear framework, it essentially discusses the pertinence of fixed or random effects assumptions depending upon the goal pursued and the empirical evidence displayed by data. Statistical assumptions of the different models are introduced and successively discussed, as well as the properties of the estimators that are derived. For each model, SAS code is provided. Hausman tests, and their use to choose models, are explained. Beyond the linear framework, binary models are presented in the last chapter.

**Keywords:** fixed effect, random effect, Hausman test, multilevel model, mixed model
# Table des matières

## 1 Introduction 5

1.1 La problématique : l'exemple des données scolaires 5

1.2 Organisation du document 6

## 2 Rappels d'économétrie linéaire 9

2.1 Qu'est ce qu'un modèle linéaire? 9

2.2 Le cadre 9

2.3 Définition, conditions d'existence et d'unicité de l'estimateur des Moindres Carrés Ordinaires (MCO). 10

2.4 Quand l'estimateur des MCO est-il sans biais? 12

2.5 Quelle est la précision de l'estimateur des MCO? 14

2.6 Comment estimer la précision de l'estimateur des MCO? 16

2.7 L'estimateur des moindres carrés ordinaires est-il convergent? 17

2.8 Quelle est la loi asymptotique de l'estimateur? 18

2.9 Quelle est la loi à distance finie de l'estimateur si les résidus sont normaux? 20

2.10 Comparaison avec l'estimateur du Maximum de Vraisemblance (MV). 23

2.11 Programmation sous SAS 24

## 3 Le modèle à effets fixes 25

3.1 Le modèle théorique 25

3.1.1 Le modèle théorique de base 25

3.2 Identification et définition de l'estimateur 26

3.2.1 Identification du modèle 26

3.2.2 Définition de l'estimateur des Moindres Carrés Contraints (MCC) 28

3.2.3 Remarque sur le multiplicateur de Lagrange dans l'estimation directe 28

3.3 Estimation par projection sur la dimension intra-classe 30

3.3.1 Le théorème de Frisch-Waugh 30

3.3.2 Le théorème de Frisch-Waugh appliqué au modèle à effets fixes 31

3.4 Propriétés de l'estimateur des MCC 33

3.4.1 L'estimateur est-il sans biais? 33

3.4.2 Quelle est la précision de l'estimateur? 34

3.4.3 Comment estimer la précision de l'estimateur? 37

3.4.4 L'estimateur est-il convergent? 38

3.4.5 Quelles sont les propriétés asymptotiques de l'estimateur? 39

3.4.6 Quelle est la loi à distance finie de l'estimateur si les résidus sont normaux? 41

3.4.7 Estimation de l'intervalle de confiance des estimateurs dans l'estimation en deux étapes 43

3.5 La prise en compte des variables constantes au sein des classes 43

3.6 Programmation sous SAS... 44

3.6.1 ... par l'estimateur "Within" 44

3.6.2 ... ou directement grâce à la proc reg 50
# Chapitre 1

# Introduction

Ce document présente les principales méthodes dont dispose l'économètre pour modéliser l'hé-
térogénéité entre unités micro-économiques, lorsque ces unités micro-économiques appartiennent
à des groupements. On parle parfois de modélisation "multiniveaux" pour qualifier les méthodes
économétriques applicables à ces données. Ce document peut donc être également vu comme in-
troduction à l'analyse multiniveaux.

## 1.1 La problématique : l'exemple des données scolaires

Les données groupées se rencontrent dans de nombreux domaines : les ménages constituent un regroupement de données individuelles dans certains fichiers d'enquête, des quartiers ou des zones géographiques constituent des regroupements de ménages ou d'individus, des entreprises sont des regroupements de salariés. Dans ce document, on se référera de manière systématique à un domaine particulier, celui de l'économie de l'éducation, dans lequel les données sur les élèves sont en général disponibles sous forme regroupée par classe ou par établissement, pour des raisons de coût de collecte<fnref n="1" />. La question-type que se posent les études en économie de l'éducation est de modéliser les comportements ou les performances des élèves. On cherche ainsi à rendre compte de leur hébergéénéité et à l'expliquer par leurs caractéristiques individuelles. Or, parmi ces caractéristiques individuelles, certaines sont partagées par les élèves d'une même classe (par exemple le fait d'être scolarisé en ZEP ou dans le privé, le fait que l'instituteur ou le professeur ait telle caractéristique etc.). Ne pas prendre en compte la classe ou l'établissement pour expliquer l'hétérogénéité des élèves peut conduire à deux types de problèmes : ceci peut conduire à des estimations biaisées, et dont la précision sera surestimée.

Expliquons brièvement l'origine de ces deux problèmes.

Le biais des estimations relève du "mécanisme de la variable omise". Imaginons que les résultats des élèves soient entièrement déterminés par deux facteurs : leur niveau initial et l'établissement fréquenté. Si l'établissement fréquenté n'est pas pris en compte dans l'analyse, comme le niveau initial et l'efficacité de l'établissement sont vraisemblablement corrélés, l'importance du niveau initial des élèves sera mal estimée. Ceci est illustré sur la figure 1.1 page 6. Sur cette figure les élèves de niveau initial plus élevé sont regroupés dans des classes ou des établissements plus performants. Une régression naïve qui ne prend pas ce facteur en compte tendra, dans ce cas, à surestimer l'impact du niveau initial sur le niveau final. Le problème est loin d'être neutre en terme de politiques publiques.

S'agissant de la surestimation de la précision des coefficients, elle se comprend bien sur le cas suivant. Imaginons que "toutes choses égales par ailleurs", les établissements privés soient moins performants que les établissements publics et que l'on estime cette efficacité sur un fichier de 200 classes, comprenant en tout 4 000 élèves. Dans le cas où la modélisation se fait en régressant le niveau des élèves sur leurs caractéristiques individuelles et sur une variable public/privé, l'ordre de

<footnote n="1">1. Dans le cas d'une enquête par sondage, même dans le cas où tous les élèves d'une classe ne sont pas interrogés, plusieurs élèves de la même classe sont généralement sollicités de manière à diminuer les coûts de collecte. Dans le cas de données issues de fichiers administratifs, les élèves d'une même classe sont généralement tous présents dans le fichier.</footnote>
<figure><img src="image_4.png" /><figcaption>FIGURE 1.1 – Régressions classe par classe et régression sans effets "classe"</figcaption></figure>

grandeur de l'écart-type du coefficient associé au secteur sera proportionnel à $\frac{1}{\sqrt{4000}}$. Or on comprend assez intuitivement que dans la mesure où les élèves sont répartis dans seulement 200 classes qui relèvent soit du public soit du privé, cet ordre de grandeur devrait plutôt être proportionnel à $\frac{1}{\sqrt{200}}$. La surestimation de précision est nette car tous les élèves d'une même classe sont scolarisés dans le même secteur, mais elle existe également pour des caractéristiques individuelles (comme les caractéristiques parentales) dans la mesure où ces variables individuelles sont corrélées avec la classe fréquentée.

## 1.2 Organisation du document

Ce document présente donc les méthodes disponibles pour éviter ces deux conséquences du regroupement des données individuelles. En continuant de se référer à l'exemple des données scolaires, il existe deux manières de prendre en compte un effet spécifique à la classe : soit en considérant que la classe est une variable explicative au même titre que les autres covariables (on neutralise alors les effets des variables observées et inobservées partagés par les élèves d'une même classe), soit en considérant que la classe introduit de la corrélation entre les résidus de chaque élève de la même classe (on prend en compte l'existence de variables inobservées constantes au sein de la classe dont la distribution n'est pas corrélée avec les covariables).

Ces modèles prenant en compte l'appartenance à la classe sont des modèles proches du modèle usuel de régression linéaire. Dans un premier chapitre, nous rappelons donc les propriétés du modèle linéaire, puis dans un deuxième et un troisième chapitres, nous étudions comment peut être adapté ce modèle pour prendre en compte l'appartenance à la classe. Deux grands types de modèles seront alors présentés : les modèles à effets fixes et les modèles à effets aléatoires. La programmation sous SAS est rapidement présentée en fin de chaque chapitre. Nous étudions également les liens qui existent entre modèles à effets fixes et modèles à effets aléatoires et comment des tests de sélection de modèles peuvent être mis en œuvre dans un quatrième et un cinquième chapitres. Enfin dans
un sixième chapitre, nous traitons des difficultés spécifiques pour étendre ces modèles au cas de variables qualitatives.

Le lecteur familier de l'économétrie des panels retrouvera nombre de résultats connus, les dimensions individuelles et temporelles d'un panel étant transposées en dimension inter-classe et intra-classe. Ce document n'a donc pas la prétention de constituer une innovation mais plutôt de fournir à un empiriste travaillant sur des données du type "élèves-classes", un aperçu des problèmes et des solutions qui l'attendent.

Par ailleurs, ce document peut être lu de différentes manières : l'ensemble des démonstrations a été fourni par souci d'exhaustivité mais leur lecture n'est pas nécessaire pour appliquer les résultats énoncés. Afin de faciliter une telle lecture sélective, les démonstrations sont systématiquement encadrées par les symboles ☐ et ■ en début et en fin de démonstration.

Pour conclure cette introduction, on indique que ce document ne traite pas le cas des modèles prenant en compte une hétérogénéité sur les rendements des variables explicatives. Cependant, les questions que l'empiriste doit se poser pour modéliser une telle hétérogénéité sont identiques à celles traitées dans les six chapitres de ce document. En particulier, l'arbitrage entre le risque d'endogénéité et la modélisation de l'hétérogénéité doit se faire suivant les mêmes critères que ceux discutés dans ce document. Ainsi, même si ce document n'a pas la prétention de traiter des modèles de régressions multiniveaux dans toute leur généralité, il peut être lu comme une introduction aux enjeux de modélisation dans les régressions multiniveaux.
Notations

<table>
  <tr>
    <td>n</td>
    <td>le nombre d'observations mobilisées pour les estimations</td>
  </tr>
  <tr>
    <td>i</td>
    <td>indice identifiant l'élève</td>
  </tr>
  <tr>
    <td>j</td>
    <td>indice identifiant la classe</td>
  </tr>
  <tr>
    <td>K</td>
    <td>le nombre de covariables utilisées (on ne compte pas la constante)</td>
  </tr>
  <tr>
    <td>C</td>
    <td>le nombre de classes différentes mobilisées pour les estimations</td>
  </tr>
  <tr>
    <td>n<sub>j</sub></td>
    <td>le nombre d'observation dans la classe j, n = &Sigma;<sup>C</sup><sub>j=1</sub> n<sub>j</sub></td>
  </tr>
  <tr>
    <td>y<sub>i</sub> ou y<sub>ij</sub></td>
    <td>la valeur de la variable dépendante pour l'élève i (dans la classe j)</td>
  </tr>
  <tr>
    <td>y</td>
    <td>le vecteur colonne de taille n formé en "empilant" les y<sub>i</sub>, i = 1, ..., n (ou les y<sub>i,j</sub>, i = 1, ..., n<sub>j</sub>, j = 1, ..., C)</td>
  </tr>
  <tr>
    <td>x<sub>k,i</sub> ou x<sub>k,i,j</sub></td>
    <td>la valeur de la k<sup>ieme</sup> covariable pour l'individu i (de la classe j)</td>
  </tr>
  <tr>
    <td>x<sub>k</sub></td>
    <td>le vecteur colonne de taille n formé en "empilant" les x<sub>k,i</sub>, i = 1, ..., n (ou les x<sub>k,i,j</sub>, i = 1, ..., n<sub>j</sub>, j = 1, ..., C)</td>
  </tr>
  <tr>
    <td>x<sub>0</sub></td>
    <td>le vecteur colonne de taille n dont toutes les composantes sont égales à 1</td>
  </tr>
  <tr>
    <td>X<sub>i</sub> ou X<sub>i,j</sub></td>
    <td>le vecteur ligne formé en "empilant" la constante et les x<sub>k,i</sub>, k = 1, ..., K (ou les x<sub>k,i,j</sub>, k = 1, ..., K)</td>
  </tr>
  <tr>
    <td>X</td>
    <td>la matrice de taille n &times; (K + 1) obtenue en concaténant les vecteurs x<sub>k</sub>, k = 0, 1, ..., K.</td>
  </tr>
  <tr>
    <td>&epsilon;<sub>i</sub></td>
    <td>hétérogénéité individuelle inobservée de l'individu i, réel inconnu propre à l'individu i</td>
  </tr>
  <tr>
    <td>&epsilon;</td>
    <td>hétérogénéité individuelle inobservée, vecteur inconnu obtenu en empilant les &epsilon;<sub>i</sub>, i = 1, ..., n</td>
  </tr>
  <tr>
    <td>||.||</td>
    <td>la norme euclidienne, pour un vecteur u de taille n, ||u|| = &radic;(&sum;<sup>n</sup><sub>i=1</sub> u<sub>i</sub><sup>2</sup>)</td>
  </tr>
  <tr>
    <td>U<sub>n</sub> &rarr; U</td>
    <td>la suite de variables aléatoires U<sub>n</sub> tend en probabilité vers U quand n tend vers +&infin; c'est à dire que pour tout réel a &gt; 0, P(|U<sub>n</sub> - U| &gt; a) tend vers 0 quand n tend vers +&infin;</td>
  </tr>
  <tr>
    <td>U<sub>n</sub> &rarr; U</td>
    <td>la suite de variables aléatoires U<sub>n</sub> tend en loi vers U quand n tend vers +&infin; c'est-à-dire que la fonction de répartition de U<sub>n</sub> converge simplement vers la fonction de répartition de U sur l'ensemble des points de continuité de la fonction de répartition de U : pour tout réel u tel que P(U &lt; u) = P(U &le; u) on a P(U<sub>n</sub> &le; u) qui tend vers P(U &le; u) quand n tend vers +&infin;</td>
  </tr>
</table>

Pour simplifier l'écriture, pour des propositions relatives à l'ensemble des individus, on utilisera souvent y, X, ϵ, x_k au lieu de y_i, X_i, ϵ_i, x_k_i.
# Chapitre 2

# Rappels d'économétrie linéaire

## 2.1 Qu'est ce qu'un modèle linéaire ?

Dans tout ce document, nous parlerons de modèle économétrique pour désigner le fait qu'une variable y (par exemple la note scolaire d'un enfant) est engendrée par des variables observées X (le sexe, l'âge, l'origine social de cet enfant...) et de variables inobservées $\varepsilon$ (par exemple, des évènements biographiques de cet enfant ou -sous réserve que cela ait un sens- ses "capacités cognitives"...), soit $y = f(X, \varepsilon)$. Le recours à une telle abstraction permet au chercheur en sciences sociales d'interpréter des co-variations entre la variable y et une variable x particulière, les autres variables X et $\varepsilon$ étant fixées. Estimer un tel modèle revient à déterminer la fonction f. Cela permet de décomposer des inégalités de manière descriptive, mais cela permet surtout de mesurer les rendements propres à chaque covariable. Dans un tel cadre, la covariation de y et d'une variable x "toutes choses (observées et inobservées) égales par ailleurs" définit l'impact causal de x sur y.

Cependant, l'empiriste ne peut raisonner que toutes choses observées égales par ailleurs. Pour pouvoir identifier et estimer f et donc les impacts causaux, il est obligé de faire des hypothèses sur les observées y, X et les inobservées $\varepsilon$ :

- analytiquement, sur la relation entre y, X et $\varepsilon$ : est-ce que $f(X, \varepsilon)$ est de la forme $g(X) + \varepsilon$ ?
de la forme $\varepsilon h(X)$ ? de la forme $\phi(\psi(X) + \varepsilon)$ ? Etc.

- et statistiquement, sur la distribution jointe de X et $\varepsilon$ : est-ce que les observées et les inobservées sont corrélées ? indépendantes ? Existe-t-il des covariables n'intervenant pas dans la fonction f, qui sont décorrélées des inobservées ? Etc.

La classe des modèles linéaires est l'ensemble des modèles tels que $f(X, \varepsilon) = X\beta + \varepsilon$. Les variables observées et inobservées se combinent de manière additive pour générer la variable y. Dans un tel cadre, déterminer f revient à déterminer le vecteur $\beta$.

## 2.2 Le cadre

On cherche par la suite à évaluer l'influence de différents facteurs sur une variable y continue. Le cas des variables dépendantes dichotomiques est traité dans le chapitre 6 de ce document. L'exemple type sur lequel nous appuierons cette présentation est celui où y est la note à un examen. Les facteurs pouvant influencer cette note sont multiples : il peut s'agir du sexe du candidat, de son passé scolaire, du capital culturel de ses parents, de leur capital économique, du type d'établissement fréquenté, etc. Ces facteurs étant corrélés les uns aux autres, il est nécessaire d'effectuer des analyses "toutes choses égales par ailleurs" pour évaluer l'impact relatif de chacun de ces facteurs. Ces facteurs peuvent être appréhendés au moyen de deux types de variables : des variables continues (par exemple le revenu des parents ou son logarithme, la taille de la classe fréquentée, ...), des variables indicatrices qui prennent des valeurs 0 ou 1 selon que l'événement considéré (être une fille, avoir un père cadre, avoir des parents gagnant entre 20 000 et 30 000 euros par an, etc.).
## Le modèle

On considère un vecteur de $n$ observations $\mathbf{y} = (y_1, y_2, ..., y_n)'$ dont on cherche à expliquer la variabilité par un jeu de $K$ covariables $\mathbf{x}_k = (x_{k,1}, x_{k,2}, ..., x_{k,n})'$ pour $k = 1, ..., K$. On note $\mathbf{X}$ la matrice des covariables de taille $n \times (K+1)$ obtenue en concaténant le vecteur constant de taille $n$ et les covariables $\mathbf{x}_k, k = 1, ..., K$. Le modèle linéaire consiste à se placer sous l'hypothèse suivante :

$$ \mathbf{y} = \mathbf{X}\beta + \epsilon $$

Le paramètre $\beta = (\beta_0, \beta_1, ..., \beta_K)'$ est un vecteur de taille $K+1$ inconnu. La composante $\beta_k, k = 1, ..., K$ représente une "covariance nette" entre $\mathbf{y}$ et $\mathbf{x}_k$ qui rend compte de la variabilité conjointe de $\mathbf{y}$ et de $\mathbf{x}_k$ pour des valeurs de $\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_{k-1}, \mathbf{x}_{k+1}, ..., \mathbf{x}_K$ données.

Le vecteur $\epsilon = (\epsilon_1, ..., \epsilon_n)'$ est un vecteur inconnu : il représente l'effet des variables inobservées. Il permet de rendre compte de la part de variabilité des $\mathbf{y}$ qui n'est pas liée aux variables $X$, on le désigne classiquement par **hétérogénéité inobservée**. Une autre désignation classique de ce vecteur est celle de vecteur des résidus. Pour l'instant, on ne postule aucune hypothèse sur la loi de ce vecteur $\epsilon$. Une des questions centrales de ce chapitre est d'expliciter quelles sont les hypothèses que doit vérifier l'hétérogénéité inobservée pour obtenir de "bonnes" propriétés pour un estimateur de $\beta$. Il s'agit donc en creux de clarifier quelles seront les propriétés qui seront perdues par l'estimateur lorsque l'hétérogénéité $\epsilon$ ne vérifiera plus certaines hypothèses usuelles.

Dans le cas où la variable $\mathbf{x}_k$ est continue, le coefficient $\beta_k$ s'interprète comme l'accroissement de $\mathbf{y}$ lorsque $\mathbf{x}_k$ croit d'une unité (à $\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_{k-1}, \mathbf{x}_{k+1}, ..., \mathbf{x}_K$ données). Dans le cas où la covariable est discrète, le coefficient $\beta_k$ s'interprète comme l'accroissement de $\mathbf{y}$ associé au fait d'être dans la situation décrite par la covariable contre le fait d'être dans la situation de référence.

## 2.3 Définition, conditions d'existence et d'unicité de l'estimateur des Moindres Carrés Ordinaires (MCO).

L'estimateur étudié dans ce premier chapitre existe de manière univoque sous la condition essentielle d'absence de colinéarité entre les covariables. L'existence d'une telle colinéarité signifie intuitivement que certaines covariables sont "redondantes". Dans un tel cas, il n'est pas surprenant que se pose un problème de définition des estimateurs puisque le modèle n'est pas identifiable : il est impossible de séparer les effets de covariables "redondantes".

### L'hypothèse de non-colinéarité des covariables

(H1) : La matrice $\mathbf{X}$ est de plein rang colonne (i.e. il n'existe pas de relation linéaire entre les variables $\mathbf{x}_k$, c'est-à-dire qu'il n'existe pas de vecteur $\lambda$ non nul tel que $\mathbf{X}\lambda = 0$).

**Remarque :** Si l'hypothèse (H1) n'est pas vérifiée le paramètre $\beta$ n'est pas identifiable : il existe $\beta' = \beta + \lambda \neq \beta$ tel que $\mathbf{X}\beta' = \mathbf{X}\beta$. Dans un tel cas, les données n'apportent aucune information pour choisir la "vraie" valeur de $\beta$.

### Estimateur des MCO

Sous les conditions (H1), l'estimateur des moindres carrés ordinaires défini par :

$$ \hat{\beta}_{MCO} = \operatorname{Argmin} \|\mathbf{y} - \mathbf{X}\beta\|^2 $$

existe et est unique. Son expression est alors :

$$ \hat{\beta}_{MCO} = (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'\mathbf{y} $$

**Remarque :** L'estimateur des moindres carrés ordinaires doit son nom au fait que $||\mathbf{y} - \mathbf{X}\beta||^2 = \sum_{i=1}^{n} \varepsilon_i^2$. Il correspond donc au $\beta$ qui minimise la somme des carrés des résidus.
Preuve :

<figure><img src="image_5.png" /></figure>

La condition nécessaire de minimisation du premier ordre (annulation du gradient) s'écrit :

$$-2\mathbf{X}'(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) = 0$$

La condition suffisante de minimisation du second ordre (hessienne définie positive) s'écrit :

$$\text{Pour tout vecteur } \boldsymbol{\lambda} \text{ non nul de taille n, } \lambda'\mathbf{X}'\mathbf{X}\boldsymbol{\lambda} > 0$$

La condition du second ordre est vérifiée grâce à l'hypothèse ($H_1$) : pour tout vecteur $\boldsymbol{\lambda}$ non nul de taille n, $\lambda'\mathbf{X}'\mathbf{X}\boldsymbol{\lambda} = ||\mathbf{X}\boldsymbol{\lambda}||^2 > 0$

La condition du premier ordre s'écrit donc ($\mathbf{X}'\mathbf{X}$)$\boldsymbol{\beta} = \mathbf{X}'\mathbf{y}$. La matrice $\mathbf{X}'\mathbf{X}$ est inversible car $\mathbf{X}'\mathbf{X}\boldsymbol{\lambda} = 0 \Rightarrow \lambda'\mathbf{X}'\mathbf{X}\boldsymbol{\lambda} = 0 \Rightarrow ||\mathbf{X}\boldsymbol{\lambda}||^2 = 0 \Rightarrow \mathbf{X}\boldsymbol{\lambda} = 0 \Rightarrow \lambda = 0$ (H$_1$)

On en déduit que $\hat{\boldsymbol{\beta}}_{MCO} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}$.

<figure><img src="image_6.png" /></figure>

### Voici quelques cas (plus ou moins embêtants) où ($H_1$) peut être mise en défaut.

- Le cas (peu embêtant) des variables qualitatives : si parmi les covariables $\mathbf{x}_k$, il y a des variables qualitatives, il est nécessaire d'exclure la situation de référence". Par exemple, toujours dans le cas où on cherche à expliquer la variabilité d'une note à un examen, on peut penser que le sexe du candidat joue un rôle. On pourrait être tenté d'introduire dans la régression les covariables suivantes : $1_{\text{le candidat est une fille}}$ et $1_{\text{le candidat est un garçon}}$. Mais cela pose un problème car :

$$1_{\text{le candidat est une fille}} + 1_{\text{le candidat est un garçon}} = 1$$

Dans ce cas, on a :

$$\beta_0 + \beta_1 1_{\text{le candidat est une fille}} + \beta_2 1_{\text{le candidat est un garçon}} = \\ \beta'_0 + \beta'_1 1_{\text{le candidat est une fille}} + \beta'_2 1_{\text{le candidat est un garçon}}$$

dès que :

$$\left\{ \begin{array}{l} \beta_0 = \beta'_0 + c \\ \beta_1 = \beta'_1 - c \\ \beta_2 = \beta'_2 - c \end{array} \right.$$

Il faut donc éliminer du modèle une des deux variables (par exemple $1_{\text{le candidat est un garçon}}$). Le coefficient $\beta_1$ associé à la variable $1_{\text{le candidat est une fille}}$ s'interprète alors comme le nombre de points en plus (ou en moins) sur la note à l'examen associé au fait d'être une fille par rapport à la situation de référence "être un garçon"<fnref n="1" />. Dans le cas où une variable qualitative est appréhendée au moyen de trois indicatrices (ou plus), par exemple $\mathbf{x}_k = 1_{\text{famille française}}$, $\mathbf{x}_l = 1_{\text{famille immigrée}}$, $\mathbf{x}_m = 1_{\text{famille mixte}}$, il faut de la même manière éliminer une des indicatrices de la régression (mettons $\mathbf{x}_k = 1_{\text{famille française}}$) et le coefficient $\beta_l$ (respectivement $\beta_m$) s'interprète toujours comme l'écart de note à l'examen d'un candidat issu d'une famille immigrée (respectivement d'une famille mixte) par rapport à un candidat issu d'une famille française. La grandeur $\beta_l - \beta_m$ s'interprète comme l'écart de note à l'examen d'un candidat issu d'une famille immigrée par rapport à un candidat issu d'une famille mixte. Un "bon" estimateur ne devrait donc pas dépendre de la modalité de référence choisie ; c'est le cas de l'estimateur des MCO. Cela ne veut pas dire pour autant que la situation de référence peut être choisie à la légère (notamment pour des questions de présentation des résultats). Choisir comme situation de référence une situation rare ou extrême conduit à estimer des effets par rapport à une situation exceptionnelle et donc nuit à l'interprétation. Choisir comme situation de référence une situation fréquente offre des estimations et des tests de significativité plus faciles à interpréter.

<footnote n="1">1. Éliminer de la régression une variable correspondant à la situation de référence revient à fixer la contrainte identifiante $\beta_2 = 0$. Dans certaines procédures de SAS utilisant l'instruction CLASS, la contrainte $\sum \beta_1 1_{\text{le candidat est une fille}} + \beta_2 1_{\text{le candidat est un garçon}} = 0$ est utilisée, les coefficients $\beta_1$ et $\beta_2$ s'interprètent alors comme des écarts de la note y par rapport à la "situation moyenne". Cette "situation moyenne" n'étant pas d'une interprétation très naturelle, nous privilégions l'approche traditionnelle de l'exclusion d'une modalité de référence.</footnote>
- Le cas de l'existence d'une relation "mécanique" entre les covariables : on peut légitimement postuler les hypothèses suivantes : la note à l'examen dépend de l'âge de l'individu au moment de l'épreuve (un élève "en retard" aura sûrement une moins bonne note qu'un élève en avance), de la génération à laquelle il appartient (un élève qui appartient à une génération qui a connu des mouvements sociaux importants arrive probablement moins bien préparé aux examens) et de la session concernée (les jurys peuvent être plus ou moins sévères d'une année sur l'autre, les sujets peuvent être plus ou moins difficiles). Ces trois effets qui peuvent contribuer à expliquer une part de la variance de la note obtenue à l'examen ne sont pas identifiables car on a la relation mécanique suivante : "session"="génération"+"âge". Comme précédemment, on est obligé d'éliminer du modèle une des trois variables, mais cette fois le problème est plus embêtant : il faut renoncer à identifier un des effets et l'estimation des deux autres effets est susceptible d'être biaisée, ou spécifier des contraintes identifiantes supplémentaires (par exemple sur la tendance des effets "session"). C'est un problème classique des modèles "âge-période-cohorte".

- Le cas d'une relation de linéarité liée à la taille finie de l'échantillon : plus généralement, même s'il n'existe pas une relation mécanique entre les covariables, il est possible que cela soit le cas au sein de l'échantillon dont dispose l'économètre. Si on dispose d'un échantillon d'enfants de différentes nationalités de naissance et que l'on s'intéresse à l'effet différencié de l'origine sociale sur la réussite scolaire, lorsque la taille de l'échantillon est modeste, il est possible que tous les enfants de telle nationalité de naissance soient également des enfants d'ouvriers. Pour tester si la position sociale a le même effet sur la réussite scolaire pour les différentes nationalités, l'économètre peut alors vouloir introduire des indicatrices croisant position sociale des parents et nationalité de naissance : ces indicatrices seront nulles pour certaines situations "rares". De même, si l'économètre veut tester l'influence de la nationalité de naissance sur la réussite scolaire au sein des enfants de cadres, sur un petit échantillon certaines nationalités de naissance ne seront pas représentées parmi les enfants de cadres. Il faut dans ce cas se tourner vers des données plus adaptées pour traiter ces questions.

## 2.4 Quand l'estimateur des MCO est-il sans biais ?

### L'hypothèse d'exogénéité (ou de nullité de l'espérance conditionnelle de l'hétéro-généité inobservée)

$$ (H_2) : \text{L'espérance des résidus conditionnellement aux covariables est nulle ce qui s'écrit } E[\epsilon|\mathbf{X}] = 0 $$

**Remarque :** L'hypothèse ($H_2$) signifie intuitivement que pour tout individu $i$, lorsque ses $x_{ki}$ changent, son $\epsilon_i$ n'a pas de raisons de changer (ni les $\epsilon_{i'}$ des autres individus). C'est une condition très forte, dont dépend la validité du modèle et la qualité des estimations. Cette hypothèse a deux conséquences immédiates : l'espérance des résidus est nulle (car $E(\epsilon) = E(E[\epsilon|\mathbf{X}]) = 0$) et les distributions des covariables et de des inobservées sont décorrélées (car $\text{Cov}(\epsilon_i, x_{ki}) = E(\epsilon_i x_{ki}) = E(E[\epsilon_i | x_{ki}]) = 0$). Une covariable $x_k$ qui est corrélée avec les résidus $\epsilon$ est dite endogène.

### Biais des MCO

Sous les conditions ($H_1$) et ($H_2$), l'estimateur des MCO est sans biais, c'est-à-dire que :

$$ E(\hat{\beta}_{MCO}) = \beta $$
Preuve :

<figure><img src="image_7.png" /></figure>

$$
\begin{align*}
E(\hat{\beta}_{MCO}) &= E\left[ (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'\mathbf{y} \right] \\
&= E\left[ (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'(\mathbf{X}\beta + \mathbf{\epsilon}) \right] \\
&= \beta + E\left[ (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'\mathbf{\epsilon} \right] \\
&= \beta + E\left[ (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'E[\mathbf{\epsilon}|\mathbf{X}] \right] \\
&= \beta
\end{align*}
$$

<figure><img src="image_8.png" /></figure>

L'hypothèse ($H_2$) permet même d'obtenir un résultat plus fort : $E(\hat{\beta}_{MCO}|\mathbf{X}) = \beta$, ce qui signifie que les estimations sont sans biais même dans le cas où on travaille sur un échantillon tel que la distribution des $X$ ne correspond à la distribution des $X$ dans la population d'inférence. Une version plus faible de l'hypothèse ($H_2$) consiste à supposer seulement que $cov(\varepsilon, X) = 0$ sur la population d'inférence, dans ce cas les estimations sur un échantillon "non représentatif" (en terme de distribution de $X$) peuvent être biaisées.

Lorsque l'hypothèse ($H_2$) semble peu crédible, un moyen usuel pour obtenir des estimations sans biais (asymptotiquement) consiste à recourir à des techniques de variables instrumentales. Pour une présentation détaillée des variables instrumentales, nous renvoyons le lecteur à d'autres documents (par exemple celui de Jean-Marc Robin : Modèles structurels et variables explicatives endogènes, Document de travail INSEE-UMS numéro 2002). Notons simplement qu'un ensemble de variables instrumentales $\mathbf{W}$ permettra d'obtenir une estimation (asymptotiquement) sans biais de $\beta$ si les variables $\mathbf{W}$ sont corrélées aux variables $\mathbf{X}$ et si $E[\varepsilon|\mathbf{W}] = 0$ (ou si $cov(\varepsilon, \mathbf{W}) = 0$).

Voici quelques cas où l'hypothèse ($H_2$) est mise en défaut :

- Endogénéité liée aux "variables omises" et à l'hétérogénéité inobservée"

Supposons que la réussite à un examen dépende du diplôme de la mère et des revenus de la famille, le modèle s'écrit :

$$
\begin{align*}
\mathbf{y} &= \mathbf{X}\beta + \mathbf{\epsilon} \\
&= \beta_0 + \beta_1\mathbf{x}_1 + \sum_{k=2}^{K} \beta_k\mathbf{x}_k + \mathbf{\epsilon}
\end{align*}
$$

Où $y$ est la note obtenue à l'examen, $x_1$ est le revenu et où $x_k, k = 2, ..., K$ sont $K - 1$ variables indicatrices des niveaux de diplôme de la mère. Supposons de plus que le revenu ne soit pas disponible dans les données exploitées (parce qu'une question sur les revenus n'a pas été incluse dans le questionnaire d'enquête par exemple). Pour estimer les $\beta_k, k = 2, ..., K$, on peut être tenté de calculer l'estimateur des moindres carrés issus de la régression de $y$ sur les $K - 1$ niveaux de diplôme de la mère et donc poser :

$$
\mathbf{y} = \beta_0 + \sum_{k=2}^{K} \beta_k \mathbf{x}_k + \mathbf{v}
$$

avec $E[\mathbf{v}|\mathbf{x}_k, k = 2, ..., K] = 0$

Si cela était vrai, alors l'estimateur des MCO des $\beta_k, k = 2, ..., K$ serait sans biais et la covariance des résidus $v$ et de $x_k$ ($k = 2, ..., K$) serait nulle. Ce n'est en général pas le cas, car :

$$
\operatorname{Cov}(v, x_k) = \operatorname{Cov}(\beta_1 x_1 + \varepsilon, x_k) = \beta_1 \operatorname{Cov}(x_1, x_k)
$$

Le fait de ne pas intégrer la variable revenu dans la régression biaise les estimations concernant l'effet du diplôme de la mère à deux conditions : la première est que le revenu joue effectivement un rôle dans la réussite du candidat ($\beta_1 \neq 0$), la seconde est que le diplôme de la mère et le revenu de la famille soient corrélés ($\operatorname{Cov}(x_1, x_k) \neq 0$). Dans ce cas précis, ces deux conditions ont toutes les chances d'être réunies. Intuitivement, en l'absence de contrôle du revenu, une partie de l'effet du revenu est capté par l'effet du niveau de diplôme de la mère.

Un autre exemple est donné par les résultats contradictoires des études sur la taille des classes (le lecteur pourra se référer au rapport du Haut conseil de l'évaluation de l'école
rédigé sur ce sujet par Denis Meuret en 2001, à l'étude de Thomas Piketty et Mathieu Valdenaire "L'impact de la taille des classes sur la réussite scolaire dans les écoles, collèges et lycées français", les dossiers de la DEP (numéro 173) en 2006, et la réponse de Meuret dans l'Université Syndicaliste sous le titre "Sa méthode et la nôtre..." en 2004). Pour étudier l'effet de la taille des classes sur les acquis des élèves, les données disponibles permettent en général de régresser une mesure des compétences des élèves sur la taille de la classe (ou la taille de la classe fréquentée une année précédente) et sur des covariables susceptibles d'avoir un effet sur les acquis scolaires. Le problème est que les élèves ne sont pas répartis au hasard dans les classes. Il est fort possible que les élèves pour lesquels l'équipe pédagogique envisage le plus de difficultés scolaires à venir soient affectés dans les classes à faible effectif. Les élèves sont donc triés sur des critères difficilement observables qui ne peuvent être contrôlés dans la régression. Séparer l'effet de sélection (le tri des élèves sur des caractéristiques difficilement observables) et l'effet de la taille des classes demande donc une réflexion spécifique.

De même, si on cherche à étudier les "rendements" respectifs de différents établissements scolaires, il est probable que les élèves scolarisés dans le même établissement partagent un certain nombre de caractéristiques inobservées communes qui influent simultanément sur l'établissement fréquenté et les résultats scolaires. L'estimation du "rendement" de l'établissement est alors biaisé par l'effet des caractéristiques inobservées partagées par les élèves de l'établissement.

- Endogénéité liée à la "simultanéité"

L'hypothèse d'exogénéité peut également être violée du fait d'une simultanéité : imaginons que les résultats scolaires $y_1$ dépendent de covariables $X$ et de l'estime de soi $y_2$ que peut avoir un élève, imaginons également que les résultats scolaires participent à la construction de l'estime de soi. Dans ce cas, on aura :

$$y_1 = X\beta_1 + y_2\alpha_2 + \epsilon_1$$

$$y_2 = X\beta_2 + y_1\alpha_1 + \epsilon_2$$

On suppose pour simplifier que $E(\epsilon'_1\epsilon_2) = cov(\epsilon_1, \epsilon_2) = 0$. Supposons l'hypothèse d'exogénéité $E(\epsilon_1|X, y_2) = 0$ valable. Dans ce cas $cov(\epsilon_1, y_2) = \alpha_1cov(\epsilon_1, y_1) + cov(\epsilon_1, \epsilon_2) = \alpha_1\alpha_2cov(\epsilon_1, y_2) + \alpha_1\sigma_1^2 + cov(\epsilon_1, \epsilon_2)$ donc $cov(\epsilon_1, y_2) = \frac{\alpha_1\sigma_1^2}{1-\alpha_1\alpha_2}$ qui est en général différent de 0 si $\alpha_1 \neq 0$, ce qui est en contradiction avec l'hypothèse d'exogénéité. Ainsi, dès lors que les résultats scolaires jouent sur l'estime de soi, cette dernière variable ne peut pas être considérée comme exogène pour expliquer les résultats scolaires. Dans ce cas, l'estimation MCO de la première équation est biaisée.

- Endogénéité liée aux erreurs de mesure

L'hypothèse d'exogénéité est également violée dans le cas où les variables exogènes sont entachées d'erreur de mesure. Supposons que le modèle $y = X\beta + \epsilon$ vérifie les hypothèses $(H_1)$ et $(H_2)$. Cependant l'analyste n'observe pas $X$ mais seulement une mesure imparfaite $\tilde{X} = X + H$. Dans ce cas, on a : $y = \tilde{X}\beta + \tilde{\epsilon}$ avec $\tilde{\epsilon} = \epsilon - H\beta$. Si on suppose que l'erreur de mesure $H$ est "classique", c'est-à-dire non corrélée à $X$ et $\epsilon$ et d'espérance nulle, alors $E(\tilde{X}'\tilde{\epsilon}) = -H'H\beta \neq 0$ si $\beta \neq 0$. Ainsi, estimer $\beta$ au moyen d'une régression MCO de $y$ sur $\tilde{X}$ conduit à des estimations biaisées.

## 2.5 Quelle est la précision de l'estimateur des MCO ?

### L'hypothèse d'homoscédasticité

$(H_3)$ : La variance des résidus conditionnellement aux covariables est telle que :

$$V[\epsilon|X] = \sigma^2I$$

**Remarque** : Sous l'hypothèse $(H_2)$, l'hypothèse $(H_3)$ implique que $V[\epsilon] = \sigma^2I$ car $V[\epsilon] = E[V[\epsilon|X]] + V[E[\epsilon|X]] = E[\sigma^2I] + V[0]$. L'hypothèse d'homoscédasticité est une hypothèse très forte qui signifie en particulier que :

♦ $cov(\epsilon_i, \epsilon_j) = 0$ : les résidus entre deux individus ne sont pas corrélés.
◇ $V(\varepsilon_i|X_i)$ ne dépend pas des covariables $x_k, k = 1, ..., K$. La connaissance des covariables pour un individu n'apporte aucune information sur la variance de son résidu.

◇ $V(\varepsilon_i) = V(\varepsilon_j)$ ce qui signifie que la variance des résidus ne dépend pas de l'individu.

$(H_3)$ peut ne pas être vérifiée, soit parce que $V[\epsilon|\mathbf{X}]$ n'est pas diagonale, soit parce que $V[\epsilon|\mathbf{X}]$ dépend de $\mathbf{X}$, soit parce que $V[\epsilon|\mathbf{X}]$ est diagonale mais que les éléments diagonaux de la matrice ne sont pas égaux, soit pour une de ces deux raisons. Dans le cas où $V[\epsilon|\mathbf{X}]$ est diagonale mais que les éléments diagonaux de la matrice ne sont pas égaux, on parlera d'hétéroscédasticité. Dans le cas où la matrice n'est pas diagonale, on parlera de corrélation des résidus. Il existe de nombreux autres cas où l'hypothèse d'hétéroscédasticité est relâchée, c'est le cas des modèles "multiniveaux" ou à coefficients aléatoires présentés au chapitre 4.

## Variance de l'estimateur des MCO

Sous les hypothèses $(H_1), (H_2)$ et $(H_3)$, la variance de l'estimateur des moindres carrés ordinaires conditionnellement aux covariables est :

$$V(\hat{\beta}_{MCO}|\mathbf{X}) = \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}$$

La variance de l'estimateur des moindres carrés ordinaires est donnée par :

$$V(\hat{\beta}_{MCO}) = \sigma^2 E \left[ (\mathbf{X}'\mathbf{X})^{-1} \right]$$

Preuve :

<figure><img src="image_9.png" /></figure>

On rappelle que :

$$E(\hat{\beta}_{MCO}|\mathbf{X}) = \beta$$

Donc :

$$ 
\begin{align*}
V[\hat{\beta}_{MCO}|\mathbf{X}] &= E\left[\left(\hat{\beta}_{MCO} - \beta\right) \left(\hat{\beta}_{MCO} - \beta\right)' | \mathbf{X}\right] \\
&= E\left[\left(\mathbf{X}'\mathbf{X}\right)^{-1} \mathbf{X}'\epsilon\epsilon'\mathbf{X} \left(\mathbf{X}'\mathbf{X}\right)^{-1} | \mathbf{X}\right] \\
&= E\left[\left(\mathbf{X}'\mathbf{X}\right)^{-1} \mathbf{X}'\sigma^2 I\mathbf{X} \left(\mathbf{X}'\mathbf{X}\right)^{-1} | \mathbf{X}\right] \\
&= \sigma^2 E\left[\left(\mathbf{X}'\mathbf{X}\right)^{-1} | \mathbf{X}\right] \\
&= \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}
\end{align*}
$$

Et :

$$ 
\begin{align*}
V(\hat{\beta}_{MCO}) &= E\left[V(\hat{\beta}_{MCO}|\mathbf{X})\right] + V\left[E(\hat{\beta}_{MCO}|\mathbf{X})\right] \\
&= \sigma^2 E\left[\left(\mathbf{X}'\mathbf{X}\right)^{-1}\right] + V(\beta) \\
&= \sigma^2 E\left[\left(\mathbf{X}'\mathbf{X}\right)^{-1}\right]
\end{align*}
$$

<figure><img src="image_10.png" /></figure>

À ce stade, la précision de l'estimation dépend donc de deux grandeurs : $\sigma^2$ qui représente la variance non liée aux covariables et $E[(\mathbf{X}'\mathbf{X})^{-1}]$ qui dépend de la manière dont les covariables sont liées. Plus les covariables seront liées entre elles, plus la précision des estimations des coefficients correspondants sera faible. Il peut sembler surprenant que la précision des estimations ne dépende pas explicitement du nombre d'observations $n$. En réalité, la précision dépend bien du nombre d'observations au travers de la matrice $\mathbf{X}'\mathbf{X} = [\sum_{i=1}^n x_{k,i}x_{j,i}]_{0\le k,j\le K}$. Comme nous allons le voir, l'écart-type de l'estimateur décroît en fait à la vitesse $\frac{1}{\sqrt{n}}$.
Cas où l'hypothèse d'homoscédasticité n'est pas vérifiée. Dans ce cas, on a :

$$V(\hat{\beta}_{MCO}|\mathbf{X}) = (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'E[\epsilon\epsilon'|\mathbf{X}] \mathbf{X} (\mathbf{X}'\mathbf{X})^{-1}$$

La précision en général dépend de toutes les covariances $cov(\epsilon_i, \epsilon_{i'}|\mathbf{X})$, soit $\frac{n(n+1)}{2}$ termes. Des restrictions sur la structure de variance covariance des résidus sont donc en général postulées pour identifier et estimer $\mathbf{X}'E[\epsilon\epsilon'|\mathbf{X}]\mathbf{X}$. On suppose ainsi souvent que certaines covariances sont nulles. Par exemple : pour une estimation robuste à l'hétéroscédasticité (cf. "A Heteroskedasticity-Consistent Covariance Matrix Estimator and a Direct Test for Heteroskedasticity" publié par White en 1980 dans la revue Econometrica), on suppose que les covariances des résidus entre deux observations sont nulles mais que les variances peuvent changer d'une observation à l'autre; dans un panel, même si des inobservées peuvent affecter un même individu à différentes dates et/ou tous les individus à une certaine date en cas de chocs conjoncturels, les inobservées affectant un individu à une certaine date sont supposées décorrélées des inobservées affectant un autre individu à un autre moment. Une autre approche consiste à paramétrer la structure de covariance de résidus (par exemple : sur des observations répétées dans le temps sur un pays, on peut supposer que $cov(\epsilon_t, \epsilon_{t'}|\mathbf{X}) = \rho(\mathbf{X})^{|t-t'|}$).

## 2.6 Comment estimer la précision de l'estimateur des MCO ?

On a vu que la variance de l'estimateur des moindres carrés dépend du paramètre inconnu $\sigma^2$. Il est donc nécessaire de trouver un estimateur de ce paramètre pour pouvoir estimer la variance de $\hat{\beta}_{MCO}$. Il est possible d'obtenir un estimateur sans biais de $\sigma^2$ sans faire d'hypothèses supplémentaires (à $(H_1)$, $(H_2)$ et $(H_3)$). Par ailleurs, le paramètre $\sigma^2$ représente la quantité de variance qui n'est pas liée aux covariables, c'est donc un paramètre indispensable à estimer dans une analyse de la variance.

### Estimation de la dispersion des inobservées

Sous les hypothèses $(H_1)$, $(H_2)$ et $(H_3)$, l'estimateur

$$\hat{\sigma}^2 = \frac{\hat{\epsilon}'\hat{\epsilon}}{n - K - 1}$$

(où $\hat{\epsilon} = \mathbf{y} - \mathbf{X}\hat{\beta}$) est un estimateur sans biais du paramètre $\sigma^2$.

Preuve :

<figure><img src="image_11.png" /></figure>

On note $Tr(.)$ l'opérateur trace qui à toute matrice associe la somme de ses éléments diagonaux : $Tr(A) = \sum_l a_{l,l}$.

On rappelle que pour toutes matrices $A$ de taille $l \times m$ et $B$ de taille $m \times l$ on a : $Tr(AB) = Tr(BA)$.

En notant $\mathbf{M}$ la matrice $\mathbf{I}_n - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$, on a :

$$\hat{\epsilon} = \mathbf{y} - \mathbf{X}\hat{\beta} = \mathbf{M}\mathbf{y} = \mathbf{M}(\mathbf{X}\beta + \epsilon) = \mathbf{M}\epsilon$$

La matrice $\mathbf{M}$ vérifie $\mathbf{M}^2 = \mathbf{M}$ et $\mathbf{M}' = \mathbf{M}$ (cela caractérise les matrices de projection orthogonale, $\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$ est la matrice de projection orthogonale sur l'espace engendré par $\mathbf{X}$, $\mathbf{M}$ est la matrice de projection orthogonale sur l'orthogonal à cet espace).
Donc :

$$
\begin{align*}
E (\hat{\epsilon}' \hat{e} | \mathbf{X}) &= E (\mathrm{Tr}(\epsilon' \mathbf{M} \epsilon) | \mathbf{X}) \\
&= E (\mathrm{Tr}(\mathbf{M} \epsilon \epsilon') | \mathbf{X}) \\
&= \mathrm{Tr}(E(\mathbf{M} \epsilon \epsilon' | \mathbf{X})) \\
&= \mathrm{Tr}(\mathbf{M} E(\epsilon \epsilon' | \mathbf{X})) \\
&= \mathrm{Tr}(\mathbf{M}(\sigma^2 \mathbf{I}_n)) \\
&= \sigma^2 \mathrm{Tr}(\mathbf{M}) \\
&= \sigma^2 \mathrm{Tr} (\mathbf{I}_n - \mathbf{X}' (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}) \\
&= \sigma^2 [\mathrm{Tr}(\mathbf{I}_n) - \mathrm{Tr} (\mathbf{X} (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}')] \\
&= \sigma^2 [n - \mathrm{Tr} ((\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'\mathbf{X})] \\
&= \sigma^2 [n - \mathrm{Tr}(\mathbf{I}_{K+1})] \\
&= \sigma^2 (n - K - 1)
\end{align*}
$$

<figure><img src="image_12.png" /></figure>

Estimation de la variance de l'estimateur des MCO

Sous les hypothèses (H₁), (H₂) et (H₃),

$$
\hat{V}(\hat{\beta}_{MCO}) = \hat{\sigma}^2 (\mathbf{X}'\mathbf{X})^{-1}
$$

est un estimateur sans biais de $V(\hat{\beta}_{MCO})$.

Preuve :

<figure><img src="image_13.png" /></figure>

On a bien $E(\hat{\sigma}^2) = \sigma^2$, de plus on a $E(\hat{\sigma}^2|\mathbf{X}) = \sigma^2$, ce qui permet d'écrire :

$$
\begin{align*}
E \left[ \hat{\sigma}^2 (\mathbf{X}'\mathbf{X})^{-1} \right] &= E \left[ E \left[ \hat{\sigma}^2 (\mathbf{X}'\mathbf{X})^{-1} | \mathbf{X} \right] \right] \\
&= E \left[ E \left[ \hat{\sigma}^2 | \mathbf{X} \right] (\mathbf{X}'\mathbf{X})^{-1} \right] \\
&= E \left[ \hat{\sigma}^2 (\mathbf{X}'\mathbf{X})^{-1} \right] \\
&= \sigma^2 E \left[ (\mathbf{X}'\mathbf{X})^{-1} \right] \\
&= V(\hat{\beta}_{MCO}) \\
&= V(\hat{\beta}_{MCO})
\end{align*}
$$

<figure><img src="image_14.png" /></figure>

2.7 L'estimateur des moindres carrés ordinaires est-il convergent ?

Convergence en probabilité de l'estimateur des MCO

Sous les hypothèses (H₁), (H₂) et (H₃), si :

$$
\diamond \frac{1}{n} \mathbf{X}'\mathbf{X} \text{ tend en probabilité vers une matrice } \mathbf{A} \text{ inversible quand } n \text{ tend vers } +\infty
$$

$$
\diamond \frac{1}{n} \mathbf{X}' \epsilon \text{ tend en probabilité vers } 0 \text{ quand } n \text{ tend vers } +\infty
$$

alors $\hat{\beta}_{MCO} \rightarrow \beta$ en probabilité

$\frac{1}{n}\mathbf{X}'\mathbf{X}$ tend en probabilité vers $E[(x_{0,i}, x_{1,i}, \dots, x_{K,i})'(x_{0,i}, x_{1,i}, \dots, x_{K,i})]$ si on peut appliquer une loi des grands nombres à $x_k x_l, 0 \le k, l \le K$ (on suppose alors que les $x_{k,i} x_{l,i}$ suivent la même loi pour tout individu $i$). De même, $\frac{1}{n}\mathbf{X}'\epsilon$ tend en probabilité vers 0 si on peut appliquer une loi des grands nombres à $(x_{0,i}, x_{1,i}, \dots, x_{K,i})'\epsilon_i$ car $E[(x_{0,i}, x_{1,i}, \dots, x_{K,i})'\epsilon_i] = 0$ d'après (H₂).
Les conditions nécessaires pour pouvoir appliquer ces lois des grands nombres sont de deux types : des conditions relatives à la dépendance des covariables entre deux individus i et des conditions sur les moments de ces covariables. Ces conditions sont sensiblement les mêmes que celles qui permettent d'appliquer des théorèmes de limite centrale qui permettront de caractériser la loi asymptotique de l'estimateur des moindres carrés.

Preuve :

<figure><img src="image_15.png" /></figure>

$$ \hat{\beta}_{MCO} - \beta = \left(\frac{1}{n}\mathbf{X}'\mathbf{X}\right)^{-1} \left(\frac{1}{n}\mathbf{X}'\epsilon\right) $$

D'après le lemme de Slutsky : $(\frac{1}{n}\mathbf{X}'\mathbf{X})^{-1} \to \mathbf{A}^{-1}$ en probabilité.

Et comme $(\frac{1}{n}\mathbf{X}'\epsilon) \to 0$ en probabilité, $(\frac{1}{n}\mathbf{X}'\mathbf{X})^{-1}(\frac{1}{n}\mathbf{X}'\epsilon) \to 0$ en probabilité.

<figure><img src="image_16.png" /></figure>

## 2.8 Quelle est la loi asymptotique de l'estimateur ?

On va donner ici un premier jeu d'hypothèses permettant de dériver la loi asymptotique de l'estimateur des moindres carrés ordinaires. On privilégie ici le fait de ne pas faire d'hypothèse sur la forme de la loi des résidus (on ne supposera pas que les résidus sont normaux), ce qui se paye par la nécessité de faire des hypothèses (relativement faibles cependant) sur la loi des covariables. Les résultats présentés ici ne sont donc exploitables qu'en présence d'un nombre d'observations suffisant (plusieurs centaines).

### Hypothèse sur la structure de dépendance des observations

$(H_a s) : \text{Les observations } (y_i, X_i)_{i=1,...,n} \text{ sont indépendantes et identiquement distribuées. } E[X_1'X_1] \text{ existe et est inversible. } E(|x_{k,1}x_{l,1}|) < \infty \text{ pour tout } 0 \le k,l \le K.$

### Normalité asymptotique de l'estimateur

Sous les hypothèses $(H_a s), (H_1), (H_2)$ et $(H_3)$, on a les propriétés suivantes :

♦ L'estimateur $\hat{\beta}_{MCO}$ est convergent :

$$ \hat{\beta}_{MCO} \xrightarrow{n \to +\infty} \beta $$

♦ L'estimateur des moindres carrés ordinaires est asymptotiquement normal :

$$ \sqrt{n} (\hat{\beta}_{MCO} - \beta) \xrightarrow{n \to +\infty} N (0, \sigma^2 E [X_1'X_1]^{-1}) $$

♦ L'estimateur $\hat{\sigma}^2$ est convergent :

$$ \hat{\sigma}^2 \xrightarrow{n \to +\infty} \sigma^2 $$

♦ On peut donc construire un estimateur convergent de la variance asymptotique de $\sqrt{n}(\hat{\beta}_{MCO} - \beta)$ :

$$ n\hat{\sigma}^2 (\mathbf{X}'\mathbf{X})^{-1} \xrightarrow{n \to +\infty} \sigma^2 E [X_1'X_1]^{-1} $$

♦ Et enfin :

$$ \frac{1}{\sqrt{\hat{\sigma}^2}} (\mathbf{X}'\mathbf{X})^{\frac{1}{2}} (\hat{\beta}_{MCO} - \beta) \xrightarrow{n \to +\infty} N(0, \mathbf{I}_{K+1}) $$

Preuve :

<figure><img src="image_17.png" /></figure>

On a toujours :

$$ \hat{\beta}_{MCO} - \beta = \left(\frac{1}{n}\mathbf{X}'\mathbf{X}\right)^{-1} \frac{1}{n}\mathbf{X}'\epsilon $$
- $E(|x_{k,1}x_{l,1}|) < \infty$ pour tout $0 \le k, l \le K$, d'après la loi (faible) des grands nombres : 
  $\frac{1}{n}(\mathbf{X}'\mathbf{X}) = \frac{1}{n}\sum_i X'_i X_i \xrightarrow{n \to +\infty} E[X'_1 X_1]$ invertible.

- Par ailleurs, $V(X'_1\varepsilon_1) = E(X'_1E[\varepsilon_1^2|X_1]X_1) = \sigma^2 A < +\infty$ donc d'après la loi forte des grands nombres $\frac{1}{n}X'\epsilon = \frac{1}{n}\sum_i X'_i\varepsilon_i \xrightarrow{n \to +\infty} E[X'_1\varepsilon_1] = E[X'_1E(\varepsilon_1|X_1)] = 0$. On en déduit donc la convergence en probabilité de $\hat{\beta}_{MCO}$ vers $\beta$.

- De plus le théorème de la limite centrale nous assure que :

$$ \frac{1}{\sqrt{n}} \mathbf{X}'\epsilon \xrightarrow{\text{loi}} N(0, \sigma^2 A) $$

On a donc la normalité asymptotique de $\hat{\beta}_{MCO}$ :

$$ \sqrt{n}(\hat{\beta}_{MCO} - \beta) = \left(\frac{1}{n}\mathbf{X}'\mathbf{X}\right)^{-1} \frac{1}{\sqrt{n}} \mathbf{X}'\epsilon \xrightarrow{n \to +\infty} N(0, \sigma^2 A^{-1}AA^{-1}) = N(0, \sigma^2 A^{-1}) $$

- L'estimateur $\hat{\sigma}^2$ s'écrit :

$$ \begin{aligned} \hat{\sigma}^2 &= \frac{n}{n-(K+1)} \left[ \frac{1}{n} \left( \mathbf{X}(\hat{\beta}_{MCO} - \beta) + \epsilon \right)' \left( \mathbf{X}(\hat{\beta}_{MCO} - \beta) + \epsilon \right) \right] \\ &= \frac{n}{n-(K+1)} \left[ (\hat{\beta}_{MCO} - \beta)' \left( \frac{1}{n}\mathbf{X}'\mathbf{X} \right) (\hat{\beta}_{MCO} - \beta) + \left( \frac{1}{n}\mathbf{X}'\epsilon \right)' (\hat{\beta}_{MCO} - \beta) + (\hat{\beta}_{MCO} - \beta)' \left( \frac{1}{n}\mathbf{X}'\epsilon \right) + \left( \frac{1}{n}\epsilon'\epsilon \right) \right] \end{aligned} $$

On peut appliquer la loi faible des grands nombres au dernier terme car $\frac{1}{n}\epsilon'\epsilon = \frac{1}{n}\sum_{i=1}^n \epsilon_i^2$, les $\epsilon_i^2$ sont i.i.d. et $E[|\epsilon_1^2|] = V[\epsilon_1] = \sigma^2 < +\infty$.

On a donc :

$$ \begin{aligned} \frac{1}{n}\epsilon'\epsilon \xrightarrow{n \to +\infty} \sigma^2 \\ \hat{\beta}_{MCO} - \beta \xrightarrow{n \to +\infty} 0 \\ \frac{1}{n}\mathbf{X}'\epsilon \xrightarrow{n \to +\infty} 0 \\ \frac{1}{n}\mathbf{X}'\mathbf{X} \xrightarrow{n \to +\infty} E[X'_1 X_1] \\ \frac{n}{n-(K+1)} \xrightarrow{n \to +\infty} 1 \end{aligned} $$

Ce qui implique que :

$$ \begin{aligned} \frac{1}{\sqrt{\hat{\sigma}^2}} \left( \frac{1}{n} \mathbf{X}'\mathbf{X} \right)^{1/2} \xrightarrow{n \to +\infty} \frac{1}{\sqrt{\sigma^2}} A^{1/2} \\ \frac{1}{\sqrt{\hat{\sigma}^2}} \left( \mathbf{X}'\mathbf{X} \right)^{1/2} (\hat{\beta}_{MCO} - \beta) \xrightarrow{n \to +\infty} N(0, \mathbf{I}_{K+1}) \end{aligned} $$

Par conséquent :

$$ \frac{1}{\sqrt{\hat{\sigma}^2}} (\mathbf{X}'\mathbf{X})^{\frac{1}{2}} (\hat{\beta}_{MCO} - \beta) \xrightarrow{n \to +\infty} N(0, \mathbf{I}_{K+1}) $$

<figure><img src="image_18.png" /></figure>

Le fait que la loi asymptotique de $\sqrt{\frac{1}{\hat{\sigma}^2}}(\mathbf{X}'\mathbf{X})^{\frac{1}{2}}(\hat{\beta}_{MCO} - \beta)$ ne dépend pas des paramètres estimés permet de construire des tests asymptotiques de l'hypothèse $\beta = b$. En effet, pour tout $b \neq \beta$, $\sqrt{\frac{1}{\hat{\sigma}^2}}(\mathbf{X}'\mathbf{X})^{\frac{1}{2}}(\hat{\beta}_{MCO} - b) \xrightarrow{\text{p.s.}} +\infty$. Dans le cas où l'hypothèse est fausse, la statistique calculée est donc "très grande". Dans le cas où l'hypothèse est vraie, la statistique calculée a peu de chance d'être grande car elle suit une loi normale. On peut de la même manière construire des tests sur les composantes de $\beta$ ou sur une combinaison linéaire de ces composantes du type $L\beta = Lb$ (où $L$ est une matrice de taille $(l \times (K+1))$ de rang $l$). En effet, en appliquant la méthode "Delta" on a :

$$ \frac{1}{\sqrt{\hat{\sigma}^2}} (L'(\mathbf{X}'\mathbf{X})^{-1}L)^{-\frac{1}{2}} (L'\hat{\beta}_{MCO} - L'\beta) \xrightarrow{n \to +\infty} N(0, \mathbf{I}_l) $$
Dans le cas où $l \ge 2$ (ce qui revient à tester conjointement plusieurs hypothèses), il est alors nécessaire de raisonner sur le comportement asymptotique suivant :

$$ \frac{1}{\hat{\sigma}^2} (L'\hat{\beta}_{MCO} - L'\beta)' (L'(\mathbf{X}'\mathbf{X})^{-1}L)^{-1} (L'\hat{\beta}_{MCO} - L'\beta) \xrightarrow[n \to +\infty]{\text{loi}} \chi_l^2 $$

Pour tester la significativité du coefficient $\beta_k$, on choisira donc $L = [0, 0, ..., 0, 1, 0, ..., 0]$, le vecteur ligne nul sauf sur la kième composante. On pourra soit comparer $\frac{\hat{\beta}_k}{\sqrt{\hat{\sigma}^2[(\mathbf{X}'\mathbf{X})^{-1}]_{(k,k)}}}$ avec la distribution de la loi normale centrée réduite (pour un test de niveau 5%, cette statistique doit donc être comprise entre -1.96 et 1.96 pour accepter l'hypothèse $\beta_k = 0$), soit de manière équivalente comparer $\frac{\hat{\beta}_k^2}{\hat{\sigma}^2[(\mathbf{X}'\mathbf{X})^{-1}]_{(k,k)}}$ avec la distribution de la loi du $\chi_l^1$ (pour un test de niveau 5%, cette statistique doit donc être inférieure à $3.84 = (1.96)^2$ pour accepter l'hypothèse $\beta_k = 0$).

## 2.9 Quelle est la loi à distance finie de l'estimateur si les résidus sont normaux ?

Les propriétés développées dans le paragraphe précédent sont valides dans un cadre asymptotique, c'est-à-dire pour un nombre d'observations suffisamment grand. Dans le cas où ces observations sont peu nombreuses, il est nécessaire de renforcer les hypothèses du modèle pour pouvoir caractériser la loi de l'estimateur et construire des tests à distance finie. Les hypothèses supplémentaires portent sur la loi des résidus. La philosophie du modèle change également, on va raisonner conditionnellement aux covariables, c'est-à-dire qu'on ne fait plus aucune hypothèse sur la loi des observations $\mathbf{X}$ (l'hypothèse que les $\mathbf{x}_i$ sont iid n'est plus nécessaire), la manière dont elles nous sont "données" n'est plus importante car on n'a pas à construire un raisonnement "à la limite" quand la taille de l'échantillon augmente.

### L'hypothèse de normalité des résidus

($H_n$) : Les résidus sont gaussiens, de moyenne nulle, identiquement distribués et indépendants des $\mathbf{X}$.

Cette hypothèse est très forte. Jusqu'à présent, seules des hypothèses sur les premiers moments (espérance, variance) avaient été nécessaires. Pour raisonner à distance finie, on réduit fortement l'ensemble de lois auquel peut appartenir la loi des résidus. Il existe un "très grand nombre" de lois qui vérifient les conditions ($H_2$) et ($H_3$) sans pour autant vérifier ($H_n$). Par contre, l'hypothèse ($H_n$) implique les hypothèses ($H_2$) et ($H_3$) car sous ($H_n$), $E[\epsilon|\mathbf{X}] = E(\epsilon) = 0$ et $V[\epsilon|\mathbf{X}] = E(\epsilon) = \sigma^2 \mathbf{I}_n$.

### Propriétés à distance finie de l'estimateur sous l'hypothèse de normalité des résidus

Sous les hypothèses ($H_1$) et ($H_n$), on peut caractériser la loi des estimateurs conditionnellement aux covariables :

$$ \diamond \hat{\beta}_{MCO}|\mathbf{X} \rightsquigarrow N(\beta, \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}). \quad \text{Conditionnellement aux covariables, l'estimateur des moindres carrés ordinaires est normalement distribué, de moyenne } \beta \text{ et de variance } \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}. $$

$$ \diamond \frac{n-(K+1)}{\sigma^2} \hat{\sigma}^2_{MCO} \rightsquigarrow \chi^2_{n-(K+1)}. \quad \text{À une constante de normalisation (inconnue) près, l'estimateur } \hat{\sigma}^2 \text{ est distribué comme une loi du } \chi^2_{n-(K+1)}. $$

$$ \diamond \hat{\beta}_{MCO} \perp \hat{\sigma}^2_{MCO}. \quad \text{Les lois des estimateurs } \hat{\beta}_{MCO} \text{ et } \hat{\sigma}^2_{MCO} \text{ sont indépendantes.} $$

$$ \diamond \frac{\hat{\beta}_k - \beta_k}{\sqrt{\hat{\sigma}^2[(\mathbf{X}'\mathbf{X})^{-1}]_{(k,k)}}} \rightsquigarrow \text{Student}(n - (K + 1)). \quad \text{La loi de l'estimateur de la kième composante du vecteur } \beta \text{ centré sur la valeur du paramètre et normalisé par l'estimation de son écart-type suit une loi de Student à } (n - (K + 1)) \text{ degrés de liberté.} $$
◇ L'estimateur des moindres carrés $(\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO})$ est optimal parmi les estimateurs sans biais de $(\beta, \sigma^2)$, c'est-à-dire que pour tout estimateur $(\tilde{\beta}, \tilde{\sigma}^2)$ tel que pour tout $(\beta, \sigma^2) \in \mathbb{R} \times \mathbb{R}^{+*}$, $E[(\tilde{\beta}, \tilde{\sigma}^2)] = (\beta, \sigma^2)$, on a :

$$V\left[\begin{array}{c} \hat{\beta}_{MCO} \\ \hat{\sigma}^2_{MCO} \end{array}\right] \ll V\left[\begin{array}{c} \tilde{\beta} \\ \tilde{\sigma}^2 \end{array}\right]$$

Preuve :

<figure><img src="image_19.png" /></figure>

$$(\hat{\beta}_{MCO} - \beta) = \left( \mathbf{I} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}' \right) \epsilon$$

Comme $\epsilon$ est un vecteur gaussien indépendant des covariables $\mathbf{X}$, la loi conditionnelle à $\mathbf{X}$ de toute combinaison linéaire des $\varepsilon_i$ est un vecteur gaussien. On sait déjà que :

$$E\left(\hat{\beta}_{MCO} - \beta \mid \mathbf{X}\right) = 0, V(\hat{\beta}_{MCO} \mid \mathbf{X}) = \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}, V(\epsilon \mid \mathbf{X}) = \sigma^2 (\mathbf{I} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}')$$

De plus,

$$\begin{aligned}
E\left[(\hat{\beta}_{MCO} - \beta) \hat{\epsilon}' \mid \mathbf{X}\right] &= E\left[(\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'\epsilon' \epsilon (\mathbf{I} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}') \mid \mathbf{X}\right] \\
&= (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'\sigma^2 \mathbf{I} (\mathbf{I} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}') \\
&= \sigma^2 (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}' - \sigma^2 (\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}'\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1} \mathbf{X}' \\
&= 0
\end{aligned}$$

Donc :

$$\left( \begin{array}{c} \hat{\beta}_{MCO} \\ \hat{\epsilon} \end{array} \right) \rightsquigarrow N\left(\left(\begin{array}{c} \beta \\ 0 \end{array}\right), \left( \begin{array}{cc} \sigma^2 (\mathbf{X}'\mathbf{X})^{-1} & 0 \\ 0 & \sigma^2 (\mathbf{I} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}') \end{array}\right)\right)$$

À partir de ce résultat, on déduit :

- La loi de $\hat{\beta}_{MCO}|\mathbf{X}$ :

$$\text{On a } \hat{\beta}_{MCO}|\mathbf{X} \rightsquigarrow N\left(\beta, \sigma^2 (\mathbf{X}'\mathbf{X})^{-1}\right)$$

- La loi de $\frac{n-(K+1)}{\sigma^2}\hat{\sigma}^2$

Par hypothèse, on a $\frac{\epsilon}{\sigma} \rightsquigarrow N(0, \mathbf{I}_n)$, comme $(\mathbf{I} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}')$ est un projecteur orthogonal de rang $n - (K + 1)$, $\frac{n-(K+1)}{\sigma^2}\hat{\sigma}^2 = \frac{1}{\sigma^2}\hat{\epsilon}\hat{\epsilon} = \frac{1}{\sigma^2}\epsilon' (\mathbf{I} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}') \epsilon \rightsquigarrow \chi^2_{n-(K+1)}$

- L'indépendance de $\hat{\beta}_{MCO}$ et de $\frac{n-(K+1)}{\sigma^2}\hat{\sigma}^2$

$$\left( \begin{array}{c} \hat{\beta}_{MCO} \\ \hat{\epsilon} \end{array} \right) \mid \mathbf{X} \text{ est un vecteur gaussien et } \text{Cov}(\hat{\beta}_{MCO}, \hat{\epsilon}|\mathbf{X}) = 0, \text{ on a donc } \hat{\beta}_{MCO} \perp \hat{\epsilon}|\mathbf{X}.$$

Comme de plus, $\hat{\sigma}^2$ est une fonction de $\hat{\epsilon}$ on a $\hat{\beta}_{MCO} \perp \hat{\sigma}^2|\mathbf{X}$.

Remarquons aussi que la loi de $\hat{\sigma}^2$ est indépendante de $\mathbf{X}$.

On a donc pour toutes fonctions $f$ et $g$ :

$$\begin{aligned}
E\left(f(\hat{\beta}_{MCO})g(\hat{\sigma}^2)\right) &= E\left(E\left[f(\hat{\beta}_{MCO})g(\hat{\sigma}^2)\mid\mathbf{X}\right]\right) \\
&= E\left(E\left[f(\hat{\beta}_{MCO})\mid\mathbf{X}\right] E\left[g(\hat{\sigma}^2)\mid\mathbf{X}\right]\right) \\
&= E\left(E\left[f(\hat{\beta}_{MCO})\mid\mathbf{X}\right] E\left[g(\hat{\sigma}^2)\right]\right) \\
&= E\left(E\left[f(\hat{\beta}_{MCO})\mid\mathbf{X}\right] E\left(g(\hat{\sigma}^2)\right)\right) \\
&= E\left(f(\hat{\beta}_{MCO})\right) E\left(g(\hat{\sigma}^2)\right)
\end{aligned}$$

Donc $\hat{\beta}_{MCO} \perp \hat{\sigma}^2$.
– La loi de $\frac{\hat{\beta}_k - \beta_k}{\sqrt{\hat{\sigma}^2 [(\mathbf{X}'\mathbf{X})^{-1}]_{(k,k)}}}$

$$
\begin{align*}
\frac{\hat{\beta}_k - \beta_k}{\sqrt{\hat{\sigma}^2 [(\mathbf{X}'\mathbf{X})^{-1}]_{(k,k)}}} &\rightsquigarrow N(0, 1) \\
\frac{n - (K + 1)}{\hat{\sigma}^2} \hat{\sigma}^2 &\rightsquigarrow \chi^2_{n-(K+1)} \\
\frac{\hat{\beta}_k - \beta_k}{\sqrt{\hat{\sigma}^2 [(\mathbf{X}'\mathbf{X})^{-1}]_{(k,k)}}} &\perp \frac{n - (K + 1)}{\hat{\sigma}^2} \hat{\sigma}^2
\end{align*}
$$

Donc, par définition de la loi de Student,

$$
\frac{\hat{\beta}_k - \beta_k}{\sqrt{\hat{\sigma}^2 [(\mathbf{X}'\mathbf{X})^{-1}]_{(k,k)}}} \rightsquigarrow \text{Student}(n - (K + 1))
$$

– L'optimalité de l'estimateur

On se contentera ici de donner les grandes lignes de la démonstration.

On va raisonner dans un premier temps conditionnellement à X. On suppose donc que
$$
E[\tilde{\beta}, \hat{\sigma}^2 | X] = (\beta, \sigma^2).
$$

Une statistique exhaustive est une statistique qui "contient" toute l'information disponible dans l'échantillon susceptible d'être utilisée pour identifier les paramètres. Mathématiquement, $(\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO})$ est une statistique exhaustive si la densité des observations s'écrit sous la forme : $f_{Y|X}(\mathbf{y}) = g_{\beta,\sigma,X}(\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}) \cdot h(\mathbf{y})$.

C'est le cas car :

$$
\begin{align*}
f_{Y|X}(\mathbf{y}) &= (2\pi\sigma^2)^{-\frac{n}{2}} \cdot e^{-\left(-\frac{1}{2\sigma^2}\cdot(\mathbf{y}-\mathbf{X}\beta)'(\mathbf{y}-\mathbf{X}\beta)\right)} \\
&= (2\pi\sigma^2)^{-\frac{n}{2}} \cdot e^{-\left(-\frac{1}{2\sigma^2}\cdot(\mathbf{y}-\mathbf{X}\hat{\beta}_{MCO}+\mathbf{X}\hat{\beta}_{MCO}-\mathbf{X}\beta)'(\mathbf{y}-\mathbf{X}\hat{\beta}_{MCO}+\mathbf{X}\hat{\beta}_{MCO}-\mathbf{X}\beta)\right)} \\
&= (2\pi\sigma^2)^{-\frac{n}{2}} \cdot e^{\left[-\frac{1}{2\sigma^2}\cdot(\hat{\epsilon}\hat{\epsilon}+(\hat{\beta}_{MCO}-\beta)'(\mathbf{X}'\mathbf{X})(\hat{\beta}_{MCO}-\beta))\right]} \\
&= f_X(\mathbf{X}) \cdot (2\pi\sigma^2)^{-\frac{1}{2}} \cdot e^{\left[-\frac{1}{2\sigma^2}\cdot((n-(K+1))\hat{\sigma}^2_{MCO}+(\hat{\beta}_{MCO}-\beta)'(\mathbf{X}'\mathbf{X})(\hat{\beta}_{MCO}-\beta))\right]}
\end{align*}
$$

Une statistique exhaustive minimale est une statistique qui contient "toute l'information disponible pour l'identification" (c'est une statistique exhaustive), mais qui "ne contient que l'information nécessaire à l'identification" (elle peut se déduire de toute statistique exhaustive). Mathématiquement, cela s'écrit de la manière suivante : Une statistique $T^*$ est dite exhaustive minimale si pour toute statistique exhaustive $T$ il existe une fonction $h$ (mesurable) telle que $T^* = h(T)$.

Une statistique complète est une statistique $T$ qui vérifie la condition suivante :

$$
[\forall (\beta, \sigma^2) \in (\mathbb{R}^{K+1}, \mathbb{R}^{+*}) \ E[g(T)] = 0] \Rightarrow [g = 0 \ (\text{presque partout})]
$$

On admet le résultat suivant : si la loi des observations peut s'écrire sous la forme :

$$
f_{Y|X}(\mathbf{y}) = g_X(\mathbf{y}) \cdot K_X(\lambda_0, \lambda_1, \dots, \lambda_{K+1}) \cdot e^{\sum_{j=0}^{K+1} \lambda_j \cdot T_{X,j}(\mathbf{y})} \quad \text{avec } (\lambda_0, \lambda_1, \dots, \lambda_{K+1}) \in (\mathbb{R}^{K+1}, \mathbb{R}^{-})
$$

alors $(T_{X,0}, T_{X,1}, \dots, T_{X,K+1})$ est une statistique exhaustive minimale et complète (pour le
paramètre $(\lambda_0, \lambda_1, \dots, \lambda_{K+1}))$.

La loi que nous considérons peut bien se mettre sous une telle forme :

$$
\begin{align*}
f_{Y|X}(\mathbf{y}) &= (2\pi\sigma^2)^{-\frac{n}{2}} \cdot e^{-\left(-\frac{1}{2\sigma^2}\cdot(\mathbf{y}-\mathbf{X}\beta)'(\mathbf{y}-\mathbf{X}\beta)\right)} \\
&= (2\pi\sigma^2)^{-\frac{n}{2}} \cdot e^{-\left(-\frac{1}{2\sigma^2}(\beta'\mathbf{X}'\mathbf{X})\beta\right)} \cdot e^{-\left(-\frac{1}{2\sigma^2}(\mathbf{y}'\mathbf{y}-2\beta'\mathbf{X}'\mathbf{y})\right)} \\
&= (2\pi\sigma^2)^{-\frac{n}{2}} \cdot e^{-\left(-\frac{1}{2\sigma^2}(\beta'\mathbf{X}'\mathbf{X})\beta\right)} \cdot e^{-\left(-\frac{1}{2\sigma^2}\left(\sum_{j=0}^{K+1} \lambda_j \cdot T_{X,j}(\mathbf{y})\right)\right)} \\
&\text{avec } \lambda_k = -\frac{\beta_k}{2\sigma^2} \text{ et } T_{X,k}(\mathbf{y}) = \mathbf{x}_k \mathbf{y} \text{ pour } k = 0, \dots, K \\
&\lambda_k = -\frac{1}{2\sigma^2} \text{ et } T_{X,K+1}(\mathbf{y}) = \mathbf{y}'\mathbf{y}
\end{align*}
$$
De plus, on vérifie aisément que si $(T_{X,0}, T_{X,1}, \dots, T_{X,K+1})$ est une statistique exhaustive minimale et complète pour le paramètre $(\lambda_0, \lambda_1, \dots, \lambda_{K+1})$ alors $v(T_{X,0}, T_{X,1}, \dots, T_{X,K+1})$ est une statistique exhaustive minimale et complète pour le paramètre $u(\lambda_0, \lambda_1, \dots, \lambda_{K+1})$, pour $u$ et $v$ deux fonctions bijectives (bimesurables).

En prenant $u(\lambda_0, \lambda_1, \dots, \lambda_{K+1}) = -\frac{1}{2\lambda_{K+1}}(\lambda_0, \lambda_1, \dots, \lambda_K, 1)$

$$ \text{et } v(T_{X,0}, T_{X,1}, \dots, T_{X,K+1}) = \left[ \begin{array}{c} (\mathbf{X}'\mathbf{X})^{-1} \begin{pmatrix} T_{X,0} \\ \vdots \\ T_{X,K} \end{pmatrix} \\ \frac{1}{n-(K+1)} \left[ T_{X,K+1} - \begin{pmatrix} T_{X,0} \\ \vdots \\ T_{X,K} \end{pmatrix}' (\mathbf{X}'\mathbf{X})^{-1} \begin{pmatrix} T_{X,0} \\ \vdots \\ T_{X,K} \end{pmatrix} \right] \end{array} \right], $$

on déduit que $(\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO})$ est une statistique exhaustive minimale et complète pour $(\beta, \sigma^2)$.

Le théorème de Lehmann-Scheffé permet de conclure : si $\tilde{\beta}, \tilde{\sigma}^2$ est un estimateur tel que $E[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}] = (\beta, \sigma^2)$, $E[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}, \hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}]$ est également un estimateur vérifiant :

$E[E[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}, \hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}] | \mathbf{X}] = (\beta, \sigma^2)$. Donc la compléture de $(\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO})$ im-

plique que $E[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}, \hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}] = (\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO})$. Comme $V[E[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}, \hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}] | \mathbf{X}] \ll V[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}]$ on a $V[\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO} | \mathbf{X}] \ll V[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}]$. En intégrant par rapport à la loi de $\mathbf{X}$ on a $V[\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}] \ll V[\tilde{\beta}, \tilde{\sigma}^2]$.

Pour se passer de l'hypothèse $E[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}] = (\beta, \sigma^2)$, on applique le résultat obtenu à l'estimateur $(\tilde{\beta}, \tilde{\sigma}^2) - E[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}] + (\beta, \sigma^2)$. On en déduit que $V[\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}|\mathbf{X}] \ll V[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}]$. Donc, $V[\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}] = E[V[\hat{\beta}_{MCO}, \hat{\sigma}^2_{MCO}|\mathbf{X}]] \ll E[V[\tilde{\beta}, \tilde{\sigma}^2 | \mathbf{X}]] \ll V[\tilde{\beta}, \tilde{\sigma}^2]$ on obtient le résultat désiré.

<figure><img src="image_20.png" /></figure>

## 2.10 Comparaison avec l'estimateur du Maximum de Vraisemblance (MV)

**L'estimateur du maximum de vraisemblance** : l'estimateur du maximum de vraisemblance est obtenu comme son nom l'indique en trouvant les paramètres $\beta$ et $\sigma^2$ maximisant la vraisemblance de la loi des observations $(y_i, X_i)_{i=1,...,n}$.

### Expression de l'estimateur du MV

Sous les hypothèses $(H_1)$ et $(H_n)$, l'estimateur des moindres carrés de $\beta$ et $\sigma^2$ est lié à l'estimateur du maximum de vraisemblance de la façon suivante :

$$ \hat{\beta}_{MCO} = \hat{\beta}_{MV} \\ \hat{\sigma}^2_{MCO} = \frac{n}{n - (K + 1)} \hat{\sigma}^2_{MV} $$

Preuve :

<figure><img src="image_21.png" /></figure>

La loi du couple $((y_i)_{i=1,...,n}, (X_i)_{i=1,...,n})$ se décompose en un produit de la loi de $(X_i)_{i=1,...,n}$ et de la loi de $(y_i)_{i=1,...,n}|(X_i)_{i=1,...,n}$.

$$ \mathcal{L}_{(y_i)_{i=1,...,n}, (X_i)_{i=1,...,n}}(\mathbf{y}, \mathbf{X}, \beta, \sigma^2) = \mathcal{L}_{(X_i)_{i=1,...,n}}(\mathbf{X}) * \mathcal{L}_{(y_i)_{i=1,...,n}|(X_i)_{i=1,...,n}}(\mathbf{y}, \beta, \sigma^2) $$
Les valeurs de $\beta$ et de $\sigma^2$ qui maximisent la vraisemblance de $((y_i)_{i=1,...,n}, (X_i)_{i=1,...,n})$ sont donc celles qui maximisent la quantité $\mathcal{L}_{(y_i)_{i=1,...,n}|(X_i)_{i=1,...,n}}=\mathbf{x}(\mathbf{y}, \beta, \sigma^2)$. Sous l'hypothèse de normalité des résidus, cette dernière quantité s'écrit :

$$ \mathcal{L}_{Y|X=x}(y, \beta, \sigma^2) = \frac{1}{\sqrt{2\pi}\sigma^2 n} e^{-\frac{1}{2\sigma^2}(\mathbf{y}-\mathbf{X}\beta)'(\mathbf{y}-\mathbf{X}\beta)} $$

Maximiser cette quantité en $\beta$ revient à minimiser $(\mathbf{y} - \mathbf{X}\beta)' (\mathbf{y} - \mathbf{X}\beta)$ et donc l'estimateur des moindres carrés $\hat{\beta}_{MCO}$ coïncide avec l'estimateur du maximum de vraisemblance $\hat{\beta}_{MV}$. Concernant l'estimation de $\sigma^2$, le calcul donne $\hat{\sigma}^2_{MV} = \frac{1}{n} (\mathbf{y} - \mathbf{X}\hat{\beta}_{MV})' (\mathbf{y} - \mathbf{X}\hat{\beta}_{MV}) = \frac{1}{n} \hat{\epsilon}'\hat{\epsilon}$.

<figure><img src="image_22.png" /></figure>

**Remarques :** L'estimateur du maximum de vraisemblance de $\sigma^2$ sous-estime le paramètre car $E[\hat{\sigma}^2_{MV}] = \frac{n-(K+1)}{n}\sigma^2$, ce biais est négligeable lorsque le nombre d'individus observés est grand devant le nombre de covariables ($n \gg K$). Bien que biaisé à distance finie, cet estimateur est asymptotiquement sans biais.

Par ailleurs, on constate que l'estimateur des moindres carrés et celui du maximum de vraisemblance coïncident en ce qui concerne l'estimation de $\beta$, et deviennent équivalents lorsque $n$ devient grand en ce qui concerne l'estimation de $\sigma^2$. On en déduit que les propriétés asymptotiques de ces deux estimateurs seront les mêmes.

Sous des conditions assez générales de régularité, l'estimateur du maximum de vraisemblance est un estimateur asymptotiquement optimal des paramètres, parmi la classe des estimateurs asymptotiquement sans biais, c'est-à-dire que :

$$ \forall (\hat{\beta}, \hat{\sigma}^2) \text{ tels que } \forall (\beta, \sigma^2) \in (\mathbb{R}^{K+1}, \mathbb{R}^{*+}) \left\{ \begin{array}{l} E[\hat{\beta}] \xrightarrow{n \to +\infty} \beta \\ E[\hat{\sigma}^2] \xrightarrow{n \to +\infty} \sigma^2 \\ \lim_{n \to +\infty} E\left[\left(\frac{\hat{\beta} - \beta}{\hat{\sigma}^2 - \sigma^2}\right) \left(\frac{\hat{\beta} - \beta}{\hat{\sigma}^2 - \sigma^2}\right)'\right] \text{ existe} \end{array} \right. $$

Si on note $\leq$ l'opérateur de comparaison des matrices symétriques ($A \leq B$ signifie alors que $B - A$ est une matrice symétrique positive), on a :

$$ \lim_{n} E \left[ \left( \frac{\hat{\beta}_{MV} - \beta}{\hat{\sigma}^2_{MV} - \sigma^2} \right) \left( \frac{\hat{\beta}_{MV} - \beta}{\hat{\sigma}^2_{MV} - \sigma^2} \right)' \right] \leq \lim_{n} E \left[ \left( \frac{\hat{\beta} - \beta}{\hat{\sigma}^2 - \sigma^2} \right) \left( \frac{\hat{\beta} - \beta}{\hat{\sigma}^2 - \sigma^2} \right)' \right] $$

En particulier, on a :

$$ \lim_{n} V(\hat{\beta}_{MV}) \leq \lim_{n} V(\hat{\beta}) $$

$$ \lim_{n} V(\hat{\sigma}^2_{MV}) \leq \lim_{n} V(\hat{\sigma}^2) $$

On retrouve donc là dans un cadre asymptotique, la propriété à distance finie mise en évidence sur l'estimateur des moindres carrés ordinaires.

## 2.11 Programmation sous SAS

L'estimateur des MCO ainsi que toutes les statistiques de tests usuelles peuvent se calculer sous SAS grâce à la proc reg.

```sas
proc reg data=table;
    model Y= X1 X2 ... XK;
run; quit;
```
# Chapitre 3

## Le modèle à effets fixes

### 3.1 Le modèle théorique

#### 3.1.1 Le modèle théorique de base

Le modèle à effets fixes consiste à se placer sous l'hypothèse suivante :

$$y = X\beta + Z\gamma + \epsilon$$

Le paramètre $\beta = (\beta_0, \beta_1, ..., \beta_K)$ est un vecteur de taille $K + 1$ inconnu, représentant les covariances "nettes" entre $y$ et les $x_k$. $Z$ est la matrice de taille $n \times C$ permettant de regrouper les individus par classe. Elle est constituée en concatenant les $c$ vecteurs-colonnes $z_j$ indiquant quels individus appartiennent à la classe $j$. Le paramètre $\gamma = (\gamma_1, ..., \gamma_C)$ représente donc les différents effets "classe". Le nombre d'élèves observés dans la classe $j$ est noté $n_j$. Le vecteur $\epsilon = (\epsilon_{ij})_{1 \le i \le n_j, 1 \le j \le C}$ est un vecteur inconnu de perturbation : il s'agit de la part de variabilité des $y$ qui n'est pas liée aux variables $X$ et $Z$.

À première vue, cela ressemble fort au modèle linéaire classique que nous avons présenté dans la première partie. Trois types de difficultés apparaissent néanmoins : tout d'abord, il apparaît des relations de colinéarité entre les covariables de $X$ et les covariables de $Z$. D'autre part, le nombre d'élèves par classe étant borné (inférieur à 25 élèves dans le premier degré, à 40 dans le second degré), le nombre de classes présentes dans le fichier est très important ce qui pose des problèmes pratiques de calcul. Enfin, le nombre de classes est sensiblement proportionnel au nombre d'observations ce qui nécessite d'étudier attentivement le comportement asymptotique des estimateurs; si le nombre d'observations augmente, le nombre de classes présentes dans le fichier augmente également et donc le nombre de coefficients à estimer aussi.

**La colinéarité entre constante et effets "classe"**

La matrice $[X|Z]$ n'est pas de plein rang. En effet, on ne peut différencier les effets "classe" de l'effet constant sans imposer de restriction supplémentaire (car $x_0 = \sum_{j=1}^{c} z_j$). Trois méthodes sont alors possibles : soit on élimine la constante $x_0$, soit on élimine une des variables $Z$, soit on impose que la moyenne des effets "classe" est nulle.

Dans le premier cas (élimination de $x_0$), le coefficient $\gamma_j$ associé à chaque classe représentera le "y moyen" de la personne de référence modulé d'un effet "classe". Algébriquement, cela revient à imposer comme contrainte identifiante sur le modèle $\beta_0 = 0$.

Dans le deuxième cas (élimination de $z_{j_0}$), le coefficient $\gamma_j$ associé à chaque classe s'interprète comme le gain (ou la perte) à être scolarisé dans la classe $j$ plutôt que dans la classe $j_0$ ; le coefficient $\beta_0$ s'interprète comme le "y moyen" de la personne de référence dans la classe $j_0$. Algébriquement, cela revient à imposer comme contrainte identifiante sur le modèle $\gamma_{j_0} = 0$.

Dans le troisième cas (moyenne des effets "classe" nulle), le coefficient $\gamma_j$ associé à chaque classe s'interprète comme le gain (ou la perte) à être scolarisé dans la classe $j$ plutôt que dans "la classe moyenne"; le coefficient $\beta_0$ s'interprète comme le "y moyen" de la personne de référence dans "la classe moyenne". Algébriquement cela revient à imposer comme contrainte identifiante sur le modèle $\frac{1}{c} \sum_{j=1}^{c} \gamma_j = 0$.
La troisième méthode d'estimation est sans doute la plus naturelle à interpréter. Mais il faut noter que les coefficients associés aux variables **X** autre que la constante ne sont pas affectés par la méthode et que les coefficients $\beta_0$ et $\gamma_j$ peuvent facilement se déduire d'une méthode à l'autre (par soustraction du coefficient contraint à 0).

### Le cas des variables constantes au sein de chaque classe

Cette modélisation pose un autre problème lorsque certaines variables sont constantes pour les élèves d'une même classe (par exemple le secteur de scolarisation, l'appartenance académique, des caractéristiques du professeur, etc.) : on ne peut pas identifier directement les effets associés à ces variables en présence d'effets "classe", ces variables doivent donc être retirées de la régression. C'est ce que nous supposerons par la suite. En revanche, dans une deuxième étape on peut étudier les corrélations entre ces variables et les effets "classe" estimés, même si la prudence est recommandée concernant une interprétation en terme d'impact causal.

### L'optique asymptotique

Enfin, et c'est un point sur lequel nous reviendrons plus en détail, il faut bien avoir à l'esprit que dans une optique asymptotique, on ne peut considérer que le nombre de classes reste fixe alors que le nombre d'élèves sur lesquels porte l'estimation devient très grand. Plus on dispose d'une information riche (on observe beaucoup d'élèves), plus le nombre de paramètres à estimer devient grand (car le nombre de classes augmente), ne pas prendre en compte une telle dépendance peut amener à surestimer la précision des estimateurs.

## 3.2 Identification et définition de l'estimateur

### 3.2.1 Identification du modèle

La prise en compte des remarques concernant la colinéarité des covariables peut se formaliser de la manière suivante :

#### Formalisation et notations

On considère le modèle suivant :

$$y = X\beta + Z\gamma + \epsilon$$

On ne suppose plus que $\mathbf{A} = [\mathbf{X}, \mathbf{Z}]$ est de plein rang colonne car $\mathbf{x}_0 = \sum_{j=1}^C \mathbf{z}_j$. Si on note

$$e = \begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \\ -1 \\ \vdots \\ -1 \end{pmatrix}, \text{ on a alors } \mathbf{A}e = 0.$$

On suppose néanmoins que les vecteurs $[(\mathbf{x}_k)_{k=1,...,K}(\mathbf{z}_j)_{j=1,...,C}]$ sont libres ce qui signifie en particulier qu'aucune variable $\mathbf{x}_k$ ne peut être systématiquement constante pour les élèves d'une même classe (on exclut donc les variables comme le secteur de scolarisation ou l'académie).

Le rang de la matrice $\mathbf{A}$ est donc $K + C$ (et non $K + C + 1$); les paramètres ne sont plus identifiables car $\mathbf{A}(\begin{pmatrix} \beta \\ \gamma \end{pmatrix}) = \mathbf{A}[(\begin{pmatrix} \beta \\ \gamma \end{pmatrix}) + \lambda e]$. Ainsi pour assurer l'identification, il faut donc ajouter une contrainte sur les paramètres. Les contraintes les plus naturelles sont $\beta_0 = 0$, $\gamma_{j_0} = 0$ ou $\sum_{j=1}^C \gamma_j = 0$, elles peuvent toutes s'écrire sous la forme $R'(\begin{pmatrix} \beta \\ \gamma \end{pmatrix}) = 0$.

De manière plus générale, du point de vue de l'identification des paramètres, il importe juste que
$R$ vérifie $R = \begin{pmatrix} * \\ 0 \\ \vdots \\ 0 \\ * \\ \vdots \\ * \end{pmatrix}$ (ce qui signifie intuitivement que $R$ ne fait pas porter de contraintes sur les paramètres $(\beta_1, \beta_2, \dots, \beta_K)$ et $R' \neq 0$ (dans le cas contraire la contrainte est mal choisie car elle n'apporte pas d'information).

L'interprétation des paramètres estimés dépend du type de contrainte prise en compte.

<table><thead><tr><th></th><th></th><th>Interprétation dans le cas où Y est une mesure de la réussite scolaire</th></tr></thead><tbody><tr><td>β<sub>0</sub> = 0</td><td>R = <span style="font-size: 2.5em; vertical-align: middle;">(</span><table><tbody><tr><td>1</td></tr><tr><td>0</td></tr><tr><td>...</td></tr><tr><td>0</td></tr></tbody><span style="font-size: 2.5em; vertical-align: middle;">)</span></td><td>γ<sub>j</sub> représente la réussite moyenne dans la classe une fois contrôlé les caractéristiques X des élèves.</td></tr><tr><td>γ<sub>j<sub>0</sub></sub> = 0</td><td>R = <span style="font-size: 2.5em; vertical-align: middle;">(</span><table><tbody><tr><td>0</td></tr><tr><td>...</td></tr><tr><td>0</td></tr><tr><td>1</td></tr><tr><td>0</td></tr><tr><td>...</td></tr><tr><td>0</td></tr></tbody><span style="font-size: 2.5em; vertical-align: middle;">)</span></td><td>β<sub>0</sub> représente la réussite moyenne dans la classe de la classe j<sub>0</sub> une fois contrôlé les caractéristiques X des élèves et γ<sub>j</sub> représente la "sur" ou la "sous" réussite de la classe j par rapport à la classe j<sub>0</sub>.</td></tr><tr><td>Σ<sup>C</sup><sub>j=1</sub> γ<sub>j</sub> = 0</td><td>R = <span style="font-size: 2.5em; vertical-align: middle;">(</span><table><tbody><tr><td>0</td></tr><tr><td>...</td></tr><tr><td>0</td></tr><tr><td>1</td></tr><tr><td>...</td></tr><tr><td>1</td></tr></tbody><span style="font-size: 2.5em; vertical-align: middle;">)</span></td><td>β<sub>0</sub> représente la réussite moyenne des élèves à X donné et en contrôlant des effets "classe", γ<sub>j</sub> représente la "sur" ou la "sous" réussite de la classe j par rapport à la classe moyenne.</td></tr></tbody></table>

Finalement, cela nous conduit à formuler une première hypothèse nécessaire pour assurer l'identification.

### Hypothèse de rang et normalisation des effets fixes

$$ (H'_1) : \mathbf{A} \text{ est de rang } K+C, R = \begin{pmatrix} * \\ 0 \\ \vdots \\ 0 \\ * \\ \vdots \\ * \end{pmatrix} \quad \text{et} \quad R' \begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \\ -1 \\ \vdots \\ -1 \end{pmatrix} \neq 0. $$

**Remarque :** par rapport à la présentation du modèle linéaire "de base" cf.2, cette hypothèse joue le même rôle que $(H_1)$ : assurer l'identification du modèle.
### 3.2.2 Définition de l'estimateur des Moindres Carrés Contraints (MCC)

#### Estimateur des Moindres Carrés Contraints (MCC)

Sous l'hypothèse ($H'_1$), l'estimateur des moindres carrés contraints défini par :

$$ \begin{pmatrix} \hat{\beta} \\ \hat{\gamma} \end{pmatrix} = \underset{(\beta', \gamma') \in \mathcal{C}}{\operatorname{Argmin}} (\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma)' (\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma) $$

avec $\mathcal{C} = \{(\beta', \gamma') \in \mathbb{R}^{K+C+1} | R' \begin{pmatrix} \beta \\ \gamma \end{pmatrix} = 0\}$ existe et est unique.

Son expression est :

$$ \begin{pmatrix} \hat{\beta} \\ \hat{\gamma} \end{pmatrix} = \begin{pmatrix} 1 & & & 0 \\ & \ddots & & \vdots \\ & & \ddots & \\ 1 & & & 0 \end{pmatrix} \begin{pmatrix} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{pmatrix}^{-1} \begin{pmatrix} \mathbf{A}'\mathbf{y} \\ 0 \end{pmatrix} $$

Preuve :

□ On cherche donc à minimiser la quantité suivante : $\frac{1}{2}(\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma)'(\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma)$ sous contrainte que $R' \begin{pmatrix} \beta \\ \gamma \end{pmatrix} = 0$.

Cela implique d'annuler le gradient du lagrangien $L(\beta, \gamma, l) = \frac{1}{2}(\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma)'(\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma) + lR' \begin{pmatrix} \beta \\ \gamma \end{pmatrix}$. Comme $\frac{\partial L}{\partial(\beta,\gamma)} = -\mathbf{A}'(\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma) + lR$ et $\frac{\partial L}{\partial l} = R' \begin{pmatrix} \beta \\ \gamma \end{pmatrix}$, on en déduit que :

$$ \begin{pmatrix} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{pmatrix} \begin{pmatrix} \hat{\beta} \\ \hat{\gamma} \\ \hat{l} \end{pmatrix} = \begin{pmatrix} \mathbf{A}'\mathbf{y} \\ 0 \end{pmatrix} $$

Pour pouvoir conclure, il faut s'assurer que la matrice $\begin{pmatrix} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{pmatrix}$ est inversible : soit un vecteur $\mathbf{v}$ tel que $\begin{pmatrix} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{pmatrix} \mathbf{v} = \begin{pmatrix} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{pmatrix} \begin{pmatrix} \mathbf{v}_1 \\ \mathbf{v}_2 \end{pmatrix} = 0$. On a donc :

$$ \begin{cases} \mathbf{A}'\mathbf{A}\mathbf{v}_1 + R\mathbf{v}_2 = 0 \\ R'\mathbf{v}_1 = 0 \end{cases} $$

Si on pré-multiplie la première ligne par $\mathbf{v}'_1$, comme $\mathbf{v}_1 \in \operatorname{Ker}(R')$, on obtient donc que $\mathbf{v}'_1\mathbf{A}'\mathbf{A}\mathbf{v}_1 = 0$ ce qui implique que $\mathbf{v}_1 \in \operatorname{Ker}(\mathbf{A})$, la première partie de l'hypothèse ($H'_1$) permet de conclure que $\mathbf{v}_1 = 0$. On en déduit alors que $R\mathbf{v}_2 = 0$, comme $R$ est non nul et que $\mathbf{v}_2$ est un réel, on en déduit que $\mathbf{v}_2 = 0$. La matrice $\begin{pmatrix} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{pmatrix}$ est donc inversible.

<figure><img src="image_23.png" /></figure>

### 3.2.3 Remarque sur le multiplicateur de Lagrange dans l'estimation directe

La plupart des logiciels de statistique permettent de calculer directement des estimateurs des moindres carrés contraints. Certains logiciels ont besoin d'estimer dans un premier temps le modèle sans contrainte, ce qui dans notre cas pose un problème (le modèle non contraint n'étant pas identifiable). Cependant la proc reg de SAS ne souffre pas d'un tel défaut. Une programmation "directe" peut donc être utilisée lorsque le nombre de classes n'est pas trop grand. Cette méthode présente l'avantage de calculer directement les écarts-types et les statistiques de test des estimateurs (cf. 3.4 pour la définition des statistiques de test). Le détail de la programmation sera présenté en 3.6.2, mais nous allons présenter une propriété intéressante de l'estimateur obtenu dans la mesure où celle-ci peut (dans notre cas particulier) constituer une vérification des programmes.
Propriété du multiplicateur de Lagrange

On considère le modèle suivant :

$$
\mathbf{y} = \mathbf{X}\beta + \mathbf{Z}\gamma + \epsilon \quad \text{et} \quad \mathbf{R}'\begin{pmatrix} \beta \\ \gamma \end{pmatrix} = 0
$$

$$
\text{On note } \mathcal{C} = \left\{ (\beta', \gamma') \in \mathbb{R}^{K+C+1} \middle| R' \begin{pmatrix} \beta \\ \gamma \end{pmatrix} = 0 \right\}.
$$

$$
(H'_1) : \mathbf{A} = [\mathbf{X}, \mathbf{Z}] \text{ est de rang } K+C, \mathbf{R} = \begin{pmatrix} * \\ 0 \\ \vdots \\ 0 \\ * \\ \vdots \\ * \end{pmatrix} \quad \text{et} \quad \mathbf{R}' \begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \\ -1 \\ \vdots \\ -1 \end{pmatrix} \neq 0.
$$

Sous l'hypothèse $(H'_1)$, on a alors la propriété suivante :

$$
\left( \begin{array}{c} \hat{\beta} \\ \hat{\gamma} \end{array} \right) = \underset{(\beta', \gamma') \in \mathcal{C}}{\operatorname{Argmin}} (\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma)' (\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma)
$$

⇔

$$
\left( \begin{array}{c} \hat{\beta} \\ \hat{\gamma} \\ 0 \end{array} \right) = \underset{(\beta', \gamma', l) \in \mathbb{R}^{K+C+2}}{\operatorname{Argmin}} (\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma)' (\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma) - 2\ell R' \begin{pmatrix} \beta \\ \gamma \end{pmatrix}
$$

**Remarque :** Le multiplicateur de Lagrange $l$ représente le coût en terme de la variance ex-
pliquée, d'avoir imposé la contrainte $R'\begin{pmatrix} \beta \\ \gamma \end{pmatrix} = 0$. Dans le cas qui nous intéresse, ce coût est
nul, la contrainte étant uniquement imposée pour éliminer les solutions ne correspondant pas à la
référence que l'on s'est fixée. Ce paramètre est donc nul ou numériquement très faible (cela peut
constituer une vérification de la programmation).

Cette propriété traduit mathématiquement le fait que la contrainte imposée n’est pas "informa-
tive". Elle joue uniquement un rôle d’identification afin d’imposer une solution unique au problème
(seule l’interprétation des paramètres estimés change). Elle ne modifie donc pas la qualité globale
du prédicteur X̂β + Ẑγ. Si la contrainte avait réellement apporté de l’information (par exemple
parce qu’on a un modèle théorique qui nous indique que les paramètres doivent vérifier une relation
particulière), le multiplicateur de Lagrange l serait non nul, ce qui conduirait à un prédicteur d’une
autre qualité (une meilleure qualité si la contrainte est prise en compte à juste titre, une moins
bonne si la contrainte est prise en compte à mauvais escient). Dans un tel cas, le carré de l’esti-
mateur du multiplicateur de Lagrange suit une loi Beta sous l’hypothèse de normalité des résidus
(cf. "A Note on the Role of Independence in t Statistics Constructed From Linear Statistics in
Regression Models" de La Motte publié dans The American Statistician en 1994).

Preuve :

□

Les conditions d'optimisation du premier ordre sont : $\mathbf{A}'\mathbf{A}\left(\begin{pmatrix} \hat{\beta} \\ \hat{\gamma} \end{pmatrix}\right) + \hat{l}R = \mathbf{A}'\mathbf{y}$ et $R'\left(\begin{pmatrix} \hat{\beta} \\ \hat{\gamma} \end{pmatrix}\right) = 0$.

Si on note $e$ le vecteur $\begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \\ -1 \\ \vdots \\ -1 \end{pmatrix}$, on a $e'\mathbf{A}' = 0$ et $e'R \neq 0$. La nullité de $\hat{\lambda}$ s'obtient alors en pré-
multipliant par $e'$ l'équation $\mathbf{A}'\mathbf{A}(\begin{pmatrix} \hat{\beta} \\ \hat{\gamma} \end{pmatrix}) + \hat{l}R = \mathbf{A}'\mathbf{y}$.

<figure><img src="image_24.png" /></figure>

Cependant, l'estimateur est rarement calculé sous cette forme pour des raisons pratiques : si le nombre de classes dans le fichier est très grand, il devient très lourd d'inverser "brutalement" la matrice $\begin{pmatrix} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{pmatrix}$. Une méthode de calcul tirant parti de la structure de la matrice à inverser pour réduire la taille du problème est précieuse dans ce cas.

D'autre part, à partir de la forme précédente de l'estimateur, il n'est pas aisé d'étudier les propriétés asymptotiques de l'estimateur à partir de son expression précédente.

Il est plus aisé de calculer et d'étudier cet estimateur en "décomposant les problèmes" et en traitant d'une part ce qui relève de $\hat{\beta}$ et d'autre part ce qui relève de $\hat{\gamma}$. C'est ce que nous permet de faire une projection sur la dimension intra-classe.

## 3.3 Estimation par projection sur la dimension intra-classe

L'estimateur des moindres carrés avec prise en compte d'un effet "classe" pose deux types de difficultés par rapport au modèle linéaire classique : d'une part des difficultés pratiques car le nombre de classes peut être très grand ce qui alourdit les calculs, d'autre part des difficultés théoriques car dans une approche asymptotique, au fur et à mesure que le nombre d'élèves augmente, le nombre de classes observées augmente aussi alors que le nombre d'élèves dans une classe donnée restera borné (les effets "classe" ne pourront jamais être connus avec une très grande précision).

Le théorème de Frisch-Waugh permet de surmonter ces deux types de difficultés, en séparant l'estimation des paramètres $\beta$ de celle du paramètre $\gamma$. D'un point de vue pratique l'intérêt d'une telle décomposition est de réduire la dimension du problème. D'un point de vue théorique, cette décomposition permet d'étudier séparément les propriétés asymptotiques et à distance finie des estimateurs de $\beta$ et de $\gamma$.

### 3.3.1 Le théorème de Frisch-Waugh

Le théorème de Frisch-Waugh permet d'expliciter la dépendance entre deux sous-ensembles de variables explicatives. Nous allons d'abord en présenter une version dans un cadre général. Puis nous l'appliquerons pour estimer le modèle à effets fixes.

**Théorème de Frisch-Waugh sous l'hypothèse ($H_1$)**

$$y = \mathbf{X}\beta + \epsilon$$

($H_1$) : La matrice $\mathbf{X}$ est de plein rang colonne.

On peut décomposer $\mathbf{X}$ et $\beta$ selon deux sous-ensembles de variables $\mathbf{y} = \mathbf{X}_1\beta_1 + \mathbf{X}_2\beta_2 + \epsilon$ avec $\mathbf{X} = [\mathbf{X}_1, \mathbf{X}_2]$, $\beta = \begin{pmatrix} \beta_1 \\ \beta_2 \end{pmatrix}$ et $\hat{\beta}_{MCO} = \begin{pmatrix} \hat{\beta}_1 \\ \hat{\beta}_2 \end{pmatrix}$. Si on note $M_{\mathbf{X}_2}$ la matrice $1 - \mathbf{X}_2(\mathbf{X}'_{\mathbf{X}_2}\mathbf{X}_2)^{-1}\mathbf{X}'_{\mathbf{X}_2}$

alors :

$$\hat{\beta}_1 = ((M_{\mathbf{X}_2}\mathbf{X}_1)' (M_{\mathbf{X}_2}\mathbf{X}_1))^{-1} (M_{\mathbf{X}_2}\mathbf{X}_1)' (M_{\mathbf{X}_2}\mathbf{y}) \\ \hat{\beta}_2 = (\mathbf{X}'_{\mathbf{X}_2}\mathbf{X}_2)^{-1} \mathbf{X}'_{\mathbf{X}_2} (\mathbf{y} - \mathbf{X}_1\hat{\beta}_1)$$

La première équation s'interprète comme le fait qu'on peut estimer $\hat{\beta}_1$ uniquement en régressant $M_{\mathbf{X}_2\mathbf{X}_1}$ (c'est-à-dire la projection de $\mathbf{X}_1$ sur l'espace orthogonal à $\mathbf{X}_2$ ou autrement dit les résidus estimés par la régression de $\mathbf{X}_1$ sur $\mathbf{X}_2$) sur $M_{\mathbf{X}_2\mathbf{y}}$ (la projection de $\mathbf{y}$ sur le même espace). La deuxième équation s'interprète comme le fait qu'on peut estimer $\hat{\beta}_2$ uniquement en régressant sur $\mathbf{X}_2$ la quantité $\mathbf{y} - \mathbf{X}_1\hat{\beta}_1$, c'est-à-dire la part de $\mathbf{y}$ non expliquée par $\mathbf{X}_2$.
Preuve :

<figure><img src="image_25.png" /></figure>

La condition $\mathbf{X}'(\mathbf{y} - \mathbf{X}\hat{\beta}_{MCO}) = 0$ se décline en :

$$ \mathbf{X}'_1 (\mathbf{y} - \mathbf{X}_1 \hat{\beta}_1 - \mathbf{X}_2 \hat{\beta}_2) = 0 $$

$$ \mathbf{X}'_2 (\mathbf{y} - \mathbf{X}_1 \hat{\beta}_1 - \mathbf{X}_2 \hat{\beta}_2) = 0 $$

La deuxième équation implique $\hat{\beta}_2 = (\mathbf{X}'_2\mathbf{X}_2)^{-1}\mathbf{X}_2(\mathbf{y} - \mathbf{X}_1\hat{\beta}_1)$.

On injecte l'expression de $\hat{\beta}_2$ ainsi obtenu dans la première équation et on obtient :

$$ \mathbf{X}'_1 (\mathbf{y} - \mathbf{X}_1 \hat{\beta}_1 - \mathbf{X}_2 (\mathbf{X}'_2 \mathbf{X}_2)^{-1} \mathbf{X}'_2 (\mathbf{y} - \mathbf{X}_1 \hat{\beta}_1)) = 0 $$

$$ \text{soit } \mathbf{X}'_1 M_{\mathbf{X}_2} (\mathbf{y} - \mathbf{X}_1 \hat{\beta}_1) = 0 $$

Comme $M_{\mathbf{X}_2}^2 = M_{\mathbf{X}_2} = M_{\mathbf{X}_2}'$ cela peut encore se réécrire :

$$ (M_{\mathbf{X}_2} \mathbf{X}_1)' (M_{\mathbf{X}_2} \mathbf{y} - M_{\mathbf{X}_2} \mathbf{X}_1 \hat{\beta}_1) = 0 $$

<figure><img src="image_26.png" /></figure>

Dans la formulation classique du théorème de Frisch-Waugh, on suppose que la matrice des variables explicatives est de plein rang. Ce n'est pas le cas dans le modèle à effets fixes que l'on cherche à estimer, ce qui implique une petite adaptation.

### 3.3.2 Le théorème de Frisch-Waugh appliqué au modèle à effets fixes

Théorème de Frisch-Waugh appliqué à l'estimation des effets intra-classe

$$ \mathbf{y} = \mathbf{X}\beta + \mathbf{Z}\gamma + \epsilon $$

La matrice de projection sur l'espace orthogonal aux indicatrices de classes $M_{\mathbf{Z}}$ est l'opérateur de différence à la moyenne de la classe, cet opérateur est généralement noté $W$ (pour opérateur "Within") :

$$ M_{\mathbf{Z}}\mathbf{U} = \left( u_{i,j} - \frac{1}{n_j} \sum_{k \in j} u_{k,j} \right)_{j=1 \dots C, i=1 \dots n_j} = W\mathbf{U} $$

Comme cela est fait dans le théorème de Frisch-Waugh, on peut définir des estimateurs "Within" $\hat{\beta}_W$ et $\hat{\gamma}_W$ :

$$ \hat{\beta}_W = \left( ((W\mathbf{X}_{-0})'(W\mathbf{X}_{-0}))^{-1} (W\mathbf{X}_{-0})' (W\mathbf{y}) \right) = \left( (\mathbf{X}'_{-0}W\mathbf{X}_{-0})^{-1} (\mathbf{X}'_{-0}W\mathbf{y}) \right) $$

$$ \hat{\gamma}_W = (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}' (\mathbf{y} - \mathbf{X}\hat{\beta}_W) $$

Les estimateurs "Within" coïncident avec l'estimateur des moindres carrés obtenu sous la contrainte identifiante $\beta_{0} = 0$. On peut retrouver par combinaison linéaire les estimateurs pour les contraintes $\gamma_{j0} = 0$ et $\sum_{j=1}^{C} \gamma_j = 0$.

<table><thead><tr><th>Contrainte</th><th>Estimateur</th></tr></thead><tbody><tr><td>β<sub>0</sub> = 0</td><td>(β'<sub>β<sub>0</sub>=0</sub>, γ'<sub>β<sub>0</sub>=0</sub>) = (β'<sub>W</sub>, γ'<sub>W</sub>)</td></tr><tr><td>γ<sub>j0</sub> = 0</td><td>(β'<sub>γ<sub>j0</sub>=0</sub>, γ'<sub>γ<sub>j0</sub>=0</sub>) = (β'<sub>W</sub> + (γ'<sub>Wj0</sub>, 0, ..., 0), γ'<sub>W</sub> - (γ'<sub>Wj0</sub>, γ'<sub>Wj0</sub>, ..., γ'<sub>Wj0</sub>))</td></tr><tr><td>Σ<sup>C</sup><sub>j=1</sub> γ<sub>j</sub> = 0</td><td>(β'<sub>Σ<sup>C</sup><sub>j=1</sub> γ<sub>j</sub>=0</sub>, γ'<sub>Σ<sup>C</sup><sub>j=1</sub> γ<sub>j</sub>=0</sub>) = (β'<sub>W</sub> + (1/C Σ<sup>C</sup><sub>j=1</sub> γ'<sub>Wj</sub>, 0, ..., 0), γ'<sub>W</sub> - (1/C Σ<sup>C</sup><sub>j=1</sub> γ'<sub>Wj</sub>, ..., 1/C Σ<sup>C</sup><sub>j=1</sub> γ'<sub>Wj</sub>))</td></tr></tbody></table>
Preuve :

□

Le calcul permet de vérifier la propriété concernant $M_Z$.

$$ \text{On a } \mathbf{Z}'\mathbf{U} = \begin{pmatrix} \sum_{k \in 1} u_{k,1} \\ \sum_{k \in 2} u_{k,2} \\ \vdots \\ \sum_{k \in C} u_{k,C} \end{pmatrix} \text{ et } (\mathbf{Z}'\mathbf{Z})^{-1} = \begin{bmatrix} \frac{1}{n_1} & & (0) \\ & \ddots & \\ (0) & & \frac{1}{n_C} \end{bmatrix} $$

Donc :

$$ (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{U} = \begin{pmatrix} \frac{1}{n_1} \sum_{k \in 1} u_{k,1} \\ \frac{1}{n_2} \sum_{k \in 2} u_{k,2} \\ \vdots \\ \frac{1}{n_C} \sum_{k \in C} u_{k,C} \end{pmatrix} \quad \text{et} \quad \mathbf{Z} (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{U} = \begin{pmatrix} \frac{1}{n_1} \sum_{k \in 1} u_{k,1} \\ \vdots \\ \frac{1}{n_1} \sum_{k \in 2} u_{k,2} \\ \vdots \\ \frac{1}{n_2} \sum_{k \in 2} u_{k,2} \\ \vdots \\ \frac{1}{n_C} \sum_{k \in C} u_{k,C} \\ \vdots \\ \frac{1}{n_C} \sum_{k \in C} u_{k,C} \end{pmatrix} $$

finalement

$$ M_Z \mathbf{U} = \left( u_{i,j} - \frac{1}{n_j} \sum_{k \in j} u_{k,j} \right)_{j=1...C, i=1...n_j} $$

L'estimateur des moindres carrés du modèle sous la contrainte identifiante $\beta_0 = 0$ s'écrit :

$$ \left( \begin{array}{c} \hat{\beta} \\ \hat{\gamma} \end{array} \right) = \left( \begin{array}{c} 0 \\ \hat{\beta}_{-0} \\ \hat{\gamma} \end{array} \right) = \left( \begin{array}{c} 0 \\ \left( \left[ \mathbf{X}_{-0} | \mathbf{Z} \right]' \left[ \mathbf{X}_{-0} | \mathbf{Z} \right] \right)^{-1} \left[ \mathbf{X}_{-0} | \mathbf{Z} \right]' \mathbf{y} \end{array} \right) $$

avec $\hat{\beta}_{-0} = \begin{pmatrix} \hat{\beta}_1 \\ \vdots \\ \hat{\beta}_K \end{pmatrix}$ et $\mathbf{X}_{-0}$ la matrice des covariables privée de la colonne constante $\mathbf{x}_0$.

Il suffit alors d'appliquer le théorème de Frisch-Waugh au modèle $\mathbf{y} = \mathbf{X}_{-0}\beta_{-0} + \mathbf{Z}\gamma + \epsilon$ pour conclure que $(\hat{\beta}'_{\beta_0=0}, \hat{\gamma}'_{\beta_0=0}) = (\hat{\beta}'_W, \hat{\gamma}'_W)$.

Pour retrouver les estimateurs correspondant aux autres contraintes, il suffit de vérifier que les expressions proposées minimisent également la fonction objectif, tout en respectant la contrainte choisie, l'unicité de l'estimateur associé à chaque contrainte permet de conclure.

■

Dans le cas où les effets "classe" ne sont pas le sujet d'analyse en temps que tel, il peut être pertinent de les prendre en compte dans l'analyse des effets individuels sans pour autant les estimer. Pour cela, il suffit alors de raisonner en "écart à la moyenne au sein de la classe", les calculs sont alors grandement simplifiés et allégés. D'autre part, même lorsqu'on est intéressé par le fait d'estimer les effets "classe", il n'est pas toujours possible de procéder à une estimation "directe" (cf. 3.2.3) car les calculs deviennent trop lourds pour un micro-ordinateur classique.
On procède alors de la manière suivante :

## Estimation des paramètres du modèle à effets fixes

*Étape 1 : Calcul pour chaque individu des écarts de Y et $X_{-0}$ à la moyenne de sa classe. On récupère ainsi $WY = (y_{i,j} - \frac{1}{n_j} \sum_{k=1}^{n_j} y_{k,j})_{j=1...C, i=1...n_j}$ et $WX_{-0} = (X_{-0, i,j} - \frac{1}{n_j} \sum_{k=1}^{n_j} X_{-0, k,j})_{j=1...C, i=1...n_j}$.

*Étape 2 : On régresse $WY$ sur $WX_{-0}$, on récupère ainsi $\hat{\beta}_W$.

*Étape 3¹ : On calcule pour chaque individu l'écart entre la variable y et sa prédiction obtenue sans prendre en compte l'appartenance à la classe $Y - \hat{\beta}_W X_{-0}$.

*Étape 4² : On calcule classe par classe la moyenne des écarts $Y - \hat{\beta}_W X_{-0}$, on récupère ainsi les $\hat{\gamma}_W$.

*Étape 5³ : On normalise éventuellement $\hat{\beta}_W$ et $\hat{\gamma}_W$ pour obtenir les estimateurs sous contrainte $\sum_{j=1}^{C} \gamma_j = 0$ ou $\gamma_{j_0} = 0$.

*Étape 6 : Reste à calculer les écarts-types et les statistiques de test, cf. 3.4.7*

Dans certains cas (lorsque le nombre de classes n'est pas trop grand), il est possible d'estimer directement les paramètres du modèle avec la proc reg de SAS car cette procédure permet de prendre en compte des contraintes linéaires sur les paramètres. C'est naturellement bien plus confortable pour l'utilisateur.

# 3.4 Propriétés de l'estimateur des MCC

## 3.4.1 L'estimateur est-il sans biais ?

Comme dans le chapitre 2, nous allons étudier sous quelles hypothèses les estimateurs sont sans biais, et quelle est leur précision dans le cas homoscédastique. On repose donc le même type d'hypothèse que celles énoncées précédemment.

### Hypothèse d'exogénéité

$(H'_2)$ : L'espérance des résidus conditionnellement aux covariables est nulle ce qui s'écrit :

$$E[\epsilon|\mathbf{X}, \mathbf{Z}] = 0$$

On rappelle que cette hypothèse est loin d'être triviale et que lorsqu'elle est violée, on est par définition dans un cas d'endogénéité des régresseurs (cf. 2).

### Biais de l'estimateur

Sous les conditions $(H'_1)$ et $(H'_2)$, l'estimateur des MCC est sans biais, c'est-à-dire que :

$$E \left( \begin{pmatrix} \hat{\beta}_{MCC} \\ \hat{\gamma}_{MCC} \end{pmatrix} \right) = \begin{pmatrix} \beta \\ \gamma \end{pmatrix}$$

Preuve :

<figure><img src="image_27.png" /></figure>

Commençons par calculer l'espérance des estimateurs "Within" (qui correspond à la contrainte $\beta_0 = 0$), les autres cas se déduiront par combinaison linéaire.

<footnote n="1">1. Étape nécessaire uniquement si on cherche à estimer $\beta_0$ et $\gamma$.</footnote>

<footnote n="2">2. Idem.</footnote>

<footnote n="3">3. Idem.</footnote>
$$
\begin{align*}
E(\hat{\beta}_W) &= E \left[ \begin{pmatrix} 0 \\ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \mathbf{y} \end{pmatrix} \right] \\
&= E \left[ \begin{pmatrix} 0 \\ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W (\mathbf{X}\beta + \mathbf{Z}\gamma + \epsilon) \end{pmatrix} \right] \\
&= \beta - \begin{pmatrix} \beta_0 \\ 0 \\ \vdots \\ 0 \end{pmatrix} + E \left[ \begin{pmatrix} 0 \\ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \epsilon \end{pmatrix} \right] \quad \text{car } W\mathbf{Z} = 0 \text{ et } W\mathbf{x}_0 = 0 \\
&= \beta - \begin{pmatrix} \beta_0 \\ 0 \\ \vdots \\ 0 \end{pmatrix} + E \left[ \begin{pmatrix} 0 \\ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W E[\epsilon | \mathbf{X}, \mathbf{Z}] \end{pmatrix} \right] \\
&= \beta - \begin{pmatrix} \beta_0 \\ 0 \\ \vdots \\ 0 \end{pmatrix}
\end{align*}
$$

$$
\begin{align*}
E(\hat{\gamma}_W) &= E \left[ (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'(\mathbf{y} - \mathbf{X}'\hat{\beta}_W) \right] \\
&= \gamma + E \left[ (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{X}(\beta - \hat{\beta}_W) + (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\epsilon \right] \\
&= \gamma + E \left[ (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{X}E(\beta - \hat{\beta}_W | \mathbf{X}, \mathbf{Z}) + (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'E(\epsilon | \mathbf{X}, \mathbf{Z}) \right] \\
&= \gamma + E \left[ (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{X} \begin{pmatrix} \beta_0 \\ 0 \\ \vdots \\ 0 \end{pmatrix} + (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'E(\epsilon | \mathbf{X}, \mathbf{Z}) \right] \\
&= \gamma + \begin{pmatrix} \beta_0 \\ \beta_0 \\ \vdots \\ \beta_0 \end{pmatrix}
\end{align*}
$$

On en conclut que dans le cas où la contrainte est $\beta_0 = 0$, l'estimateur de moindres carrés contraints (qui coincide avec l'estimateur "Within") est sans biais.

Pour conclure dans le cas général, il suffit de remarquer que si on note $\begin{pmatrix} \beta_{\beta_0=0} \\ \gamma_{\beta_0=0} \end{pmatrix}$ la paramétrisation du modèle dans lequel on fixe la constante à 0, les autres paramétrisations du modèle (selon les différentes contraintes identifiantes retenues) s'écrivent sous la forme $\begin{pmatrix} \beta \\ \gamma \end{pmatrix} =$

$$
\left( \begin{array}{c} \beta_{\beta_0=0} \\ \gamma_{\beta_0=0} \end{array} \right) + \lambda \begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \\ 1 \\ \vdots \\ 1 \end{pmatrix}, \text{ avec } \lambda = \gamma_{\beta_0=0,j_0} \text{ ou encore } \frac{1}{C} \sum_{j=1}^{C} \gamma_{\beta_0=0,j}. \text{ On vérifie bien qu'à chaque}
$$

fois l'estimateur de $\lambda$ utilisé pour changer de contrainte est bien sans biais ($E(\hat{\gamma}_{Wj_0}) = \gamma_{\beta_0=0,j_0}$ et $E\left[\frac{1}{C}\sum_{j=1}^{C} \hat{\gamma}_{Wj}\right] = \frac{1}{C}\sum_{j=1}^{C} \gamma_{\beta_0=0,j}$).

<figure><img src="image_28.png" /></figure>

### 3.4.2 Quelle est la précision de l'estimateur ?

Après avoir étudié le biais de l'estimateur, on cherche naturellement à caractériser sa variance. On se place généralement sous l'hypothèse d'homoscédasticité.
## Hypothèse d'homoscédasticité

($H'_1$) : La variance des résidus conditionnellement aux covariables est telle que :

$$V[\epsilon|\mathbf{X}, \mathbf{Z}] = \sigma^2 I$$

## Variance des estimateurs

Sous les hypothèses ($H'_1$), ($H'_2$) et ($H'_3$), les variances des estimateurs "Within" (contrainte identifiante $\beta_0 = 0$) de $\beta$ et $\gamma$ conditionnellement aux covariables sont :

$$V(\hat{\beta}_W | \mathbf{X}, \mathbf{Z}) = \sigma^2 \begin{bmatrix} 0 & 0 & \dots & 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix} (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1}$$

$$V(\hat{\gamma}_W | \mathbf{X}, \mathbf{Z}) = \sigma^2 \left[ (\mathbf{Z}'\mathbf{Z})^{-1} + (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{X}_{-0} (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} \mathbf{Z} (\mathbf{Z}'\mathbf{Z})^{-1} \right]$$

Les variances des estimateurs "Within" sont donc :

$$V(\hat{\beta}_W) = V(\hat{\beta}_{\beta_0=0}) = \sigma^2 \begin{bmatrix} 0 & 0 & \dots & 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix} E \left[ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \right]$$

$$V(\hat{\gamma}_W) = V(\hat{\gamma}_{\beta_0=0}) = \sigma^2 E \left[ (\mathbf{Z}'\mathbf{Z})^{-1} + (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{X}_{-0} (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} \mathbf{Z} (\mathbf{Z}'\mathbf{Z})^{-1} \right]$$

Les variances des estimateurs des moindres carrés sous la contrainte identifiante $\gamma_{j_0} = 0$ sont de la forme :

$$V(\hat{\beta}_{\gamma_{j_0}=0}) = \begin{bmatrix} v_{j_0,j_0} & * & * & * \\ * & \sigma^2 E \left[ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \right] & * & * \\ * & * & \sigma^2 E \left[ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \right] & * \\ * & * & * & \sigma^2 E \left[ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \right] \end{bmatrix} \quad \text{avec } v_{j_0,j_0} = [V(\hat{\gamma}_W)]_{j_0,j_0}$$

$$V(\hat{\gamma}_{\gamma_{j_0}=0}) = \left( I_C - \begin{bmatrix} 0 & \dots & 0 & 1 & 0 & \dots & 0 \\ \vdots & \ddots & \vdots & \vdots & \ddots & \vdots & \ddots \\ 0 & \dots & 0 & 1 & 0 & \dots & 0 \end{bmatrix} \right) V(\hat{\gamma}_W) \left( I_C - \begin{bmatrix} 0 & \dots & 0 \\ \vdots & \ddots & \vdots \\ 0 & \dots & 0 \\ 1 & \dots & 1 \\ 0 & \dots & 0 \\ \vdots & \ddots & \vdots \\ 0 & \dots & 0 \end{bmatrix} \right)$$

Les variances des estimateurs des moindres carrés sous la contrainte identifiante $\sum_{j=1}^C \gamma_j = 0$ sont de la forme :

$$V(\hat{\beta}_{\sum_{j=1}^C \gamma_j=0}) = \begin{bmatrix} \bar{v} & * & * & * \\ * & \sigma^2 E \left[ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \right] & * & * \\ * & * & \sigma^2 E \left[ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \right] & * \\ * & * & * & \sigma^2 E \left[ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \right] \end{bmatrix} \quad \text{avec } \bar{v} = \frac{1}{C^2} \sum_{1 \le i,j \le C} [V(\hat{\gamma}_W)]_{i,j}$$

$$V(\hat{\gamma}_{\sum_{j=1}^C \gamma_j=0}) = \left( I_C - \frac{1}{C} \begin{bmatrix} 1 & \dots & 1 \\ \vdots & \ddots & \vdots \\ 1 & \dots & 1 \end{bmatrix} \right) V(\hat{\gamma}_W) \left( I_C - \frac{1}{C} \begin{bmatrix} 1 & \dots & 1 \\ \vdots & \ddots & \vdots \\ 1 & \dots & 1 \end{bmatrix} \right)$$
**Remarque :** La variance des $\hat{\beta}_j^W$ est toujours supérieure ou égale à $\frac{\sigma^2}{n_j}$. En effet, $[(Z'Z)^{-1}]_{j,j} = \frac{1}{n_j}$ et le deuxième terme apparaissant dans l'expression de la variance est positif. On remarque de plus que ce deuxième terme sera d'autant plus grand que les $X$ seront corrélés aux $Z$. Tout cela traduit deux idées : tout d'abord que la précision de l'estimation d'un effet "classe" est toujours limitée par le nombre nécessairement restreint d'élèves présents dans la classe (premier terme en $\frac{\sigma^2}{n_j}$), d'autre part que les effets "classe" sont d'autant plus difficiles à estimer précisément que les classes sont différentes en terme de composition (au sens des variables $X$).

Preuve :

□

$V(\hat{\beta}_W | \mathbf{X}, \mathbf{Z})$ se calcule facilement à partir de $\hat{\beta}_W = \begin{pmatrix} 0 \\ (\mathbf{X}'_0 W \mathbf{X}'_0)^{-1} \mathbf{X}'_0 W \end{pmatrix} \mathbf{y}$, sachant que
$$V(\mathbf{y} | \mathbf{X}, \mathbf{Z}) = \sigma^2 I_n.$$

$V(\hat{\gamma}_W | \mathbf{X}, \mathbf{Z}) = (Z'Z)^{-1} Z' V(\mathbf{y} - \mathbf{X}\hat{\beta}_W | \mathbf{X}, \mathbf{Z}) Z(Z'Z)^{-1}$ et comme $\mathbf{X}\hat{\beta}_W = \mathbf{X}'_0 (\mathbf{X}'_0 W \mathbf{X}'_0)^{-1} \mathbf{X}'_0 W \mathbf{y}$ on a :

$V(\hat{\gamma}_W | \mathbf{X}, \mathbf{Z}) = (Z'Z)^{-1} Z' [I_n - \mathbf{X}'_0 (\mathbf{X}'_0 W \mathbf{X}'_0)^{-1} \mathbf{X}'_0 W] V(\mathbf{y} | \mathbf{X}, \mathbf{Z}) [I_n - W \mathbf{X}'_0 (\mathbf{X}'_0 W \mathbf{X}'_0)^{-1} \mathbf{X}'_0] Z(Z'Z)^{-1}$.
On utilise ensuite le fait que $WZ = 0$ et $Z'W = 0$ pour obtenir le résultat annoncé.

Comme $E(\hat{\beta}_W | \mathbf{X}, \mathbf{Z}) = \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix}$ et $E(\hat{\gamma}_W | \mathbf{X}, \mathbf{Z}) = \gamma + \begin{pmatrix} \beta_0 \\ \vdots \\ \beta_0 \end{pmatrix}$ ne dépendent pas de $\mathbf{X}$ et de $\mathbf{Z}$, on a $V(\hat{\beta}_W) = E[V(\hat{\beta}_W | \mathbf{X}, \mathbf{Z})]$ et $V(\hat{\gamma}_W) = E[V(\hat{\gamma}_W | \mathbf{X}, \mathbf{Z})]$.

Comme $\hat{\beta}_{\gamma_{j_0}=0} = \hat{\beta}_W + \begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \end{pmatrix} \hat{\gamma}_{Wj_0}$, on a :
$$V(\hat{\beta}_{\gamma_{j_0}=0}) = V(\hat{\beta}_W) + \begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \end{pmatrix} V(\hat{\gamma}_{Wj_0}) (\begin{pmatrix} 1 & 0 & \cdots & 0 \end{pmatrix}) + [E(\hat{\beta}_W \hat{\gamma}_{Wj_0}) - E(\hat{\beta}_W) E(\hat{\gamma}_{Wj_0})] (\begin{pmatrix} 1 & 0 & \cdots & 0 \end{pmatrix}) + \begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \end{pmatrix} [E(\hat{\gamma}_{Wj_0} \hat{\beta}'_W) - E(\hat{\gamma}_{Wj_0}) E(\hat{\beta}'_W)].$$

La première composante de $\hat{\beta}_W$ étant toujours nulle, $V(\hat{\beta}_{\gamma_{j_0}=0}) = \begin{pmatrix} V(\hat{\gamma}_{Wj_0}) \\ * \\ 0 \end{pmatrix} + V(\hat{\beta}_W)$, et comme $V(\hat{\gamma}_{Wj_0}) = [V(\hat{\gamma}_W)]_{j_0,j_0}$, on obtient le résultat.

Le calcul de $V(\hat{\gamma}_{\gamma_{j_0}=0})$ est immédiat à partir de $\hat{\gamma}_{\gamma_{j_0}=0} = \begin{pmatrix} I_C - \begin{bmatrix} 0 & \cdots & 0 & 1 & 0 & \cdots & 0 \\ \vdots & & \vdots & \vdots & \vdots & & \vdots \\ 0 & \cdots & 0 & 1 & 0 & \cdots & 0 \end{bmatrix} & \hat{\gamma}_W \end{pmatrix}$.

Le calcul de $V(\hat{\beta}_{\sum_{j=1}^C \gamma_j=0})$ suit exactement le même cheminement que celui de $V(\hat{\beta}_{\gamma_{j_0}=0})$ une fois remarqué qu'on a $\hat{\beta}_{\sum_{j=1}^C \gamma_j=0} = \hat{\beta}_W + \begin{pmatrix} 1 \\ 0 \\ \vdots \\ 0 \end{pmatrix} \frac{1}{C} \sum_{j=1}^C \hat{\gamma}_j$.

Enfin, l'expression de $V(\hat{\gamma}_{\sum_{j=1}^C \gamma_j=0})$ se déduit du fait que $\hat{\gamma}_{\sum_{j=1}^C \gamma_j=0} = \begin{pmatrix} I_C - \frac{1}{C} \begin{bmatrix} 1 & \cdots & 1 \\ \vdots & & \vdots \\ 1 & \cdots & 1 \end{bmatrix} & \hat{\gamma}_W \end{pmatrix}$.
<figure><img src="image_29.png" /></figure>

### 3.4.3 Comment estimer la précision de l'estimateur ?

Comme dans le cas de l'estimateur des moindres carrés ordinaires dont les propriétés ont été rappelées en 2, la variance des estimateurs dépend de $\sigma^2$. Pour estimer la variance des estimateurs du modèle à effets fixes, on construit donc un estimateur de $\sigma^2$.

#### Estimation de la dispersion des inobservées

Sous les hypothèses $(H'_1)$, $(H'_2)$ et $(H'_3)$, l'estimateur :

$$ \hat{\sigma}^2 = \frac{(\widehat{W\epsilon})'(\widehat{W\epsilon})}{n - K - C} \quad \text{avec} \quad \widehat{W\epsilon} = W\mathbf{y} - W\mathbf{X}\hat{\beta}_W $$

est un estimateur sans biais du paramètre $\sigma^2$.

Preuve :

<figure><img src="image_30.png" /></figure>

On a :

$$ \begin{aligned} \mathbf{y} - \mathbf{X}\hat{\beta}_W &= \left[ I_n - \mathbf{X} \left( (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \right) \right] \mathbf{y} \\ &= \mathbf{x}_0 \beta_0 + \mathbf{Z}\gamma + \left[ I_n - \mathbf{X} \left( (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \right) \right] \epsilon \quad \text{car } W\mathbf{Z} = 0 \text{ et } W\mathbf{x}_0 = 0 \end{aligned} $$

On en déduit :

$$ \begin{aligned} E[\widehat{W\epsilon}' \widehat{W\epsilon} | \mathbf{X}, \mathbf{Z}] &= E\left[\epsilon' \left\{ W - W\mathbf{X} \left( (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \right) \right\} \epsilon | \mathbf{X}, \mathbf{Z} \right] \\ &= E\left[\text{Tr} \left( \epsilon \epsilon' \left\{ W - W\mathbf{X} \left( (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \right) \right\} \right) | \mathbf{X}, \mathbf{Z} \right] \\ &= \text{Tr} \left( E[\epsilon \epsilon' | \mathbf{X}, \mathbf{Z}] \left\{ W - W\mathbf{X} \left( (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \right) \right\} \right) \\ &= \sigma^2 \text{Tr} \left( W - W\mathbf{X} \left( (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \right) \right) \\ &= \sigma^2 \left[ \text{Tr}(W) - \text{Tr} \left\{ \begin{pmatrix} 0 \\ (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \end{pmatrix} W \mathbf{X} \right\} \right] \\ &= \sigma^2 \left[ \text{Tr}(W) - \text{Tr} \left\{ \begin{bmatrix} 0 & 0 \dots 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix} I_K \right\} \right] \end{aligned} $$

On conclut en remarquant que $\text{Tr}(W) = n - C$ et $\text{Tr}(I_K) = K$.

<figure><img src="image_31.png" /></figure>

Une fois construit un estimateur de $\sigma^2$, on en déduit simplement des estimateurs de la variance des estimateurs des paramètres du modèle.

#### Estimation de la variance des estimateurs

Sous les hypothèses $(H'_1)$, $(H'_2)$ et $(H'_3)$, les estimateurs :

$$ \hat{V}(\hat{\beta}_{\beta_0=0}) = \hat{V}(\hat{\beta}_W) = \hat{\sigma}^2 \begin{bmatrix} 0 & 0 & \dots & 0 \\ 0 & 0 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & 0 \end{bmatrix} $$
$$
\hat{V}(\hat{\gamma}_{\beta_0=0}) = \hat{V}(\hat{\gamma}_W) = \hat{\sigma}^2 \left[ (\mathbf{Z}'\mathbf{Z})^{-1} + (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{X}_{-0} (\mathbf{X}'_{-0}W\mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0}\mathbf{Z} (\mathbf{Z}'\mathbf{Z})^{-1} \right]
$$

sont des estimateurs sans biais des variances de $\hat{\beta}$ et $\hat{\gamma}$ si la contrainte identifiante est $\beta_0 = 0$.
On en déduit les estimateurs de variance suivants si la contrainte identifiante est $\gamma_{j_0=0}$ :

$$
\begin{gather*}
\hat{V}(\hat{\beta}_0) = \hat{v}_{j_0, j_0} [\hat{V}(\hat{\gamma}_W)]_{j_0, j_0} \\
\hat{V}\left(\begin{array}{c}
\hat{\beta}_1 \\
\hat{\beta}_2 \\
\vdots \\
\hat{\beta}_K
\end{array}\right) = \hat{\sigma}^2\left(\mathbf{X}'_{-0}W\mathbf{X}_{-0}\right)^{-1}
\end{gather*}
$$

$$
\hat{V}(\hat{\gamma}) = \left( I_C - \begin{bmatrix} 0 & \cdots & 0 & 1 & 0 & \cdots & 0 \\ \vdots & & \vdots & \vdots & \vdots & & \vdots & \\ 0 & \cdots & 0 & 1 & 0 & \cdots & 0 \end{bmatrix} \right) \hat{V}(\hat{\gamma}_W) \left( I_C - \begin{bmatrix} 0 & \cdots & 0 \\ \vdots & & \vdots \\ 0 & \cdots & 1 \\ 0 & \cdots & 0 \\ \vdots \\ 0 & \cdots & 0 \end{bmatrix} \right)
$$

... et les estimateurs de variance suivants si la contrainte identifiante est $\sum_{j=1}^{C} \gamma_j = 0$ :

$$
\hat{V}(\hat{\beta}_0) = \hat{v} = \frac{1}{C^2} \sum_{1 \le i,j \le C} [\hat{V}(\hat{\gamma}_W)]_{i,j}
$$

$$
\hat{V}\left(\begin{array}{c}
\hat{\beta}_{1} \\
\hat{\beta}_{2} \\
\vdots \\
\hat{\beta}_{K}
\end{array}\right)=\hat{\sigma}^{2}\left(\mathbf{X}_{-0}^{\prime} W \mathbf{X}_{-0}\right)^{-1}
$$

$$
\hat{V}(\hat{\gamma}) = \left( I_C - \frac{1}{C} \begin{bmatrix} 1 & \cdots & 1 \\ \vdots & & \vdots \\ 1 & \cdots & 1 \end{bmatrix} \right) \hat{V}(\hat{\gamma}_W) \left( I_C - \frac{1}{C} \begin{bmatrix} 1 & \cdots & 1 \\ \vdots & & \vdots \\ 1 & \cdots & 1 \end{bmatrix} \right)
$$

Preuve :

<figure><img src="image_32.png" /></figure>

C'est une conséquence directe du fait que $E[\hat{\sigma}^2|\mathbf{X}, \mathbf{Z}] = \sigma^2$.

<figure><img src="image_33.png" /></figure>

3.4.4 L'estimateur est-il convergent ?

Concernant les propriétés asymptotiques, il y a deux points importants à avoir à l'esprit : le premier concerne le caractère non convergent de $\hat{\gamma}_W$ et le second la dépendance de la convergence de $\hat{\beta}_W$ par rapport au nombre d'élèves mais également de classes.

Pour toute classe *j*, l'estimateur $\hat{\gamma}_j$ n'est pas convergent : une fois qu'on a pris en compte tous les élèves de la classe *j* pour estimer l'effet "classe" on ne peut plus mobiliser d'information, dans tous les cas l'effet "classe" n'est donc connu qu'à une marge (irréductible) d'incertitude près.

Par ailleurs, la vitesse de convergence de l'estimateur $\hat{\beta}$ ne dépend plus uniquement du nombre d'élèves mais également du nombre de classes : en augmentant le nombre d'élèves pris en compte dans l'analyse, on augmente également le nombre de classes, une part de l'information apportée par l'observation des élèves d'une classe *j* ne peut être utilisée pour estimer $\beta$ car il faut également estimer $\gamma_j$.
## Convergence en probabilité des estimateurs

Sous les hypothèses $(H'_1)$, $(H'_2)$ et $(H'_3)$

si

* $\frac{1}{n-C} \mathbf{X}'W\mathbf{X}$ tend en probabilité vers une matrice $\Sigma$ inversible quand $n$ tend vers $+\infty$

* $\frac{1}{n-C} \mathbf{X}'W\epsilon$ tend en probabilité vers 0 quand $n$ tend vers $+\infty$

Alors $\hat{\beta}_W$ tend vers $\begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix}$ en probabilité mais $\hat{\gamma}_W$ ne tend pas vers $\gamma + \begin{pmatrix} \beta_0 \\ \vdots \\ \beta_0 \end{pmatrix}$ en probabilité.

### Remarque :

Dans le cas qui nous intéresse où les unités sont $n$ élèves répartis en $C$ classes, il est assez raisonnable de supposer que lorsque $n$ tend vers $+\infty$, le nombre moyen d'élèves observés par classe $\frac{n}{C}$ tend vers une constante $c > 1$. Les hypothèses sont alors équivalentes à $\frac{1}{n}\mathbf{X}'W\mathbf{X}$ tend en probabilité vers $\tilde{\Sigma} = (1 - \frac{1}{c})\Sigma$ inversible et $\frac{1}{n}\mathbf{X}'W\epsilon$ tend en loi vers $N(0, \tilde{\Sigma})$ ou encore à $\frac{1}{C}\mathbf{X}'W\mathbf{X}$ tend en probabilité vers $\tilde{\Sigma} = (1 - c)\Sigma$ inversible et $\frac{1}{C}\mathbf{X}'W\epsilon$ tend en loi vers $N(0, \tilde{\Sigma})$. Le choix d'exprimer cette dernière hypothèse en utilisant la vitesse de convergence $\frac{1}{n-C}$ répond surtout au besoin de simplifier la présentation par la suite : en effet le nombre de degrés de liberté du modèle qui intervient dans la construction de la statistique de test se comporte en $n - C - K \sim n - C$.

Par ailleurs, cette hypothèse peut paraître assez abstraite mais elle peut être vue comme une conséquence de la loi des grands nombres et du théorème central limite. On donnera donc par la suite un jeu d'hypothèses moins abstraites mais plus fortes qui permettront de caractériser plus précisément la loi asymptotique de $\hat{\beta}_W$.

Preuve :

<figure><img src="image_34.png" /></figure>

Concernant la convergence de $\hat{\beta}_W$, il suffit de remarquer que :

$$ \hat{\beta}_W = \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix} + \left( \begin{pmatrix} 0 \\ \frac{1}{n-C} \mathbf{X}'_0 W \mathbf{X}'_0 \end{pmatrix}^{-1} \begin{pmatrix} 1 \\ \frac{1}{n-C} \mathbf{X}'_0 W \epsilon \end{pmatrix} \right) $$

($\frac{1}{n-C} \mathbf{X}'_0 W \mathbf{X}'_0$) $^{-1}$ qui tend en probabilité vers $\Sigma^{-1}$ et finalement ($\frac{1}{n-C} \mathbf{X}'_0 W \mathbf{X}'_0$) $^{-1}$ ($\frac{1}{n-C} \mathbf{X}'_0 W \epsilon$) tend en probabilité vers 0 d'après le théorème de Slutsky.

Concernant la non convergence de $\hat{\gamma}_W$, il suffit de s'intéresser à une classe $j$ particulière :

$$ \hat{\gamma}_{Wj} = \gamma_j + \beta_0 + \frac{1}{n_j} \sum_{i \in j} \mathbf{X}_i \left( \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix} - \hat{\beta}_W \right) + \frac{1}{n_j} \sum_{i \in j} \epsilon_i. \text{ Comme } \hat{\beta}_W \text{ converge (en probabilité) vers } \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix}, \hat{\gamma}_{Wj} \text{ converge vers } \gamma_j + \beta_0 \text{ si et seulement si } \frac{1}{n_j} \sum_{i \in j} \epsilon_i \text{ converge vers } 0. \text{ Cela n'est pas vérifié puisque } n_j \text{ est nécessairement borné par le nombre total d'élèves de la classe } j. $$

<figure><img src="image_35.png" /></figure>

### 3.4.5 Quelles sont les propriétés asymptotiques de l'estimateur ?

Pour caractériser plus précisément la loi de l'estimateur $\hat{\beta}_W$, nous allons appliquer des théorèmes de convergence "au niveau des classes". Il est donc nécessaire d'introduire des notations qui nous permettent de regrouper pour une même classe les différentes observations au niveau élève.
On note donc $\tilde{\mathbf{y}}_j$, $\tilde{\mathbf{X}}_{-0j}$ et $\tilde{\epsilon}_j$, les vecteurs obtenus en "empilant" les observations de la classe $j$. On note $W_j$, l'opérateur de comparaison à la moyenne au sein de la classe $j$. Son expression

$$ \text{matricielle est } I_{n_j} - \frac{1}{n_j} \begin{bmatrix} 1 & \dots & 1 \\ \vdots & \ddots & \vdots \\ 1 & \dots & 1 \end{bmatrix}. $$

## Hypothèse sur la structure de dépendance des observations

Hypothèse ($H'_{as}$) :

◇ Les nombres d'élèves observés par classe $n_j$ sont indépendants et identiquement distribués. On suppose de plus que $1 \le n_1 \le n_{sup} < +\infty$ presque sûrement et que $P(n_1 = 1) < 1$. Dans ces conditions, on a $1 < E(n_1) = \bar{n} < +\infty$.

◇ Les variables $(\tilde{\mathbf{y}}_j, \tilde{\mathbf{X}}_{-0j})_{j=1...C}$ sont indépendantes et identiquement distribuées conditionnellement à $n_j$.

◇ $E[\tilde{\mathbf{X}}'_{-01} W_1 \tilde{\mathbf{X}}_{-01}]$ existe et est inversible.

◇ $E[| (\tilde{\mathbf{X}}'_{-01} W_1 \tilde{\mathbf{X}}_{-01})_{(k,l)} |] < +\infty$ pour tout $0 \le l, k \le K$.

## Normalité asymptotique des estimateurs

Sous les hypothèses ($H'_1$), ($H'_2$), ($H'_3$) et ($H'_{as}$), on a les propriétés suivantes :

◇ L'estimateur $\hat{\beta}_W$ est convergent :

$$ \hat{\beta}_W \xrightarrow[n \to +\infty]{} \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix} $$

◇ L'estimateur "Within" est asymptotiquement normal :

$$ \sqrt{n-C} \left( \hat{\beta}_W - \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix} \right) \xrightarrow[n \to +\infty]{} \mathcal{N} \left( 0, \sigma^2 \begin{bmatrix} 0 & & & \\ & \ddots & & \\ & & \ddots & \\ & & & \sigma^2 \end{bmatrix} \right) $$

◇ L'estimateur $\hat{\sigma}^2$ est convergent :

$$ \hat{\sigma}^2 \xrightarrow[n \to +\infty]{} \sigma^2 $$

◇ On peut donc construire un estimateur convergent de la variance asymptotique de $\sqrt{n-C} \left( \hat{\beta}_W - \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix} \right)$ :

$$ (n-C)\hat{\sigma}^2 \begin{pmatrix} 0 & 0 \\ 0 & \mathbf{X}'_{-0} W \mathbf{X}_{-0} \end{pmatrix}^{-1} \xrightarrow[n \to +\infty]{} \sigma^2 \begin{bmatrix} 0 & 0 \\ 0 & (\bar{n}-1)E[\tilde{\mathbf{X}}'_{-01} W_1 \tilde{\mathbf{X}}_{-01}]^{-1} \end{bmatrix} $$

◇ Et enfin :

$$ \frac{1}{\sqrt{\hat{\sigma}^2}} \begin{pmatrix} 0 & 0 \\ 0 & (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{\frac{1}{2}} \end{pmatrix} \left( \hat{\beta}_W - \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix} \right) \xrightarrow[n \to +\infty]{} \mathcal{N} \left( 0, \begin{pmatrix} 0 & 0 \\ 0 & \mathbf{I}_K \end{pmatrix} \right) $$
Preuve :

<figure><img src="image_36.png" /></figure>

Concernant la convergence de $\hat{\beta}_W$, il suffit de montrer que $\frac{1}{n-C}\mathbf{X}'_{-0}W\mathbf{X}_{-0}$ et $\frac{1}{n-C}\mathbf{X}'_{-0}W\epsilon$ tendent (respectivement) en probabilité vers une matrice inversible $\Sigma$ et $0$.

$\frac{1}{n-C}\mathbf{X}'_{-0}W\mathbf{X}_{-0} = \frac{C}{n-C}\left(\frac{1}{C}\sum_{j=1}^{C}\tilde{\mathbf{X}}'_{-0j}W_j\tilde{\mathbf{X}}_{-0j}\right)$, la loi des grands nombres implique que $\frac{1}{C}\sum_{j=1}^{C}\tilde{\mathbf{X}}'_{-0j}W_j\tilde{\mathbf{X}}_{-0j} \xrightarrow[n\to+\infty]{p} \frac{1}{n-1}E\left[\tilde{\mathbf{X}}'_{-01}W_1\tilde{\mathbf{X}}_{-01}\right] = \Sigma$.

De même $\frac{1}{n-C}\mathbf{X}'_{-0}W\epsilon \xrightarrow[n\to+\infty]{p} \frac{1}{n-1}E\left[\tilde{\mathbf{X}}'_{-0}W_1\tilde{\mathbf{X}}_{-01}\right] = 0$ car $E[\epsilon|\mathbf{X}] = 0$.

La normalité asymptotique de $\hat{\beta}_W$ vient du fait que d'après le théorème de la limite centrée :

$$ \frac{1}{\sqrt{n-C}} \mathbf{X}'_{-0} W \epsilon \xrightarrow{\text{loi}} N(0, \sigma^2 \Sigma) \text{ on en déduit que } \sqrt{n-C} \left( \beta_W - \begin{pmatrix} 0 \\ \beta_1 \\ \vdots \\ \beta_K \end{pmatrix} \right) \xrightarrow{\text{loi}} N(0, \sigma^2 \Sigma^{-1} \Sigma \Sigma^{-1}). $$

La convergence de $\hat{\sigma}^2$ s'obtient à partir de :

$$ \hat{\sigma}^2 = \frac{n-C}{n-K-C} \left[ \frac{1}{n-C} \epsilon' W \epsilon - \frac{1}{n-C} \epsilon' W \mathbf{X}_{-0} (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} W \epsilon \right] $$

Or $\frac{1}{n-C}\epsilon'W\epsilon = \frac{C}{n-C}\frac{1}{C}\sum_{j=1}^{C}\tilde{\epsilon}'_jW_j\tilde{\epsilon}_j \xrightarrow[n\to+\infty]{p} \frac{1}{n-1}E(\tilde{\epsilon}'_1W_1\tilde{\epsilon}_1)$

et $\frac{1}{n-C}\epsilon'W\mathbf{X}_{-0}(\mathbf{X}'_{-0}W\mathbf{X}_{-0})^{-1}\mathbf{X}'_{-0}W\epsilon = \frac{1}{n-C}\epsilon'W\mathbf{X}_{-0}\left(\frac{1}{n-C}\mathbf{X}'_{-0}W\mathbf{X}_{-0}\right)^{-1}\frac{1}{n-C}\mathbf{X}'_{-0}W\epsilon \xrightarrow[n\to+\infty]{p} 0$.

Pour conclure, il suffit de noter que $\frac{n-C}{n-K-C} \to 1$ et que $E[\tilde{\epsilon}'_1W_1\tilde{\epsilon}_1] = E[Tr(\tilde{\epsilon}'_1W_1\tilde{\epsilon}_1)] = E[Tr(\tilde{\epsilon}'_1\tilde{\epsilon}_1W_1)] = \sigma^2E[Tr(W_1)] = \sigma^2E[n_1-1] = \sigma^2(\bar{n}-1)$.

On en déduit que $\hat{\sigma}^2(\frac{1}{n-C}\mathbf{X}'_{-0}W\mathbf{X}_{-0})^{-1} \xrightarrow[n\to+\infty]{p} \sigma^2\Sigma^{-1}$.

Ce qui permet de conclure.

<figure><img src="image_37.png" /></figure>

### 3.4.6 Quelle est la loi à distance finie de l'estimateur si les résidus sont normaux ?

L'estimateur des moindres carrés contraint par la condition $\beta_0 = 0$ coïncide avec l'estimateur des MCO du modèle sans constante. Il hérite donc de toutes ses propriétés à distance finie qui ont été développées dans le chapitre 2.

Comme dans les rappels du chapitre 2, on va donc se placer sous l'hypothèse de normalité des résidus pour caractériser les propriétés de l'estimateur à distance finie.

#### Hypothèse de normalité des résidus

**Hypothèse ($H'_n$) :** Les résidus sont gaussiens, de moyenne nulle, identiquement distribués et indépendants des $\mathbf{X}$ et des $\mathbf{Z}$

Sous cette hypothèse, la loi des estimateurs peut facilement être caractérisée conditionnellement aux covariables. On peut dans ce cas construire des tests à distance finie.

#### Propriétés à distance finie des estimateurs sous l'hypothèse de normalité des résidus

Sous les hypothèses ($H'_1$) et ($H'_n$), on a les propriétés suivantes :

$$ \text{Soit } \begin{pmatrix} \hat{\beta}_{MCC} \\ \hat{\gamma}_{MCC} \end{pmatrix} = \text{Argmin } (\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma)' (\mathbf{y} - \mathbf{X}\beta - \mathbf{Z}\gamma) \text{ et} $$

$$ \text{s.c. } R' \begin{pmatrix} \beta \\ \gamma \end{pmatrix} = 0 $$

$$ \hat{\sigma}^2_{MCC} = \frac{1}{n-K-C-1+\dim(\mathrm{Im}(R'))} (\mathbf{y} - \mathbf{X}\hat{\beta}_{MCC} - \mathbf{Z}\hat{\gamma}_{MCC})' (\mathbf{y} - \mathbf{X}\hat{\beta}_{MCC} - \mathbf{Z}\hat{\gamma}_{MCC}) $$
Sous les hypothèses ($H'_1$) et ($H'_n$), on peut caractériser la loi des estimateurs conditionnellement aux covariables :

$$ \diamond \left( \begin{array}{c|c} \hat{\beta}_{MCC} & \mathbf{X}, \mathbf{Z} \\ \hat{\gamma}_{MCC} & \mathbf{X}, \mathbf{Z} \end{array} \right) \rightsquigarrow \mathcal{N} \left( \left( \begin{array}{c} \beta \\ \gamma \end{array} \right), \sigma^2 V \right) \text{ avec} $$

$$ V = \begin{pmatrix} 1 & \cdots & (0) & 0 \\ \vdots & \ddots & \vdots & \vdots \\ (0) & \cdots & 1 & 0 \end{pmatrix} \left( \begin{array}{cc} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{array} \right)^{-1} \left( \begin{array}{cc} \mathbf{A}'\mathbf{A} & 0 \\ 0 & 0 \end{array} \right) \left( \begin{array}{cc} \mathbf{A}'\mathbf{A} & R \\ R' & 0 \end{array} \right)^{-1} \begin{pmatrix} 1 & \cdots & (0) \\ \vdots & \ddots & \vdots \\ (0) & \cdots & 1 \\ 0 & \cdots & 0 \end{pmatrix} $$

Conditionnellement aux covariables, l'estimateur des moindres carrés contraints est normalement distribué, de moyenne $\left( \begin{array}{c} \beta \\ \gamma \end{array} \right)$ et de variance $\sigma^2 V$.

$$ \diamond \frac{n-(K+C)}{\sigma^2} \hat{\sigma}^2_{MCC} |\mathbf{X}, \mathbf{Z}| \rightsquigarrow \chi^2_{n-(K+C)} $$

À une constante de normalisation (inconnue) près, l'estimateur $\hat{\sigma}^2_{MCC}$ est distribué comme une loi du $\chi^2_{n-(K+C)}$.

$$ \diamond \left( \begin{array}{c} \hat{\beta}_{MCC} \\ \hat{\gamma}_{MCC} \end{array} \right) \perp \hat{\sigma}^2_{MCC} |\mathbf{X}, \mathbf{Z}| \text{ Les lois des estimateurs } \left( \begin{array}{c} \hat{\beta}_{MCC} \\ \hat{\gamma}_{MCC} \end{array} \right) \text{ et } \hat{\sigma}^2_{MCC} \text{ sont indépendantes conditionnellement à } \mathbf{X} \text{ et } \mathbf{Z}. $$

$$ \diamond \frac{\hat{\beta}_k - \beta_k}{\sqrt{\hat{\sigma}^2_{MCC} V_{(k,k)}}} |\mathbf{X}, \mathbf{Z}| \rightsquigarrow \text{Student}(n - (K + C)) \text{ sauf pour } k = 0 \text{ dans le cas où on a choisi la contrainte } \beta_0 = 0. $$

La loi de l'estimateur de la kième composante du vecteur $\beta$ centré sur la valeur du paramètre et normalisé par l'estimation de son écart-type suit une loi de Student à $(n - (K + C))$ degrés de liberté.

$$ \diamond \frac{\hat{\gamma}_j - \gamma_j}{\sqrt{\hat{\sigma}^2_{MCC} V_{(K+1+j,K+1+j)}}} |\mathbf{X}, \mathbf{Z}| \rightsquigarrow \text{Student}(n - (K + C)) \text{ sauf pour } j_0 = 0 \text{ dans le cas où on a choisi la contrainte } \gamma_{j_0} = 0. $$

La loi de l'estimateur de la jième composante du vecteur $\gamma$ centré sur la valeur du paramètre et normalisé par l'estimation de son écart-type suit une loi de Student à $(n - (K + C))$ degrés de liberté.

$$ \diamond \text{L'estimateur des moindres carrés contraints } (\hat{\beta}_{MCC}, \hat{\gamma}_{MCC}, \hat{\sigma}^2_{MCC}) \text{ est optimal parmi les estimateurs sans biais de } (\beta, \gamma, \sigma^2), \text{ c'est-à-dire que pour tout estimateur } (\tilde{\beta}, \tilde{\gamma}, \tilde{\sigma}^2) \text{ tel que pour tout } (\beta, \gamma, \sigma^2) \in \mathbb{R}^{K+1+C} \times \mathbb{R}^{+*}, E \left[ (\tilde{\beta}, \tilde{\gamma}, \tilde{\sigma}^2) \right] = (\beta, \gamma, \sigma^2) \text{ et } R' \begin{pmatrix} \tilde{\beta} \\ \tilde{\gamma} \end{pmatrix} = 0 \text{ on a :} $$

$$ V \begin{bmatrix} \hat{\beta}_{MCC} \\ \hat{\gamma}_{MCC} \\ \hat{\sigma}^2_{MCC} \end{bmatrix} \ll V \begin{bmatrix} \tilde{\beta} \\ \tilde{\gamma} \\ \tilde{\sigma}^2 \end{bmatrix} $$

### Remarque :

On a donné une expression très générale de la matrice $V$. En pratique, la covariance entre $\hat{\beta}$ et $\hat{\gamma}$ est rarement un objet d'intérêt, on utilise donc les expressions calculées en 3.4.3 pour calculer les termes $V_{(k,k)}$ et $V_{(K+1+j,K+1+j)}$ afin de calculer les statistiques de Student. Le calcul pratique est détaillé en 3.4.7.

Preuve :

□

Le résultat est une conséquence directe des propriétés de l'estimateurs de moindres carrés dans le cas où on fixe comme contrainte $\beta_0 = 0$: l'estimateur des moindres carrés contraints coïncide alors avec l'estimateur des MCO du modèle sans constante. Le même raisonnement vaut dans le cas où la contrainte est $\gamma_{j_0} = 0$. Dans le cas où la contrainte est $\sum_{j=1}^C \gamma_j = 0$, il suffit de remarquer que l'estimateur de $\sigma$ ne dépend pas de la contrainte retenue et que les estimateurs de $\beta$ et $\gamma$ sont des combinaisons linéaires des estimateurs obtenus sous les autres contraintes. Le fait qu'une transformation linéaire d'un vecteur gaussien soit un vecteur gaussien permet d'achever la preuve.

■
### 3.4.7 Estimation de l'intervalle de confiance des estimateurs dans l'estimation en deux étapes

Si la décomposition de Frisch-Waugh est très utile en pratique pour calculer les estimateurs de $\beta$ et de $\gamma$, il est en revanche nécessaire de "travailler" un peu plus pour récupérer les statistiques de tests. Concernant les écarts-types de l'estimateur $\hat{\beta}_W$, il faut corriger ceux calculés usuellement lors de la régression "Within" pour tenir compte du fait qu'en raisonnant en écart par rapport à la moyenne de classe, on a éliminé $C$ covariables. Concernant les écarts-types de $\hat{\gamma}_W$, il faut les recalculer intégralement.

#### Test de nullité des $\hat{\beta}_W$

Après avoir calculé pour chaque individu, l'écart de la variable $y$ et des covariables $X$ à la moyenne de sa classe, les estimations de $\beta$ s'obtiennent par une régression linéaire. L'estimation de $\sigma^2$ est calculée en divisant la somme des carrés des résidus par la quantité $n - (K + 1)$ comme dans le cas standard (cf. chapitre 2). En réalité, pour le modèle que l'on estime, ce nombre devrait être $n - (K + C)$. Il faut donc corriger l'estimation de $\sigma^2$ par un facteur $\frac{n - (K + 1)}{n - (K + C)}$. De même, la statistique de Student doit être corrigée d'un facteur $\frac{\sqrt{n - (K + C)}}{\sqrt{n - (K + 1)}}$. Enfin le calcul de la p-value doit également intégrer le bon nombre de degrés de liberté : $n - (K + C)$. Toutes ces opérations sont assez facilement exécutables en SAS (cf. 3.6.1), dans la mesure où les résultats de la régression peuvent être récupérés dans une table.

#### Test de nullité des $\hat{\gamma}_W$

Les estimations de $\gamma$ s'obtiennent facilement comme moyenne au sein de la classe des quantités $y - X\hat{\beta}$. Les statistiques de test sont un peu plus délicates à récupérer : on récupère les quantités $\hat{\sigma}^2$ et $X'_{-0}WX_{-0}$ à l'issue de la régression qui permet d'estimer $\beta$. De même la quantité $(Z'Z)^{-1}Z'X'_{-0}$ est facilement calculable car il s'agit des moyennes par classe des variables $X$. Enfin la quantité $(Z'Z)^{-1}$ est elle-même facilement calculable. Pour calculer la statistique de Student, il est nécessaire de calculer la diagonale de la matrice $\hat{\sigma}^2 [(Z'Z)^{-1} + (Z'Z)^{-1}Z'X'_{-0}(X'_{-0}WX_{-0})^{-1}X'_{-0}Z(Z'Z)^{-1}]$; or, cette matrice peut rapidement atteindre une taille trop importante pour être calculée à partir des ressources informatiques habituellement mises à disposition (par exemple sur un fichier administratif d'examen comme le brevet ou le bac, le nombre de classes atteint quelques dizaines de milliers ce qui conduit à une matrice de $10^8$ éléments environ). Mais une programmation économe qui s'applique à ne pas calculer les termes non diagonaux de cette matrice permet d'obtenir des estimations de manière immédiate (on divise le nombre de paramètres à calculer et à stocker en mémoire par $C$). La programmation que nous avons retenue nécessite néanmoins de pouvoir disposer d'un langage de programmation de calcul matriciel (module IML de SAS par exemple). Une fois calculée la variance de chaque $\hat{\gamma}_j$, les statistiques de Student et les p-values correspondantes se calculent très facilement.

Test de nullité des paramètres dans le cas des contraintes identifiantes $\gamma_{j_0} = 0$ et $\sum_{j=1}^{C} \gamma_j = 0$

Les tests de Student peuvent également être calculés dans le cas où on impose comme contrainte $\gamma_{j_0} = 0$ ou encore $\sum_{j=1}^{C} \gamma_j = 0$. Là encore, la seule précaution à prendre consiste à éviter autant que possible de manipuler de trop grosses matrices : une programmation qui se restreint à des matrices de taille $K \times C$ nous a permis de ne pas rencontrer de difficultés informatiques (y compris sur de "gros" fichiers).

## 3.5 La prise en compte des variables constantes au sein des classes

On a jusqu'à maintenant supposé que parmi les variables $X$, il n'y avait pas de variables ayant la même valeur pour tous les élèves d'une même classe.

Supposons maintenant que l'output $y_{ij}$ de l'élève $i$ dans la classe $j$ dépend de variables "individuelles" $X_{ij}^1$ qui varient d'un élève à l'autre au sein d'une même classe mais également de variables
$X_j^2$ communes aux élèves d'une même classe, et enfin d'un effet spécifique de la classe $\delta_j$ qui reflète l'influence de l'ensemble des variables communes aux élèves de la classe $j$ non prises en compte par $X^2$ ainsi que d'un facteur $\varepsilon_{ij}$ spécifique à l'élève au sein de sa classe qui reflète l'influence des variables "individuelles" non prises en compte par le modèle.

$$y_{ij} = X_{ij}^1 \beta_1 + X_{ij}^2 \beta_2 + \delta_j + \varepsilon_{ij}$$

Sous l'hypothèse d'exogénéité ($H'_2$), le paramètre $\beta_1$ peut être estimé de manière convergente. On peut également estimer sans biais (mais pas de manière convergente) le paramètre $\gamma_j = X_j^2 \beta_2 + \delta_j$. En revanche, on ne peut estimer simplement $\beta_2$ sans hypothèses supplémentaires contraignantes sur la distribution des variables inobservées ($\delta_j$) et la distribution des variables observées au niveau de la classe ($X_j^2$). En effet, si les variables inobservées induisant des différences de réussite scolaire entre les différentes classes sont corrélatées aux observées, alors la régression linéaire de $\hat{\gamma}$ sur $X^2$ donnera des estimations biaisées de $\beta_2$.

Par exemple, imaginons qu'une faible taille de classe a un effet positif sur la réussite scolaire ($\beta_2 > 0$) mais pour cette raison, les élèves scolarisés dans de telles classes sont souvent ceux que le directeur d'école identifie comme présentant des risques d'échec élevés ($\delta_j < 0$). En effectuant, la régression linaire de $\hat{\gamma}$ sur $X^2$, on ne peut obtenir des estimations sans biais de $\beta_2$ que si une hypothèse d'exogénéité au "niveau classe" est vérifiée ($E(\delta|X^2) = 0$ ou au moins $Cov(\delta, X^2) = 0$). Si on garde cette limite en tête, effectuer une régression linéaire de $\hat{\gamma}$ sur $X^2$ peut néanmoins être intéressant d'un point de vue descriptif pour relier le degré de réussite des classes et certaines variables observables $X^2$.

Lors de la mise en oeuvre d'une telle régression, la précision de l'estimation $\hat{\beta}_j$ varie d'une classe à l'autre (elle dépend du nombre d'élèves dans la classe et de la distribution des variables $X^1$ dans les classes). Il est alors judicieux d'utiliser une matrice de variance-covariance robuste à l'hétéroscédasticité (matrice de White) pour obtenir des intervalles de confiance qui ne soient pas basés sur l'hypothèse que chaque $\hat{\beta}_j$ apporte la même quantité d'information. Par exemple, dans la proc reg de SAS, on utilisera l'option ACOV.

## 3.6 Programmation sous SAS...

### 3.6.1 ... par l'estimateur "Within"

Voici un exemple de code qui permet de calculer l'estimateur $\hat{\beta}_W$. La table de départ est nommée TABLE la variable expliquée Y, les covariables X1, X2,..., XK et la variable Z est une variable correspondant à un identifiant de classe.

```sas
proc summary data=TABLE;
  var Y X1 X2 ... XK;
  class Z;
  output out=between (where=( STAT = 'MEAN' and _TYPE =1) rename = (_FREQ_ = nb));
  /*< nb est le nombre d'élèves par classe */
run;

proc sort data=TABLE out=within;
  by Z;
run;

proc sql;
  create table within as
    select t1.X1 - t2.X1 as w_X1,
         t1.X2 - t2.X2 as w_X2,
         ...
         t1.XK - t2.XK as w_XK,
         t1.Y - t2.Y as w_Y
    from within as t1, between as t2
    where t1.Z = t2.Z;
quit;

title 'Les effets intra-classe calculés avec le within (mauvais E-C)'; run;
```
```r
proc reg data=within outest temp_param edf outseb covout; /*<----- Options qui
    permettent de récupérer des valeurs nécessaires pour la suite*/
    model w_Y = w_X1 w_X2 ... w_XK /noint;
run;
quit;
```

Pour faire de l'inférence sur $\hat{\beta}_W$, il faut corriger les écarts-types, les statistiques de Student et les p-values. Cette correction dépend du nombre de classes distinctes `NB_Z` (c'est le nombre d'observations de la table que nous avons nommée between ci-dessus) et du nombre de degrés de liberté `NB_DEG_L` utilisés dans la régression Within (c'est le nombre `_EDF_` dans la table que nous avons nommée `temp_param` ci-dessus).

```r
data temp_param2; set temp_param (where=(TYPE_ in ('PARMS', 'SEB')));
if _type_ = 'SEB' then do;
    w_X1=sqrt(NB_DEG_L)/sqrt(NB_DEG_L-NB_Z)*w_X1;
    w_X2=sqrt(NB_DEG_L)/sqrt(NB_DEG_L-NB_Z)*w_X2;
    ...
    w_XK=sqrt(NB_DEG_L)/sqrt(NB_DEG_L-NB_Z)*w_XK;
end;
run;
```

```r
proc transpose data temp_param2 (keep=w_X1 w_X2 w_XK) out = temp_param3; run;
```

```r
data paramesti (rename=(_NAME_ = Variable COL1 = parameter_estimate Col2 = standard_error)
);
set temp_param3 (keep=_NAME_ COL1 = COL2 where=(substr(_NAME_, 1, 1) = 'w' and _NAME_
    ne "w Y"));
tvalue = col1 / col2;
p_value = 2*(1 - probt(abs(tvalue), NB_DEG_L - NB_Z));
run;
```

```r
title 'Les effets intra-classe calculés avec le within (bons E-C)'; run;
proc print data = paramesti; run;
```

Le calcul des $\hat{\gamma}$ et de leurs écarts-types associés peut ensuite s'effectuer selon la contrainte identifiante choisie. Dans tous les cas, il faut calculer les $Y - X\hat{\beta}_W$.

```r
\%macro calcul;
data _null_;
    set temp_param (where=(TYPE_ = 'PARMS'));
    call symput('beta_X1', w_X1);
    call symput('beta_X2', w_X2);
    ...
    call symput('beta_XK', w_XK);
run;

data _TABLE_2;
    set TABLE;
    Y_Xbeta = Y - &beta_X1.*X1 - &beta_X2.*X2 - ... - &beta_XK.*XK;
run;
\%mend;

\%calcul;
```

1. Sous l'hypothèse identifiante $\beta_0 = 0$ :

Pour calculer les estimateurs $\hat{\gamma}$, il suffit alors de faire la moyenne par classe Z des $Y - X\hat{\beta}_W$ calculés dans la table `_TABLE_2`.

```r
proc summary data=_TABLE_2 nway;
    var Y_Xbeta;
    class Z;
    output out=_effet_fixe (where=((STAT_ = 'MEAN')));
run;
```

Pour calculer la précision des estimateurs $\hat{\gamma}$. Il faut utiliser la matrice de variance-covariance de $\hat{\beta}_W$ (présente dans la table `temp_param`), les moyennes des X par classe et le nombre
d'élèves par classe (informations présentes dans la table *between*). Il faut également calculer une estimation de $\hat{\sigma}^2$, pour cela on corrige le "root means square error" (i.e. la moyenne quadratique des résidus estimés) dans la table *temp_param*, qu'on élève au carré et qu'on corrige par le bon nombre de degrés de liberté.

```r
data mat1(keep=w_X1 w_X2 ... w_XK);
set temp_param(where=(_TYPE_="COV"));
run;
```

```r
data mat2;
set between(keep=X1 X2 ... XK);
run;
```

```r
data mat3;
set between(keep=nb);
run;
```

```r
data sigma2(keep=sigma2);
set temp_param(keep=_TYPE_ RMSE_ where=(_TYPE_="PARMS"));
sigma2 = RMSE_* RMSE_* NB_DEG_L/(NB_DEG_L-NB_Z);
run;
```

Grâce à un peu de calcul matriciel (proc IML), on calcule la variance de $\hat{\gamma}$, puis on en déduit la valeur des écarts-types, statistiques de Student et p-values associés.

```r
proc iml;
use mat1;
read all into mat1;
use mat2;
read all into mat2;
use mat3;
read all into mat3;
use sigma2;
read all into sigma2;
diagvargw=sigma2*1/mat3+NB_DEG_L*1/(NB_DEG_L-NB_Z)*((mat2*mat1)#mat2)[, +];
create diagvargw from diagvargw; append from diagvargw;
close;
quit; run;
```

```r
data gamma(drop=_TYPE_ FREQ_ STAT_);
set effet_fixe (rename=(Y_Xbeta=parameter_estimate));
set diagvargw (rename=(COL1=variance));
standard_error=sqrt(variance);
tvalue=parameter_estimate/standard_error;
p_value=2*(1-probt(abs(tvalue),NB_DEG_L-NB_Z)));
run;
```

```r
title "Les effets fixes (contante nulle)"; run;
proc print data=gamma;
run;
```

## 2. Sous l'hypothèse identifiante $\sum \gamma = 0$:

Cette fois on centre la moyenne par classe des $Y - X\hat{\beta}_W$, pour obtenir les estimateurs de $\hat{\gamma}$. L'estimateur de $\beta_0$ est alors la moyenne des moyennes par classe des $Y - X\hat{\beta}_W$.

```r
proc summary data=_TABLE_2 nway;
var Y_Xbeta;
class Z;
output out=_effet_fixe(where=(_STAT_="MEAN"));
run;
```

```r
proc standard data=_effet_fixe out=_effet_fixe_centre mean=0; run;
```

```r
proc summary data=_effet_fixe nway;
var Y_Xbeta;
output out=_effet_fixe_cst(where=(_STAT_="MEAN"));
run;
```
Le calcul de la précision de $\hat{\gamma}$ et de $\hat{\beta}_0$ fait intervenir la matrice de variance-covariance de $\hat{\beta}_W$, les moyennes de $X$ par classe ainsi que le nombre d'élèves par classe, il faut également calculer l'estimateur $\hat{\sigma}^2$ à partir des sorties de la régression de $WY$ sur $WX$.

```r
data mat1(keep=w_X1 w_X2 ... w_XK);
set temp_param(where=(TYPE_="COV"));
run;

data mat2;
set between(keep=X1 X2 ... XK);
run;

data mat3;
set between(keep=nb);
run;

data sigma2(keep=sigma2);
set temp_param(keep=TYPE RMSE where=(TYPE="PARMS"));
sigma2 = RMSE_*RMSE_*NB_DEG_L/(NB_DEG_L-NB_Z);
run;

proc iml;
use mat1;
read all into mat1;
use mat2;
read all into mat2;
use mat3;
read all into mat3;
use sigma2;
read all into sigma2;
mat4=(I(nrow mat2))-1/nrow mat2)*J(nrow mat2,nrow mat2,1));
diagvargamma=
sigma2*((1-2/(nrow mat2)))*1/mat3+1/(nrow mat2)**2*((1/mat3)[+,+])*J(
nrow mat2,1,1)
+NB_DEG_L*1/(NB_DEG_L-NB_Z)*((mat4*mat2*mat1)#(mat4*mat2))[+,+];
varbeta0=sigma2*1/(nrow mat2)**2*(1/mat3)[+,+]+
1/(nrow mat2)**2*mat2[+,]*mat1*((mat2[+,])');
create diagvargamma from diagvargamma; append from diagvargamma;
create varbeta0 from varbeta0; append from varbeta0;
close;
quit;
run;

data gamma(drop=_TYPE_ FREQ _STAT_);
set effet fixe centre (rename=(Y Xbeta=parameter estimate));
set diagvargamma (rename=(COL1=variance));
standard_error=sqrt(variance);
tvalue=parameter estimate/standard_error;
p_value=2*(1-probt(abs(tvalue),NB_DEG_L-NB_Z));
run;

data beta0;
set effet fixe cst (rename=(Y Xbeta=parameter estimate _STAT_=Variable)
drop=_TYPE_ FREQ _);
set varbeta0 (rename=(COL1=variance));
variable="CST";
standard_error=sqrt(variance);
tvalue=parameter estimate/standard_error;
p_value=2*(1-probt(abs(tvalue),NB_DEG_L-NB_Z));
run;

title "Les effets fixes centrés (somme des effets fixes nulle)"; run;
proc print data=gamma; run;

title "La constante (somme des effets fixes nulle)"; run;
proc print data=beta0; run;
```

### 3. Sous l'hypothèse identifiante $\gamma_{j0} = 0$ :

Cette fois on normalise la moyenne par classe des $Y - X\hat{\beta}_W$ par la moyenne calculée sur la
classe j0, pour obtenir les estimateurs de $\hat{\gamma}$. L'estimateur de $\beta_0$ est la moyenne des $Y - X\hat{\beta}_W$ sur la classe j0.

```R
data effet_fixe;
set effet_fixe;
indice = n_;
run;

data ref;
set effet_fixe(where=(Z="J0"));
run;

data gammaref;
set ref (keep=Y_Xbeta);
run;

data indiceref;
set ref (keep=indice);
run;

%macro normalisation;
data null_;
set gammaref;
call symput ('gammaref', Y_Xbeta);
run;

data effet_fixe_j0;
set effet_fixe;
Y_Xbeta = Y_Xbeta & gammaref;
run;
%end;

%normalisation;
data mat1 (keep=w_X1 w_X2 ... w_XK);
set temp_param (where=(_TYPE="COV"));
run;

data mat2;
set between (keep=X1 X2 ... XK);
run;

data mat3;
set between (keep=nb);
run;

data sigma2 (keep=sigma2);
set temp_param (keep=_TYPE _RMSE where=( TYPE="PARMS"));
sigma2 = _RMSE * _RMSE * NB_DEG_L / (NB_DEG_L - NB_Z);
run;

proc iml;
use mat1;
read all into mat1;
use mat2;
read all into mat2;
use mat3;
read all into mat3;
use sigma2;
read all into sigma2;
use indiceref;
read all into indiceref;
use gammaref;
read all into gammaref;
if indiceref = 1 then do;
  mat4 = I (nrow (mat2)) -
    (J (nrow (mat2), 1, 1) || J (nrow (mat2), nrow (mat2) - 1, 0));
diagvargamma =
  sigma2 * (1 / mat3 + 1 / mat3 [indiceref, 1] * (-1 / J (nrow (mat2) - 1, 1, 1)))
  + NB_DEG_L * 1 / (NB_DEG_L - NB_Z) * ((mat4 * mat2 * mat1) # (mat4 * mat2))
```
### 3.6.2 ... ou directement grâce à la proc reg

Quand cela est possible, la manière la plus directe de programmer consiste à estimer en une étape l'ensemble des effets liés aux caractéristiques purement individuelles de l'élève et les effets "classe" par l'estimateur des MCO contraint. La principale difficulté est qu'il faut avoir dichotomisé les indicatrices de classes (Z) dans la proc reg. Un moyen de faire cela, quand le nombre de classes est très élevé, est d'utiliser la proc glmmod et un peu de programmation de macro langage. On suppose dans tout ce qui suit que les variables qualitatives (X) ont été dichotomisées préalablement.

```r
proc glmmod data=TABLE outparm=param outdesign=design noprint;
class Z; model Y=X1 X2 ... XK Z;
run;
```

1. Sous l'hypothèse identifiante $\beta_0 = 0$ :
Si la dernière colonne de la table design est colNNN, il suffit de coder :

```r
proc reg data=design outest=sortie;
  model Y=col2 - - colNNN/noint;
run; quit;
```

2. Sous l'hypothèse identifiante $\sum_j \gamma_j = 0$ :
Si $nnn = K + 2$ et si la dernière colonne de la table design est colNNN, il suffit de coder :

```r
%macro regression_effet_fixe;
  proc reg data=design outest=sortie;
    model Y=col2 - - colNNN;
    restrict colnnn %do i=%eval(nnn+1) %to NNN;+col&i. %end; ;
run; quit;
%mend;
```
```r
%regression_effet_fixe;
```

3. Sous l'hypothèse identifiante $\gamma_{j0} = 0$ :
Si la colonne de la table design correspondant à $j0$ est colkkk, si la dernière colonne de la table design est colNNN, et si $jjj = kkk - 1$ et $lll = kkk + 1$, il suffit de taper :

```r
proc reg data=design outest=sortie;
  model Y=col2 - - coljjj collll - - colNNN;
run; quit;
```

ou encore :

```r
proc reg data=design outest=sortie;
  model Y=col2 - - colNNN;
  restrict colkkk;
run; quit;
```
# Chapitre 4

## Le modèle à erreurs composées
(autrement appelé "modèle multi-niveaux" ou modèle "mixte")

### 4.1 Le modèle théorique de base

Le modèle à erreurs composées diffère du modèle à effets fixes sur le fait que les effets "classe" $\gamma$ sont supposés être "aléatoires" alors qu'ils sont "fixes" dans le modèle à effets fixes. En réalité, il nous semble que cette manière d'exprimer les choses génère beaucoup de confusion et tend à rendre les enjeux qui sous-tendent les choix de modèle difficilement compréhensibles.

Pour bien comprendre ce qui se cache derrière cette distinction entre effets aléatoires et effets fixes, commençons par raisonner sur le modèle linéaire de base présenté dans le chapitre 2. Les résidus représentent l'effet des variables inobservables sur $y$. Pour pouvoir identifier les effets des variables $\mathbf{X}$, il est nécessaire de supposer que ces variables inobservables ne sont pas corrélées avec les variables $\mathbf{X}$. On présente souvent, probablement à des fins pédagogiques, le modèle linéaire en disant que les variables $\mathbf{X}$ sont connues ou "fixes" et que les résidus sont aléatoires. En réalité ce qui importe (et probablement ce que la formulation précédente est censée traduire), c'est qu'à caractéristiques observables $\mathbf{X}$ données, les effets liés aux caractéristiques inobservables soient d'espérance nulle (voir l'hypothèse ($H_2$)). Le débat entre effets aléatoires et effets fixes revient à supposer que les effets "classe" sont ou non d'espérance nulle à $\mathbf{X}$ donné. Dans le cas où ces effets sont d'espérance nulle conditionnellement à $\mathbf{X}$, il n'est pas nécessaire de les prendre en compte dans les régresseurs mais ils doivent être pris en compte dans la structure des résidus pour calculer correctement la précision des estimateurs.

Considérons donc le modèle suivant :

$$y = \mathbf{X}\beta + \mathbf{Z}\gamma + \epsilon$$

où $\mathbf{Z}$ est la matrice d'appartenance aux différentes classes et $\mathbf{X}$ est l'ensemble des autres covariables (dans ce chapitre, et contrairement à l'hypothèse maintenue tout au long du chapitre 3, des variables constantes au sein des classes comme le secteur de scolarisation ou l'académie peuvent être présentes).

Si on considère que les effets "classe" $\gamma_j$ sont d'espérance nulle conditionnellement aux variables $\mathbf{X}$ et $\mathbf{Z}$, alors le modèle peut se réécrire :

$$y = \mathbf{X}\beta + v$$

avec $v = \mathbf{Z}\gamma + \epsilon$, $E[v|\mathbf{X}, \mathbf{Z}] = 0$ et $V[v|\mathbf{X}, \mathbf{Z}] = \sigma_{\gamma}^2\mathbf{Z}'\mathbf{Z} + \sigma^2 I_n$. Ainsi, pour un individu $i$ de la classe $j$, on a $E[v_{ij}|\mathbf{X}, \mathbf{Z}] = 0$ et $V[v_{ij}|\mathbf{X}, \mathbf{Z}] = \sigma_{\gamma}^2 + \sigma^2$, pour deux individus $i$ et $i'$ de la même classe $j$, $Cov[v_{ij}v_{i'j'}|\mathbf{X}, \mathbf{Z}] = \sigma_{\gamma}^2$ et enfin pour deux individus $i$ et $i'$ de deux classes différentes $j$ et $j'$, $Cov[v_{ij}v_{i'j'}|\mathbf{X}, \mathbf{Z}] = 0$. Le terme d'effet aléatoire vient du fait que formellement les égalités précédentes sont vérifiées si on suppose que les $\gamma_j$ sont des variables aléatoires i.i.d. d'espérance nulle et de variance $\sigma_{\gamma}^2$ (conditionnellement à $\mathbf{X}$ et $\mathbf{Z}$). Encore une fois, la chose la plus importante
à retenir n'est pas le caractère aléatoire des coefficients $\gamma$, mais bien les hypothèses d'orthogonalité entre les covariables $\mathbf{X}$ et les effets "classe". Remarquons également que cette hypothèse n'était pas nécessaire pour estimer le modèle à effets fixes.

On constate alors que si les hypothèses ($H_1$) et ($H_2$) du modèle linéaire du chapitre 2 sont toujours vérifiées, alors il n'en est pas de même pour l'hypothèse d'homoscédasticité ($H_3$). La première partie de ce chapitre s'attache donc d'une part à décrire les propriétés des estimateurs présentés dans les chapitres précédents et leur défauts lorsqu'ils sont appliqués à ce modèle, et d'autre part à présenter les autres estimateurs classiquement utilisés pour estimer de tels modèles.

On note donc les différentes hypothèses faites jusqu'à présent de la manière suivante :

## Le modèle et les hypothèses de moments

$$y = \mathbf{X}\beta + \mathbf{Z}\gamma + \epsilon = \mathbf{X}\beta + v$$

Hypothèse ($H_1'$) : La matrice $\mathbf{X}$ est de plein rang colonne.

Hypothèse ($H_2'$) : L'espérance des effets "classe" $\gamma$ est nulle conditionnellement aux covariables, $E[\gamma|\mathbf{X}, \mathbf{Z}] = 0$ et l'espérance des résidus "individuels" $\epsilon$ est nulle conditionnellement aux covariables et à l'effet "classe" $E[\epsilon|\mathbf{X}, \mathbf{Z}, \gamma] = 0$. Cette hypothèse implique en particulier que l'espérance des résidus $v$ est nulle conditionnellement aux covariables, $E[v|\mathbf{X}, \mathbf{Z}] = 0$

Hypothèse ($H_3'$) : La variance des résidus conditionnellement aux covariables est telle que :

$$V[\gamma|\mathbf{X}, \mathbf{Z}] = \sigma_{\gamma}^2 I_C$$

$$V[\epsilon|\mathbf{X}, \mathbf{Z}, \gamma] = \sigma^2 I_n$$

Cette hypothèse implique en particulier que la variance des résidus $v$ est de la forme suivante :

$$V[v|\mathbf{X}, \mathbf{Z}] = \sigma_{\gamma}^2 \mathbf{Z}\mathbf{Z}' + \sigma^2 I_n$$

Remarque : La première hypothèse est courante, elle permet d'identifier séparément les différentes composantes de $\beta$. La seconde est également tout à fait conforme à la version présentée dans les rappels du chapitre 2, en particulier on suppose que les autres variables que $X$ qui influent sur $y$ ne sont pas corrélées à $X$. Dans le cas qui nous intéresse, où des élèves appartiennent à une même classe, on suppose donc que les inobservables communes au sein de la classe ne sont pas corrélées aux covariables $\mathbf{X}$. Enfin, la troisième hypothèse traduit le fait que pour deux individus distincts un certain nombre de variables inobservées (orthogonales aux $\mathbf{X}$) sont partagées du fait qu'ils sont dans la même classe.

## 4.2 Interprétation des paramètres estimés

Dans le modèle à effets fixes présenté dans le chapitre 3, nous avons indiqué que les effets des variables constantes au sein de la classe (par exemple le secteur public ou privé, la taille de classe, le pourcentage d'élèves défavorisés dans la classe, etc.) ne pouvaient pas être identifiés et estimés de manière simple. Dans le modèle à effets aléatoires, les variables constantes au sein des classes peuvent être intégrées dans la régression et les coefficients associés peuvent être estimés. Néanmoins cela n'implique pas que ces coefficients aient une interprétation économique ou sociologique simple. Sous certaines conditions, les estimations de l'effet des variables individuelles (variables qui varient d'un élève à l'autre au sein d'une classe) peuvent également être biaisées. Nous allons maintenant discuter ce problème en détail.

On postule le processus générateur de données suivant pour un individu $i$ dans la classe $j$ :

$$y_{ij} = X_{ij}^{1}\beta_{1} + X_{.j}^{1}\beta_{2}^{1} + X_{.j}^{2}\beta_{2}^{2} + \gamma_{j} + \varepsilon_{ij}$$

où $y_{ij}$ est la variable d'output (par exemple une note), $X_{ij}^{1}$ un premier groupe de covariables qui varient d'un élève à l'autre au sein de la classe (par exemple : l'origine sociale de l'élève, son sexe, son mois de naissance etc.), $X_{.j}^{1} = \frac{1}{n_j} \sum_{i \in j} X_{ij}^{1}$ est l'ensemble des moyennes par classe des covariables, enfin $X_{.j}^{2}$ est un ensemble d'autres covariables qui ne varient pas d'un élève à l'autre au
sein de la classe (secteur public ou privé, établissement fréquenté, caractéristiques du professeur,
etc.). La quantité $\gamma_j$ représente un effet spécifique de la classe $j$ (c'est-à-dire l'effet de l'ensemble
des variables communes au sein de la classe autres que les $X_j^1$ et $X_j^2$), et la quantité $\varepsilon_{ij}$ représente
l'effet des variables inobservées (ou non prises en compte dans le modèle).

On suppose que dans cette formulation les paramètres $\beta_1, \beta_2^1$ et $\beta_2^2$ représentent les coefficients structurels du modèle, c'est-à-dire l'impact causal des différentes covariables. Ces coefficients sont identifiables et peuvent être estimés sans biais par régression si $E(\gamma_j + \varepsilon_{ij} | X_{ij}^1, X_j^2) = 0$ (cf. les rappels du chapitre 2). Il faut donc qu'en plus de la condition classique d'exogénéité $E(\varepsilon_{ij} | X_{ij}^1, X_j^2) = 0$, la distribution des effets spécifiques à la classe vérifie $E(\gamma_j | X_{ij}^1, X_j^2) = 0$. Cela signifie en particulier que les variables qui jouent sur le niveau des élèves d'une classe et qui n'ont pas été intégrées dans le modèle ne sont pas corrélées aux variables $X_j^2$ et $X_j^1$.

## 4.2.1 Le cas des variables constantes au sein de la classe

Or, il semble assez illusoire d'espérer intégrer dans le modèle l'ensemble des variables corrélées simultanément au niveau des élèves de la classe et aux variables observables ($X_j^1$ et $X_j^2$). En effet, de nombreux facteurs enfouis dans les biographies des familles jouent simultanément sur la classe fréquentée par l'enfant et sa réussite scolaire. Par exemple, les déterminants du lieu d'habitation ou de scolarisation (difficilement observables) sont corrélés avec les caractéristiques sociales et scolaires des élèves.

Il semble donc plus raisonnable de penser que $E(\gamma_j | X_{ij}^1, X_j^2) = X_{.j}^1 \lambda_2^1 + X_j^2 \lambda_2^2$. Les coefficients $\lambda_2^1$ et $\lambda_2^2$ n'ont pas d'interprétation structurelle, mais rendent comptent d'une corrélation entre le niveau des élèves et les caractéristiques de la classe (à caractéristiques individuelles $X^1$ contrôlées, et une fois que l'effet causal des caractéristiques de la classe a été pris en compte).

Dans ce cas, les estimateurs de $\beta_1^2$ et $\beta_2^2$ obtenus par régression seront biaisés : $E(\hat{\beta}_1^2) = \beta_1^2 + \lambda_2^1$ et $E(\hat{\beta}_2^2) = \beta_2^2 + \lambda_2^2$. L'impact causal des variables constantes au sein des classes ne peut donc pas être estimé par régression.

## 4.2.2 Le cas des variables non constantes au sein de la classe

Remarquons également que même si l'impact des $X_{.j}^1$ est nul, alors pour estimer sans biais l'effet des caractéristiques individuelles $X_{ij}^1$, il faut bien intégrer les moyennes de classe $X_{.j}^1$ à la régression (car les effets spécifiques à la classe peuvent être corrélés aux $X_{ij}^1$ via les $X_{.j}^1$). Or, l'ensemble des moyennes individuelles $X_{.j}^1$ est rarement intégré dans les modèles à effet "classe" aléatoire comme les modèles multi-niveaux. Nous verrons plus loin (cf. chapitre 5) comment cette propriété peut être exploitée pour construire une règle de choix de modèle.

## 4.3 Le lien avec les différents modèles de la littérature

Le modèle que nous décrivons dans ce chapitre est dénommé de différente manière : modèle à effets aléatoires pour les économètres, modèle multi-niveaux ou modèle HLM (hierarchical linear model) pour les sociologues. Ces modèles ont été introduits en sociologie de l'éducation par Rau-denbush & Brik. Parmi les nombreuses publications de ces auteurs, le lecteur intéressé pourra se reporter au livre "Hierarchical Linear Models in Social and Behavioral Research : Applications and Data Analysis Methods" publié en 1992 et réédité en 2002. Ce type de modèle est également très utilisé par les agronomes sous le nom de modèle mixte.

Nous nous attachons maintenant à montrer en quoi l'approche multi-niveaux<fnref n="1" /> rentre bien dans le cadre que nous présentons et quelles sont les hypothèses d'identification et d'estimation nécessaires (rarement présentées explicitement dans la littérature empirique).

<footnote n="1">1. On se contentera d'un modèle à deux niveaux seulement, nous laissons au lecteur le soin de généraliser à un nombre supérieur de niveaux.</footnote>
## 4.4 L'estimation des $\beta$

### 4.4.1 Propriétés de l'estimateur des MCO "naïf"

Un estimateur sans biais mais des tests incorrects

Sous les hypothèses ($H_1''$), ($H_2''$) et ($H_3''$), l'estimateur des MCO de la régression de $\mathbf{y}$ sur $\mathbf{X}$ existe, est unique, est sans biais mais sa variance est :

$$V(\hat{\beta}_{MCO}|\mathbf{X}, \mathbf{Z}) = \sigma^2(\mathbf{X}'\mathbf{X})^{-1} + \sigma_{\gamma}^2(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1} \neq \lambda(\mathbf{X}'\mathbf{X})^{-1}$$

$$V(\hat{\beta}_{MCO}|\mathbf{X}) = \sigma^2(\mathbf{X}'\mathbf{X})^{-1} + \sigma_{\gamma}^2(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'E(\mathbf{Z}\mathbf{Z}'|\mathbf{X})\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1} \neq \lambda(\mathbf{X}'\mathbf{X})^{-1}$$

Les tests asymptotiques habituels qui se fondent sur l'hypothèse $E(v|\mathbf{X}) = \sigma^2 I$ sont biaisés.

Les tests habituels de Student qui se fondent sur l'hypothèse $v|\mathbf{X} \rightsquigarrow N(0, \sigma^2 I)$ sont biaisés.

Remarque : Il apparaît donc que l'avantage (potentiel) d'un modèle multi-niveaux par rapport à un modèle linéaire "standard" porte seulement sur la précision de l'estimation des paramètres $\beta$, sur l'estimation de cette précision et non sur des considérations de biais des estimateurs. Pour l'estimateur des MCO, le terme de variance supplémentaire qui apparaît du fait de la présence de "chocs communs" au niveau de la "classe" sera d'autant plus important que ces chocs sont variables ($\sigma_{\gamma}^2$ est grand) ou que les covariables $\mathbf{X}$ sont corrélées aux variables de "classe" $\mathbf{Z}$ (le terme $\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}$ pouvant s'interpréter comme la part de variance de $\mathbf{X}$ inter classe, dans le cas où les classes sont de même taille). La non-prise en compte des effets "classes" induit alors une sous-estimation de la précision des estimateurs, ce qui peut conduire à des diagnostics erronés concernant la significativité de tel ou tel effet de $\mathbf{x}$ sur $\mathbf{y}$.

Preuve :

<figure><img src="image_38.png" /></figure>

On rappelle que l'expression de l'estimateur des moindres carrés est : $\hat{\beta}_{MCO} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}$.

On en déduit que $E(\hat{\beta}_{MCO}|\mathbf{X}, \mathbf{Z}) = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'(\mathbf{X}\beta + E(v|\mathbf{X}, \mathbf{Z})) = \beta$ et que :

$$\begin{aligned} V(\hat{\beta}_{MCO}|\mathbf{X}, \mathbf{Z}) &= (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}V(v|\mathbf{X}, \mathbf{Z})\mathbf{X}'(\mathbf{X}'\mathbf{X})^{-1} \\ &= (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}(\sigma^2 I_n + \sigma_{\gamma}^2 \mathbf{Z}\mathbf{Z}')\mathbf{X}'(\mathbf{X}'\mathbf{X})^{-1} \\ &= \sigma^2(\mathbf{X}'\mathbf{X})^{-1} + \sigma_{\gamma}^2(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}\mathbf{Z}'\mathbf{X}(\mathbf{X}'\mathbf{X})^{-1} \end{aligned}$$

<figure><img src="image_39.png" /></figure>

### 4.4.2 Propriétés de l'estimateur à effets fixes

Un estimateur sans biais et des tests corrects

On suppose dans un premier temps que les covariables $\mathbf{X}_{-0}$ varient toutes au sein des différentes classes (sont donc exclues les variables du type "ZEP", "école privée", "académie de Paris" etc.). Sous les hypothèses ($H_1''$), ($H_2''$) et ($H_3''$), les estimateurs de $\beta$ et $\gamma$ des moindres carrés du modèle à effets fixes contraint par $\sum \gamma = 0$ existent, sont sans biais et leur variances sont de la forme :

$$V(\hat{\beta}|\mathbf{X}, \mathbf{Z}, \gamma) = \begin{bmatrix} \bar{v} & * & * & * \\ * & \sigma^2(\mathbf{X}'_{-0}W\mathbf{X}_{-0})^{-1} & & \\ * & & \ddots & \\ * & & & \sigma^2(\mathbf{X}'_{-0}W\mathbf{X}_{-0})^{-1} \end{bmatrix} \quad \text{avec} \quad \bar{v} = \frac{1}{C^2} \sum_{1 \le j', j \le C} [V(\hat{\gamma}_W|\mathbf{X}, \mathbf{Z}, \gamma)]_{j', j}$$

$$V(\hat{\gamma}|\mathbf{X}, \mathbf{Z}, \gamma) = \left( I_C - \frac{1}{C} \begin{bmatrix} 1 & \cdots & 1 \\ \vdots & \ddots & \vdots \\ 1 & \cdots & 1 \end{bmatrix} \right) V(\hat{\gamma}_W|\mathbf{X}, \mathbf{Z}, \gamma) \left( I_C - \frac{1}{C} \begin{bmatrix} 1 & \cdots & 1 \\ \vdots & \ddots & \vdots \\ 1 & \cdots & 1 \end{bmatrix} \right)$$

avec

$$V(\hat{\gamma}_W|\mathbf{X}, \mathbf{Z}, \gamma) = \sigma^2 (\mathbf{Z}'\mathbf{Z})^{-1} + (\mathbf{Z}'\mathbf{Z})^{-1} \mathbf{Z}'\mathbf{X}_{-0} (\mathbf{X}'_{-0} W \mathbf{X}_{-0})^{-1} \mathbf{X}'_{-0} \mathbf{Z} (\mathbf{Z}'\mathbf{Z})^{-1}$$
Les tests habituels (présentés dans le chapitre 3) de l'estimateur des moindres carrés contraints restent valables.

Dans le cas où des covariables $\mathbf{X}$ sont constantes au sein des classes elles peuvent être éliminées de la matrice $\mathbf{X}_{-0}$, et le résultat reste vrai pour les composantes de $\beta$ associées à des covariables qui varient au sein des classes.

**Remarque :** On conditionne les expressions par $\gamma$ car l'estimateur du modèle à effets fixes ne fait aucune hypothèse sur la distribution des $\gamma$, les tests usuels sont donc menés dans un cadre conditionnel. Il est alors complètement naturel que l'estimateur des moindres carrés contraints conserve toutes ces propriétés, le modèle à effets fixes est un sur-modèle du modèle à effets aléatoires dans le sens où les hypothèses $(H_1'')$, $(H_2'')$ et $(H_3'')$ sont plus restrictives que les hypothèses du modèle à effets fixes. En utilisant un estimateur à effets fixes, on introduit certes dans la régression des régresseurs supplémentaires, mais cela ne biaise pas les estimations des paramètres. De plus, le fait que ces régresseurs supplémentaires soient introduits permet de retrouver l'homoscédasticité sur les résidus et donc les estimations de variances sont également sans biais. En revanche, cette adjonction de régresseurs inutiles dégrade la variance des estimateurs et on va voir que l'estimateur du modèle à effets fixes perd ses propriétés d'optimalité (cf. 4.4.3). Pour résumer, si le "vrai" modèle est un modèle à erreurs composées et qu'on procède à une estimation en considérant que l'on a affaire à un modèle à effets fixes, les estimateurs obtenus sont sans biais, on est capable d'estimer correctement leur précision, le seul inconvénient est que ce ne sont pas les estimateurs les plus précis possibles (car on n'a pas exploité l'hypothèse sur la distribution des $\gamma$ en raisonnant conditionnellement à ceux-ci). Après avoir présenté les différents estimateurs du modèles à erreurs composées (cf. 4.4.3 et 4.4.6), nous reviendrons en détail sur cette discussion (cf. 5) en considérant au contraire le cas où le "vrai" modèle est un modèle à effets fixes, et que l'on procède à une estimation en considérant que l'on a affaire à un modèle à erreurs composées.

Preuve :

<figure><img src="image_40.png" /></figure>

Les propriétés de l'estimateur à effets fixes sont une conséquence directe des propriétés établies dans le chapitre 3.

<figure><img src="image_41.png" /></figure>

### 4.4.3 L'estimateur des Moindres Carrés Généralisés (MCG)

La différence entre le modèle à erreurs composées et le modèle linéaire simple, provient uniquement de la forme de la matrice de variance-covariance des résidus. Si les résidus étaient homoscédastiques, alors l'estimateur de moindres carrés ordinaires serait sans biais et optimal, on disposerait de tests non biaisés des estimations. Le principe de construction de l'estimateur des moindres carrés généralisés et de l'estimateur des moindres carrés quasi-généralisés est donc de transformer le modèle afin de retrouver une structure de variance-covariance des résidus qui soit homoscédastique.

Le modèle à erreurs composées s'écrit $\mathbf{y} = \mathbf{X}\beta + \mathbf{v}$ avec $E(\mathbf{v}|\mathbf{X}, \mathbf{Z}) = 0$ et $V(\mathbf{v}|\mathbf{X}, \mathbf{Z}) = \sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}'$. Comme $\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}'$ est une matrice symétrique définie positive, il existe une unique matrice $\mathbf{M}$ inversible et symétrique telle que $(\mathbf{M}^{-1})^2 = \sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}'$; on note $(\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}')^{-\frac{1}{2}}$ cette matrice.

Le modèle peut alors se réécrire de la manière suivante :

$$ (\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}')^{-\frac{1}{2}} \mathbf{y} = (\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}')^{-\frac{1}{2}} \mathbf{X}\beta + (\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}')^{-\frac{1}{2}} \mathbf{v} $$

avec $E((\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}')^{-\frac{1}{2}} \mathbf{v}|\mathbf{X}, \mathbf{Z}) = 0$ et $V((\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}')^{-\frac{1}{2}} \mathbf{v}|\mathbf{X}, \mathbf{Z}) = \mathbf{I}$. On se retrouve alors pour le modèle réécrit dans le cadre du modèle linéaire présenté dans le chapitre 2. On en déduit alors la proposition suivante :

#### Propriétés de l'estimateur des MCG

Sous les hypothèses $(H_1'')$, $(H_2'')$ et $(H_3'')$, l'estimateur de $\beta$ des moindres carrés généralisés défini par :

$$ \hat{\beta}_{\text{MCG}} = (\mathbf{X}' (\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}')^{-1} \mathbf{X})^{-1} \mathbf{X}' (\sigma^2\mathbf{I} + \sigma_{\gamma}^2\mathbf{ZZ}')^{-1} \mathbf{y} $$
existe, est unique, sans biais, et de variance $V(\hat{\beta}_{MCG}|\mathbf{X}, \mathbf{Z}) = (\mathbf{X}'(\sigma^2I + \sigma_{\gamma}^2\mathbf{Z}\mathbf{Z}')^{-1}\mathbf{X})^{-1}$. Sous l'hypothèse supplémentaire de normalité de résidus, l'estimateur de $\beta$ des moindres carrés généralisés est optimal parmi les estimateurs linéaires sans biais de $\beta$.

**Remarque :** Cet estimateur a surtout un intérêt théorique comme meilleur estimateur possible de $\beta$. Mais il n'est d'aucune utilité pratique dans la mesure où $\sigma_{\gamma}^2$ et $\sigma^2$ sont inconnus. On peut néanmoins remarquer que :

- La matrice $(\sigma^2I + \sigma_{\gamma}^2\mathbf{Z}\mathbf{Z}')^{-1}$ est égale à $\frac{1}{\sigma^2}I - \frac{\sigma_{\gamma}^2}{\sigma^2}\mathbf{Z}(\sigma^2I + \sigma_{\gamma}^2\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'$. Par rapport au mo-dèle linéaire homoscédastique, il apparaît donc des termes supplémentaires dans l'expression de l'estimateur et de sa variance liés à l'expression $\frac{\sigma_{\gamma}^2}{\sigma^2}\mathbf{Z}(\sigma^2I + \sigma_{\gamma}^2\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'$; ces termes sont nuls si $\sigma_{\gamma}^2 = 0$ (absence d'effets "classe").

- Pour un modèle à erreurs composées, l'estimateur des MCO n'est plus l'estimateur optimal des $\beta$. Il est moins précis que l'estimateur des MCG.

- Pour un modèle à erreurs composées, l'estimateur "Within" n'est plus l'estimateur optimal des $\beta$. Il est moins précis que l'estimateur des MCG. Dans le cas où le nombre d'élèves par classe est constant, la matrice de variance-covariance de l'estimateur des MCG a pour expression $\sigma^2(\mathbf{X}'\mathbf{W}\mathbf{X} + \frac{\sigma^2}{\sigma^2+n_1\sigma_{\gamma}^2}\mathbf{X}\mathbf{B}\mathbf{X})^{-1}$ avec $B = I - W = \mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'$. La perte d'efficacité de l'estimateur "Within" par rapport à l'estimateur des MCG est donc d'autant plus im-portante que la variance inter-classe des variables observables est grande devant la variance intra-classe $(\mathbf{X}\mathbf{B}\mathbf{X} \gg \mathbf{X}\mathbf{W}\mathbf{X})$ et que la variance intra-classe des variables inobservables est grande devant la variance inter-classe $(\sigma^2 \gg n_1\sigma_{\gamma}^2)$.

Preuve :

□

Les propriétés de l'estimateur de MCG sont une conséquence directe des propriétés de l'estimateur des MCO présentées dans le chapitre 2.

■

À partir de l'expression théorique de l'estimateur des MCG, une idée relativement naturelle pour obtenir une estimation des paramètres $\beta$ est de remplacer la matrice $(\sigma_{\gamma}^2\mathbf{Z}\mathbf{Z}' + \sigma^2I)$ par une estimation, on obtient alors un estimateur des moindres carrés quasi-généralisés (MCQG). Pour cela on utilise des estimateurs convergents de $\sigma_{\gamma}^2$ et $\sigma^2$. Plusieurs stratégies sont possibles pour estimer ces deux quantités mais nous nous contenterons de mentionner deux approches. La première est celle qui est classiquement utilisée en présence d'un panel cylindré (panel dans lequel tout les individus ont répondu à toutes les vagues d'enquête) et qui peut très facilement être appliquée dans le cas où le nombre d'élèves observés par classe est constant. La seconde est moins classique mais s'adapte bien au cas où le nombre d'élèves observés diffère d'une classe à l'autre et est déjà pré-programmé dans la procédure MIXED de SAS.

### 4.4.4 Quelques estimateurs de $\sigma^2$ et $\sigma_{\gamma}^2$

**Estimateurs de $\sigma^2$ et $\sigma_{\gamma}^2$ basés sur les projections inter-classe et intra-classe**

On note $Wy$ et $WX$ les écarts à la moyenne de classe des quantités $y$ et $X$, et $By$ et $BX$ les moyennes de classe. D'un point de vue matriciel $W = I - B$ et $B = \mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'$. On note $\widehat{Wv}$ (respectivement $\widehat{Bv}$) les résidus estimés de la régression de $Wy$ sur $WX$ (respectivement de $By$ sur $BX$).

Sous les hypothèses $(H_1'')$, $(H_2'')$, $(H_3'')$, les estimateurs

$$ \widehat{\sigma^2} = \frac{(\widehat{Wv})'(\widehat{Wv})}{n - K_W - C} $$

$$ \widehat{\sigma}_{\gamma}^2 = \frac{(\widehat{Bv})'(\widehat{Bv}) - (\widehat{Wv})'(\widehat{Wv}) \frac{C-(K+1)}{n-K-C}}{n - \text{Tr}(\mathbf{Z}'\mathbf{X}(\mathbf{X}'\mathbf{B}\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z})} $$

(où $K_W$ désigne le nombre de covariables $X$ non constantes au sein des classes) sont des estimateurs sans biais des paramètres $\sigma^2$ et $\sigma_{\gamma}^2$. Ces estimateurs convergent de plus à la vitesse $\sqrt{n}$.
Si, de plus, le nombre d'élèves observés dans chaque classe est constant, alors ces estimateurs ont pour expression :

$$
\begin{gather*}
\widehat{\sigma}^2 = \frac{(\widehat{Wv})'(\widehat{Wv})}{n - K_W - C} \\
\widehat{\sigma}_{\gamma}^2 = \frac{(\widehat{Bv})'(\widehat{Bv})}{n_1(C - (K_W + 1))} - \frac{1}{n_1} \frac{(\widehat{Wv})'(\widehat{Wv})}{n - K_W - C} = \frac{(\widehat{Bv})'(\widehat{Bv})}{n_1(C - n_1(K + 1))} - \frac{1}{n_1} \widehat{\sigma}^2
\end{gather*}
$$

**Remarque :** Dans le cas où le nombre d'élèves par classe est constant, la variance estimée des résidus fournie par les sorties de régressions sont $\frac{(\hat{Wv})'(\hat{Wv})}{n-K_W-1}$ et $\frac{(\hat{Bv})'(\hat{Bv})}{n_1(C-(K_W+1))}$. Après avoir corrigé la variance estimée des résidus "Within" par le facteur $\frac{n-K_W-1}{n-K_W-C}$ (cf. chapitre 3), les estimateurs $\widehat{\sigma}^2$ et $\widehat{\sigma}_\gamma^2$ se calculent très facilement. Malheureusement, cette méthode d'estimation est bien moins pratique dans le cas où le nombre d'élèves par classe n'est pas constant (même s'il est possible de récupérer dans une table SAS la matrice $(\mathbf{X}'\mathbf{B}\mathbf{X})^{-1}$, le calcul de $\mathrm{Tr}(\mathbf{Z}'\mathbf{X}(\mathbf{X}'\mathbf{B}\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z})$ doit être programmé en partie "à la main").

Preuve :

<figure><img src="image_42.png" /></figure>

Le modèle après transformation "Within" s'écrit : $W\mathbf{y} = W\mathbf{X}\beta + W\mathbf{v}$ avec $W = I - \mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'$

On note $\widehat{Wv} = W\mathbf{y} - W\mathbf{X}(\mathbf{X}'\mathbf{W}\mathbf{X})^{-1}\mathbf{X}'W\mathbf{y}$, avec $(\mathbf{X}'\mathbf{W}\mathbf{X})^{-1}$ une pseudo-inverse de $\mathbf{X}'\mathbf{W}\mathbf{X}$ (une pseudo-inverse $A^{-}$ de la matrice $A$ vérifie $AA^{-}A = A$ et $A^{-}AA^{-} = A^{-}$, dans le chapitre 3 la pseudo-inverse utilisée était construite par élimination de la variable constante $\mathbf{x}_0$ de la liste des $\mathbf{X}$). On note également $M = W - W\mathbf{X}(\mathbf{X}'\mathbf{W}\mathbf{X})^{-1}\mathbf{X}'W$, on a alors $WM = M, W\mathbf{Z} = 0$.

On en déduit que :

$$
\begin{align*}
E \left( (\widehat{Wv})' (\widehat{Wv}) | \mathbf{X}, \mathbf{Z} \right) &= E (v' W M W v | \mathbf{X}, \mathbf{Z}) \\
&= E [\mathrm{Tr} (v' W M W v) | \mathbf{X}, \mathbf{Z}] \\
&= E [\mathrm{Tr} (M W v v' W) | \mathbf{X}, \mathbf{Z}] \\
&= \mathrm{Tr} [M E (W v v' W | \mathbf{X}, \mathbf{Z})] \\
&= \mathrm{Tr} [M E (W (\sigma^2 I + \sigma_\gamma^2 \mathbf{Z}\mathbf{Z}') W | \mathbf{X}, \mathbf{Z})] \\
&= \mathrm{Tr} [M W \sigma^2] \\
&= \sigma^2 \mathrm{Tr} [M] \\
&= \sigma^2 \left( \mathrm{Tr} [W] - \mathrm{Tr} [W \mathbf{X} (\mathbf{X}'W\mathbf{X})^{-1} \mathbf{X}'W] \right)
\end{align*}
$$

$W$ et $W\mathbf{X}(\mathbf{X}'\mathbf{W}\mathbf{X})^{-1}\mathbf{X}'W$ sont des projecteurs orthogonaux de rang $n-C$ et $K_W$. La trace d'un projecteur orthogonal étant égale à son rang, on a donc $E((\widehat{Wv})'(\widehat{Wv})|\mathbf{X}, \mathbf{Z}) = \sigma^2(n-C-K_W)$.

La vitesse de convergence de cet estimateur est en $\sqrt{n-C}$, dans le cas qui nous intéresse, il est logique de supposer que $C/n \to \mathrm{cst}$ quand $n \to \infty$, la vitesse de convergence de l'estimateur est alors bien en $\sqrt{n}$.

On note $N$ la matrice de projection orthogonale sur $B\mathbf{X}^{\perp}$, $N = I - B\mathbf{X}(\mathbf{X}'\mathbf{B}\mathbf{X})^{-1}\mathbf{X}'B$.

On a :

$$
\begin{align*}
E \left( (\hat{Bv})' (\hat{Bv}) | \mathbf{X}, \mathbf{Z} \right) &= E (v'B'NBv | \mathbf{X}, \mathbf{Z}) \\
&= \mathrm{Tr} [B'NBE (v'v | \mathbf{X}, \mathbf{Z})] \\
&= \sigma^2 \mathrm{Tr} (B'NB) + \sigma_\gamma^2 \mathrm{Tr} (B'NB\mathbf{Z}\mathbf{Z}') \\
&= \sigma^2 \mathrm{Tr} (NBB') + \sigma_\gamma^2 \mathrm{Tr} (\mathbf{Z}'B'NB\mathbf{Z})
\end{align*}
$$

Comme $B' = B$, $B^2 = B$, $\mathrm{Tr}(NBB') = \mathrm{Tr}(B) - \mathrm{Tr}(B\mathbf{X}(\mathbf{X}'\mathbf{B}\mathbf{X})^{-1}\mathbf{X}'B) = C - (K+1)$.

$$
\text{Comme } B\mathbf{Z} = \mathbf{Z}, \text{ Tr}(\mathbf{Z}'B'N B\mathbf{Z}) = \text{Tr}(\mathbf{Z}'\mathbf{Z}) - \text{Tr}(\mathbf{Z}'\mathbf{X}(\mathbf{X}'B'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}) = \text{Tr}(\mathbf{Z}'\mathbf{Z}) - \\
\text{Tr}(\mathbf{Z}'\mathbf{X}(\mathbf{X}'B\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}).
$$

Dans le cas où le nombre d'élèves par classe est constant, on a : $(\mathbf{Z}'\mathbf{Z})^{-1} = n_1I$ donc $\mathrm{Tr}(\mathbf{Z}'\mathbf{X}(\mathbf{X}'\mathbf{B}\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}) = n_1\mathrm{Tr}((\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'\mathbf{X}(\mathbf{X}'\mathbf{B}\mathbf{X})^{-1}\mathbf{X}'\mathbf{Z}) = n_1\mathrm{Tr}(\mathbf{X}'\mathbf{B}\mathbf{X}(\mathbf{X}'\mathbf{B}\mathbf{X})^{-1}) = n_1(K_W + 1)$.
<figure><img src="image_43.png" /></figure>

La "PROC MIXED" de SAS utilise d'autres estimateurs de $\sigma^2$ et $\sigma_{\gamma}^2$.

## Estimateurs de $\sigma^2$ et $\sigma_{\gamma}^2$ de la première étape de la proc MIXED de SAS

Soit $M$ la matrice de projection $I - X(X'X)^{-1}X'$. Les estimateurs ci-dessous sont sans biais et convergents à la vitesse $\sqrt{n}$.

$$ \hat{\sigma}^2 = \frac{\mathrm{Tr}(MZZ'MZZ') y'My - \mathrm{Tr}(MZZ') y'MZZ'My}{\mathrm{Tr}(M) \mathrm{Tr}(MZZ'MZZ') - \mathrm{Tr}(MZZ') \mathrm{Tr}(MZZ')} $$

$$ \hat{\sigma}_{\gamma}^2 = \frac{\mathrm{Tr}(M) y'MZZ'My - \mathrm{Tr}(MZZ') y'My}{\mathrm{Tr}(M) \mathrm{Tr}(MZZ'MZZ') - \mathrm{Tr}(MZZ') \mathrm{Tr}(MZZ')} $$

Preuve :

<figure><img src="image_44.png" /></figure>

Il suffit de remarquer que :

$$ E(y'My|\mathbf{X}, \mathbf{Z}) = E(v'Mv|\mathbf{X}, \mathbf{Z}) = E(\mathrm{Tr}(v'Mv)|\mathbf{X}, \mathbf{Z}) = E(\mathrm{Tr}(Mvv')|\mathbf{X}, \mathbf{Z}) = \mathrm{Tr}(ME(vv'|\mathbf{X}, \mathbf{Z})) = \mathrm{Tr}(M(\sigma_{\gamma}^2\mathbf{Z}\mathbf{Z}'+\sigma^2I)) = \sigma_{\gamma}^2\mathrm{Tr}(MZZ') + \sigma^2\mathrm{Tr}(M) $$

et que :

$$ E(y'MZZ'My|\mathbf{X}, \mathbf{Z}) = E(v'MZZ'Mv|\mathbf{X}, \mathbf{Z}) = E(\mathrm{Tr}(v'MZZ'Mv)|\mathbf{X}, \mathbf{Z}) = E(\mathrm{Tr}(MZZ'Mvv')|\mathbf{X}, \mathbf{Z}) = \mathrm{Tr}(MZZ'ME(vv'|\mathbf{X}, \mathbf{Z})) = \sigma_{\gamma}^2\mathrm{Tr}(MZZ'MZZ') + \sigma^2\mathrm{Tr}(MZZ'). $$

On en déduit alors que $E(\sigma^2|\mathbf{X}, \mathbf{Z}) = \sigma^2$ et $E(\hat{\sigma}_{\gamma}^2|\mathbf{X}, \mathbf{Z}) = \sigma_{\gamma}^2$ dès que $\mathrm{Tr}(M)\mathrm{Tr}(MZZ'MZZ') - \mathrm{Tr}(MZZ')\mathrm{Tr}(MZZ') \neq 0$

L'inégalité de Cauchy-Schwarz assure que $\mathrm{Tr}(MZZ') = \mathrm{Tr}(MMZZ') \leq \sqrt{\mathrm{Tr}(MZZ'MZZ')} \cdot$
Comme $\mathrm{Tr}(M^2) = \mathrm{Tr}(M) = rg(M) = n - (K + 1)$ on en déduit que la quantité $\mathrm{Tr}(M)\mathrm{Tr}(MZZ'MZZ') - \mathrm{Tr}(MZZ')\mathrm{Tr}(MZZ')$ est nulle si et seulement si $M$ et $MZZ'$ sont colinéaires donc seulement si $rg(MZZ') = n - (K + 1)$ ou $MZZ' = 0$. Or $C = rg(Z') \geq rg(MZZ')$, le dénominateur des estimateurs ne peut être nul dès que le nombre d'observations est supérieur au nombre de paramètres à estimer ($n > C + K + 1$) et qu'on n'est pas dans le cas dégenéré où $\mathbf{Z}$ est une combinaison linéaire de $\mathbf{X}$ (ce qui voudrait dire que l'appartenance à la classe s'explique entièrement par une combinaison linéaire des caractéristiques $\mathbf{X}$!).

<figure><img src="image_45.png" /></figure>

### 4.4.5 Estimateurs des Moindres Carrés Quasi-Généralisés (MCQG)

On dispose à présent d'estimateurs convergents de $\sigma^2$ et $\sigma_{\gamma}^2$. L'estimateur des moindres carrés quasi-généralisés (MCQG) suit la même démarche que l'estimateur des MCG, mais les quantités inconnues $\sigma^2$ et $\sigma_{\gamma}^2$ sont remplacées par leurs estimations. L'estimateur des MCQG vérifie asymptotiquement les mêmes propriétés que l'estimateur des MCG (cela est dû au fait que les estimations des paramètres se rapprochant de plus en plus des "vraies" valeurs quand $n$ est très grand, l'estimation de première étape est donc sans influence sur le comportements des estimateurs). Par contre, le fait de remplacer des paramètres inconnus par des estimations dégrade les propriétés de l'estimateur à distance finie, il faut donc se placer sous des hypothèses asymptotiques. Comme dans le cas du modèle à effets fixes, il est plus facile de raisonner en faisant tendre le nombre de classes vers $+\infty$, plutôt que le nombre d'élèves. On note donc $\tilde{y}_j, \tilde{X}_{-0j}$ et $\tilde{\epsilon}_j$, les vecteurs obtenus en "empilant" les observations de la classe $j$.

#### Hypothèse

Hypothèse ($H_{as}''$) :
◇ Les nombres d'élèves observés par classe $n_j$ sont indépendants et identiquement distribués. On suppose de plus que $1 \le n_1 \le n_{sup} < +\infty$ presque sûrement et que $P(n_1 = 1) < 1$. Dans ces conditions, on a $1 < E(n_1) = \bar{n} < +\infty$.

◇ Les variables $(\tilde{\mathbf{y}}_j, \tilde{\mathbf{X}}_j)_{j=1...C}$ sont indépendantes et identiquement distribuées conditionnellement à $n_j$.

◇ $E[\tilde{\mathbf{X}}_1' (\sigma^2 I_{n_1} + \sigma_\gamma^2 J_{n_1})^{-1} \tilde{\mathbf{X}}_1]$ existe et est inversible ($J_{n_1}$ est une matrice carrée de taille $n_1$, remplie de 1).

$$ \Delta E \left[ \left( \tilde{\mathbf{X}}_1' (\sigma^2 I_{n_1} + \sigma_\gamma^2 J_{n_1})^{-1} \tilde{\mathbf{X}}_1 \right)_{(k,l)} \right] < +\infty \quad \text{pour tout } 0 \le l, k \le K. $$

## Normalité asymptotique des estimateurs des MCQG

Sous les hypothèses $(H_1'')$, $(H_2'')$, $(H_3'')$ et $(H_{as}'')$, l'estimateur de $\beta$ des moindres carrés quasi-généralisés défini par :

$$ \hat{\beta}_{MCQG} = \left( \mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \mathbf{X} \right)^{-1} \mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \mathbf{y} $$

existe et est unique.

Bien que biaisé à distance finie, il vérifie les propriétés suivantes :

$$ \begin{align*} \hat{\beta}_{MCQG} & \xrightarrow[n \to +\infty]{p} \beta \\ \sqrt{n} (\hat{\beta}_{MCQG} - \beta) & \xrightarrow[n \to +\infty]{loi} N \left( 0, \bar{n} E \left[ \tilde{\mathbf{X}}_1' (\sigma^2 I_{n_1} + \sigma_\gamma^2 J_{n_1})^{-1} \tilde{\mathbf{X}}_1 \right]^{-1} \right) \\ \left( \mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \mathbf{X} \right)^{\frac{1}{2}} & (\hat{\beta}_{MCQG} - \beta) \xrightarrow[n \to +\infty]{loi} N (0, I_{K+1}) \end{align*} $$

Sous l'hypothèse supplémentaire de normalité des résidus, l'estimateur de $\beta$ des moindres carrés quasi-généralisés est asymptotiquement optimal parmi les estimateurs asymptotiquement sans biais de $\beta$.

**Remarque :** L'estimateur des moindres carrés quasi-généralisés n'a donc pas de bonnes propriétés à distance finie, mais c'est le meilleur estimateur (sous les hypothèses du modèle) dès que le nombre d'observations peut être considéré comme très grand. En pratique, cette dernière condition est très généralement acceptable (travail sur des fichiers d'enquête de plusieurs milliers d'élèves ou sur des fichiers administratifs de taille beaucoup plus importante).

On peut de plus construire des tests asymptotiques car la matrice $(\mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \mathbf{X})$ fournit un estimateur asymptotique de la variance de $\hat{\beta}_{MCQG}$. Ainsi, un test de l'hypothèse $\beta_k = 0$ pourra être mené en considérant la quantité $\frac{\hat{\beta}_k}{\sqrt{[\mathbf{x}'(\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1}\mathbf{x}]_{(k,k)}}}$ qui converge (en loi) vers une loi normale centrée réduite sous l'hypothèse nulle, et qui devient très grande (presque sûrement) sous l'hypothèse alternative.

Preuve :

□

On a $\hat{\beta}_{MCQG} = \beta + (\mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \mathbf{X})^{-1} \mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \nu$.

$$ \begin{align*} \text{donc } \sqrt{C} (\hat{\beta}_{MCQG} - \beta) &= \left[ \frac{1}{C} \mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \mathbf{X} \right]^{-1} \frac{1}{\sqrt{C}} \mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \nu \\ \frac{1}{C} \mathbf{X}' (\hat{\sigma}^2 I + \hat{\sigma}_\gamma^2 \mathbf{Z}\mathbf{Z}')^{-1} \mathbf{X} &= \frac{1}{\hat{\sigma}^2 C} \sum_{j=1}^{C} \left( \tilde{\mathbf{X}}_j' \tilde{\mathbf{X}}_j - \frac{\hat{\sigma}_\gamma^2}{\hat{\sigma}^2 + n_j \hat{\sigma}_\gamma^2} \tilde{\mathbf{X}}_j' J_{n_j} \tilde{\mathbf{X}}_j \right) \end{align*} $$
Comme :

$$ \frac{1}{C} \sum_{j=1}^{C} \frac{1}{\widehat{\sigma^2}_{n_j} \sigma_{\gamma}^2} \tilde{\mathbf{X}}'_{j} J_{n_j} \tilde{\mathbf{X}}_{j} - \frac{1}{C} \sum_{j=1}^{C} \frac{1}{\sigma^2 + n_j \sigma_{\gamma}^2} \tilde{\mathbf{X}}'_{j} J_{n_j} \tilde{\mathbf{X}}_{j} = o_p(1) \frac{1}{C} \sum_{j=1}^{C} (1 + n_j) \tilde{\mathbf{X}}'_{j} J_{n_j} \tilde{\mathbf{X}}_{j} = o_p(1) $$

Et :

$$ \frac{1}{C} \sum_{j=1}^{C} \frac{1}{\sigma^2 + n_j \sigma_{\gamma}^2} \tilde{\mathbf{X}}'_{j} J_{n_j} \tilde{\mathbf{X}}_{j} - E \left( \frac{1}{\sigma^2 + n_1 \sigma_{\gamma}^2} \tilde{\mathbf{X}}'_{1} J_{n_1} \tilde{\mathbf{X}}_{1} \right) = o_p(1) \quad \text{ainsi que } \frac{1}{C} \sum_{j=1}^{C} \tilde{\mathbf{X}}'_{j} \tilde{\mathbf{X}}_{j} - E \left( \tilde{\mathbf{X}}'_{1} \tilde{\mathbf{X}}_{1} \right) = o_p(1) $$

On a :

$$ \frac{1}{C} \mathbf{X}' \left( \widehat{\sigma^2} I + \widehat{\sigma^2}_{\gamma} \mathbf{Z} \mathbf{Z}' \right)^{-1} \mathbf{X} \xrightarrow[C \to +\infty]{p} \frac{1}{\sigma^2} E \left( \tilde{\mathbf{X}}'_{1} \tilde{\mathbf{X}}_{1} - \frac{\widehat{\sigma^2}_{\gamma}}{\sigma^2 + n_1 \sigma_{\gamma}^2} \tilde{\mathbf{X}}'_{1} J_{n_1} \tilde{\mathbf{X}}_{1} \right) = E \left[ \tilde{\mathbf{X}}'_{1} (\sigma^2 I_{n_1} + \sigma^2_{\gamma} J_{n_1})^{-1} \tilde{\mathbf{X}}_{1} \right] $$

De même :

$$ \frac{1}{\sqrt{C}} \mathbf{X}' \left( \widehat{\sigma^2} I + \widehat{\sigma^2}_{\gamma} \mathbf{Z} \mathbf{Z}' \right)^{-1} v = \frac{1}{\sqrt{C}} \frac{1}{\sigma^2} \sum_{j=1}^{C} \left( \tilde{\mathbf{X}}'_{j} \tilde{v}_{j} - \frac{\widehat{\sigma^2}_{\gamma}}{\sigma^2 + n_j \sigma_{\gamma}^2} \tilde{\mathbf{X}}'_{j} J_{n_j} \tilde{v}_{j} \right) $$

Et par le même raisonnement que précédemment, on a :

$$ \frac{1}{\sqrt{C}} \mathbf{X}' \left( \widehat{\sigma^2} I + \widehat{\sigma^2}_{\gamma} \mathbf{Z} \mathbf{Z}' \right)^{-1} v \xrightarrow[C \to +\infty]{loi} N \left( 0, E \left[ \tilde{\mathbf{X}}'_{1} (\sigma^2 I_{n_1} + \sigma^2_{\gamma} J_{n_1})^{-1} \tilde{\mathbf{X}}_{1} \right] \right) $$

Finalement :

$$ \sqrt{C} \left( \hat{\beta}_{MCQG} - \beta \right) \xrightarrow[C \to +\infty]{loi} N \left( 0, E \left[ \tilde{\mathbf{X}}'_{1} (\sigma^2 I_{n_1} + \sigma^2_{\gamma} J_{n_1})^{-1} \tilde{\mathbf{X}}_{1} \right]^{-1} \right) $$

Et donc :

$$ \sqrt{n} \left( \hat{\beta}_{MCQG} - \beta \right) \xrightarrow[n \to +\infty]{loi} N \left( 0, \bar{n} E \left[ \tilde{\mathbf{X}}'_{1} (\sigma^2 I_{n_1} + \sigma^2_{\gamma} J_{n_1})^{-1} \tilde{\mathbf{X}}_{1} \right]^{-1} \right) \\ \left( \mathbf{X}' \left( \widehat{\sigma^2} I + \widehat{\sigma^2}_{\gamma} \mathbf{Z} \mathbf{Z}' \right)^{-1} \mathbf{X} \right)^{\frac{1}{2}} \left( \hat{\beta}_{MCQG} - \beta \right) \xrightarrow[n \to +\infty]{loi} N \left( 0, I_{K+1} \right) $$

Enfin, la propriété d'optimalité est assurée par le fait que l'estimateur des MCQG est asymp-
totiquement équivalent à l'estimateur des MCG.

<figure><img src="image_46.png" /></figure>

### 4.4.6 Estimateur du Maximum de Vraisemblance (MV) et estimateur du Maximum de Vraisemblance Restreint (MVR) sous hypothèses de normalité des résidus

Dans le cas où les résidus sont supposés appartenir à une famille de distribution paramétrée, les estimateurs basés sur la maximisation de la vraisemblance des observations possèdent des propriétés asymptotiques intéressantes. Il est néanmoins nécessaire de faire deux hypothèses techniques supplémentaires : l'hypothèse que le nombre d'élèves par classe est borné (condition vérifiée, on peut raisonnablement considérer que les classes comprennent toutes moins de 60 élèves) et l'hypothèse que les éléments de la matrice $n (\mathbf{X}'(\sigma^2 I + \sigma^2_{\gamma}\mathbf{Z}\mathbf{Z}')^{-1}\mathbf{X})^{-1}$ restent bornés quand $n$ tend vers $+\infty$.

Dans le cas qui nous intéresse, nous allons donc faire l'hypothèse supplémentaire ($H''_n$) suivante :

#### Hypothèse de normalité des résidus

($H''_n$) : La distribution des effets "classe" et de l'hétérogénéité individuelle est normale conditionnellement aux variables $\mathbf{X}$ et $\mathbf{Z}$ :

$$ \epsilon | \mathbf{X}, \mathbf{Z}, \gamma \rightsquigarrow N(0, \sigma^2 I_N) $$

$$ \gamma | \mathbf{X}, \mathbf{Z} \rightsquigarrow N(0, \sigma_{\gamma}^2 I_C) $$

Dans ces conditions :

$$ v | \mathbf{X}, \mathbf{Z} \rightsquigarrow N(0, V) \text{ avec } V = \sigma^2 I + \sigma^2_{\gamma} \mathbf{Z} \mathbf{Z}' $$

**Remarque :** la première partie de l'hypothèse ($H''_n$) est une hypothèse forte qui implique en particulier les hypothèses ($H''_2$) et ($H''_3$). Néanmoins cette restriction permet de se placer dans un cadre paramétrique classique et donc dans un cadre théorique bien connu. Cependant, pour dériver les comportements asymptotiques des estimateurs, il faut également contrôler le comportement de