# Théorème de Basu

Le théorème de Basu, ou lemme de Basu, est un résultat de statistique établi en 1955 par le statisticien Debabrata Basu. Il indique qu'une statistique exhaustive et complète est indépendante de toute statistique libre. Ce théorème a de nombreuses applications dans différentes branches des statistiques et est aujourd'hui considéré comme un résultat fondamental de la discipline.

## Énoncé
### Exhaustivité, complétude et liberté d'une statistique

Le théorème de Basu utilise les notions d'exhaustivité, de complétude et de liberté d'une statistique. Rappelons les définitions de ces notions.
Considérons un modèle statistique de paramètre $\theta$ générant des données $X$.
* Une statistique $T(X)$ est exhaustive pour $\theta$ si la distribution de $X$ conditionnellement à $T(X)$ ne dépend pas de $\theta$.
* Une statistique $T(X)$ est complète si l'implication suivante est vraie pour toute fonction $g$ mesurable à valeurs réelles : si pour tout $\theta$, $\mathbb {E} \left[g(T(X))\right]=0$, alors $P\left[g(T(X))=0\right]=1$ pour tout $\theta$.
* Une statistique $S(X)$ est libre pour $\theta$ si sa distribution ne dépend pas de $\theta$.

### Énoncé et démonstration

* Théorème — Soit ${\mathcal {P}}=\{P_{\theta }\mid \theta \in \Theta \}$ une famille de distributions indicée par un paramètre $\theta$, générant une variable aléatoire $X$ à valeurs dans un espace mesurable (par exemple $\mathbb {R} ^{n}$ dans le cas où $X$ est un échantillon de $n$ variables aléatoires réelles). Soit $T(X)$ une statistique exhaustive et
* complète (en)
* pour $\theta$.
* Si $S(X)$ est une statistique libre (en) pour $\theta$ alors $T(X)$ et $S(X)$ sont indépendantes.
Notons ${\mathcal {T}}$ et ${\mathcal {S}}$ les espaces (mesurables) dans lesquels $T(X)$ et $S(X)$ prennent leurs valeurs respectivement.
Rappelons que :
* puisque $S(X)$ est libre pour $\theta$, sa distribution ne dépend pas de $\theta$,
* puisque $T(X)$ est exhaustive pour $\theta$, pour $t\in {\mathcal {T}}$la distribution de $X$ conditionnellement à $T(X)$ ne dépend pas de $\theta$. En particulier, la distribution de $S(X)$ conditionnellement à $T(X)=t$ ne dépend pas de $\theta$,
* puisque $T(X)$ est complète pour $\theta$, si une fonction $g$ de ${\mathcal {T}}$ dans $\mathbb {R}$ satisfait $\mathbb {E} \left[g(T(X))\right]=0$ pour tout $\theta$, alors $g\left(T(X)\right)=0$ avec probabilité 1.
Soit $A$ un ensemble mesurable de ${\mathcal {S}}$. Alors
$P(S(X)\in A)=\mathbb {E} \left[P(S(X)\in A\mid T(X))\right]$
d'après le théorème de l'espérance totale. On a donc
$\mathbb {E} \left[P(S(X)\in A\mid T(X))-P(S(X)\in A)\right]=0$.
Remarquons que
* puisque $S(X)$ est libre, $P(X\in A)$ ne dépend pas de $\theta$.
* puisque $T(X)$ est exhaustive, $P(S(X)\in A\mid T(X))$ ne dépend pas de $\theta$.
Donc $P(S(X)\in A\mid T(X))-P(S(X)\in A)$ ne dépend pas de $\theta$, mais uniquement de $T(X)$. Appelons $g(T(X))=P(S(X)\in A\mid T(X))-P(S(X)\in A)$, nous avons donc
$\mathbb {E} \left[g(T(X))\right]=0$.
Comme cette égalité est valide pour tout $\theta$, et comme $T(X)$ est complète pour $\theta$, on en déduit que $g(T(X))=0$ avec probabilité 1, c'est-à-dire que
$P(S(X)\in A)=P(S(X)\in A\mid T(X))$ avec probabilité 1.
Comme cela est vrai pour tout $A$ mesurable, cela implique que $S(X)$ et $T(X)$ sont indépendants.
En effet, pour un ensemble mesurable B de ${\mathcal {T}}$,
$P\left(S(X)\in A\cap T(X)\in B\right)=\int _{T(X)\in B}P\left(S(X)\in A\mid T(X)=t\right)\,f_{T(X)}(t)\,dt=\int _{T(X)\in B}P\left(S(X)\in A\right)\,f_{T(X)}(t)\,dt=P(S(X)\in A)\,P(T(X)\in B)$.

### Remarques

* La condition de complétude de $T(X)$ peut être remplacée par la condition moins forte de complétude bornée : si pour une fonction $g$ mesurable et bornée à valeurs dans $\mathbb {R}$, $\mathbb {E} \left[g(T(X))\right]=0$ pour tout $\theta$, alors $g(T(X))=0$ avec probabilité 1 pour tout $\theta$.
* Le théorème est parfois écrit en exigeant que $T(X)$ soit une statistique minimale. Cette condition n'est pas nécessaire, mais elle peut paraître naturelle car le théorème de Bahadur (en) garantit que, s'il existe une statistique minimale, une statistique complète et exhaustive est nécessairement minimale.

## Exemples
### Loi normale

Considérons une loi normale ${\mathcal {N}}(\mu ,\sigma )$ d'espérance $\mu$ et de variance $\sigma ^{2}$. Soit $X_{1},\ldots ,X_{n}$ $n$ variables aléatoires indépendantes issues de cette loi normale.

#### Moyenne et variance empiriques

* La moyenne empirique ${\bar {X}}={\frac {1}{n}}\sum _{1=1}^{n}X_{i}$ est une statistique exhaustive et complète pour $\mu$. Cela se montre en utilisant le fait que la loi normale fait partie de la famille exponentielle.
* La variance empirique $S={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}$ est une statistique libre pour $\mu$. En effet, la distribution de $n\sigma ^{2}S$ est une loi du $\chi ^{2}$ à $n-1$ degrés de liberté. La distribution de $S$ ne dépend donc pas de $\mu$.
Alors ${\bar {X}}$ et $S$ sont indépendantes.

#### Statistique de Student

Supposons que l'espérance $\mu$ soit connue et égale à $\mu _{0}$.
* L'estimateur non biasée de la variance ${\tilde {S}}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}$ est une statistique exhaustive et complète pour $\sigma ^{2}$.
* La statistique du test de Student $T={\sqrt {n}}{\frac {{\bar {X}}-\mu _{0}}{\sqrt {\tilde {S}}}}$ est une statistique libre pour $\sigma$ car sa distribution est une loi de Student à $n-1$ degrés de liberté (qui ne dépend donc pas de $\sigma$).
Les statistiques ${\tilde {S}}$ et $T$ sont donc indépendantes.

### Loi gamma

Considérons une loi gamma $\Gamma (\alpha ,\beta )$ de paramètre de forme $\alpha$ et d'intensité $\beta$. La densité associée est $f(x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}$ pour $x\geq 0$. Soit $X_{1},\ldots ,X_{n}$ $n$ variables aléatoires indépendantes issues de cette loi gamma.
* ${\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$ est une statistique complète et exhaustive pour $\beta$. Cela se montre en utilisant le fait que la loi gamma fait partie de la famille exponentielle.
* La statistique $S={\frac {\sum _{i=1}^{n-1}X_{i}}{\sum _{i=1}^{n}X_{i}}}$ est libre pour $\beta$ car c'est une statistique invariante pour l'échelle.
On a donc que ${\bar {X}}$ et $S$ sont indépendantes.

### Statistiques de rang pour un modèle non paramétrique

Considérons la famille de distributions ${\mathcal {P}}$ générant des variables aléatoires $X_{1},\ldots ,X_{n}$ indépendantes et identiquement distribuées selon un distribution $F$ admettant une fonction de densité continue sur $\mathbb {R}$: ${\mathcal {P}}=\left\{{\text{distributions de densité }}\prod _{i=1}^{n}f(x_{i})\mid f{\text{ est une densité continue sur }}\mathbb {R} \right\}$. Il s'agit d'un cas inhabituel de famille de distributions où le paramètre est la densité $f$.
* Il est possible de démontrer que l'échantillon ordonnés des valeurs les plus faibles aux plus grandes, $X_{(1)},\ldots ,X_{(n)}$ est une statistique exhaustive et complète.
* Notons $R_{1},\ldots ,R_{n}$ les rangs de l'échantillon $X_{1},\ldots ,X_{n}$ (par exemple $R_{1}=n$ si $X_{1}$ prend la plus grande valeur de l'échantillon). Alors la distribution de $(R_{1},\ldots ,R_{n})$ ne dépend pas de $f$. Il s'agit donc d'une statistique libre.
Alors l'échantillon ordonné $X_{(1)},\ldots ,X_{(n)}$ est indépendant des rangs $R_{1},\ldots ,R_{n}$ de l'échantillon.

## Réciproque

Il existe un résultat proche d'une réciproque du théorème de Basu indiquant que si une statistique $S(X)$ est indépendante d'une statistique exhaustive $T(X)$ pour toute valeur du paramètre $\theta$, alors $S(X)$ est libre pour $\theta$. La complétude de la statistique exhaustive $T(X)$ n'est plus nécessaire, mais ce résultat vient au prix d'une condition supplémentaire sur le modèle $P_{\theta }$ pour lequel il ne doit pas exister d'événement séparant, c'est-à-dire qu'il ne doit pas exister d'événement qui soit impossible pour certaines valeurs du paramètre $\theta$ mais certain pour d'autres valeurs du paramètre.

### Énoncé

* Théorème — Soit ${\mathcal {P}}=\{P_{\theta }\mid \theta \in \Theta \}$ une famille de distributions indicée par un paramètre $\theta$, générant une variable aléatoire $X$ à valeurs dans un espace mesurable (par exemple $\mathbb {R} ^{n}$ dans le cas où X est un échantillon de $n$ variables aléatoires réelles). Soit $T(X)$ une statistique exhaustive pour $\theta$ à valeurs dans ${\mathcal {T}}$. Supposons que de plus qu'il n'existe pas d'événement séparant pour ${\mathcal {P}}$, c'est-à-dire qu'il n'existe pas d'événement $A$ tel que $P(A)=0$ pour certaines valeurs de $\theta \in \Theta$ et $P(A)=1$ pour d'autres valeurs de $\theta \in \Theta$.
* Si $S(X)$ est une statistique indépendante de $T(X)$ pour tout $\theta \in \Theta$, alors $S(X)$ est libre pour $\theta$.
Pour démontrer ce résultat, précédons par l'absurde. Supposons que les hypothèses du théorème sont vérifiées et supposons aussi qu'il existe une statistique $S(X)$ indépendante de $T(X)$ pour tout $\theta$ et dont la distribution dépend de $\theta$.
Pour plus de clarté, notons $P_{\theta }$ une probabilité calculée en supposant la valeur $\theta$ du paramètre.
Puisque la distribution de $S(X)$ dépend de $\theta$, il existe $A\subset {\mathcal {S}}$, $\theta _{1}$ et $\theta _{2}$ tels que $P_{\theta _{1}}(S(X)\in A)\neq P_{\theta _{2}}(S(X)\in A)$.
Comme $T(X)$ est exhaustive, $P(S(X)\in A\mid T(X))$ ne dépend pas de $\theta$. Pour insister sur ce fait, notons $h(x)=P(S(X)\in A\mid T(X)=T(x))$, qui ne dépend que de $x$.
Par ailleurs, comme $S(X)$ et $T(X)$ sont indépendantes, pour tout $\theta$, $P_{\theta }(S(X)\in A\mid T(X))=P_{\theta }(S(X)\in A)$ avec probabilité 1. Cela peut se réécrire $h(X)=P_{\theta }(S(X)\in A)$ avec probabilité 1, ou encore $P_{\theta }\left[h(X)=P_{\theta }(S(X)\in A)\right]=1$.
Notons $M_{1}=h^{-1}(\{P_{\theta _{1}}(S(X)\in A)\})$ et $M_{2}=h^{-1}(\{P_{\theta _{2}}(S(X)\in A)\})$. On a $M_{1}\cap M_{2}=\emptyset$ car la fonction $h$ ne peut pas prendre plusieurs valeurs à la fois et $P_{\theta _{1}}(S(X)\in A)\neq P_{\theta _{2}}(S(X)\in A)$.
Comme $P_{\theta }\left[h(x)=P(S(X)\in A)\right]=1$ pour tout $\theta$, on a $P_{\theta _{1}}(X\in M_{1})=1$ et de même $P_{\theta _{2}}(X\in M_{2})=1$. Comme $M_{1}$ et $M_{2}$ sont disjoints $P_{\theta _{2}}(X\in M_{1})=0$.
On a là une contradiction de l'hypothèse qu'il n'existe pas d'événement séparant, car l'événement $X\in M_{2}$ a une probabilité 1 sous $\theta _{2}$ et une probabilité nulle sous $\theta _{1}$.

### Démonstration intuitive mais inexacte

Donnons ici une démonstration simple et intuitive, bien qu'inexacte, de la réciproque du théorème de Basu.

#### Démonstration

Soit $A$ un ensemble mesurable de ${\mathcal {S}}$. Comme $T(X)$ est exhaustive, $P(S(X)\in A\mid T(X))$ ne dépend pas de $\theta$. Par ailleurs, comme $S(X)$ et $T(X)$ sont indépendantes, $P(S(X)\in A\mid T(X))=P(S(X)\in A)$. On en déduit donc que $P(S(X)\in A)$ ne dépend pas de $\theta$. Comme cela est vrai pour tout événement $A$, nous avons bien montré que $S(X)$ est libre pour $\theta$.

#### Erreur

Cette démonstration n'utilise pas la condition de non-existence d'événement séparant pour le modèle ${\mathcal {P}}=\{P_{\theta }\mid \theta \in \Theta \}$ et est donc fausse, comme le montre le contre-exemple donné plus loin.
L'erreur de cette preuve provient de l'implication « comme $S(X)$ et $T(X)$ sont indépendantes, $P\left(S(X)\in A\mid T(X)\right)=P(S(X)\in A)$» qui doit être corrigée en « comme $S(X)$ et $T(X)$ sont indépendantes, $P(S(X)\in A\mid T(X))=P(S(X)\in A)$, avec probabilité 1». Comme la précision «avec probabilité 1» dépend de la loi de probabilité considérée, elle dépend en réalité du paramètre $\theta$. Cela complique les choses et ne permet donc pas de conclure sans hypothèse supplémentaire sur le modèle ${\mathcal {P}}$.
Cette démonstration a été publiée par Basu en 1955 et corrigée 3 ans plus tard. Bien qu’erronée à cause d'un point technique, elle permet de donner une intuition du théorème et de sa preuve qui, bien qu'un peu plus technique, reste guidée par le même argument.

### Contre exemple

Donnons ici un exemple de modèle statistique pour lequel il existe des statistiques libres mais non indépendantes de statistiques exhaustives, ce modèle ne satisfaisant pas la condition de non-séparabilité.
Soit $X$ une variable aléatoire issue d'une distribution uniforme sur un intervalle $[\theta ,\theta +1[$ où $\theta \in \mathbb {N}$.
La densité de $X$ peut s'écrire $f(c)=\mathbb {1} _{\{\theta \}}(\lfloor x\rfloor )$, où $\lfloor X\rfloor$ désigne la partie entière de $X$ et où $\mathbb {1} _{\{\theta \}}$désigne la fonction indicatrice du singleton $\{\theta \}$, qui vaut 1 si son argument est égal à $\theta$ et 0 sinon. Le théorème de factorisation de Fisher–Neyman indique alors que $\lfloor X\rfloor$ est une statistique exhaustive pour $\theta$.
Cependant pour un $\theta$ donné, la statistique $\lfloor X\rfloor$ est constante, égale à $\theta$, elle est donc indépendante de toute autre statistique, en particulier de $X$. Cependant, $X$ n'est pas libre car sa distribution dépend bien de $\theta$ ($X$ est même également exhaustive).
La réciproque du théorème de Basu n'est donc pas respectée dans ce cas particulier. Cela est rendu possible par le fait que le modèle statistique considéré est séparable: l'événement $\lfloor X\rfloor =1$ a une probabilité de 1 si $\theta =1$, mais une probabilité de 0 si $\theta =2$ par exemple.

### Autres réciproques

D'autres réciproques du théorème de Basu ont été établies, cherchant par exemple à établir la complétude d'une statistique exhaustive qui serait indépendante de toute statistique libre. Cependant ces résultats sont plus techniques, utilisent des notions modifiées de complétude et ont eu un impact moindre.

## Histoire

Basu a donné la première version de ce théorème en 1955 dans un article intitulé On Statistics Independent of a Complete Sufficient Statistic, publié dans le journal de l'Institut indien de statistiques : Sankhyā: The Indian Journal of Statistics. Cette première publication met surtout en avant la réciproque du théorème plutôt que ce qui sera retenu comme le théorème lui-même. Une erreur dans la démonstration de la réciproque est rapidement notée et une version corrigée est publiée en 1958 dans le même journal. Le théorème de Basu, établissant un lien fort entre les notions de complétude, d'exhaustivité et de liberté, a rapidement trouvé de nombreuses applications. Il est aujourd'hui inclus dans des livres de référence de statistiques$^,$.

## Applications

Le théorème de Basu trouve de nombreuses applications dans différentes branches des statistiques. Donnons ici une liste non exhaustive d'applications de ce théorème.
* Il peut simplifier le calcul de moments de variables aléatoires, lorsque celles-ci peuvent s'écrire comme un produit ou comme une somme d'une statistique exhaustive et complète et d'une statistique libre.
* Pour certains tests d'hypothèses, il permet d'établir la distribution exacte d'une statistiques de test.
* Le théorème de Basu est au cœur de l'astuce du Monte Carlo swindle, permettant d'améliorer la précision de certaines méthodes de Monte-Carlo.
* Il peut intervenir dans la production d'intervalles de confiance dans le cadre des méthodes Bayésiennes empiriques (en).
* Il trouve des applications dans différents problèmes d'estimation, notamment pour trouver des estimateurs à variance minimale.