Approximation forte

L'approximation forte est une notion en probabilité théorique qui est apparue durant la seconde moitié du , notamment après le théorème de Strassen de 1964. Les résultats d'approximation forte permettent de créer des espaces de probabilité convenables sur lesquels les sommes partielles ou le processus empirique, vont être proches des objets (comme le mouvement brownien ou le pont brownien) vers lesquels ils convergent.

Principe 
Le théorème de représentation de Skorokhod énonce qu'une suite de variables aléatoires  converge en loi vers une variable aléatoire  s'il existe un espace aléatoire sur lequel sont définies des copies  et  respectivement de  et  tels que la suite  converge presque sûrement vers . 

L'approximation forte consiste donc à construire ces espaces de probabilités sur lesquels les objets que l'on étudie, comme les sommes partielles  ou le processus empirique  (où  est la mesure empirique et  la loi des variables  supposées i.i.d.). vont être proches de leurs limites, comme le mouvement brownien ou le pont brownien. En outre de donner un moyen pratique d'établir une convergence en loi, l'approximation forte donne une vitesse de convergence vers l'objet limite.

Approximation forte des sommes partielles 
Soient  des variables i.i.d. et  la somme partielle de ces variables aléatoires. En 1961, le théorème de Skorokhod établit qu'on peut écrire en loi une somme partielle comme un mouvement brownien évalué en des temps d'arrêts. 

À la suite de ce résultat, le théorème de Strassen apparaît en 1964 et introduit pour la première fois la notion d'approximation forte. Il établit que sous la seule condition que les variables admettent un moment d'ordre deux, on peut approcher presque-sûrement sur un espace de probabilité convenable la somme partielle  par un mouvement brownien  avec une borne en . Bien qu'il soit optimal et puissant, ce résultat n'est pas suffisant pour démontrer des théorèmes comme le théorème de Donsker.

En 1975-1976, les mathématiciens Komlós, Tusnády et Major établissent que si la fonction génératrice des variables aléatoires est définie sur un voisinage de 0 alors on peut approcher presque-sûrement  par un mouvement brownien avec une borne en . Ce résultat est connu comme le théorème d'approximation KMT. C'est un résultat optimal aussi bien par rapport à la borne d'approximation que par l'hypothèse d'existence de la fonction génératrice au voisinage de 0.

Approximation forte du processus empirique

Approximation du processus empirique 
Le premier résultat concernant l'approximation forte du processus empirique est dû à Brillinger en 1969. Celui-ci établit que si  est une suite de variables i.i.d. de loi uniforme sur  alors il existe une suite de copies  et une suite de ponts browniens  tel que presque-sûrement

Dans leurs articles, Komlós, Tusnády et Major ont établi que si  est une suite de variables i.i.d. de loi uniforme sur  alors il existe une suite de ponts browniens  tel que presque-sûrement

où  sont des constantes universelles positives. Ce qui entraîne d'après le lemme de Borel-Cantelli : presque-sûrement,L'approximation du processus empirique fourni par KMT est encore cette fois optimale.

Approximation du processus empirique par un processus de Kiefer 

Jack Kiefer fut le premier mathématicien à considérer le processus empirique  comme un processus à deux paramètres et que celui-ci devait par conséquent être approché par un processus gaussien bidimensionnel. Il prouve notamment que si  est une suite de variables i.i.d. de loi uniforme sur , il existe un processus de Kiefer  vérifiant presque-sûrement, Par la suite, le théorème KMT fournit une meilleure approximation du processus empirique par le processus de Kiefer : si  est une suite de variables i.i.d. de loi uniforme sur  alors il existe un processus de Kiefer  tel que 

où  sont des constantes universelles positives. Ce qui entraîne d'après le lemme de Borel-Cantelli : presque-sûrement,

Approximation du processus empirique indexé par une classe de fonctions 
Berthet et Mason ont généralisé en 2006 l'approximation forte du processus empirique indexé par une classe de fonctions  soumises à des conditions d'entropie. On travaillera avec des variables  i.i.d. de loi  définies sur un espace de probabilité  à valeurs dans un espace , avec une classe de fonctions  incluses dans l'ensemble des fonctions mesurables de  à valeurs réelles. On pose les hypothèses suivantes : 

Hypothèse  :  ;

Hypothèse  :  est ponctuellement mesurable, i.e. il existe un sous-ensemble dénombrable  tel que tout élément de  puisse s'écrire comme limite d'une suite d'éléments de .

Hypothèse VC :  et une enveloppe de fonction  de  tel que 

où 
 le supremum est pris parmi toutes les mesures de probabilité  de  pour lesquelles  ;
  est le nombre de recouvrement de  par des boules de rayon  pour une distance .
  est la semi-métrique  avec  une mesure de probabilité sur .
Hypothèse BR :  où  est l'entropie avec crochets de  de rayon  avec la distance , c'est-à-dire du log du nombre de recouvrement avec crochets avec les mêmes paramètres.

Si  vérifie les conditions , VC ou BR alors , il existe , une suite  de réels strictement positifs et de limite nulle, des variables  i.i.d. de loi  et une suite indépendante  de processus de -pont brownien définis sur un même espace de probabilité vérifiant

et 

La deuxième relation provient de la première en effectuant un raisonnement par blocs et en appliquant le lemme de Borel-Cantelli.

Remarques : 
 L'hypothèse  est une condition sur l'existence d'une enveloppe de la classe de fonction, i.e. d'une fonction mesurable  telle que  ;
 La seconde condition  permet de s'assurer de la bonne définition du processus limite ;
 L'hypothèse VC n'est pas la définition d'une classe VC mais une propriété vérifiée par les classes VC à savoir que ce sont des classes polynomiales, c'est-à-dire que le recouvrement d'une classe VC est polynomiale en son rayon .

Références 

Statistiques
Probabilités