text: Estimation de régularité locale Rémi Servien
  To cite this version: Rémi Servien. Estimation de régularité locale. Statistiques [math.ST]. Université Montpellier II Sciences et Techniques du Languedoc, 2010. Français. tel-00730491
  HAL Id: tel-00730491 https://tel.archives-ouvertes.fr/tel-00730491 Submitted on 10 Sep 2012
  
   U N I V E R S I T É
  MONTPELLIER
  II
  –SCIENCES ET TECHNIQUES DU LANGUEDOC–
  T H È S E pour obtenir le grade de
  DOCTEUR DE L'UNIVERSITÉ MONTPELLIER II Discipline Ecole Doctorale Formation Doctorale
  : Mathématiques appliquées : Information, Structures, Systèmes : Biostatistique
  Estimation de régularité locale par
  Rémi SERVIEN
  Soutenue publiquement et obtenue avec mention très honorable le 12/03/2010 devant le jury composé de :
  C. ABRAHAM
  Professeur, SupAgro Montpellier
  Examinateur
  A. BERLINET
  Professeur, Université Montpellier II Directeur de Thèse
  G. BIAU
  Professeur, Université Paris VI
  A. MAS
  Professeur, Université Montpellier II Président
  Examinateur
  B. PELLETIER Professeur, Université Rennes II
  Rapporteur
  P. SARDA
  Rapporteur
  Professeur, Université Toulouse III Remerciements Pendant la majeure partie de ma thèse, j'attendais avec impatience ce moment libérateur où j'écrirais les remerciements. Pour n'importe quel doctorant débutant cette étape marque en effet la fin de la rédaction et une grosse marche supplémentaire gravie vers le doctorat. Et même si on se rend compte, au fur et à mesure de l'avancée de notre travail, que l'obtention de la thèse n'est qu'une étape supplémentaire franchie et non une fin en soi, ce n'est pas sans émotions que je me lance dans cette tâche en m'excusant par avance d'éventuels oublis. Je tiens tout d'abord à exprimer toute ma gratitude à Alain Berlinet qui m'a accompagné, aidé et corrigé tout au long de cette thèse. Il m'a appris à la fois la rigueur scientifique et l'ouverture d'esprit et je reste impressionné par l'étendue de ces connaissances, tant théoriques qu'appliquées. J'espère que notre collaboration ne s'arrêtera pas avec cette thèse. Merci infiniment à Bruno Pelletier et Pascal Sarda qui m'ont fait l'honneur d'accepter de rapporter cette thèse, malgré un emploi du temps que je devine chargé. Je remercie de même Christophe Abraham, Gérard Biau et André Mas qui ont spontanément accepté de participer à mon jury. Je remercie également l'ensemble des membres du département de Mathématiques, et particulièrement les gens avec qui j'ai collaboré pour mes vacations comme Christian Lavergne, Catherine Trottier ou Cyrille Joutard, ainsi que Nicolas Molinari avec qui j'ai fait mon monitorat-conseil au sein du CHU de Nı̂mes. J'adresses mes plus sincères remerciements à Pierre Cartigny et l'ensemble de l'UMR ASB du campus ENSAM-INRA de Montpellier. J'ai eu la chance de travailler dans des conditions privilégiées et j'ai pu rencontrer là-bas des gens formidables avec qui j'ai pu nouer des liens solides. Je remercie également le CNRS et la région Languedoc-Roussilon qui ont financé cette thèse. Sur un plan plus personnel, je commencerai avec une pensée particulière pour les doctorants, ATER et Maı̂tres de conférences avec qui j'ai tissé de forts liens d'amitié. Je me suis demandé si une avalanche de prénoms était ici nécessaire. Je pense qu'elle l'est donc à Soffana, Guillaume, Olivier, Benoı̂t, Hilde, Gwladys, Elamine, Julien, Khader, Kevin, Leslie, Ahmad, Chady, Nadia, Romain, Rémy, Afaf, Chloé, Véra, Virginie, Guillemette etc  Merci. Il aura bien mérité un paragraphe pour lui tout seul, mon co-bureau pendant ces 3 ans de travail, Thomas. Pour tes corrections (à part l'orthographe), tes réponses à la fameuse question bête du vendredi soir, tous nos échanges en général, le screenquizz (dont je remercie également les participants pour leur aide précieuse comme heffy, vaudou, worm, magnum, bebert, mimo, boule, Forest, Heart, mast, node, syd, Gilles, grbill ), Michel Delpech et les mongolfières (du plus au moins sérieux), un grand merci. Je n'aurais pas pu arriver là sans l'amour que me portent mes parents et sans la totale liberté qu'ils m'ont laissé dans mes études malgré mes changements de direction. Merci Maman, Papa mais je n'oublie pas non plus mes grands-parents ainsi que Benja et Manon. Je souhaite également remercier tous mes amis qui n'ont pas encore été cités notamment le GRC dans son ensemble, les Insaliens ou les Gruissannais. Je remercie plus particulièrement ceux qui ne m'ont pas trop invité à des soirées, me laissant du temps pour travailler, ainsi que ceux qui assisteront à ma soutenance sans y comprendre un traı̂tre mot. Et, enfin, comment ne pas finir en remerciant Christelle. Pour avoir su m'épauler pendant les moments difficiles et m'avoir apporté du bonheur au quotidien, je te remercie du fond du coeur. Table des matières Introduction générale 1.1 Cadre général . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Normalité asymptotique d'estimateurs de la densité . . . . . 1.3 Estimation du mode pour des densités non continues . . . . 1.4 Estimateurs de l'indice de régularité utilisant des estimateurs de la fonction de répartition . . . . . . . . . . . . . . . . . . Bibliographie de l'Introduction . . . . . . . . . . . . . . . . . . .
  . . .
  1 1 7 9
  . 10 . 12
  I Normalité asymptotique d'estimateurs de la densité 15 1.1 1.2
  Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Estimateur des kn -plus proches voisins . . . . . . . . . . . . . 20 1.2.1 Définition de l'estimateur . . . . . . . . . . . . . . . . 20 1.2.2 Conditions Nécessaires et Suffisantes de Normalité Asymptotique . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.3 Nouvelle définition pour l'indice de régularité . . . . . . . . . . 25 1.3.1 Fonctions de répartition C 1 . . . . . . . . . . . . . . . 25 1.3.2 Densité C 0 . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.3.3 Discontinuité du second ordre . . . . . . . . . . . . . . 30 1.3.4 Nouvelle définition . . . . . . . . . . . . . . . . . . . . 31 1.4 Application à l'estimateur des kn -plus proches voisins . . . . . 32 1.5 L'histogramme . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.5.1 Construction de l'estimateur . . . . . . . . . . . . . . . 33 1.5.2 Résultat sur la Normalité Asymptotique . . . . . . . . 34 1.6 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.6.1 Indice de régularité . . . . . . . . . . . . . . . . . . . . 35 1.6.2 Estimation de la densité . . . . . . . . . . . . . . . . . 39 Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 i II Estimation du mode pour des densités non continues 43 1.1 1.2
  Introduction . . . . . . . . . . . . . . . . . . . . . . . . Convergence . . . . . . . . . . . . . . . . . . . . . . . . 1.2.1 Hypothèses et Notations . . . . . . . . . . . . . 1.2.2 Convergence de θn . . . . . . . . . . . . . . . . 1.2.3 Vitesse de convergence de θn . . . . . . . . . . . 1.2.4 Lien entre l'indice de pic et l'indice de régularité 1.3 Preuves . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 Simulations . . . . . . . . . . . . . . . . . . . . . . . . 1.4.1 Étude de f . . . . . . . . . . . . . . . . . . . . 1.4.2 Calcul du mode . . . . . . . . . . . . . . . . . . 1.4.3 Étude du point x = 0 . . . . . . . . . . . . . . . 1.4.4 Vérification des hypothèses . . . . . . . . . . . . 1.4.5 Résultats . . . . . . . . . . . . . . . . . . . . . Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . .
  . . . . . . . . . . . . . .
  . . . . . . . . . . . . . .
  . . . . . . . . . . . . . .
  . . . . . . . . . . . . . .
  45 47 47 49 49 51 52 54 54 55 56 56 56 62
  III Estimateurs de l'indice de régularité utilisant des estimateurs de la fonction de répartition 63 1 Estimateurs de l'indice de régularité 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . 1.2 Résultats de convergence . . . . . . . . . . . . . . 1.2.1 L'estimateur empirique . . . . . . . . . . . 1.3 Preuves . . . . . . . . . . . . . . . . . . . . . . . 1.4 Simulations . . . . . . . . . . . . . . . . . . . . . 1.4.1 Estimateur des kn -plus proches voisins . . 1.4.2 Comparaison des estimateurs de l'indice de Bibliographie . . . . . . . . . . . . . . . . . . . . . . .
  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . régularité . . . . . .
  . . . . . . . .
  65 65 67 67 68 71 71 77 85
  2 Estimation de la fonction de répartition : revue bibliographique 87 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 2.2 Un estimateur naturel : la fonction de répartition empirique . 89 2.3 Estimateurs par lissage local . . . . . . . . . . . . . . . . . . . 94 2.4 Estimateur à noyau . . . . . . . . . . . . . . . . . . . . . . . . 95 2.5 Estimateurs splines . . . . . . . . . . . . . . . . . . . . . . . . 97 2.6 Les Support Vector Machines . . . . . . . . . . . . . . . . . . 98 2.7 Le level-crossing . . . . . . . . . . . . . . . . . . . . . . . . . . 99 2.8 Les Systèmes de Fonctions Itérées . . . . . . . . . . . . . . . . 100 ii 2.9 D'autres estimateurs . 2.10 Fonction de répartition 2.11 Données biaisées . . . 2.12 Conclusion . . . . . . . 2.13 Simulations . . . . . . Bibliographie . . . . . . . .
  . . . . . . . . conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
  Conclusion et perspectives
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  . . . . . .
  102 103 105 107 107 115 117
  iii Introduction générale Le sujet principal de cette thèse est lié au problème général de dérivation des mesures (Rudin [15], Dudley [8]). Il trouve ses motivations dans l'étude de problèmes d'estimation quand les conditions de régularité habituelles ne sont pas vérifiées. En effet, de nombreux théorèmes de convergence font intervenir des hypothèses de continuité qui ne sont en pratique pas toujours satisfaites. Nous utilisons donc des conditions moins contraignantes permettant de plus d'étudier la régularité de la densité associée à la mesure considérée. Un paramètre αx appelé indice de régularité apparaı̂t lorsqu'on essaie d'étudier localement le comportement d'une fonction de densité dérivée d'une mesure quelconque. Ce paramètre de régularité étant fortement local, son estimation est difficile. Nous nous attacherons dans cette thèse à étudier certains problèmes d'estimation non paramétrique où cet indice intervient et à trouver différents estimateurs convergents de αx .
  1.1
  Cadre général
  Pour d ≥ 1, définissons B(Rd ) le champ borélien de Rd . Nous considérons μ une mesure de probabilité sur (Rd , B(Rd )). Notons λ la mesure de Lebesgue sur Rd muni d'une norme notée ||.||. Soit x un point de Rd , δ un réel positif et Bδ (x) la boule ouverte de centre x et de rayon δ. Afin de mesurer le comportement local de μ(Bδ (x)) par rapport à λ(Bδ (x)) nous pouvons considérer le quotient de ces deux mesures. Ainsi, si pour x fixé la limite suivante μ(Bδ (x)) δ→0 λ(Bδ (x))
  f (x) = lim
  (1.1)
  existe, alors x est appelé point de Lebesgue de la mesure μ. Si μ est absolument continue par rapport à λ nous pouvons sélectionner parmi toutes les densités 1 Introduction générale obtenues à partir de μ, une densité particulière f , qui satisfait (1.1) en tout point où cette limite existe. Il est important de noter que la notion de point de Lebesgue est plus large que la notion de continuité. Elle permet donc d'élargir certains résultats en diminuant les contraintes sur les fonctions à estimer. Dans ce contexte, Berlinet et Levallois [4] définissent un point ρrégulier de la mesure μ comme un point de Lebesgue x de μ tel que μ(Bδ (x)) − f (x) ≤ ρ(δ), λ(Bδ (x))
  (1.2)
  où ρ est une fonction mesurable telle que limδ↓0 ρ(δ) = 0. Par exemple, si d = 1 et si la mesure μ a une densité f avec une dérivée f ′ bornée par une constante quelconque Cx dans le voisinage de x, alors nous avons ρ(δ) = Cx δ et x est ρ-régulier. Il est aussi clair que, si f est une fonction localement hölderienne en x avec un exposant αx , cela implique ρ(δ) = Cx /(αx + 1)δ αx . De plus, il est possible de trouver des exemples de mesures ρ-régulières mais avec un mauvais comportement local de la densité, comme des discontinuités du second ordre. Par exemple la fonction f1 (Figure 1.1), définie pour x ∈ [−1, 1] 6= 0 par p |x| − cos(1/x) + 2x sin(1/x) + 2 , f1 (x) = c avec c = 4 + 4/3 + 2 sin(1). Pour cette densité, 0 est un point où nous n'avons ni limite à droite ni limite à gauche. Il est cependant possible de démontrer que le rapport entre μ1 la mesure associée à f1 et λ vaut 2/c en 0. Par conséquent, 0 est bien un point de Lebesgue de μ1 . Pour d'autres exemples, nous renvoyons le lecteur à l'article de Berlinet et Levallois [4]. Précisons que la fonction ρ de (1.2) n'est pas unique et dépend de la norme choisie sur Rd . Il est par ailleurs possible d'aller plus loin que la relation (1.2) et de considérer qu'en x, point de Lebesgue de la mesure μ, nous ayons μ(Bδ (x)) = f (x) + Cx δ αx + o(δ αx ) quand δ ↓ 0, λ(Bδ (x))
  (1.3)
  où Cx est une constante différente de 0 et αx un nombre réel strictement positif que nous appellerons indice de régularité. Ces constantes sont alors 2 1.1 Cadre général
  0.2
  0.3
  0.4
  0.5
  0.6
  uniques et, trivialement, cette relation implique la ρ-régularité en x avec ρ(δ) ∼ Cx δ αx . Cette relation définissant l'indice de régularité joue un rôle central tout au long de cette thèse.
  −1.0
  −0.5
  0.0
  0.5
  1.0
  Figure 1.1 – Graphique de la densité f1 .
  Notons que l'indice αx reflète le degré de régularité de la mesure μ par rapport à la mesure de Lebesgue λ. En effet, plus αx sera grand, plus la dérivée de μ sera lisse autour du point x. En reprenant rapidement l'exemple de la fonction f1 précédente, nous avions remarqué que 0 était bien un point de Lebesgue de μ. Il est également possible de démontrer que son indice de régularité vaut 1/2. La connaissance de cet indice est intéressante en pratique pour étudier le comportement local de la mesure. En effet, il nous donne d'importantes indications sur le caractère plus ou moins lisse d'une mesure autour du point 3 Introduction générale x. Il est important de noter que αx existe dans le cas d'une densité non nécessairement continue, ceci nous garantissant un large cadre de travail. Il intervient également dans différents problèmes d'estimation intimement liés au caractère lisse ou non lisse de la mesure. Nous pouvons citer notamment l'estimation du nombre optimal de voisins pour l'estimateur des kn -plus proches voisins de la densité que nous développons ci-dessous. Un problème souvent rencontré en statistique est l'estimation d'une densité f ou de sa mesure de probabilité μ (à valeurs dans Rd ) à partir d'un échantillon de variables aléatoires réelles X1 , , Xn indépendantes et identiquement distribuées (i.i.d.) et de même loi μ. Un estimateur de la densité simple et facile à mettre en oeuvre est l'estimateur des kn -plus proches voisins défini de la façon suivante. Soit (kn )n≥1 une suite d'entiers positifs, l'estimateur des kn -plus proches voisins de f au point x est alors fkn (x) =
  kn , nλ(B kn (x))
  où B kn (x) est la plus petite boule fermée de centre x contenant au moins kn points de l'échantillon. L'entier kn joue donc le rôle d'un paramètre de lissage. Plus explicitement, plus kn sera grand plus fkn sera lisse. En analyse discriminante, Fix and Hodges [9] ont introduit la règle de classification basée sur les plus proches voisins (voir aussi plus récemment Devroye, Györfi et Lugosi [7]). Son application à l'estimation de la densité fut étudiée par la suite par Loftsgaarden et Quesenberry [10] et Moore et Yackel [11]. Pour une introduction complète sur le sujet, nous renvoyons le lecteur au livre de Bosq et Lecoutre [5] ainsi qu'à l'article de Berlinet et Levallois [4]. Le choix du nombre de voisins kn est un problème difficile, d'autant plus si la densité à estimer est non lisse. Dans ce cas, van Es [16] a obtenu des résultats pour le choix de la fenêtre de l'estimateur à noyau en utilisant la validation croisée. Beirlant, Berlinet et Biau [3] ont présenté une approche nouvelle en optimi4 1.1 Cadre général sant l'erreur quadratique moyenne ∆n (x) = E (fkn (x) − f (x))2 , où l'espérance se calcule sur l'échantillon X1 , , Xn . La valeur de kn minimisant ∆n (x) en un point de Lebesgue x vérifiant (1.3) est alors kn∗
  =
  !d/(d+2αx ) 2α /d dVd x 2+2αx /d f (x) n2αx /(d+2αx ) , 2 2αx Cx
  où Vd est le volume de la boule unité de dimension d et Cx et αx les constantes de l'égalité (1.3). Nous remarquons que kn∗ augmente avec αx , ce qui n'est pas surprenant du fait du lien entre αx et la mesure de probabilité. Dans le même article, Beirlant, Berlinet et Biau proposent un estimateur (a) fkn pour minimiser le biais de l'estimateur des kn -plus proches voisins. Cet estimateur est de la forme (a)
  fkn (x) = fkn (x) − g(αx , d, fkn (x)), g étant une fonction facile à calculer lorsque ses paramètres sont connus. L'indice de régularité αx tient une part importante dans ce terme correctif qui améliore sensiblement l'estimation de la densité comme nous pouvons le voir sur l'exemple de la Figure 1.2 ci-dessous. (a)
  L'estimation fkn (0) est ici meilleure et beaucoup moins dépendante du choix du nombre de voisins kn que l'estimation classique fkn (0). Cependant, l'estimateur de αx proposé dans cet article et utilisé dans cette estimation (a) (pour αx dans fkn (0) nous choisissons la médiane de son estimation pour des valeurs de kn entre 150 et 500) reste insatisfaisant au point de vue des simulations, comme nous le verrons en détail dans le troisième chapitre de cette thèse. Il est en effet très sensible à la valeur de kn choisie. Un meilleur (a) estimateur de αx permettrait donc d'augmenter l'efficacité de fkn sans condition de continuité nécessaire.
  5 0.6
  0.8
  1.0
  Introduction générale
  ● ● ● ● ● ● ● ● ●
  ●
  ● ● ●
  ●
  ●
  ● ●
  ● ●
  ● ● ●
  0.4
  ● ●
  ● ● ● ●
  ●
  ● ● ●
  ● ●
  ● ● ● ● ● ●
  ● ●
  ● ● ●
  ● ● ●
  ● ●
  ●
  ● ● ● ● ● ●
  ● ●
  ● ●
  ● ● ●
  ●
  ●
  ●
  ●
  ●
  ● ●
  ●
  ●
  ●
  ●
  ●
  ● ●
  ●
  ●
  ●
  ●
  0.2
  ●
  ●
  ●
  ●
  ●
  ●
  ●
  ● ● ● ● ● ● ● ● ●
  0.0
  ●
  0
  200
  400
  600
  800
  1000
  kn
  (a)
  Figure 1.2 – Estimations de la densité f (x) = 0.5 exp(|x|) en x = 0 par fkn (trait plein) et fkn (en pointillés) pour n = 1000.
  L'indice de régularité tient donc une place importante dans ce problème d'estimation fonctionnelle. Il nous fournit également d'importantes indications sur le comportement d'une mesure autour d'un point de Lebesgue. Afin de l'étudier, nous avons décider de structurer notre travail en trois parties. La première partie, intitulée Normalité asymptotique d'estimateurs de la densité, nous permettra d'étudier un nouveau problème d'estimation fonctionnelle où l'indice de régularité intervient. En effet, nous étudions les lois asymptotiques de l'estimateur des kn -plus proches voisins de la densité et de l'histogramme. Nous remarquons que l'indice de régularité apparaı̂t dans ces problèmes. Dans la seconde partie, qui se nomme Estimateur du mode de densités non continues, nous définissons un estimateur du mode ne nécessitant pas de conditions de continuité sur la densité étudiée. Nous examinons également 6 1.2 Normalité asymptotique d'estimateurs de la densité comment l'indice de régularité intervient dans cette problématique. Nous nous attachons dans la troisième partie, intitulée Estimateurs de l'indice de régularité à l'aide d'estimateurs de la fonction de répartition, à obtenir différents estimateurs de l'indice de régularité. Cette partie se divise en deux chapitres. Le premier est consacré à l'obtention et la comparaison de plusieurs estimateurs de l'indice de régularité en utilisant des estimateurs de la fonction de répartition. Dans le deuxième, nous réalisons une revue bibliographique sur les différents estimateurs de la fonction de répartition afin que la classe d'estimateurs de l'indice de régularité soit potentiellement la plus large possible.
  1.2
  Normalité asymptotique d'estimateurs de la densité
  En notant Bn (x) = B(x, Rn (x)) la plus petite boule fermée de centre x contenant au moins kn points de l'échantillon, Berlinet et Levallois [4] démontrent le résultat suivant : sous les conditions de convergence de fkn kn = ∞, n→∞ n→∞ n si x est un point ρ-régulier de la mesure μ avec f (x) > 0, alors la condition p P kn ρ(Rn (x)) → 0 lim kn = ∞
  et
  lim
  lorsque n tend vers l'infini implique la convergence en distribution de la variable aléatoire p fk (x) − f (x) Tn (x) = kn n f (x) vers une loi N (0, 1). Ils obtiennent ensuite comme corollaire de ce résultat que sous les conditions de convergence évoquées précédemment et si de plus la densité f est lipschitzienne d'ordre α > 0 alors la condition 1+1/2α
  lim
  n→∞
  kn
  n 7
  =0 Introduction générale implique la convergence en distribution de Tn (x) vers une loi N (0, 1). Une bonne estimation de l'indice de régularité est donc primordiale afin d'obtenir la vérification des conditions et, par conséquent, la normalité asymptotique de Tn (x). En effet, comme nous pourrons le remarquer sur un exemple, en ne tenant pas compte de la spécificité de la mesure étudiée et de son indice de régularité il est possible de commettre une importante erreur d'estimation de la densité. Nous nous attachons tout d'abord dans ce chapitre à élargir les résultats de Berlinet et Levallois [4] sur l'estimateur des kn -plus proches voisins. Nous obtenons une condition nécessaire et suffisante à la normalité asymptotique de la loi limite de Tn (x) ainsi que l'expression de cette loi. Puis, après l'étude de différents exemples, nous donnons une nouvelle définition moins contraignante de l'indice de régularité. Nous définissons l'ensemble Ex par Ex =
  n α ≥ 0 tel que ∃C > 0, ∃λ0 > 0, tels que ∀I ∈ Ix vérifiant λ(I) < λ0 o μ(I) on ait − f (x) ≤ Cλ(I)α λ(I)
  où Ix est un ensemble d'intervalles contenant x. S'il existe un réel αx vérifiant αx = sup Ex alors αx sera l'indice de régularité de la mesure μ au point x. A l'aide de cette définition, nous obtenons une condition suffisante pour la normalité asymptotique de Tn (x). Cette nouvelle définition n'utilisant pas de développements de boules centrées en x, le point d'estimation, elle nous permet également d'étudier un estimateur de la densité tel que l'histogramme. En notant fh (x) l'estimateur de la densité par la méthode de l'histogramme, nous énonçons des conditions suffisantes pour obtenir la normalité asymptotique de Hn (x) =
  p fh (x) − f (x) nhn p . f (x)
  Enfin, nous testons nos résultats sur des données simulées. 8 1.3 Estimation du mode pour des densités non continues
  1.3
  Estimation du mode pour des densités non continues
  Considérons une mesure de probabilité μ dans Rd à partir de laquelle nous obtenons une densité f . Nous nous intéressons au problème de l'estimation du mode θ de f à partir d'un échantillon i.i.d. Sn = {X1 , . . . , Xn } distribué selon μ. Formellement, le mode d'une densité est l'argument où la densité est maximisée, c'est-à-dire la valeur pour laquelle on approche le plus (voire on atteint) la borne supérieure essentielle de f . Ce problème a suscité une littérature considérable (Parzen [13], Nadaraya [12], Devroye [6]) comme nous pourrons le voir plus en détails dans l'introduction de cette seconde partie. Néanmoins, tous les estimateurs nécessitent des conditions de régularité forte, au minimum la continuité autour du mode θ. Ainsi, pour tout x ∈ Rd , on définit l'estimateur à noyau de la densité fhn (Akaike[2], Rosenblatt [14], Parzen [13]) par   n x − Xi 1 X , k fhn (x) = nhdn i=1 hn où k est un noyau et hn la fenêtre de lissage strictement supérieure à 0 et telle que hn tend vers 0 quand n tend vers l'infini. Abraham, Biau et Cadre [1] définissent un estimateur θn du mode par θn ∈ arg max(fhn ), Sn
  plus précisément,   θn ∈ x ∈ Sn : fhn (x) = max fhn (Xi ) . 1≤i≤n
  Cet estimateur converge alors presque sûrement vers le mode θ si f est continue autour du mode. Ils obtiennent ensuite une bonne vitesse de convergence et un intervalle de confiance asymptotique. En nous appuyant sur leurs travaux, nous démontrons la convergence de θn sous des conditions ne portant pas sur la régularité de la densité f . Nous montrons ensuite que ces conditions sont vérifiées pour θ ∈ V où V est un intervalle où tout point est un point ρ-régulier. Nous obtenons également des intervalles de confiance asymptotiques sous certaines hypothèses supplémentaires, qui sont vérifiées pour θ 9 Introduction générale appartenant à un intervalle de points de Lebesgue admettant un indice de régularité. Enfin, nous terminons ce chapitre par une étude pratique sur des données simulées.
  1.4
  Estimateurs de l'indice de régularité utilisant des estimateurs de la fonction de répartition
  Nous avons pu remarquer que l'indice de régularité intervient dans différents problèmes d'estimation non paramétrique. Cependant, il est difficile à estimer et le seul estimateur disponible à notre connaissance est celui de Beirlant, Berlinet et Biau [3] qui utilise l'estimateur des kn -plus proches voisins de la densité. Ils définissent leur estimateur ᾱn,x , quelque soit τ > 1, par ᾱn,x =
  f⌊τ 2 kn ⌋ (x) − f⌊τ kn ⌋ (x) d log , log τ f⌊τ kn ⌋ (x) − f⌊kn ⌋ (x)
  si [f⌊τ 2 kn ⌋ (x) − f⌊τ kn ⌋ (x)]/[f⌊ τ kn ⌋(x) − f⌊kn ⌋ (x)] > 1 et ᾱn,x = 0 sinon, ⌊.⌋ étant la fonction partie entière. Ils obtiennent la convergence en probabilité et la normalité asymptotique de cet estimateur. Cependant, les simulations s'avèrent perfectibles. En nous appuyant sur cet article, nous déterminons dans la troisième partie différents estimateurs de l'indice de régularité en utilisant des estimateurs de la fonction de répartition. Ainsi, nous obtenons un nouvel estimateur convergent, sous certaines hypothèses, de l'indice de régularité φn,τ 2 δn (x) − φn,τ δn (x) d αn,x = log , log τ φn,τ δn (x) − φn,δn (x) où
  φn,δn (x) =
  μn (Bδn (x)) λ(Bδn (x))
  avec μn la mesure empirique. Comme pour l'estimateur de Beirlant, Berlinet et Biau, cet estimateur prendra la valeur 0 si le quotient à l'intérieur du logarithme est inférieur à 1. Lors des simulations, nous utiliserons également un estimateur α̂n,x qui est obtenu en lissant la fonction de répartition empirique 10 1.4 Estimateurs de l'indice de régularité utilisant des estimateurs de la fonction de répartition par un estimateur à noyau. Un estimateur convergent de la fonction de répartition peut donner, sous les conditions adéquates, un estimateur convergent de l'indice de régularité. Nous réalisons par conséquent une large revue bibliographique des estimateurs de la fonction de répartition dans le second chapitre de la deuxième partie. Ce travail a fait l'objet d'un article à paraı̂tre dans le Journal de la Société Française de Statistique.
  11 Bibliographie [1] C. Abraham, G. Biau, and B. Cadre. Simple estimation of the mode of a multivariate density. The Canadian Journal of Statistics, pages 23–34, 2003. [2] H. Akaike. An approximation to the density function. Annals of the Institute of Statistical Mathematics, 6 :127–132, 1954. [3] J. Beirlant, A. Berlinet, and G. Biau. Higher order estimation at lebesgue points. Annals of the Institute of Statistical Mathematics, 60 :651–677, 2008. [4] A. Berlinet and S. Levallois. Higher order analysis at lebesgue points. In M. Puri, editor, G. G. Roussas Festschrift - Asymptotics in Statistics and Probability, pages 1–16. 2000. [5] D. Bosq and J.-P. Lecoutre. Théorie de l'Estimation Fonctionnelle. Economica, 1987. [6] L. Devroye. Recursive estimation of the mode of a multivariate density. The Canadian Journal of Statistics, 7 :159–167, 1979. [7] L. Devroye, L. Györfi, and G. Lugosi. A Probabilistic Theory of Pattern Recognition. Springer-Verlag, New-York, 1996. [8] R. Dudley. Real Analysis and Probability. Chapman and Hall, New-York, 1989. [9] E. Fix and J. J. Hodges. Discriminatory analysis, nonparametric discrimination : consistency properties. USAF School of Aviation Medicine, 1951. [10] D. Loftsgaarden and C. Quesenberry. A nonparametric estimate of a multivariate density function. The Annals of Mathematical Statistics, pages 1049–1051, 1965. [11] D. Moore and J. Yackel. Large sample properties of nearest neighbour density function estimates. In S. Gupta and D. Moore, editors, Statistical Decision Theory and Related Topics II. Academic Press, New-York, 1977. 13 BIBLIOGRAPHIE [12] E. Nadaraya. On non-parametric estimates of density functions an regression curves. Theory of Probability and its Application, 10 :186–190, 1965. [13] E. Parzen. On the estimation of a probability density and mode. The Annals of Mathematical Statistics, 33 :1065–1076, 1962. [14] M. Rosenblatt. Remarks on some non-parametric estimates of a density function. The Annals of Mathematical Statistics, 27 :832–837, 1956. [15] W. Rudin. Real and Complex Analysis. McGraw-Hill, New York, 1987. [16] C. van Es. Asymptotics for least squares cross-validation bandwidths in nonsmooth cases. The Annals of Statistics, pages 1647–1657, 1992.
  14 Première partie Normalité asymptotique d'estimateurs de la densité
  15 Normalité asymptotique d'estimateurs de la densité 1.1
  Introduction
  Nous commençons ce chapitre en rappelant certaines définitions importantes aperçues lors de l'introduction. Nous considérons μ une mesure de probabilité sur (Rd , B(Rd )), x un point de Rd , δ un réel positif et Bδ (x) la boule ouverte de centre x et de rayon δ. Si pour x fixé la limite suivante μ(Bδ (x)) δ→0 λ(Bδ (x))
  f (x) = lim
  (1.4)
  existe, alors x est appelé un point de Lebesgue de la mesure μ. Dans ce contexte, Berlinet et Levallois [2] définissent un point ρ-régulier de la mesure μ comme un point de Lebesgue x qui vérifie μ(Bδ (x)) − f (x) ≤ ρ(δ), λ(Bδ (x))
  (1.5)
  où ρ est une fonction mesurable telle que limδ→0 ρ(δ) = 0. Cette définition est ensuite utilisée dans l'étude de fkn , l'estimateur des kn plus proches voisins de la densité. En notant Bn (x) = B(x, Rn (x)) la plus petite boule fermée de centre x contenant au moins kn points de l'échantillon, ils démontrent le théorème suivant : Théorème 1.1.1 (Berlinet et Levallois [2]) Sous les conditions de convergence de fkn lim kn = ∞
  n→∞
  et 17
  kn = ∞, n→∞ n lim si x est un point ρ-régulier de la mesure μ avec f (x) > 0, alors la condition p P kn ρ(Rn (x)) → 0
  lorsque n tend vers l'infini implique la convergence en distribution de la variable aléatoire p fk (x) − f (x) Tn (x) = kn n f (x)
  vers une loi N (0, 1).
  Ils obtiennent ensuite comme corollaire de ce résultat que sous les conditions de convergence du Théorème 1.1.1 et si de plus la densité f est lipschitzienne d'ordre α > 0 alors la condition 1+1/2α
  lim
  n→∞
  kn
  n
  =0
  (1.6)
  implique la convergence en distribution de Tn (x) vers une loi N (0, 1). Ils proposent ensuite de considérer la densité f0 suivante, définie pour x ∈ [−0.5, 0.5], √ 2 p + |x|. f0 (x) = 1 − 3 Pour 0 < t < y < 0.5 nous avons 1 f0 (t) − f0 (y) = (t − y) √ 2 ǫ où ǫ ∈ (x, y) alors que pour y > 0 nous avons √ f0 (0) − f0 (y) = − y. La densité f0 est donc lipschitzienne sur [−0.5, 0.5] d'ordre 1/2 en 0 et 1 partout ailleurs. Ceci implique donc la ρ-régularité en tout point x ∈ [−0.5, 0.5] avec  Cx δ pour x 6= 0 ρ(δ) = 1/2 Cx δ pour x = 0. Si l'on prend α = 1 dans la condition (1.6) nous obtenons alors la condition 3/2
  kn = 0. lim n→∞ n 18 1.1 Introduction
  0.0
  0.1
  0.2
  0.3
  0.4
  x=−0.25 x=−0.125 x=0 x=0.125 x=0.25
  −2
  0
  2
  4
  6
  (a) n = 1000
  0.0
  0.1
  0.2
  0.3
  0.4
  x=−0.25 x=−0.125 x=0 x=0.125 x=0.25
  −2
  0
  2
  4
  6
  (b) n = 10000
  Figure √ 1.3 – Estimations de la densité de Tn (x) en différents points x avec kn = n.
  19 √ Ainsi, en choisissant kn = n, nous vérifions la condition précédente et obtenons les estimations de la Figure 1.3, par la méthode du noyau, pour les densités des statistiques Tn (x) estimées en différents points x. Nous remarquons donc que, pour x 6= 0, la distribution de Tn (x) a la forme générale de la loi N (0, 1). Cependant, pour x = 0, nous en sommes très éloignés. En effet, comme nous avons α0 = 1/2, la condition (1.6) n'est pas √ vérifiée en 0 pour kn = n. En ne tenant pas compte de la spécificité de cette mesure et du changement brutal de l'indice de régularité, nous commettons une importante erreur sur l'estimation de f0 en 0 due à un choix inadapté pour kn . Une bonne estimation de l'indice de régularité est donc nécessaire en tout point de définition de la densité afin de déterminer avec précision le nombre de voisins kn à utiliser et la loi limite de l'estimateur. Nous obtenons dans la suite de cette partie une condition nécessaire et suffisante pour la normalité asymptotique de l'estimateur des kn -plus proches voisins de la densité et mettons en avant l'importance de l'indice de régularité dans cette loi limite.
  1.2 1.2.1
  Estimateur des kn-plus proches voisins Définition de l'estimateur
  Soit {kn , n ≥ 1} une suite d'entiers strictement positifs, nous rappelons que l'on définit l'estimateur des kn -plus proches voisins de la densité par fkn (x) =
  kn  nλ B kn (x)
  où B kn (x) = B (x, Rn (x)) est la plus petite boule fermée de centre x contenant au moins kn points de l'échantillon. L'entier kn jouera donc un rôle crucial à la manière de la fenêtre hn pour l'estimateur à noyau : si kn est choisi trop grand l'estimateur sera trop lisse et inversement dans le cas contraire. En analyse discriminante, Fix et Hodges [5] ont introduit la règle de classification basée sur les kn -plus proches voisins (voir également Devroye, Györfi et Lugosi [4] sur ce sujet). L'application de cette règle à l'estimation de la densité est due à Loftsgaarden et Quesenberry [7] en tout point où la densité 20 1.2 Estimateur des kn -plus proches voisins est positive et continue. Ils démontrent également la convergence en probabilité de leur estimateur, en tout point de Lebesgue x, sous les hypothèses suivantes kn = 0. (1.7) lim kn = ∞ ; lim n→∞ n→∞ n Par la suite, Moore et Yackel [8] ont obtenu le résultat asymptotique suivant p
  kn
  fkn (x) − f (x) L → N (0, 1) f (x)
  si f est continue et à dérivées bornées dans un voisinage de x avec f (x) > 0 et en ajoutant la condition kn =0 n→∞ n2/3 lim
  aux conditions (1.7). Puis, nous avons vu que Berlinet et Levallois [2] ont utilisé la définition de ρ-régularité pour obtenir le même résultat de normalité asymptotique mais pour une densité f positive dans un voisinage de x, sous les conditions (1.7) et 1+1/2α
  lim
  n→∞
  kn
  n
  = 0,
  lorsque nous avons ρ(δ) = Cδ α . Comme nous l'avons remarqué dans l'introduction générale de cette thèse il est cependant possible de supposer qu'une relation plus précise que la ρ-régularité a lieu. Ainsi, il est possible de considérer qu'en x point de Lebesgue de la mesure μ nous ayons μ(Bδ (x)) = f (x) + Cx δ αx + o(δ αx ) quand δ ↓ 0, λ(Bδ (x))
  (1.8)
  où Cx est une constante différente de 0 et αx un nombre réel strictement positif que nous appelons indice de régularité. Ces constantes sont alors uniques et il est clair que cette relation implique la ρ-régularité avec ρ(δ) = Cx δ αx . Cet indice joue un rôle primordial dans les résultats qui suivent.
  21 1.2.2
  Conditions Nécessaires et Suffisantes de Normalité Asymptotique
  Théorème 1.2.1 Si x est un point de Lebesgue où (1.8) est vérifié avec f (x) > 0, et sous les conditions (1.7), la variable aléatoire Tn (x) =
  p fkn (x) − f (x) kn f (x)
  converge en loi si et seulement si la suite 1+1/2αx
  kn
  n
  !
  a une limite finie κ. Lorsque cette condition est vérifiée, la loi asymptotique de Tn (x) est  αx +1 ! 1 Cx καx ,1 . N 2αx f (x) Preuve : La démonstration de ce théorème découle immédiatement des Lemmes 1.2.3 et 1.2.4 ci-dessous.  Dans les preuves des lemmes ci-dessous, nous utilisons la décomposition suivante de Tn (x) : Tn (x) = an (bn + cn ) où kn nμ(Bn (x))   p 1 μ(Bn (x)) = kn − f (x) f (x) λ(Bn (x))   n kn − μ(Bn (x)) = √ kn n
  an = bn et cn
  Cette décomposition a été introduite par Moore et Yackel [8] qui ont prouvé le lemme suivant : 22 1.2 Estimateur des kn -plus proches voisins Lemme 1.2.1 Dans la décomposition précédente de Tn (x), on a, sous les conditions de convergence (1.7), P
  an → 1
  L
  cn → N (0, 1).
  et
  Nous énonçons maintenant les lemmes permettant d'établir le théorème. Lemme 1.2.2 Sous les conditions de convergence (1.7) et si (1.8) est vérifée, nous avons  αx +1  α x 1 1 Cx n √ bn = α . lim n→∞ kn 2 x f (x) kn Preuve : De (1.8) il résulte que la fonction Φ(δ) =
  
   μ(Bδ (x)) 1 − f (x) αx λ(Bδ (x)) δ
  est telle que lim Φ(δ) = Cx .
  δ→0+
  En introduisant cette fonction Φ dans l'expression de bn , on obtient bn = Φ(Rn ) et 
  n kn
  α x
  
  2nRn kn
  α x
  1 √ bn = Φ(Rn ) kn
  
  α +1/2
  kn x 1 2αx f (x) nαx 2nRn kn
  α x
  1 2αx f (x)
  .
  Or, sous les conditions (1.7), nous avons P
  Rn → 0
  et
  kn P = fkn (x) → f (x). 2nRn
  On en déduit que P
  Φ(Rn ) → Cx et la conclusion du lemme en découle.
  23
   Lemme 1.2.3 (Condition suffisante) Sous les hypothèses du Théorème 1.2.1, si 1+1/2αx
  kn
  lim
  n→∞
  n
  =κ
  alors
  p fkn (x) − f (x) kn f (x)     αx +1 1 Cx καx ,1 . est de loi asymptotique N 2αx f (x) Tn (x) =
  Preuve : Les hypothèses et le Lemme 1.2.2 entraı̂nent que  αx +1 Cx καx 1 en probabilité lim bn = αx n→∞ 2 f (x) et le Lemme 1.2.1 permet de conclure.
  
  Lemme 1.2.4 (Condition nécessaire)  1+1/2αx  n'est pas Sous les hypothèses du Théorème 1.2.1, si la suite kn n convergente alors la variable aléatoire Tn (x) = ne converge pas en loi.
  p fkn (x) − f (x) kn f (x)
  Preuve :   1+1/2αx   1+1/2αx kq(n) kn n'est pas bornée, alors il existe une sous-suite Si la suite n q(n) qui tend vers l'infini donc
  ∀M > 0, P
  bq(n) > M
  
  → 1
  n→∞
  et (bn ), comme par conséquent (Tn ), ne converge pas en loi.  1+1/2α x kn Si la suite est bornée et non convergente alors il est possible d'exn traire deux sous-suites convergeant vers des limites différentes l1 et l2 . Par application du Lemme 1.2.1, les sous-suites correspondantes de (Tn ) convergent en loi respectivement vers N (l1 , 1) et N (l2 , 1). (Zn ) ne converge donc pas en loi.  24 1.3 Nouvelle définition pour l'indice de régularité
  1.3
  Nouvelle définition régularité
  pour
  l'indice
  de
  Beaucoup d'estimateurs de la densité requièrent un développement pour un rapport de mesures d'ensembles non centrés au point d'estimation x et n'étant pas forcément des boules. La première définition (1.8) est donc inutilisable dans ces cas précis. De plus, il est également intéressant de définir une nouvelle notion qui soit intermédiaire entre la définition de l'indice de régularité et la ρ-régularité. Par exemple, si on considère la densité 2 − cos(1/x) + 2x sin(1/x) c définie sur R pour x ∈ [−1, 1]\0 avec c = 4 + 2 sin 1 et μ1 sa mesure de probabilité associée. La fonction de répartition F1 associée à la densité f1 est  pour x < −1  0 1/2 + (2x + x2 sin(1/x))/c pour − 1 ≤ x ≤ 1 F1 (x) =  1 pour x > 1. f1 (x) =
  Cette densité est différentiable en tout point de [−1, 1] sauf en 0 où elle n'a ni limite à droite ni limite à gauche. On a cependant 2 F1 (h) − F1 (−h) = . h→0 2h c lim
  0 est donc un point de Lebesgue de μ1 et, en posant f1 (0) = 2/c, la discontinuité du second ordre est toujours présente. Maintenant,   1 1 μ1 ([−h, h]) − f1 (0) = h sin 2h c h et en tout point de [−1, 1] nous avons ρ-régularité avec ρ(δ) = δ/c alors qu'en 0 nous n'avons pas d'indice de régularité. Afin de fixer une nouvelle définition englobant le maximum de cas, nous allons étudier quelques exemples.
  1.3.1
  Fonctions de répartition C 1
  Lemme 1.3.1 Soit F une fonction de répartition C 1 et admettant F (2) bornée par Cx > 0 sur un voisinage I de x dans R. Si nous notons μ la mesure de 25 probabilité associée et f sa densité, on a alors, pour tout ε > 0, μ(I) Cx − f (x) ≤ λ(I). λ(I) 2 Preuve : En utilisant un développement limité en x − h1 avec h1 > 0 nous avons, F (x − h1 ) = F (x) − h1 F ′ (x) +
  h21 (2) − F (c ) 2
  avec c− ∈ [x − h1 , x[. Avec le même type de développement en x + h2 avec h2 > 0 et avec I = [x − h1 , x + h2 ], on obtient μ(I) = λ(I)F ′ (x) +
   1  2 (2) + h2 F (c ) − h21 F (2) (c− ) 2
  avec c+ ∈ ]x, x + h2 ]. Finalement, comme F ′ (x) = f (x) et F (2) bornée par Cx > 0, on a Cx μ(I) − f (x) ≤ λ(I). λ(I) 2  Selon les cas, il sera bien entendu possible d'obtenir des inégalités avec des puissances de λ(I) plus grandes. Exemple 1 : la Loi Normale Nous considérons la loi Normale N (0, 1) définie sur R avec f2 sa densité, μ2 la mesure de probabilité associée et F2 sa fonction de répartition donnée par    x F2 (x) = 0.5 ∗ 1 + erf √ 2 avec ∞ 2 X x2i+1 erf(x) = √ . (−1)i (2i + 1)i! π i=0
  Nous choisissons h1 et g1 deux entiers positifs avec 0 ∈ I = [−h1 , g1 ] et λ(I) < λ0 . On a alors      g1 1 −h1 erf √ F2 (g1 ) − F2 (−h1 ) = √ − erf √ π 2 2 ∞ 2i+1 2i+1 X g + h1 1 (−1)i √ 12i+1 . = √ π i=0 2 (2i + 1)i! 26 1.3 Nouvelle définition pour l'indice de régularité On obtient alors ∞
  X 1 g 2i+1 + h2i+1 μ2 (I) 1 =√ +√ (−1)i √ 12i+1 1 . λ(I) π(g1 + h1 ) i=1 2π 2 (2i + 1)i!
  Comme f2 (0) =
  √1 , 2π
  nous avons
  ∞ 2i+1 X + h12i+1 μ2 (I) 1 i g1 . (−1) √ 2i+1 − f2 (0) = √ λ(I) π(g1 + h1 ) i=1 2 (2i + 1)i!
  Clairement, le terme général de cette série est de la forme (−1)i vi où (vi ) désigne une suite décroissante de nombres positifs convergeants vers 0. C'est donc une série alternée convergente et son premier terme nous donne un majorant en valeur absolue (Lelong-Ferand et Arnaudiès [6]). On a donc g13 + h31 1 μ2 (I) − f2 (0) ≤ √ √  λ(I) π(g1 + h1 ) 3 2 3
  et finalement, comme (g13 + h31 )/(g1 + h1 )3 < 1,
  λ(I)2 μ2 (I) (g1 + h1 )2 √ = √ . − f2 (0) ≤ λ(I) 6 2π 6 2π
  Exemple 2 : la Loi Cauchy Nous considérons la loi de Cauchy de paramètre a = 1 définie sur R avec f3 sa densité, μ3 la mesure de probabilité associée et F3 sa fonction de répartition qui vaut 1 1 F3 (x) = arctan(x) + π 2 avec ∞ X (−1)i x2i+1 arctan(x) = . 2i + 1 i=0 Nous choisissons h1 et g1 deux entiers positifs avec 0 ∈ I = [−h1 , g1 ] et λ(I) < λ0 . On a alors ∞  1 X (−1)i 2i+1 g1 + h12i+1 F3 (g1 ) − F3 (−h1 ) = √ π i=0 2i + 1
  27 ce qui nous donne ∞
  X (−1)i  1 1 μ3 (I) g12i+1 + h12i+1 . = +√ λ(I) π πλ(I) i=1 2i + 1 Avec les mêmes arguments que dans l'exemple précédent cette série est une série alternée convergente et son premier terme nous donne un majorant en valeur absolue. On a donc, comme f3 (0) = 1/π et en utilisant la même démonstration que précédemment, 1 μ3 (I) − f3 (0) ≤ λ(I)2 . λ(I) 3π Exemple 3 : Fonction exponentielle Nous considérons la densité f4 qui est définie sur [−1, 1] par f4 (x) =
  exp x e − e−1
  et sa mesure associée μ4 . Nous choisissons h1 et g1 deux entiers positifs avec 0 ∈ I = [−h1 , g1 ] et λ(I) < λ0 . On a alors   g12 h21 μ4 (I) 1 2 2 g1 + = + o(g1 ) − (−h1 + + o(h1 )) , λ(I) λ(I)(e − e−1 ) 2 2 et, avec f4 (0) = (e − e−1 )−1 , 1 μ4 (I) − f4 (0) ≤ λ(I) λ(I)(e − e−1 )
  
  |g12 − h21 | + o(g12 − h21 ) 2
  
  .
  En utilisant le fait que g12 − h21 < λ(I)2 , on obtient finalement, pour tout ε > 0, 1+ε μ4 (I) − f4 (0) ≤ λ(I). λ(I) 2(e − e−1 )
  1.3.2
  Densité C 0
  Densité lipschitzienne d'ordre α Lemme 1.3.2 Soit h une densité quelconque lipschitzienne en un point x de R telle que, pour tout t, |h(x) − h(t)| ≤ Cx |x − t|α , 28 1.3 Nouvelle définition pour l'indice de régularité et μh sa mesure associée. On a alors, pour tout intervalle I de mesure non nulle contenant x, μh (I) − h(x) ≤ Cx λ(I)α . λ(I) Preuve : En écrivant μh (I) =
  Z
  h(t)dt =
  I
  Z
  I
  (h(x) − h(t)) dt + λ(I)h(x)
  et en utilisant le fait que h soit lipschitzienne en x, on obtient Z μh (I) Cx |x − t|α dt − h(x) ≤ λ(I) λ(I) I et |x − t| ≤ λ(I) nous donne le résultat final. Exemple 4 : Reprenons la densité
  
  √
  2 p + |x| 3 définie sur R pour x ∈ [−1/2, 1/2] et μ0 sa mesure de probabilité que nous avons déjà étudiée dans l'introduction de cette partie. En x = 0, la densité est continue mais non dérivable mais il est possible de démontrer qu'elle est 1 -lipschitzienne. Nous avons 2  pour x < −1/2,   0  √  p 2 2 F0 (x) = 1/2 + 1 − 3 x + 3 x |x| pour − 1/2 ≤ x ≤ 1/2,   1 pour x > 1/2. f0 (x) = 1 −
  Nous choisissons h1 et g1 deux entiers positifs avec 0 ∈ I = [−h1 , g1 ] et λ(I) < λ0 . On a alors √ 3/2 3/2 2 2 g1 + h1 μ0 (I) = 1− + λ(I) 3 3 (g1 + h1 ) √ 3/2 3/2 2 2 g1 + h1 = 1− λ(I)1/2 + 3 3 (g1 + h1 )3/2 d'où, comme f0 (0) = 1 −
  √
  2 , 3
  μ0 (I) 2 − f0 (0) ≤ λ(I)1/2 . λ(I) 3 29 Exemple 5 : Soit la densité f5 (x) = 0.5 exp(−|x|) définie sur R pour x ∈ [−1, 1] et μ5 sa mesure de probabilité. En x = 0, la densité est continue mais non dérivable et elle est 1-lipschitzienne. En utilisant le développement de la fonction exponentielle sous forme de série et le même type d'argument qu'à l'Exemple 1 sur les séries alternées, on arrive à λ(I) μ5 (I) − f5 (x) ≤ . λ(I) 4 Nous retrouvons donc les indices annoncés par le Lemme 1.3.2.
  1.3.3
  Discontinuité du second ordre
  Nous pouvons revenir à la densité f1 pour laquelle nous avons   0 1/2 + (2x + x2 sin(1/x))/c F1 (x) =  1
  pour x < −1, pour − 1 ≤ x ≤ 1, pour x > 1.
  Nous choisissons h1 et g1 deux entiers positifs avec 0 ∈ I = [−h1 , g1 ] et λ(I) < λ0 . On a alors 2 g 2 sin(1/g1 ) + h21 sin(1/h1 ) μ1 (I) = + 1 λ(I) c cλ(I) et en posant f1 (0) = 2/c (qui est la limite du rapport des mesures de boules), on obtient μ1 (I) 1 g 2 + h21 − f1 (0) ≤ 1 ≤ λ(I). λ(I) cλ(I) c Ces résultats nous poussent donc à envisager une nouvelle définition pour l'indice de régularité qui permettrait d'englober également les mesures comme la mesure μ1 . 30 1.3 Nouvelle définition pour l'indice de régularité
  1.3.4
  Nouvelle définition
  Les exemples ci-dessus nous amènent à considérer la nouvelle définition suivante. Soit μ une mesure de probabilité différentiable en un point de Lebesgue x de R de densité f (x). On définit l'ensemble Ex par n Ex = α ≥ 0 tel que ∃C > 0, ∃λ0 > 0, tels que ∀I ∈ Ix vérifiant λ(I) < λ0 o α − f (x) ≤ Cλ(I) on ait μ(I) λ(I) où Ix est l'ensemble des intervalles contenant x. S'il existe un réel αx vérifiant αx = sup Ex
  (1.9)
  alors αx sera l'indice de régularité de la mesure μ au point x. Si sup Ex = +∞ alors nous aurons αx = +∞. Nous donnons ci-dessous un exemple de ce cas particulier. Soit une densité quelconque d constante sur un intervalle I de mesure non nulle et μd sa mesure associée. Alors, pour tout point x ∈ I, il est possible de vérifier que Z d(t)dt = d(x).λ(I)
  μd (I) =
  I
  ce qui nous donne
  μd (I) − d(x) = 0. λ(I) Nous nous trouvons alors dans le cas où αx = +∞. L'indice de régularité augmentant avec la régularité de la mesure, il n'est pas étonnant que, dans le cas d'une densité constante sur un intervalle, on trouve αx = +∞ comme ici. A l'aide de cette nouvelle définition, nous pouvons définir un indice de régularité dans chacun des exemples vus précédemment notamment pour la mesure μ1 ce qui n'est pas le cas avec la première définition. Cette nouvelle définition peut donc nous permettre d'élargir certains résultats à des mesures dont le développement ne permet pas d'obtenir un indice de régularité exact. 31 Elle peut également être utilisée pour des estimateurs de la densité n'utilisant pas des développements de boules centrées en x, le point d'estimation, comme par exemple l'histogramme.
  1.4
  Application à l'estimateur des kn-plus proches voisins
  En utilisant la nouvelle définition pour l'indice de régularité, nous énonçons un théorème sur la normalité asymptotique de l'estimateur des kn -plus proches voisins. Théorème 1.4.1 Si x est un point de Lebesgue où (1.9) est vérifié avec f (x) > 0 et αx ∈ Ex , et sous les conditions (1.7), la condition supplémentaire 1+1/2αx
  lim
  kn
  n
  n→∞
  =0
  implique la convergence asymptotique de la variable aléatoire Tn (x) =
  p fkn (x) − f (x) kn f (x)
  vers une loi N (0, 1). Ce théorème nous permet d'élargir nos résultats précédents à des classes de mesures ρ-régulières mais n'admettant pas de développement exact du rapport des mesures de boules, comme par exemple la mesure μ1 . Preuve : Il est clair que la condition (1.9) avec αx ∈ Ex implique la ρ-régularité en x avec ρ(δ) = Cx δ αx . D'après le Théorème 1.1.1, la condition p P kn ρ(Rn (x)) → 0
  implique la normalité asymptotique de Tn (x). Or, nous avons 1/2+αx
  p
  Cx kn kn ρ(Rn (x)) = 2αx nαx
  
  λ(Bn (x)) μ(Bn (x)) 32
  α x 
  nμ(Bn (x)) kn
  α x
  . 1.5 L'histogramme Et, comme an =
  nμ(Bn (x)) P →1 kn
  P
  et, pour f (x) > 0 et Rn (x) → 0 (Loftsgaarden et Quesenberry [7]), alors λ(Bn (x)) P → f (x)−1 , μ(Bn (x)) ce qui permet de conclure.
  1.5 1.5.1
  
  L'histogramme Construction de l'estimateur
  L'histogramme est un estimateur de la densité très simple à mettre en oeuvre. Pour le définir, nous avons besoin de séparer notre espace de manière régulière et nous supposons donc qu'il existe une suite Pn = {Πnq ; q ∈ N} de partitions équilibrées de R en boréliens, c'est-à-dire vérifiant lim sup diam(πnq ) = 0 et n
  q
  lim sup(βn /γn ) < ∞
  avec γn = inf q λ(Πnq ) et βn = supq λ(Πnq ). Dans R, on construit une suite d'intervalles Πnq = [(q − 1)hn , qhn [, q ∈ Z, où hn est un nombre réel positif dépendant de n. L'histogramme s'écrit alors νnq fh (x) = nhn avec x ∈ Πnq , νnq étant le nombre de points dans la qème cellule et q ∈ Z. La fonction fh est donc constante sur chacun des éléments de la partition. Afin d'assurer la convergence de fh vers f , il est donc nécessaire que les partitions deviennent de plus en plus fines. Cet estimateur est alors convergent en moyenne quadratique sous les conditions suivantes dans R (Bosq et Lecoutre [3]) lim hn = 0 et lim nhn = +∞. (1.10) n→∞
  n→∞
  33 1.5.2
  Résultat sur la Normalité Asymptotique
  Théorème 1.5.1 Si x est un point de Lebesgue où (1.9) est vérifié avec f (x) > 0 et αx ∈ Ex , et sous les conditions (1.10), la condition supplémentaire lim nhn2αx +1 = 0
  n→∞
  implique la convergence asymptotique de la variable aléatoire p fh (x) − f (x) Hn (x) = nhn p f (x) vers une loi N (0, 1). Preuve : Nous avons
  s
  Hn (x) = Rn (x) avec
  μ(Πnq ) 1 p hn f (x)
  p Rn (x) = nhn (fh (x) − f (x))
  s
  hn . μ(Πnq )
  Comme x est un point de Lebesgue où f (x) > 0, le Lemme 1.5.1 nous donne le résultat.  Nous allons maintenant énoncer les lemmes permettant d'établir le théorème. Lemme 1.5.1 Nous avons, sous les hypothèses du Théorème 1.5.1, L
  Rn (x) → N (0, 1). Preuve : En posant Sn (x) = et p Pn (x) = nhn
  s
  νnq − nμ(Πnq ) p nμ(Πnq )
  hn μ(Πnq )
  
   μ(Πnq ) − f (x) hn
  un développement rapide nous permet de vérifier que Rn (x) = Sn (x) + Pn (x), les Lemmes 1.5.2 et 1.5.3 permettent alors de conclure. 34
   1.6 Simulations Lemme 1.5.2 Sous les hypothèses du Théorème 1.5.1, nous avons L
  Sn (x) → N (0, 1). Preuve : La variable aléatoire νnq suit une loi binomiale de paramètres n et μ(Πnq ) et donc, par le Théorème Central Limite pour la loi binomiale, on obtient le résultat du lemme.  Lemme 1.5.3 Sous les hypothèses du Théorème 1.5.1, nous avons Pn (x) → 0. Preuve : D'après la définition de Pn (x) et la relation (1.9), nous avons, si αx ∈ Ex et dès que hn < λ0 , √ αx +1 nh Cx |Pn (x)| ≤ p n μ(Πnq )
  et comme x est un point de Lebesgue nous obtenons √ αx +1/2 nhn Cx p . |Pn (x)| ≤ f (x)
  Or, comme f (x) > 0 et limn→∞ nhn2αx +1 = 0, nous obtenons finalement le résultat. 
  1.6 1.6.1
  Simulations Indice de régularité
  Afin de calibrer le plus précisément possible les différents paramètres des estimateurs de la densité ci-dessus, il est tout d'abord nécessaire d'obtenir une bonne estimation de l'indice de régularité de la mesure μ étudiée. Pour cela, nous utilisons l'estimateur ᾱn,x défini par Berlaint, Berlinet et Biau [1] qui utilise l'estimateur des kn -plus proches voisins de la densité qui est étudié en détails dans la troisième partie de cette thèse et qui est défini quelque soit τ > 1, par f⌊τ 2 kn ⌋ (x) − f⌊τ kn ⌋ (x) 1 log , ᾱn,x = log τ f⌊τ kn ⌋ (x) − f⌊kn ⌋ (x) 35 si [f⌊τ 2 kn ⌋ (x) − f⌊τ kn ⌋ (x)]/[f⌊τ kn ⌋ (x) − f⌊kn ⌋ (x)] > 1 et ᾱn,x = 0 sinon. Nous ferons également appel aux estimateurs de l'indice de régularité utilisant les estimateurs de la fonction de répartition que nous étudions dans la dernière partie de cette thèse et qui sont définis, quelque soit τ > 1, par αn,x =
  φn,τ 2 δn (x) − φn,τ δn (x) 1 log , log τ φn,τ δn (x) − φn,δn (x)
  où φn,δn (x) =
  μn (Bδn (x)) λ(Bδn (x))
  avec μn la mesure empirique, et α̂n,x =
  φ̂n,τ 2 δn (x) − φ̂n,τ δn (x) 1 log , log τ φ̂n,τ δn (x) − φ̂n,δn (x)
  où φ̂n,δ (x) =
  μ̂n (Bδ (x)) λ(Bδ (x))
  avec μ̂n la mesure associée à l'estimateur à noyau de la densité. Comme pour l'estimateur de Beirlant, Berlinet et Biau, ces estimateurs prendront la valeur 0 si le quotient à l'intérieur du logarithme est inférieur à 1. Notons que les conditions pour obtenir un estimateur convergent de l'indice de régularité sur l'estimateur des kn -plus proches voisins sont kn lim =0 n→∞ n
  α +1/2
  et
  kn x lim n→∞ n αx
  = +∞.
  Nous pouvons remarquer que la deuxième condition est en contradiction avec les hypothèses des Théorèmes 1.2.1 et 1.4.1. Nous avons en effet besoin d'un nombre kn de voisins plus importants lors de l'estimation de l'indice de régularité que lors du chapitre précédent. Cela s'explique par la nature même de cet estimateur de l'indice de régularité. Il joue en effet sur les différences entre plusieurs estimations fkn avec différents kn . Plus ces différences seront marquées (avec un kn "grand"), plus l'estimateur de l'indice de régularité s'approchera de sa valeur réelle.
  36 1.6 Simulations L'indice de régularité αx étant inconnu la deuxième condition n'est pas utilisable en l'état. On peut par contre montrer qu'elle est vérifiée si kn log n = +∞. n→∞ n lim
  Cela nous amène donc à considérer des suites d'entiers kn telles que, lorsque n → ∞, n << kn << n. log n Pour les estimateurs utilisant les estimations de la fonction de répartition, nous utilisons également différentes valeurs de δn vérifiant les conditions de convergence de l'estimateur (voir Proposition 1.2.1 dans la troisième partie) et prenons l'estimation médiane pour l'estimation de l'indice de régularité. Concernant la fenêtre de l'estimateur à noyau, nous choisissons hn = Sn n−1/5 ≈ 0.09n−1/5 , pour des raisons qui seront détaillées dans la troisième partie. Nous choisissons de tester nos différents estimateurs sur la densité f0 définie sur [−0.5, 0.5] par √ 2 p f0 (x) = 1 − + |x| 3 et dont l'indice de régularité vaut  1 pour x 6= 0 1/2 pour x = 0. Pour chaque taille d'échantillon nous simulons une dizaine d'échantillons. Afin d'éliminer certaines valeurs extrêmes, nous retiendrons la médiane de la dizaine d'estimations de l'indice de régularité. Nous obtenons alors les résultats rassemblés dans les Tableaux 1.1 et 1.2 ci-dessous. Même s'ils donnent une approximation relativement correcte, les différents estimateurs ont tendance à surestimer la valeur de l'indice de régularité. Néanmoins, les différentes estimations au point 0 sont inférieures aux autres. De plus, l'estimateur des plus proches voisins réussit à s'en approcher de manière très intéressante. Nous pouvons également noter que les estimations s'améliorent logiquement avec l'augmentation de n. Afin d'obtenir encore 37 plus de précisions, il serait intéressant d'aller au delà du million de points mais les temps de calcul seraient alors encore plus longs (plusieurs jours).
  x kn −0.25 −0.125 0 0.125 0.25
  Estimateurs ppv n = (log nn)1/3 kn = √log kn n 1.93 1.99 1.63 1.66 0.67 0.78 1.42 1.43 1.85 1.96
  = (log nn)3/4 2.08 1.70 0.87 1.57 1.9
  Estimateurs de la f.d.r. Empirique Noyau 1.95 1.92 1.91 1.74 1.70 1.35 2.00 1.88 1.99 1.91
  TABLEAU 1.1 – Estimations de αx pour la densité f0 pour n = 500000.
  x kn −0.25 −0.125 0 0.125 0.25
  Estimateurs ppv n kn = √log kn n 1.86 1.23 0.65 1.44 1.90
  n (log n)1/3
  = 1.84 1.34 0.36 1.25 1.82
  n (log n)3/4
  = 1.80 1.31 0.71 1.32 1.91
  Estimateurs de la f.d.r. Empirique Noyau 2.05 1.90 1.88 1.59 1.30 1.29 1.95 1.62 2.00 1.94
  TABLEAU 1.2 – Estimations de αx pour la densité f0 pour n = 1000000. L'estimateur des kn -plus proches voisins s'avère donc meilleur. Par conséquent, nous choisissons la médiane des estimations obtenues pour cet estimateur, pour les différentes valeurs de kn , comme estimation de l'indice de régularité. Ces valeurs sont contenues dans le Tableau 1.3 et seront celles que nous utilisons dans la section suivante. x = −0.25 x = −0.125 x = 0 x = 0.125 x = 0.25 n = 500000 1.99 1.70 0.87 1.57 1.9 n = 1000000 1.85 1.34 0.71 1.44 1.9 TABLEAU 1.3 – Estimations de αx pour la densité f0 .
  38 1.6 Simulations
  1.6.2
  Estimation de la densité
  Nous traitons dans cette partie des jeux de données de taille 1 million avec les estimations de l'indice de régularité du Tableau 1.3. Nous obtenons des intervalles de confiance à 99% pour les estimations de la densité f0 à l'aide des théorèmes de normalité asymptotique obtenus précédemment. Chaque borne de l'intervalle de confiance sera la médiane des bornes obtenues pour une quinzaine d'échantillons de même taille. Estimateur des kn -plus proches voisins Pour l'estimateur des plus proches voisins, nous avons obtenu que les conditions 1+1/2αx kn kn = 0 et lim =0 lim kn = ∞ , lim n→∞ n→∞ n→∞ n n impliquent la convergence de Zn vers une loi N (0, 1). Ceci nous permet donc de définir des intervalles de confiance pour l'estimation de la densité f0 . Les estimations de l'indice de régularité situées ci-dessus nous permettent de choisir des suites kn vérifiant les conditions de convergence. Nous obtenons alors qu'au point 0 il nous faut kn << n0.63 alors qu'aux autres kn << n3/4 suffit. L'approximation donnée par l'estimateur de l'indice de régularité est relativement bonne car les vraies conditions sur les suites kn sont respectivement kn << n1/2 en 0 et kn << n2/3 aux autres points. Ceci nous donne les résultats du Tableau 1.4 suivant les valeurs de kn . 1/3
  kn = n kn = n2/5 kn = n0.64 f0 (x)
  x = −0.25 x = −0.125 x=0 x = 0.125 x = 0.25 [0.74 ;1.25] [0.72 ;1.22] [0.34 ;0.55] [0.63,1.06] [0.75 ;1.28] [0.90 ;1.32] [0.66 ;0.96] [0.37 ;0.53] [0.65,0.94] [0.95 ;1.39] [1.02 ;1.05] [0.85 ;0.87] [0.55 ;0.56] [0.85 ;0.88] [1.02 ;1.05] 1.03 0.88 0.53 0.88 1.03
  TABLEAU 1.4 – Intervalles de confiances pour f0 (x) à partir de l'estimateur des plus proches voisins. Toutes les estimations des intervalles de confiance contiennent f0 (x) sauf une. Cette erreur est obtenue lorsque la suite kn ne converge pas de manière 39 à vérifier les hypothèses de convergence, que ce soit avec la vraie valeur de l'indice de régularité ou avec son estimation. Nous avons donc ici un nouvel exemple de l'importance de l'indice de régularité dans le choix du nombre de voisins kn . Histogramme Pour l'histogramme, les conditions d'obtention de la normalité asymptotique sont lim hn = 0 ,
  n→∞
  lim nhn = +∞
  n→∞
  et
  x +1 lim nh2α = 0. n
  n→∞
  En respectant ces conditions, nous obtenons le Tableau 1.5. −0.35
  hn = n hn = n−0.4 hn = n−2/3 f0 (x)
  x = −0.25 x = −0.125 x=0 x = 0.125 x = 0.25 [1.02 ;1.08] [0.83 ;0.88] [0.48 ;0.51] [0.81 ;0.85] [0.99 ;1.05] [1.01 ;1.09] [0.82 ;0.89] [0.47 ;0.53] [0.81 ;0.86] [0.99 ;1.05] [0.76 ;1.16] [0.71 ;1.15] [0.25 ;0.55] [0.61 ;1.04] [0.75 ;1.16] 1.03 0.88 0.53 0.88 1.03
  TABLEAU 1.5 – Intervalles de confiances pour f0 (x) à partir de l'histogramme Pour des valeurs de hn trop petites, l'estimation perd en précision et l'intervalle de confiance grandit. De la même manière, pour hn = n−0.35 les conditions de convergence ne sont pas vérifiées au point 0 et f0 (0) n'est pas dans notre intervalle de confiance. L'erreur est cependant corrigée pour hn = n−0.4 . Pourtant ceci vérifie les conditions de convergence avec l'estimation de l'indice de régularité mais pas avec sa vraie valeur.
  40 Bibliographie [1] J. Beirlant, A. Berlinet, and G. Biau. Higher order estimation at lebesgue points. Annals of the Institute of Statistical Mathematics, 60 :651–677, 2008. [2] A. Berlinet and S. Levallois. Higher order analysis at lebesgue points. In M. Puri, editor, G. G. Roussas Festschrift - Asymptotics in Statistics and Probability, pages 1–16. 2000. [3] D. Bosq and J.-P. Lecoutre. Théorie de l'Estimation Fonctionnelle. Economica, 1987. [4] L. Devroye, L. Györfi, and G. Lugosi. A probabilistic theory of pattern recognition. Springer-Verlag, New-York, 1998. [5] E. Fix and J. J. Hodges. Discriminatory analysis, nonparametric discrimination : consistency properties. USAF School of Aviation Medicine, 1951. [6] J. Lelong-Ferrand and J. Arnaudiès. Cours de Mathématiques - Analyse, volume 2. Dunod, Paris, 1977. [7] D. Loftsgaarden and C. Quesenberry. A nonparametric estimate of a multivariate density function. The Annals of Mathematical Statistics, pages 1049–1051, 1965. [8] D. Moore and J. Yackel. Large sample properties of nearest neighbour density function estimates. In S. Gupta and D. Moore, editors, Statistical Decision Theory and Related Topics II. Academic Press, New-York, 1977.
  41 Deuxième partie Estimation du mode pour des densités non continues
  43 Estimation du mode pour des densités non continues 1.1
  Introduction
  L'estimation du mode d'une densité de probabilité inconnue a suscité récemment une littérature considérable. Ce phénomène est principalement du aux récents progrès en informatique. En effet, l'augmentation continue des puissances de calcul a rendu possible l'expérimentation de nouvelles méthodologies que nous abordons dans la suite de cette partie. Considérons une mesure de probabilité μ dans Rd à partir de laquelle nous obtenons une densité f . Nous nous intéressons au problème de l'estimation du mode θ de f à partir d'un échantillon i.i.d. Sn = {X1 , . . . , Xn } distribué selon μ. Formellement, le mode d'une densité est l'argument où la densité est maximisée, c'est-à-dire la valeur pour laquelle on approche le plus (voire on atteint) la borne supérieure essentielle de f . Soient K un noyau, c'est-à-dire une densité de probabilité, et hn une fenêtre qui tend vers 0 lorsque n tend vers l'infini. L'estimateur à noyau de la densité (Rosenblatt [15], Parzen [12], Devroye [5]) est alors donné par   n X 1 x − X i fˆn (x) = , x ∈ Rd . K nhdn i=1 hn A partir de cet estimateur fˆn de f , un estimateur naturel du mode est alors θ̂n ∈ arg max(fˆn ). Rd
  Cet estimateur du mode fut introduit sur R par Parzen [12] qui démontra sa convergence en probabilité sous l'hypothèse de la continuité uniforme de 45 f . Ce résultat a été par la suite étendu à Rd par Yamato [19]. Nadaraya [11] sur R puis Van Ryzin [17] sur Rd établirent par la suite la convergence presque sûre de θ̂n toujours sous l'hypothèse de continuité uniforme de f . Parzen [12] a également établi la normalité asymptotique de θ̂n sur R sous la condition que f soit deux fois différentiable. Konakov [8] et Samanta [16] en ont ensuite donné une version multivariée. Eddy ([6] et [7]) a amélioré le résultat de Parzen en obtenant la loi limite de (θ̂n − θ) sous des conditions moins restrictives sur le choix du noyau K mais sous l'hypothèse que f ait une quatrième dérivée bornée et absolument continue. Tous ces estimateurs font intervenir des conditions globales sur la régularité de la densité f . Romano [14] s'est affranchi de ce problème en obtenant la convergence presque sûre et la loi limite de θ̂n en supposant que f était continue uniquement dans un voisinage du mode θ. Plus récemment, Vieu [18] a montré, sous les hypothèses supplémentaires que f soit de classe C k (k ≥ 2), que θ̂n convergeait vers θ à la vitesse ( (k−1)/(2k+1) ) log n . O n Ce résultat a été récemment amélioré par Leclerc et Pierre-Loti-Viaud [9] qui ont obtenu la vitesse ( (k−1)/(2k+1) ) log log n O n et conjecturent que c'est la vitesse presque sûre exacte. Mokkadem et Pelletier [10] obtiennent également des résultats intéressants en modifiant les hypothèses sur la fenêtre hn . Néanmoins cet estimateur présente certains inconvénients. En effet, il faut tout d'abord calculer fˆn puis son argument maximum sur l'ensemble du domaine de définition. En pratique, un tel calcul est impossible. Il faut alors choisir une grille de manière plus ou moins arbitraire. Ce substitut est généralement efficace mais souffre de sa dépendance au choix de la grille. Ainsi, une grille choisie trop éparse dans les zones de fortes densités peut conduire à une très mauvaise estimation du mode. De plus, la taille de la grille augmente avec la dimension d de la densité f et peut rendre rapidement les calculs inextricables. 46 1.2 Convergence Afin de remédier à ces différents problèmes, Devroye [4] a défini et étudié d'autres estimateurs du mode. Il définit tout d'abord un estimateur récursif à l'aide de fˆn et obtient sa convergence presque sûre si f est de Lipschitz. Puis il considère l'estimateur θn suivant θn ∈ arg max(fˆn ). Sn
  Comme les points de l'échantillon Sn sont naturellement concentrés dans les zones de forte densité, Sn peut être vu comme la grille naturelle la mieux adaptée à l'estimation du mode. De plus, contrairement à θ̂n , il ne nécessite qu'un nombre fini d'opérations. Devroye obtient la convergence en probabilité de cet estimateur si f est uniformément continue. Par la suite, Abraham, Biau et Cadre [1] se sont affranchis de cette condition globale en démontrant la convergence presque sûre de θn en supposant la continuité de f uniquement autour du mode θ. Malheureusement, un certain nombre de densités ne vérifie pas cette dernière condition. Il est possible d'en retrouver notamment dans des domaines tels que l'illumination, l'analyse de contours, l'analyse d'images ou la spectrométrie. Nous étudions de telles densités dans la partie Simulations. C'est pourquoi nous définissons et étudions dans ce chapitre un estimateur du mode sans conditions de continuité sur la densité f .
  1.2 1.2.1
  Convergence Hypothèses et Notations
  Nous munissons Rd de la norme euclidienne ||.||. Dans toute la suite nous notons supp(K) le support compact du noyau K et nous supposons qu'il existe a un réel positif tel que supp(K) ⊂ B(0, a) où B(0, a) est la boule fermée de centre 0 et de rayon a. De plus, afin d'utiliser certains résultats de Pollard [13], nous prenons K de forme M (||.||), où M 47 est une fonction non croissante sur R+ . Pour tout ε > 0, nous définissons l'ensemble de niveau ε de la fonction f par  A(ε) = x ∈ Rd : f (x) > f (θ) − ε .
  De plus, nous notons diam A(ε) le diamètre de A(ε) défini par diam A(ε) = sup{||x − y|| : x ∈ A(ε), y ∈ A(ε)}. Soit à présent μ une mesure de probabilité sur (Rd , B(Rd )), nous rappellons que x est un point de Lebesgue de la mesure μ si lim+
  δ→0
  μ(B(x, δ)) = f (x), λ(B(x, δ))
  existe où λ est la mesure de Lebesgue et B(x, δ) la boule ouverte de centre x et de rayon δ. Nous avons vu qu'il est alors possible d'aller plus loin que cette définition. Si x est un point de Lebesgue, Berlinet et Levallois [2] le définissent comme un point ρ-régulier de la mesure μ s'il satisfait μ(B(x, δ)) − f (x) ≤ ρ(δ), λ(B(x, δ))
  (1.11)
  où ρ est une fonction mesurable telle que limδ→0 ρ(δ) = 0. Nous supposons en outre qu'il existe δ0 suffisament petit pour assurer inf B(θ,δ0 ) (f ) > 0. Pour finir, pour toute fonction g et tout ensemble V ⊂ Rd , nous notons ||g||∞ = sup ||g(x)||
  et
  ||g||V = sup ||g(x)||. V
  Rd
  On introduit les Hypothèses : A1 diam A(ε) → 0 quand ε → 0 ; A2 ∀ε > 0, P{X ∈ A(ε)} > 0 ; A3 ∃V0 avec θ ∈ V0 tel que ||E(fˆn ) − f ||V0 → 0 48 1.2 Convergence
  1.2.2
  Convergence de θn
  Théorème 1.2.1 Si la densité f de la mesure de probabilité μ est telle que A1, A2 et A3 sont vérifiées, alors, si hn → 0 et nhdn / log n → +∞, nous avons θn → θ p.s. Remarques : 1. Une rapide analyse du Lemme 1 d'Abraham, Biau et Cadre [1] nous montre que, pour toute fonction g : Rd → R, nous avons A1 ⇔ ∀δ > 0, sup (g) < g(θ). B(θ,δ)c
  2. f est continue sur un voisinage quelconque W de θ ⇒ A2 et A3. Il est intéressant de noter que, par exemple sur R, W peut être de type [θ, δ] ou [δ, θ]. 3. Si θ est un point de Lebesgue alors la condition A2 est vérifiée. 4. Si K est uniforme sur B(0, a), s'il existe une fonction ρ et un voisinage V de θ tel que tout point de V soit un point de Lebesgue ρ-régulier alors la condition A3 est vérifiée. Nous avons donc étendu les résultats d'Abraham, Biau et Cadre [1] en affaiblissant l'hypothèse de continuité de f autour de son mode θ. De plus, le problème 1 de la page 94 de Bosq et Lecoutre [3] nous permet d'étendre la Remarque 4 à tous les noyaux de Parzen-Rosenblatt pair et à variation bornée.
  1.2.3
  Vitesse de convergence de θn
  Supposons que pour un réel κ > 0, nous ayons l'inégalité suivante 0 < lim inf ε→0
  diam A(ε) diam A(ε) ≤ lim sup < ∞. κ ε εκ ε→0
  (1.12)
  Dans ce cas, κ est appelé l'indice de pic de f . Cet indice mesure le degré de "lissage" de la densité f . Plus concrètement, plus la densité f sera "pointue" 49 autour de son mode θ, plus l'indice de pic sera grand. Nous étudions dans la section suivante la relation existante entre l'indice de pic et l'indice de régularité. Dans cette section, nous supposerons que f admet un indice de pic κ et que lim inf ε→0
  λ{A(ε)} > 0. {diam A(ε)}d
  (1.13)
  Sans perdre de généralités, nous pouvons également admettre qu'il existe ε0 suffisament petit pour que nous ayons la propriété suivante : P1
  Il existe L > 0 tel que diam A(ε) ≤ Lεκ pour ε ≤ ε0 .
  Nous pouvons remarquer rapidement que P1 ⇒ A1. Nous introduisons deux hypothèses supplémentaires afin de déterminer la vitesse de convergence de notre estimateur. Nous introduisons donc les Hypothèses : Il existe des nombres réels c > 0 et β > 0 tels que et
  A4 κβ ≤ 1 A5 ||E(fˆn ) − f ||B(θ,δ0 ) ≤ chβn .
  Théorème 1.2.2 Supposons que (1.12), (1.13), A4 et A5 soient vérifiés avec 2 (log n) 2β+d . hn = 1 n 2β+d Alors, pour tout p > 0, on a 2
  h
  κ
  P ||θ − θn || ≥ {a + (16c) L}
  (log n) 2β+d i κβ
  n 2β+d
  1 =o p , n
  où L est la constante définie dans P1 . Nous pouvons donc noter que la vitesse de convergence de θn vers θ augmente avec κ. 50 1.3 Convergence
  1.2.4
  Lien entre l'indice de pic et l'indice de régularité
  Nous admettons qu'une relation plus précise que (1.11) existe en x : μ(B(x, δ)) (1.14) = f (x) + Cx δ αx + o(δ αx ) as δ ↓ 0, λ(B(x, δ)) où Cx est une constante différente de 0 et αx un nombre réel strictement positif. αx est alors appellé l'indice de régularité et contrôle le degré de régularité de la mesure symétrique de μ par rapport à la mesure de Lebesgue λ. En fait, le paramètre κ semble être dans la plupart des cas l'inverse de l'indice de régularité de la mesure associée à la densité inconnue f . Par exemple, dans le cas particulier où d = 1, nous avons Si A1 est vérifiée, et si la densité f satisfait f (x) = f (θ) + ap |x − θ|p + o(|x − θ|p ) quand |x − θ| ↓ 0,
  (1.15)
  où p > 0 et ap < 0, alors, au point θ, la densité f a un indice de pic κ, la mesure associée a un indice de régularité αθ et nous obtenons finalement 1 1 = . κ= αθ p Afin de comprendre ça, il faut noter que si la mesure associée à f a un indice de régularité αθ en θ alors f (θ + δ) − f (θ) est d'ordre δ αθ ce qui implique que f (θ + ε1/αθ ) − f (θ) est d'ordre ε. Par conséquent, D(ε) est d'ordre ε1/αθ et f a un indice de pic 1/αθ en son mode θ. Donc, un estimateur convergent de αθ est suffisant pour estimer l'indice de pic κ. Remarque : 5. Si K est uniforme sur B(0, a), s'il existe un voisinage W de θ tel que, ∀x ∈ V , μ(B(x, δ)) = f (x) + Cδ α + R(x, δ) lorsque δ ↓ 0, λ(B(x, δ))
  avec
  1 et sup |R(x, δ)| = o(δ α ), κ x∈V alors les conditions A4 et A5 sont vérifiées pour les réels α≤
  c = Caα + 1 et β = α. 51 1.3
  Preuves
  Preuve du Théorème 1.2.1. Soit 0 < ε < f (θ), alors n o P f (θ) − max f ≥ ε = [1 − P {X ∈ A(ε) ∩ B(θ, δ)}]n , Sn ∩B(θ,δ)
  pour plus de détails nous renvoyons le lecteur à Abraham, Biau et Cadre [1] qui ont étudié le cas continu. A l'aide du lemme de Borel-Cantelli et de A2, nous obtenons ∀δ > 0, max f → f (θ) lorsque n → ∞. Sn ∩V (δ)
  Avec ce résultat et la Remarque 1 nous pouvons maintenant prouver le Théorème 1 comme Abraham, Biau et Cadre [1], la condition A3 remplaçant le recours au lemme de Bochner.  Preuve de la Remarque 2. Soit ε > 0, par continuité sur W , il existe 0 < h0 ≤ δ0 tel que pour h ∈ Rd with ||h|| ≤ h0 , f (θ) − f (θ + h) < ε. Cela implique W ⊂ A(ε) et, par conséquent, P {X ∈ A(ε)} > P {X ∈ W }. Nous pouvons voir que le terme de droite de cette inégalité est positif dès que λ{W } > 0, inf W f > 0 et f continue sur W .  La condition A3 se démontre quant à elle par une simple application du lemme de Bochner.  Preuve de la Remarque 3. Supposons que A2 ne soit pas vérifiée, nous avons ∃ε1 > 0, P{X ∈ / A(ε1 )} = 1, qui nous donne ∃ε1 > 0, ∀x ∈ Rd , f (x) ≤ f (θ) − ε1 p.s. 52 1.3 Preuves par la définition de A(ε). Ceci nous mène à μ(B(x, δ)) = λ(B(x, δ))
  R θ+δ θ−δ
  f (t)dλ(t) 2δ
  R θ+δ
  (f (θ) − ε1 )dλ(t) 2δ ≤ f (θ) − ε1 avec probabilité un.
  ≤
  θ−δ
  Mais comme 0 < ε1 , lim+
  δ→0
  μ(B(θ, δ)) < f (θ) p.s. λ(B(θ, δ))
  et θ n'est pas un point de Lebesgue.
  
  Preuve de la Remarque 4. Pour tout x ∈ V , Z 1 f (x − hn t)dt E fˆn (x) = λ(B(0, a)) B(0,a) μ(B(x, hn a)) = λ(B(x, hn a)) donc E fˆn (x) − f (x)
  V
  ≤ ρ(hn a)
  puisque x est un point de Lebesgue ρ-régulier. Comme hn tend vers 0 et que  limδ→0+ ρ(δ) = 0, alors la condition A3 est satisfaite. Preuve de la Remarque 5. La condition A4 est bien vérifiée. D'autre part, pour tout x ∈ V , nous avons μ(B(x, hn a)) λ(B(x, hn a)) = f (x) + C (ahn )α + R(x, hn a).
  E fˆn (x) =
  Ceci nous donne, pour n assez grand, E fˆn (x) − f (x)
  V
  ≤ (Caα + 1) hαn
  53 ce qui achève la preuve.
  
  Preuve du Théorème 1.2.2. Remplacer V par B(θ, δ0 ) dans la preuve d'Abraham, Biau et Cadre [1] nous donne le résultat avec la même démonstration. 
  1.4
  Simulations
  Nous allons étudier sur un exemple les diverses performances de θn . Pour cela, nous choisissons une mesure (et la densité associée) qui vérifie nos hypothèses sans qu'il y ait continuité autour du mode. A savoir que le mode se trouve en un point de Lebesgue non continu. Soit k = 2/3 + sin 1 et f définie sur [0, 1] par f (0) = 3/k et      √ 1 1 1 2 − 2 x − cos + 2x sin f (x) = k x x
  si x ∈ [0, 1]
  dont la représentation graphique est la Figure 1.4. En 0 nous n'avons pas de limite à droite et une discontinuité du second ordre. Nous montrons cependant par la suite que 0 est un point de Lebesgue de la mesure μf associée à la densité f .
  1.4.1
  Étude de f
  Nous avons Z
  0
  1
    1 1 4 3/2 1 2 = 1. f (x)dx = 2x − x + x sin k 3 x 0
  Il suffit maintenant d'étudier soigneusement la fonction p(u) =
  2 sin(u) − cos u u
  pour montrer que la fonction f est toujours positive ou nulle. Par conséquent, la fonction f est bien une densité. 54 f(x)
  0.5
  1.0
  1.5
  2.0
  1.4 Simulations
  0.0
  0.2
  0.4
  0.6
  0.8
  1.0
  x
  Figure 1.4 – Représentation graphique de la densité f .
  1.4.2
  Calcul du mode
  Pour q ∈ N, soit
  tq =
  1 . (2q + 1)π
  La suite (tq ) décroit strictement vers 0 et vérifie 3 2 3 = . −p q→+∞ k k (2q + 1)πk
  lim f (tq ) = lim
  q→+∞
  Comme f est continue sur ]0, 1], on en déduit que la borne supérieure essentielle de f est supérieure ou égale à 3/k. Pour montrer que la borne supérieure essentielle est 3/k il suffit maintenant de montrer que 3/k est un majorant de f . Or, nous avons √ 2 − 2 x + 1 + 2x f (x) ≤ k en majorant simplement le cosinus et le sinus par 1 et √ 3 − 2 x + 2x 3 ≤ k k 55 pour tout x ∈ [0, 1]. Par conséquent, 3/k est bien la borne supérieure essentielle de la densité f et elle est atteinte en 0.
  1.4.3
  Étude du point x = 0
  Nous avons
  μf [0, δ] 2 4 δ = − δ 1/2 + sin λ[0, δ] k 3k k
    1 x
  et 0 est donc bien un point de Lebesgue de la mesure μf avec 2/k comme valeur pour la dérivée à droite de la mesure. De plus, la relation (1.14) est vérifiée avec 4 α0 = 1/2 et C0 = − . 3k
  1.4.4
  Vérification des hypothèses
  Il est possible de démontrer qu'en prenant ε0 suffisamment petit on a, pour 0 < ε < ε0 , diam A(ε) < diam B(ε) = diam {x ∈ [0, 1] : x < k 2 ε2 } < k 2 ε2 . Ceci nous permet de vérifier immédiatement la propriété P1 avec L = k 2 et κ = 2. Nous pouvons ainsi remarquer que nous obtenons bien α0 = κ−1 = 1/2. Les hypothèses (1.12), (1.13), A4 et A5 sont par conséquent également vérifiées à l'aide des différentes remarques.
  1.4.5
  Résultats
  Nous simulons des échantillons de taille n tirés à partir de la densité f et étudions les résultats obtenus pour notre estimateur θn défini plus haut. Cette densité a été choisie de telle sorte que l'extremum local atteint par f en x ≈ 0.4 perturbe notre estimateur du mode. En effet, si notre estimation n'est pas assez précise, cette caractéristique de f a toutes les chances d'induire θn en erreur, c'est pourquoi nous choisissons hn = n−1/2 afin que fˆn 56 1.4 Simulations ne soit pas trop lissée. De plus, le fait que le mode se trouve sur un bord du domaine de définition rajoute une difficulté supplémentaire, les effets de bords dus à l'estimateur à noyau étant bien connus.
  0.05
  0.10
  0.15
  0.20
  θn
  0.25
  0.30
  0.35
  0.40
  Pour chaque n, nous simulons une cinquantaine d'échantillons et calculons à chaque fois θn . La Figure 1.5 représente la médiane de ces θn et nous donnons, à la Figure 1.6, certains box-plots pour des valeurs de n.
  0
  100
  200
  300
  400
  500
  n
  Figure 1.5 – θn en fonction de n pour la densité f avec hn = n−0.5 .
  Notons que notre estimateur θn converge vers θ = 0. Cependant cette convergence est relativement lente et il faut n = 500k points pour obtenir une médiane des θn valant environ 0.04. Ceci s'explique par la forme de la densité et par ses multiples oscillations lorsque x est proche de 0. Toutefois, notre estimateur converge clairement et nous pouvons supposer qu'en augmentant le nombre de points, l'estimation θn ne ferait que se rapprocher de θ. 57 0.5 0.4 0.3 0.1
  0.2
  θ^n
  n=1k
  n=100k
  n=350k
  n=500k
  Figure 1.6 – Box-plots basés sur une cinquantaine d'estimations de θn en fonction de n pour la densité f avec hn = n−0.5 .
  Toutes les hypothèses étant vérifiées, il est également intéressant d'étudier l'application du Théorème 1.2.2 à cet exemple. Nous avons ici a = 1 −4 + 3k c = 3k L = k2 κ = 2 β = 1/2. 58 1.4 Simulations En prenant
  2
  hn =
  (log n) 2β+d 1
  n 2β+d comme dans le Théorème 1.2.2, l'estimateur à noyau est bien trop lisse et on obtient θn ≈ 0.4 même avec 500 000 points dans l'échantillon. Afin d'obtenir des intervalles de confiance asymptotiques exploitables pour cet exemple plus de travail serait donc nécessaire.
  59 60 Bibliographie [1] C. Abraham, G. Biau, and B. Cadre. Simple estimation of the mode of a multivariate density. The Canadian Journal of Statistics, pages 23–34, 2003. [2] A. Berlinet and S. Levallois. Higher order analysis at lebesgue points. In M. Puri, editor, G. G. Roussas Festschrift - Asymptotics in Statistics and Probability, pages 1–16. 2000. [3] D. Bosq and J.-P. Lecoutre. Théorie de l'Estimation Fonctionnelle. Economica, 1987. [4] L. Devroye. Recursive estimation of the mode of a multivariate density. The Canadian Journal of Statistics, 7 :159–167, 1979. [5] L. Devroye. A Course in Density Estimation. Birkhäuser, Boston, 1987. [6] W. Eddy. Optimum kernel estimates of the mode. The Annals of Statistics, 8 :870–882, 1980. [7] W. Eddy. The asymptotic distributions of kernel estimators of the mode. Probability Theory and Related Fields, 59 :279–290, 1982. [8] V. Konakov. On asymptotic normality of the sample mode of multivariate distributions. Theory of Probability and its Applications, 18 :836– 842, 1973. [9] J. Leclerc and D. Pierre-Loti-Viaud. Vitesse de convergence presque sûre de l'estimateur à noyau du mode. Comptes Rendus de l'Académie de Sciences de Paris, 331 :637–640, 2000. [10] A. Mokkadem and M. Pelletier. The law of the iterated logarithm for the multivariate kernel mode estimator. ESAIM Probability and Statistics, 7 :1–21, 2003. [11] E. Nadaraya. On non-parametric estimates of density functions an regression curves. Theory of Probability and its Application, 10 :186–190, 1965. [12] E. Parzen. On the estimation of a probability density and mode. The Annals of Mathematical Statistics, 33 :1065–1076, 1962. 61 BIBLIOGRAPHIE [13] D. Pollard. Convergence of Stochastic Processes. Springer, New-York, 1984. [14] J. Romano. On weak convergence and optimality of kernel density estimates of the mode. The Annals of Statistics, 16 :629–647, 1988. [15] M. Rosenblatt. Remarks on some non-parametric estimates of a density function. The Annals of Mathematical Statistics, 27 :832–837, 1956. [16] M. Samanta. Non-parametric estimation of the mode of a multivariate density. South African Statistical Journal, 7 :109–117, 1973. [17] J. Van Ryzin. On strong consistency of density estimates. The Annals of Mathematical Statistics, 40 :1765–1772, 1969. [18] P. Vieu. A note on density mode estimation. Statistics & Probability Letters, 26 :297–307, 1996. [19] H. Yamato. Sequential estimation of a continuous probability density function and mode. Bulletin on Mathematical Statistics, 14 :1–12, 1971.
  62 Troisième partie Estimateurs de l'indice de régularité utilisant des estimateurs de la fonction de répartition
  63 Chapitre 1 Estimateurs de l'indice de régularité 1.1
  Introduction
  Soient B(Rd ) le σ-champ borélien de Rd , d ≥ 1 et μ une mesure de probabilité sur (Rd , B(Rd )). Nous notons λ la mesure de Lebesgue sur Rd et nous munissons Rd d'une norme notée ||.||. Pour x un point quelconque de Rd , nous notons Bδ (x) la boule ouverte de centre x et de rayon δ un réel strictement positif. Afin d'étudier le comportement local de μ(Bδ (x)) par rapport à λ(Bδ (x)) il est naturel de considérer le quotient de ces deux quantités. Si, pour x fixé, la limite suivante μ(Bδ (x)) δ→0 λ(Bδ (x))
  f (x) = lim
  (1.1)
  existe, alors x est appelé point de Lebesgue de la mesure μ. Si μ est absolument continue par rapport à λ, alors le théorème de Radon-Nykodim nous dit que μ et f coincident λ-presque partout. De plus, dans ce cas, il est possible de sélectionner parmi toutes les densités issues de μ une densité particulière, toujours notée f , satisfaisant (1.1) en tout point où la limite existe. Dans ce contexte, Berlinet and Levallois [3] définissent un point ρ-régulier de la mesure μ comme un point de Lebesgue x de μ vérifiant μ(Bδ (x)) − f (x) ≤ ρ(δ), λ(Bδ (x)) où ρ est une fonction mesurable telle que limδ↓0 ρ(δ) = 0. 65
  (1.2) Estimateurs de l'indice de régularité Nous pouvons aisément remarquer que la fonction ρ dans (1.2) n'est pas unique et dépend notamment de la norme choisie sur Rd . Néanmoins, il est possible de vouloir aller plus loin que cette relation en essayant notamment de caractériser la vitesse de convergence du rapport des mesures de boules vers la valeur de la dérivée de la mesure. Pour cela, nous supposons dans la suite qu'une relation plus précise que (1.2) intervient en x point de Lebesgue, à savoir μ(Bδ (x)) (1.3) = f (x) + Cx δ αx + o(δ αx ) quand δ ↓ 0, λ(Bδ (x)) où Cx est une constante différente de 0 et αx un réel strictement positif. L'indice αx est un indice de régularité qui contrôle le degré de régularité de la dérivée symétrique de μ par rapport à λ. L'objectif de ce chapitre est d'obtenir des estimateurs convergents de l'indice αx à partir d'un échantillon d'observations dans Rd . Un premier estimateur de l'indice de régularité a été donné par Beirlant, Berlinet et Biau [2]. Ce dernier fait intervenir l'estimateur des kn -plus proches voisins de la densité que nous notons fkn . Ils définissent en effet ᾱn,x quelque soit τ > 1 par f⌊τ 2 kn ⌋ (x) − f⌊τ kn ⌋ (x) d log , (1.4) ᾱx = log τ f⌊τ kn ⌋ (x) − f⌊kn ⌋ (x) si [f⌊τ 2 kn ⌋ (x) − f⌊τ kn ⌋ (x)]/[f⌊τ kn ⌋ (x) − f⌊kn ⌋ (x)] > 1 et ᾱn,x = 0 sinon. Ils obtiennent la convergence en probabilité de cet estimateur ainsi que sa normalité asymptotique. Néanmoins, lors des simulations, il s'avère peu stable et améliorable. Ils prouvent également le résultat suivant.
  Proposition 1.1.1 Soit x ∈ Rd un point de Lebesgue de μ satisfaisant la condition (1.3). Alors, pour tout τ > 1, φτ 2 δ (x) − φτ δ (x) = τ αx , δ→0 φτ δ (x) − φδ (x) lim
  où nous notons
  φδ (x) =
  μ(Bδ (x)) . λ(Bδ (x))
  Une idée naturelle pour déterminer un estimateur de μ(Bδ (x)) est alors d'utiliser des estimateurs connus de la fonction de répartition. Nous adaptons 66 1.2 Résultats de convergence donc, dans la suite de ce chapitre, cette proposition avec des estimateurs de la fonction de répartition dont nous avons réalisé une synthèse bibliographique dans Servien [8]. Cette synthèse est ici reproduite dans le deuxième chapitre de cette partie.
  1.2
  Résultats de convergence
  Afin d'estimer l'indice de régularité αx , nous considérons un échantillon (Xi )1≤i≤n de variables i.i.d. définies sur un espace probabiliste (Ω, A, P) et tirées à partir d'une mesure de probabilité μ.
  1.2.1
  L'estimateur empirique
  L'estimateur le plus naturel de la fonction de répartition est l'estimateur empirique Fn défini par n
  Fn (x) = où IA =
  
  1X I(Xi ≤x) n i=1 1 si x ∈ A 0 sinon.
  Cet estimateur est extrêmement simple à mettre en oeuvre car il ne fait intervenir aucun paramètre extérieur. Il reste cependant discontinu en de nombreux points ce qui peut poser certains problèmes, notamment ici en terme de précision locale de l'estimateur. Pour cette raison, nous testerons également dans la partie Simulations de ce chapitre un estimateur de l'indice de régularité utilisant une version lissée (par un noyau) de l'estimateur empirique. Nous renvoyons le lecteur au chapitre suivant pour de plus amples informations sur les différentes caractéristiques de ces estimateurs de la fonction de répartition. Soit μn la mesure empirique associée à l'échantillon (Xi )1≤i≤n . Nous avons alors la proposition suivante. 67 Estimateurs de l'indice de régularité Proposition 1.2.1 Soit x ∈ Rd un point de Lebesgue de μ qui satisfait la condition (1.3). Alors, sous les conditions lim δn = 0
  n→∞
  et
  lim nδnd+2αx = +∞
  n→∞
  et, pour tout τ > 1, nous avons φn,τ 2 δn (x) − φn,τ δn (x) = τ αx n→∞ φn,τ δn (x) − φn,δn (x) lim
  où φn,δn (x) =
  en probabilité ,
  μn (Bδn (x)) . λ(Bδn (x))
  Beirlant, Berlinet et Biau [2] obtiennent cette forme de convergence avec leur estimateur des kn -plus proches voisins sous la condition α +d/2
  kn x lim n→∞ n αx
  = +∞
  sur le nombre de voisins kn . Ils utilisent l'estimateur de la densité f⌊kn ⌋ (x) en lieu et place de φn,δn (x). En modifiant les hypothèses sur la vitesse de convergence de δn vers 0, il est également possible de prouver la convergence presque complète de cet estimateur. Proposition 1.2.2 Soit x ∈ Rd un point de Lebesgue de la mesure μ satisfaisant la condition (1.3). Alors, sous les conditions 2(d+α )
  lim δn = 0
  n→∞
  et
  x nδn =∞ lim n→∞ log n
  et, pour tout τ > 1, nous avons φn,τ 2 δn (x) − φn,τ δn (x) = τ αx n→∞ φn,τ δn (x) − φn,δn (x) lim
  1.3
  p.co.
  Preuves
  Afin de prouver la Proposition 1.2.1 nous avons besoin du résultat suivant. 68 1.3 Preuves Lemme 1.3.1 Sous (1.1) et pour tout τ > 1, nous avons 
  avec
  δn → 0 L2 ⇒ Rn (x) → 1 d+2αx nδn → +∞ Rn (x) =
  φn,τ δn (x) − φn,δn (x) . φτ δn (x) − φδn (x)
  De plus, la condition 
  δn → 0 nδnd+2αx → +∞ L2
  L2
  est nécessaire si f (x) > 0 et si An (x) → 0 ou Bn (x) → 0 où An (x) =
  φn,δn (x) − φδn (x) φn,τ δn (x) − φτ δn (x) et Bn (x) = . φτ δn (x) − φδn (x) φτ δn (x) − φδn (x)
  Preuve du Lemme 1.3.1. Tout d'abord, nous avons n
  1X μn (Bδn (x)) = 1{Xi ∈Bδn (x)} n i=1 et nμn (Bδn (x)) ∼ B(n, μ(Bδn (x))), d'où
  
  E(μn (Bδn (x))) = μ(Bδn (x)) −1 V (μn (Bδn (x))) = n μ(Bδn (x))(1 − μ(Bδn (x))).
  D'autre part, nous utilisons par la suite la décomposition suivante Rn (x) = 1 + An (x) − Bn (x). Or E(Bn (x)2 ) =
  1 μ(Bδn (x)) (1 − μ(Bδn (x))) 2α x λ(Bδn (x)) nλ(Bδn (x))δn (Cx (τ αx − 1) + o(1))2
  nous donne E(Bn (x)2 ) → 0 sous les conditions du lemme. En utilisant une démonstration similaire, nous obtenons E(An (x)2 ) → 0 sous les mêmes conditions ce qui achève la preuve. 
  69 Estimateurs de l'indice de régularité Preuve de la Proposition 1.2.1. En remplaçant δn par τ δn dans Rn (x), nous obtenons φn,τ 2 δn (x) − φn,τ δn (x) L2 →1 φτ 2 δn (x) − φτ δn (x) sous les hypothèses du Lemme 1.3.1. De plus, comme nous avons Sn (x) =
  φn,τ 2 δn (x) − φn,τ δn (x) φτ 2 δn (x) − φτ δn (x) φn,τ 2 δn (x) − φn,τ δn (x) = φn,τ δn (x) − φn,δn (x) φτ δn (x) − φδn (x) φτ 2 δn (x) − φτ δn (x) −1  φn,τ δn (x) − φn,δn (x) ∗ φτ δn (x) − φδn (x) φτ 2 δn (x) − φτ δn (x) Sn (x) = . φτ δn (x) − φδn (x) Rn (x) il suffit d'utiliser le Lemme 1.3.1 et la Proposition 1.1.1 pour conclure.
  
  Preuve de la Proposition 1.2.2. L'inégalité d'Hoeffding appliquée à une loi Binômiale nous donne, ∀t > 0,   P |μn (Bδn (x)) − μ(Bδn (x))| ≥ t ≤ 2 exp −2nt2 .
  En prenant
  t = ελ(Bδn (x)) |φτ δn (x) − φδn (x)| = ελ(Bδn (x)) |Cx δnαx (τ αx − 1) + o(δnαx )| , nous obtenons, ∀ε > 0,  P (|Bn (x)| ≥ ε) ≤ 2 exp −2n [ελ(Bδn (x))(Cx δnαx (τ αx − 1) + o(δnαx ))]2 .
  Par le lemme de Borel-Cantelli, nous avons p.co.
  Bn (x) → 0 si
  ∞ X n=1
   exp −2n [ελ(Bδn (x))(Cx δnαx (τ αx − 1) + o(δnαx ))]2 < ∞.
  Or ceci est vrai s'il existe a > 1 tel que
   1 exp −2n [ελ(Bδn (x))(Cx δnαx (τ αx − 1) + o(δnαx ))]2 < a . n 70 1.4 Simulations Ceci revient à −2nεCx2 δn2(d+αx ) [(τ αx − 1) + o(δnαx )]2 + a log n < 0 qui est impliqué par la condition log n/nδn2(d+αx ) → 0. Finalement, avec le même développement que dans le Lemme 1.3.1 nous prouvons φn,τ δn (x) − φn,δn (x) p.co. → 1. Rn (x) = φτ δn (x) − φδn (x) En remplaçant δn par τ δn dans Rn (x), nous obtenons Sn (x) =
  φn,τ 2 δn (x) − φn,τ δn (x) p.co. → 1 φτ 2 δn (x) − φτ δn (x)
  sous les mêmes hypothèses. De plus, comme nous avons φn,τ 2 δn (x) − φn,τ δn (x) φτ 2 δn (x) − φτ δn (x) Sn (x) , = . φn,τ δn (x) − φn,δn (x) φτ δn (x) − φδn (x) Rn (x) l'utilisation de la Proposition 1.1.1 suffit pour conclure.
  1.4 1.4.1
  
  Simulations Estimateur des kn -plus proches voisins
  Comme nous avons pu le voir précédemment, Beirlant, Berlinet et Biau [2] ont présenté un estimateur de l'indice de régularité αx faisant intervenir l'estimateur des kn -plus proches voisins de la densité à partir d'un échantillon de variables aléatoires réelles X1 , , Xn indépendantes et identiquement distribuées dans Rd et de même loi μ. A l'aide de cet estimateur ils définissent ᾱn,x , quelque soit τ > 1, par ᾱn,x =
  f⌊τ 2 kn ⌋ (x) − f⌊τ kn ⌋ (x) d log log τ f⌊τ kn ⌋ (x) − f⌊kn ⌋ (x) 71
  (1.5) Estimateurs de l'indice de régularité si [f⌊τ 2 kn ⌋ (x)−f⌊τ kn ⌋ (x)]/[f⌊τ kn ⌋ (x)−f⌊kn ⌋ (x)] > 1 et ᾱn,x = 0 sinon. Nous pouvons noter que l'on obtient une estimation effective de l'indice de régularité pour des valeurs de kn comprises entre 1 et ⌊n/τ 2 ⌋. Cet estimateur est convergent en probabilité sous les conditions suivantes α +d/2
  kn x kn = ∞. = ∞ et lim lim kn = ∞, lim n→∞ n→∞ n→∞ n n αx Nous avons remarqué dans l'introduction générale de cette thèse que l'estimation de l'indice de régularité peut permettre d'améliorer l'estimation de la (a) densité. En effet, il intervient dans l'expression d'un estimateur modifié fkn des kn -plus proches voisins de la densité qui s'est avéré moins dépendant du choix du nombre de voisins kn que l'estimateur usuel fkn . Nous testons tout d'abord l'estimateur ᾱn,x sur une densité de loi Normale N (0, 1). En x = 0, un rapide calcul permet de montrer que α0 = 2. Nous obtenons alors les graphiques regroupés dans les Figures 1.1 et 1.2 ci-dessous. L'estimation de l'indice de régularité s'avère donc délicate même si un palier proche de la vraie valeur α0 peut être observé pour des bonnes valeurs de kn . Ces simulations mettent en lumière la nécessité d'avoir un échantillon de √ grande taille. D'autre part, le choix τ = 2 semble être plus judicieux même si l'influence de ce paramètre sur le résultat final n'est pas prépondérante. Il est en effet possible de s'assurer sur des exemples que pour des valeurs de τ ≤ 2, les résultats restent sensiblement identiques. Nous nous intéressons maintenant à la densité f1 définie pour t ∈ R par f1 (t) =
  1 exp(−|t|). 2
  Cette densité est continue mais pas différentiable en 0 et on peut obtenir facilement 1 δ μ(Bδ (0)) = − + o(δ) lorsque δ ↓ 0. λ(Bδ (0)) 2 4 Par conséquent, nous avons α0 = 1. Nous obtenons alors les graphiques des √ Figures 1.3 et 1.4 ci-dessous, pour différentes valeurs de n et τ = 2. 72 0
  1
  2
  3
  4
  1.4 Simulations
  0
  1000
  2000
  3000
  4000
  5000
  2000
  2500
  kn
  √
  2
  0
  1
  2
  3
  4
  (a) τ =
  0
  500
  1000
  1500 kn
  (b) τ = 2
  Figure 1.1 – Premier quartile (pointillés forts en bas), médiane (en gras), moyenne et troisième quartile (pointillés forts en haut) pour ᾱn,0 pour 100 échantillons de taille 10000 de loi N (0, 1) et différentes valeurs de τ . Le trait plein horizontal est la vraie valeur de α0 .
  73 0
  1
  2
  3
  4
  Estimateurs de l'indice de régularité
  0
  10000
  20000
  30000
  40000
  50000
  20000
  25000
  kn
  √
  2
  0
  1
  2
  3
  4
  (a) τ =
  0
  5000
  10000
  15000 kn
  (b) τ = 2
  Figure 1.2 – Premier quartile (pointillés forts en bas), médiane (en gras), moyenne et troisième quartile (pointillés forts en haut) pour ᾱn,0 pour 100 échantillons de taille 100000 de loi N (0, 1) et différentes valeurs de τ . Le trait plein horizontal est la vraie valeur de α0 .
  74 0.0
  0.5
  1.0
  1.5
  2.0
  2.5
  3.0
  1.4 Simulations
  0
  100
  200
  300
  400
  500
  4000
  5000
  kn
  0.0
  0.5
  1.0
  1.5
  2.0
  2.5
  3.0
  (a) n = 1000
  0
  1000
  2000
  3000 kn
  (b) n = 10000
  Figure 1.3 – Premier quartile (pointillés forts en bas), médiane (en gras), moyenne et troisième quartile (pointillés forts en haut) pour ᾱn,0 pour 100 échantillons de densité f1 pour différentes valeurs de n. Le trait plein horizontal est la vraie valeur de α0 . 75 0.0
  0.5
  1.0
  1.5
  2.0
  2.5
  3.0
  Estimateurs de l'indice de régularité
  0
  5000
  10000
  15000
  20000
  25000
  40000
  50000
  kn
  0.0
  0.5
  1.0
  1.5
  2.0
  2.5
  3.0
  (a) n = 50000
  0
  10000
  20000
  30000 kn
  (b) n = 100000
  Figure 1.4 – Premier quartile (pointillés forts en bas), médiane (en gras), moyenne et troisième quartile (pointillés forts en haut) pour ᾱn,0 pour 100 échantillons de densité f1 pour différentes valeurs de n. Le trait plein horizontal est la vraie valeur de α0 .
  76 1.4 Simulations Ces figures se rapprochent de celles obtenues précédemment. Elles mettent également en lumière l'importance d'un échantillon de grande taille et permettent d'approcher la valeur de α0 pour de bonnes valeurs de kn . Comme nous l'avons remarqué précédemment, Beirlant, Berlinet et Biau [2] (a) définissent également un nouvel estimateur fkn faisant intervenir fkn et l'indice de régularité αx . Ce nouvel estimateur s'avère moins dépendant du nombre de voisins kn . Néanmoins, si nous essayons de remplacer fkn par (a) fkn dans l'équation (1.5) le nouvel estimateur de l'indice de régularité ainsi obtenu s'avère très peu performant. Ceci est du au fait que ᾱn,x utilise les différentes erreurs d'estimation de fkn selon les valeurs de kn alors que le (a) terme correctif introduit dans fkn permet de les corriger. Dans cet article, ils démontrent également la normalité asymptotique de cet estimateur de l'indice de régularité. Nous pouvons vérifier cette normalité sur les graphiques de la Figure 1.5 qui sont réalisés en x = 0 pour la densité f1 . Nous observons bien une forte réduction de la variance pour des grands échantillons renforçant l'idée de la prépondérance de la taille de l'échantillon.
  1.4.2
  Comparaison des estimateurs de l'indice de régularité
  Dans cette partie, nous notons respectivement αn et α̂n les estimateurs de l'indice de régularité utilisant respectivement la fonction de répartition empirique et l'estimateur à noyau de la fonction de répartition. Nous prenons pour la fenêtre de l'estimateur à noyau hn = Sn n−1/5 (Bosq et Lecoutre [4]), de légères variations de hn n'ayant qu'une influence minime sur les résultats. Nous comparons les différentes performances des estimateurs ᾱn , αn et α̂n pour différentes densités et différentes tailles d'échantillon. Nous commençons ici aussi par tester nos estimateurs sur la densité de la loi Normale centrée réduite. Nous rappelons qu'en x = 0, nous avons α0 = 2.
  77 0.15
  Density
  0.00
  0.00
  0.05
  0.05
  0.10
  0.10
  Density
  0.15
  0.20
  0.20
  0.25
  Estimateurs de l'indice de régularité
  −5
  0
  5
  10
  15
  20
  −5
  0
  5
  ^n − α α
  10
  15
  ^n − α α
  (b) n = 10000
  2
  Density
  0
  0.0
  0.5
  1
  1.0
  Density
  1.5
  3
  2.0
  4
  (a) n = 1000
  −0.5
  0.0
  0.5
  1.0
  −0.2
  0.0
  0.2
  ^n − α α
  0.4
  0.6
  ^n − α α
  (c) n = 100000
  (d) n = 200000
  Figure 1.5 – Histogrammes de 100 valeurs de ᾱn − α pour kn = n/4 et différentes tailles d'échantillon Concernant le choix de δn , la Propositions 1.2.1 nous donne par exemple −1
  −1
  n d+2αx << δn << (log n) d+2αx . Il est intéressant de noter que plus αx est petit, plus δn peut l'être. Nous obtenons alors les résultats des Figures 1.6 et 1.7. Nous remarquons donc que α̂n produit un très bon estimateur de l'indice 78 1.4 Simulations de régularité quelles que soient les valeurs de n. Pour αn , en revanche, nous avons besoin de plus d'observations mais l'estimation est également très correcte. Il est possible qu'à cause de l'irrégularité de la fonction de répartition empirique, αn nécessite une plus grande taille d'échantillon que α̂n pour arriver à une bonne estimation de l'indice de régularité. Nous étudions maintenant les performances de ces estimateurs pour une mesure moins lisse. Nous choisissons la densité f1 définie plus haut dans ce chapitre. En x = 0, nous avons α0 = 1 et nous obtenons les résultats des Figures 1.8 et 1.9. Nous avons une surévaluation de l'indice de régularité pour de petites valeurs de δn . Néanmoins, les estimations restent assez correctes bien que nécessitant une grande taille d'échantillon n. Il paraı̂t donc logique, lorsque nous utiliserons (comme dans le chapitre Simulations de la première partie de cette thèse) ces estimateurs sur un seul jeu de données, d'en prendre la médiane obtenue pour différentes valeurs de δn . Cependant, les simulations de la première partie de cette thèse, pour une mesure où l'indice de régularité vaut 1/2 en x = 0 et 1 partout ailleurs, nous donnent des résultats relativement mauvais comparativement à l'estimateur ᾱn,x . Les estimateurs αn et α̂n chutent eux aussi progressivement en se rapprochant de x = 0 mais les estimations obtenues restent assez éloignées de la vraie valeur. Nos estimateurs nous donnent donc de bonnes approximations pour l'indice de régularité mais, au niveau des quelques simulations présentées, ils s'avèrent un peu moins performants que l'estimateur défini par Beirlant, Berlinet et Biau. Ils peuvent cependant constituer une alternative intéressante et nous permettre d'affiner l'estimation de l'indice de régularité. Un éventail de simulations plus large permettrait néanmoins d'affiner la comparaison.
  79 2 0
  1
  ^n α
  3
  4
  Estimateurs de l'indice de régularité
  0.40
  0.45
  0.50
  0.55
  0.60
  0.65
  δ
  2 0
  1
  ^n α
  3
  4
  (a) n = 1000
  0.30
  0.35
  0.40
  0.45
  0.50
  0.55
  0.60
  0.65
  δ
  (b) n = 10000
  Figure 1.6 – Médiane des estimateurs αn (pointillés) et α̂n (trait plein) en fonction de δ, basée sur 100 simulations d'échantillons de taille n pour la loi Normale centrée réduite. 80 2 0
  1
  ^n α
  3
  4
  1.4 Simulations
  0.3
  0.4
  0.5
  0.6
  δ
  2 0
  1
  ^n α
  3
  4
  (a) n = 50000
  0.2
  0.3
  0.4
  0.5
  0.6
  δ
  (b) n = 100000
  Figure 1.7 – Médiane des estimateurs αn (pointillés) et α̂n (trait plein) en fonction de δ, basée sur 100 simulations d'échantillons de taille n pour la loi Normale centrée réduite. 81 2 0
  1
  ^n α
  3
  4
  Estimateurs de l'indice de régularité
  0.25
  0.30
  0.35
  0.40
  0.45
  0.50
  δ
  2 0
  1
  ^n α
  3
  4
  (a) n = 1000
  0.15
  0.20
  0.25
  0.30
  0.35
  0.40
  0.45
  δ
  (b) n = 10000
  Figure 1.8 – Médiane des estimateurs αn (pointillés) et α̂n (trait plein) en fonction de δ, basée sur 100 simulations d'échantillons de taille n pour la mesure de densité f1 . 82 2 0
  1
  ^n α
  3
  4
  1.4 Simulations
  0.10
  0.15
  0.20
  0.25
  0.30
  0.35
  0.40
  0.45
  0.35
  0.40
  0.45
  δ
  2 0
  1
  ^n α
  3
  4
  (a) n = 50000
  0.10
  0.15
  0.20
  0.25
  0.30 δ
  (b) n = 100000
  Figure 1.9 – Médiane des estimateurs αn (pointillés) et α̂n (trait plein) en fonction de δ, basée sur 100 simulations d'échantillons de taille n pour la mesure de densité f1 . 83 Estimateurs de l'indice de régularité
  84 Bibliographie [1] H. Akaike. An approximation to the density function. Annals of the Institute of Statistical Mathematics, 6 :127–132, 1954. [2] J. Beirlant, A. Berlinet, and G. Biau. Higher order estimation at lebesgue points. Annals of the Institute of Statistical Mathematics, 60 :651–677, 2008. [3] A. Berlinet and S. Levallois. Higher order analysis at lebesgue points. In M. Puri, editor, G. G. Roussas Festschrift - Asymptotics in Statistics and Probability, pages 1–16. 2000. [4] D. Bosq and J.-P. Lecoutre. Théorie de l'Estimation Fonctionnelle. Economica, 1987. [5] G. Hardy and M. Riesz. The General Theory of Dirichlet's Series. Cambridge University Press, 1952. [6] E. Parzen. On the estimation of a probability density and mode. The Annals of Mathematical Statistics, 33 :1065–1076, 1962. [7] M. Rosenblatt. Remarks on some non-parametric estimates of a density function. The Annals of Mathematical Statistics, 27 :832–837, 1956. [8] R. Servien. Estimation de la fonction de répartition : revue bibliographique. Journal de la Société Frana̧ise de Statistique, 150 :84–104, 2009.
  85 Chapitre 2 Estimation de la fonction de répartition : revue bibliographique Ce chapitre a fait l'objet d'un article accepté dans le Journal de la Société Française de Statistique, Volume 150, numéro 2, pp.84-104, 2009.
  2.1
  Introduction
  Un problème récurrent en statistique est celui de l'estimation d'une densité f ou d'une fonction de répartition F à partir d'un échantillon de variables aléatoires réelles X1 , X2 , . . . , Xn indépendantes et de même loi inconnue. Les fonctions f et F , tout comme la fonction caractéristique, décrivent complètement la loi de probabilité des observations et en connaı̂tre une estimation convenable permet de résoudre nombre de problèmes statistiques. Cette estimation tient donc naturellement une place importante dans l'étude de nombreux phénomènes de nature aléatoire. Elle peut être menée, sous des hypothèses restrictives, à l'aide de techniques paramétriques comme la méthode des moments ou celle du maximum de vraisemblance. Les approches non paramétriques que nous privilégions ici sont plus flexibles et constituent toujours un complément utile, même lorsque certains modèles paramétriques semblent s'imposer. Même si les fonctions de répartition et de densité caractérisent toutes les deux la loi de probabilité d'une variable, la densité a un net avantage sur 87 Estimation de la fonction de répartition : revue bibliographique le plan visuel. Elle permet d'avoir un aperçu très rapide des principales caractéristiques de la distribution (pics, creux, asymétries, . . . ), ce qui explique le volume important de littérature qui lui est consacré. La fonction de répartition contient bien sûr cette information mais de manière moins visible. Néanmoins c'est en terme de comportement local de la fonction de répartition que s'explique le plus facilement le comportement des estimateurs fonctionnels (vitesse de convergence, normalité asymptotique) et c'est finalement par un estimateur de la fonction de répartition que l'on passe pour estimer des probabilités d'ensembles : la probabilité qu'une variable se cantonne dans un intervalle donné ou qu'une observation au moins d'un nouvel échantillon dépasse un seuil fixé. Lorsqu'on veut donner une borne inférieure pour la probabilité qu'un paramètre θ inconnu appartienne à un intervalle de la forme [θn − ε, θn + ε], où θn est un estimateur de θ, on a en fait besoin d'un estimateur de la fonction de répartition de θn . Il est vrai que l'on peut souvent passer d'un estimateur de f à un estimateur de F par intégration et d'un estimateur de F à un estimateur de f par dérivation. Néanmoins une particularité est à souligner : c'est l'existence de la fonction de répartition empirique Fn , fonction de répartition de la loi empirique associée à l'échantillon. Il n'y a bien sûr pas d'équivalent pour la densité, ce qui différencie la nature de chacun des deux problèmes d'estimation. Il est important de noter que la fonction de répartition empirique ne fait appel à aucune structure algébrique ou topologique mais seulement à des notions ensemblistes et que les techniques d'estimation ne sont pas autre chose que des techniques de régularisation de cette référence empirique dont la donnée est équivalente à celle de l'échantillon. Cette dernière remarque conduit donc à collecter en premier lieu les principaux résultats disponibles sur la fonction de répartition empirique. Ils constituent l'entrée en matière de la présente revue bibliographique. Puis nous passerons dans les sections suivantes à des estimateurs introduits plus spécifiquement pour la fonction de répartition. La section 2.3 sera consacrée au lissage local, dont un exemple bien connu est le lissage polynômial local. La méthode de lissage local décrite permet de donner un cadre général à l'estimation de fonctionnelles de la fonction de répartition et de leurs dérivées. Un cas particulier est la méthode du noyau dont l'application à la fonction 88 2.2 Un estimateur naturel : la fonction de répartition empirique de répartition est abordée dans la section 2.4. Les estimateurs à noyau sont, avec les estimateurs splines décrits en section 2.5, les méthodes de lissage les plus communément utilisées dans les logiciels statistiques. Les sections suivantes abordent des approches plus récentes : les Support Vector Machines (S.V.M.) dans la section 2.6, le level-crossing dans la section 2.7 et les Systèmes de Fonctions Itérées (I.F.S.) dans la section 2.8. Nous mentionnons rapidement en section 2.9 quelques méthodes développées pour la densité et utilisables par intégration, comme celle des fonctions orthogonales, particulièrement celles des ondelettes. La section 2.10 traite du cas de la fonction de répartition d'une loi conditionnelle. Enfin, la prise en compte d'un biais éventuel sur les données est abordée en section 2.11.
  2.2
  Un estimateur naturel : la fonction de répartition empirique
  La fonction de répartition empirique sera notée n
  1X I]−∞,x] (Xi ) Fn (x) = n i=1 où IA (x) =
  
  1 si x ∈ A 0 sinon.
  Afin de passer en revue quelques résultats importants concernant cette fonc√ tion, nous notons Zn (x) = n(Fn (x) − F (x)) et définissons les statistiques suivantes Dn+ = sup Zn (x), x∈R
  Dn− = sup(−Zn (x))
  et
  x∈R
  Dn = sup |Zn (x)|. x∈R
  Kolmogorov [63] et Smirnov [88] introduisent et étudient ces trois statistiques et démontrent que leur distribution ne dépend pas de F . En outre, à l'aide des théorèmes de Donsker [32] et Doob [33, 34], il est prouvé que les statistiques Dn+ et Dn− ont la même loi et que nous avons les résultats asymptotiques suivants : lim P (Dn− > λ) = exp(−2λ2 ),
  n→∞
  89 Estimation de la fonction de répartition : revue bibliographique
  lim P (Dn > λ) = 2
  n→∞
  ∞ X
  (−1)k+1 exp(−2k 2 λ2 ).
  k=1
  Par la suite, Dvoretzky, Kiefer et Wolfowitz [35] déterminent une borne de la forme P (Dn− > λ) ≤ C exp(−2λ2 ), où C est une constante indéterminée. L'ensemble de cette démarche et de ces résultats sont analysés dans Hennequin et Tortrat [56]. Pour des propriétés liées aux statistiques d'ordre et de rang on pourra consulter le livre de Caperaa et Van Cutsem [20]. De nombreux auteurs essayent ensuite de trouver la meilleure constante C dans l'inégalité précédente. Devroye et Wise [30], Shorack et Wellner [86] ou Hu [58] font peu à peu diminuer cette constante. Finalement, Massart [68] démontre qu'il est possible de prendre C = 1 pourvu que lim P (Dn− > λ) = exp(−2λ2 ) ≤ 1/2.
  n→+∞
  Il montre aussi que, quel que soit λ, P (Dn > λ) ≤ 2 exp(−2λ2 ), et que ces bornes ne peuvent plus être améliorées, ces inéquations étant valides que F soit continue ou pas. D'autre part, le théorème de Glivenko-Cantelli nous donne la convergence uniforme presque sûre de Fn vers F c'est-à-dire sup |Fn (x) − F (x)| → 0 p.s. x∈R
  Pour des variables dépendantes (plus précisément φ-mélangeantes), ce résultat est amélioré plus tard par Collomb, Hassani, Sarda et Vieu [24] en convergence presque complète sous certaines hypothèses, notamment l'uniforme continuité de f . Fn est également l'estimateur non paramétrique du maximum de vraisemblance (Kiefer et Wolfowitz [62], Efron et Tibshirani [37]) et, en général, une transformée t(F ) a pour estimateur du maximum de vraisemblance t(Fn ). D'autre part, parmi les estimateurs sans biais de F (x), Fn (x) est également 90 2.2 Un estimateur naturel : la fonction de répartition empirique l'unique estimateur de variance minimale (Yamato [102], Lehmann [66]). Cette dernière vaut par ailleurs F (x) (1 − F (x)) /n. Yamato [102] élargit les recherches à une famille de fonctions englobant Fn . Il étudie les fonctions du type n 1X ∗ Wn (x − Xj ) Fn (x) = n j=1 où Wn est une fonction de répartition connue. Il démontre que, en tout point de continuité x de F , Fn∗ (x) est asymptotiquement non biaisé et P [ sup −∞<x<∞
  |Fn∗ (x) − F (x)| → 0] = 1
  si et seulement si Wn → e0 avec e0 (x) =
  
  1 si x ≥ 0 0 sinon.
  Il obtient de plus la convergence vers une loi normale N (0, 1) de la distribution de √ n[F (x) − EFn (x)] p n . F (x)[1 − F (x)]
  Pour évaluer l'écart entre F et son estimateur, plusieurs autres critères peuvent être utilisés. Ainsi, Devroye et Györfi [28] choisissent comme critère la variation totale V qui se définit comme suit entre deux mesures de probabilité μ et ν V (μ, ν) = sup |μ(A) − ν(A)|, A
  avec le supremum calculé sur tous les boréliens A, et l'entropie relative I telle que X μ(Aj ) I(μ, ν) = sup μ(Aj ) log ν(Aj ) {Aj } j
  où le supremum est pris sur l'ensemble des partitions finies en boréliens mesurables {Aj } de R. Au sens de ces critères, Fn est un mauvais estimateur. En effet, ils obtiennent V (μ, μn ) = 1 et I(μ, μn ) = ∞ pour des mesures nonatomiques. Mais ils démontrent ensuite la non-existence de bons estimateurs Fn∗ , de mesure associée μ∗n , tels que V (μ, μ∗n ) → 0 ou I(μ, μ∗n ) → 0, 91 Estimation de la fonction de répartition : revue bibliographique qui rend ces critères non adaptés. Aggarwal [2] introduit le problème consistant à déterminer le meilleur estimateur invariant de F , au sens des transformations monotones, avec la fonction de perte Z L(F, a) =
  {F (t) − a(t)}2 h(F (t))dF (t).
  L'éventuelle admissibilité, c'est-à-dire la minimisation de L, et minimaxité de l'estimateur sont également des questions importantes. Dans le cas particulier de fonction de perte de Cramér-von Mises, où h(t) = t−1 (1 − t)−1 , Fn est le meilleur estimateur invariant. Aggarwal [2], Brown [18] et Yu [103] démontrent la non admissibilité de Fn pour h(t) = tα (1 − t)β , α, β ≥ −1 alors qu'il est admissible pour Z L(F, a) = {F (t) − a(t)}2 F (t)α (1 − F (t))β dW (t),
  avec −1 ≤ α, β ≤ 1 et W une mesure finie (Cohen et Kuo [23]). Dvoretzky, Kiefer et Wolfowitz [35] et Phadia [76] prouvent que Fn est asymptotiquement minimax pour une grande variété de fonctions de pertes. Néanmoins, pour celle de Kolmogorov-Smirnov, Friedman, Gelman et Phadia [49] déterminent le meilleur estimateur invariant de F . Celui-ci est une fonction en escalier différente de Fn . D'autres fonctions en escalier ont également été étudiées. Ainsi, si F est continue sur [0, 1], nous savons qu'il existe un estimateur F ̃n linéaire par √ morceaux et tel que la distribution de n[F ̃n (x) − F (x)] converge faiblement vers un pont brownien B(x) connu (Billingsley [14]). Beran [7] s'appuie sur ce résultat pour définir un nouvel estimateur F̂n tel que  H(x) si supx |F ̃n (x) − H(x)| ≤ n−1/4 F̂n = F ̃n (x) sinon, où H est une fonction de répartition quelconque sur [0, 1]. Il obtient alors que, √ hormis le cas trivial où la distribution de l'échantillon est H, n[F̂n (x)−F (x)] converge vers B(x). De plus, il démontre que tout estimateur F̂n régulier peut être représenté comme une convolution d'un pont brownien avec une autre fonction de répartition de C[0, 1] dépendant uniquement de la densité f . 92 2.3 Un estimateur naturel : la fonction de répartition empirique
  La fonction de répartition empirique ne tient pas compte d'une éventuelle information que nous pouvons avoir sur la fonction à estimer. Modarres [69] utilise une possible symétrie pour bâtir un nouvel estimateur à partir de Fn : 1 F̂ s (x) = (Fn (x) + 1 − Fn (−x)) pour x < 0 2 et démontre que cet estimateur est l'estimateur du maximum de vraisemblance sous une hypothèse de symétrie. Il bâtit ensuite un nouvel estimateur F̂ aux en utilisant de l'information amenée par une covariable Y . Un échantillon auxiliaire (Yi )1≤i≤m avec m >> n permet de connaı̂tre la fonction de répartition empirique de la variable Y . En collectant ensuite un échantillon Zi = (Xi , Yi )1≤i≤n et en maximisant sa vraisemblance, il obtient l'estimateur F̂ aux . Cet estimateur est relativement simple et ne fait intervenir qu'un comptage des Xi dans certaines zones. En croisant les 2 modèles, il obtient l'estimateur F̂ h suivant 1 F̂ h (x) = (F̂ aux (x) + 1 − F̂ aux (−x)) pour x < 0, 2 montre sa normalité asymptotique et étudie ses propriétés. Il faut noter que cet estimateur ne maximise pas la vraisemblance de ce modèle et ne s'avère pas robuste envers l'hypothèse de symétrie. Enfin, il montre sur des simulations une amélioration du biais et de l'efficacité relativement à la fonction de répartition empirique. L'estimateur de Grenander [53] est également obtenu directement à partir de la fonction de répartition empirique. Il est défini comme le plus petit majorant concave de Fn . Pour une fonction Fn de support réel [a, b], FGr est la plus petite fonction concave telle que FGr (t) ≥ Fn (t) et FGr (a) = 0 , FGr (b) = 1. Mais cet estimateur, bien qu'étant défini à partir de la fonction de répartition et sans aucun paramètre supplémentaire, est beaucoup plus souvent dérivé pour estimer une densité f qu'utilisé directement pour déterminer F . Dans le cas où la densité f est monotone, fGr l'est également et maximise la vraisemblance. Pour une étude plus approfondie de fGr nous renvoyons le lecteur à Devroye [27]. 93 Estimation de la fonction de répartition : revue bibliographique
  2.3
  Estimateurs par lissage local
  Afin d'obtenir une estimation plus régulière de la fonction de répartition, Berlinet [8] puis Lejeune et Sarda [67] lissent la fonction de répartition empirique dans différents espaces. Lejeune et Sarda utilisent la régression polynômiale locale. La minimisation de la norme pondérée L2 débouche sur des choix optimaux que l'on retrouve parmi les estimateurs à noyaux décrits en section 2.4. Ce résultat est ensuite élargi par Abdous, Berlinet et Hengartner [1] qui proposent d'estimer différentes fonctionnelles φ(x, F ) de la fonction F au point x. Pour cela ils substituent φ(x, Fn ) à φ(x, F ) et, dans le cas où φ(x, F ) a r dérivées continues, choisissent de minimiser le critère suivant   Z r o2 X 1 ak z−x n J(a0 , , ar ; x) = φ(z, Fn ) − K (z − x)k dz. h h k! k=0 Les dérivées successives de φ(x, F ) sont estimées par les â0 (x), â1 (x), , âr (x) minimisant le critère J(a0 , , ar ; x) au point x. Une expression explicite est ensuite obtenue à l'aide d'une fonction K, une densité sur [-1,1], et Q0 (z), , Qn (z) une base orthonormale de L2 (K) de l'espace Pr des polynômes de degré au moins r. On définit ! r m X d K(u) Qk (w) K [m,r] (u) = Qk (u) dwm w=0 k=0 et on obtient alors le minimiseur â0 (x), â1 (x), , âr (x) par   Z 1 z−x [m,r] âm = m+1 φn (z)K dz. h h En considérant l'estimateur (m) θ̂n,h (x)
  =
  1 hm+1
  Z
  ∞
  φ(z, Fn )K
  −∞
  [m,r]
  
  z−x h
  
  dz
  de θ(m) (x) = φ(m) (x, F ), ils démontrent ensuite sous certaines conditions (m) que θ̂n,h (x) converge p.s. vers φ(m) (x, F ). Berlinet [9] et Berlinet et ThomasAgnan [11] élargissent ce résultat à un espace V de Hilbert à noyau reproduisant à la place de Pr . L'estimation de la projection ΠV (F ) de F sur V est alors déterminée par les équations 94 2.4 Estimateur à noyau
  Fx (hv) = et m
  h
  Fx(m) (hv)
  Z
  =
  Z
  ΠV (F (x + h.))(u)K(u, v)K0 (u)dλ(u)
  ΠV (F (x + h.))(u)
  dm K(u, v) K0 (u)dλ(u) dv m
  où K0 est un noyau et K le noyau reproduisant de V .
  2.4
  Estimateur à noyau
  L'estimateur à noyau de la densité n
  1 X f ̃n (x) = k nh i=1
  
  x − Xi h
  
  ,
  avec un noyau k intégrable et d'intégrale 1 et une fenêtre h > 0, est un estimateur non paramétrique bien connu de f (x) introduit par Akaike [3], Rosenblatt [80] et Parzen [74]. La littérature qu'il a suscitée est considérable. Dans le présent paragraphe nous nous limitons à ses applications orientées vers l'estimation de la fonction de répartition. On définit l'estimateur F̃n à noyau de F par   n 1X x − Xi F̃n (x) = , K n i=1 h où
  K(x) =
  Z
  x
  k(y)dy.
  −∞
  Ses propriétés sont connues depuis longtemps, par exemple sa convergence uniforme vers F avec f continue (Nadaraya [72], Winter [98], Yamato [102]) puis sans conditions sur f (Singh, Gasser et Prasad, [87]) ou sa normalité asymptotique (Watson et Leadbetter, [97]). Winter [99] démontre aussi qu'il vérifie la propriété de Chung-Smirnov, c'est-à-dire ) ( (1/2) 2n sup |F̃n (t) − F (t)| ≤ 1 lim sup log log n −∞<t<∞ n→∞ avec probabilité 1. Azzalini [4] trouve une expression asymptotique pour l'erreur quadratique moyenne ou M.S.E. (E(F̃n (x) − F (x))2 ) et détermine la 95 Estimation de la fonction de répartition : revue bibliographique fenêtre asymptotiquement optimale permettant d'avoir un M.S.E. plus faible que pour Fn . Reiss [77] prouve que l'inefficacité relative asymptotique de Fn par rapport à F̃n tend rapidement vers l'infini quand la taille de l'échantillon augmente avec un choix approprié de noyau, par exemple   5 2 9 1 − x I[−1,1] (x), k(x) = 8 3 et certaines conditions vérifiées notamment lorsque le support de k est borné et Z
  ∞
  tk(t)K(t)dt > 0.
  (2.1)
  −∞
  Falk [39] donne ensuite une solution complète à ce problème en établissant la représentation de l'inefficacité relative de Fn par rapport à F̃n sous les conditions ci-dessus notamment lorsque le support de k est borné. Le nombre R ψ(k) = 2k(x)K(x)xdx est introduit par Falk [40] comme une mesure de la performance asymptotique du noyau k. Mais il démontre qu'aucun noyau de R carré intégrable ne minimise ψ. Il utilise alors le nombre φ(k) = k(x)2 dx défini par Epanechnikov [38] comme une mesure de la performance du noyau en estimation de la densité. Au sens de φ, le noyau d'Epanechnikov suivant k(x) = (3/4)(1 − x2 )I(|x|≤1) . est le meilleur mais les noyaux gaussiens ou uniformes ont des performances très proches. En utilisant le critére ψ le noyau d'Epanechnikov est alors de loin le meilleur des trois. Falk [40] montre ensuite que cette inefficacité relative s'applique aussi aux estimateurs des quantiles qn de Fn par rapport aux quantiles q̃n de F̃n . Enfin, Golubev et Levit [51] donnent les conditions permettant de trouver un estimateur minimax du second ordre pour la fonction de perte carrée R L(F, a) = (F (t) − a(t))2 dF (t). Au sens de l'erreur quadratique moyenne intégrée ou I.M.S.E., le meilleur noyau est le noyau uniforme bien que les performances d'autres noyaux (Epanechnikov, normal, triangulaire) ne soient, en pratique, que légèrement moins 96 2.5 Estimateurs splines bonnes (Jones [61]). Il est intéressant de noter que ce ne sera pas le meilleur noyau dans le cadre d'estimation de la densité. L'expression asymptotique de l'I.M.S.E. est également étudiée par Swanepoel [93]. Pour une fonction f continue, il prouve que le meilleur noyau est le noyau uniforme k(x) = (1/2ω)I[−ω,ω] (x) pour une constante arbitraire ω > 0 (ce qui démontre que les critères de Falk pour définir un noyau optimal ne sont en fait pas adaptés à la fonction de répartition) alors que, pour f discontinue en un nombre fini de points, c'est le noyau exponentiel k(x) = (c/2) exp(−c|x|) pour une constante arbitraire c > 0. F̃n est ici aussi plus efficace que Fn pour hn = o(n−1/2 ) sous la condition (2.1). Néanmoins, F̃n ne fournit pas toujours une meilleure estimation que Fn . En effet, dans le cas d'une fonction F uniformément lipschitzienne Fernholz [45] obtient que √ n||F̃n − Fn ||∞ → 0 p.s. √ √ et que n||F̃n − F ||∞ et n||F̃n − F ||∞ ont la même distribution asymptotique. De plus, Shirahata et Chu [85] démontrent que sous certaines hyR∞ pothèses sur F , l'erreur quadratique intégrée (I.S.E.) ( −∞ (F̃n (x)−F (x))2 dF (x)) de F̃n est presque sûrement supérieure à celle de Fn .
  2.5
  Estimateurs splines
  Les méthodes splines connaissent un large spectre d'applications de par la simplicité de leur mise en oeuvre, de la régularité des courbes obtenues et de la multiplicité des conditions que l'on peut imposer aux solutions. Néanmoins, les fonctions à estimer doivent obéir à certaines conditions de régularité et le nombre d'observations doit être suffisament grand pour éviter les phénomènes classiques de sur ou sous-lissage. Pour plus de précision sur le sujet on pourra se référer à Besse et Thomas-Agnan [13], Wahba [96] ou Green et Silverman [52]. Berlinet [8] utilise des splines cubiques pour lisser la fonction de répartition empirique et obtenir un estimateur uniformément asymptotiquement sans biais de la fonction de répartition. Les splines cubiques sont ici définies comme 97 Estimation de la fonction de répartition : revue bibliographique un polynôme de degré au plus 3 interpolant la fonction de répartition empirique sur l'ensemble des points de l'échantillon Sn avec certaines conditions aux limites. Une approche différente est étudiée par Restle [78] qui définit l'estimateur Fsp de F sous forme d'une spline naturelle cubique en définissant les valeurs de Fsp aux points X1 , , Xn par −1 Fsp = I + αW−1 K Fn
  où α est le paramètre de lissage, la matrice W contient des poids et la matrice aléatoire K ne dépend que des écarts Hi = Ti+1 − Ti de l'échantillon. A cause des conditions de continuité imposées aux splines naturelles cubiques, les valeurs aux points T1 , , Tn caractérisent la fonction Fsp complètement. Cet estimateur possède une erreur quadratique intégrée de l'ordre de Op (n−1 ) et le supremum de la différence absolue de F et Fsp est de l'ordre de Op (n−1/4 ). De plus, la probabilité que cet estimateur soit monotone tend vers 1.
  2.6
  Les Support Vector Machines
  L'idée originale des Support Vector Machines (S.V.M.) est publiée par Vapnik [94] puis reprise dans Burges [19], Schölkopf, Burges et Smola [83], Schölkopf et Smola [84] et plus récemment dans Vapnik et Kotz [95]. Ces dernières années ont vu une explosion du nombre de travaux exploitant la méthode des S.V.M. dont le but premier est de résoudre certains problèmes de classification. Elle est basée sur l'utilisation de fonctions dites noyaux qui permettent une séparation optimale (sans problème d'optimum local) des points observés X1 , , Xn en différentes catégories. Afin de remédier au problème de l'absence de séparateur linéaire, l'idée des S.V.M. est de reconsidérer le problème dans un espace de dimension supérieure. Dans ce nouvel espace, il existe un séparateur linéaire qui permet de classer au mieux les points observés dans les groupes qui conviennent. On peut ensuite projeter le séparateur linéaire dans l'espace d'origine pour visualiser le résultat de la classification. Le changement d'espace se fait au moyen d'une fonction symétrique k(., .) répondant au critère de Mercer, c'est à dire telle que, pour 1 ≤ i, j ≤ n, (k(Xi , Xj ))i,j 98 2.7 Le level-crossing est une matrice définie positive. Ce critère autorise un changement "dans les deux sens" ce qui permet à partir de l'expression de l'hyperplan dans l'espace de dimension plus élevé de classer les éléments dans l'espace de description initial. Afin d'utiliser les S.V.M., le problème d'estimation de la densité est vu comme le problème suivant : on choisit tout d'abord un ensemble de densités f (x, α) où α est l'ensemble des paramètres à déterminer. La résolution du problème Z x f (t, α)dt = F (x) −∞
  revient donc à résoudre le problème inverse
  Af (., α) = F (., α) où A est une application linéaire de l'espace de Hilbert des fonctions f (., α) dans celui des fonctions F (., α). L'estimation de la densité est donc maintenant traduite en un problème inverse qui se résout en utilisant Fn pour estimer F . On peut alors utiliser les S.V.M. pour estimer la densité de différentes manières (Schölkopf, Burges et Smola [83]). Mohamed et Farag [71] choisissent tout d'abord de coupler l'approche S.V.M. et la théorie de champ moyen (qui permet des approximations efficaces). Puis ils incorporent l'algorithme EM à l'approche précédente (Mohamed, El-Baz et Farag [70]). Les estimateurs de f (x) et F (x) sont alors f ̄n∗ (x) =
  n X
  ωi k(x, Xi ) et F̄n∗ (x) =
  i=1
  n X
  ωi K(x, Xi )
  i=1
  où k est un noyau vérifiant certaines propriétés (Vapnik [94]) dérivé de K et ωi obtenus dans Mohamed, El-Baz et Farag [70]. L'algorithme EM est ensuite utilisé pour trouver les paramètres optimaux pour le noyau, ici la matrice de covariance pour un noyau gaussien, et permet un gain substantiel (notamment en terme de distance de Levy) par rapport à la première approche où on utilise les paramètres ad-hoc.
  2.7
  Le level-crossing
  Le level-crossing, passage à niveau en français, est défini dans Leadbetter [65]. Si nous notons X(1) , X(2) , , X(n) les statistiques d'ordre de l'échantillon 99 Estimation de la fonction de répartition : revue bibliographique X1 , X2 , , Xn et prenons x ∈ R alors on dit que l'intervalle [X(j) , X(k) ) "croise" le niveau x si et seulement si x ∈ [X(j) , X(k) ), 1 ≤ j ≤ k < n. Il est ensuite possible de définir une fonction rn (x) comptant le nombre de "croisements" se produisant au niveau x à partir d'un échantillon de départ {Xi , i = 1, , n}. L'espérance de cette fonction rn (x) s'exprime en fonction de F (x). Huang et Brill [59] appliquent le level-crossing à l'estimation de la fonction de répartition. L'estimateur obtenu diffère de la fonction de répartition empirique qui donne un poids équivalent de 1/n à chaque valeur de l'échantillon. Ils essayent d'améliorer l'efficacité en faisant varier les poids des observations. Des poids moins importants sont attribués aux données situées dans les queues de l'échantillon. Le nouvel estimateur est alors défini par Fˆn∗ (x) =
  n X i=1
  avec pn,i =
  I(−∞,x] (X(i) )pn,i , n ≥ 2,
   h  1 1 − √ n−2 2
  n(n−1)
   √
  1 , n(n−1)
  i
  ,
  pour i = 1, n, pour i = 2, , n − 1.
  Nous remarquons que les valeurs X(1) et X(n) ont moins de poids que les valeurs centrales de l'échantillon. Ils obtiennent tout d'abord o n P lim sup |Fˆn∗ (x) − F (x)| = 0 = 1 n→∞ −∞<x<∞
  et démontrent ensuite que pour toute fonction F continue, il existe un nombre réel zn ∈ (0, 21 ), tel que l'efficacité de leur estimateur par rapport à Fn est plus grande que 1 sur les intervalles ouverts (0, zn ) et (1−zn , 1). Ces résultats théoriques sont ensuite complétés par des simulations sur lesquelles le levelcrossing donne de meilleures estimations que la fonction de répartition empirique.
  2.8
  Les Systèmes de Fonctions Itérées
  Les systèmes de fonctions itérées (I.F.S.), introduits dans Barnsley et Demko [6], sont principalement utilisés pour la modélisation de fractales. 100 2.9 Les Systèmes de Fonctions Itérées Cette théorie est entièrement basée sur la propriété d'invariance par changement d'échelle. Ainsi une application à l'approximation de fonction est récemment proposée dans Forte et Vrscay [48]. Le principe est le suivant : on suppose que ω est une fonction contractante d'un espace métrique M dans lui-même. Le théorème du point fixe nous donne ensuite l'existence et l'unicité d'un point fixe x′ dans M tel que ω(x′ ) = x′ . De plus, pour tout point de départ x0 , la suite de points (xn ) définie par xn+1 = ω(xn ) converge vers x′ lorsque n tend vers l'infini. C'est pourquoi x′ est appelé attracteur de l'I.F.S. On peut maintenant supposer qu'il existe n fonctions contractantes ωi , i = 1, . . . , n, dans M . Chacune de ces fonctions ωi a son propre point fixe x′i et si on applique une de ces fonctions, par exemple ωl , alors la suite (xn ) converge vers le point fixe x′l . Ce sont ces résultats que Iacus et La Torre [60] utilisent en interprétant l'estimation de F comme la recherche du point fixe d'une famille de fonctions contractantes sur un espace métrique complet. Le problème se définit alors à l'aide de N fonctions affines ω et d'un vecteur de paramètres p. Pour une famille donnée W , le résultat dépend uniquement du choix de p. Il faut donc maintenant déterminer p en résolvant un problème d'optimisation quadratique sous contraintes. Cette approche est appelée approche inverse. Ils démontrent qu'une fois la famille de fonctions choisie le problème inverse revient à résoudre un problème quadratique dépendant uniquement des moments non centrés de l'échantillon. Le choix pi = 1/N nous permet d'obtenir une version lissée de la fonction de répartition empirique et, par conséquent, de bonnes propriétés asymptotiques et cela même si le support de la loi n'est pas compact. Différentes simulations sur des fonctions bêta sont testées et l'I.F.S. apparaı̂t comme plus efficace que les fonctions de répartition empiriques ou à noyaux en terme d'erreur quadratique moyenne ou de norme infinie. Cette méthode est notamment très performante dans les cas de données manquantes ou de petits échantillons mais nécessite une fonction à support compact ou au moins une connaissance du support. 101 Estimation de la fonction de répartition : revue bibliographique
  2.9
  D'autres estimateurs
  Comme il a été dit précédemment tout estimateur de la densité fournit par intégration un estimateur de la fonction de répartition. Nous évoquons donc dans le présent paragraphe quelques familles importantes de tels estimateurs qui n'ont pas été mentionnées auparavant. Nous resterons volontairement succincts, le nombre de références sur le sujet concernant l'estimation de la densité étant considérable. Les premiers travaux traitant de manière unifiée des estimateurs de la densité et des conditions de leur convergence sont ceux de Foldes et Revesz [47] et Bleuez et Bosq [15, 16]. Ces auteurs ont considéré la famille des estimateurs de la densité de la forme n
  1X fn (t) = Kr(n) (Xj , t), n j=1 où (Kr (x, t), r ∈ I) est une famille de fonctions réelles mesurables et I une partie non bornée de R+ . Cette famille contient les estimateurs à noyaux vus précédemment et ceux utilisant la méthode des fonctions orthogonales qui correspond au choix r X Kr (x, t) = ei (x)ei (t), i=0
  r ∈ N et où les ei forment une base de hilbertienne de L2 (R). Elle englobe également les histogrammes, de nombreux estimateurs basés sur des partitions (Bosq et Lecoutre [17], Berlinet et Biau [10]) et les estimateurs par ondelettes. La théorie des ondelettes s'est développée au milieu des années 80 et est très utilisée dans de nombreux domaines (analyse harmonique, traitement du signal, compression d'images, statistique fonctionnelle). Son succès est du à son adaptativité aux données et à sa facilité d'implémentation. Une ondelette est une onde "localisée". Lorsqu'on décompose une fonction en séries de Fourier, on la décompose en fait en fréquence. La décomposition en ondelettes ajoute une dimension, la décomposition est double : fréquentielle et spatiale. On décompose en effet une fonction comme une somme d'oscillations de fréquences précises se produisant à un endroit précis. La construction d'une base d'ondelettes dans un espace convenable permet d'estimer une fonction 102 2.10 Fonction de répartition conditionnelle si on sait estimer ses coordonnées dans la base choisie. On peut citer comme références Donoho, Johnstone, Kerkyacharian et Picard [31], Härdle, Kerkyacharian, Picard et Tsybakov [55] ou Herrick, Nason et Silverman [57]. Mais la plupart sont appliquées à l'estimation de la densité et il n'existe pas, à notre connaissance, d'application visant à obtenir des propriétés spécifiques d'estimateurs de la fonction de répartition. Nous pouvons aussi évoquer brièvement une approche statistique différente : l'approche bayésienne. Dans la perspective bayésienne un état de connaissance initial est traduit par une loi de probabilité a priori sur les paramètres du modèle choisi. Le théorème de Bayes permet de passer ensuite à une loi dite a posteriori sur les paramètres conditionnellement aux données observées. Cette approche est notamment développée en détails dans Robert [79] et Bernardo et Smith [12]. Son application à l'estimation de la fonction de répartition, sous différents modèles, est évoquée dans Korwar et Hollander [64], Susarla et Van Ryzin [92] et Pantazopoulos, Pappis, Fifis, Costopoulos, Vaughan et Gasparini [73]. En statistique non paramétrique la construction des estimateurs bayésiens est souvent difficile. On pourra consulter Bosq et Lecoutre [17] au sujet de l'utilisation d'un processus de Dirichlet comme loi a priori. L'estimateur résultant a des propriétés asymptotiques analogues à celles de la fonction de répartition empirique. Enfin, les méthodes combinatoires, développées par Devroye et Lugosi [29], apportent un regard nouveau sur le choix efficace d'estimateurs non paramétriques et sont applicables aux estimateurs de la fonction de répartition.
  2.10
  Fonction de répartition conditionnelle
  Lorsque les données sont disponibles sous la forme de couples (Xi , Yi )1≤i≤n , on peut chercher à estimer la fonction de répartition conditionnelle π(y|x) = P (Yi ≤ y|Xi = x). Roussas [81] définit son estimateur basé sur l'estimateur à noyau par Z y qn (x, y ′ )/pn (x) πG (y|x) = −∞
  103 Estimation de la fonction de répartition : revue bibliographique où n
  1 X K pn (x) = nh i=1
  
  x − Xi h
  
  n
  1 X et qn (x, y ) = K nh i=1 ′
  
  x − Xi h1/2
  
  K
  
  y ′ − Yi h1/2
  
  Sous certaines hypothèses fortes, il démontre sa convergence en probabilité ainsi que celle de ses quantiles (voir aussi Samanta [82]). Stone [89] définit lui un estimateur de type π̂n (A|X) =
  n X
  Wni (X)IA (Yi )
  i=1
  où Wni est une fonction de poids propre à chaque Xi . Il obtient la consistance de l'estimateur sous certaines conditions sur les fonctions de poids. En s'appuyant sur ce travail, Cleveland [22] définit l'estimation polynômiale locale. L'idée sous-jacente est en fait un simple développement de Taylor : soit x et y fixés et supposons que la fonction qui à z associe π(y|z) est suffisament régulière dans un voisinage de x. Alors, par une approximation de Taylor, π(y|z) ≈ π(y|x) + (z − x)π (1) (y|x) +  + (z − x)p
  π (p) (y|x) p!
  où π (v) (y|x) est la v ème dérivée de π(y|z) par rapport à z, évaluée en x. Nous approximons donc localement π(y|z) par un polynôme de degré p en (z − x). Fan [41, 42] et Fan et Gijbels [43, 44] montrent que cet estimateur présente plusieurs avantages sur les autres méthodes de régression (comme celle du noyau de Gasser et Müller [50]) : elle contourne la principale difficulté des estimateurs à noyaux classiques en corrigeant automatiquement les effets de bord tout en conservant les propriétés d'optimalité théorique. Il est à noter que Ferrigno et Ducharme [46] construisent un test permettant de rejeter (ou de valider) un modèle en fonction de sa "distance" à l'estimateur polynômial local. Stute [90, 91] définit lui un estimateur de type plus-proche-voisins   n Fn (x) − Fn (Xi ) 1 X Yi K πn (y|x) = nh i=1 h où K est un noyau. Sous certaines conditions, il obtient sa normalité asymptotique et celle de ses quantiles. 104
  . 2.11 Données biaisées Hall, Wolff et Yao [54] proposent deux méthodes différentes pour estimer cette fonction. Ils définissent ainsi un estimateur à noyau adapté (qui sera équivalent à un estimateur localement linéaire) et un estimateur faisant intervenir un modèle logistique. L'estimateur à noyau se définit par  Pn Xi −x i=1 I(Yi ≤y) pi (x)K h  , π̃(y|x) = Pn Xi −x i=1 pi (x)K h
  où K est un noyau de fenêtre h et pi , pour 1 ≤ i ≤ n, des poids uniquement définis par plusieurs équations. Le modèle logistique général pour P (x) = π(y|x) admettant r − 1 dérivées continues est de la forme L(x, b) = A(x, b)/{1 + A(x, b)},
  où A(., b) est une fonction non-négative dépendant du vecteur de paramètres b = (b1 , , br ) représentant P (x) et ses r − 1 dérivées. On peut noter qu'il est possible de trouver des fonctions A relativement simples. Ce modèle amène à l'estimateur π̂(y|x) = L(0, b̂xy ) où b̂xy minimise la fonction   n X Xi − x 2 . R(b; x, y) = {I(Yi ≤y) − L(Xi − x, b)} K h i=1 Ces deux estimateurs font intervenir un noyau K. Ils seront consistants selon le choix toujours délicat de la fenêtre h. Il est aussi possible d'estimer F en utilisant Fn et les techniques classiques de régression dans le modèle Fn (Xi ) = F (Xi ) + εi , i = 1, , n. En utilisant un estimateur localement linéaire de même type que celui décrit ci-dessus, Cheng et Peng [21]) déterminent un estimateur ayant une moyenne d'erreur quadratique intégrée plus petite que l'estimateur à noyau classique.
  2.11
  Données biaisées
  En pratique, il peut arriver qu'observer directement la variable X de densité f soit impossible mais qu'on puisse, par contre, observer une variable Y à 105 Estimation de la fonction de répartition : revue bibliographique travers un échantillon Y1 , , Yn et possédant la densité g(y) = w(y)f (y)/μ(f ) où w(x) va être la fonction de biais et μ(f ) = Ef {w(X)} = 1/Eg {w−1 (Y )}. On rencontre également cette situation dans le cas de données manquantes (Berlinet et Thomas-Agnan [11]). Dans ce qui suit on suppose que la fonction w(x) est connue, intégrable et que ∀x, 0 < c1 < w(x) < c2 < ∞. Patil, Rao et Zelen [75] référencent les différentes propriétés de ces fonctions biaisées pour laquelle Cox [25] propose la distribution suivante : F̃co (x) = μ̂n−1
  n X l=1
  avec μ̂ =
  w−1 (Yl )I(Yl ≤x) ,
  1 n−1
  Pn
  l=1
  w−1 (Yl )
  .
  Cet estimateur est celui du maximum de vraisemblance dans le cadre nonparamétrique, il est asymptotiquement efficace et est un estimateur minimax du premier ordre. Efromovitch [36] modifie l'estimateur de Cox et propose le suivant : J √ X F̃e (x) = x + 2 θ̂j (πj)−1 sin(πjx), j=1
  où
  n √ X θ̂j = n−1 2μ̂ w−1 (Yl ) cos(πjYl ), l=1
  ce qui est l'estimateur moyen de Cox pour θj , et J une constante calculable, fonction de n. Il obtient |E{F̃e (x)} − F (x)| ≤ √
  o(1) n log(n)
  et la normalité asymptotique de son estimateur qui est de plus un estimateur minimax du second ordre en x. 106 2.13 Conclusion
  2.12
  Conclusion
  L'estimateur le plus simple, la fonction de répartition empirique a de bonnes propriétés de convergence mais possède certains inconvénients comme celui de ne pas prendre en compte une éventuelle information supplémentaire ou bien le fait d'être une fonction en escalier. Dès que l'on restreint quelque peu le modèle envisagé pour les données il existe des estimateurs qui sont préférables à la fonction de répartition empirique. Néanmoins l'existence de ce premier estimateur, au contraire de ce qui se passe pour la densité, donne des facilités quant à l'utilisation de méthodes de lissage. Les méthodes d'estimation que nous avons passées en revue fournissent en général une fonction qui possède les propriétés caractérisant une fonction de répartition sauf parfois en ce qui concerne la masse totale (limx→+∞ F (x) = 1), ce qui est facilement corrigé, ou bien en ce qui concerne la croissance. On peut alors penser à appliquer certaines méthodes d'estimation de fonctions monotones (Delecroix, Simioni et Thomas-Agnan [26]), la régression ou les splines isotoniques (Barlow, Bartholomew, Brewner et Brunk [5] et Wegman et Wright [101]) afin de garantir la croissance de l'estimateur.
  2.13
  Simulations
  Nous testons certaines des méthodes présentées ci-dessus sur des échantillons de tailles différentes. Les différents estimateurs sont explicités dans la bibliographie citée ci-dessus sauf l'estimateur par splines monotones qui provient d'un package développé par Stephan Ellner à partir de l'article de Wood [100]. Nous pouvons remarquer assez logiquement l'importance de la taille de l'échantillon mais aussi, comme annoncé par les auteurs de cette méthode, la meilleure estimation de l'estimateur I.F.S. dans le cas de petits échantillons (efficacité confirmée dans le cas d'échantillons avec des valeurs manquantes). Nous n'utiliserons cependant pas ou très peu cette caractéristique du fait du grand nombre d'observations dont nous avons besoin pour estimer l'indice de régularité en règle générale.
  107 1.0
  1.0
  Estimation de la fonction de répartition : revue bibliographique
  0.2
  0.4
  y
  0.6
  0.8
  IFS Noyau Empirique Splines Monotones Level−crossing
  0.0
  0.0
  0.2
  0.4
  y
  0.6
  0.8
  IFS Noyau Empirique Splines Monotones Level−crossing
  −1.5
  −1.0
  −0.5
  0.0
  0.5
  1.0
  −3
  −2
  −1
  x
  0
  1
  2
  x
  (b) n = 100
  1.0
  1.0
  (a) n = 15
  0.8
  IFS Noyau Empirique Splines Monotones Level−crossing
  y 0.0
  0.0
  0.2
  0.2
  0.4
  0.4
  y
  0.6
  0.6
  0.8
  IFS Noyau Empirique Splines Monotones Level−crossing
  −3
  −2
  −1
  0
  1
  2
  3
  −4
  x
  −2
  0
  2
  4
  x
  (c) n = 1000
  (d) n = 10000
  Figure 2.1 – Estimations de la fonction de répartition d'une N(0,1) en pointillés pour différentes méthodes et différentes tailles d'échantillon n
  108 Bibliographie [1] B. Abdous, A. Berlinet, and N. Hengartner. A general theory for kernel estimation of smooth functionals of the distribution function and their derivatives. Revue Roumaine de Mathématiques Pures et Appliquées, 48 :217–232, 2003. [2] O. Aggarwal. Some minimax invariant procedures for estimating a cumulative distribution function. The Annals of Mathematical Statistics, 26 :450–462, 1955. [3] H. Akaike. An approximation to the density function. Annals of the Institute of Statistical Mathematics, 6 :127–132, 1954. [4] A. Azzalini. A note on the estimation of a distribution function and quantiles by a kernel method. Biometrika, 68 :326–328, 1981. [5] R. Barlow, D. Bartholomew, J. Brewner, and H. Brunk. Statistical inferences under order restrictions. Wiley, New-York, 1972. [6] M. Barnsley and S. Demko. Iterated function systems and the global construction of fractals. Proceedings of the Royal Society of London. Series A, Mathematical and Physical Sciences, 399 :243–275, 1985. [7] R. Beran. Estimating a distribution function. The Annals of Statistics, 5 :400–404, 1977. [8] A. Berlinet. Convergence des estimateurs splines de la densité. Publications de l'Institut de Statistique de l'Université de Paris, 26 :1–16, 1981. [9] A. Berlinet. Reproducing kernels and finite order kernels. In G. Roussas, editor, Nonparametric Functional Estimation and Related Topics. Klüwer Academic Publishers, Dordrecht, 1991. [10] A. Berlinet and G. Biau. Estimation de densité et prise de décision. In R. Lengellé, editor, Décision et Reconnaissance de Formes en Signal. Hermes, Paris, 2002. [11] A. Berlinet and C. Thomas-Agnan. Reproducing Kernel Hilbert Spaces in Probability and Statistics. Klüwer, Boston, 2004. 109 BIBLIOGRAPHIE [12] J. Bernardo and A. Smith. Bayesian Theory. Wiley, New-York, 1994. [13] P. Besse and C. Thomas-Agnan. Le lissage par fonctions splines en statistique : revue bibliographique. Statistique et Analyse des données, 14 :55–83, 1989. [14] P. Billingsley. Convergence of Probability Measures. Wiley, New-York, 1968. [15] J. Bleuez and D. Bosq. Conditions nécessaires et suffisantes de convergence pour une classe d'estimateurs de la densité. Comptes rendus de l'Académie des Sciences de Paris Série A, 282 :63–66, 1976. [16] J. Bleuez and D. Bosq. Conditions nécessaires et suffisantes de convergence pour une classe d'estimateurs de la densité par la méthode des fonctions orthogonales. Comptes rendus de l'Académie des Sciences de Paris Série A, 282 :1023–1026, 1976. [17] D. Bosq and J.-P. Lecoutre. Théorie de l'Estimation Fonctionnelle. Economica, 1987. [18] L. Brown. Admissibility in discrete and continuous invariant nonparametric estimation problems, and in their multinomial analogs. The Annals of Statistics, 16 :1567–1593, 1988. [19] C. Burges. A tutorial on support vector machines for pattern recognition. Data mining and knowledge discovery, 2 :1–47, 1998. [20] P. Caperaa and B. Van Cutsem. Méthodes et modèles en statistique non paramétrique. Bordas, Paris, 1988. [21] M.-Y. Cheng and L. Peng. Regression modelling for nonparametric estimation of distribution and quantiles functions. Statistica Sinica, 12 :1043–1060, 2002. [22] W. Cleveland. Robust locally weighted regression and smoothing scatterplots. Journal of the American Statistical Association, 74 :829–836, 1979. [23] M. Cohen and L. Kuo. The admissibility of the empirical distribution function. The Annals of Statistics, 13 :262–271, 1985. [24] G. Collomb, S. Hassani, P. Sarda, and P. Vieu. Estimation non paramétrique de la fonction de hasard pour des observations dépendantes. Statistique et Analyse des Données, 10 :42–49, 1985. [25] D. Cox. Some sampling problems in technology. In N. L. Johnson and H. Smith, editors, New Developments in Survey Sampling. Wiley, New-York, 1969. 110 BIBLIOGRAPHIE [26] M. Delecroix, M. Simioni, and C. Thomas-Agnan. Functional estimation under shape constraints. Journal of Nonparametrics Statistics, 6 :69–89, 1996. [27] L. Devroye. A Course in Density Estimation. Birkhäuser, Boston, 1987. [28] L. Devroye and L. Györfi. Distribution and density estimation. CISM Courses and Lectures, 434 :221–270, 2002. [29] L. Devroye and G. Lugosi. Combinatorial Methods in Density Estimation. Springer, New-York, 2001. [30] L. Devroye and G. Wise. On the recovery of discrete probability densities from imperfect measurements. Journal of the Franklin Institute, 307 :1–20, 1979. [31] D. Donoho, I. Johnstone, G. Kerkyacharian, and D. Picard. Density estimation by wavelet thresholding. The Annals of Statistics, 24 :508– 539, 1996. [32] M. Donsker. Justification and extension of Doob's heuristic approach to the Kolmogorov-Smirnov theorems. The Annals of Mathematical Statistics, 23 :277–281, 1952. [33] J. Doob. Heuristic approach to the kolmogorov-smirnov theorm. The Annals of Mathematical Statistics, 20 :393–403, 1949. [34] J. Doob. Stochastic processes. Wiley, New-York, 1953. [35] A. Dvoretzky, J. Kiefer, and J. Wolfowitz. Asymptotic minimax character of the sample distribution function and of the classical multinomial estimator. The Annals of Mathematical Statistics, 33 :642–669, 1956. [36] S. Efromovich. Distribution estimation for biased data. Journal of Statistical Planning and Inference, 124 :1–43, 2004. [37] B. Efron and R. Tibshirani. An introduction to the Bootstrap. Chapman & Hall, London, 1993. [38] A. Epanechnikov. Nonparametric estimation of a multivariate probability density. Theory of Probability and its Applications, 14 :153–158, 1969. [39] M. Falk. Relative efficiency and deficiency of kernel type estimators of smooth distribution functions. Statistica Neerlandica, 37 :73–83, 1983. [40] M. Falk. Relative deficiency of kernel type estimators of quantiles. The Annals of Statistics, 12 :261–268, 1984. [41] J. Fan. Design-adaptive nonparametric regression. Journal of the American Statistical Association, 87 :998–1004, 1992. 111 BIBLIOGRAPHIE [42] J. Fan. Local linear regression smoothers and their minimax efficiencies. The Annals of Statistics, 21 :196–216, 1993. [43] J. Fan and I. Gijbels. Variable bandwidth and local linear regression smoothers. The Annals of Statistics, 20 :2008–2036, 1992. [44] J. Fan and I. Gijbels. Local polynomial modelling and its applications. Chapman & Hall, London, 1996. [45] L. Fernholz. Almost sure convergence of smoothed empirical distribution functions. Scandinavian Journal of Statistics, 18 :255–262, 1991. [46] S. Ferrigno and G. Ducharme. A global test of goodness-of-fit for the conditional distribution function. Comptes Rendus Mathématiques de l'Académie des Sciences de Paris, 341 :313–316, 2005. [47] A. Foldes and P. Revesz. A general method for density estimation. Studia Scientiarum Mathematicarum, 9 :81–92, 1974. [48] B. Forte and E. Vrscay. Solving the inverse problem for function/image approximation using iterated function systems. Fractals, 2 :325–334, 1995. [49] Y. Friedman, A. Gelman, and E. Phadia. Best invariant estimation of a distribution function under the Kolmogorov-Smirnov loss function. The Annals of Statistics, 16 :1254–1261, 1988. [50] T. Gasser and H. Müller. Estimating regression function and their derivatives by the kernel method. Scandinavian Journal of Statistics, 3 :171–185, 1984. [51] G. Golubev and B. Levit. Distribution function estimation : adaptive smoothing. Mathematical Methods of Statistic, 5 :383–403, 1996. [52] P. Green and B. Silverman. Nonparametric Regression and Generalized Linear Models. A Roughness Penalty Approach. Chapman & Hall, London, 1994. [53] U. Grenander. On the theory of mortality measurement part II. Skandinavisk Aktuarietidskrift, 39 :125–153, 1956. [54] P. Hall, R. Wolff, and Q. Yao. Methods for estimating a conditional distribution function. Journal of the American Statistical Association, 94 :154–163, 1999. [55] W. Härdle, G. Kerkyacharian, D. Picard, and A. Tsybakov. Wavelets, approximation and statisticals applications. Lecture Notes in Statististics, 129, 1999. [56] P. Hennequin and A. Tortrat. Théorie des Probabilités et Quelques applications. Masson, Paris, 1965. 112 BIBLIOGRAPHIE [57] D. Herrick, G. Nason, and B. Silverman. Some new methods for wavelet density estimation. Sankhya, A63 :394–411, 2001. [58] I. Hu. A uniform bound for the tail probability of Kolmogorov-Smirnov statistics. The Annals of Statistics, 13 :811–826, 1985. [59] M. Huang and P. Brill. A distribution estimation method based on level crossings. Journal of Statistical Planning and Inference, 124 :45– 62, 2004. [60] S. Iacus and D. La Torre. A comparative simulation study on the IFS distribution function estimator. Nonlinear Analysis : Real World Applications, 6 :858–873, 2005. [61] M. Jones. The performance of kernel density functions in kernel distribution function estimation. Statistics and Probability Letters, 9 :129– 132, 1990. [62] J. Kiefer and J. Wolfowitz. Consistency of the maximum likelihood estimator in the presence of infinitely many nuisance parameters. The Annals of Mathematical Statistics, 27 :887–906, 1956. [63] A. Kolmogorov. Sulla determinazione empirica di una legge de distribuzione. Giornale dell'Instituto Italiano degli Attuari, 4 :83–91, 1933. [64] R. Korwar and M. Hollander. Empirical Bayes estimation of a distribution function. The Annals of Statistics, 4 :581–588, 1976. [65] M. Leadbetter. Point processes generated by level crossings. In P. Lewis, editor, Stochastic Point processes : Statistical Analysis, Theory and Applications. Wiley-Interscience, New-York, 1972. [66] E. Lehmann. Theory of Point Estimation. Wiley, New-York, 1983. [67] M. Lejeune and P. Sarda. Smooth estimators of distribution and density functions. Computational Statistics and Data Analysis, 14 :457–471, 1992. [68] P. Massart. The tight constant in the Dvoretzky-Kiefer-Wolfowitz inequality. The Annals of Probability, 18 :1269–1283, 1990. [69] R. Modarres. Efficient nonparametric estimation of a distribution function. Computational Statistics and Data Analysis, 39 :75–95, 2002. [70] R. Mohamed, A. El-Baz, and A. Farag. Probability density estimation using advanced support vector machines and the EM algorithm. International Journal of Signal Processing, 1 :260–264, 2004. [71] R. Mohamed and A. Farag. Mean field theory for density estimation using support vector machines. Seventh International Conference on Information Fusion, Stockholm, pages 495–501, 2004. 113 BIBLIOGRAPHIE [72] E. Nadaraya. Some new estimates for distribution function. Theory of Probability and its Application, 9 :497–500, 1964. [73] S. Pantazopoulos, C. Pappis, T. Fifis, C. Costopoulos, J. Vaughan, and M. Gasparini. Nonparametric Bayes estimation of a distribution function with truncated data. Journal of Statistical Planning and Inference, 55 :361–369, 1996. [74] E. Parzen. On the estimation of a probability density and mode. The Annals of Mathematical Statistics, 33 :1065–1076, 1962. [75] G. Patil, C. Rao, and M. Zelen. Weighted distribution. In N. L. Johnson and S. Kotz, editors, Encyclopedia of Statistical Sciences. Wiley, NewYork, 1988. [76] E. Phadia. Minimax estimation of a cumulative distribution function. The Annals of Statistics, 1 :1149–1157, 1973. [77] R.-D. Reiss. Nonparametric estimation of smooth distribution functions. Scandinavian Journal of Statistics, 8 :116–119, 1981. [78] E. Restle. Estimating cumulative distributions by spline smoothing. PhD thesis, Ecole Polytechnique Fédérale de Lausanne, 2001. [79] C. Robert. L'Analyse Statistique Bayésienne. Economica, Paris, 1992. [80] M. Rosenblatt. Remarks on some non-parametric estimates of a density function. The Annals of Mathematical Statistics, 27 :832–837, 1956. [81] G. Roussas. Nonparametric estimation of the transition distribution function of a Markov process. The Annals of Mathematical Statistics, 40 :1386–1400, 1969. [82] M. Samanta. Non-parametric estimation of conditional quantiles. Statistics and Probability Letters, 7 :407–412, 1989. [83] B. Schölkopf, C. Burges, and A. Smola. Advances in Kernel methods. Support vector learning. MIT Press, 1999. [84] B. Schölkopf and A. Smola. Learning With Kernels : Support Vector Machines, Regularization, Optimization and Beyond. MIT Press, 2002. [85] S. Shirahata and I.-S. Chu. Integrated squared error of kernel-type estimator of distribution function. Annals of the Institute of Statistical Mathematics, 44 :579–591, 1992. [86] G. Shorack and J. Wellner. Empirical Processes with Applications to Statistics. Wiley, New-York, 1986. [87] R. S. Singh, T. Gasser, and B. Prasad. Nonparametric estimates of distributions functions. Communication in Statistics - Theory and Methods, 12 :2095–2108, 1983. 114 BIBLIOGRAPHIE [88] N. Smirnov. Approximate laws of distribution of random variables from empirical data. Uspekhi Matematicheskikh Nauk, 10 :179–206, 1944. [89] C. Stone. Consistent nonparametric regression. The Annals of Statistics, 5 :595–645, 1977. [90] W. Stute. Asymptotic normality of nearest neighbor regression function estimates. The Annals of Statistics, 12 :917–926, 1984. [91] W. Stute. Conditionnal empirical processes. The Annals of Statistics, 14 :638–647, 1986. [92] V. Susarla and J. Van Ryzin. Empirical Bayes estimation of a distribution (survival) function from right censored observations. The Annals of Statistics, 6 :740–754, 1978. [93] J. Swanepoel. Mean integrated squared error properties and optimal kernels when estimating a distribution function. Communication in Statistics - Theory and Methods, 17 :3785–379, 1988. [94] V. Vapnik. The nature of statistical learning theory. Springer Verlag, New-York, 1995. [95] V. Vapnik and S. Kotz. Estimation on dependences based on empirical data. Springer Verlag, New-York, 2006. [96] G. Wahba. Spline models for observational data. Society for Industrial and Applied Mathematics (SIAM), Philadelphia, 1990. [97] G. Watson and M. Leadbetter. Hazard analysis II. Sankhya, 26 :101– 116, 1964. [98] B. Winter. Strong uniform consistency of integrals of density estimators. The Canadian Journal of Statistics, 1 :247–253, 1973. [99] B. Winter. Convergence rate of perturbed empirical distribution functions. Journal of Applied Probability, 16 :163–173, 1979. [100] S. Wood. Monotonic smoothing splines fitted by cross validation. SIAM Journal on Scientific Computing, 15 :1126–1133, 1994. [101] I. Wright and E. Wegman. Isotonic, convex and related splines. The Annals of Statistics, 8 :1023–1035, 1980. [102] H. Yamato. Uniform convergence of an estimator of a distribution function. Bulletin on Mathematical Statistics, 15 :69–78, 1973. [103] Q. Yu. Inadmissibility of the empirical distribution function in continuous invariant problems. The Annals of Statistics, 17 :1347–1359, 1989.
  115 Conclusion et perspectives Dans ce travail de thèse, nous nous sommes attachés à étudier l'indice de régularité d'une mesure de probabilité. Nous avons pu voir que cet indice intervient dans différents problèmes d'estimation fonctionnelle. Mais sa définition étant relativement récente, ses propriétés sont encore méconnues et il est probable qu'il apparaisse dans d'autres problèmes. Il se pourrait par exemple qu'il puisse expliquer certains problèmes liés à la vitesse de convergence de différents estimateurs. Dans la première partie de ce travail, nous avons déterminé des conditions nécessaires et suffisantes pour l'obtention d'une loi asymptotique pour l'estimateur des kn -plus proches voisins de la densité. Cependant, beaucoup d'estimateurs de la densité requièrent un développement pour un rapport de mesures d'ensembles non centrés au point d'estimation x et n'étant pas forcément des boules. Nous avons donc adapté la définition de l'indice de régularité. A l'aide de cette nouvelle définition, nous avons obtenu des conditions suffisantes pour la normalité asymptotique de l'estimateur des kn -plus proches voisins ou pour l'histogramme. S'agissant de la recherche future, il serait intéressant de déterminer la loi asymptotique d'autres estimateurs de la densité, comme par exemple l'estimateur B.S.E. ou celui de Barron, en utilisant la nouvelle définition de l'indice de régularité. Dans la deuxième partie, nous affaiblissons les hypothèses impliquant la convergence de l'estimateur du mode d'une densité quelconque f défini par Abraham, Biau et Cadre (2003) notamment l'hypothèse sur la continuité de la densité f autour du mode θ. Nous déterminons également un intervalle de confiance asymptotique dépendant de différentes constantes. Une pro117 Conclusion et perspectives chaine étape importante sera de définir des estimateurs convergents de ces constantes sous les hypothèses de notre théorème, plus explicitement sans utiliser la continuité autour du mode. Il serait également utile de réaliser une analyse de sensibilité de notre estimateur par rapport à la fenêtre de l'estimateur à noyau. De plus, il serait intéressant de l'appliquer à des données réelles présentant des discontinuités, par exemple dans le domaine de l'illumination ou de la spectrométrie. Enfin, la dernière partie de cette thèse a permi de définir un nouvel estimateur convergent de l'indice de régularité utilisant l'estimateur empirique de la fonction de répartition. Cependant, les simulations sur cet estimateur, ainsi que sur un autre utilisant l'estimateur à noyau, ne donnent pas de meilleurs résultats que l'estimateur défini par Beirlant, Berlinet et Biau (2008). Nous avons également réalisé une revue bibliographique sur les différents estimateurs de la fonction de répartition ce qui ouvre un certain nombre de perspectives intéressantes. En particulier, un travail futur serait de déterminer une condition sur un estimateur de la fonction de répartition quelconque donnant un estimateur de l'indice de régularité convergent. Cela nous donnerait alors une large classe d'estimateurs de l'indice de régularité. Un certain nombre des estimateurs de la fonction de répartition ayant été implémenté, un package pourrait alors être créé et mis à la disposition de la communauté scientifique.
  118 Résumé L'objectif de cette thèse est d'étudier le comportement local
  d'une mesure de probabilité, notamment au travers d'un indice de régularité locale. Dans la première partie, nous établissons la normalité asymptotique de l'estimateur des kn plus proches voisins de la densité et de l'histogramme. Dans la deuxième, nous définissons un estimateur du mode sous des hypothèses affaiblies. Nous montrons que l'indice de régularité intervient dans ces deux problèmes. Enfin, nous construisons dans une troisième partie différents estimateurs pour l'indice de régularité à partir d'estimateurs de la fonction de répartition, dont nous réalisons une revue bibliographique. Mots-clefs : Indice de régularité locale, Mesure de probabilité, Estimation non paramétrique, Estimation du mode, Estimateurs de la fonction de répartition, Normalité asymptotique, Estimateur des kn plus proches voisins de la densité. Abstract The goal of this thesis is to study the local behavior of a
  probability measure, using a local regularity index. In first part, we establish the asymptotic normality of the nearest neighbor density estimate and of the histogram. In the second one, we define a mode estimator under weakened hypothesis. We show that the regularity index interferes in this two problems. Finally, we construct in third part various estimators of the regularity index. The thesis ends with a review on distribution function estimators. Keywords : Local regularity index, Probability measure, Nonparametric estimation, Mode estimators, Distribution function estimators, Asymptotic normality, Nearest neighbor estimate. 
meta: {'path': '21/tel.archives-ouvertes.fr-tel-00730491-document.txt'}