<figure><img src="image_1.png" /></figure>

HAL
open science

# Theorème de la limite centrale pour des fonctionnelles non linéaires de la mesure empirique et pour le rééchantillonnage stratifié

Roberta Flenghi

► To cite this version:

Roberta Flenghi. Theorème de la limite centrale pour des fonctionnelles non linéaires de la mesure empirique et pour le rééchantillonnage stratifié. Mathématiques [math]. Ecole des Ponts, 2023. Français.
NNT: tel-04360933

HAL Id: tel-04360933

https://hal.science/tel-04360933

Submitted on 22 Dec 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
<figure><img src="image_2.png" /></figure>

École des Ponts
ParisTech

THÈSE DE DOCTORAT
de l'École des Ponts ParisTech

# Theorème de la limite centrale pour des fonctionnelles non linéaires de la mesure empirique et pour le rééchantillonnage stratifié

École doctorale MSTIC

Discipline : Mathématiques

Thèse préparée au CERMICS, équipe Inria MATHRISK

Thèse soutenue le 20/12/2023, par
**Roberta FLENGHI**

## Composition du jury:

Nicolas, CHOPIN
Professeur, ENSAE

Rapporteur

Randal, DOUC
Professeur, Télécom SudParis

Rapporteur

Pierre, DEL MORAL
Directeur de Recherche, INRIA Bordeaux

Examinateur

Florence, MERLEVEDE
Professeure, Université Gustave Eiffel

Examinatrice

Benjamin, JOURDAIN
Professeur, École des Ponts

Directeur de thèse
Summary

This thesis is dedicated to the central limit theorem which is one of the two fundamental limit
theorems in probability theory with the strong law of large numbers.

The central limit theorem which is well known for linear functionals of the empirical measure of
independent and identically distributed random vectors, has recently been extended to non-linear
functionals. The main tool permitting this extension is the linear functional derivative, one of the
notions of derivation on the Wasserstein space of probability measures. We generalize this extension
by first relaxing the equal distribution assumption and then the independence property to be able
to deal with the successive values of an ergodic Markov chain.

In the second place, we focus on the stratified resampling mechanism. This is one of the re-sampling schemes commonly used in particle filters. We prove a central limit theorem for the first resampling according to this mechanism under the assumption that the initial positions are independent and identically distributed and the weights proportional to a positive function of the positions such that the image of their common distribution by this function has a non zero component absolutely continuous with respect to the Lebesgue measure.

This result relies on the convergence in distribution of the fractional part of partial sums of the
normalized weights to some random variable uniformly distributed on [0,1]. More generally, we
prove the joint convergence in distribution of q variables modulo one obtained as partial sums of
a sequence of i.i.d. square integrable random variables multiplied by a common factor given by
some function of an empirical mean of the same sequence. The limit is uniformly distributed over
[0, 1]⁹. To deal with the coupling introduced by the common factor, we assume that the common
distribution of the random variables has a non zero component absolutely continuous with respect
to the Lebesgue measure, so that the convergence in the central limit theorem for this sequence
holds in total variation distance.

Under the conjecture that the convergence in distribution of fractional parts to some uniform ran-
dom variable remains valid at the next steps of a particle filter which alternates selections according
to the stratified resampling mechanism and mutations according to Markov kernels, we provide
an inductive formula for the asymptotic variance of the resampled population after n steps. We
perform numerical experiments which support the validity of this formula.
Résumé

Cette thèse porte sur le théorème de la limite centrale, l'un des deux théorèmes limites fondamen-
taux de la théorie des probabilités avec la loi forte des grands nombres.

Le théorème de la limite centrale usuel qui porte sur des fonctionnelles linéaires de la mesure empirique de vecteurs aléatoires indépendants et identiquement distribués a récemment été étendu à des fonctionnelles non linéaires par l'utilisation de la dérivée fonctionnelle linéaire sur l'espace de Wasserstein des mesures de probabilité. Nous généralisons cette extension à la mesure empirique de vecteurs aléatoires indépendants mais non identiquement distribués d'une part et à la mesure empirique des états successifs d'une chaîne de Markov ergodique d'autre part.

Dans un second temps, nous nous intéressons au rééchantillonnage stratifié qui est couramment
utilisé dans les filtres particulaires. Nous prouvons un théorème de la limite centrale pour le premier
rééchantillonnage sous l'hypothèse que les positions initiales des particules sont indépendantes et
identiquement distribuées et leurs poids sont proportionnels à une fonction positive des positions
qui envoie leur loi commune sur une probabilité possédant une composante non nulle absolument
continue par rapport à la mesure de Lebesgue. Ce résultat repose sur la convergence en loi de la
partie fractionnaire des sommes partielles de poids normalisés vers une variable aléatoire uniforme
sur [0,1]. Plus généralement, nous montrons la convergence en loi vers un vecteur aléatoire uniforme
sur [0, 1]q de q sommes partielles d'une suite de variables aléatoires i.i.d. de carré intégrable multi-
pliées par une fonction de la moyenne empirique de cette suite. Pour traiter le couplage introduit
par ce facteur commun, nous supposons que la loi commune a une composante non nulle absolument
continue par rapport à la mesure de Lebesgue, ce qui assure la convergence en variation totale dans
le théorème de la limite centrale pour cette suite. Sous l'hypothèse que la convergence en loi de
la partie fractionnaire des poids normalisés reste vraie au étapes suivantes d'un filtre particulaire
calculé en alternant des étapes de rééchantillonnage suivant le méchanisme stratifié et des muta-
tions suivant des noyaux markoviens, nous obtenons une formule de récurrence pour la variance
asymptotique des particules après n étapes. Nous vérifions la validité de cette formule au travers
d'expériences numériques.
<figure><img src="image_3.png" /></figure>
Acknowledgements

Le plus grand merci va à Benjamin Jourdain. Merci d'avoir été un guide constant au cours de ces trois années. J'espère avoir absorbé un peu de ta rigueur et de ton intégrité intellectuelle. Merci d'avoir toujours su quand me pousser et me fournir le soutien dont j'avais besoin, tant d'un point de vue mathématique qu'humain. Et enfin, merci d'avoir souri (et non pleuré) face au choix "discutable" de mes notations et pas que...

Je tiens aussi à exprimer ma reconnaissance à Nicolas Chopin et à Randal Douc pour avoir accepté d'être les rapporteurs de ma thèse. Je voudrais également remercier les membres du jury qui ont accepté de participer à ma soutenance: Pierre Del Moral et Florence Merlevede.

Merci à Frédéric Meunier et Jean-Philippe Chancelier qui m'ont fait confiance et m'ont permis d'enseigner dans leurs cours.

Un remerciement particulier à Isabelle et Stéphanie, les piliers du CERMICS. Leur efficacité et leur disponibilité ont rendu tout extrêmement facile.

Je tiens aussi à remercier Virginie Ehrlacher et Olga Mula avec qui j'ai eu l'occasion de collaborer pendant le CEMRACS, je les remercie pour nous avoir accompagné et conseillé pour ce projet. Merci à tous les amis du CEMRACS, en particulier à Augustin, Giulia, Maria et Siwar. Une amitié née à Marseille et qui s'est poursuivie à Paris.

Un merci spécial à tous les doctorants du CERMICS qui ont rempli les journées de sourires, de légèreté et de desserts: Albéric, Alfred, Amandine, Andrea, Anton, Camila, Coco, Edoardo, Eloïse, Emanuele, Épiphane, Étienne, Fabian, Faten, Guillaume, Guido, Hélène, Hervé, Jean, Julien, Kacem, Laurent, Léo, Louis, Luca, Mathias, Michel, Mohamad, Nerea, Noé, Oscar, Raian, Regis, Rutger, Seta, Shiva, Simon, Solal, Vitor, Yue, Zoé. J'espère n'avoir oublié personne.

En particulier, je remercie Edo pour son authenticité et sa générosité, merci pour son rire qui emplissait le deuxième étage, et peut-être même le troisième. Merci à Ema qui accueille à bras ouverts tous les nouveaux arrivants, toujours prêt à aider n'importe qui et à manger n'importe quoi.

Merci à Amaury pour sa tendresse. Grazie al mio amico di una vita e per la vita, Marco.

E infine grazie alla mia famiglia, in particolare a mamma che ci ha insegnato la libertà e l'indipendenza.
<figure><img src="image_4.png" /></figure>
# Contents

## 1 Introduction 1

1.1 Théorème de la Limite Centrale : une revue de la littérature 1

1.1.1 Théorème de la Limite Centrale pour les variables aléatoires i.i.d. 1
Convergence en loi 1
Convergence pour la distance en variation totale 2

1.1.2 Théorème de la Limite Centrale pour des variables aléatoires indépendantes non équidistribuées 2

1.1.3 Théorème de la Limite Centrale pour les tableaux de martingale 3

1.1.4 Théorème de la Limite Centrale pour une fonctionnelle non linéaire des mesures empiriques 4

1.1.5 Théorème de la Limite Centrale pour les chaînes de Markov 8

1.1.6 Théorème de la Limite Centrale pour les systèmes de particules en interaction avec mécanisme d'échantillonnage 10

1.2 Convergence des sommes de variables aléatoires modulo 1 vers la distribution uniforme 16

1.3 Contributions de la thèse 18

1.3.1 Théorème de la Limite Centrale pour les fonctionnelles non linéaires des mesures empiriques : au-delà du cadre i.i.d. (voir Chapitre 2) 18

1.3.2 Convergence vers la loi uniforme des vecteurs de sommes partielles modulo 1 avec un facteur commun (voir Chapitre 3) 20

1.3.3 Théorème de la Limite Centrale pour le mécanisme d'échantillonnage stratifié (voir Chapitre 4) 22

## 2 Central Limit Theorem over non-linear functionals of empirical measures: beyond the iid setting 27

2.1 Main Results 30

2.1.1 Independent Non-Equidistributed Random Variables 30
The Wasserstein distance and the linear functional derivative 30
Statement of the theorem 32

2.1.2 Markov Chains 35
Markov Chains and the Poisson equation 35
Statement of the theorem 38

2.2 Proof of the Results 43

2.2.1 Markov Chains 43

2.2.2 Independent Non-Equidistributed Random Variables 55

## 3 Convergence to the uniform distribution of vectors of partial sums modulo one with a common factor 65

3.1 Introduction 65

3.2 Notation 68

3.3 Main Result 69

3.4 Proof of Proposition 5 73

3.5 Proof of Proposition 6 and Theorem 29 74

3.6 Appendix 84
<table><tr><td>4</td><td>Central Limit Theorem for the stratified resampling mechanism</td><td>87</td></tr><tr><td>4.1</td><td>Introduction</td><td>87</td></tr><tr><td>4.2</td><td>Statement of the Main Result</td><td>89</td></tr><tr><td>4.3</td><td>Asymptotic Variance</td><td>91</td></tr><tr><td>4.4</td><td>Central Limit Theorem</td><td>97</td></tr><tr><td>4.5</td><td>Proof of Proposition 8</td><td>101</td></tr><tr><td>4.6</td><td>Asymptotic Variance for the Next Steps</td><td>106</td></tr><tr><td>4.7</td><td>Numerical Results</td><td>116</td></tr><tr><td>4.7.1</td><td>Verification of the Conjectures</td><td>116</td></tr><tr><td></td><td>Conjecture 1</td><td>116</td></tr><tr><td></td><td>Conjecture 2</td><td>117</td></tr><tr><td>4.7.2</td><td>Focus on the Variance</td><td>118</td></tr><tr><td></td><td>case n = 0</td><td>118</td></tr><tr><td></td><td>case n = 1</td><td>120</td></tr><tr><td colspan="2">Bibliography</td><td>123</td></tr></table>
# Chapter 1

# Introduction

## 1.1 Théorème de la Limite Centrale : une revue de la littérature

Le Théorème de la Limite Centrale (abrégé TLC) est un résultat fondamental en théorie des probabilités et en statistiques. La première preuve rigoureuse du TLC a été fournie par Abraham de Moivre au XVIIIe siècle dans *Miscellanea analytica supplementum*. Sa preuve se limitait au cas particulier de variables aléatoires indépendantes identiquement distribuées selon une distribution de Bernoulli de paramètre $p = \frac{1}{2}$. Ce résultat a été étendu par Pierre Simon Laplace en 1812 aux variables aléatoires de Bernoulli de paramètre quelconque dans *Théorie analytique des probabilités*. De nombreux mathématiciens ont continué à développer les idées pionnières introduites par ces deux études. Dans la suite de cette section, nous préséntons une revue non exhaustive des résultats de type Théorème de la Limite Centrale.

### 1.1.1 Théorème de la Limite Centrale pour les variables aléatoires i.i.d.

#### Convergence en loi

Étant donnée une suite $(X_i)_{i \ge 1}$ de vecteurs aléatoires i.i.d. à valeurs dans $\mathbb{R}^d$ et une fonction mesurable $f : \mathbb{R}^d \to \mathbb{R}$ telle que $\mathbb{E}(|f(X_1)|) < \infty$, la Loi Forte des Grands Nombres affirme que la moyenne empirique converge presque sûrement vers l'espérance de $f(X_1)$ quand la taille de l'échantillon grandit

$$ \lim_{N \to \infty} \frac{1}{N} \sum_{i=1}^{N} f(X_i) = \mathbb{E}(f(X_1)) \quad \text{p.s.} $$

Le taux de convergence dans la Loi Forte des Grands Nombres est fourni par le Théorème de la Limite Centrale lorsque $\mathbb{E}(f^2(X_1)) < \infty$. Ainsi, on a

$$ \sqrt{N} \left( \frac{1}{N} \sum_{i=1}^{N} f(X_i) - \mathbb{E}(f(X_1)) \right) \stackrel{d}{\Rightarrow} G \sim \mathcal{N}(0, \sigma^2) \quad (1.1) $$

où l'on a noté:

* $\stackrel{d}{\Rightarrow}$ la convergence en loi,

* $\sigma^2$ la variance de $f(X_1)$,

* $\mathcal{N}(m, \sigma^2)$ la loi normale d'espérance $m$ et de variance $\sigma^2$.

Ainsi, lorsque $\sigma$ est strictement positif, (1.1) implique que l'erreur d'approximation $\varepsilon_N := \frac{1}{N} \sum_{i=1}^{N} f(X_i) - \mathbb{E}(f(X_1))$ satisfait pour tous $c_1 < c_2$

$$ \lim_{N \to \infty} \mathbb{P} \left( \frac{c_1}{\sqrt{N}} \le \varepsilon_N \le \frac{c_2}{\sqrt{N}} \right) = \int_{c_1}^{c_2} e^{-\frac{x^2}{2\sigma^2}} \frac{dx}{\sigma\sqrt{2\pi}} $$
En statistique, cela nous permet de définir un intervalle de confiance qui encadre la valeur de $\epsilon_N$. Par exemple, si $\sigma^2 = 1$, puisque $\mathbb{P}(|G| \le 1.96) \approx 0.95$, pour un $N$ suffisamment grand et avec une probabilité proche de 0.95, on a

$$|\epsilon_N| \le \frac{1.96}{\sqrt{N}}.$$

### Convergence pour la distance en variation totale

Soit $\mathcal{P}(\mathbb{R}^d)$, l'ensemble des mesures de probabilité sur $\mathbb{R}^d$. Rappelons que la distance en variation totale entre deux mesures $\mu_1, \mu_2 \in \mathcal{P}(\mathbb{R}^d)$ est donnée par la formule

$$d_{TV}(\mu_1, \mu_2) = \sup_{A \in \mathcal{B}(\mathbb{R}^d)} |\mu_1(A) - \mu_2(A)| = \frac{1}{2} \sup_{\|f\|_{\infty, \mathbb{R}} \le 1} \left| \int_{\mathbb{R}^d} f(x) (\mu_1(dx) - \mu_2(dx)) \right|.$$

Soit $(X_i)_{i \ge 1}$ une suite de vecteurs aléatoires i.i.d. à valeurs dans $\mathbb{R}^d$. Nous supposons que les $X_i$ sont de carré intégrables, qu'ils ont une moyenne nulle et que leur matrice de covariance est la matrice identité. On dit que le TLC (Théorème de la Limite Centrale) a lieu en variation totale si

$$\lim_{N \to \infty} d_{TV} \left( \mu_{\frac{1}{\sqrt{N}} \sum_{k=1}^{N} X_k}, \mathcal{N}(0, I_{d \times d}) \right) = 0$$

où l'on a noté $I_{d \times d}$ la matrice identité de taille $d$ et $\mu_Y$ la loi d'un vecteur aléatoire $Y$ à valeurs dans $\mathbb{R}^d$.

En 1952, Prohorov [50] a été le premier à s'intéresser à ce problème : il a montré qu'en dimension $d=1$ une condition nécessaire et suffisante pour obtenir le résultat est qu'il existe $N_0 \ge 1$ tel que la loi de $\sum_{k=1}^{N_0} X_k$ ait une composante absolument continue. En 1964, Mamatov et Halikov [42] ont étendu ce résultat en dimension quelconque. Plus précisément, ils ont prouvé que si la loi de $X_1$ a une composante absolument continue, alors

$$\lim_{N \to \infty} d_{TV} \left( \mu_{\frac{1}{\sqrt{N}} \sum_{k=1}^{N} X_k}, \mathcal{N}(0, I_{d \times d}) \right) = 0.$$

Voir également [3]. La généralisation suivante en découle facilement.

**Theorem 1.** Soit $(T_i)_{i \ge 1}$ une suite de vecteurs aléatoires i.i.d. de carré intégrables à valeurs dans $\mathbb{R}^d$ telle que la loi de $T_1$ a une composante absolument continue. Notons $\Sigma$ la matrice de covariance définie positive de $T_1$. Alors, la convergence en variation totale a lieu

$$\lim_{N \to \infty} d_{TV} \left( \mu_{\frac{1}{\sqrt{N}} \sum_{k=1}^{N} (T_k - \mathbb{E}(T_1))}, \mu_G \right) = 0$$

où $G \sim \mathcal{N}(0, \Sigma)$.

### 1.1.2 Théorème de la Limite Centrale pour des variables aléatoires indépendantes non équidistribuées

Soit $(X_i)_{i \ge 1}$ une suite de vecteurs aléatoires indépendants à valeurs dans $\mathbb{R}^d$ et $f: \mathbb{R}^d \to \mathbb{R}$ une fonction mesurable. Notons la loi de $X_i$ par $\nu_i$.

Rappelons qu'une suite $(f(X_i))_{i \ge 1}$ est Fortement Résiduellement Cesaro $\beta$-Intégrable (Strongly Residually Cesaro $\beta$-Integrable) pour $\beta > 0$ (abrégé SRCI($\beta$)) si
$$
1. \sup_{n \ge 1} \frac{1}{n} \sum_{i=1}^{n} \mathbb{E}(|f(X_i)|) < \infty
$$

$$
2. \sum_{i=1}^{\infty} \frac{1}{i} \mathbb{E} \left( \left( |f(X_i)| - i^\beta \right) 1_{\{|f(X_i)|>i^\beta\}} \right) < \infty.
$$

Chandra et Goswami [13, Théorème 4.1] ont montré que si $(f(X_i))_{i \ge 1}$ est une suite de variables
aléatoires indépendantes deux à deux et vérifie la condition SRCI($\beta$) pour un certain $\beta \in (0, 1)$,
alors la Loi Forte des Grands Nombres est vérifiée :

$$
\lim_{n \to \infty} \frac{\sum_{i=1}^{n} (f(X_i) - \mathbb{E}(f(X_i)))}{n} = 0 \quad \text{p.s.} \tag{1.2}
$$

De plus, Lindeberg (voir par exemple [7]) a prouvé que le Théorème de la Limite Centrale est
vérifié. Ainsi, si une suite $(f(X_i))_{i \ge 1}$ de variables aléatoires indépendantes de carré intégrable est
telle que $\sigma_n^2 := \sum_{i=1}^n \mathrm{Var}(f(X_i))$ est positif pour $n$ grand et vérifie la condition de Lindeberg suivante

$$
\forall \epsilon > 0 \quad \lim_{n \to \infty} \frac{1}{\sigma_n^2} \sum_{i=1}^{n} \mathbb{E}((f(X_i) - \mathbb{E}(f(X_i)))^2 1_{|f(X_i) - \mathbb{E}(f(X_i))| > \epsilon \sigma_n) = 0,
$$

alors

$$
\frac{\sum_{i=1}^{n} (f(X_i) - \mathbb{E}(f(X_i)))}{\sigma_n} \stackrel{d}{\Longrightarrow} \mathcal{N}(0, 1). \quad (1.3)
$$

1.1.3 Théorème de la Limite Centrale pour les tableaux de martingale

Nous présentons maintenant le Théorème de la Limite Centrale pour des tableaux de martingale
(voir [31], Corollaire 3.1).

Pour chaque $n \ge 1$, soit $\{S_{n,i}, \mathcal{F}_{n,i}, 1 \le i \le n\}$ une martingale à espérance nulle et de carré intégrable telle que $\mathcal{F}_{n,i} \subseteq \mathcal{F}_{n+1,i}$ pour $1 \le i \le n$, $n \ge 1$. Nous appelons $\{S_{n,i}, \mathcal{F}_{n,i}, 1 \le i \le n, n \ge 1\}$ un tableau de martingales.

**Theorem 2.** *Soit* {$S_{n,i}, \mathcal{F}_{n,i}, 1 \le i \le n, n \ge 1$} *un tableau de martingales à espérance nulle et de carré intégrable. Supposons que les variables* $X_{n,i} = S_{n,i} - S_{n,i-1}, 1 \le i \le n$ (*S$_{n,0}$ = 0*) *satisfont les conditions suivantes:*

- il existe $\eta^2 \in (0, \infty)$ tel que lorsque $n \to \infty$ la convergence en probabilité suivante a lieu

$$
\sum_{i=1}^{n} \mathbb{E} (X_{n,i}^2 | \mathcal{F}_{n,i-1}) \xrightarrow{P} \eta^2 \quad (\text{condition du crochet})
$$

- pour tout $\epsilon > 0$ lorsque $n \to \infty$

$$
\sum_{i=1}^{n} \mathbb{E} \left( X_{n,i}^2 1_{\{|X_{n,i}| > \epsilon\}} | \mathcal{F}_{n,i-1} \right) \xrightarrow{P} 0 \quad (\text{condition de Lindeberg}).
$$

Alors,

$$
\sum_{i=1}^{n} X_{n,i} \stackrel{d}{\Longrightarrow} \mathcal{N}(0, \eta^2).
$$
### 1.1.4 Théorème de la Limite Centrale pour une fonctionnelle non linéaire des mesures empiriques

Soit $(X_i)_{i \ge 1}$ une suite de variables aléatoires à valeurs dans $\mathbb{R}^d$ i.i.d. selon $\mu$. La mesure empirique associée est définie par la formule suivante

$$ \mu_N := \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i}. $$

Dans cette section, nous nous intéressons à la convergence en loi de la suite de variables aléatoires réelles

$$ \sqrt{N} (U(\mu_N) - U(\mu)) $$

où $U$ est une fonction quelconque définie sur $\mathcal{P}(\mathbb{R}^d)$. Dans la littérature de statistique mathématique, les fonctionnelles $U(\mu_N)$ sont connues sous le nom de "fonctions statistiques". Par exemple, sous l'hypothèse que $X_1$ est de carré intégrable,

$$ U(\mu_N) = \int_{\mathbb{R}^d} \left( x - \int_{\mathbb{R}^d} x \mu_N(dx) \right)^2 \mu_N(dx) $$

est un estimateur de la variance de la population

$$ U(\mu) = \int_{\mathbb{R}^d} \left( x - \int_{\mathbb{R}^d} x \mu(dx) \right)^2 \mu(dx). $$

La théorie asymptotique des fonctions statistiques a été étudiée dans la littérature de statistique mathématique, et l'idée commune est de linéariser $\sqrt{N}(U(\mu_N) - U(\mu))$ en une somme d'un terme auquel s'applique le Théorème de la Limite Centrale classique (voir la Section 1.1.1) et un terme de reste qui tend vers zéro en probabilité.

Von Mises [45] [46] a été le premier à étudier ce problème. En supposant que $(X_i)_{i \ge 1}$ est une famille de variables aléatoires réelles indépendantes et identiquement distribuées ($d = 1$), il a introduit un développement de Taylor de la fonctionnelle $U(\mu_N)$ à la distribution commune $\mu$ des variables aléatoires. Rappellons brièvement la méthode permettant de dériver une fonctionnelle $U(\cdot)$ définie sur $\mathcal{P}(\mathbb{R})$: la différentielle de Gâteaux. Soit $\mu, \nu \in \mathcal{P}(\mathbb{R})$ et soit $U$ une fonctionnelle définie sur $\mu + \lambda(\nu - \mu)$ pour $0 \le \lambda \le 1$. Si la limite

$$ d_1^G U (\mu; \nu - \mu) = \lim_{\lambda \to 0^+} \frac{U (\mu + \lambda (\nu - \mu)) - U (\mu)}{\lambda} \quad (1.4) $$

existe, on l'appelle la différentielle de Gâteaux de $U$ en $\mu$ dans la direction de $\nu$. Remarquez que $d_1^G U (\mu; \nu - \mu)$ est simplement la dérivée à droite en $\lambda = 0$ de $\lambda \mapsto U (\mu + \lambda (\nu - \mu))$, $0 \le \lambda \le 1$. En général, la différentielle de Gâteaux d'ordre $k$ de $U$ en $\mu$ dans la direction de $\nu$ est définie, si la limite existe, comme

$$ d_k^G U (\mu; \nu - \mu) = \frac{d^k}{d\lambda^k} U (\mu + \lambda (\nu - \mu)) \Big|_{\lambda=0^+}. $$

Dans ce qui suit, nous supposerons que la différentielle de Gâteaux d'ordre 1 est linéaire : il existe une fonction $f_G(\mu; x)$, $x \in \mathbb{R}$ telle que $\int_{\mathbb{R}} f_G^2(\mu; x) \sigma(dx) < \infty$, $\forall \sigma \in \mathcal{P}(\mathbb{R})$ telle que

$$ d_1^G U (\mu; \nu - \mu) = \int_{\mathbb{R}} f_G (\mu; x) (\nu(dx) - \mu(dx)). \quad (1.5) $$
Ainsi, grâce à la différentielle de Gâteaux, Von Mises a introduit le développement de Taylor de
$\lambda \mapsto U(\mu + \lambda(\mu_N - \mu))$, $0 \le \lambda \le 1$ en $\lambda = 0$ (sous les hypothèses pour lesquelles un développement
de Taylor est valable, voir [2] p. 96). Si le premier terme non nul dans le développement de Taylor
est le terme linéaire, alors on a

$$
\sqrt{N} (U(\mu_N) - U(\mu)) = \sqrt{N} d_1^G U(\mu; \mu_N - \mu) + \sqrt{N} R_{1,N}
$$

où $R_{1,N} = \frac{1}{2} \frac{d^2}{d\lambda^2} U(\mu + \lambda(\mu_N - \mu)) \big|_{\lambda=\lambda^*}$ pour $0 \le \lambda^* \le 1$. La stratégie de Von Mises consistait à prouver que le reste tend vers zéro en probabilité en vérifiant que

$$
\sqrt{N} \sup_{0 \le \lambda \le 1} \left| \frac{d^2}{d\lambda^2} U(\mu + \lambda(\mu_N - \mu)) \right| \xrightarrow{P} 0
$$

et en observant que, grâce à (1.5), $d_1^G U(\mu; \mu_N - \mu)$ peut être écrit comme une moyenne de variables
aléatoires i.i.d. auxquelles s'applique le Théorème de la Limite Centrale classique.

En résumé, la principale difficulté technique était de prouver que le reste dans le développement de Taylor tend vers zéro. Un inconvénient de cette méthode est qu'elle implique un ordre de différenciation plus élevé que nécessaire. Nous renvoyons au Chapitre 6 de [56] pour plus de détails.

En dimension $d=1$, Boos et Serfling [8] ont supposé l'existence d'une différentielle pour $U(\cdot)$ en $\mu$ dans un sens plus fort que la différentielle de Gâteaux.

Soit $\mathcal{D} := \{\pi : \pi = c(\mu - \nu), c \in \mathbb{R}, \mu, \nu \in \mathcal{P}(\mathbb{R})\}$ équipé d'une norme $\|\cdot\|$. La fonctionnelle $U$ définie sur $\mathcal{P}(\mathbb{R})$ est dite avoir une différentielle en $\mu$ par rapport à $\|\cdot\|$ si il existe une fonctionnelle $d_1^N U(\mu; \pi)$

* définie sur $\pi \in \mathcal{D}$ et linéaire en $\pi$, c'est-à-dire $d_1^N U(\mu; \sum_{i=1}^k a_i \pi_i) = \sum_{i=1}^k a_i d_1^N U(\mu; \pi_i)$ pour $a_1, \dots, a_k \in \mathbb{R}$ et $\pi_1, \dots, \pi_k \in \mathcal{D}$

• telle que

$$
U(\mu) - U(\nu) - d_1^N U(\mu; \nu - \mu) = o(\|\nu - \mu\|) \quad (1.6)
$$

quand $\|\nu - \mu\| \to 0$.

Remarquons que dans le cas des espaces de Banach, $d_1^N U(\mu; \pi)$ est appelée dérivée de Fréchet. Boos et Serfling supposent, comme c'est généralement le cas dans la plupart de la littérature et comme cela a été fait dans le cas de la différentielle de Gâteaux, que

$$
d_1^N U(\mu; \pi) = \int_{\mathbb{R}} f_N(\mu; x) \pi(dx)
$$

pour une certaine fonction $f_N(\mu; \cdot)$ telle que $\int_{\mathbb{R}} f_N^2(\mu; x) \sigma(dx) < \infty, \forall \sigma \in \mathcal{P}(\mathbb{R})$.

Si $U$ admet une telle différentielle par rapport à la distance de Kolmogorov-Smirnov, on a

$$
\sqrt{N} (U(\mu) - U(\mu_N)) = \frac{1}{\sqrt{N}} \sum_{i=1}^{N} d_{1}^{N} U(\mu; \delta_{X_i} - \mu) + \sqrt{N} o \left( \left\| \frac{1}{N} \sum_{i=1}^{N} 1_{\{X_i \le \cdot\}} - \mu(-\infty, \cdot] \right\|_{\infty} \right).
$$

La convergence en loi de $\frac{1}{\sqrt{N}} \sum_{i=1}^{N} d_1^N U(\mu; \delta_{X_i} - \mu)$ découle de l'application du Théorème de la
Limite Centrale classique.

En ce qui concerne le reste, Boos et Serfling ont tiré parti des propriétés connues de la distance
de Kolmogorov-Smirnov : $\sqrt{N} \left\| \frac{1}{N} \sum_{i=1}^{N} 1_{\{X_i \le \cdot\}} - \mu(-\infty, \cdot] \right\|_{\infty}$ est stochastiquement bornée. Cela
permet de prouver que le reste tend vers zéro en probabilité. Cette approche permet de contourner
un reste d'ordre supérieur, mais elle repose sur l'uniformité de l'approximation (1.6) par rapport à la distance de Kolmogorov-Smirnov qui est une hypothèse forte. De plus, il est difficile d'étendre cette approche à plusieurs dimensions.

En 1990, Dudley [21] a généralisé le travail de Boos et Serfling en considérant dans (1.6) une norme différente de celle de Kolmogorov-Smirnov et ne s'est pas limité au cas unidimensionnel. Étant donné $\mathcal{F}$ une famille de fonctions mesurables sur $\mathbb{R}^d$ telles que $\int_{\mathbb{R}^d} |f(x)| \sigma(dx) < \infty, \forall f \in \mathcal{F}, \sigma \in \mathcal{P}(\mathbb{R}^d)$, nous définissons pour une mesure signée $\tau$

$$ \|\tau\|_{\mathcal{F}} = \sup_{f \in \mathcal{F}} \left| \int_{\mathbb{R}^d} f(x) \tau(dx) \right|. $$

Remarquons que dans le cas unidimensionnel, en prenant $\mathcal{F}$ égal à l'ensemble des fonctions indicatrices $1_{(-\infty,t]}$, $t \in \mathbb{R}$, $\|\cdot\|_{\mathcal{F}}$ coincide avec la distance de Kolmogorov-Smirnov. Ainsi, Dudley a prouvé que si $\mathcal{F}$ est telle qu'un Théorème de la Limite Centrale pour les mesures empiriques a lieu avec une convergence uniforme sur $\mathcal{F}$ et que $U$ est différentiable en $\mu$ par rapport à $\|\cdot\|_{\mathcal{F}}$, alors $\sqrt{N}(U(\mu) - U(\mu_N))$ converge en distribution vers une variable aléatoire gaussienne. Évidemment, il y a un équilibre entre la convergence uniforme sur $\mathcal{F}$ et la différentiabilité de $U$. En effet plus la classe $\mathcal{F}$ est grande, plus la norme $\|\cdot\|_{\mathcal{F}}$ est grossière et donc la différentiabilité par rapport à $\|\cdot\|_{\mathcal{F}}$ devient plus simple, tandis que la convergence uniforme sur $\mathcal{F}$ devient plus forte.

Récemment, Jourdain et Tse [36] ont réexaminé le même problème. L'outil principal est la dérivée fonctionnelle linéaire de $U$ que nous allons maintenant brièvement présenter, ainsi que la notion de distance de Wasserstein.

## La distance de Wasserstein et la dérivée fonctionnelle linéaire

Soit $U : \mathcal{P}_{\ell}(\mathbb{R}^d) \to \mathbb{R}$ où, pour $\ell \ge 0$, nous notons par $\mathcal{P}_{\ell}(\mathbb{R}^d)$ l'ensemble des mesures de probabilité $m$ sur $\mathbb{R}^d$ telles que $\int_{\mathbb{R}^d} |x|^{\ell} m(dx) < \infty$. Pour $\ell > 0$, nous considérons la distance de Wasserstein d'ordre $\ell$ définie pour $\mu_1, \mu_2 \in \mathcal{P}_{\ell}(\mathbb{R}^d)$ par

$$ W_{\ell}(\mu_1, \mu_2) = \inf \left\{ \left( \int_{\mathbb{R}^{2d}} |x-y|^{\ell} \rho(dx, dy) \right)^{\frac{1}{\ell+1}} : \rho \in \mathcal{P}(\mathbb{R}^{2d}) \text{ avec } \rho(\cdot \times \mathbb{R}^d) = \mu_1(\cdot), \rho(\mathbb{R}^d \times \cdot) = \mu_2(\cdot) \right\}. $$

Si $\mu \in \mathcal{P}_{\ell}(\mathbb{R}^d)$ et $(\mu_n)_{n \in \mathbb{N}}$ est une suite dans cet espace, alors $\lim_{n \to \infty} W_{\ell}(\mu_n, \mu) = 0$ si et seulement si $\lim_{n \to \infty} \int_{\mathbb{R}^d} |x|^{\ell} \mu_n(dx) = \int_{\mathbb{R}^d} |x|^{\ell} \mu(dx)$ et $\mu_n$ converge faiblement vers $\mu$ lorsque $n \to \infty$, où nous écrivons $\mu_n \rightharpoonup \mu$ pour indiquer la convergence faible. Alternativement, $\lim_{n \to \infty} W_{\ell}(\mu_n, \mu) = 0$ si et seulement si, pour toute fonction $\phi : \mathbb{R}^d \to \mathbb{R}$ continue presque partout par rapport à $\mu$ et telle que $\sup_{x \in \mathbb{R}^d} \frac{|\phi(x)|}{1+|x|^{\ell}} < \infty$,

$$ \lim_{n \to \infty} \int_{\mathbb{R}^d} \phi(x) \mu_n(dx) = \int_{\mathbb{R}^d} \phi(x) \mu(dx). \qquad (1.7) $$

Pour $\ell = 0$ et $\mu_1, \mu_2 \in \mathcal{P}_0(\mathbb{R}^d)$, nous considérons

$$ W_0(\mu_1, \mu_2) = \inf \left\{ \int_{\mathbb{R}^{2d}} (1 \wedge |x-y|) \rho(dx, dy) : \rho \in \mathcal{P}(\mathbb{R}^{2d}) \text{ avec } \rho(\cdot \times \mathbb{R}^d) = \mu_1(\cdot), \rho(\mathbb{R}^d \times \cdot) = \mu_2(\cdot) \right\}. $$

Remarquons que la topologie de la convergence faible est induite par $W_0$.

Rappelons maintenant la notion de dérivée fonctionnelle linéaire (d'ordre un) associée à $U$. Pour une description plus détaillée, y compris la définition de la dérivée fonctionnelle linéaire d'ordre supérieur, voir [11].
**Definition 1.** Soit $\ell \ge 0$. Une fonction $U : \mathcal{P}_\ell(\mathbb{R}^d) \to \mathbb{R}$ admet une dérivée fonctionnelle linéaire en $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$ s'il existe une fonction mesurable $\mathbb{R}^d \ni y \mapsto \frac{\delta U}{\delta m}(\mu, y)$ telle que $\sup_{y \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(\mu, y)|}{1+|y|^\ell} < \infty$ et

$$ \forall \nu \in \mathcal{P}_\ell(\mathbb{R}^d), \frac{d}{d\epsilon}|_{\epsilon=0+} U(\mu + \epsilon(\nu - \mu)) = \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, y)(\nu - \mu)(dy). $$

Puisque $(\nu - \mu)(\mathbb{R}^d) = 0$, $\frac{\delta U}{\delta m}$ est défini à une constante additive près. Nous observons que la dérivée fonctionnelle linéaire est une dérivée de Gâteaux qui est linéaire par définition. Le lemme suivant permet d'exprimer une différence finie de la fonction $U$ sous forme d'une intégrale de la dérivée fonctionnelle linéaire.

**Lemma 1.** Soit $\ell \ge 0$, $m, m' \in \mathcal{P}_\ell(\mathbb{R}^d)$ et supposons que la dérivée fonctionnelle linéaire d'une fonction $U : \mathcal{P}_\ell(\mathbb{R}^d) \to \mathbb{R}$ existe dans le segment $(m_s := sm' + (1-s)m)_{s \in [0,1]}$.

Alors si $\sup_{(s,y) \in [0,1] \times \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(m_s, y)|}{1+|y|^\ell} < \infty$, on a

$$ U(m') - U(m) = \int_{0}^{1} \int_{\mathbb{R}^{d}} \frac{\delta U}{\delta m}((1-s)m + sm', y)(m' - m)(dy)ds. $$

Jourdain and Tse supposent que la dérivée fonctionnelle linéaire de $U$ existe non seulement en $\mu$, mais aussi sur une boule pour la distance de Wasserstein de rayon strictement positif contenant $\mu$. Il s'agit d'une petite restriction, car lorsque un Théorème de la Limite Centrale s'applique à une fonction statistique, il n'est généralement pas limité à la seule valeur de la distribution commune $\mu$ des échantillons. Grâce au Lemme 1, ils linéarisent $\sqrt{N}(U(\mu_N) - U(\mu))$ et obtiennent la somme du terme suivant

$$ \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, X_i \right) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, x \right) \mu(dx) \right) \quad (1.8) $$

et d'un reste. Une telle décomposition permet d'appliquer à la somme ci-dessus le Théorème de la Limite Centrale pour les tableaux de martingale (voir Section 1.1.3) et d'étudier les conditions suffisantes pour que le reste converge en probabilité vers zéro. En conclusion, le résultat principal de [36] est le suivant:

**Theorem 3.** Soit $\ell \ge 0$ et soit $X_i, i \ge 1$ une suite de variables aléatoires i.i.d. à valeurs dans $\mathbb{R}^d$ de loi $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$. Supposons les hypothèses suivantes concernant la régularité de la dérivée fonctionnelle $U$ dans un voisinage de $\mu$:

1. il existe $r > 0$ tel que $U$ admette une dérivée fonctionnelle linéaire sur la boule $B(\mu, r)$ centrée en $\mu$ avec un rayon $r$ pour la métrique $W_\ell$

2. il existe $C < \infty$ tel que $\forall (\tilde{\mu}, x) \in B(\mu, r) \times \mathbb{R}^d$, $\left|\frac{\delta U}{\delta m}(\tilde{\mu}, x)\right| \le C(1 + |x|^\ell)$

3. $\sup_{x \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(\tilde{\mu}, x) - \frac{\delta U}{\delta m}(\mu, x)|}{1 + |x|^{\frac{\ell}{2}}} \converge vers 0$ lorsque $W_\ell(\tilde{\mu}, \mu)$ tend vers 0

4. il existe $\alpha \in (\frac{1}{2}, 1]$ et $C < \infty$ tel que $\forall \mu_1, \mu_2 \in B(\mu, r), \forall x \in \mathbb{R}^d$ $\left|\frac{\delta U}{\delta m}(\mu_2, x) - \frac{\delta U}{\delta m}(\mu_1, x)\right| \le C \left( (1 + |x|^\ell)(d_{TV}(\mu_1, \mu_2))^\alpha + (1 + |x|^{\ell(1-\alpha)}) \left( \int_{\mathbb{R}^d} |y|^\ell |\mu_2 - \mu_1|(dy) \right)^\alpha \right)$

où $|\cdot|$ représente la variation totale d'une mesure signée. Alors, la convergence en loi suivante a lieu:

$$ \sqrt{N} \left( U \left( \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i} \right) - U(\mu) \right) \stackrel{d}{\Longrightarrow} \mathcal{N} \left( 0, \mathrm{Var} \left( \frac{\delta U}{\delta m} (\mu, X_1) \right) \right). $$
1.1.5 Théorème de la Limite Centrale pour les chaînes de Markov

Considérons $(X_i)_{i \ge 1}$ une chaîne de Markov avec une distribution initiale $\nu_1$ et un noyau de transition $P$ sur $(\mathbb{R}^d, \mathcal{B}(\mathbb{R}^d))$. Étant donnée une fonction mesurable $V : \mathbb{R}^d \to [1, \infty)$, nous pouvons introduire l'espace normé suivant

$$
\mathcal{V}_V := \left\{ \phi : \mathbb{R}^d \to \mathbb{R} \text{ mesurable} : \sup_{x \in \mathbb{R}^d} \frac{|\phi(x)|}{V(x)} < \infty \right\}
$$

équipé de la norme

$$
\|\phi\|_V = \sup_{x \in \mathbb{R}^d} \frac{|\phi(x)|}{V(x)}.
$$

Étant donné $\mu \in \mathcal{P}(\mathbb{R}^d)$ et $\phi : \mathbb{R}^d \to \mathbb{R}$ une fonction mesurable qui est soit positive, soit telle
que $\int_{\mathbb{R}^d} |\phi(x)| \mu(dx) < \infty$, nous notons $\mu(\phi) = \int_{\mathbb{R}^d} \phi(x) \mu(dx)$.

**Definition 2.** On dit qu'une chaîne de Markov $(X_i)_{i \ge 1}$ est $V$-uniformément ergodique s'il existe $\mu \in \mathcal{P}(\mathbb{R}^d)$ tel que

$$
\lim_{n \to \infty} \sup_{x \in \mathbb{R}^d} \frac{\sup_{\phi: \|\phi\|_V \le 1} |P^n \phi(x) - \mu(\phi)|}{V(x)} = 0.
$$

Rappelons quelques définitions classiques de la théorie des chaînes de Markov. En particulier les notions de chaîne de Markov $\psi$-irréductible (voir Proposition 4.2.1 [43]), de chaîne de Markov positive et de chaîne de Markov Harris récurrente.

**Definition 3.** On dit qu'une chaîne de Markov $(X_i)_{i \ge 1}$ est $\psi$-irréductible s'il existe une mesure $\psi$ sur $\mathcal{B}(\mathbb{R}^d)$ telle que pour tout $x \in \mathbb{R}^d$, chaque fois que $\psi(A) > 0$, il existe un certain $n > 0$, éventuellement dépendant à la fois de $A$ et de $x$, tel que $P^n(x, A) > 0$.

**Definition 4.** Soit $(X_i)_{i \ge 1}$ une chaîne de Markov $\psi$-irréductible. Alors

* $(X_i)_{i \ge 1}$ est appelée une chaîne de Markov positive si elle admet une mesure invariante.

* $(X_i)_{i \ge 1}$ est appelée une chaîne de Markov Harris récurrente si chaque ensemble $A \in \mathcal{B}(\mathbb{R}^d)$ tel que $\psi(A) > 0$ satisfait

$$
\mathbb{P}_{\delta_x} \left( \bigcap_{N=1}^{\infty} \bigcup_{k=N}^{\infty} \{X_k \in A\} \right) = 1, \quad x \in A.
$$

La proposition suivante montre qu'en cas de V-uniforme ergodicité, la chaîne de Markov possède
plusieurs propriétés : en particulier, elle est positive et Harris récurrente.

**Proposition 1.** Supposons que la chaîne de Markov $(X_i)_{i \ge 1}$ est $V$-uniformément ergodique avec une mesure de probabilité $\mu \in \mathcal{P}(\mathbb{R}^d)$. Alors $(X_i)_{i \ge 1}$ est une chaîne de Markov positive Harris récurrente avec une mesure de probabilité invariante unique $\mu$ et

$\mu(V) < \infty.$

De plus,

* il existe $r \in (0, 1)$, $R < \infty$ tels que pour tout $n \in \mathbb{N}$

$$
\sup_{x \in \mathbb{R}^d} \frac{\sup_{\phi: \|\phi\|_V \le 1} |P^n \phi(x) - \mu(\phi)|}{V(x)} \le Rr^n \quad (1.9)
$$
• il existe $\chi \in (0,1)$, $D < \infty$ tels que pour tout $n \in \mathbb{N}$

$$ \sup_{x \in \mathbb{R}^d} \frac{\sup_{\phi: \|\phi\|_{\sqrt{V}} \le 1} |P^n \phi(x) - \mu(\phi)|}{\sqrt{V(x)}} \le D \chi^n. \quad (1.10) $$

Nous sommes maintenant prêts à rappeler la Loi Forte des Grands Nombres et le Théorème de la Limite Centrale pour les chaînes de Markov sous la V-uniforme ergodicité. Commençons par la Loi Forte des Grands Nombres (une démonstration est fournie dans le Théorème 17.1.7 [43] sous l'hypothèse que la chaîne de Markov est positive Harris récurrente).

**Theorem 4.** *Supposons que la chaîne de Markov $(X_i)_{i \ge 1}$ est V-uniformément ergodique, et soit $\mu$ sa mesure de probabilité invariante. Alors, pour chaque fonction $f : \mathbb{R}^d \to \mathbb{R}$ mesurable telle que $\mu(|f|) < \infty$,*

$$ \forall \nu_1 \in \mathcal{P}(\mathbb{R}^d) \quad \mathbb{P}_{\nu_1} \left( \frac{1}{N} \sum_{k=1}^{N} f(X_k) \xrightarrow{N \to \infty} \mu(f) \right) = 1. $$

Puisque, selon la Proposition 1, $\mu(V) < \infty$, alors

$$ \sup_{x \in \mathbb{R}^d} \frac{|f(x)|}{V(x)} < \infty $$

est une condition suffisante pour garantir que $\mu(|f|) < \infty$.

Avant de formuler le Théorème de la Limite Centrale pour les chaînes de Markov, nous introduisons l'équation de Poisson. Soit $f$ une fonction telle que $\mu(|f|) < \infty$ où $\mu$, comme précédemment, désigne la mesure de probabilité invariante associée à $P$. Une fonction $F : \mathbb{R}^d \to \mathbb{R}$ mesurable telle que, pour chaque $x \in \mathbb{R}^d$ et chaque $n \ge 0$, $P|F|(x) < \infty$ est appelée solution de l'équation de Poisson si elle satisfait

$$ \forall x \in \mathbb{R}^d, \quad F(x) - PF(x) = f(x) - \mu(f). \quad (1.11) $$

Si la chaîne de Markov $(X_i)_{i \ge 1}$ est V-uniformément ergodique, alors, grâce à (1.9), la série de terme général $(P^n f - \mu(f))_{n \in \mathbb{N}}$ converge dans l'espace $\mathcal{V}_V$ équipé de la norme $\|\cdot\|_V$ et

$$ F = \sum_{n \in \mathbb{N}} (P^n f - \mu(f)) $$

est une solution de l'équation de Poisson (1.11). De plus, toute solution peut être écrite comme $c + \sum_{n \in \mathbb{N}} (P^n f - \mu(f))$ pour une constante $c \in \mathbb{R}$.
En conséquence de (1.10), la proposition suivante est vérifiée.

**Proposition 2.** *Supposons que la chaîne de Markov $(X_i)_{i \ge 1}$ est V-uniformément ergodique, et soit $\mu$ sa mesure de probabilité invariante. Alors si $f$ est tel que $f^2 \in \mathcal{V}_V$, $F = \sum_{n \in \mathbb{N}} (P^n f - \mu(f))$ converge dans $\|\cdot\|_{\sqrt{V}}$. $F$ est une solution de l'équation de Poisson (1.11) et satisfait $F^2 \in \mathcal{V}_V$. De plus, pour chaque $n \in \mathbb{N}$*

$$ \sup_{x \in \mathbb{R}^d} \frac{|P^n f(x) - \mu(f)|}{\sqrt{V(x)}} \le D \chi^n \sup_{x \in \mathbb{R}^d} \frac{|f(x)|}{\sqrt{V(x)}} $$

avec $\chi \in (0,1)$ et $D$ une constante finie.

Nous sommes maintenant en mesure d'énoncer le Théorème de la Limite Centrale pour les chaînes de Markov sous la V-uniforme ergodicité (voir Théorème 17.5.4 [43]).
**Theorem 5.** Supposons que la chaîne de Markov $(X_i)_{i \ge 1}$ est $V$-uniformément ergodique, et soit $\mu$ sa mesure de probabilité invariante. Alors, pour chaque fonction $f : \mathbb{R}^d \to \mathbb{R}$ mesurable telle que $f^2 \in \mathcal{V}_V$,

$$ \sqrt{N} \left( \frac{1}{N} \sum_{i=1}^{N} f(X_i) - \int_{\mathbb{R}^d} f(x) \mu(dx) \right) \stackrel{d}{\Longrightarrow} \mathcal{N} (0, \mu(F^2) - \mu((PF)^2)) $$

où $F$ est une solution de l'équation de Poisson

$$ F(x) - PF(x) = f(x) - \mu(f) \quad x \in \mathbb{R}^d. $$

### 1.1.6 Théorème de la Limite Centrale pour les systèmes de particules en interaction avec mécanisme d'échantillonnage

Les filtres particulaires, également connu sous le nom de méthodes de Monte Carlo séquentielles (voir le Chapitre 4 de [10] et [15] pour une introduction générale), sont des techniques puissantes pour estimer l'état évolutif d'un système au fil du temps, même lorsque l'état ne peut pas être directement observé mais peut seulement être déduit à partir de mesures ou observations bruitées. Ces méthodes numériques sont devenues très populaires pour la résolution de problèmes d'estimation optimale dans des scénarios non linéaires et non gaussiens. Elle sont utilisées dans des applications en temps réel dans des domaines tels que le génie chimique, la vision par ordinateur, l'économétrie financière, la poursuite de cibles, la robotique et les statistiques (voir entre autres [51] et [20]). L'utilisation des méthodes de Monte Carlo pour les problèmes de filtrage non linéaires remonte à Handschin [32] et Mayne [33]. Ils ont introduit une version séquentielle de la méthode d'échantillonnage préférentiel (voir [22], [52] comme références pour l'échantillonnage préférentiel) et l'algorithme correspondant est connu sous le nom d'échantillonnage préférentiel séquentiel, souvent abrégé SIS en anglais. Un inconvénient de ce dernier a été identifié par Gordon et al. dans [29] : à mesure que le nombre d'itérations augmente, les poids ont tendance à dégénérer (un phénomène généralement connu sous le nom de « dégénérescence des poids »). Cela signifie qu'après un certain nombre d'itérations, certains poids ont tendance à devenir très petits, de sorte que les positions correspondantes ne contribuent plus à l'estimation. Ainsi, Gordon et al. ont introduit l'étape d'rééchantillonnage où, dans le but de stabiliser l'erreur de Monte Carlo au fil du temps, l'idée clé est d'éliminer les particules ayant des poids faibles et de répliquer les particules ayant des poids élevés. Par conséquent, en propageant M particules à travers des étapes de pondération, d'échantillonnage et de mutation (chaque particule évolue de manière aléatoire selon un noyau de transition donné), les systèmes de particules en interaction peuvent être utilisés pour estimer numériquement l'état du système en fonction des observations (voir également [20], [15]).

Nous présentons maintenant une version du problème de filtrage non linéaire et l'algorithme correspondant des systèmes de particules en interaction qui alternent les sélections selon le mécanisme d'échantillonnage et les mutations selon les noyaux de Markov (voir [20]). Le signal d'état $(Z_n)_{n \ge 0}$ est une chaîne de Markov à valeurs dans $\mathbb{R}^d$. Pour toute fonction mesurable bornée $h : \mathbb{R}^d \to \mathbb{R}$, $E(h(Z_n) | \sigma(Z_0, \dots, Z_{n-1})) = \int_{\mathbb{R}^d} h(x)P_n(Z_{n-1}, dx)$ pour un noyau de transition $P_n$ pouvant dépendre de $n$. Nous notons la loi de $Z_0$ par $\eta$. La suite d'observations $(T_n)_{n \ge 0}$ prend la forme

$$ T_n = h(Z_n, W_n), \quad n \ge 1 $$

pour une fonction mesurable $h$ où $(W_n)_{n \ge 0}$ est une suite de vecteurs aléatoires à valeurs dans $\mathbb{R}^d$ i.i.d indépendants de $(Z_n)_{n \ge 0}$. De plus, supposons que pour tout $x \in \mathbb{R}^d$ et pour tout $n \ge 0$, $h(x, W_n)$ admet une densité strictement positive et bornée $y \mapsto \bar{g}_n(x, y)$ par rapport à la mesure
de Lebesgue sur $\mathbb{R}^d$. Le problème de filtrage non linéaire consiste à calculer pour chaque $n \ge 0$ et chaque fonction mesurable $f$

$$ \eta_{n,T}(f) = \mathbb{E} \left( f(Z_n) \mid \sigma \left( (T_i)_{1 \le i \le n-1} \right) \right) \quad (1.12) $$

avec la convention que $\eta_{0,T}$ est la loi de $Z_0$. Les observations sont considérées comme fixes, c'est-à-dire $T_n = t_n$, $n \in \mathbb{N}$, et pour simplifier la notation, nous écrivons $\eta_n$ au lieu de $\eta_{n,T}$. Soit $M \ge 1$. Le but est de concevoir une approche de système de particules en interaction pour le calcul numérique de la distribution $\eta_n$, c'est-à-dire d'approximer $\eta_n$ par une suite de mesures empiriques

$$ \eta_n^M = \frac{1}{M} \sum_{i=1}^{M} \delta_{X_n^{M,i}} \quad (1.13) $$

associées aux vecteurs aléatoires $(X_n^{M,1}, \dots, X_n^{M,M})$ à valeurs dans $(\mathbb{R}^d)^M$. Pour ce faire, l'idée principale est de dériver une formulation récursive pour $\eta_n$ de la forme

$$ \eta_n = \phi_n(\eta_{n-1}), \quad n \ge 1 \quad (1.14) $$

pour des applications continues $\phi_n : \mathcal{P}(\mathbb{R}^d) \to \mathcal{P}(\mathbb{R}^d)$ où $\mathcal{P}(\mathbb{R}^d)$ définit l'ensemble de toutes les mesures de probabilité sur $\mathbb{R}^d$. L'équation (1.14) permettra de définir la suite de vecteurs aléatoires $(X_n^{M,1}, \dots, X_n^{M,M})_{n \ge 0}$ prenant des valeurs dans $(\mathbb{R}^d)^M$ comme une chaîne de Markov avec une distribution initiale $\hat{\eta}_0(dx_1, \dots, dx_p) = \prod_{p=1}^M \eta(dx_p)$ et des probabilités de transition $\tilde{P}_n$ données par $\tilde{P}_n(z,dx) = \prod_{p=1}^M \phi_n(m(z))(dx_p)$ avec $m(z) = \frac{1}{M} \sum_{i=1}^M \delta_{z_i}$. L'idée derrière cela est que si $\eta_{n-1}^M$ est une bonne approximation de $\eta_{n-1}$, alors la mesure empirique associée à $M$ variables aléatoires conditionnellement indépendantes distribuées selon $\phi_n(\eta_{n-1}^M)$, conformément à (1.14), devrait être une bonne approximation de $\eta_{n-1}$. En rappelant que les observations $T_n = t_n$ sont fixes, nous pouvons définir

$$ g_n(x) = \bar{g}_n(x, t_n) $$

et il est possible de démontrer (voir Section 3.2 dans [20]) que la suite des applications $(\phi_n)_{n \ge 1}$ dans (1.14) est donnée par

$$ \psi_n(\eta)(f) = \frac{\eta(fg_n)}{\eta(g_n)}, \quad n \ge 0 $$

$$ \phi_n(\eta)(f) = \psi_{n-1}(\eta) P_n f, \quad n \ge 1. $$

Selon l'expression ci-dessus, chaque étape de $p$ à $p+1$ de l'algorithme des filtres particulaires peut être divisée en deux parties : une partie de sélection et une partie de mutation

$$ (X_p^{M,i})_{1 \le i \le M} \xrightarrow{\text{sélection}} (Y_{p+1}^{M,i})_{1 \le i \le M} \xrightarrow{\text{mutation}} (X_{p+1}^{M,i})_{1 \le i \le M} $$

que nous allons maintenant décrire. Tout d'abord, les variables $(X_0^{M,i})_{1 \le i \le M}$ sont tirées indépendamment selon la loi initiale $\eta$. Par convention, $Y_0^{M,i} = X_0^{M,i}$ pour $i = 1, \dots, M$. Ensuite, par induction sur $0 \le p \le n-1$, on a

**Sélection** : Après avoir calculé les poids comme

$$ w_p^{M,j} = g_p(X_p^{M,j}) / \sum_{i=1}^{M} g_p(X_p^{M,i}), $$
effectuons un échantillonnage pour obtenir les nouvelles variables aléatoires $(Y_{p+1}^{M,i})_{1\le i\le M}$ conditionnellement indépendantes étant donné $\sigma((X_s^{M,i}, Y_s^{M,i})_{1\le i\le M, 0\le s\le p})$ et vérifiant la propriété de sélection

$$ \mathbb{E} \left( \frac{1}{M} \sum_{m=1}^{M} \delta_{Y_{p+1}^{M,m}} \mid \sigma((X_s^{M,i}, Y_s^{M,i})_{1\le i\le M, 0\le s\le p}) \right) = \sum_{m=1}^{M} w_p^{M,m} \delta_{X_p^{M,m}}. \quad (1.15) $$

Après avoir décrit la deuxième étape, nous revisiterons plusieurs approches d'échantillonnage vérifiant (1.15).

**Mutation** : étant donné $\sigma((X_s^{M,i})_{1\le i\le M, 0\le s\le p}, (Y_s^{M,i})_{1\le i\le M, 0\le s\le p+1})$, les variables aléatoires $X_{p+1}^{M,i}, 1\le i\le M$ sont générées conditionnellement indépendantes et distribuées selon la mesure de probabilité $P_{p+1}(Y_{p+1}^{M,i}, \cdot)$.

La mesure approximée est définie comme dans (1.13). Del Moral (voir Corollaire 7.4.2 dans [47]) a prouvé qu'une Loi Forte des Grands Nombres est vérifiée.

**Theorem 6.** Soit $g_n : \mathbb{R}^d \to (0, \infty)$, $n \ge 0$ une famille de fonctions mesurables telles que $0 < \inf_{x \in \mathbb{R}^d} g_n(x) \le \sup_{x \in \mathbb{R}^d} g_n(x) < \infty$ et soit $f$ une fonction mesurable bornée. Alors, pour tout temps $n \ge 0$,

$$ \lim_{M \to \infty} \eta_n^M (f) = \eta_n (f) \quad \text{p.s.} $$

Concentrons-nous désormais sur l'étape de sélection en introduisant différentes méthodes d'échantillonnage vérifiant la propriété de sélection (1.15). Étant donné une suite de vecteurs aléatoires $(X_m)_{1\le m\le M}$ à valeurs dans $\mathbb{R}^d$ avec des poids aléatoires associés $(w_m^M)_{1\le m\le M}$ tels que $w_m^M \ge 0$ et $\sum_{m=1}^M w_m^M = 1$, une méthode d'échantillonnage définit la suite rééchantillonnée $(Y_m^M)_{1\le m\le M}$ de telle manière que

$$ \mathbb{E} \left( \frac{1}{M} \sum_{m=1}^{M} \delta_{Y_m^M} \mid \mathcal{G} \right) = \sum_{m=1}^{M} w_m^M \delta_{X_m} \quad (1.16) $$

où $\mathcal{G} := \sigma((X_m, w_m^M)_{1\le m\le M})$. Les méthodes d'échantillonnage [19] permettent de remplacer la mesure de probabilité $\sum_{m=1}^M w_m^M \delta_{X_m}$ avec des poids non égaux par une mesure empirique $\frac{1}{M} \sum_{m=1}^M \delta_{Y_m^M}$ ayant la même espérance conditionnelle donnée $\mathcal{G}$. Selon la définition utilisée pour les variables aléatoires $Y_m^M$, plusieurs méthodes d'échantillonnage peuvent être considérées. Les méthodes d'échantillonnage les plus courantes sont les suivantes : multinomiale, résiduelle, stratifiée [37] et systématique [12]. Voir [19] pour une brève description de ces méthodes. L'approche la plus simple est l'échantillonnage multinomial. Introduisons le ainsi que l'échantillonnage résiduel.

## échantillonnage multinomial

Il consiste à tirer, conditionnellement à $\mathcal{G}$, les nouvelles positions $(Y_m^M)_{1\le m\le M}$ indépendamment suivant la probabilité $\sum_{j=1}^M w_j^M \delta_{X_j}$.
## échantillonnage résiduel

Le schéma d'échantillonnage résiduel consiste à choisir

$$Y_m^M = X_\ell$$

pour $\sum_{j=1}^{\ell-1} [Mw_j^M] < m \le \sum_{j=1}^{\ell} [Mw_j^M]$ (nous répliquons $[Mw_\ell^M]$ fois la valeur $X_\ell$) et, si $\sum_{j=1}^M [Mw_j^M] < M$, à tirer, conditionnellement à $\mathcal{G}$, $r = M - \sum_{j=1}^M [Mw_j^M] = \sum_{j=1}^M \{Mw_j^M\}$ variables aléatoires $Y_M^M, \dots, Y_M^M$ indépendamment suivant

$$\frac{1}{M - \sum_{j=1}^{M} [Mw_j^M]} \sum_{\ell=1}^{M} \{Mw_\ell^M\} \delta_{X_\ell}.$$

## échantillonnage stratifié

Le comportement du schéma d'échantillonnage stratifié n'est pas immédiat à comprendre en raison de la structure compliquée dans la définition des $Y_m^M$, qui, cependant, restent conditionnellement indépendantes étant donné $\mathcal{G}$. À partir de $M$ variables aléatoires $(U_m)_{1\le m\le M}$ distribuées de manière i.i.d. selon la loi uniforme sur $(0, 1)$ et indépendamment de $\mathcal{G}$, la suite $(Y_m^M)_{1\le m\le M}$ est définie comme suit

$$Y_m^M = \sum_{\ell=1}^{M} 1 \left\{ \sum_{j=1}^{\ell-1} w_j^M < \frac{m-U_m}{M} \le \sum_{j=1}^{\ell} w_j^M \right\} X_\ell \quad \text{pour } m \in \{1, \dots, M\}. \quad (1.17)$$

## échantillonnage systématique

Le comportement du schéma d'échantillonnage systématique est encore plus compliqué à comprendre car les $Y_m^M$ ne sont plus conditionnellement indépendantes étant donné $\mathcal{G}$. Dans la formule précédente, nous prenons les variables $U_m$ toutes égales à une seule variable $U$ distribuée de manière uniforme sur $(0, 1)$.

Les schémas d'échantillonnage ont été largement étudiés dans la littérature. Nous présen-
tons maintenant une sélection des résultats obtenus. Le comportement asymptotique du schéma
d'échantillonnage multinomial a été largement étudié dans [47]. Nous résumerons le résultat à la fin
de cette section. Douc et al. dans [19] ont montré que l'échantillonnage résiduel et l'échantillonnage
stratifié améliorent l'échantillonnage multinomial dans le sens où ils ont une variance conditionnelle
plus faible par rapport à $\mathcal{G}$. Ils ont également prouvé, au moyen d'un contre-exemple, que cette pro-
priété ne s'applique pas au échantillonnage systématique. De plus, ils ont établi un Théorème de la
Limite Centrale pour le schéma d'échantillonnage résiduel (ce qui est également présenté à la fin de
cette section), suggérant qu'un résultat similaire devrait être obtenu pour le schéma d'échantillon-
nage stratifié. L'une des dernières contributions concernant les schémas d'échantillonnage est donnée
par Gerber et al. [28]. En utilisant la notion d'association négative pour les variables aléatoires [35],
ils ont d'abord fourni un résultat général de convergence pour les schémas d'échantillonnage. Une
application de ce théorème donne la convergence faible presque sûre de $\frac{1}{M} \sum_{m=1}^{M} \delta_{Y_m^M}$ dans la méthode
d'échantillonnage stratifié. De plus, ils ont fourni un contre-exemple de convergence faible presque
sûre pour la méthode d'échantillonnage systématique. Plus récemment, Chopin et al. [16] ont
étudié les schémas d'échantillonnage pour les filtres particulaires avec des observations faiblement informatives. Les preuves empiriques indiquent que lorsque les poids utilisés dans l'échantillonnage présentent une grande variabilité, le choix de la stratégie d'échantillonnage tend à avoir un impact faible. Cependant, dans les cas où les poids sont proches d'être uniformes, les différences de performance entre les différentes méthodes d'échantillonnage peuvent être importantes. En gardant M fixe, ils ont examiné le comportement asymptotique des schémas d'échantillonnage à mesure que les poids deviennent de moins en moins informatifs. Une telle situation se présente naturellement en considérant des discrétisations du modèle de Feynman-Kac en temps continu. Ils ont introduit une condition générale pour les schémas d'échantillonnage garantissant qu'une limite en temps continu a lieu et ils ont introduit des versions modifiées du échantillonnage stratifié et systématique qui satisfont à cette condition. Voir également [41], [23], [38], [14] pour des références supplémentaires.

## Théorème de la Limite Centrale pour le mécanisme de sélection multinomial

Del Moral [47] a étudié le comportement asymptotique des systèmes de particules en interaction lorsque la méthode d'échantillonnage multinomial est utilisée. Rappelons que la mesure $\eta_n^M$ est définie dans (1.13). Il a fourni un Théorème de la Limite Centrale pour la différence entre la mesure empirique des particules $\eta_n^M$ et la mesure limite correspondante $\eta_n$ (voir Section 9.4.2 [47]). La preuve repose sur des techniques de martingale et de semi-groupe.

**Theorem 7.** Soit $g_n : \mathbb{R}^d \to (0, \infty)$, $n \ge 0$, une famille de fonctions mesurables telle que $0 < \inf_{x \in \mathbb{R}^d} g_n(x) \le \sup_{x \in \mathbb{R}^d} g_n(x) < \infty$, et soit $f : \mathbb{R}^d \to \mathbb{R}$ une fonction bornée mesurable. Alors, il existe $\mu \in \mathbb{R}$ et $\sigma_n^2 > 0$ tels que lorsque $M \to \infty$, la convergence en loi suivante a lieu

$$ \sqrt{M} (\eta_n^M(f) - \eta_n(f)) \stackrel{d}{\Longrightarrow} \mathcal{N}(\mu, \sigma_n^2). $$

## Théorème de la Limite Centrale pour le mécanisme de sélection résiduelle

Douc et al. [19] ont étudié le comportement asymptotique des systèmes de particules en interaction lorsque la méthode d'échantillonnage résiduelle est utilisée. Ils ont tout d'abord adapté deux résultats donnés au Chapitre 9 [10] sous des hypothèses plus générales. On a les résultats suivants.

**Theorem 8.** Soit $f$ une fonction bornée mesurable. Supposons que $(X_n^{M,i})_{1 \le i \le M}$ satisfait les hypothèses suivantes :

A. lorsque $M \to \infty$, il existe une densité de probabilité $\nu_n$ telle que

$$ \frac{1}{M} \sum_{i=1}^{M} f(X_n^{M,i}) \stackrel{P}{\longrightarrow} \int_{\mathbb{R}^d} f(x) \nu_n(x) dx $$

et, en notant $\sigma^2(f)$ la variance asymptotique,

$$ \sqrt{M} \left( \frac{1}{M} \sum_{i=1}^{M} f(X_n^{M,i}) - \int_{\mathbb{R}^d} f(x) \nu_n(x) dx \right) \stackrel{d}{\Longrightarrow} \mathcal{N}(0, \sigma^2(f)). $$

B. Les poids sont donnés par $w_n^{M,i} = \frac{g_n(X_n^{M,i})}{\sum_{i=1}^{M} g_n(X_n^{M,i})}$, où $g_n(x) = \frac{\mu_n(x)}{\nu_n(x)}$ pour une densité de probabilité

$\mu_n$. De plus, $g_n$ est bornée par le dessus.
Si les $Y_{n+1}^{M,i}$ sont conditionnellement indépendants étant donné $\mathcal{G}^n := \sigma \left( \left(Y_s^{M,i}, X_s^{M,i}\right)_{1\le i\le M, 0\le s\le n} \right)$
et s'il existe un nombre réel $\kappa(f) < \infty$ tel que

$$
\mathrm{Var} \left( \frac{1}{\sqrt{M}} \sum_{i=1}^{M} f \left( Y_{n+1}^{M,i} \right) | \mathcal{G}^n \right) \xrightarrow{P} \kappa(f), \quad M \to \infty, \qquad (1.18)
$$

alors $(Y_{n+1}^{M,i})_{1\le i\le M}$ satisfait

$$
\frac{1}{M} \sum_{i=1}^{M} f \left( Y_{n+1}^{M,i} \right) \xrightarrow{P} \int_{\mathbb{R}^d} f(x) \mu_n(x) dx
$$

et

$$
\sqrt{M} \left( \frac{1}{M} \sum_{i=1}^{M} f(Y_{n+1}^{M,i}) - \int_{\mathbb{R}^d} f(x) \mu_n(x) dx \right) \stackrel{d}{\Longrightarrow} \mathcal{N}(0, \tilde{\sigma}^2(f))
$$

avec variance asymptotique

$$
\tilde{\sigma}^2(f) = \kappa(f) + \sigma^2 \left( \frac{\mu_n}{\nu_n} \left( f - \int_{\mathbb{R}^d} f(x) \mu_n(x) dx \right) \right).
$$

**Theorem 9.** Soit f une fonction bornée mesurable. Supposons l'existence d'une densité de proba-
bilité $\mu_n$ telle que

$$
\frac{1}{M} \sum_{i=1}^{M} f \left( Y_{n+1}^{M,i} \right) \xrightarrow{P} \int_{\mathbb{R}^d} f(x) \mu_n(x) dx
$$

et, en notant $\tilde{\sigma}^2(f)$ la variance asymptotique,

$$
\sqrt{M} \left( \frac{1}{M} \sum_{i=1}^{M} f(Y_{n+1}^{M,i}) - \int_{\mathbb{R}^d} f(x) \mu_n(x) dx \right) \stackrel{d}{\Longrightarrow} \mathcal{N}(0, \tilde{\sigma}^2(f)).
$$

Alors, $(X_{n+1}^{M,i})_{1\le i\le M}$ satisfait

$$
\frac{1}{M} \sum_{i=1}^{M} f \left( X_{n+1}^{M,i} \right) \xrightarrow{P} \int_{\mathbb{R}^d} f(x) \int_{\mathbb{R}^d} P_{n+1}(y, dx) \mu_n(y) dy
$$

et

$$
\sqrt{M} \left( \frac{1}{M} \sum_{i=1}^{M} f \left( X_{n+1}^{M,i} \right) - \int_{\mathbb{R}^d} f(x) \int_{\mathbb{R}^d} P_{n+1}(y, dx) \mu_n(y) dy \right) \xrightarrow{d} \mathcal{N}(0, \bar{\sigma}^2(f))
$$

avec

$$
\bar{\sigma}^2(f) = \int_{\mathbb{R}^d} \left( P_{n+1} f^2(x) - (P_{n+1} f)^2(x) \right) \mu_n(x) dx + \tilde{\sigma}^2(P_{n+1} f).
$$

Ainsi, la combinaison du Théorème **8** et du Théorème **9** fournit un Théorème de la Limite Centrale pour les filtres particulaires à chaque itération.
**Remark 10.** Remarquons que pour l'échantillonnage multinomial, il est facile de vérifier (1.18). En effet, selon la définition du schéma d'échantillonnage multinomial donnée ci-dessus, on a

$$ 
\begin{aligned}
\mathrm{Var} \left( \frac{1}{\sqrt{M}} \sum_{i=1}^{M} f(Y_{n+1}^{M,i}) |G^n\right) &= \frac{1}{M} \sum_{i=1}^{M} \mathbb{E} \left( f^2(Y_{n+1}^{M,i}) |G^n\right) - \frac{1}{M} \sum_{i=1}^{M} \mathbb{E} \left( f(Y_{n+1}^{M,i}) |G^n\right)^2 \\
&= \sum_{i=1}^{M} w_n^{M,i} f^2(X_n^{M,i}) - \left( \sum_{i=1}^{M} w_n^{M,i} f(X_n^{M,i}) \right)^2.
\end{aligned}
$$

Ainsi, en supposant que $0 < \inf_{x \in \mathbb{R}^d} g_n(x)$, le côté droit converge presque sûrement vers $\frac{\eta_n(f^2 g_n)}{\eta_n(g_n)} - \left(\frac{\eta_n(fg_n)}{\eta_n(g_n)}\right)^2$ d'après le Théorème 6.

Dans le Corollaire 5 [19], Douc et al. ont montré que l'échantillonnage résiduel vérifie également (1.18) et donc, sous les hypothèses A et B, il satisfait un Théorème de la Limite Centrale selon le Théorème 8.

À notre connaissance, le Théorème de la Limite Centrale n'a été démontré que pour l'échantillonnage multinomial et l'échantillonnage résiduel.

## 1.2 Convergence des sommes de variables aléatoires modulo 1 vers la distribution uniforme

Nous notons par $\lfloor x \rfloor$ l'entier $j$ tel que $j \le x < j + 1$ et par $\{x\} = x - \lfloor x \rfloor$ la partie fractionnaire de $x \in \mathbb{R}$. Soit $(Y_i)_{i \ge 1}$ une suite de variables aléatoires réelles. Le problème de la convergence en loi de la suite

$$ (V_M)_{M \ge 1} = (\{Y_1 + \dots + Y_M\})_{M \ge 1} $$

de sommes de variables aléatoires définies modulo 1 vers la distribution uniforme sur $[0, 1]$ a été étudié par de nombreux chercheurs. Dans son ouvrage Feller [24] a montré qu'une fonction de répartition sur le cercle est uniquement déterminée par ses coefficients de Fourier. En effet, l'analyse de Fourier est l'outil approprié pour traiter les problèmes concernant les sommes de variables aléatoires définies modulo 1. Nous allons maintenant fournir un cas particulier où cette convergence est immédiate, mais d'abord, rappelons le critère de Weyl. Étant donné un vecteur aléatoire réel de $\mathbb{R}^d Y$, nous notons $\phi_Y$ sa fonction caractéristique définie par $\phi_Y(u) = \mathbb{E}(e^{iu^T Y}) = \int_{\mathbb{R}^d} e^{iu^T Y} \mu_Y(dy)$, $u \in \mathbb{R}^d$.

**Theorem 11.** Soit $(B_M)_{M \ge 1}$ une suite de variables aléatoires. Alors, lorsque $M \to \infty$, la suite $(\{B_M\})_{M \ge 1}$ converge en distribution vers $U \sim \mathcal{U}(0, 1)$ si et seulement si pour tout $k \in \mathbb{Z} \setminus \{0\}$

$$ \lim_{M \to \infty} \phi_{B_M} (2k\pi) = 0. $$

Si les variables aléatoires $(Y_i)_{i \ge 1}$ sont i.i.d. telles que la loi de $Y_1$ n'est pas une variable aléatoire discrète, pour chaque $k \in \mathbb{Z} \setminus \{0\}$, on a

$$ \phi_{Y_1+\dots+Y_M} (2k\pi) = \mathbb{E} \left( e^{i2k\pi Y_1} \right)^M. $$

Il existe $\psi \ge 0, \rho \in [0, 2\pi)$ tels que $\mathbb{E}(e^{i2k\pi Y_1}) = \psi e^{i\rho}$. Par conséquent,

$$ \mathbb{E} \left( e^{i(2k\pi Y_1 - \rho)} \right) = \mathbb{E} \left( \mathfrak{Re} \left( e^{i(2k\pi Y_1 - \rho)} \right) \right) = \psi. $$
$\mathfrak{R}\mathfrak{e}(e^{i(2k\pi Y_1 - \rho)}) \le 1$ presque sûrement, et, lorsque $k \ne 0$, étant donné que $Y_1$ n'est pas une variable aléatoire discrète, $\mathbb{P}(\mathfrak{R}\mathfrak{e}(e^{i(2k\pi Y_1 - \rho)}) = 1) < 1$. Par conséquent, lorsque $k \ne 0$, $\rho < 1$ et donc $\lim_{M \to \infty} \mathbb{E}(e^{i2k\pi Y_1})^M = 0$. Ainsi, selon le critère de Weyl, $\{Y_1 + \dots + Y_M\} \stackrel{d}{\Longrightarrow} U \sim \mathcal{U}(0, 1)$.

Donnons un aperçu succinct de la littérature portant sur la dérivation de la loi de Benford et ses généralisations. En 1939, Lévy [39] a donné des conditions nécessaires et suffisantes pour cette convergence lorsque les $Y_i$ sont i.i.d. En 1986, Störmer [58] a fourni des conditions suffisantes en termes de fonctions de répartition des $Y_i$ pour que la convergence soit maintenue lorsque les $Y_i$ sont simplement indépendants. En 2007, en supposant que les $Y_i$ sont indépendantes et absolument continues, Miller et Nigrini [44] ont caractérisé la convergence de $(V_M)_{M \ge 1}$ dans $L^1([0, 1])$. En 2010, Szewczak [59] a généralisé les résultats ci-dessus en l'hypothèse d'indépendance des $Y_i$. En particulier, il a prouvé que si la valeur absolue de la fonction caractéristique de $Y_1 + \dots + Y_M$ satisfait une certaine condition de croissance et si l'ensemble $\{n \in \mathbb{N} \setminus \{0\} : |\mathbb{E}(e^{2\pi i n Y_1})| = 1\}$ est vide, alors $(V_M)_{M \ge 1}$ converge en loi vers une variable aléatoire uniforme sur $[0, 1]$.

Nous présentons maintenant formellement la loi de Benford. La loi de Benford en base $b > 1$ est la mesure de probabilité $\mu_b$ sur l'intervalle $[1, b)$ définie par

$$ \mu_b([1, a)) = \log_b a, \quad \forall a \in [1, b). $$

La mantisse en base $b$ d'un nombre réel positif $x$ est le nombre unique $M_b(x)$ dans $[1, b)$ tel que $x = M_b(x) \times b^{\lfloor \log_b(x) \rfloor}$.

Une suite de nombres positifs $a_n$, $n \ge 1$ satisfait la loi de Benford en base $b$ si $\forall a \in [1, b)$

$$ \lim_{M \to \infty} \frac{\#\{n \le M : 1 \le \mathcal{M}_b(a_n) \le a\}}{M} = \log_b(a). $$

Ainsi, si nous fixons $b = 10$, la probabilité que le premier chiffre soit $a$ est $\log_{10}(a+1) - \log_{10}(a) = \log_{10}(1 + \frac{1}{a})$. Les chiffres plus petits comme 1, 2, et 3 apparaissent plus fréquemment en tant que premier chiffre, tandis que les chiffres plus grands comme 8 et 9 surviennent moins fréquemment. Le premier à avoir observé ce phénomène statistique était Newcomb dans les années 1880. Il a re-marqué que les pages dans les tables logarithmiques correspondant à des nombres commençant par 1 étaient significativement plus usées que les pages correspondant à des nombres avec un premier chiffre plus élevé. Depuis lors, de nombreux systèmes divers ont été démontrés pour satisfaire à la loi de Benford (voir [5], [48]). Cette loi trouve des applications dans divers domaines, notamment la comptabilité légale, la détection de fraudes, l'analyse de données et le contrôle qualité. De nos jours, elle est particulièrement utile pour identifier des irrégularités ou des anomalies dans les ensembles de données, car des écarts par rapport à la distribution attendue peuvent indiquer une manipulation ou des erreurs dans les données.

Nous nous intéressons au problème de la distribution des premiers chiffres des produits de variables aléatoires (voir par exemple [18]). Étant donnée une suite de variables aléatoires positives $(X_i)_{i \ge 1}$, de nombreux chercheurs ([54], [9], [55], [40]) se sont intéressés à l'étude de la convergence faible lorsque $M \to \infty$ de la loi de $\mathcal{M}_b\left(\prod_{i=1}^{M} X_i\right)$ vers $\mu_b$. Comme $\log_b \mathcal{M}_b(x) = \{\log_b(x)\}$ pour chaque nombre réel positif $x$, on a

$$ \log_b \mathcal{M}_b \left( \prod_{i=1}^{M} X_i \right) = \left\{ \sum_{i=1}^{M} \log_b (X_i) \right\}, $$

et donc la convergence faible de la loi de $\mathcal{M}_b\left(\prod_{i=1}^{M} X_i\right)$ vers $\mu_b$ est équivalente à la convergence en loi des sommes partielles modulo 1 des variables aléatoires $(\log_b (X_i))_{i \ge 1}$ en raison de la continuité
de $[1, b) \ni z \mapsto \log_b(z)$ et de son inverse.

## 1.3 Contributions de la thèse

Cette section rassemble les résultats principaux obtenus pendant la thèse.

### 1.3.1 Théorème de la Limite Centrale pour les fonctionnelles non linéaires des mesures empiriques : au-delà du cadre i.i.d. (voir Chapitre 2)

Notre objectif est de généraliser ce qui a été fait par Jourdain et Tse [36] (voir Section 1.1.4, Théorème 3). Nous relaxons d'abord l'hypothèse d'équidistribution en considérant une suite de variables aléatoires indépendantes $X_i$ à valeurs dans $\mathbb{R}^d$ avec des lois $\nu_i \in \mathcal{P}_\ell(\mathbb{R}^d), i \ge 1$. Comme les variables ne sont plus équidistribuées, nous supposons que

$$ \bar{\nu}_N = \mathbb{E}(\mu_N) = \frac{1}{N} \sum_{i=1}^{N} \nu_i $$

converge vers une limite $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$ pour la distance de Wasserstein d'ordre $\ell$. En outre, en supposant que

$$ \textbf{TX} \text{ il existe } \beta \in (0,1) \text{ tel que } \sum_{i=1}^{\infty} \frac{1}{i} \mathbb{E} \left( \left( |X_i|^\ell - i^\beta \right) 1_{\{|X_i|^\ell > i^\beta\}} \right) < \infty, $$

ce qui n'est autre que le deuxième point de la condition SRCI ($\beta$) appliquée à $f(x) = |x|^\ell$ (voir Section 1.1.2), il est possible de prouver que, en utilisant le résultat de Wellner [60], $\mu_N = \frac{1}{N} \sum_{i=1}^N \delta_{X_i}$ converge également vers $\mu$ pour la distance de Wasserstein d'ordre $\ell$. Étant donné $U : \mathcal{P}_\ell(\mathbb{R}^d) \to \mathbb{R}$, nous considérons la décomposition suivante

$$ \sqrt{N} (U(\mu_N) - U(\mu)) = \sqrt{N} (U(\mu_N) - U(\bar{\nu}_N)) + \sqrt{N} (U(\bar{\nu}_N) - U(\mu)). $$

Nous fournissons des conditions suffisantes pour que le second terme du côté droit de l'égalité converge vers une constante lorsque $N \to \infty$. Nous appliquons ensuite l'approche de Jourdain-Tse pour étudier le premier terme. En particulier, grâce au Lemme 1, ce premier terme s'écrit comme un reste plus

$$ \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{1}{N} \sum_{j=i}^{N} \nu_j, X_i \right) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{1}{N} \sum_{j=i}^{N} \nu_j, x \right) \nu_i(dx) \right). $$

Nous fournissons des conditions suffisantes pour que le reste converge en probabilité vers zéro, et nous appliquons à la somme au-dessus le Théorème de la Limite Centrale pour les tableaux de martingale (voir Section 1.1.3). En appliquant ce dernier, en particulier nous devons vérifier la "condition du crochet". Nous sommes alors confrontés au problème de comprendre la convergence de

$$ \frac{1}{N} \sum_{i=1}^{N} \int_{\mathbb{R}^d \times \mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \frac{\delta U}{\delta m}(\mu, y) \nu_i(dx) \nu_i(dy). $$

C'est pourquoi, pour obtenir le Théorème de la Limite Centrale, nous devons supposer la convergence lorsque $N \to \infty$ de $\frac{1}{N} \sum_{i=1}^N \nu_i(dx) \nu_i(dy)$ vers une mesure de probabilité limite $\eta$ sur $\mathbb{R}^d \times \mathbb{R}^d$
dont les lois marginales sont égales à $\mu$.

Pour $\ell \ge 0$, soit $M_\ell(\mathbb{R}^d)$ l'espace des mesures signées $\tau$ sur $\mathbb{R}^d$ telles que $\int_{\mathbb{R}^d} |x|^\ell |\tau|(dx) < \infty$. Pour chaque $\tau \in M_\ell(\mathbb{R}^d)$, nous définissons la norme $\|\tau\|_\ell := \sup_{f:|f(x)|\le 1+|x|^\ell} \int_{\mathbb{R}^d} f(x)\tau(dx)$. En conclusion, nous prouvons le théorème suivant.

**Theorem 12.** Soit $\ell \ge 0$ et soit $X_i$, $i \ge 1$ une suite de variables aléatoires indépendantes à valeurs dans $\mathbb{R}^d$ de loi $\nu_i \in \mathcal{P}_\ell(\mathbb{R}^d)$. Supposons **TX** et les hypothèses **1-4** du Théorème **3** sur la régularité de la dérivée fonctionnelle U. De plus, supposons que

* $W_\ell \left( \frac{1}{N} \sum_{i=1}^N \nu_i(dx)\nu_i(dy), \eta(dx, dy) \right) \underset{N \to \infty}{\longrightarrow} 0$ pour une mesure $\eta \in \mathcal{P}_\ell(\mathbb{R}^d \times \mathbb{R}^d)$ avec $\mu(\cdot) = \eta(\mathbb{R}^d, \cdot) = \eta(\cdot, \mathbb{R}^d)$

* $\|\sqrt{N}(\bar{\nu}_N - \mu) - \sigma\|_\ell \underset{N \to \infty}{\longrightarrow} 0$ pour une mesure $\sigma$ dans $M_\ell(\mathbb{R}^d)$.

Alors, la convergence en loi suivante est vérifiée

$$ \sqrt{N} (U(\mu_N) - U(\mu)) \stackrel{d}{\Longrightarrow} \mathcal{N} \left( \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \sigma(dx), \int_{\mathbb{R}^d} \left( \frac{\delta U}{\delta m}(\mu, x) \right)^2 \mu(dx) - \int_{\mathbb{R}^d \times \mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \frac{\delta U}{\delta m}(\mu, y) \eta(dx, dy) \right). $$

Dans un deuxième temps, nous relâchons également l'hypothèse d'indépendance en supposant que la suite de vecteurs aléatoires $(X_i)_{i \ge 1}$ est une chaîne de Markov à valeurs dans $\mathbb{R}^d$ avec une distribution initiale $\nu_1$ et un noyau de transition $P$ sur $(\mathbb{R}^d, \mathcal{B}(\mathbb{R}^d))$. De plus, nous supposons que la chaîne de Markov est $V$-uniformément ergodique (voir Section 1.1.5) et nous notons $\mu$ son unique mesure de probabilité invariante. Comme dans (1.8), nous linéarisons à nouveau $\sqrt{N}(U(\mu_N) - U(\mu))$ en la somme de

$$ \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, X_i \right) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, x \right) \mu(dx) \right) \quad (1.19) $$

et un reste qui tend vers zéro en probabilité lorsque $M \to \infty$. Afin d'appliquer le Théorème Central Limite pour les tableaux de martingale, nous introduisons pour $m \in B(\mu, r)$ (la boule pour la métrique $W_\ell$ où $U$ admet une dérivée fonctionnelle linéaire) l'équation de Poisson suivante

$$ F(m, x) - PF(m, x) = \frac{\delta U}{\delta m}(m, x) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(m, y) \mu(dy), \quad x \in \mathbb{R}^d. \quad (1.20) $$

Sous les hypothèses qu'il existe $C < \infty$ tel que $\forall x \in \mathbb{R}^d$, $\left| \frac{\delta U}{\delta m}(m, x) \right| \le C \left( 1 + |x|^{\frac{\ell}{2}} \right)$ et

$$ \mathbf{L3} \quad C_\ell := \sup_{x \in \mathbb{R}^d} \frac{|x|^\ell}{V(x)} < \infty, $$

selon la Proposition 2, (1.20) admet une solution donnée par $F(m, \cdot) = \sum_{n \in \mathbb{N}} (P^n \frac{\delta U}{\delta m}(m, \cdot) - \mu(\frac{\delta U}{\delta m}(m, \cdot)))$. Par conséquent, nous pouvons réécrire (1.19) comme

$$ \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( F \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, X_i \right) - PF \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, X_{i-1} \right) \right) $$
à laquelle nous appliquons le Théorème de la Limite Centrale pour les tableaux de martingale, plus un reste qui converge vers 0 en probabilité. Afin d'appliquer le Théorème de la Limite Centrale pour les tableaux de martingale, nous devons vérifier que la somme ci-dessus est de carré intégrable et satisfait la condition de Lindeberg. Pour ce faire, nous avons besoin de la propriété d'intégrabilité de la fonction V par rapport à la distribution initiale $\nu_1$. Pour être en mesure de couvrir toute choix de la distribution initiale de la chaîne de Markov, nous prouvons qu'il est possible de relaxer cette hypothèse.

En conclusion, nous démontrons le théorème suivant.

**Theorem 13.** Soit $\ell \ge 0$ et soit $X_i$, $i \ge 1$ une chaîne de Markov avec une loi initiale $\nu_1$ et un noyau de transition P. Nous supposons que $(X_i)_{i \ge 1}$ est V-uniformément ergodique avec V satisfaisant à L3. Soit $\mu$ son unique mesure de probabilité invariante. De plus, supposons les hypothèses 1-3 du Théorème 3 concernant la régularité de la dérivée fonctionnelle U et que

$$ \bullet \quad \exists \alpha \in (\frac{1}{2}, 1], \exists C < \infty, \forall \mu_1, \mu_2 \in B(\mu, r) $$

$$ \sup_{x \in \mathbb{R}^d} \frac{\left| \frac{\delta U}{\delta m}(\mu_2, x) - \frac{\delta U}{\delta m}(\mu_1, x) \right|}{1 + |x|^{\frac{\ell}{2}}} \le C \left( \int_{\mathbb{R}^d} (1 + |y|^{\frac{\ell}{2\alpha}}) |\mu_2 - \mu_1|(dy) \right)^{\alpha}. $$

Alors

$$ \sqrt{N}(U(\mu_N) - U(\mu)) \stackrel{d}{\Rightarrow} \mathcal{N}\left(0, \mu(F^2(\mu, \cdot)) - \mu\left((PF)^2(\mu, \cdot)\right)\right) $$

où $F(\mu, \cdot)$ désigne l'unique solution (à une constante additive près) de l'équation de Poisson

$$ F(\mu, x) - PF(\mu, x) = \frac{\delta U}{\delta m}(\mu, x) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, y) \mu(dy), \quad x \in \mathbb{R}^d. $$

### 1.3.2 Convergence vers la loi uniforme des vecteurs de sommes partielles modulo 1 avec un facteur commun (voir Chapitre 3)

Étant donné $(Y_i)_{i \ge 1}$ une suite de variables aléatoires réelles de carré intégrables i.i.d. et une fonction réelle mesurable $\phi$, nous donnons des conditions suffisantes pour la convergence en loi vers la loi uniforme sur $[0, 1]$ de

$$ \left\{ \phi \left( \frac{1}{M} \sum_{i=1}^{\beta_M} Y_i \right) (Y_1 + \cdots + Y_M) \right\}, \qquad (1.21) $$

pour $(\beta_M)_{M \ge 1} \subseteq \mathbb{N}^*$ tels que $\lim_{M \to \infty} \sqrt{M} \left( \frac{\beta_M}{M} - \beta \right) = 0$ avec $\beta > 1$. Notons que cela généralise le cas d'une fonction constante $\phi$ présentée dans la Section 1.2 et a également une application dans le contexte de la loi de Benford. L'introduction d'une fonction $\phi$ non constante dans notre travail permet de traiter le choix d'une mantisse dépendant des données, par exemple donnée par $\hat{b}_M = e^{\frac{1}{\beta M} \sum_{i=1}^{\beta_M} \ln(X_i)}$. En effet,

$$ \log_{\hat{b}_M} \mathcal{M}_{\hat{b}_M} \left( \prod_{i=1}^{M} X_i \right) = \left\{ \phi \left( \frac{1}{M} \sum_{i=1}^{\beta_M} \ln(X_i) \right) \sum_{i=1}^{M} \ln(X_i) \right\} \quad \text{où } \phi(x) = \frac{1}{\beta x}. $$

Cependant, l'étude de la convergence de (1.21) est principalement motivée par la dérivation d'un Théorème de la Limite Centrale pour le mécanisme d'échantillonnage stratifié que nous allons décrire en détail dans la Section 1.3.3, où la motivation pour étudier (1.21) sera explicite.
La principale difficulté dans l'étude de la convergence de (1.21) vient du couplage entre les variables introduit par le facteur commun $\phi(\frac{1}{M} \sum_{i=1}^{\beta_M} Y_i)$. L'étude de la convergence conjointe de plusieurs sommes partielles modulo 1 avec un facteur commun et une composante supplémentaire satisfaisant un Théorème de la Limite Centrale n'ajoute pas de difficultés significatives supplémentaires. Par conséquent, nous considérons directement la convergence en loi de

$$ \left( \left( \left\{ \phi \left( \frac{1}{M} \sum_{m=1}^{\beta_M^{q+1}} Y_m \right) (Y_1 + \cdots + Y_{\beta_M^i}) \right\} \right)_{1 \le i \le q} , \sqrt{M} \left( \phi \left( \frac{1}{M} \sum_{m=1}^{\beta_M^{q+1}} Y_m \right) \frac{1}{M} \sum_{i=1}^{\beta_M^{q+1}} Z_i - \theta \right) \right) \quad (1.22) $$

où

* $(\beta_M^1, \dots, \beta_M^{q+1})_{M \ge 1} \subseteq \mathbb{N}^{q+1}$ tels que $\lim_{M \to \infty} \sqrt{M} \left( \frac{\beta_M^i}{M} - \beta^i \right) = 0$ avec $0 < \beta^1 < \dots < \beta^{q+1}$

* $(Z_i)_{i \ge 1}$ est une suite de variables aléatoires réelles telle que $((Y_i, Z_i))_{i \ge 1}$ est une suite de variables aléatoires de carré intégrables i.i.d.

* la dernière composante où $\theta$ est une constante (typiquement égale à $\beta^{q+1}\phi(\beta^{q+1}\mathbb{E}(Y_1))\mathbb{E}(Z_1)$) converge en distribution vers $T$ lorsque $M \to \infty$.

Dans ce qui suit, nous posons $m_Y = \mathbb{E}(Y_1)$ et $m_Z = \mathbb{E}(Z_1)$. Notre résultat principal est le suivant.

**Theorem 14.** Soit $(Y_i, Z_i)_{i \ge 1}$ une suite de vecteurs aléatoires de carré intégrable i.i.d. à valeurs dans $\mathbb{R}^2$ tels que la loi de $Y_i$ a une composante absolument continue. De plus, soit $\phi: \mathbb{R} \to \mathbb{R}$ une fonction mesurable différentiable en $\beta^{q+1}m_Y$ telle que $\phi(\beta^{q+1}m_Y) \ne 0$. S'il existe $\tilde{M} \in \mathbb{N}$ tel que

$$ \int_{\mathbb{R}} \frac{1}{|\phi(\beta^{q+1}m_Y + y)|^{q+1}} e^{-\tilde{M}y^2} dy < \infty, \quad (1.23) $$

alors le vecteur aléatoire (1.22) converge en loi lorsque $M \to \infty$ vers $(U, T)$ où $U$ est une variable aléatoire uniforme sur $[0, 1]^q$ indépendante de $T$.

Pour traiter le problème du couplage entre les variables, le Théorème 1 sera fondamental. De plus, pour comprendre la convergence en loi du vecteur ci-dessus, nous fournissons le critère de Weyl suivant, qui est une généralisation de celui présenté dans la Section 1.2.

**Theorem 15 (Critère de Weyl).** Soit $(B_M)_{M \ge 1}$ une suite de vecteurs aléatoires à valeurs dans $\mathbb{R}^q$ et soit $(H_M)_{M \ge 1}$ une suite de vecteurs aléatoires à valeurs dans $\mathbb{R}^{q'}$ qui converge en loi vers un vecteur aléatoire $H$ à valeurs dans $\mathbb{R}^{q'}$. Alors lorsque $M \to \infty$, la suite $(\{B_M^1\}, \dots, \{B_M^q\}, H_M)$ converge en loi vers $(U, H)$ où $U$ est indépendant de $H$ et uniformément distribué sur $[0, 1]^q$ si et seulement si pour tout $k \in \mathbb{Z}^q \setminus \{0\}$ et $u \in \mathbb{R}^{q'}$

$$ \lim_{M \to \infty} \phi_{(B_M, H_M)} (2k\pi, u) = 0. \quad (1.24) $$

Décrivons brièvement les idées principales de la preuve du Théorème 14. Définissons

$$ R_M := \left( \phi \left( \frac{1}{M} \sum_{m=1}^{\beta_M^{q+1}} Y_m \right) (Y_1 + \cdots + Y_{\beta_M^1}), \dots, \phi \left( \frac{1}{M} \sum_{m=1}^{\beta_M^{q+1}} Y_m \right) (Y_{\beta_M^{q-1}+1} + \cdots + Y_{\beta_M^q}) \right) $$

$$ K_M := \sqrt{M} \left( \phi \left( \frac{1}{M} \sum_{m=1}^{\beta_M^{q+1}} Y_m \right) \frac{1}{M} \sum_{i=1}^{\beta_M^{q+1}} Z_i - \theta \right) $$

**ÉTAPE 1.** Nous commençons par prouver le théorème sous l'hypothèse renforcée que la loi de $(Y_i, Z_i)$ a une composante absolument continue.
1. Soit $\gamma = (\beta^1, \beta^2 - \beta^1, \dots, \beta^q - \beta^{q-1})$. De plus, soit

$$a_M := \frac{1}{\sqrt{M}}, \quad b_M := -m_Y \phi(\beta^{q+1} m_Y) \gamma \sqrt{M}.$$

Grâce au Théorème 1, nous “réécrivons asymptotiquement” le vecteur $(a_M R_M + b_M, K_M)$ en termes d'un vecteur aléatoire normal $T_M$ :

$$\lim_{M \to \infty} d_{TV} (\mu_{a_M R_M + b_M}, \mu_{T_M}) = 0.$$

2. Soit $\mu_{T_M} = \mu_{T_M, c} + \mu_{T_M, s}$ la décomposition de $\mu_{T_M}$ en une partie $\mu_{T_M, c}$ absolument continue par rapport à la mesure de Lebesgue et une partie singulière $\mu_{T_M, s}$. Soit $p_{T_M}$ une densité de $\mu_{T_M, c}$ par rapport à la mesure de Lebesgue. Nous vérifions que

$$\liminf_{M \to \infty} p_{T_M}(x) \ge p(x) \text{ d.s.}$$

où $p$ désigne la densité de $Y \sim \mathcal{N}(0, \Gamma)$, $\Gamma \in \mathbb{R}^{(q+1) \times (q+1)}$ définie positive. Cela implique que

$$\lim_{M \to \infty} d_{TV} (\mu_{(a_M R_M + b_M, K_M)}, \mu_Y) = 0. \qquad (1.25)$$

3. Avec le lemme de Riemann-Lebesgue, (1.25) implique que $\forall (u_1, u_2) \in \{\mathbb{R}^q \setminus \{0\}\} \times \mathbb{R}$

$$\lim_{M \to \infty} \phi_{(R_M, K_M)} (u_1, u_2) = 0.$$

Puisque cela équivaut au fait que $\forall (u_1, u_2) \in \{\mathbb{R}^q \setminus \{0\}\} \times \mathbb{R}$

$$\lim_{M \to \infty} \phi \left( \left( \left( \phi \left( \left( \frac{1}{M} \sum_{m=1}^{\beta^q+1} Y_m \right) (Y_1 + \dots + Y_{\beta^q M}) \right) \right)_{1 \le i \le q}, K_M \right) (u_1, u_2) = 0,$$

le Théorème 15 permet de conclure la preuve.

**ÉTAPE 2.** Nous prouvons le théorème sous l'hypothèse que $(Y_i, Z_i)$ est telle que la loi de $Y_i$ a une composante absolument continue :

1. Soit $(\xi_i)_{i \ge 1}$ une suite de variables aléatoires réelles de carré intégrables i.i.d. à moyenne nulle, absolument continues et indépendantes de $(Y_i, Z_i)_{i \ge 1}$. Pour $n \ge 1$, nous considérons la suite de vecteurs aléatoires i.i.d. de carré intégrables $(Y_i, Z_i + \frac{\xi_i}{n})_{i \ge 1}$.

2. Nous montrons que la loi de $(Y_i, Z_i + \frac{\xi_i}{n})$ a une composante absolument continue et nous appliquons l'ÉTAPE 1 à la suite $(Y_i, Z_i + \frac{\xi_i}{n})_{i \ge 1}$ pour chaque $n$.

3. Nous déduisons le théorème pour la suite $(Y_i, Z_i)$.

### 1.3.3 Théorème de la Limite Centrale pour le mécanisme d'échantillonnage stratifié (voir Chapitre 4)

#### Première partie

Nous nous concentrons maintenant sur le schéma d'échantillonnage stratifié introduit dans la Section 1.1.6 pour les poids $w_m^M = g(X_m) / \sum_{\ell=1}^M g(X_\ell)$ où $g$ est une fonction mesurable strictement positive.
Notre objectif est d'étudier le comportement asymptotique de la méthode lorsque le nombre de particules $M$ tend vers l'infini. Étant donné $f$ une fonction mesurable bornée réelle et sous l'hypothèse que les $X_i$ sont i.i.d. de telle sorte que la loi de $g(X_i)$ a une composante absolument continue, nous explicitons la limite de $\text{Var} \left( \frac{1}{\sqrt{M}} \sum_{m=1}^{M} f(Y_m^M) \right)$ et prouvons que $\frac{1}{\sqrt{M}} \sum_{m=1}^{M} \left( f(Y_m^M) - \frac{\mathbb{E}(f(X_1)g(X_1))}{\mathbb{E}(g(X_1))} \right)$ converge en loi vers une variable aléatoire gaussienne centrée dont la variance est égale à la limite. Décrivons brièvement les principales idées dans l'étude respectivement de la variance asymptotique et du Théorème de la Limite Centrale afin que le lien avec la section précédente soit clair.

## Variance asymptotique : principales idées

Nous rappelons qu'à partir de $M$ variables aléatoires $(U_m)_{1\le m\le M}$ i.i.d. distribuées selon la loi uniforme sur $(0,1)$ et indépendantes de $(X_m)_{1\le m\le M}$, la suite $(Y_m^M)_{1\le m\le M}$ est définie comme suit

$$Y_m^M = \sum_{i=1}^{M} 1_{\{\bar{S}_{i-1}^M < m - U_m \le \bar{S}_i^M\}} X_i \quad \text{pour } m \in \{1, \dots, M\} \text{ avec } \bar{S}_j^M = M \sum_{m=1}^{j} w_m^M,$$

avec la convention $\bar{S}_0^M = 0$. Pour $f: \mathbb{R}^d \to \mathbb{R}$ mesurable, nous avons

$$\mathbb{E}(f(Y_m^M) | \mathcal{F}) = \sum_{i=1}^{M} f(X_i) \int_{m-1}^{m} 1_{\{\bar{S}_{i-1}^M < u \le \bar{S}_i^M\}} du \quad (1.26)$$

où $\mathcal{F} = \sigma((X_m)_{1\le m\le M})$. De plus, la propriété suivante, commune à tous les schémas d'échantillonnage, est vérifiée

$$\mathbb{E} \left( \frac{1}{M} \sum_{m=1}^{M} \delta_{Y_m^M} \mid \mathcal{F} \right) = \sum_{m=1}^{M} w_m^M \delta_{X_m}. \quad (1.27)$$

En utilisant une décomposition standard de la variance et l'indépendance conditionnelle de $(Y_m^M)_{1\le m\le M}$ donnée $\mathcal{F}$, nous obtenons

$$\begin{align*}
& \text{Var} \left( \frac{1}{\sqrt{M}} \sum_{m=1}^{M} f(Y_m^M) \right) \\
&= \text{Var} \left( \mathbb{E} \left( \frac{1}{\sqrt{M}} \sum_{m=1}^{M} f(Y_m^M) \mid \mathcal{F} \right) \right) + \mathbb{E} \left( \text{Var} \left( \frac{1}{\sqrt{M}} \sum_{m=1}^{M} f(Y_m^M) \mid \mathcal{F} \right) \right) \\
&= \text{Var} \left( \sqrt{M} \frac{\sum_{m=1}^{M} g(X_m) f(X_m)}{\sum_{m=1}^{M} g(X_m)} \right) + \mathbb{E} \left( \frac{\sum_{m=1}^{M} g(X_m) f^2(X_m)}{\sum_{m=1}^{M} g(X_m)} \right) - \mathbb{E} \left( \frac{1}{M} \sum_{m=1}^{M} \mathbb{E} \left( f(Y_m^M) \mid \mathcal{F} \right)^2 \right). \tag{1.28}
\end{align*}$$

Étant donné que le comportement asymptotique lorsque $M \to \infty$ des deux premiers termes de la dernière ligne peut être analysé à l'aide d'arguments standard, nous nous concentrons sur le troisième terme. En utilisant (1.26) et $\bar{S}_M^M = M$, nous obtenons que $\sum_{m=1}^M \mathbb{E}(f(\xi_m^M) | \mathcal{F})^2$ est égal à

$$\sum_{k=0}^{M-1} (1+1_{\{k \ge 1\}}) \sum_{i=1}^{M-k} f(X_i) f(X_{i+k}) \sum_{m \ge \lceil \bar{S}_{i-1}^M \rceil+1} \int_{m-1}^{m} 1_{\{\bar{S}_{i-1}^M < u \le \bar{S}_i^M\}} du \int_{m-1}^{m} 1_{\{\bar{S}_{i+k-1}^M < u \le \bar{S}_{i+k}^M\}} du.$$

Étant donné que $\frac{1}{M} \sum_{i=1}^{M} \gamma_i = \int_0^1 \gamma_{[\alpha M]} d\alpha$, nous en déduisons que $\frac{1}{M} \sum_{m=1}^{M} \mathbb{E}(f(\xi_m^M) | \mathcal{F})^2$ est égal à la somme sur $k \in \mathbb{N}$ de
$$ (1 + 1_{\{k \ge 1\}}) \int_0^1 1_{\{\lceil \alpha M \rceil \le M-k\}} f(X_{\lceil \alpha M \rceil}) f(X_{\lceil \alpha M \rceil + k}) \psi_k \left( \left\{ \bar{S}_{\lceil \alpha M \rceil - 1}^M \right\}, \frac{Mg(X_{\lceil \alpha M \rceil})}{\sum_{m=1}^M g(X_m)}, \dots, \frac{Mg(X_{\lceil \alpha M \rceil + k})}{\sum_{m=1}^M g(X_m)} \right) d\alpha $$
où

$$ \psi_k(u_0, w_1, \dots, w_{k+1}) = \sum_{m \ge 1} \int_{m-1}^{m} 1_{\{u_0 < u \le u_0 + w_1\}} du \int_{m-1}^{m} 1 \left\{ u_0 + \sum_{\ell=1}^{k} w_{\ell} < u \le u_0 + \sum_{\ell=1}^{k+1} w_{\ell} \right\} du. $$

C'est pourquoi, afin de calculer la variance asymptotique de $\frac{1}{\sqrt{M}} \sum_{m=1}^{M} f(Y_m^M)$, il est très utile de comprendre le comportement lorsque $M \to \infty$ de

$$ \{ \bar{S}_{\lceil \alpha M \rceil - 1}^M \} $$

qui est égal au premier composant de (1.22) lorsque $q = 1$, $Y_i = g(X_i)$, $\phi(x) = \frac{1}{x}$, $\beta_M^1 = \lceil \alpha M \rceil - 1$ et $\beta_M^2 = M$.

## Théorème de la Limite Centrale : principales idées

En ce qui concerne le Théorème de la Limite Centrale, la fonction caractéristique de

$$ \frac{1}{\sqrt{M}} \sum_{m=1}^{M} \left( f(Y_m^M) - \frac{\mathbb{E}(f(X_1) g(X_1))}{\mathbb{E}(g(X_1))} \right) $$

s'écrit pour $u \in \mathbb{R}$

$$ \mathbb{E} \left( e^{i u \sqrt{M} \left( \frac{\sum_{m=1}^{M} g(X_m) f(X_m)}{\sum_{m=1}^{M} g(X_m)} - \frac{\mathbb{E}(f(X_1) g(X_1))}{\mathbb{E}(g(X_1))} \right)} \prod_{m=1}^{M} \mathbb{E} \left( e^{\frac{i u}{\sqrt{M}} (f(Y_m^M) - \mathbb{E}(f(Y_m^M) | \mathcal{F}))} \mid \mathcal{F} \right) \right). $$

En utilisant le développement en série de Taylor de $e^{\frac{i u}{\sqrt{M}} (f(Y_m^M) - \mathbb{E}(f(Y_m^M) | \mathcal{F}))}$, on peut approximer le produit par une somme d'intégrales de fonctions de

$$ \left\{ \left\{ \bar{S}_{\lceil \alpha_1 M \rceil - 1}^M \right\}, \left\{ \bar{S}_{\lceil \alpha_2 M \rceil - 1}^M \right\}, \dots, \left\{ \bar{S}_{\lceil \alpha_q M \rceil - 1}^M \right\} \right\} $$

par rapport à $1_{\{0 < \alpha_1 < \alpha_2 < \dots < \alpha_q < 1\}} d\alpha_1 d\alpha_2 \dots d\alpha_q$. Cela relie étroitement le comportement asymptotique de la fonction caractéristique à celui des vecteurs (1.22) pour le choix de $Y_i = g(X_i)$, $\phi(x) = \frac{1}{x}$, $Z_i = g(X_i) f(X_i)$, $\beta_M^i = \lceil \alpha_i M \rceil - 1$ pour $i \in \{1, \dots, q\}$ et $\beta_M^{q+1} = M$.

## Deuxième partie

Dans cette partie du travail, nous examinons l'ensemble de l'algorithme des filtres particulaires associé au mécanisme d'échantillonnage stratifié. Voir la Section 1.1.6 pour une description de l'algorithme.

De manière similaire à ce que nous avons fait dans (1.28), nous pouvons réécrire la variance
$$ \operatorname{Var} \left( \frac{1}{\sqrt{M}} \sum_{m=1}^{M} f(Y_{n+1}^{M,m}) \right) \text{ pour } n \ge 0 \text{ de la manière suivante} $$

$$ \operatorname{Var} \left( \sqrt{M} \frac{\sum_{m=1}^{M} g_n(X_n^{M,m}) f(X_n^{M,m})}{\sum_{m=1}^{M} g_n(X_n^{M,m})} \right) + \mathbb{E} \left( \frac{\sum_{m=1}^{M} g_n(X_n^{M,m}) f^2(X_n^{M,m})}{\sum_{m=1}^{M} g_n(X_n^{M,m})} \right) \quad (1.29) $$

$$ - \mathbb{E} \left( \frac{1}{M} \sum_{m=1}^{M} \mathbb{E} \left( f(Y_{n+1}^{M,m}) \mid \mathcal{F}^n \right)^2 \right) \quad (1.30) $$
où $\mathcal{F}^n := \sigma \left( \left( X_s^{M,i}, Y_s^{M,i} \right)_{1 \le i \le M, 0 \le s \le n} \right)$. Sous une conjecture qui permet d'étudier la convergence de (1.29) et sous la conjecture que la convergence en distribution du vecteur (1.22) peut être généralisée de manière similaire aux étapes suivantes d'un algorithme des filtres particulaires où, par exemple, l'indépendance des variables n'est plus valable, nous fournissons une formule inductive pour la variance asymptotique $\lim_{M \to \infty} \text{Var} \left( \frac{1}{\sqrt{M}} \sum_{m=1}^{M} f(Y_{n+1}^{M,m}) \right)$.
<figure><img src="image_5.png" /></figure>
# Chapter 2

## Central Limit Theorem over non-linear functionals of empirical measures: beyond the iid setting

The material for this chapter has been released in [26].

The central limit theorem is, with the strong law of large numbers, one of the two fundamental limit theorems in probability theory. Benjamin Jourdain and Alvin Tse have extended to non-linear functionals of the empirical measure of independent and identically distributed random vectors the central limit theorem which is well known for linear functionals. The main tool permitting this extension is the linear functional derivative, one of the notions of derivation on the Wasserstein space of probability measures that have recently been developed. The purpose of this work is to relax first the equal distribution assumption made by Jourdain and Tse and then the independence property to be able to deal with the successive values of an ergodic Markov chain.

## Introduction

In this work we are interested in the convergence in distribution of

$$ \sqrt{N} \left( U \left( \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i} \right) - U(\mu) \right), \qquad (2.1) $$

where $U$ is a general function defined on some Wasserstein space of probability measures on $\mathbb{R}^d$ and $(X_i)_{i \ge 1}$ is a given sequence of $\mathbb{R}^d$-valued random vectors.

In the mathematical statistics literature, functionals $U(\frac{1}{N} \sum_{i=1}^{N} \delta_{X_i})$ are known as “statistical functions”. Their asymptotic distribution theory was first studied by Von Mises [45] [46], under the assumption that $(X_i)_{i \ge 1}$ is a family of independent and identically distributed real-valued random variables. Through the use of the Gâteaux differential, he introduced a Taylor expansion of $U(\frac{1}{N} \sum_{i=1}^{N} \delta_{X_i})$ around $U(\mu)$ where $\mu$ is the common distribution of the random variables. He proved that if the linear term is the first nonvanishing term in the Taylor expansion of the functional $U(.)$ at $\mu$, the limit distribution is normal (under the usual restrictions corresponding to the central limit theorem). The main technical difficulty was proving that the remainder in the Taylor expansion goes to zero. We refer to Chapter 6 of [56] for more details.

In dimension $d = 1$, Boos and Serfling [8] assumed the existence of a differential for $U(.)$ at $\mu$ in a sense stronger than the Gâteaux differential. They assumed the existence of $\frac{d}{d\epsilon}|_{\epsilon=0^+} U(\mu + \epsilon(\nu - \mu)) =$
$dU(\mu, \nu - \mu)$ at $\mu$ that is linear in $\nu - \mu$ (for $\nu$ any probability measure on the real line) and such that

$$ U \left( \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i} \right) - U(\mu) = \frac{1}{N} \sum_{i=1}^{N} dU(\mu, \delta_{X_i} - \mu) + o \left( \left\| \frac{1}{N} \sum_{i=1}^{N} 1_{\{X_i \le \cdot\}} - \mu(-\infty, \cdot] \right\|_{\infty} \right). \quad (2.2) $$

Taking the advantage of some well known stochastic properties of the Kolmogorov-Smirnov distance, in particular the boundness in probability of $(\sqrt{N} \left( \left\| \frac{1}{N} \sum_{i=1}^{N} 1_{\{X_i \le \cdot\}} - \mu(-\infty, \cdot] \right\|_{\infty} \right))_{N \ge 1}$, they conclude that $\sqrt{N} (U(\frac{1}{N} \sum_{i=1}^{N} \delta_{X_i}) - U(\mu))$ converges in distribution to a centered Gaussian random variable with asymptotic variance equal to the common variance of the independent and identically distributed random variables $dU(\mu, \delta_{X_i} - \mu)$ when they are square integrable and centered. In addition to the limitation of dimension $d=1$ in their approach, it relies on the uniformity in (2.2) of the approximation with respect to the Kolmogorov-Smirnov distance which is a strong assumption almost amounting to Fréchet differentiability of $U$ at $\mu$ for the Kolmogorov norm. When $\mu$ is a probability measure on any measurable space, Dudley [21] obtained central limit theorems for $\sqrt{N}(U(\frac{1}{N} \sum_{i=1}^{N} \delta_{X_i}) - U(\mu))$ under Fréchet differentiability of $U$ at $\mu$ with respect to $\|\nu - \mu\| := \sup_{f \in \mathcal{F}} |\int f(x)(\nu - \mu)(dx)|$. The class $\mathcal{F}$ of measurable functions is such that a central limit theorem for empirical measures holds with respect to uniform convergence over $\mathcal{F}$. Clearly the requirements on $\mathcal{F}$ impose some balance: the larger the class $\mathcal{F}$, the simpler the Fréchet differentiability becomes, but the harder the uniform convergence over $\mathcal{F}$ becomes.

Recently Jourdain and Tse [36] reconsidered the same problem under the assumption of independent and identically distributed $\mathbb{R}^d$-valued random vectors $(X_i)_{i \ge 1}$. By means of the notion of the linear functional derivative of $U$ that is a Gâteaux differential with the property that $dU(\mu, \nu - \mu) = \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, y)(\nu - \mu)(dy)$ for some measurable real valued function $\mathbb{R}^d \ni y \to \frac{\delta U}{\delta m}(\mu, y)$ with some polynomial growth assumption in $y$, they linearize $\sqrt{N} (U(\frac{1}{N} \sum_{i=1}^{N} \delta_{X_i}) - U(\mu))$ into the sum of

$$ \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, X_i \right) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, x \right) \mu(dx) \right) \quad (2.3) $$

and a remainder. Such a decomposition allows to apply to the above sum the Central Limit Theorem for arrays of martingale increments and to investigate sufficient conditions for the remainder to vanish in probability. The main result of [36] is the following convergence

$$ \sqrt{N} \left( U \left( \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i} \right) - U(\mu) \right) \stackrel{d}{\Longrightarrow} \mathcal{N} \left( 0, \mathrm{Var} \left( \frac{\delta U}{\delta m} (\mu, X_1) \right) \right). $$

They replace the uniformity leading to Fréchet differentiability required in the statistical literature, by supposing that the linear functional derivative exists not only at $\mu$ but on a Wasserstein ball with positive radius containing $\mu$. This is a mild restriction, since when a central limit theorem holds for some statistical functional, it is in general not limited to a single value of the common distribution $\mu$ of the samples.

The aim of this work is to generalize what has been done by Jourdain and Tse. We will first relax the equidistribution assumption by studying the convergence of (2.1) by assuming that the $\mathbb{R}^d$-valued random vectors $(X_i)_{i \ge 1}$ are independent and non-equidistributed. Since in our case we do not assume the equidistribution of the random variables, we need to give sufficient conditions for $\frac{1}{N} \sum_{i=1}^{N} \delta_{X_i}$ and for $\frac{1}{N} \sum_{i=1}^{N} \nu_i$ to converge to a common limit $\mu$ (for a distance that will be specified later) where $\nu_i$ denotes the law of $X_i$. We will split $\sqrt{N} (U(\frac{1}{N} \sum_{i=1}^{N} \delta_{X_i}) - U(\mu))$ into the sum

$$ \sqrt{N} \left( U \left( \frac{1}{N} \sum_{i=1}^{N} \nu_i \right) - U(\mu) \right) + \sqrt{N} \left( U \left( \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i} \right) - U \left( \frac{1}{N} \sum_{i=1}^{N} \nu_i \right) \right), \quad (2.4) $$
and we will provide sufficient conditions for the first component to converge to a constant, whose value will be specified later. To prove the convergence in distribution to a Gaussian random variable of the second component, we use the linear functional derivative to rewrite it as a remainder plus

$$ \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{1}{N} \sum_{j=i}^{N} \nu_j, X_i \right) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m} \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{1}{N} \sum_{j=i}^{N} \nu_j, x \right) \nu_i(dx) \right). $$

The increment of the bracket corresponding to the i-th term in the sum involves the square of an integral with respect to $\frac{\nu_i}{\sqrt{N}}$ or equivalently an integral with respect to $\frac{\nu_i \otimes \nu_i}{N}$. That is why, to obtain the central limit theorem, we need to assume the convergence as $N \to \infty$ of $\frac{1}{N} \sum_{i=1}^{N} \nu_i(dx)\nu_i(dy)$ to some limiting probability measure $\eta$ on $\mathbb{R}^d \times \mathbb{R}^d$ (with both marginals equal to $\mu$) and the limiting variance is expressed in terms of $\eta$. Note that for the empirical mean of independent square integrable random variables retrieved with a linear functional $U$, the normalisation in the central limit theorem is given by the square root of the variance of their sum. Its asymptotic behaviour may be far from the one of the sequence $(\sqrt{N})_{N \ge 1}$ which is the only possible choice to deal with a wide class of nonlinear functionals $U$.

The next step is to drop the independence hypothesis by assuming that the sequence of random vectors $(X_i)_{i \ge 1}$ to be a $\mathbb{R}^d$-valued Markov chain with transition kernel $P$ and unique invariant probability measure $\mu$. By using the linear functional derivative $\frac{\delta U}{\delta m}$, we again linearize $\sqrt{N} (U(\frac{1}{N} \sum_{i=1}^N \delta_{X_i}) - U(\mu))$ into the sum of (2.3) and a remainder. Under assumptions on the Markov kernel $P$ that ensure that the central limit theorem holds for linear functionals and by giving sufficient conditions for the remainder to vanish in probability as $N$ goes to infinity, we conclude that

$$ \sqrt{N} \left( U \left( \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i} \right) - U(\mu) \right) \stackrel{d}{\Rightarrow} \mathcal{N} \left( 0, \mu \left( PF^2(\mu, \cdot) \right) - \mu \left( \left( PF \right)^2(\mu, \cdot) \right) \right) $$

with $F$ solution of the Poisson equation

$$ F(\mu, x) - PF(\mu, x) = \frac{\delta U}{\delta m}(\mu, x) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, y) \mu(dy), \quad x \in \mathbb{R}^d. $$

The main contribution in the linearization of $\sqrt{N} (U(\frac{1}{N} \sum_{i=1}^N \delta_{X_i}) - U(\mu))$ is now

$$ \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( F \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, X_i \right) - PF \left( \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{N+1-i}{N} \mu, X_{i-1} \right) \right) $$

in place of (2.3). Of course, to prove that the remainder still vanishes, one needs to transfer the regularity of the functional $U$ into regularity of the solution $F(\mu, x)$ to the Poisson equation in its measure argument $\mu$. This is achieved under the V-uniform ergodicity hypothesis thanks to Lemma 4 below. To be able to cover any choice of the initial distribution of the Markov chain, we also relax using Lemma 3 below the integrability property of the function $V$ with respect to this initial distribution. This integrability property is convenient to check that the above sum is square integrable and satisfies the Lindeberg condition in order to apply the central limit theorem for martingale increments.

As far as we know, such generalizations to nonlinear functionals of non i.i.d. random vectors $X_i$ appear for the first time in the literature. Even if they are not straightforward and some additional technical difficulties appear compared to the i.i.d. setting, these difficulties may be handled thanks to the linear functional derivative. This illustrates that this notion of derivative is a versatile tool.
In the first section, we will provide the statement of the two results. Each of them will be preceded by relevant reminders useful for its understanding. Together with the independent non-equidistributed case we will recall the notions of Wasserstein distance and linear functional derivative and together with the Markov chains case we will recall definitions and general facts about Markov chains and the Poisson equation. In the second section, the proofs of the two results are given.

## 2.1 Main Results

### 2.1.1 Independent Non-Equidistributed Random Variables

Let us observe that the case of a linear functional $U$, that is $U(m) = \int_{\mathbb{R}^d} f(x)m(dx)$ with $f: \mathbb{R}^d \to \mathbb{R}$ a measurable function, has been largely studied in this context.

We recall that a sequence $(f(X_i))_{i \ge 1}$ is Strongly Residually Cesaro $\beta$-Integrable for some $\beta > 0$ (SRCI($\beta$), in short) if

$$1. \sup_{N \ge 1} \frac{1}{N} \sum_{i=1}^{N} \mathbb{E}(|f(X_i)|) < \infty$$

$$2. \sum_{i=1}^{\infty} \frac{1}{i} \mathbb{E} \left( \left( |f(X_i)| - i^{\beta} \right) 1_{\{|f(X_i)|>i^{\beta}\}} \right) < \infty.$$

Chandra and Goswami [13, Theorem 4.1] proved that if $(f(X_i))_{i \ge 1}$ is a sequence of random variables pairwise independent and verifying the condition SRCI($\beta$) for some $\beta \in (0, 1)$, then the Strong Law of Large Numbers holds:

$$\lim_{N \to \infty} \frac{\sum_{i=1}^{N} (f(X_i) - \mathbb{E}(f(X_i)))}{N} = 0 \quad \text{a.s.} \quad (2.5)$$

Moreover Lindeberg proved (see for instance [7]) that, also in this case, the Central Limit Theorem holds. More in detail, consider a sequence $(f(X_i))_{i \ge 1}$ of square-integrable independent random variables such that $\lim_{N \to \infty} \frac{\sum_{i=1}^{N} \mathrm{Var}(f(X_i))}{N} = \sigma^2$ where $\sigma^2 > 0$. If moreover the Lindeberg's condition is satisfied

$$\forall \epsilon > 0 \quad \lim_{N \to \infty} \frac{1}{N} \sum_{i=1}^{N} \mathbb{E}((f(X_i) - \mathbb{E}(f(X_i)))^2 1_{|f(X_i) - \mathbb{E}(f(X_i))| > \epsilon\sqrt{N}}) = 0,$$

then

$$\frac{\sum_{i=1}^{N} (f(X_i) - \mathbb{E}(f(X_i)))}{\sqrt{N}} \stackrel{d}{\Rightarrow} \mathcal{N}(0, \sigma^2).$$

Let us first review some concepts related to the Wasserstein distance and the linear functional derivative before presenting the statement of the Central Limit Theorem for general $U$, in the case of independent non-equidistributed random variables.

### The Wasserstein distance and the linear functional derivative

Let $U: \mathcal{P}_\ell(\mathbb{R}^d) \to \mathbb{R}$ where for $\ell \ge 0$ we denote by $\mathcal{P}_\ell(\mathbb{R}^d)$ the set of probability measures $m$ on $\mathbb{R}^d$ such that $\int_{\mathbb{R}^d} |x|^\ell m(dx) < \infty$. For $\ell > 0$, we consider the $\ell$-Wasserstein metric defined for $\mu_1, \mu_2 \in \mathcal{P}_\ell(\mathbb{R}^d)$ by

$$W_\ell(\mu_1, \mu_2) = \inf \left\{ \left( \int_{\mathbb{R}^{2d}} |x-y|^\ell \rho(dx, dy) \right)^{\frac{1}{\ell+1}} : \rho \in \mathcal{P}(\mathbb{R}^{2d}) \text{ with } \rho(\cdot \times \mathbb{R}^d) = \mu_1(\cdot), \rho(\mathbb{R}^d \times \cdot) = \mu_2(\cdot) \right\}. \quad (2.6)$$
If $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$ and $(\mu_n)_{n \in \mathbb{N}}$ is a sequence in this space, then $\lim_{n \to \infty} W_\ell(\mu_n, \mu) = 0$ if and only if $\lim_{n \to \infty} \int_{\mathbb{R}^d} |x|^\ell \mu_n(dx) = \int_{\mathbb{R}^d} |x|^\ell \mu(dx)$ and $\mu_n$ converges weakly to $\mu$ as $n \to \infty$ where we write $\mu_n \to \mu$ to denote the weak convergence. Alternatively $\lim_{n \to \infty} W_\ell(\mu_n, \mu) = 0$ if and only if $\forall \phi : \mathbb{R}^d \to \mathbb{R} \text{ continuous } \mu\text{-almost everywhere and such that } \sup_{x \in \mathbb{R}^d} \frac{|\phi(x)|}{1+|x|^\ell} < \infty$,

$$ \lim_{n \to \infty} \int_{\mathbb{R}^d} \phi(x) \mu_n(dx) = \int_{\mathbb{R}^d} \phi(x) \mu(dx). \qquad (2.7) $$

For $\ell = 0$ and $\mu_1, \mu_2 \in \mathcal{P}_0(\mathbb{R}^d)$, we consider

$$ W_0(\mu_1, \mu_2) = \inf \left\{ \int_{\mathbb{R}^{2d}} (1 \wedge |x-y|) \rho(dx, dy) : \rho \in \mathcal{P}(\mathbb{R}^{2d}) \text{ with } \rho(\cdot \times \mathbb{R}^d) = \mu_1(\cdot), \rho(\mathbb{R}^d \times \cdot) = \mu_2(\cdot) \right\}. $$

Notice that $W_0$ metricizes the topology of weak convergence. For $\ell \ge 0$ we can also consider $\mathcal{M}_\ell(\mathbb{R}^d)$, the space of the signed measures $\tau$ on $\mathbb{R}^d$ such that $\int_{\mathbb{R}^d} |x|^\ell |\tau|(dx) < \infty$ where $|\cdot|$ denotes the total variation of a signed measure. For each $\tau \in \mathcal{M}_\ell(\mathbb{R}^d)$ we will define the norm $\|\tau\|_\ell = \sup_{f:|f(x)|\le 1+|x|^\ell} \int_{\mathbb{R}^d} f(x)\tau(dx)$ where the supremum is computed over the set of the measurable functions satisfying the growth condition and it can be proved that given $\tau \in \mathcal{M}_\ell(\mathbb{R}^d)$ and $(\tau_n)_{n \in \mathbb{N}}$ a sequence in this space such that $\|\tau_n - \tau\|_\ell \to 0$, then $\|\tau_n| - |\tau|\|_\ell \to 0$.

Let us observe that in $\mathcal{P}(\mathbb{R}^d)$ the convergence with respect to $\|\cdot\|_\ell$ implies the convergence with respect to $W_\ell$. Moreover if $\ell = 0$, for $\mu_1, \mu_2 \in \mathcal{P}(\mathbb{R}^d)$ we have

$$ \begin{aligned} \|\mu_1 - \mu_2\|_0 &= \sup_{\|f\|_\infty \le 1} \left| \int_{\mathbb{R}^d} f(x)(\mu_1(dx) - \mu_2(dx)) \right| = 2d_{TV}(\mu_1, \mu_2) \\ &= 2 \sup_{A \in \mathcal{B}(\mathbb{R}^d)} |\mu_1(A) - \mu_2(A)| = |\mu_1 - \mu_2|(\mathbb{R}^d) \end{aligned} $$

where $\mathcal{B}(\mathbb{R}^d)$ denotes the Borel $\sigma$-algebra of $\mathbb{R}^d$ and $d_{TV}$ the total variation distance between $\mu_1$ and $\mu_2$. Let us now recall the notion of (first order) linear functional derivative associated to $U$. For a more detailed description, including the definition of the linear functional derivative of a superior order, see [11].

**Definition 5.** Let $\ell \ge 0$. A function $U : \mathcal{P}_\ell(\mathbb{R}^d) \to \mathbb{R}$ admits a linear functional derivative at $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$ if there exists a measurable function $\mathbb{R}^d \ni y \mapsto \frac{\delta U}{\delta m}(\mu, y)$ such that $\sup_{y \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(\mu, y)|}{1+|y|^\ell} < \infty$ and

$$ \forall \nu \in \mathcal{P}_\ell(\mathbb{R}^d), \frac{d}{d\epsilon}|_{\epsilon=0+} U(\mu + \epsilon(\nu - \mu)) = \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, y)(\nu - \mu)(dy). $$

Since $(\nu - \mu)(\mathbb{R}^d) = 0$, $\frac{\delta U}{\delta m}$ is defined up to an additive constant. The next lemma allows to express a finite difference of the function $U$ as an integral of the functional linear derivative.

**Lemma 2.** Let $\ell \ge 0$, $m, m' \in \mathcal{P}_\ell(\mathbb{R}^d)$ and suppose that the linear functional derivative of a function $U : \mathcal{P}_\ell(\mathbb{R}^d) \to \mathbb{R}$ exists in the segment $(m_s := sm' + (1-s)m)_{s \in [0,1]}$.

Then if $\sup_{(s,y) \in [0,1] \times \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(m_s, y)|}{1+|y|^\ell} < \infty$, one has

$$ U(m') - U(m) = \int_{0}^{1} \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}((1-s)m + sm', y)(m' - m)(dy)ds. \qquad (2.8) $$
## Statement of the theorem

Given a measure $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$, we will consider the following group of hypotheses about the regularity of the functional derivative $U$ (RU) in a neighborhood of $\mu$:

**RU1** there exists $r > 0$ such that $U$ admits a linear functional derivative on the ball $B(\mu, r)$ centered at $\mu$ with radius $r$ for the metric $W_\ell$

**RU2** $\exists C < \infty, \forall (\tilde{\mu}, x) \in B(\mu, r) \times \mathbb{R}^d, \left|\frac{\delta U}{\delta m}(\tilde{\mu}, x)\right| \le C(1 + |x|^\frac{\ell}{2})$

**RU3** $\sup_{x \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(\tilde{\mu}, x) - \frac{\delta U}{\delta m}(\mu, x)|}{1 + |x|^\frac{\ell}{2}}$ converges to 0 when $W_\ell(\tilde{\mu}, \mu)$ goes to 0

**RU4** $x \mapsto \frac{\delta U}{\delta m}(\mu, x)$ is continuous $\mu$-almost everywhere

**RU5** $\exists \alpha \in (\frac{1}{2}, 1], \exists C < \infty, \forall \mu_1, \mu_2 \in B(\mu, r), \forall x \in \mathbb{R}^d$

$$ \left| \frac{\delta U}{\delta m}(\mu_2, x) - \frac{\delta U}{\delta m}(\mu_1, x) \right| \le C \left( (1 + |x|^\ell) \|\mu_2 - \mu_1\|_0^\alpha + (1 + |x|^{\ell(1-\alpha)}) \left( \int_{\mathbb{R}^d} |y|^\ell |\mu_2 - \mu_1|(dy) \right)^\alpha \right). $$

Moreover we will consider the following assumption about the tails of the random vectors $(X_i)_{i \ge 1}$:

**TX** there exists $\beta \in (0, 1)$ such that $\sum_{i=1}^\infty \frac{1}{i} \mathbb{E}((|X_i|^\ell - i^\beta) 1_{\{|X_i|^\ell > i^\beta\}}) < \infty$.

Let us observe that it coincides with condition (ii) of the Strongly Residually Cesaro $\beta$-Integrability with the choice of $f(x) = x^\ell$. We are now ready to state respectively the Strong Law of Large Numbers and the Central Limit Theorem.

**Theorem 16** (LLN for independent non-equidistributed r.v.). Let $\ell \ge 0$ and let $X_i$, $i \ge 1$ be a sequence of independent random variables on $\mathbb{R}^d$ with law $\nu_i \in \mathcal{P}_\ell(\mathbb{R}^d)$ and let us define

$$ \mu_N := \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i} $$

and

$$ \bar{\nu}_N := \mathbb{E}(\mu_N) = \frac{1}{N} \sum_{i=1}^{N} \nu_i. $$

Let us assume **TX** and the existence of $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$ such that $\lim_{N \to \infty} W_\ell(\bar{\nu}_N, \mu) = 0$. Then

$$ W_\ell(\mu_N, \mu) \underset{N}{\to} 0 \quad \text{a.s.} $$

*Proof.* Thanks to the existence of $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$ such that $\lim_{N \to \infty} W_\ell(\bar{\nu}_N, \mu) = 0$, by the characterization of the Wasserstein convergence, one has $\bar{\nu}_N \to \mu$ and so by Wellner paper [60] $\mu_N \to \mu$ a.s.. If $\ell = 0$ the proof is completed, let us therefore suppose that $\ell > 0$ and let us check the convergence of the $\ell$-th moment. Since the $|X_i|^\ell$'s are independent, Assumption **TX** holds and $\sup_{N \ge 1} \frac{1}{N} \sum_{i=1}^N \mathbb{E}(|X_i|^\ell) = \sup_{N \ge 1} \int_{\mathbb{R}^d} |x|^\ell \bar{\nu}_N(dx) < \infty$ (using again the characterisation of the Wasserstein convergence), we can apply (2.5) and obtain that
$$
\begin{aligned}
& \int_{\mathbb{R}^d} |x|^\ell \mu_N(dx) - \int_{\mathbb{R}^d} |x|^\ell \bar{\nu}_N(dx) \\
& = \frac{|X_1|^\ell + \dots + |X_N|^\ell - (\mathbb{E}(|X_1|^\ell) + \dots + \mathbb{E}(|X_N|^\ell))}{N} \underset{N \to \infty}{\longrightarrow} 0 \quad \text{a.s.}
\end{aligned}
$$

Therefore

$$
\begin{aligned}
& \lim_{N \to \infty} \int_{\mathbb{R}^d} |x|^\ell \mu_N(dx) - \int_{\mathbb{R}^d} |x|^\ell \mu(dx) \\
& = \lim_{N \to \infty} \int_{\mathbb{R}^d} |x|^\ell \mu_N(dx) - \int_{\mathbb{R}^d} |x|^\ell \bar{\nu}_N(dx) + \int_{\mathbb{R}^d} |x|^\ell \bar{\nu}_N(dx) - \int_{\mathbb{R}^d} |x|^\ell \mu(dx) = 0 \quad \text{a.s.}
\end{aligned}
$$

□

**Theorem 17 (CLT for independent non-equidistributed r.v.).** *Using the same notations of Theorem 16, let us assume that*

1. $W_\ell \left( \frac{1}{N} \sum_{i=1}^N \nu_i(dx)\nu_i(dy), \eta(dx, dy) \right) \underset{N \to \infty}{\longrightarrow} 0$ for some measure $\eta \in \mathcal{P}_\ell(\mathbb{R}^d \times \mathbb{R}^d)$ with $\mu(\cdot) = \eta(\mathbb{R}^d, \cdot) = \eta(\cdot, \mathbb{R}^d)$

2. $\|\sqrt{N}(\bar{\nu}_N - \mu) - \sigma\|_{\ell} \underset{N \to \infty}{\longrightarrow} 0$ for some measure $\sigma$ in $\mathcal{M}_{\ell}(\mathbb{R}^d)$

If moreover **RU1-5** and **TX** hold then

$$
\sqrt{N} (U(\mu_N) - U(\mu)) \\
\implies \mathcal{N} \left( \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \sigma(dx), \int_{\mathbb{R}^d} \left( \frac{\delta U}{\delta m}(\mu, x) \right)^2 \mu(dx) - \int_{\mathbb{R}^d \times \mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \frac{\delta U}{\delta m}(\mu, y) \eta(dx, dy) \right).
$$

**Remark 18.** Since the marginals of $\frac{1}{N} \sum_{i=1}^N \nu_i(dx)\nu_i(dy)$ and $\eta(dx, dy)$ are respectively $\bar{\nu}_N$ and $\mu$, one has

$$
W_{\ell}(\bar{\nu}_{N}, \mu) \le W_{\ell}\left(\frac{1}{N} \sum_{i=1}^{N} \nu_{i}(dx)\nu_{i}(dy), \eta(dx, dy)\right)
$$

and so Assumption 1 implies that $W_\ell(\bar{\nu}_N, \mu) \underset{N \to \infty}{\longrightarrow} 0$.

**Remark 19.** According to the theorem, the asymptotic variance is given by

$$
\int_{\mathbb{R}^d} \left( \frac{\delta U}{\delta m}(\mu, x) \right)^2 \mu(dx) - \int_{\mathbb{R}^{2d}} \frac{\delta U}{\delta m}(\mu, x) \frac{\delta U}{\delta m}(\mu, y) \eta(dx, dy).
$$

By Jensen's inequality

$$
\begin{aligned}
\frac{1}{N} \sum_{i=1}^{N} \int_{\mathbb{R}^{2d}} \frac{\delta U}{\delta m}(\mu, x) \frac{\delta U}{\delta m}(\mu, y) \nu_i(dx) \nu_i(dy) &= \frac{1}{N} \sum_{i=1}^{N} \left( \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \nu_i(dx) \right)^2 \\
&\geq \left( \frac{1}{N} \sum_{i=1}^{N} \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \nu_i(dx) \right)^2.
\end{aligned}
$$

Thanks to Hypothesis 1, Hypothesis **RU2** and Hypothesis **RU4**, by taking the limit over $N \to \infty$, one deduces that

$$
\int_{\mathbb{R}^{2d}} \frac{\delta U}{\delta m}(\mu, x) \frac{\delta U}{\delta m}(\mu, y) \eta(dx, dy) \geq \left( \int_{\mathbb{R}^{d}} \frac{\delta U}{\delta m}(\mu, x) \mu(dx) \right)^2.
$$
Therefore the following “variance” inequality holds

$$
\begin{aligned}
& \int_{\mathbb{R}^d} \left( \frac{\delta U}{\delta m}(\mu, x) \right)^2 \mu(dx) - \int_{\mathbb{R}^{2d}} \frac{\delta U}{\delta m}(\mu, x) \frac{\delta U}{\delta m}(\mu, y) \eta(dx, dy) \\
& \le \int_{\mathbb{R}^d} \left( \frac{\delta U}{\delta m}(\mu, x) \right)^2 \mu(dx) - \left( \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \mu(dx) \right)^2.
\end{aligned}
$$

In what follows, we provide an example where Hypotheses 1 and 2 are verified.

**Example 1.** Let $\theta_0, \theta_1, \dots, \theta_{m-1} \in \mathcal{P}_\ell(\mathbb{R}^d)$ for $m \in \mathbb{N}^*$ and define $\nu_i(dx) := \theta_{(i-1)\text{mod }m}(dx)$ for $i \ge 1$. We are now going to verify that Hypothesis 1 and 2 are satisfied with $\eta(dx, dy) = \frac{1}{m} \sum_{i=0}^{m-1} \theta_i(dx)\theta_i(dy)$ and $\sigma = 0$. If we prove that

$$ \lim_{N \to \infty} \sqrt{N} \left\| \frac{1}{N} \sum_{i=1}^{N} \theta_{(i-1) \bmod m}(dx) \theta_{(i-1) \bmod m}(dy) - \frac{1}{m} \sum_{i=0}^{m-1} \theta_i(dx) \theta_i(dy) \right\|_{\ell} = 0, \quad (2.9) $$

then using that the convergence with respect to $\|\cdot\|_\ell$ implies the convergence with respect to $W_\ell$, Hypothesis 1 will follow. Moreover since the marginals of $\frac{1}{N} \sum_{i=1}^N \theta_{(i-1)\text{mod }m}(dx)\theta_{(i-1)\text{mod }m}(dy)$ and $\frac{1}{m} \sum_{i=0}^{m-1} \theta_i(dx)\theta_i(dy)$ are respectively $\frac{1}{N} \sum_{i=1}^N \theta_{(i-1)\text{mod }m}$ and $\frac{1}{m} \sum_{i=0}^{m-1} \theta_i$, Hypothesis 2 will follow too. Let us therefore prove (2.9). For each $N > 0$, there exist $k_N \in \mathbb{N}$ and $r_N \in \mathbb{N}$ with $0 \le r_N < m$ such that $N = k_N m + r_N$. Let $f$ be a function on $\mathbb{R}^{2d}$ such that $|f(x, y)| \le 1 + |x|^\ell + |y|^\ell$. One has

$$
\begin{aligned}
& \sqrt{N} \left| \int_{\mathbb{R}^{2d}} f(x, y) \frac{1}{N} \sum_{i=1}^{N} \theta_{(i-1) \bmod m}(dx) \theta_{(i-1) \bmod m}(dy) - \frac{1}{m} \sum_{i=0}^{m-1} \int_{\mathbb{R}^{2d}} f(x, y) \theta_i(dx) \theta_i(dy) \right| \\
& = \sqrt{N} \left| \left( \frac{k_N}{N} - \frac{1}{m} \right) \sum_{i=0}^{m-1} \int_{\mathbb{R}^{2d}} f(x, y) \theta_i(dx) \theta_i(dy) + \frac{1}{N} \sum_{i=0}^{r_N-1} \int_{\mathbb{R}^{2d}} f(x, y) \theta_i(dx) \theta_i(dy) \right| \\
& = \left| -\frac{r_N}{\sqrt{N}m} \sum_{i=0}^{m-1} \int_{\mathbb{R}^{2d}} f(x, y) \theta_i(dx) \theta_i(dy) + \frac{1}{\sqrt{N}} \sum_{i=0}^{r_N-1} \int_{\mathbb{R}^{2d}} f(x, y) \theta_i(dx) \theta_i(dy) \right|.
\end{aligned}
$$

Taking the superior limit over $N \to \infty$, the right hand-side converges to 0 which completes the proof.

In the following example Hypothesis 2 is verified with $\sigma = 0$.

**Example 2.** Let $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$ and $\nu_i \in \mathcal{P}_\ell(\mathbb{R}^d)$ such that $\|\nu_i - \mu\|_\ell \le \frac{c}{i^\alpha}$ for $i \ge 1$ with $c < \infty$ and $\alpha > \frac{1}{2}$. Then

$$
\begin{aligned}
& \sqrt{N} \sup_{f:|f(x)|\le 1+|x|^\ell} \left| \frac{1}{N} \sum_{i=1}^{N} \int_{\mathbb{R}^d} f(x)\nu_i(dx) - \int_{\mathbb{R}^d} f(x)\mu(dx) \right| \\
& \le \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \|\nu_i - \mu\|_{\ell} \le \frac{c}{\sqrt{N}} \sum_{i=1}^{N} \frac{1}{i^\alpha} = \begin{cases} O\left(\frac{1}{\sqrt{N}}\right) & \text{if } \alpha > 1 \\ O\left(\frac{\ln N}{\sqrt{N}}\right) & \text{if } \alpha = 1 \\ O\left(N^{\frac{1}{2}-\alpha}\right) & \text{if } \alpha \in (0, 1) \end{cases}
\end{aligned}
$$

Therefore, since $\alpha > \frac{1}{2}$, taking the superior limit over $N \to \infty$ we have $\sqrt{N}\|\bar{\nu}_N - \mu\|_\ell \xrightarrow{N \to \infty} 0$.
## 2.1.2 Markov Chains

### Markov Chains and the Poisson equation

We are now going to state the Central Limit Theorem for Markov chains. Let us first recall some facts useful to it. Let us consider $X_i$, $i \ge 1$ a Markov chain with initial distribution $\nu_1$ and transition kernel $P$ on $(\mathbb{R}^d, \mathcal{B}(\mathbb{R}^d))$. Given a measurable function $V: \mathbb{R}^d \to [1, \infty)$, we can introduce the following normed space

$$V_V := \left\{ \phi : \mathbb{R}^d \to \mathbb{R} \text{ measurable} : \sup_{x \in \mathbb{R}^d} \frac{|\phi(x)|}{V(x)} < \infty \right\}$$

equipped with the norm

$$\|\phi\|_V = \sup_{x \in \mathbb{R}^d} \frac{|\phi(x)|}{V(x)}.$$

**Definition 6.** We say that a Markov chain $(X_i)_{i \ge 1}$ is $V$-uniformly ergodic if there exists $\mu \in \mathcal{P}(\mathbb{R}^d)$ such that

$$\lim_{n \to \infty} \sup_{x \in \mathbb{R}^d} \frac{\sup_{\phi: \|\phi\|_V \le 1} |P^n \phi(x) - \mu(\phi)|}{V(x)} = 0.$$

We now recall respectively the notions of $\psi$-irreducible Markov chains (see Proposition 4.2.1 [43]), positive Markov chain and Harris recurrent Markov chain.

**Definition 7.** We say that a Markov chain $(X_i)_{i \ge 1}$ is $\psi$-irreducible if there exists a measure $\psi$ on $\mathcal{B}(\mathbb{R}^d)$ such that for all $x \in \mathbb{R}^d$, whenever $\psi(A) > 0$, there exists some $n > 0$, possibly depending on both A and x, such that $P^n(x, A) > 0$.

**Definition 8.** Let $(X_i)_{i \ge 1}$ be a $\psi$-irreducible Markov chain. Then

* $(X_i)_{i \ge 1}$ is called a positive Markov chain if it admits an invariant probability measure.

* $(X_i)_{i \ge 1}$ is called Harris recurrent if every set $A \in \mathcal{B}(\mathbb{R}^d)$ s.t. $\psi(A) > 0$ satisfies

$$\mathbb{P}_{\delta_x} \left( \bigcap_{N=1}^{\infty} \bigcup_{k=N}^{\infty} \{X_k \in A\} \right) = 1, \quad x \in A.$$

The following proposition shows that under the $V$-uniformly ergodicity, the Markov chain has several properties: in particular it is positive Harris recurrent.

**Proposition 3.** Let us assume that the Markov chain $(X_i)_{i \ge 1}$ is $V$-uniformly ergodic with probability measure $\mu \in \mathcal{P}(\mathbb{R}^d)$. Then $(X_i)_{i \ge 1}$ is a positive Harris recurrent Markov chain with unique invariant probability measure $\mu$ and

$$\mu(V) < \infty. \qquad (2.10)$$

Moreover

* there exist $r \in (0, 1)$, $R < \infty$ such that for all $n \in \mathbb{N}$

$$\sup_{x \in \mathbb{R}^d} \frac{\sup_{\phi: \|\phi\|_V \le 1} |P^n \phi(x) - \mu(\phi)|}{V(x)} \le Rr^n \qquad (2.11)$$
• there exist $\chi \in (0, 1)$, $D < \infty$ such that for all $n \in \mathbb{N}$

$$ \sup_{x \in \mathbb{R}^d} \frac{\sup_{\phi: \|\phi\|_{\sqrt{V}} \le 1} |P^n \phi(x) - \mu(\phi)|}{\sqrt{V(x)}} \le D\chi^n. \quad (2.12) $$

• there exist $K_1, K_2 \in \mathbb{R}_+$ such that $\forall x \in \mathbb{R}^d$

$$ PV(x) \le K_1 V(x) + K_2. \quad (2.13) $$

*Proof of Proposition 3.* Let us first observe that the hypothesis of V-uniformly ergodicity implies that $\forall x \in \mathbb{R}^d, \forall A \in \mathcal{B}(\mathbb{R}^d), |P^n(x, A) - \mu(A)| \underset{n \to \infty}{\longrightarrow} 0$ and so according to Definition 7, the Markov chain $(X_i)_{i \ge 1}$ is $\mu$-irreducible. Moreover the Markov chain is aperiodic.

Thus by Theorem 16.0.1 [43], the V-uniform ergodicity implies (2.11) and the existence of a real valued function $V_0: \mathbb{R}^d \to [1, \infty)$ equivalent to $V$ in the sense that $c^{-1}V \le V_0 \le cV$ for some $c \ge 1$, a petite set $C$ (see Section 5.5.2 [43] for the definition of petite sets and their properties) and constants $H \in (0, 1], b \in [0, \infty)$ such that

$$ PV_0(x) \le (1 - H) V_0(x) + b1_C(x), \quad x \in \mathbb{R}^d. \quad (2.14) $$

Since $V_0$ is equivalent to $V$, (2.13) easily follows and by Lemma 15.2.2 [43], $V_0$ is unbounded off petite sets that is $\{y \in \mathbb{R}^d: V_0(y) \le n\}$ is petite for all $n \in \mathbb{N}$ (see Section 8.4.2 [43]). The above estimation has multiple consequences. By Theorem 14.0.1 [43], (2.14) implies that $\mu$ is an invariant probability measure satisfying

$$ \mu(V) = \int_{\mathbb{R}^d} V(x) \mu(dx) < \infty $$

and so, by Definition 8, $(X_i)_{i \ge 1}$ is a positive Markov chain.

Moreover, since (2.14) obviously implies that $PV_0(x) \le V_0(x)$ if $x \notin C$, by Theorem 9.1.8 [43] $(X_i)_{i \ge 1}$ is Harris recurrent. By the Aperiodic Ergodic Theorem (see Theorem 13.0.1 [43]), (2.14) implies also that the invariant measure $\mu$ is unique.

To conclude the proof, we just need to prove (2.12). Jensen's inequality and (2.14) imply that

$$ \begin{aligned} P\sqrt{V_0}(x) &\le \sqrt{PV_0(x)} \le \sqrt{(1-H)V_0(x)} + b1_C(x) \\ &\le \sqrt{1-H}\sqrt{V_0(x)} + \sqrt{b1_C(x)} \end{aligned} $$

By Theorem 16.1.2 [43], the Markov chain $(X_i)_{i \ge 1}$ is $\sqrt{V_0}$-uniformly ergodic and, using again that $\sqrt{c^{-1}}\sqrt{V} \le \sqrt{V_0} \le \sqrt{c\sqrt{V}}$, it is also $\sqrt{V}$-uniformly ergodic.

The application of Theorem 16.0.1 [43] concludes the proof of (2.12). $\square$

**Remark 20.** Let us observe that (2.13) and Jensen's inequality imply that

$$ P\sqrt{V}(x) \le \sqrt{PV(x)} \le \sqrt{K_1V(x) + K_2} \le \sqrt{K_1}\sqrt{V(x)} + \sqrt{K_2}. \quad (2.15) $$

We are now ready to recall respectively the Strong Law of Large Numbers and the Central Limit Theorem for Markov chains under V-uniform ergodicity. Let us start with the Strong Law of Large Numbers, a result that will be largely used in what follows (a proof is provided in Theorem 17.1.7 [43] under the assumption that the Markov chain is positive Harris recurrent).

**Theorem 21.** Let us assume that the Markov chain $(X_i)_{i \ge 1}$ is V-uniformly ergodic and let $\mu$ be its unique invariant probability measure. Then for each function $f: \mathbb{R}^d \to \mathbb{R}$ measurable and such that $\mu(|f|) < \infty$,

$$ \forall \nu_1 \in \mathcal{P}(\mathbb{R}^d) \quad \mathbb{P}_{\nu_1} \left( \frac{1}{N} \sum_{k=1}^{N} f(X_k) \underset{N \to \infty}{\to} \mu(f) \right) = 1. $$
Since, by Proposition 3, $\mu(V) < \infty$ then

$$ \sup_{x \in \mathbb{R}^d} \frac{|f(x)|}{V(x)} < \infty \qquad (2.16) $$

is a sufficient condition to ensure that $\mu(|f|) < \infty$.

Before enunciating the Central Limit Theorem for Markov chains, we need to introduce some facts about the Poisson equation. For a fixed $f$ such that $\mu(|f|) < \infty$, a function $F: \mathbb{R}^d \to \mathbb{R}$ measurable and such that $\forall x \in \mathbb{R}^d, P|F|(x) < \infty$ is called solution of the Poisson equation if it satisfies

$$ \forall x \in \mathbb{R}^d, \quad F(x) - PF(x) = f(x) - \mu(f) \qquad (2.17) $$

where $\mu$ as above denotes the invariant probability measure associated to $P$.

If the Markov chain $(X_i)_{i \ge 1}$ is V-uniformly ergodic, since by (2.11) $\sup_{x \in \mathbb{R}^d} \frac{|P^n f(x) - \mu(f)|}{V(x)} \le \|f\|_V R r^n$ with $r \in (0, 1)$, the series of general term $(P^n f - \mu(f))_{n \in \mathbb{N}}$ converges in the space $\mathcal{V}_V$ equipped with the norm $\|\cdot\|_V$ and

$$ F = \sum_{n \in \mathbb{N}} (P^n f - \mu(f)) \qquad (2.18) $$

is a solution of the Poisson equation (2.17). Moreover any solution can be written as $c + \sum_{n \in \mathbb{N}} (P^n f - \mu(f))$ for a constant $c \in \mathbb{R}$.

As a consequence of (2.12), the following proposition holds.

**Proposition 4.** Let us assume that the Markov chain $(X_i)_{i \ge 1}$ is V-uniformly ergodic and let $\mu$ be its unique invariant probability measure. Then if $f$ is such that $f^2 \in \mathcal{V}_V$, $F = \sum_{n \in \mathbb{N}} (P^n f - \mu(f))$ converges in $\|\cdot\|_{\sqrt{V}}$. $F$ is solution of the Poisson equation (2.17) and satisfies $F^2 \in \mathcal{V}_V$. Moreover for each $n \in \mathbb{N}$

$$ \sup_{x \in \mathbb{R}^d} \frac{|P^n f(x) - \mu(f)|}{\sqrt{V(x)}} \le D \chi^n \sup_{x \in \mathbb{R}^d} \frac{|f(x)|}{\sqrt{V(x)}} $$

with $\chi \in (0, 1)$ and $D$ a finite constant.

We are now ready to enunciate the Central Limit Theorem for Markov chains in the linear case under the V-uniform ergodicity (see Thereom 17.5.4 [43]).

**Theorem 22.** Let us assume that the Markov chain $(X_i)_{i \ge 1}$ is V-uniformly ergodic and let $\mu$ be its unique invariant probability measure. Then for each function $f: \mathbb{R}^d \to \mathbb{R}$ measurable and such that $f^2 \in \mathcal{V}_V$,

$$ \sqrt{N} \left( \frac{1}{N} \sum_{i=1}^{N} f(X_i) - \int_{\mathbb{R}^d} f(x) \mu(dx) \right) \stackrel{d}{\Longrightarrow} \mathcal{N} (0, \mu(F^2) - \mu((PF)^2)) $$

with $F$ solution of the Poisson equation

$$ F(x) - PF(x) = f(x) - \mu(f) \quad x \in \mathbb{R}^d. $$

We are now going to provide some conditions on $P$ under which a Markov chain is V-uniformly ergodic for some measurable $V: \mathbb{R}^d \to [1, \infty)$.

**Example 3.** We say that $P$ verifies the Lyapunov Condition if:

$$ \mathbf{L1} \quad \exists v: \mathbb{R}^d \to \mathbb{R}_+ \text{ measurable, } \exists K \in \mathbb{R}_+, \exists \gamma \in (0, 1), \forall x \in \mathbb{R}^d, P_v(x) \le \gamma v(x) + K $$

$$ \mathbf{L2} \quad \exists R > \frac{2K}{1-\gamma}, \exists \rho \in (0, 1], \forall x, y \in \mathbb{R}^d \text{ such that } v(x) + v(y) \le R, P(x, \cdot) \wedge P(y, \cdot)(\mathbb{R}^d) \ge \rho. $$
In [30], Hairer and Mattingly proved that under stronger conditions on P: it verifies **L1** and there exists a constant $q \in (0, 1)$ and a probability measure $\zeta$ so that

$$ \inf_{x \in C} P(x, \cdot) \ge q\zeta(\cdot) \qquad (2.19) $$

with $C = \{x \in \mathbb{R}^d : v(x) \le R\}$ for some $R > \frac{2K}{1-\gamma}$, the transition kernel $P$ admits a unique invariant probability measure $\mu$. Moreover

$$ \mu(v) \le \frac{K}{1-\gamma} \qquad (2.20) $$

and $\forall \beta > 0, \forall \sigma \in \mathcal{P}(\mathbb{R}^d), \forall n \in \mathbb{N}$,

$$ \sup_{\phi: \|\phi\|_{1+\beta\nu} \le 1} |(\sigma P^n)(\phi) - \mu(\phi)| \le (\chi(\rho, \beta, \gamma, K, R))^n \sup_{\phi: \|\phi\|_{1+\beta\nu} \le 1} |\sigma(\phi) - \mu(\phi)| \qquad (2.21) $$

where $\chi(\rho, \beta, \gamma, K, R) = (1 - \rho + \beta K) \lor \frac{2+\beta\gamma R+2\beta K}{2+\beta R} \in (0, 1)$ if $\beta \in (0, \frac{\rho}{K})$.

It is possible to adapt the proofs in [30] and obtain the same results by assuming that $P$ verifies **L2** in place of (2.19). In particular, in the proof of Theorem 3.1 [30] the same estimation in the case of $x$ and $y$ such that $v(x) + v(y) \le R$ holds under the Lyapunov condition.

Let $\beta \in (0, \frac{\rho}{K})$ and let us observe that if we take $\sigma = \delta_x, x \in \mathbb{R}^d$ in (2.21) we obtain

$$ \begin{aligned} \frac{1}{\min(\beta, 1)} \sup_{\phi: \|\phi\|_{1+\beta\nu} \le 1} |P^n\phi(x) - \mu(\phi)| &\le \sup_{\phi: \|\phi\|_{1+\beta\nu} \le 1} |P^n\phi(x) - \mu(\phi)| \\ &\le (\chi(\rho, \beta, \gamma, K, R))^n \sup_{\phi: \|\phi\|_{1+\beta\nu} \le 1} |\phi(x) - \mu(\phi)| \\ &\le (\chi(\rho, \beta, \gamma, K, R))^n \max \left( 2 + \frac{\beta K}{1-\gamma}, \beta \right) (1 + v(x)) \end{aligned} $$

where to obtain the last inequality we apply (2.20). Thus

$$ \frac{1}{\min(\beta, 1)} \sup_{x \in \mathbb{R}^d} \frac{\sup_{\phi: \|\phi\|_{1+\beta\nu} \le 1} |P^n\phi(x) - \mu(\phi)|}{1 + v(x)} \le (\chi(\rho, \beta, \gamma, K, R))^n \max \left( 2 + \frac{\beta K}{1-\gamma}, \beta \right) \xrightarrow{n \to \infty} 0. $$

This proves that if $P$ verifies the Lyapunov Condition, then the Markov chain is $1 + v$-uniformly ergodic.

## Statement of the theorem

As in the statement of Theorem 17, for a given measure $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$, let us consider the Hyphoteses **RU1-3**, together with

$$ \textbf{RU6} \quad \exists \alpha \in (\frac{1}{2}, 1], \exists C < \infty, \forall \mu_1, \mu_2 \in B(\mu, r) $$

$$ \sup_{x \in \mathbb{R}^d} \frac{\left| \frac{\delta U}{\delta m}(\mu_2, x) - \frac{\delta U}{\delta m}(\mu_1, x) \right|}{1 + |x|^{\frac{\ell}{2}}} \le C \left( \int_{\mathbb{R}^d} (1 + |y|^{\frac{\ell}{2\alpha}}) |\mu_2 - \mu_1|(dy) \right)^{\alpha}. $$

$$ \textbf{L3} \quad C_\ell := \sup_{x \in \mathbb{R}^d} \frac{|x|^{\ell}}{V(x)} < \infty. $$

**Remark 23.** Let us observe that by (2.10) and **L3**, we have

$$ \int_{\mathbb{R}^d} |x|^{\ell} \mu(dx) < \infty. \qquad (2.22) $$
We are now ready to provide the Strong Law of Large Numbers and the Central Limit Theorem in this context.

**Theorem 24** (LLN for Markov chains). Let $\ell \ge 0$ and let $X_i$, $i \ge 1$ a Markov chain with initial law $\nu_1$ and transition kernel $P$. We assume that $(X_i)_{i \ge 1}$ is V-uniformly ergodic with V satisfying **L3**. Let $\mu$ denote its unique invariant probability measure and let us define

$$ \mu_N := \frac{1}{N} \sum_{i=1}^{N} \delta_{X_i}. $$

Then

$$ W_{\ell}(\mu_N, \mu) \xrightarrow{N} 0 \quad \text{a.s.} $$

*Proof.* Let us first prove that $\mu_N \xrightarrow{N} \mu$ a.s. It can be proved that for probability measures it is possible to test the weak convergence over the continuous functions with compact support (see for instance Corollary 30.9 [4]). Therefore

$$ \mathbb{P} \left( \mu_N(f) \xrightarrow{N} \mu(f) \quad \forall f \in C_b(\mathbb{R}^d) \right) = \mathbb{P} \left( \mu_N(f) \xrightarrow{N} \mu(f) \quad \forall f \in C_c(\mathbb{R}^d) \right) $$

where $C_b(\mathbb{R}^d)$ denotes the set of bounded continuous functions and $C_c(\mathbb{R}^d)$ the set of continuous functions with compact support. Since $C_c(\mathbb{R}^d)$ is separable with respect to the infinity norm, we can apply Theorem 21 to deduce that the right hand-side is equal to 1 and so the almost sure weak convergence of $\mu_N$ to $\mu$ is proved. If $\ell > 0$, to conclude the proof of the Wasserstein convergence we need to prove the convergence of the $\ell$th moment. Since (2.22) holds, we can again apply Theorem 21 and deduce that

$$ \lim_{N \to \infty} \int_{\mathbb{R}^d} |x|^{\ell} \mu_N(dx) = \int_{\mathbb{R}^d} |x|^{\ell} \mu(dx) \quad \text{a.s..} $$

□

**Theorem 25** (CLT for Markov chains). Under the same notations of Theorem 24, let us assume that the Markov chain satisfies the V-uniform ergodicity with V satisfying **L3**. Let us moreover assume **RU1-3**, **RU6**.

Then

$$ \sqrt{N} (U(\mu_N) - U(\mu)) \stackrel{d}{\Longrightarrow} \mathcal{N} \left( 0, \mu(F^2(\mu, \cdot)) - \mu((PF)^2(\mu, \cdot)) \right) $$

where $F(\mu, \cdot)$ denotes the unique (up to an additive constant) solution of the Poisson equation

$$ F(\mu, x) - PF(\mu, x) = \frac{\delta U}{\delta m}(\mu, x) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, y) \mu(dy), \quad x \in \mathbb{R}^d. $$

In what follows, we provide an example of functional satisfying the Hypotheses **RU1-3**, **RU6**.

**Example 4.** (U-statistics) Let $\ell > 0$ and $n \in \mathbb{N} \setminus \{0, 1\}$. The function on $\mathcal{P}_{\ell}(\mathbb{R}^d)$ defined by

$$ U(\mu) := \int_{(\mathbb{R}^d)^n} \phi(x_1, \dots, x_n) \mu(dx_1) \cdots \mu(dx_n) \quad (2.23) $$

where $\phi : (\mathbb{R}^d)^n \to \mathbb{R}$ is a symmetric function such that the above integral is well defined, is called a U-statistics. Hoeffding [34] in 1948 provided a Central Limit Theorem for the U-statistics in the case of independent equidistributed random variables. Several papers then tried to extend the limit theorems for U-statistics established in the i.i.d. setup to the weakly dependent framework and this was mainly done by means of the coupling techniques. For instance Denker and Keller in [17] proved a Central Limit Theorem for particular stationary processes under a Lipschitz condition on
φ. Moreover in [1], in the case of stationary ergodic processes, the strong law of large numbers is established.

Bertail and Clémençon [6] developed an alternative to the coupling methodology in the Markovian framework, the regenerative method (see [57]). In particular, they focused on the Harris Markov chains: sample paths of such chains may be divided in i.i.d. regeneration blocks. Thanks to this property they investigated the asymptotic behaviour of U-statistics of positive Harris Markov chains by defining an approximant “regenerative U-statistics” to which the results established in the i.i.d. framework apply. Under some technical assumptions concerning the integrability of φ involving the hitting time of the regeneration set, a Central Limit Theorem is provided. We acknowledge that verifying such hypotheses could pose challenges. Let us now study the asymptotic behaviour of the U-statistics as a consequence of our result.

By assuming that φ is a continuous functions such that

$$ \lim_{|x_1| \to \infty} \sup_{(x_2, \dots, x_n) \in (\mathbb{R}^d)^{n-1}} \frac{|\phi(x_1, x_2, \dots, x_n)|}{\prod_{i=1}^n (1 + |x_i|^{\frac{\ell}{2}})} = 0, \quad (2.24) $$

we are now going to verify that (2.23) satisfies **RU2-3** and **RU6**. Therefore, by considering a V-uniformly ergodic Markov chain with V satisfying **L3**, a Central Limit Theorem holds.

It is possible to prove (see Example 2.7 [36]) that the linear functional derivative of (2.23) is defined for each $\mu \in W_\ell(\mathbb{R}^d)$ and it is given, by choosing the constant equal to zero, by

$$ \frac{\delta U}{\delta m}(\mu, x_1) = n \int_{(\mathbb{R}^d)^{n-1}} (\phi(x_1, x_2, \dots, x_n) - \phi(0, x_2, \dots, x_n)) \mu(dx_2) \dots \mu(dx_n), \quad x_1 \in \mathbb{R}^d. $$

By the symmetry of φ and (2.24), $\forall \epsilon > 0 \exists M_\epsilon$ such that for $|x_i| > M_\epsilon$

$$ \sup_{(x_1, \dots, x_{i-1}, x_{i+1}, \dots, x_n) \in (\mathbb{R}^d)^{n-1}} \frac{|\phi(x_1, x_2, \dots, x_n)|}{\prod_{j=1}^{n} (1 + |x_j|^{\frac{\ell}{2}})} \le \epsilon. \quad (2.25) $$

Moreover by (2.25) and the continuity of φ, $\forall (x_1, \dots, x_n) \in (\mathbb{R}^d)^n$ one has

$$ |\phi(x_1, x_2, \dots, x_n)| = |\phi(x_1, x_2, \dots, x_n)| 1_{\|x\|_{\infty} > M_1} + |\phi(x_1, x_2, \dots, x_n)| 1_{\|x\|_{\infty} \le M_1} \quad (2.26) $$

$$ \le \prod_{i=1}^{n} (1 + |x_i|^{\frac{\ell}{2}}) + C \quad (2.27) $$

for some positive constant $C < \infty$.

Let us fix $\mu \in \mathcal{P}_\ell(\mathbb{R}^d)$ and $r > 0$. We recall that $B(\mu, r)$ denotes the ball centered at $\mu$ with radius $r$ for the metric $W_\ell$.

**RU2.** Let $(\tilde{\mu}, x_1) \in B(\mu, r) \times \mathbb{R}^d$. Using the above estimation we obtain

$$ \begin{aligned} \left| \frac{\delta U}{\delta m}(\tilde{\mu}, x_1) \right| & \le n \int_{(\mathbb{R}^d)^{n-1}} \left( |\phi(x_1, x_2, \dots, x_n)| + |\phi(0, x_2, \dots, x_n)| \right) \tilde{\mu}(dx_2) \cdots \tilde{\mu}(dx_n) \\ & \le n \int_{(\mathbb{R}^d)^{n-1}} \left( \prod_{i=1}^{n} (1 + |x_i|^{\frac{\ell}{2}}) + \prod_{i=2}^{n} (1 + |x_i|^{\frac{\ell}{2}}) \right) \tilde{\mu}(dx_2) \cdots \tilde{\mu}(dx_n) + 2Cn \\ & \le D(1 + |x_1|^{\frac{\ell}{2}}) \end{aligned} $$

for some positive constant $D < \infty$.
RU3. If $W_l(\tilde{\mu}, \mu)$ goes to 0, let $\pi \in \mathcal{P}(\mathbb{R}^{2d})$ with $\pi(\cdot \times \mathbb{R}^d) = \tilde{\mu}(\cdot)$, $\pi(\mathbb{R}^d \times \cdot) = \mu(\cdot)$. One has

$$ \sup_{x_1 \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(\tilde{\mu}, x_1) - \frac{\delta U}{\delta m}(\mu, x_1)|}{1 + |x_1|^{\frac{\ell}{2}}} \quad (2.28) $$

$$ \le n \sup_{x_1 \in \mathbb{R}^d} \frac{\int_{(\mathbb{R}^d)^{2(n-1)}} |\phi(x_1, x_2, \dots, x_n) - \phi(x_1, s_2, \dots, s_n)| \prod_{i=2}^n \pi(dx_i, ds_i)}{1 + |x_1|^{\frac{\ell}{2}}} \quad (2.29) $$

$$ + n \int_{(\mathbb{R}^d)^{2(n-1)}} |\phi(0, x_2, \dots, x_n) - \phi(0, s_2, \dots, s_n)| \prod_{i=2}^{n} \pi(dx_i, ds_i) \quad (2.30) $$

$$ \le 2n \sup_{x_1 \in \mathbb{R}^d} \frac{\int_{(\mathbb{R}^d)^{2(n-1)}} |\phi(x_1, x_2, \dots, x_n) - \phi(x_1, s_2, \dots, s_n)| \prod_{i=2}^{n} \pi(dx_i, ds_i)}{1 + |x_1|^{\frac{\ell}{2}}} \quad (2.31) $$

Let $\epsilon > 0$. By observing that for $|y| \ge \frac{1}{\epsilon}$, $\frac{1}{|y|} \le \epsilon$, let us define $\tilde{M}_\epsilon := \max(\frac{1}{\epsilon}, M_\epsilon)$. The function $\phi$ is uniformly continuous on $B = \{x \in (\mathbb{R}^d)^n : \|x\|_\infty \le \tilde{M}_\epsilon\}$. Therefore $\exists \eta_{\epsilon, \tilde{M}_\epsilon} > 0$ such that for $x, \tilde{x} \in B$ satisfying $\max_{2 \le i \le n} |x_i - \tilde{x}_i| \le \eta_{\epsilon, \tilde{M}_\epsilon}$,

$$ |\phi(x_1, x_2, \dots, x_n) - \phi(x_1, \tilde{x}_2, \dots, \tilde{x}_n)| \le \epsilon. \quad (2.32) $$

If we denote the vectors $(x_2, \dots, x_n)$ and $(s_2, \dots, s_n)$ respectively by $x_{2:n}$ and $s_{2:n}$, it is possible to rewrite the integral in (2.31) in the following way (⋆)

$$ \begin{aligned} & \int |\phi(x_1, x_{2:n}) - \phi(x_1, s_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|(x_1, s_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|x_{2:n} - s_{2:n}\|_{\infty} \le \eta_{\epsilon, \tilde{M}_{\epsilon}}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \\ & + 2 \int |\phi(x_1, x_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|(x_1, s_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|x_{2:n} - s_{2:n}\|_{\infty} > \eta_{\epsilon, \tilde{M}_{\epsilon}}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \\ & + \int |\phi(x_1, x_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|(x_1, s_{2:n})\|_{\infty} > \tilde{M}_{\epsilon}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \\ & + \int |\phi(x_1, x_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} > \tilde{M}_{\epsilon}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \\ & + \int |\phi(x_1, s_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} > \tilde{M}_{\epsilon}} \prod_{i=2}^{n} \pi(dx_i, ds_i). \end{aligned} $$

Let us now study one by one the terms appearing in the above expression (⋆).

1. $\int |\phi(x_1, x_{2:n}) - \phi(x_1, s_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|(x_1, s_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|x_{2:n} - s_{2:n}\|_{\infty} \le \eta_{\epsilon, \tilde{M}_{\epsilon}}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \le \epsilon$ by (2.32).

2. By the continuity of $\phi$ and Markov's inequality

$$ \begin{aligned} & 2 \int |\phi(x_1, x_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|(x_1, s_{2:n})\|_{\infty} \le \tilde{M}_{\epsilon}} 1_{\|x_{2:n} - s_{2:n}\|_{\infty} > \eta_{\epsilon, \tilde{M}_{\epsilon}}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \\ & \le 2 \cdot \sup_{\|x\|_{\infty} \le \tilde{M}_{\epsilon}} |\phi(x)| \cdot \sum_{i=2}^{n} \int 1_{|x_i - s_i| > \eta_{\epsilon, \tilde{M}_{\epsilon}}} \pi(dx_i, ds_i) \\ & \le \frac{2}{\eta_{\epsilon, \tilde{M}_{\epsilon}}^{\ell}} \cdot \sup_{\|x\|_{\infty} \le \tilde{M}_{\epsilon}} |\phi(x)| \cdot \sum_{i=2}^{n} \int |x_i - s_i|^{\ell} \pi(dx_i, ds_i). \end{aligned} $$
3. By (2.27), Markov's inequality, Cauchy-Schwarz inequality and the fact that $\frac{1}{\bar{M}_\epsilon} \le \epsilon$

$$
\begin{align*}
& \int |\phi(x_1, x_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} \le \bar{M}_{\epsilon}} 1_{\|(x_1, s_{2:n})\|_{\infty} > \bar{M}_{\epsilon}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \\
& \le \sum_{i=2}^{n} \int (C + \prod_{j=1}^{n} (1 + |x_j|^{\frac{\ell}{2}})) 1_{|s_i| > \bar{M}_{\epsilon}} \prod_{j=2}^{n} \pi(dx_j, ds_j) \\
& \le \epsilon^{\ell} (n-1) C \int |s|^{\ell} \mu(ds) + \epsilon^{\frac{\ell}{2}} (n-1) (1 + |x_1|^{\frac{\ell}{2}}) \left( \int (1 + |x|^{\frac{\ell}{2}})^2 \tilde{\mu}(dx) \right)^{\frac{n-1}{2}} \left( \int |s|^{\ell} \mu(ds) \right)^{\frac{1}{2}}.
\end{align*}
$$

4. Similarly to the previous point

$$
\begin{align*}
& \int |\phi(x_1, s_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} \le \bar{M}_{\epsilon}} 1_{\|(x_1, s_{2:n})\|_{\infty} > \bar{M}_{\epsilon}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \\
& \le \sum_{i=2}^{n} \int (C + (1 + |x_1|^{\frac{\ell}{2}}) \prod_{j=2}^{n} (1 + |s_j|^{\frac{\ell}{2}})) 1_{|s_i| > \bar{M}_{\epsilon}} \prod_{j=2}^{n} \pi(dx_j, ds_j) \\
& \le \epsilon^{\ell} (n-1) C \int |s|^{\ell} \mu(ds) + \epsilon^{\frac{\ell}{2}} (n-1) (1 + |x_1|^{\frac{\ell}{2}}) \left( \int (1 + |s|^{\frac{\ell}{2}})^2 \mu(ds) \right)^{\frac{n-1}{2}} \left( \int |s|^{\ell} \mu(ds) \right)^{\frac{1}{2}}
\end{align*}
$$

5. Finally by (2.25)

$$
\begin{align*}
& \int |\phi(x_1, x_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} > \bar{M}_{\epsilon}} \prod_{i=2}^{n} \pi(dx_i, ds_i) + \int |\phi(x_1, s_{2:n})| 1_{\|(x_1, x_{2:n})\|_{\infty} > \bar{M}_{\epsilon}} \prod_{i=2}^{n} \pi(dx_i, ds_i) \\
& \le \epsilon(1 + |x_1|^{\frac{\ell}{2}}) \left( \int (1 + |x|^{\frac{\ell}{2}})^2 \tilde{\mu}(dx) \right)^{n-1} + \epsilon(1 + |x_1|^{\frac{\ell}{2}}) \left( \int (1 + |s|^{\frac{\ell}{2}})^2 \mu(ds) \right)^{n-1}.
\end{align*}
$$

Therefore plugging all these estimations in (2.31), choosing $\pi$ as the optimal $W_\ell$ coupling between $\tilde{\mu}$ and $\mu$, we obtain

$$
\sup_{x_1 \in \mathbb{R}^d} \frac{\left| \frac{\delta U}{\delta m}(\tilde{\mu}, x_1) - \frac{\delta U}{\delta m}(\mu, x_1) \right|}{1 + |x_1|^{\frac{\ell}{2}}} \\
\le D \left( \sup_{\|x\|_{\infty} \le \bar{M}_{\epsilon}} |\phi(x)| \cdot \frac{W_{\ell}^{\ell \wedge 1}(\tilde{\mu}, \mu)}{\eta_{\epsilon, \bar{M}_{\epsilon}}^{\ell}} + (\epsilon + \epsilon^{\frac{\ell}{2}} + \epsilon^{\ell}) \left( \left( \int (1 + |x|^{\frac{\ell}{2}})^2 \tilde{\mu}(dx) \right)^{\frac{n-1}{2}} + 1 \right) \right)
$$

for a positive constant $D$ depending neither on $\epsilon$ nor on $\tilde{\mu}$. For fixed $\epsilon$, let $W_\ell(\tilde{\mu}, \mu)$ converge to 0. Then $\int |x|^{\ell} \tilde{\mu}(dx)$ converges to $\int |s|^{\ell} \mu(ds)$ and $\int (1 + |x|^{\frac{\ell}{2}})^2 \tilde{\mu}(dx)$ converges to $\int (1 + |s|^{\frac{\ell}{2}})^2 \mu(ds)$. It is then possible to conclude that the left-hand side goes to 0 by letting $\epsilon$ go to 0.

RU6. Let $\mu_1, \mu_2 \in B(\mu, r)$. By (2.27) we have

$$
\begin{align*}
& \sup_{x_1 \in \mathbb{R}^d} \frac{\left| \frac{\delta U}{\delta m}(\mu_2, x_1) - \frac{\delta U}{\delta m}(\mu_1, x_1) \right|}{1 + |x_1|^{\frac{\ell}{2}}} \\
& \le 2n \sup_{x_1 \in \mathbb{R}^d} \frac{\int_{(\mathbb{R}^d)^{n-1}} |\phi(x_1, x_2, \dots, x_n)| |\mu_2(dx_2) \cdots \mu_2(dx_n) - \mu_1(dx_2) \cdots \mu_1(dx_n)|}{1 + |x_1|^{\frac{\ell}{2}}} \\
& \le 2n \sup_{x_1 \in \mathbb{R}^d} \frac{\sum_{k=2}^{n} \int_{(\mathbb{R}^d)^{n-1}} \left(C + \prod_{i=1}^{n} (1 + |x_i|^{\frac{\ell}{2}})\right) \prod_{j=k+1}^{n} \mu_2(dx_j) |\mu_2 - \mu_1|(dx_k) \prod_{j=2}^{k-1} \mu_1(dx_j)}{1 + |x_1|^{\frac{\ell}{2}}} \\
& \le \tilde{C} \int_{\mathbb{R}^d} (1 + |x|^{\frac{\ell}{2}}) |\mu_2 - \mu_1|(dx)
\end{align*}
$$
for a constant $\tilde{C} < \infty$ not depending on $(\mu_1, \mu_2)$.

## 2.2 Proof of the Results

In this section we will provide the proofs of Theorem 17 and Theorem 25. We will start by proving the Markov chains case since it is more complex. Afterwards, we will present the proof for the independent and non-equidistributed case, avoiding repetition of common parts whenever possible.

### 2.2.1 Markov Chains

In the proof of the theorem we will need that the integral of $V$ respect to $\nu_1$ is finite. The next Lemma permits to suppose it in the proof.

**Lemma 3.** If Theorem 25 holds for each $\nu_1 \in \mathcal{P}(\mathbb{R}^d)$ such that $\nu_1(V) < \infty$, then it holds for all $\nu_1 \in \mathcal{P}(\mathbb{R}^d)$.

*Proof.* If $\nu_1(V) = \infty$, for $K > \inf_{x \in \mathbb{R}^d} V(x)$ let us consider $x_0 \in \mathbb{R}^d$ such that $V(x_0) \le K$ and define $\phi_K(x) = x_1 \{V(x) \le K\} + x_0 \{V(x) > K\}$.

If we now consider the measure $\nu_1^K(A) := \nu_1(\phi_K^{-1}(A))$ for $A \in \mathcal{B}(\mathbb{R}^d)$, then

$$ 
\begin{aligned}
\nu_1^K(V) &= \int_{\mathbb{R}^d} V(x) \nu_1^K(dx) = \int_{\mathbb{R}^d} V(\phi_K(x)) \nu_1(dx) \\
&= \int_{\mathbb{R}^d} (V(x)1_{\{V(x) \le K\}} + V(x_0)1_{\{V(x) > K\}}) \nu_1(dx) \le K.
\end{aligned}
$$

Moreover

$$ 
\begin{aligned}
d_{TV}(\nu_1^K, \nu_1) &= \sup_{\psi: \|\psi\|_{\infty} \le \frac{1}{2}} \left| \int_{\mathbb{R}^d} \psi(x) \nu_1^K(dx) - \int_{\mathbb{R}^d} \psi(x) \nu_1(dx) \right| \\
&= \sup_{\psi: \|\psi\|_{\infty} \le \frac{1}{2}} \left| \int_{\mathbb{R}^d} (\psi(x_0) - \psi(x)) 1_{\{V(x) > K\}} \nu_1(dx) \right| \le \nu_1(\{x: V(x) > K\}).
\end{aligned}
$$

Let us consider now the Markov chain with initial law $\nu_1^K$ and transition kernel $P$ on $(\mathbb{R}^d, \mathcal{B}(\mathbb{R}^d))$ and denote by $\mathbb{P}_{\nu_1^K}$ the law of the process $(\mathbb{P}_{\nu_1} \text{ will denote the law of the original Markov chain}). Since the initial law of a Markov chain, together with its transition kernel, determines the law of the entire process, one has

$$ 
\begin{aligned}
d_{TV}(\mathbb{P}_{\nu_1}, \mathbb{P}_{\nu_1^K}) &= \sup_{F \in \mathcal{B}(\mathbb{R}^d)^{\otimes N}: \|F\|_{\infty} \le \frac{1}{2}} \left| \int_{(\mathbb{R}^d)^{\otimes N}} F(x) \mathbb{P}_{\nu_1}(dx) - \int_{(\mathbb{R}^d)^{\otimes N}} F(x) \mathbb{P}_{\nu_1^K}(dx) \right| \\
&= \sup_{F \in \mathcal{B}(\mathbb{R}^d)^{\otimes N}: \|F\|_{\infty} \le \frac{1}{2}} \left| \int_{\mathbb{R}^d} \mathbb{P}_{\delta_x}(F) \nu_1(dx) - \int_{\mathbb{R}^d} \mathbb{P}_{\delta_x}(F) \nu_1^K(dx) \right| \\
&= \sup_{F \in \mathcal{B}(\mathbb{R}^d)^{\otimes N}: \|F\|_{\infty} \le \frac{1}{2}} \left| \int_{\mathbb{R}^d} f_F(x) \nu_1(dx) - \int_{\mathbb{R}^d} f_F(x) \nu_1^K(dx) \right| \le d_{TV}(\nu_1, \nu_1^K)
\end{aligned}
$$

where we introduce the notation $f_F(x) = \mathbb{P}_{\delta_x}(F)$ for each $F \in \mathcal{B}(\mathbb{R}^d)^{\otimes N}$. Since it is straightforward to demonstrate that $d_{TV}(\mathbb{P}_{\nu_1}, \mathbb{P}_{\nu_1^K}) \ge d_{TV}(\nu_1, \nu_1^K)$, the equality $d_{TV}(\mathbb{P}_{\nu_1}, \mathbb{P}_{\nu_1^K}) = d_{TV}(\nu_1, \nu_1^K)$ holds. Therefore if we are able to prove that for all bounded, continuous functions $f$

$$ \lim_{N \to \infty} \mathbb{E}_{\nu_1^K} \left( f \left( \sqrt{N} (U(\mu_N) - U(\mu)) \right) \right) = \mathbb{E}(f(\mathcal{G})) $$
where $\mathcal{G}$ is a Gaussian random variable not depending on $K$, then

$$
\begin{aligned}
& \left| \mathbb{E}_{\nu_1} \left( f \left( \sqrt{N} (U(\mu_N) - U(\mu)) \right) \right) - \mathbb{E} (f(\mathcal{G})) \right| \\
& \le \left| \mathbb{E}_{\nu_1} \left( f \left( \sqrt{N} (U(\mu_N) - U(\mu)) \right) \right) - \mathbb{E}_{\nu_1^K} \left( f \left( \sqrt{N} (U(\mu_N) - U(\mu)) \right) \right) \right| \\
& \qquad + \left| \mathbb{E}_{\nu_1^K} \left( f \left( \sqrt{N} (U(\mu_N) - U(\mu)) \right) \right) - \mathbb{E} (f(\mathcal{G})) \right| \\
& \le 2 \|f\|_{\infty} d_{TV} (\mathbb{P}_{\nu_1}, \mathbb{P}_{\nu_1^K}) + \left| \mathbb{E}_{\nu_1^K} \left( f \left( \sqrt{N} (U(\mu_N) - U(\mu)) \right) \right) - \mathbb{E} (f(\mathcal{G})) \right| \\
& \le 2 \|f\|_{\infty} d_{TV} (\nu_1, \nu_1^K) + \left| \mathbb{E}_{\nu_1^K} \left( f \left( \sqrt{N} (U(\mu_N) - U(\mu)) \right) \right) - \mathbb{E} (f(\mathcal{G})) \right|.
\end{aligned}
$$

Since $d_{TV}(\nu_1, \nu_1^K) \le \nu_1(\{x: V(x) > K\})$, we can first take the superior limit over $N \to \infty$ so to obtain that

$$ \limsup_{N \to \infty} \left| \mathbb{E}_{\nu_1} \left( f \left( \sqrt{N} (U(\mu_N) - U(\mu)) \right) \right) - \mathbb{E} (f(\mathcal{G})) \right| \le 2 \|f\|_{\infty} \nu_1 (\{x: V(x) > K\}). $$

Then we can conclude that the left hand-side is equal to 0 by letting $K$ to infinity. $\square$

<figure><img src="image_6.png" /></figure>

The proof of the theorem relies on the Poisson equation whose explicit solution and norm estimations are studied in the following Lemma.

**Lemma 4.** Under the assumptions of the previous theorem, for a given $m \in B(\mu, r)$ let us consider the following Poisson equation

$$ F(m, x) - PF(m, x) = \frac{\delta U}{\delta m}(m, x) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(m, y) \mu(dy), \quad x \in \mathbb{R}^d. \quad (2.33) $$

Then (2.33) admits a solution given by $F(m, \cdot) = \sum_{n \in \mathbb{N}} (P^n \frac{\delta U}{\delta m}(m, \cdot) - \mu(\frac{\delta U}{\delta m}(m, \cdot)))$. Moreover

$$ \bullet \text{ For } m \in B(\mu, r) \qquad \|F(m, \cdot)\|_{\sqrt{V}} \le \bar{C}_{\frac{1}{2}} \qquad (2.34) $$

$$ \bullet \text{ For } m_1, m_2 \in B(\mu, r) \qquad \|F(m_1, \cdot) - F(m_2, \cdot)\|_{\sqrt{V}} \le \bar{C}_{\frac{1}{2}} \sup_{x \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(m_1, x) - \frac{\delta U}{\delta m}(m_2, x)|}{\sqrt{V(x)}} \qquad (2.35) $$

and so for $\alpha \in (\frac{1}{2}, 1]$

$$ \|F(m_1, \cdot) - F(m_2, \cdot)\|_{\sqrt{V}} \le \bar{C}_{\frac{1}{2}} \left( \int_{\mathbb{R}^d} (1 + |y|^{\frac{\ell}{2\alpha}}) |m_2 - m_1|(dy) \right)^{\alpha} \quad (2.36) $$

with $\bar{C}_{\frac{1}{2}}$ a finite constant not depending on $m, m_1$ and $m_2$.

*Proof.* By Proposition 4, to ensure the existence of the solution, it is sufficient to check that $(\frac{\delta U}{\delta m}(m, \cdot))^2 \in \mathcal{V}_V$. By Hypothesis **RU2** and **L3**

$$ \sup_{x \in \mathbb{R}^d} \frac{(\frac{\delta U}{\delta m}(m, x))^2}{V(x)} \le 2C^2 \sup_{x \in \mathbb{R}^d} \frac{1 + |x|^\ell}{V(x)} \le 2C^2 (1 + C_\ell) < \infty. $$
Let us now estimate the norm $|||\sqrt{V}|||$ of $F(m, \cdot)$. By Proposition 4, one has

$$ \begin{aligned} \|F(m, \cdot)\|_{\sqrt{V}} &= \lim_{n \to \infty} \left\| \sum_{k=0}^{n} P^k \frac{\delta U}{\delta m}(m, \cdot) - \mu\left(\frac{\delta U}{\delta m}(m, \cdot)\right) \right\|_{\sqrt{V}} \\ &\le \sum_{k=0}^{\infty} \left\| P^k \frac{\delta U}{\delta m}(m, \cdot) - \mu\left(\frac{\delta U}{\delta m}(m, \cdot)\right) \right\|_{\sqrt{V}}. \end{aligned} $$

Then again by Proposition 4 and Hypothesis **RU2**

$$ \begin{aligned} \left\| P^k \frac{\delta U}{\delta m}(m, \cdot) - \mu\left(\frac{\delta U}{\delta m}(m, \cdot)\right) \right\|_{\sqrt{V}} &= \sup_{x \in \mathbb{R}^d} \frac{|P^k \frac{\delta U}{\delta m}(m, x) - \mu\left(\frac{\delta U}{\delta m}(m, \cdot)\right)|}{\sqrt{V(x)}} \le D \chi^k \sup_{x \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(m, x)|}{\sqrt{V(x)}} \\ &\le D C \chi^k \left( 1 + \sup_{x \in \mathbb{R}^d} \frac{|x|^{\frac{\ell}{2}}}{\sqrt{V(x)}} \right) \le D C \chi^k \left( 1 + \sqrt{C_{\ell}} \right) \end{aligned} $$

where to obtain the last inequality we used **L3**.

Therefore we have obtained that

$$ \|F(m, \cdot)\|_{\sqrt{V}} \le \frac{1}{1-\chi} DC \left(1 + \sqrt{C_{\ell}}\right). $$

Finally let $m_1, m_2 \in B(\mu, r)$ and proceeding as above, by Proposition 4 we have

$$ \begin{aligned} \|F(m_1, \cdot) - F(m_2, \cdot)\|_{\sqrt{V}} &\le \sum_{k=0}^{\infty} \left\| P^k \left( \frac{\delta U}{\delta m}(m_1, \cdot) - \frac{\delta U}{\delta m}(m_2, \cdot) \right) - \mu \left( \frac{\delta U}{\delta m}(m_1, \cdot) - \frac{\delta U}{\delta m}(m_2, \cdot) \right) \right\|_{\sqrt{V}} \\ &\le D \chi^k \sup_{x \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(m_1, x) - \frac{\delta U}{\delta m}(m_2, x)|}{\sqrt{V(x)}} \end{aligned} $$

By Proposition 4 and Hypothesis **RU6**

$$ \begin{aligned} \left\| P^k \left( \frac{\delta U}{\delta m}(m_1, \cdot) - \frac{\delta U}{\delta m}(m_2, \cdot) \right) - \mu \left( \frac{\delta U}{\delta m}(m_1, \cdot) - \frac{\delta U}{\delta m}(m_2, \cdot) \right) \right\|_{\sqrt{V}} &= \sup_{x \in \mathbb{R}^d} \frac{|P^k \left( \frac{\delta U}{\delta m}(m_1, x) - \frac{\delta U}{\delta m}(m_2, x) \right) - \mu \left( \frac{\delta U}{\delta m}(m_1, \cdot) - \frac{\delta U}{\delta m}(m_2, \cdot) \right)|}{\sqrt{V(x)}} \\ &\le D \chi^k \sup_{x \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(m_1, x) - \frac{\delta U}{\delta m}(m_2, x)|}{\sqrt{V(x)}} \\ &\le D C \chi^k \sup_{x \in \mathbb{R}^d} \frac{1 + |x|^{\frac{\ell}{2}}}{\sqrt{V(x)}} \left( \int_{\mathbb{R}^d} (1 + |y|^{\frac{\ell}{2\alpha}}) |m_2 - m_1|(dy) \right)^{\alpha} \\ &= D C \chi^k \left( 1 + \sqrt{C_{\ell}} \right) \left( \int_{\mathbb{R}^d} (1 + |y|^{\frac{\ell}{2\alpha}}) |m_2 - m_1|(dy) \right)^{\alpha} \end{aligned} $$

where we used **L3** to obtain the last equality. Therefore we have

$$ \|F(m_1, \cdot) - F(m_2, \cdot)\|_{\sqrt{V}, 1} \le D C \frac{1}{1-\chi} \left(1 + \sqrt{C_{\ell}}\right) \left( \int_{\mathbb{R}^d} (1 + |y|^{\frac{\ell}{2\alpha}}) |m_2 - m_1|(dy) \right)^{\alpha}. $$

□

### Proof of Theorem 25. FIRST STEP

Let us preliminary recall that by Theorem 24, $W_\ell(\mu_N, \mu) \xrightarrow{N} 0$ a.s. To study the limit distribution of $\sqrt{N}(U(\mu_N) - U(\mu))$, let us define for $i = 1, \dots, N$ and $s \in [0, 1]$
$$ \mu_N^{i,s} = \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{s}{N} \delta_{X_i} + \left(1 + \frac{1-i-s}{N}\right) \mu. $$

We have $\mu_N^{N,1} = \mu_N$ and $\mu_N^{1,0} = \mu$. Moreover, since for $i = 1, \dots, N-1$

$$ \mu_N^{i,1} = \mu_N^{i+1,0}, $$

one has

$$ \sqrt{N}(U(\mu_N) - U(\mu)) = \sqrt{N} \sum_{i=1}^{N} (U(\mu_N^{i,1}) - U(\mu_N^{i,0})). $$

Let us now show that almost surely $\mu_N^{i,s}$ converges uniformly to $\mu$ with respect to the distance $W_\ell$ that is

$$ \max_{1 \le i \le N} \sup_{s \in [0,1]} W_\ell(\mu_N^{i,s}, \mu) \xrightarrow{N \to \infty} 0 \quad \text{a.s..} \qquad (2.37) $$

For $i = 1, \dots, N$ and $s \in [0, 1]$

$$ \mu_N^{i,s} = s\mu_N^{i,1} + (1-s)\mu_N^{i-1,1} $$

under the convention $\mu_N^{0,1} = \mu_N^{1,0}$. Let $\pi \in \Pi(\mu_N^{i,1}, \mu)$ and $\tilde{\pi} \in \Pi(\mu_N^{i-1,1}, \mu)$ where $\Pi(\mu_1, \mu_2) = \{\mu \in \mathcal{P}(\mathbb{R}^{2d}) : \mu(\cdot \times \mathbb{R}^d) = \mu_1(\cdot), \mu(\mathbb{R}^d \times \cdot) = \mu_2(\cdot)\}$ for $\mu_1, \mu_2 \in \mathcal{P}_\ell(\mathbb{R}^d)$ and define

$$ \bar{\pi}(dx, dy) = s\pi(dx, dy) + (1-s)\tilde{\pi}(dx, dy). $$

Then

$$ \bar{\pi}(dx, \mathbb{R}^d) = s\pi(dx, \mathbb{R}^d) + (1-s)\tilde{\pi}(dx, \mathbb{R}^d) = s\mu_N^{i,1} + (1-s)\mu_N^{i-1,1} = \mu_N^{i,s} $$

$$ \bar{\pi}(\mathbb{R}^d, dy) = s\pi(\mathbb{R}^d, dy) + (1-s)\tilde{\pi}(\mathbb{R}^d, dy) = s\mu + (1-s)\mu = \mu. $$

By supposing that $\ell > 0$, we have:

$$ W_{\ell}^{\ell \lor 1}(\mu_N^{i,s}, \mu) \le \int_{\mathbb{R}^d \times \mathbb{R}^d} |x-y|^{\ell} \bar{\pi}(dx, dy) = s \int_{\mathbb{R}^d \times \mathbb{R}^d} |x-y|^{\ell} \pi(dx, dy) + (1-s) \int_{\mathbb{R}^d \times \mathbb{R}^d} |x-y|^{\ell} \tilde{\pi}(dx, dy). \qquad (2.38) $$

Taking the infimum over $\pi$ and $\tilde{\pi}$, we conclude that

$$ W_{\ell}^{\ell \lor 1}(\mu_N^{i,s}, \mu) \le sW_{\ell}^{\ell \lor 1}(\mu_N^{i,1}, \mu) + (1-s)W_{\ell}^{\ell \lor 1}(\mu_N^{i-1,1}, \mu) \le W_{\ell}^{\ell \lor 1}(\mu_N^{i,1}, \mu) \lor W_{\ell}^{\ell \lor 1}(\mu_N^{i-1,1}, \mu) $$

and so

$$ \max_{1 \le i \le N} \sup_{s \in [0,1]} W_{\ell}(\mu_N^{i,s}, \mu) = \max_{0 \le i \le N} W_{\ell}(\mu_N^{i,1}, \mu). \qquad (2.39) $$

Now since for $i = 1, \dots, N$

$$ \mu_N^{i,1} = \frac{1}{N} \sum_{j=1}^{i} \delta_{X_j} + \left(1 - \frac{i}{N}\right) \mu = \frac{i}{N} \mu_i + \left(1 - \frac{i}{N}\right) \mu, $$

let $\gamma \in \Pi(\mu_i, \mu)$ and define $\tilde{\gamma}(dx, dy) = \frac{i}{N}\gamma(dx, dy) + \left(1 - \frac{i}{N}\right) \mu(dx) \delta_x(dy)$. Then
$$ \tilde{\gamma}(dx, \mathbb{R}^d) = \frac{i}{N}\gamma(dx, \mathbb{R}^d) + \left(1 - \frac{i}{N}\right) \mu(dx) \delta_x(\mathbb{R}^d) = \frac{i}{N}\mu_i(dx) + \left(1 - \frac{i}{N}\right) \mu(dx) = \mu_N^{i,1}(dx) $$

$$ \tilde{\gamma}(\mathbb{R}^d, dy) = \frac{i}{N}\gamma(\mathbb{R}^d, dy) + \left(1 - \frac{i}{N}\right) \mu(dy) \delta_y(\mathbb{R}^d) = \frac{i}{N}\mu(dy) + \left(1 - \frac{i}{N}\right) \mu(dy) = \mu(dy). $$

Therefore

$$ W_{\ell}^{\ell \vee 1}(\mu_N^{i,1}, \mu) \leq \int_{\mathbb{R}^d \times \mathbb{R}^d} |x - y|^{\ell} \tilde{\gamma}(dx, dy) = \frac{i}{N} \int_{\mathbb{R}^d \times \mathbb{R}^d} |x - y|^{\ell} \gamma(dx, dy). \quad (2.40) $$

Taking the infimum over $\gamma$, one has

$$ W_{\ell}(\mu_N^{i,1}, \mu) \leq \left(\frac{i}{N}\right)^{\frac{1}{\ell \vee 1}} W_{\ell}(\mu_i, \mu). $$

Finally let $\alpha \in (0, 1)$ so that

$$ \begin{aligned} \max_{0 \le i \le N} W_{\ell}(\mu_N^{i,1}, \mu) &\le \max_{1 \le i \le N} \left(\frac{i}{N}\right)^{\frac{1}{\ell \vee 1}} W_{\ell}(\mu_i, \mu) \\ &= \max_{1 \le i \le \lfloor \alpha N \rfloor} \left(\frac{i}{N}\right)^{\frac{1}{\ell \vee 1}} W_{\ell}(\mu_i, \mu) + \max_{\lfloor \alpha N \rfloor < i \le N} \left(\frac{i}{N}\right)^{\frac{1}{\ell \vee 1}} W_{\ell}(\mu_i, \mu) \\ &\le \alpha^{\frac{1}{\ell \vee 1}} \sup_i W_{\ell}(\mu_i, \mu) + \max_{\lfloor \alpha N \rfloor < i \le N} W_{\ell}(\mu_i, \mu). \end{aligned} $$

Since we have proved that $\lim_{N \to \infty} W_{\ell}(\mu_N, \mu) = 0$, for fixed $\alpha$ the last term goes to 0 as $N$ goes to infinity while the first one is arbitrarily small for $\alpha$ small and so (2.37) is proved.

By replacing $|x - y|^{\ell}$ with $1 \wedge |x - y|$ in (2.38) and (2.40), we can do exactly the same for $\ell = 0$.

### SECOND STEP
Let us define

$$ I_N = \min \left\{ 1 \le i \le N : \exists s \in [0, 1] : W_{\ell}(\mu_N^{i,s}, \mu) \ge r \right\} \wedge (N+1) $$

and let us introduce the filtration $(\mathcal{F}_i = \sigma(X_1, \dots, X_i))_{i \ge 1}$ for which $I_N$ is a stopping time. According to the first step, under the convention $\min \emptyset = +\infty$, $I_N$ is a.s. equal to $N+1$ for each $N \ge N^*$ for a random variable $N^*$ taking integers values. This stopping time allows to introduce in the proof the linear functional derivative associated to $U$ since by Hypothesis **RU1** it is well defined in the ball of radius $r$ and center $\mu$.

For $N \ge N^*$, by Lemma 2, we have

$$ U(\mu_N) - U(\mu) = \sum_{i=1}^{N} (U(\mu_N^{i,1}) - U(\mu_N^{i,0})) = \sum_{i=1}^{N} \int_{0}^{1} ds \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) \frac{(\delta_{X_i} - \mu)(dx)}{N}. $$

Setting

$$ Q_N := \frac{1}{N} \sum_{i=1}^{N} \left( \frac{\delta U}{\delta m}(\mu_N^{i \wedge I_N, 0}, X_i) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu_N^{i \wedge I_N, 0}, x) \mu(dx) \right), $$

we deduce that for $N \ge N^*$, $U(\mu_N) - U(\mu) - Q_N$ coincides with

$$ R_N = \frac{1}{N} \sum_{i=1}^{N} \int_{0}^{1} ds \int_{\mathbb{R}^d} \left( \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right) (\delta_{X_i} - \mu)(dx). $$
Let us therefore consider the following decomposition:

$$ \sqrt{N}(U(\mu_N) - U(\mu)) = \sqrt{N}(U(\mu_N) - U(\mu) - Q_N) + \sqrt{N}Q_N. $$

We will see that the first term will go to 0 in probability (third step) while the second one will converge in distribution to a normal random variable (fourth step).

**THIRD STEP** Let us first prove the convergence in probability of $\sqrt{N}(U(\mu_N) - U(\mu) - Q_N)$ to 0. By definition we need to prove that $\forall \epsilon > 0$

$$ \lim_{N \to \infty} \mathbb{P} \left( \sqrt{N} |U(\mu_N) - U(\mu) - Q_N| \ge \epsilon \right) = 0. $$

One has

$$ \begin{aligned} & \{\sqrt{N}|U(\mu_N) - U(\mu) - Q_N| \ge \epsilon\} \\ = & (\{\sqrt{N}|U(\mu_N) - U(\mu) - Q_N| \ge \epsilon\} \cap \{N \ge N^*\}) \dot{\cup} (\{\sqrt{N}|U(\mu_N) - U(\mu) - Q_N| \ge \epsilon\} \cap \{N < N^*\}) \\ \subseteq & (\{\sqrt{N}|U(\mu_N) - U(\mu) - Q_N| \ge \epsilon\} \cap \{N \ge N^*\}) \dot{\cup} \{N < N^*\}. \end{aligned} $$

Therefore

$$ \mathbb{P} \left( \sqrt{N} |U(\mu_N) - U(\mu) - Q_N| \ge \epsilon \right) \le \mathbb{P} (N < N^*) + \mathbb{P} \left( \sqrt{N} 1_{N \ge N^*} |U(\mu_N) - U(\mu) - Q_N| \ge \epsilon \right). $$

Since $\lim_{N \to \infty} \mathbb{P}(N < N^*) = 0$, it is sufficient to prove the almost sure convergence of $\sqrt{N}R_N$ to 0. One has

$$ \begin{aligned} |R_N| & \le \frac{1_{N \ge N^*}}{N} \sum_{i=1}^{N} \int_{0}^{1} ds \int_{\mathbb{R}^d} \left| \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right| |\delta X_i - \mu|(dx) \\ & \le \frac{1_{N \ge N^*}}{N} \sum_{i=1}^{N} \int_{0}^{1} ds \int_{\mathbb{R}^d} \left| \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right| (\delta X_i + \mu)(dx). \end{aligned} $$

By Assumption **RU6**, $\exists C < \infty$, $\exists \alpha \in (\frac{1}{2}, 1]$ such that for $N \ge N^*$

$$ \left| \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right| \le C(1 + |x|^{\frac{\ell}{2}}) \left( \int_{\mathbb{R}^d} \left( 1 + |y|^{\frac{\ell}{2\alpha}} \right) |\mu_N^{i,s} - \mu_N^{i,0}|(dy) \right)^{\alpha} $$

with

$$ |\mu_N^{i,s} - \mu_N^{i,0}|(dy) \le \frac{s}{N}(\delta_{X_i} + \mu)(dy). $$

Substituting the above quantity and using the subadditivity of $x \mapsto x^\alpha$ one obtains

$$ \begin{aligned} \left| \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right| & \le C \left( (1 + |x|^{\frac{\ell}{2}}) \left( 2 + \int_{\mathbb{R}^d} |y|^{\frac{\ell}{2\alpha}} (\delta_{X_i} + \mu)(dy) \right)^{\alpha} \left( \frac{s}{N} \right)^{\alpha} \right) \\ & \le \frac{C}{N^\alpha} (1 + |x|^{\frac{\ell}{2}}) \left( 2^\alpha + |X_i|^{\frac{\ell}{2}} + \left( \int_{\mathbb{R}^d} |y|^{\frac{\ell}{2\alpha}} \mu(dy) \right)^{\alpha} \right) \\ & \le \frac{C^*}{N^\alpha} (1 + |x|^{\frac{\ell}{2}}) \left( 1 + |X_i|^{\frac{\ell}{2}} \right) \end{aligned} $$

where we used (2.22) to obtain the last inequality with $C^*$ a finite constant. Therefore
$$
\begin{align*}
|R_N| &\le \frac{C^*}{N^{\alpha+1}} \sum_{i=1}^{N} \int_{\mathbb{R}^d} \left(1 + |x|^{\frac{\ell}{2}}\right) \left(1 + |X_i|^{\frac{\ell}{2}}\right) (\delta_{X_i} + \mu)(dx) \\
&= \frac{C^*}{N^{\alpha+1}} \sum_{i=1}^{N} \left(1 + |X_i|^{\frac{\ell}{2}}\right) \left(2 + |X_i|^{\frac{\ell}{2}} + \int_{\mathbb{R}^d} |x|^{\frac{\ell}{2}} \mu(dx)\right) \\
&= \frac{C^*}{N^{\alpha+1}} \sum_{i=1}^{N} \left(2 + \int_{\mathbb{R}^d} |x|^{\frac{\ell}{2}} \mu(dx) + \left(3 + \int_{\mathbb{R}^d} |x|^{\frac{\ell}{2}} \mu(dx)\right) |X_i|^{\frac{\ell}{2}} + |X_i|^{\ell}\right) \\
&\le \frac{C_1}{N^{\alpha}} + \frac{C_2}{N^{\alpha}} \int_{\mathbb{R}^d} |y|^{\ell} \mu_N(dy)
\end{align*}
$$

for some positive constants $C_1$ and $C_2$. Therefore one has

$$
\sqrt{N}|R_N| \leq \frac{C_1}{N^{\alpha - \frac{1}{2}}} + \frac{C_2}{N^{\alpha - \frac{1}{2}}} \int_{\mathbb{R}^d} |y|^\ell \mu_N(dy)
$$

and since $\alpha > \frac{1}{2}$ and $\lim_{N \to \infty} \int_{\mathbb{R}^d} |y|^\ell \mu_N(dy) = \int_{\mathbb{R}^d} |y|^\ell \mu(dy)$, we can conclude that the left-hand side goes to 0 as $N$ goes to infinity and so the third step is concluded.

**FOURTH STEP** As previously mentioned, we will now proceed to prove the convergence in distribution of $\sqrt{N}Q_N$ to a Gaussian random variable.

Remember that

$$
\sqrt{N}Q_N = \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( \frac{\delta U}{\delta m}(\mu_N^{i \wedge I_N, 0}, X_i) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu_N^{i \wedge I_N, 0}, x) \mu(dx) \right)
$$

and let us consider for a given $m \in B(\mu, r)$ the following Poisson equation

$$
F(m, x) - PF(m, x) = \frac{\delta U}{\delta m}(m, x) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(m, y) \mu(dy), \quad x \in \mathbb{R}^d. \quad (2.41)
$$

By Proposition 4 we know that it admits a solution. Thanks to that, we are able to rewrite
$\sqrt{N}Q_N$ as

$$
\begin{align*}
\sqrt{N}Q_N &= \frac{1}{\sqrt{N}} \sum_{i=1}^{N} \left( F\left(\mu_N^{i \wedge I_N, 0}, X_i\right) - PF\left(\mu_N^{i \wedge I_N, 0}, X_i\right) \right) \\
&= \frac{1}{\sqrt{N}} \left( \sum_{i=1}^{N} F\left(\mu_N^{i \wedge I_N, 0}, X_i\right) - \sum_{i=2}^{N} F\left(\mu_N^{(i-1) \wedge I_N, 0}, X_i\right) \right) \\
&\quad + \frac{1}{\sqrt{N}} \left( \sum_{i=2}^{N} F\left(\mu_N^{(i-1) \wedge I_N, 0}, X_i\right) - \sum_{i=2}^{N+1} PF\left(\mu_N^{(i-1) \wedge I_N, 0}, X_{i-1}\right) \right) \\
&= K_{0,N} + K_{1,N} + K_{2,N} + K_{3,N}
\end{align*}
$$

with
$$K_{0,N} = \frac{F(\mu, X_1)}{\sqrt{N}},$$

$$K_{1,N} = \frac{1}{\sqrt{N}} \sum_{i=2}^{N} \left( F\left(\mu_{N}^{i \wedge I_{N}, 0}, X_{i}\right) - F\left(\mu_{N}^{(i-1) \wedge I_{N}, 0}, X_{i}\right) \right),$$

$$K_{2,N} = - \frac{PF\left(\mu_{N}^{N \wedge I_{N}, 0}, X_{N}\right)}{\sqrt{N}},$$

$$K_{3,N} = \frac{1}{\sqrt{N}} \sum_{i=2}^{N} \left( F\left(\mu_{N}^{(i-1) \wedge I_{N}, 0}, X_{i}\right) - PF\left(\mu_{N}^{(i-1) \wedge I_{N}, 0}, X_{i-1}\right) \right).$$

The idea now is to study the convergence of $K_{i,N}$ for $i = 0, \dots, 3$. We will see that $K_{0,N}$, $K_{1,N}$ and $K_{2,N}$ go to 0 in probability as $N$ goes to infinity while $K_{3,N}$ is the term providing the convergence in distribution to a Gaussian random variable. By Slutsky's theorem, we can therefore obtain the limit of $\sqrt{N}Q_N$ (same as the limit of $K_{3,N}$) and conclude the proof.

## Convergence of $K_{0,N} + K_{1,N} + K_{2,N}$ to 0 in probability

The almost sure convergence (and so in probability) of $K_{0,N}$ to 0 is immediate.

For what concerns the convergence in probability of $K_{1,N}$ to 0, following the same idea used in the third step, it is sufficient to prove the almost sure convergence of $1_{N \ge N^*} |K_{1,N}|$ to 0. Therefore

$$1_{N \ge N^*} |K_{1,N}| = \left| \frac{1_{N \ge N^*}}{\sqrt{N}} \sum_{i=2}^{N} \left( F\left(\mu_{N}^{i \wedge I_{N}, 0}, X_{i}\right) - F\left(\mu_{N}^{(i-1) \wedge I_{N}, 0}, X_{i}\right) \right) \right| \quad (2.42)$$

$$\le \frac{1_{N \ge N^*}}{\sqrt{N}} \sum_{i=2}^{N} \left| F\left(\mu_{N}^{i, 0}, X_{i}\right) - F\left(\mu_{N}^{i-1, 0}, X_{i}\right) \right| \quad (2.43)$$

$$\le \frac{1_{N \ge N^*}}{\sqrt{N}} \sum_{i=2}^{N} \left\| F\left(\mu_{N}^{i, 0}, \cdot\right) - F\left(\mu_{N}^{i-1, 0}, \cdot\right) \right\|_{\sqrt{V}} \sqrt{V(X_i)}. \quad (2.44)$$

By (2.36), observing that $\mu_N^{i,0} - \mu_N^{i-1,0} = \frac{1}{N}(\delta_{X_{i-1}} - \mu)$, one obtains

$$\begin{aligned} \left\| F\left(\mu_{N}^{i, 0}, \cdot\right) - F\left(\mu_{N}^{i-1, 0}, \cdot\right) \right\|_{\sqrt{V}} & \le 1_{N \ge N^*} \bar{C}_{\frac{1}{2}} \left( \int_{\mathbb{R}^d} \left(1 + |y|^{\frac{\ell}{2\alpha}}\right) |\mu_N^{i-1,0} - \mu_N^{i,0}|(dy) \right)^{\alpha} \\ & \le 1_{N \ge N^*} \bar{C}_{\frac{1}{2}} \frac{1}{N^{\alpha}} \left( 2 + \int_{\mathbb{R}^d} |y|^{\frac{\ell}{2\alpha}} \delta_{X_{i-1}}(dy) + \int_{\mathbb{R}^d} |y|^{\frac{\ell}{2\alpha}} \mu(dy) \right)^{\alpha} \\ & \le 1_{N \ge N^*} \bar{C}_{\frac{1}{2}}^* \frac{1}{N^{\alpha}} \left( |X_{i-1}|^{\frac{\ell}{2}} + 1 \right). \end{aligned}$$

where we used (2.22) and the subadditivity of $x \mapsto x^\alpha$ to obtain the last inequality with $\bar{C}_{\frac{1}{2}}^*$ a finite constant. Therefore plugging this inequality in (2.44), we obtain the following estimation for $1_{N \ge N^*} |K_{1,N}|$

$$\begin{aligned} 1_{N \ge N^*} |K_{1,N}| & \le \frac{1_{N \ge N^*} \bar{C}_{\frac{1}{2}}^*}{N^{\alpha + \frac{1}{2}}} \sum_{i=2}^{N} \left( |X_{i-1}|^{\frac{\ell}{2}} + 1 \right) \sqrt{V(X_i)} \\ & = 1_{N \ge N^*} \bar{C}_{\frac{1}{2}}^* \left( \frac{1}{N^{\alpha + \frac{1}{2}}} \sum_{i=2}^{N} |X_{i-1}|^{\frac{\ell}{2}} \sqrt{V(X_i)} + \frac{1}{N^{\alpha - \frac{1}{2}}} \times \frac{1}{N} \sum_{i=2}^{N} \sqrt{V(X_i)} \right) \\ & \le 1_{N \ge N^*} \bar{C}_{\frac{1}{2}}^* \left( \frac{1}{2N^{\alpha - \frac{1}{2}}} \times \frac{1}{N} \sum_{i=2}^{N} |X_{i-1}|^{\ell} + \frac{1}{N^{\alpha - \frac{1}{2}}} \times \frac{1}{N} \sum_{i=2}^{N} V(X_i) + \frac{N-1}{2N^{\alpha + \frac{1}{2}}} \right). \end{aligned}$$
Since $\alpha > \frac{1}{2}$, $\frac{1}{N} \sum_{i=2}^{N} |X_{i-1}|^\ell$ converges a.s. to $\int_{\mathbb{R}^d} |x|^\ell \mu(dx)$ and $\frac{1}{N} \sum_{i=2}^{N} V(X_i)$ converges a.s. to $\mu(V)$, we can conclude that $K_{1,N}$ goes to 0 in probability.

Finally let us prove the convergence of $K_{2,N}$ to 0 in probability. Still in this case it is sufficient to prove that $1_{N \ge N^*} |K_{2,N}|$ converges in probability to 0. By (2.34) we have

$$ 
\begin{aligned}
1_{N \ge N^*} |K_{2,N}| &= \frac{1_{N \ge N^*}}{\sqrt{N}} |PF(\mu_N^{N,0}, X_N)| \le \frac{1_{N \ge N^*}}{\sqrt{N}} \|F(\mu_N^{N,0}, \cdot)\|_{\sqrt{V}} \int_{\mathbb{R}^d} \sqrt{V(x)} P(X_N, dx) \\
&= \frac{1_{N \ge N^*}}{\sqrt{N}} \|F(\mu_N^{N,0}, \cdot)\|_{\sqrt{V}} P\sqrt{V}(X_N) \le \frac{1_{N \ge N^*}}{\sqrt{N}} \bar{C}_{\frac{1}{2}} (\sqrt{K_1} \sqrt{V(X_N)} + \sqrt{K_2})
\end{aligned}
$$

where we applied (2.15) to obtain the last inequality. We can therefore conclude that the right-hand side goes to 0 as $N$ goes to infinity by observing that by Theorem 21, $\bar{V}_N := \frac{1}{N} \sum_{i=1}^{N} V(X_i)$ converges almost surely to $\mu(V)$ and consequently

$$ \sqrt{\frac{V(X_N)}{N}} = \sqrt{\bar{V}_N - \frac{N-1}{N} \bar{V}_{N-1}} \to 0 \text{ a.s.} $$

### Convergence in distribution of $K_{3,N}$

To study the convergence in distribution of $K_{3,N}$, we apply the Central Limit Theorem for martingales (see Corollary 3.1 [31]). First we need to prove a square integrable martingale property and then that the Bracket condition and the Lindeberg condition hold. Let us recall the expression of $K_{3,N}$

$$ K_{3,N} = \frac{1}{\sqrt{N}} \sum_{i=2}^{N} \left( F\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_i\right) - PF\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1}\right) \right). $$

For $i = 2, \dots, N$ let

$$ Y_{N,i} = \frac{1}{\sqrt{N}} \left( F\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_i\right) - PF\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1}\right) \right). $$

We will start by **checking that** $\mathbb{E}(Y_{N,i}|\mathcal{F}_{i-1}) = 0$. Since $\mu_N^{i\wedge I_{N,0}} = \sum_{j=1}^{i-1} 1_{\{I_N=j\}} \mu_N^{j,0} + 1_{\{I_N>i-1\}} \mu_N^{i,0}$ is $\mathcal{F}_{i-1}$-measurable, one has

$$ 
\begin{aligned}
\mathbb{E}(Y_{N,i}|\mathcal{F}_{i-1}) &= \frac{1}{\sqrt{N}}\mathbb{E}\left(F\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_i\right) - PF\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1}\right)|\mathcal{F}_{i-1}\right) \\
&= \frac{1}{\sqrt{N}}\left(\mathbb{E}\left(F\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_i\right)|\mathcal{F}_{i-1}\right) - \mathbb{E}\left(F\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_i\right)|\mathcal{F}_{i-1}\right)\right) = 0.
\end{aligned}
$$

For what concerns the **square integrability**, it is sufficient to check that

$$ \mathbb{E}\left(F^2\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_i\right)\right) < \infty. $$

By (2.34)

$$ \mathbb{E}\left(F^2\left(\mu_N^{(i-1)\wedge I_{N,0}}, X_i\right)\right) \le \mathbb{E}\left(\left\|F\left(\mu_N^{(i-1)\wedge I_{N,0}}, \cdot\right)\right\|_{\sqrt{V}}^2\left(\sqrt{V(X_i)}\right)^2\right) \le \bar{C}_{\frac{1}{2}}^2 \mathbb{E}(V(X_i)) $$

where $\mathbb{E}(V(X_i)) \le \gamma^{i-1}\nu_1(V) + K \sum_{\ell=0}^{i-2} \gamma^\ell$ and so by Lemma 3, the right-hand side is finite.

Let us now study the **convergence of** $\sum_{i=2}^{N} \mathbb{E}(Y_{N,i}^2 | \mathcal{F}_{i-1})$:
$$
\begin{align*}
& \sum_{i=2}^{N} \mathbb{E} (Y_{N,i}^2 | \mathcal{F}_{i-1}) \\
&= \frac{1}{N} \sum_{i=2}^{N} \mathbb{E} \left( F^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_i \right) + (PF)^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) | \mathcal{F}_{i-1} \right) \\
&\quad - \frac{1}{N} \sum_{i=2}^{N} \mathbb{E} \left( 2F \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_i \right) PF \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) | \mathcal{F}_{i-1} \right) \\
&= \frac{1}{N} \sum_{i=2}^{N} PF^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) - \frac{1}{N} \sum_{i=2}^{N} (PF)^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right)
\end{align*}
$$

Before studying the behavior of the above quantity, let us observe that the convergence of $\sup_{x \in \mathbb{R}^d} \frac{|\frac{\delta U}{\delta m}(\tilde{\mu}, x) - \frac{\delta U}{\delta m}(\mu, x)|}{1 + |x|^{\frac{\ell}{2}}}$ to 0 when $W_\ell(\tilde{\mu}, \mu)$ goes to 0 together with the a.s. convergence of $\max_{1 \le i \le N} W_\ell(\mu_N^{i,0}, \mu)$ to 0 imply the existence of a sequence of random variables $(\epsilon_N)_{N \ge 0}$ converging a.s. to 0 as $N \to \infty$ such that

$$
\forall 1 \le i \le N \quad \left| \frac{\delta U}{\delta m} \left( \mu_N^{i \wedge I_N, 0}, x \right) - \frac{\delta U}{\delta m} \left( \mu, x \right) \right| \le \left( 1 + |x|^{\frac{\ell}{2}} \right) \epsilon_N. \quad (2.45)
$$

With (2.35) and L3, we deduce that

$$
\left\| F \left( \mu_N^{i \wedge I_N, 0}, \cdot \right) - F \left( \mu, \cdot \right) \right\|_{\sqrt{V}} \le \bar{C}_{\frac{1}{2}} \epsilon_N \sup_{x \in \mathbb{R}^d} \frac{1 + |x|^{\frac{\ell}{2}}}{\sqrt{V(x)}} \le \bar{C}_{\frac{1}{2}} \left( 1 + \sqrt{C_\ell} \right) \epsilon_N. \quad (2.46)
$$

**First Component** We can rewrite the first component in the following way

$$
\begin{align*}
& \frac{1}{N} \sum_{i=2}^{N} PF^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) \\
&= \frac{1}{N} \sum_{i=2}^{N} \left( PF^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) - PF^2 \left( \mu, X_{i-1} \right) \right) + \frac{1}{N} \sum_{i=2}^{N} PF^2 \left( \mu, X_{i-1} \right).
\end{align*}
$$

Since by (2.13)

$$
\| PF^2 (\mu, \cdot) \|_V \le \| F^2 (\mu, \cdot) \|_V \sup_{x \in \mathbb{R}^d} \frac{PV(x)}{V(x)} < \infty, \quad (2.47)
$$

by Theorem 21 we obtain that

$$
\lim_{N \to \infty} \frac{1}{N} \sum_{i=2}^{N} PF^2 (\mu, X_{i-1}) = \mu(PF^2 (\mu, \cdot)) = \mu(F^2 (\mu, \cdot)) \quad \text{a.s.}
$$

where for the last equality we used the invariance of $\mu$ with respect to $P$. On the other hand

$$
\left| \frac{1}{N} \sum_{i=2}^{N} \left( PF^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) - PF^2 \left( \mu, X_{i-1} \right) \right) \right| \\
\le \frac{1}{N} \sum_{i=2}^{N} \int_{\mathbb{R}^d} \left| F^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, x \right) - F^2 \left( \mu, x \right) \right| P(X_{i-1}, dx)
$$
$$
\begin{align*}
&\le \frac{1}{N} \sum_{i=2}^{N} \int_{\mathbb{R}^d} \left( F\left(\mu_N^{(i-1)\wedge I_N, 0}, x\right) - F(\mu, x) \right)^2 P(X_{i-1}, dx) \\
&\quad + \frac{2}{N} \sum_{i=2}^{N} \int_{\mathbb{R}^d} |F(\mu, x)| \left| F\left(\mu_N^{(i-1)\wedge I_N, 0}, x\right) - F(\mu, x) \right| P(X_{i-1}, dx) \\
&\le \frac{1}{N} \sum_{i=2}^{N} \left\| F\left(\mu_N^{(i-1)\wedge I_N, 0}, \cdot\right) - F(\mu, \cdot) \right\|_{\sqrt{V}}^2 PV(X_{i-1}) \\
&\quad + \frac{2}{N} \sum_{i=2}^{N} \left\| F(\mu, \cdot) \right\|_{\sqrt{V}} \left\| F\left(\mu_N^{(i-1)\wedge I_N, 0}, \cdot\right) - F(\mu, \cdot) \right\|_{\sqrt{V}} PV(X_{i-1}) \\
&\le \epsilon_N \left( \bar{C}_{\frac{1}{2}}^2 \left(1 + \sqrt{C_\ell}\right)^2 \epsilon_N + 2\bar{C}_{\frac{1}{2}}^2 \left(1 + \sqrt{C_\ell}\right) \right) \frac{1}{N} \sum_{i=2}^{N} (K_1 V(X_{i-1}) + K_2)
\end{align*}
$$

where we used (2.46), (2.34) and (2.13). Therefore the right-hand side goes to 0 since $\frac{1}{N} \sum_{i=2}^{N} V(X_{i-1})$ converges to $\mu(V)$ and $\epsilon_N$ goes to 0 a.s..

**Second Component** As before, we can rewrite the second component in the following way

$$
\begin{align*}
& \frac{1}{N} \sum_{i=2}^{N} (PF)^2 (\mu_N^{(i-1)\wedge I_N, 0}, X_{i-1}) \\
& = \frac{1}{N} \sum_{i=2}^{N} \left( (PF)^2 (\mu_N^{(i-1)\wedge I_N, 0}, X_{i-1}) - (PF)^2 (\mu, X_{i-1}) \right) + \frac{1}{N} \sum_{i=2}^{N} (PF)^2 (\mu, X_{i-1}).
\end{align*}
$$

By (2.47) and Jensen's inequality $\|(PF)^2(\mu, \cdot)\|_V < \infty$, therefore by Theorem 21

$$
\frac{1}{N} \sum_{i=2}^{N} (PF)^2 (\mu, X_{i-1}) = \mu((PF)^2 (\mu, \cdot)) \quad \text{a.s..}
$$

On the other hand

$$
\begin{align*}
& \left| \frac{1}{N} \sum_{i=2}^{N} \left( (PF)^2 (\mu_N^{(i-1)\wedge I_N, 0}, X_{i-1}) - (PF)^2 (\mu, X_{i-1}) \right) \right| \\
&\le \frac{1}{N} \sum_{i=2}^{N} \left( PF \left( \mu_N^{(i-1)\wedge I_N, 0}, X_{i-1} \right) - PF(\mu, X_{i-1}) \right)^2 \\
&\quad + \frac{2}{N} \sum_{i=2}^{N} |PF(\mu, X_{i-1})| \left| PF \left( \mu_N^{(i-1)\wedge I_N, 0}, X_{i-1} \right) - PF(\mu, X_{i-1}) \right| \\
&\le \frac{1}{N} \sum_{i=2}^{N} \left( \left\| F \left( \mu_N^{(i-1)\wedge I_N, 0}, \cdot \right) - F(\mu, \cdot) \right\|_{\sqrt{V}} \left( P\sqrt{V}(X_{i-1}) \right) \right)^2 \\
&\quad + \frac{2}{N} \sum_{i=2}^{N} \left\| F(\mu, \cdot) \right\|_{\sqrt{V}} \left\| F \left( \mu_N^{(i-1)\wedge I_N, 0}, \cdot \right) - F(\mu, \cdot) \right\|_{\sqrt{V}} \left( P\sqrt{V}(X_{i-1}) \right)^2 \\
&\le \epsilon_N \left( \bar{C}_{\frac{1}{2}}^2 \left(1 + \sqrt{C_\ell}\right)^2 \epsilon_N + 2\bar{C}_{\frac{1}{2}}^2 \left(1 + \sqrt{C_\ell}\right) \right) \frac{1}{N} \sum_{i=2}^{N} \left( \sqrt{K_1} \sqrt{V(X_{i-1})} + \sqrt{K_2} \right)^2.
\end{align*}
$$
The right-hand side goes to 0 as $N$ goes to infinity since $\epsilon_N$ goes to 0 a.s. and, by Theorem 21, $\frac{1}{N} \sum_{i=2}^{N} V(X_{i-1})$ converges to $\mu(V)$ and $\frac{1}{N} \sum_{i=2}^{N} \sqrt{V(X_{i-1})}$ converges to $\mu(\sqrt{V})$. In conclusion we have proved that almost surely

$$ \frac{1}{N} \sum_{i=2}^{N} \left( PF^2 \left( \mu_{N}^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) - (PF)^2 \left( \mu_{N}^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) \right) \underset{N \to \infty}{\longrightarrow} \mu(F^2(\mu, \cdot)) - \mu((PF)^2(\mu, \cdot)). \quad (2.48) $$

To finally conclude that $K_{3,N} = \sum_{i=2}^{N} Y_{N,i} \stackrel{d}{\Longrightarrow} \mathcal{N}(0, \mu(F^2(\mu, \cdot)) - \mu((PF)^2(\mu, \cdot)))$, it remains just to verify that the **Lindeberg condition** holds.

We need to check that for $\epsilon > 0$, $\sum_{i=2}^{N} \mathbb{E}(Y_{N,i}^2 1_{\{Y_{N,i}^2 > \epsilon\}} | \mathcal{F}_{i-1})$ goes to 0 in probability as $N$ goes to infinity. By Jensen's inequality, (2.13) and (2.34) we obtain

$$ \begin{aligned} NY_{N,i}^2 &= \left( F \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_i \right) - PF \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) \right)^2 \\ &\le 2F^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_i \right) + 2PF^2 \left( \mu_N^{(i-1)\wedge I_{N,0}}, X_{i-1} \right) \\ &\le 2 \left\| F \left( \mu_N^{(i-1)\wedge I_{N,0}}, \cdot \right) \right\|_{\sqrt{V}}^2 V(X_i) + 2 \left\| F \left( \mu_N^{(i-1)\wedge I_{N,0}}, \cdot \right) \right\|_{\sqrt{V}}^2 PV(X_{i-1}) \\ &\le 2\bar{C}_{\frac{1}{2}}^2 (V(X_i) + K_1V(X_{i-1}) + K_2) \le 2L\bar{C}_{\frac{1}{2}}^2 (1 + V(X_i) + V(X_{i-1})) \end{aligned} $$

where $L$ is a finite constant. As, for $a, b, c, g \in \mathbb{R}_+$

$$ \begin{aligned} (a+b+c) 1_{\{a+b+c \ge g\}} &= (a+b+c) \left( 1_{\{a>b,a>c,a+b+c \ge g\}} + 1_{\{b \ge a,b>c,a+b+c \ge g\}} + 1_{\{c \ge a,c \ge b,a+b+c \ge g\}} \right) \\ &\le 3a1_{\{a>b,a>c,a+b+c \ge g\}} + 3b1_{\{b \ge a,b>c,a+b+c \ge g\}} + 3c1_{\{c \ge a,c \ge b,a+b+c \ge g\}} \\ &\le 3a1_{\{a \ge \frac{g}{3}\}} + 3b1_{\{b \ge \frac{g}{3}\}} + 3c1_{\{c \ge \frac{g}{3}\}}, \end{aligned} $$

it is enough to check that for each $\epsilon > 0$

$$ \frac{N-1}{N} 1_{\{\frac{1}{N}>\epsilon\}} + \sum_{i=2}^{N} \mathbb{E} \left( \frac{V(X_i)}{N} 1_{\{\frac{V(X_i)}{N}>\epsilon\}} | \mathcal{F}_{i-1} \right) + \sum_{i=2}^{N} \frac{V(X_{i-1})}{N} 1_{\{\frac{V(X_{i-1})}{N}>\epsilon\}} $$

goes to 0 in probability as $N$ goes to infinity.

It is immediate to prove that the **first component** goes to 0. For the **second component** let us observe that

$$ \begin{aligned} \mathbb{E} \left( \sum_{i=2}^{N} \mathbb{E} \left( \frac{V(X_i)}{N} 1_{\left\{ \frac{V(X_i)}{N} > \epsilon \right\}} | \mathcal{F}_{i-1} \right) \right) &= \sum_{i=2}^{N} \mathbb{E} \left( \frac{V(X_i)}{N} 1_{\left\{ \frac{V(X_i)}{N} > \epsilon \right\}} \right) \\ &= \sum_{i=2}^{N} \int_{\mathbb{R}^d} \frac{V(x)}{N} 1_{\left\{ \frac{V(x)}{N} > \epsilon \right\}} \nu_1 P^{i-1}(dx) \\ &= \sum_{i=2}^{N} \int_{\mathbb{R}^d} \frac{V(x)}{N} 1_{\left\{ \frac{V(x)}{N} > \epsilon \right\}} \left( \nu_1 P^{i-1}(dx) - \mu(dx) \right) \\ &\quad + \frac{N-1}{N} \int_{\mathbb{R}^d} V(x) 1_{\left\{ \frac{V(x)}{N} > \epsilon \right\}} \mu(dx) \\ &= \sum_{i=2}^{N} \int_{\mathbb{R}^d} \nu_1(dy) \int_{\mathbb{R}^d} \frac{V(x)}{N} 1_{\left\{ \frac{V(x)}{N} > \epsilon \right\}} \left( P^{i-1}(y, dx) - \mu(dx) \right) \\ &\quad + \frac{N-1}{N} \int_{\mathbb{R}^d} V(x) 1_{\left\{ \frac{V(x)}{N} > \epsilon \right\}} \mu(dx). \end{aligned} $$
We can apply (2.11) and deduce that

$$ \sum_{i=2}^{N} \int_{\mathbb{R}^d} \nu_1(dy) \int_{\mathbb{R}^d} \frac{V(x)}{N} \mathbb{1}_{\left\{\frac{V(x)}{N} > \epsilon\right\}} \left(P^{i-1}(y, dx) - \mu(dx)\right) \\ \leq R \left\| \frac{V(\cdot)}{N} \mathbb{1}_{\left\{\frac{V(\cdot)}{N} > \epsilon\right\}} \right\|_{V} \nu_1(V) \times \sum_{i=2}^{N} r^{i-1} \leq \frac{R \nu_1(V)}{N(1-r)}. $$

Thus

$$ \mathbb{E} \left( \sum_{i=2}^{N} \mathbb{E} \left( \frac{V(X_i)}{N} \mathbb{1}_{\left\{\frac{V(X_i)}{N} > \epsilon\right\}} | \mathcal{F}_{i-1} \right) \right) \leq \frac{R}{N} \frac{\nu_1(V)}{1-r} + \frac{N-1}{N} \int_{\mathbb{R}^d} V(x) \mathbb{1}_{\left\{\frac{V(x)}{N} > \epsilon\right\}} \mu(dx). $$

By Lemma 3, it is enough to suppose that $\nu_1(V) < \infty$ and the first term goes to 0. The second term goes to 0 by Lebesgue's theorem since $\mu(V) < \infty$. Finally let us study the **third component**. By Theorem 21 we know that $\bar{V}_N := \frac{1}{N} \sum_{i=1}^N V(X_i)$ converges almost surely to $\mu(V)$. Therefore

$$ \frac{V(X_N)}{N} = \bar{V}_N - \frac{N-1}{N} \bar{V}_{N-1} \xrightarrow[N \to \infty]{N \to \infty} 0 \quad \text{a.s.} $$

that implies $\forall \epsilon > 0$

$$ V(X_N) \mathbb{1}_{\left\{\frac{V(X_N)}{N} > \epsilon\right\}} \xrightarrow[N \to \infty]{N \to \infty} 0 \quad \text{a.s.} $$

and taking the Cesaro mean we deduce that

$$ \lim_{N \to \infty} \frac{1}{N} \sum_{i=1}^{N} V(X_i) \mathbb{1}_{\left\{\frac{V(X_i)}{N} > \epsilon\right\}} \leq \lim_{N \to \infty} \frac{1}{N} \sum_{i=1}^{N} V(X_i) \mathbb{1}_{\left\{\frac{V(X_i)}{i} > \epsilon\right\}} = 0. $$

□

### 2.2.2 Independent Non-Equidistributed Random Variables

Before providing the proof of Theorem 17, let us observe that Hypothesis **TX** implies the Lindeberg condition.

**Lemma 5.** Hypothesis **TX** implies that

$$ \forall \epsilon > 0, \lim_{N \to \infty} \frac{1}{N} \sum_{i=1}^{N} \mathbb{E} \left( |X_i|^\ell \mathbb{1}_{\{ |X_i|^\ell > N\epsilon \}} \right) = 0. \quad (2.49) $$

*Proof.* An application of Kronecker's lemma shows that **TX** implies

$$ \lim_{N \to \infty} \frac{1}{N} \sum_{i=1}^{N} \mathbb{E} \left( \left( |X_i|^\ell - i^\beta \right) \mathbb{1}_{\{ |X_i|^\ell > i^\beta \}} \right) = 0. \quad (2.50) $$

Let $\epsilon > 0$, then exists $\bar{N}_{\epsilon,\beta}$ such that for $N \geq \bar{N}_{\epsilon,\beta}$, $N^\beta \leq \frac{\epsilon N}{2}$. Therefore if $N \geq \bar{N}_{\epsilon,\beta}$, the following chain of inequalities holds for each $i = 1, \dots, N$

$$ \begin{aligned} \left( |X_i|^\ell - i^\beta \right) \mathbb{1}_{\{ |X_i|^\ell > i^\beta \}} &\geq \left( |X_i|^\ell - \frac{\epsilon N}{2} \right) \mathbb{1}_{\{ |X_i|^\ell > \epsilon N \}} \\ &\geq \frac{|X_i|^\ell}{2} \mathbb{1}_{\{ |X_i|^\ell > \epsilon N \}}. \end{aligned} $$

Taking the expectation and using (2.50) we can obtain (2.49).

□
Proof of Theorem 17. To study the limit distribution of $\sqrt{N}(U(\mu_N) - U(\mu))$, let us consider the following decomposition

$$ \sqrt{N}(U(\mu_N) - U(\mu)) = \sqrt{N}(U(\mu_N) - U(\bar{\nu}_N)) + \sqrt{N}(U(\bar{\nu}_N) - U(\mu)). \quad (2.51) $$

We will prove that

$$ \sqrt{N}(U(\mu_N) - U(\bar{\nu}_N)) \stackrel{d}{\Rightarrow} \mathcal{N} \left( 0, \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x)^2 \mu(dx) - \int_{\mathbb{R}^d \times \mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \frac{\delta U}{\delta m}(\mu, y) \eta(dx, dy) \right) $$

$$ \text{and } \sqrt{N}(U(\bar{\nu}_N) - U(\mu)) \xrightarrow[N \to \infty]{} \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x) \sigma(dx). $$

Let us start by studying the second term in the above decomposition.

**Limit of** $\sqrt{N}(U(\bar{\nu}_N) - U(\mu))$

Let us first observe that by Remark 18, Assumption 1 implies $W_\ell(\bar{\nu}_N, \mu) \xrightarrow[N \to \infty]{} 0$. Therefore one has

$$ \limsup_{N \to \infty} W_\ell(\mu + s(\bar{\nu}_N - \mu), \mu) = 0. $$

For $N$ bigger than a fixed $N_r$, by Lemma 2 we can rewrite

$$ \sqrt{N}(U(\bar{\nu}_N) - U(\mu)) = \sqrt{N} \int_0^1 ds \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu + s(\bar{\nu}_N - \mu), x)(\bar{\nu}_N - \mu)(dx). $$

Let us now prove that the above quantity tends to $\int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x)\sigma(dx)$ where $\sigma$ is the measure such that $\|\sqrt{N}(\bar{\nu}_N - \mu) - \sigma\|_\ell \xrightarrow[N \to \infty]{} 0$ (see Hypothesis 2). By the triangle inequality, for $N \ge N_r$, one has

$$ \begin{aligned} & \left| \sqrt{N} \int_0^1 ds \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu + s(\bar{\nu}_N - \mu), x)(\bar{\nu}_N - \mu)(dx) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x)\sigma(dx) \right| \\ & \le \left| \sqrt{N} \int_0^1 ds \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu + s(\bar{\nu}_N - \mu), x)(\bar{\nu}_N - \mu)(dx) - \sqrt{N} \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x)(\bar{\nu}_N - \mu)(dx) \right| \\ & \quad + \left| \sqrt{N} \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x)(\bar{\nu}_N - \mu)(dx) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x)\sigma(dx) \right|. \end{aligned} $$

Recalling that $\|\tau\|_\ell = \sup_{f:|f(x)|\le 1+|x|^\ell} \int_{\mathbb{R}^d} f(x)\tau(dx)$ for $\tau \in \mathcal{M}_\ell(\mathbb{R}^d)$, the second component of the right-hand side goes to 0 thanks to Assumption 2 and Assumption RU2. For what concerns the first component of the right-hand side, we have by Hypothesis RU5

$$ \begin{aligned} & \left| \sqrt{N} \int_0^1 ds \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu + s(\bar{\nu}_N - \mu), x)(\bar{\nu}_N - \mu)(dx) - \sqrt{N} \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu, x)(\bar{\nu}_N - \mu)(dx) \right| \\ & \le \int_0^1 ds \int_{\mathbb{R}^d} \left| \frac{\delta U}{\delta m}(\mu + s(\bar{\nu}_N - \mu), x) - \frac{\delta U}{\delta m}(\mu, x) \right| \left| \sqrt{N}(\bar{\nu}_N - \mu) \right| (dx) \\ & \le \int_0^1 ds \int_{\mathbb{R}^d} C \left( (1 + |x|^\ell) \|s(\bar{\nu}_N - \mu)\|_0^\alpha + (1 + |x|^{\ell(1-\alpha)}) \left( \int_{\mathbb{R}^d} |y|^\ell |s(\bar{\nu}_N - \mu)|(dy) \right)^\alpha \right) \left| \sqrt{N}(\bar{\nu}_N - \mu) \right| (dx) \\ & \le C \left( |\bar{\nu}_N - \mu|(\mathbb{R}^d) \right)^\alpha \cdot \int_{\mathbb{R}^d} (1 + |x|^\ell) \left| \sqrt{N}(\bar{\nu}_N - \mu) \right| (dx) \\ & \quad + C \left( \int_{\mathbb{R}^d} |y|^\ell |\bar{\nu}_N - \mu|(dy) \right)^\alpha \cdot \int_{\mathbb{R}^d} (1 + |x|^{\ell(1-\alpha)}) \left| \sqrt{N}(\bar{\nu}_N - \mu) \right| (dx). \end{aligned} $$

Since $\|\sqrt{N}(\bar{\nu}_N - \mu) - \sigma\|_\ell \xrightarrow[N \to \infty]{} 0$ implies $\|\sqrt{N}(\bar{\nu}_N - \mu) - |\sigma|\|_\ell \xrightarrow[N \to \infty]{} 0$, we can deduce that:
$$1. \int_{\mathbb{R}^d} (1 + |x|^\ell) |\sqrt{N}(\bar{\nu}_N - \mu)| (dx) \underset{N \to \infty}{\longrightarrow} \int_{\mathbb{R}^d} (1 + |x|^\ell) \sigma(dx) < \infty$$

$$2. \int_{\mathbb{R}^d} (1 + |x|^{\ell(1-\alpha)}) |\sqrt{N}(\bar{\nu}_N - \mu)| (dx) \underset{N \to \infty}{\longrightarrow} \int_{\mathbb{R}^d} (1 + |x|^{\ell(1-\alpha)}) \sigma(dx) < \infty$$

$$3. |\bar{\nu}_N - \mu|(\mathbb{R}^d) = \frac{|\sqrt{N}(\bar{\nu}_N - \mu)|(\mathbb{R}^d)}{\sqrt{N}} \underset{N \to \infty}{\longrightarrow} 0$$

$$4. \int_{\mathbb{R}^d} |y|^\ell |\bar{\nu}_N - \mu|(dy) \le \int_{\mathbb{R}^d} (1 + |y|^\ell) |\bar{\nu}_N - \mu|(dy) = \frac{\int_{\mathbb{R}^d} (1 + |y|^\ell) |\sqrt{N}(\bar{\nu}_N - \mu)|(dy)}{\sqrt{N}} \underset{N \to \infty}{\longrightarrow} 0.$$

To conclude the proof, we have to study the convergence of $\sqrt{N}(U(\mu_N) - U(\bar{\nu}_N))$ in the decomposition (2.51).

### Limit distribution of $\sqrt{N}(U(\mu_N) - U(\bar{\nu}_N))$

**FIRST STEP** Let us preliminary recall that by Remark 18, Theorem 16 implies $W_\ell(\mu_N, \mu) \underset{N \to \infty}{\longrightarrow} 0$ a.s.

Let us now define for $i = 1, \dots, N$ and $s \in [0, 1]$

$$\mu_N^{i,s} = \frac{1}{N} \sum_{j=1}^{i-1} \delta_{X_j} + \frac{s}{N} \delta_{X_i} + \frac{(1-s)}{N} \nu_i + \frac{1}{N} \sum_{j=i+1}^{N} \nu_j.$$

We have $\mu_N^{N,1} = \mu_N$ and $\mu_N^{1,0} = \bar{\nu}_N$. Moreover since for $i = 1, \dots, N-1$

$$\mu_N^{i,1} = \mu_N^{i+1,0},$$

one has

$$\sqrt{N}(U(\mu_N) - U(\bar{\nu}_N)) = \sqrt{N} \sum_{i=1}^{N} (U(\mu_N^{i,1}) - U(\mu_N^{i,0})).$$

Let us now show that

$$\max_{1 \le i \le N} \sup_{s \in [0,1]} W_\ell(\mu_N^{i,s}, \mu) \underset{N \to \infty}{\longrightarrow} 0 \quad \text{a.s.}$$

Since for $i = 1, \dots, N$ and $s \in [0, 1]$

$$\mu_N^{i,s} = s\mu_N^{i,1} + (1-s)\mu_N^{i-1,1}$$

under the convention $\mu_N^{0,1} = \mu_N^{1,0}$, we can proceed as in the first step of the proof of Theorem 25 to prove that

$$\max_{1 \le i \le N} \sup_{s \in [0,1]} W_\ell(\mu_N^{i,s}, \mu) = \max_{0 \le i \le N} W_\ell(\mu_N^{i,1}, \mu). \qquad (2.52)$$

By the triangle inequality,

$$W_\ell(\mu_N^{i,1}, \mu) \le W_\ell(\mu_N^{i,1}, \bar{\nu}_N) + W_\ell(\bar{\nu}_N, \mu) \qquad (2.53)$$

where $W_\ell(\bar{\nu}_N, \mu)$ goes to 0 as $N$ goes to infinity.

Therefore it is sufficient to prove that $\max_{0 \le i \le N} W_\ell(\mu_N^{i,1}, \bar{\nu}_N) \underset{N \to \infty}{\longrightarrow} 0$ a.s. which we are now going to do.

For $i = 1, \dots, N$
$$ \mu_N^{i,1} = \frac{i}{N}\mu_i + \frac{1}{N}\sum_{j=i+1}^{N} \nu_j. $$

Hence let $\gamma \in \Pi(\mu_i, \bar{\nu}_i)$ and define $\tilde{\gamma}(dx, dy) = \frac{i}{N}\gamma(dx, dy) + \frac{1}{N}\sum_{j=i+1}^{N} \nu_j(dx)\delta_x(dy)$ : one has $\tilde{\gamma}(dx, \mathbb{R}^d) = \mu_N^{i,1}(dx)$ and $\tilde{\gamma}(\mathbb{R}^d, dy) = \bar{\nu}_N(dy)$. If $\ell > 0$ we have

$$ \begin{aligned} W_{\ell}^{\ell \lor 1}(\mu_N^{i,1}, \bar{\nu}_N) &\le \int_{\mathbb{R}^d \times \mathbb{R}^d} |x - y|^{\ell} \tilde{\gamma}(dx, dy) \\ &= \frac{i}{N} \int_{\mathbb{R}^d \times \mathbb{R}^d} |x - y|^{\ell} \gamma(dx, dy) + \frac{1}{N} \sum_{j=i+1}^{N} \int_{\mathbb{R}^d \times \mathbb{R}^d} |x - y|^{\ell} \nu_j(dx) \delta_x(dy) \\ &= \frac{i}{N} \int_{\mathbb{R}^d \times \mathbb{R}^d} |x - y|^{\ell} \gamma(dx, dy). \end{aligned} $$

Taking the infimum over $\gamma$, one has

$$ W_{\ell}(\mu_N^{i,1}, \bar{\nu}_N) \le \left(\frac{i}{N}\right)^{\frac{1}{\ell\nu_1}} W_{\ell}(\mu_i, \bar{\nu}_i). $$

Finally let $\alpha \in (0, 1)$ so that

$$ \begin{aligned} \max_{0 \le i \le N} W_{\ell}(\mu_N^{i,1}, \bar{\nu}_N) &= \max_{1 \le i \le N} W_{\ell}(\mu_N^{i,1}, \bar{\nu}_N) \le \max_{1 \le i \le N} \left(\frac{i}{N}\right)^{\frac{1}{\ell\nu_1}} W_{\ell}(\mu_i, \bar{\nu}_i) \\ &\le \max_{1 \le i \le N} \left(\frac{i}{N}\right)^{\frac{1}{\ell\nu_1}} W_{\ell}(\mu_i, \mu) + \max_{1 \le i \le N} \left(\frac{i}{N}\right)^{\frac{1}{\ell\nu_1}} W_{\ell}(\mu, \bar{\nu}_i) \\ &\le \max_{1 \le i \le \lfloor \alpha N \rfloor} \left(\frac{i}{N}\right)^{\frac{1}{\ell\nu_1}} W_{\ell}(\mu_i, \mu) + \max_{\lfloor \alpha N \rfloor < i \le N} \left(\frac{i}{N}\right)^{\frac{1}{\ell\nu_1}} W_{\ell}(\mu_i, \mu) \\ &\quad + \max_{1 \le i \le \lfloor \alpha N \rfloor} \left(\frac{i}{N}\right)^{\frac{1}{\ell\nu_1}} W_{\ell}(\mu, \bar{\nu}_i) + \max_{\lfloor \alpha N \rfloor < i \le N} \left(\frac{i}{N}\right)^{\frac{1}{\ell\nu_1}} W_{\ell}(\mu, \bar{\nu}_i) \\ &\le \alpha^{\frac{1}{\ell\nu_1}} \sup_i W_{\ell}(\mu_i, \mu) + \alpha^{\frac{1}{\ell\nu_1}} \sup_i W_{\ell}(\mu, \bar{\nu}_i) \\ &\quad + \max_{\lfloor \alpha N \rfloor < i \le N} W_{\ell}(\mu_i, \mu) + \max_{\lfloor \alpha N \rfloor < i \le N} W_{\ell}(\mu, \bar{\nu}_i). \end{aligned} $$

For fixed $\alpha$, the sum of the two last terms goes to 0 as $N$ goes to infinity while the sum of the first two terms is arbitrarily small for $\alpha$ small. Then it is possible to conclude that the left-hand side goes to 0 almost surely.

As explained in the first step of the Theorem 25, we can adapt the reasoning to the case $\ell = 0$.

**SECOND STEP** We can now reconsider the following stopping time

$$ I_N = \min \left\{ 1 \le i \le N : \exists s \in [0, 1] : W_{\ell}(\mu_N^{i,s}, \mu) \ge r \right\} \wedge (N+1) $$

for the filtration $(F_i = \sigma(X_1, \dots, X_i))_{i \ge 1}$ where by convention $\min \emptyset = +\infty$. Proceeding exactly as in the second step of the proof of the Theorem 25 and keeping the same notations, we can obtain the following decomposition

$$ \sqrt{N}(U(\mu_N) - U(\bar{\nu}_N)) = \sqrt{N}(U(\mu_N) - U(\bar{\nu}_N) - Q_N) + \sqrt{N}Q_N $$

where

$$ Q_N := \frac{1}{N} \sum_{i=1}^{N} \left( \frac{\delta U}{\delta m}(\mu_N^{i \wedge I_N, 0}, X_i) - \int_{\mathbb{R}^d} \frac{\delta U}{\delta m}(\mu_N^{i \wedge I_N, 0}, x) \nu_i(dx) \right) $$
and for $N \ge N^*$, $U(\mu_N) - U(\bar{\nu}_N) - Q_N$ coincides with

$$R_N = \frac{1_{N \ge N^*}}{N} \sum_{i=1}^{N} \int_{0}^{1} ds \int_{\mathbb{R}^d} \left( \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right) (\delta x_i - \nu_i)(dx).$$

**THIRD STEP** Let us first prove the convergence in $L^1$ of $\sqrt{N}R_N$ to 0. By applying the same argument as in the proof of Theorem 25 this is sufficient to deduce that $\sqrt{N}(U(\mu_N) - U(\bar{\nu}_N) - Q_N)$ goes to 0 in probability.

By Assumption **RU5**, $\exists C < \infty$, $\exists \alpha \in (\frac{1}{2}, 1]$ such that for $N \ge N^*$

$$\left| \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right| \le C \left( (1 + |x|^{\ell}) \|\mu_N^{i,s} - \mu_N^{i,0}\|_{0}^{\alpha} + (1 + |x|^{\ell(\alpha-1)}) \left( \int_{\mathbb{R}^d} |y|^{\ell} |\mu_N^{i,s} - \mu_N^{i,0}|(dy) \right)^{\alpha} \right)$$

with

$$|\mu_N^{i,s} - \mu_N^{i,0}|(dy) \le \frac{s}{N}(\delta x_i + \nu_i)(dy)$$

and

$$\|\mu_N^{i,s} - \mu_N^{i,0}\|_0 = |\mu_N^{i,s} - \mu_N^{i,0}|(\mathbb{R}^d) = \frac{s}{N}|\delta x_i - \nu_i|(\mathbb{R}^d) \le \frac{s}{N}(\delta x_i + \nu_i)(\mathbb{R}^d) = \frac{2s}{N}.$$

Substituting the above quantities and using Young's inequality, one obtains

$$\begin{aligned} & \left| \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right| \\ & \le C \left( (1 + |x|^{\ell}) \left(\frac{2s}{N}\right)^{\alpha} + (1 + |x|^{\ell(1-\alpha)}) \left( \int_{\mathbb{R}^d} |y|^{\ell} (\delta x_i + \nu_i)(dy) \right)^{\alpha} \left(\frac{s}{N}\right)^{\alpha} \right) \\ & \le \frac{2^\alpha C}{N^\alpha} \left( (1 + |x|^{\ell}) + \alpha \left( |X_i|^{\ell} + \int_{\mathbb{R}^d} |y|^{\ell} \nu_i(dy) \right) + (1-\alpha) + \alpha \left( |X_i|^{\ell} + \int_{\mathbb{R}^d} |y|^{\ell} \nu_i(dy) \right) + |x|^{\ell}(1-\alpha) \right) \\ & \le \frac{2^\alpha C}{N^\alpha} \left( (1 + |x|^{\ell}) + \left( |X_i|^{\ell} + \int_{\mathbb{R}^d} |y|^{\ell} \nu_i(dy) \right) + \frac{1}{2} + \left( |X_i|^{\ell} + \int_{\mathbb{R}^d} |y|^{\ell} \nu_i(dy) \right) + \frac{|x|^{\ell}}{2} \right) \\ & = \frac{2^\alpha C}{N^\alpha} \left( \frac{3}{2}(1 + |x|^{\ell}) + 2|X_i|^{\ell} + 2 \int_{\mathbb{R}^d} |y|^{\ell} \nu_i(dy) \right). \end{aligned}$$

Therefore

$$\begin{aligned} |R_N| & \le \frac{1_{N \ge N^*}}{N} \sum_{i=1}^{N} \int_{0}^{1} ds \int_{\mathbb{R}^d} \left| \frac{\delta U}{\delta m}(\mu_N^{i,s}, x) - \frac{\delta U}{\delta m}(\mu_N^{i,0}, x) \right| (\delta x_i + \nu_i)(dx) \\ & \le \frac{2^\alpha C}{N^{\alpha+1}} \sum_{i=1}^{N} \int_{\mathbb{R}^d} \left( \frac{3}{2}(1 + |x|^{\ell}) + 2|X_i|^{\ell} + 2 \int_{\mathbb{R}^d} |y|^{\ell} \nu_i(dy) \right) (\delta x_i + \nu_i)(dx) \\ & = \frac{2^\alpha C}{N^{\alpha+1}} \sum_{i=1}^{N} \left( 3 + \frac{11}{2} \int_{\mathbb{R}^d} |y|^{\ell} \delta_{X_i}(dy) + \frac{11}{2} \int_{\mathbb{R}^d} |y|^{\ell} \nu_i(dy) \right) \\ & = \frac{C_1}{N^{\alpha}} + \frac{C_2}{N^{\alpha}} \int_{\mathbb{R}^d} |y|^{\ell} \mu_N(dy) + \frac{C_3}{N^{\alpha}} \int_{\mathbb{R}^d} |y|^{\ell} \bar{\nu}_N(dy) \end{aligned}$$

for some positive constants $C_1, C_2$ and $C_3$.

Finally

$$\mathbb{E}(\sqrt{N}|R_N|) \le \frac{C_1}{N^{\alpha-\frac{1}{2}}} + \frac{C_2}{N^{\alpha-\frac{1}{2}}} \int_{\mathbb{R}^d} |y|^{\ell} \bar{\nu}_N(dy) + \frac{C_3}{N^{\alpha-\frac{1}{2}}} \int_{\mathbb{R}^d} |y|^{\ell} \bar{\nu}_N(dy)$$