Par conséquent, on a

$$ \mathbb{E}^x[\tau_K \wedge T] \le \frac{V(x) + d}{c} $$

pour tout $T \in \mathbb{N}^*$. Comme le membre de droite ne dépend pas de $T$, on obtient, en faisant tendre $T$ vers l'infini,

$$ \mathbb{E}^x[\tau_K] \le \frac{V(x) + d}{c} \quad \forall x \in \mathcal{X}. \qquad (7.2.3) $$

2. Soit $\tau_{K,n}$ le temps du $n$ième passage de la chaîne de Markov en $K$, qui est d'espérance finie en vertu de (7.2.3). Soit $(Y_n)_{n \ge 0}$ la chaîne de Markov trace sur $K$, définie par $Y_n = X_{\tau_{K,n}}$. Alors, pour tout $x_0 \in K$ et tout ouvert $A \subset K$, on a

$$ \mathbb{P}^{x_0}\{Y_1 \notin A\} = 1 - \mathbb{P}^{x_0}\{Y_1 \in A\} \le 1 - \mathbb{P}^{x_0}\{X_1 \in A\} \le 1 - \delta|A| $$

par l'hypothèse (7.2.1). Notons que cette borne est indépendante du $x_0 \in K$ choisi. Si $\hat{\tau}_A = \inf\{n \ge 1: Y_n \in A\}$ est le temps du premier passage de $Y_n$ en $A$, alors on a pour tout $n \in \mathbb{N}$

$$ \mathbb{P}^{x_0}\{\hat{\tau}_A \ge n+1\} = \mathbb{P}^{x_0}\{\hat{\tau}_A \ge n, Y_n \notin A\} \le (1 - \delta|A|)\mathbb{P}^{x_0}\{\hat{\tau}_A \ge n\}. $$

Par récurrence sur $n$, on obtient alors

$$ \mathbb{P}^{x_0}\{\hat{\tau}_A \ge n\} \le (1 - \delta|A|)^n \quad \forall n \in \mathbb{N}. $$

Il suit que

$$ \mathbb{E}^{x_0}[\hat{\tau}_A] = \sum_{n \ge 0} n \mathbb{P}^{x_0}\{\hat{\tau}_A \ge n\} \le \sum_{n \ge 0} n(1 - \delta|A|)^n < \infty. $$

Par conséquent, $\mathbb{E}^{x_0}[\tau_A < \infty]$, en vertu de (7.2.3) et du fait que $\mathbb{E}^{x_0}[V(X_1)]$ est borné par la formule de Dynkin.

Ici, nous pouvons invoquer la Remarque 7.1.11 pour conclure que la chaîne de Markov admet une probabilité invariante $\pi$. En effet, il suffit d'appliquer le résultat que nous venons d'obtenir aux $A$ donnés par des boules de centre $x_0$ et de rayon $\varepsilon$ assez petit.

3. Afin de montrer que la chaîne de Markov est Harris-récurrente positive, il faut encore vérifier que $\mathbb{E}^x[\tau_A]$ est fini pour tout $x \in \mathcal{X}$ et tout ouvert $A \subset \mathcal{X}$. La majoration (7.2.3) nous permet de nous limiter aux $x \in K$. On peut alors adapter l'argument du point précédent. Soit $(Z_n)_{n \ge 0}$ le processus trace sur $K \cup A$. Il suit de l'hypothèse d'irréductibilité que $Z_n$ va visiter $A$ avec probabilité strictement positive au bout d'un temps assez long. Comme $K$ est borné, on peut trouver un entier $n_1$ tel que $\mathbb{P}^x\{\hat{\tau}_A > n_1\}$ soit majoré par un $p < 1$ pour tout $x \in K$. On peut alors procéder comme au point précédent pour montrer que $\mathbb{E}^x[\tau_A]$ est fini.

4. Afin de majorer $\pi(f)$, nous utilisons le Lemme 5.4.5 avec $B = K$ et (7.2.2) pour obtenir

$$ \pi(f) = \int_K \pi(x) \mathbb{E}^x \left[ \sum_{n=0}^{\tau_K-1} f(X_n) dx \right] \le \pi(K) \sup_{x \in K} \frac{V(x) + d}{c}, $$

ce qui est fini puisque $K$ est borné.

<figure><img src="image_26.png" /></figure>

Afin de formuler un résultat de convergence, nous travaillerons à nouveau avec des normes et des distances à poids. Les définitions suivantes sont des adaptations naturelles de celles du cas discret.
### Définition 7.2.7: Normes et distances à poids

* Un poids sur $\mathcal{X}$ est une application $W : \mathcal{X} \to [1, \infty[$.

* La norme à poids d'une fonction test $f$ est définie par

$$ \|f\|_W = \sup_{x \in \mathcal{X}} \frac{|f(x)|}{W(x)}. $$

On note $\mathcal{E}_\infty^W$ l'espace de Banach des fonctions test de norme $\|f\|_W$ finie.

* Pour deux mesures signées finies à densité, on définit

$$ \begin{align*} \rho_W(\mu, \nu) &= \sup_{f : \|f\|_W \le 1} \int_{\mathcal{X}} f(x)|\mu(x) - \nu(x)|dx \\ &= \sup_{f : \|f\|_W \ne 0} \frac{1}{\|f\|_W} \int_{\mathcal{X}} f(x)|\mu(x) - \nu(x)|dx \\ &= \int_{\mathcal{X}} W(x)|\mu(x) - \nu(x)|dx. \end{align*} $$

L'analogue continu du Théorème 4.4.1 prend alors la forme suivante. Sa démonstration est la même que celle du cas discret.

### Théorème 7.2.8: Ergodicité géométrique

Supposons que les deux conditions suivantes soient satisfaites.

1. **Condition de dérive géométrique:** Il existe $d \ge 0$, $c > 0$ et une fonction de Lyapounov $V$ tels que

$$ (\mathcal{L}V)(x) \le -cV(x) + d \quad \forall x \in \mathcal{X}. \qquad (7.2.4) $$

2. **Condition de minoration:** Pour un $R > 2d/c$, soit $K = \{x \in \mathcal{X} : V(x) < R\}$. Alors il existe $\alpha \in ]0, 1[$ et une mesure de probabilité $\nu$ telle que

$$ \inf_{x \in K} p(x, y) = \inf_{x \in K} \mathbb{P}^x\{X_1 = y\} \ge \alpha \nu(y) \quad \forall y \in \mathcal{X}. \qquad (7.2.5) $$

Alors il existe des constantes $M > 0$ et $\bar{\gamma} < 1$ telles que

$$ \|\mathbb{E}^*[f(X_n)] - \pi(f)\|_{1+V} \le M\bar{\gamma}^n \|f - \pi(f)\|_{1+V} $$

pour toute fonction test $f \in \mathcal{E}_\infty^{1+V}$.

Les constantes $\bar{\gamma}$ et $M$ sont à nouveau déterminées par les relations (4.4.4), (4.4.5) et (4.4.6).

### Exemple 7.2.9: Processus auto-régressif AR(1)

Nous avons vu dans l'Exemple 6.2.3 que le noyau de transition du modèle AR(1) était donné par

$$ p(x, y) = \frac{e^{-(y-ax)^2/(2\sigma^2)}}{\sqrt{2\pi\sigma^2}}. $$
Prenons comme fonction de Lyapounov $V(x) = x^2$. Alors on a

$$ 
\begin{align*}
(\mathcal{L}V)(x) &= \frac{1}{\sqrt{2\pi\sigma^2}} \int_{-\infty}^{\infty} y^2 e^{-(y-ax)^2/(2\sigma^2)} dy - V(x) \\
&= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} (ax + \sigma z)^2 e^{-z^2/2} dz - x^2 \\
&= -(1-a^2)x^2 + \sigma^2.
\end{align*}
$$

Pour obtenir la deuxième ligne, nous avons utilisé le changement de variables $y = ax + \sigma z$. La dernière ligne suit des propriétés de la densité d'une loi gaussienne standard. La condition de dérive géométrique (7.2.4) est donc vérifiée avec $c = 1 - a^2$ et $d = \sigma^2$.

Pour vérifier la condition de minoration, nous devons choisir un $R > 2d/c = 2\sigma^2/(1-a^2)$. Alors nous avons $K = [-\sqrt{R}, \sqrt{R}]$ et

$$ \inf_{x \in K} p(x,y) = \inf_{|y|<\sqrt{R}} \frac{e^{-(y-ax)^2/(2\sigma^2)}}{\sqrt{2\pi\sigma^2}} = \frac{e^{-(|y|+a\sqrt{R})^2/(2\sigma^2)}}{\sqrt{2\pi\sigma^2}}, $$

l'infimum étant atteint pour $x = \pm\sqrt{R}$, selon le signe de $y$. Ceci suggère de prendre pour $v$ la mesure de densité

$$ v(y) = \frac{e^{-(|y|+a\sqrt{R})^2/(2\sigma^2)}}{\mathcal{N}\sqrt{2\pi\sigma^2}} \mathbb{1}_{|y|\le\sqrt{R}}, $$

où

$$ \mathcal{N} = \frac{1}{\sqrt{2\pi\sigma^2}} \int_{-\sqrt{R}}^{\sqrt{R}} e^{-(|y|+a\sqrt{R})^2/(2\sigma^2)} dy = \frac{1}{\sqrt{2\pi}} \int_{-\sqrt{R}/\sigma}^{\sqrt{R}/\sigma} e^{-(|z|+a\sqrt{R}/\sigma)^2/2} dz $$

est la constante de normalisation assurant que $v$ soit une mesure de probabilité (nous avons posé $y = \sigma z$ pour obtenir la seconde inégalité). En effet, la condition de minoration (7.2.5) est alors satisfaite en prenant

$$ \alpha = \mathcal{N}. $$

En choisissant $R = 4\sigma^2/(1-a^2)$, on obtient un $\alpha$ indépendant de $\sigma$. On vérifie alors que cela donne un taux de convergence $1 - \bar{\gamma}$ strictement positif si $a^2 < 1$, mais qui tend vers 0 lorsque $a^2$ tend vers 1.

## 7.3 Exercices

### Exercice 7.3.1

On considère la chaîne de Markov sur $\mathbb{R}$ donnée par

$$ X_{n+1} = aX_n + Y_{n+1} $$

avec $a \in [0, \infty[$, les $Y_n$ étant indépendantes, identiquement distribuées, de loi uniforme sur $[-\delta, \delta]$ pour un $\delta > 0$.

1. Donner les probabilités de transition $p(x,y)$ de la chaîne.

2. Soit la fonction de Lyapounov $V(x) = x^2$. Calculer $(\mathcal{L}V)(x)$.

3. Pour quelles valeurs de $a$ la chaîne est-elle à croissance sous-exponentielle ?

4. À l'aide de la formule de Dynkin, calculer la variance de $X_n$ lorsque $a = 1$.
5. Pour quelles valeurs de $a$ la chaîne satisfait-elle une condition de dérive géométrique ?
Quels en sont les paramètres ?

6. Lorsque la condition de dérive géométrique est satisfaite, trouver $\alpha \in ]0, 1[$, une mesure de probabilité $\nu$, et une condition sur $p$ tels que la condition de minoration soit satisfaite. Que peut-on en déduire ?

Exercice 7.3.2

On considère la chaîne de Markov sur $\mathbb{R}$ donnée par

$$X_{n+1} = aX_n + Y_{n+1}$$

avec $a \in [0, \infty[$, les $Y_n$ étant indépendantes, identiquement distribuées, de loi de Cauchy de paramètre $c > 0$.

Soit la fonction de Lyapounov $V(x) = |x|^{\beta}$. Pour quelles valeurs de $\beta > 0$ la quantité $(\mathcal{L}V)(x)$ est-elle finie ?

Exercice 7.3.3

On considère la chaîne de Markov sur $\mathbb{R}_+ = [0, \infty[$ donnée par

$$X_{n+1} = aX_n + Y_{n+1}$$

avec $a \in [0, \infty[$, les $Y_n$ étant indépendantes, identiquement distribuées, de loi exponentielle de paramètre $\lambda > 0$.

1. Donner les probabilités de transition $p(x, y)$ de la chaîne.

2. Calculer

$$\int_{0}^{\infty} x^k e^{-\lambda x} dx$$

pour $k \in \{0, 1\}$.

3. Soit la fonction de Lyapounov $V(x) = x$. Calculer $(\mathcal{L}V)(x)$.

4. Pour quelles valeurs de $a$ la chaîne est-elle à croissance sous-exponentielle ?

5. À l'aide de la formule de Dynkin, calculer l'espérance de $X_n$ lorsque $a = 1$. Que se passe-t-il lorsque $n \to \infty$ ?

6. Pour quelles valeurs de $a$ la chaîne satisfait-elle une condition de dérive géométrique ?
Quels en sont les paramètres ?

7. Lorsque la condition de dérive géométrique est satisfaite, trouver $\alpha \in ]0, 1[$ et une mesure $\nu$ tels que la condition de minoration soit satisfaite. Que peut-on en déduire ?
Bibliographie

[1] R. Durrett. *The Essentials of Probability*. Duxbury, 1994.

[2] Martin Hairer and Jonathan C. Mattingly. Yet another look at Harris’ ergodic theorem for Markov chains. In *Seminar on Stochastic Analysis, Random Fields and Applications VI*, volume 63 of *Progr. Probab.*, pages 109–117. Birkhäuser/Springer Basel AG, Basel, 2011.

[3] Sean P. Meyn and R. L. Tweedie. Stability of Markovian processes. I. Criteria for discrete-time chains. *Adv. in Appl. Probab.*, 24(3):542–574, 1992.

[4] Esa Nummelin. *General irreducible Markov chains and nonnegative operators*, volume 83 of *Cambridge Tracts in Mathematics*. Cambridge University Press, Cambridge, 1984.

Nils Berglund

Institut Denis Poisson (IDP)

Universite d'Orleans, Universite de Tours, CNRS - UMR 7013

Bâtiment de Mathematiques, B.P. 6759

45067 Orleans Cedex 2, France

E-mail address: nils.berglund@univ-orleans.fr

https://www.idpoisson.fr/berglund