<figure><img src="image_1.png" /></figure>

HAL
open science

# Supervised classication et nonparametric estimation for SDEs

Eddy Michel Ella Mintsa

<figure><img src="image_2.png" /></figure>

## To cite this version:

Eddy Michel Ella Mintsa. Supervised classication et nonparametric estimation for SDEs. Statistics [stat]. Université G. Eiffel, 2023. English. NNT: tel-04487609

HAL Id: tel-04487609

https://theses.hal.science/tel-04487609

Submitted on 4 Mar 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
# École Doctorale Mathématiques et STIC

## THÈSE

Présentée pour l'obtention du grade de DOCTEUR
de L'Université Gustave Eiffel

Spécialité

**Mathématiques Appliquées**

par

EDDY MICHEL ELLA MINTSA

## Classification supervisée et estimation non-paramétrique pour les EDS

Soutenue le 12/12/2023 devant le jury composé de

<table><tr><td>ARNAK DALALYAN</td><td>PR</td><td>ENSAE</td><td>EXAMINATEUR</td></tr><tr><td>CHRISTOPHE DENIS</td><td>MCF HDR</td><td>UNIVERSITÉ GUSTAVE EIFFEL</td><td>CO-DIRECTEUR</td></tr><tr><td>CHARLOTTE DION-BLANC</td><td>MCF</td><td>SORBONNE UNIVERSITÉ</td><td>CO-DIRECTRICE</td></tr><tr><td>MARC HOFFMANN</td><td>PR</td><td>UNIVERSITÉ PARIS DAUPHINE</td><td>EXAMINATEUR</td></tr><tr><td>CLAIRE LACOUR</td><td>PR</td><td>UNIVERSITÉ GUSTAVE EIFFEL</td><td>EXAMINATRICE</td></tr><tr><td>DASHA LOUKIANOVA</td><td>PR</td><td>UNIVERSITÉ D'EVRY VAL D'ESSONNE</td><td>RAPPORTRICE</td></tr><tr><td>CLÉMENT MARTEAU</td><td>PR</td><td>UNIVERSITÉ LYON I</td><td>RAPPORTEUR</td></tr><tr><td>VIET-CHI TRAN</td><td>PR</td><td>UNIVERSITÉ GUSTAVE EIFFEL</td><td>DIRECTEUR</td></tr></table>
<figure><img src="image_3.png" /></figure>
Remerciements

Le moment est venu de me rappeler, avec reconnaissance, de toutes les personnes qui m'ont soutenu de diverses manières, accompagné, instruit, encouragé, conseillé durant mon parcours à l'Université Gustave Eiffel, et particulièrement pendant ma thèse.

Tout d'abord, je tiens à exprimer ma profonde gratitude à mes encadrants de thèse, Christophe Denis, Charlotte Dion-Blanc et Viet-Chi Tran. J'ai eu la grâce de vous avoir comme co-directeurs de thèse, toujours disponibles en cas de besoin, y compris les week-ends, très attentionnés, toujours sereins et optimistes sur la bonne fin de cette thèse. Je n'oublierai pas la patience dont vous avez fait preuve, reconnaissant avoir très souvent montré des signes de paresse. J'ai beaucoup appris de votre expérience dans la recherche, et de votre immense connaissance en Statistiques et Probabilités. Je vous remercie de m'avoir proposé, après mon stage de recherche avec vous, un sujet de thèse sur une thématique à laquelle je porte un grand intérêt, et surtout d'avoir trouvé en moi, un candidat capable de porter un tel projet sous votre direction, et d'en obtenir des résultats satisfaisants. J'ai beaucoup appris de vos conseils, de vos orientations, et de vos réprimandes. Vous avez parfaitement joué votre rôle, et c'est une expérience que je ne suis pas prêt d'oublier. Je souhaite d'ailleurs continuer à travailler avec vous dans le futur.

Un grand merci à mes rapporteurs de thèse, Dasha Loukianova et Clément Marteau. Le travail immense que vous avez accompli est très cher à mes yeux et surtout très valorisant pour mon manuscrit de thèse. Merci pour votre amitié, et vos conseils qui ont contribué à l'amélioration du manuscrit. Merci à Arnak Dalalyan, Claire Lacour et Marc Hoffmann d'avoir accepté d'examiner mon travail. Merci à vous tous d'avoir accepté de faire partie de mon jury de thèse. Merci Marc pour ton invitation pour un exposé au Séminaire Parisien.

Mes sincères remerciement à l'ensemble des membres du laboratoire LAMA et de l'ensemble du personnel de l'Université Gustave Eiffel. Merci à Olivier Guédon et au Président de l'Université Gustave Eiffel, Gilles Roussel, pour leur soutien depuis le début de mon stage de recherche et pendant ma thèse. Merci aux membres du comité de suivi de thèse du laboratoire pour les échanges valorisants que nous avons eu, pour vos conseils et suggestions pour le bon déroulement de ma thèse et pour l'après-thèse. Merci à Miguel Martinez pour sa contribution à l'avancement de mes travaux de thèse, merci à Mohamed Hébiri pour ses encouragements et conseils, et merci à Mathieu Fradélizi pour son soutien. Mes sincères remerciements à Audrey Patout et Ketty Cimonard pour leur accompagnement et leur bienveillance pendant toute la durée de ma thèse. Merci à Robert Aymar par qui j'ai connu mes encadrants de thèse. Merci à tous les doctorants du laboratoire LAMA, merci pour votre amitié, pour les bons moments que nous avons passés ensemble depuis le début de ma thèse, et merci de la compréhension dont vous avez fait preuve pour mes absences récurrentes au restaurant à l'heure du déjeûner. Merci à Arafat, Benjamin, Ahmed, Josué, pour leurs partages d'expériences, leurs conseils, et leurs orientations. J'ai passé des moments inoubliables à vos cotés pendant ces trois dernières années et j'en suis très ravi.

Merci aux membres du laboratoire LPSM de Sorbonne Université. J'ai apprécié l'ambiance qui y
règne, en particulier lors des réunions et exposés du Groupe de Travail des Thésards (GTT), ou lors
des pauses déjeûner. Merci en particulier à Pierre pour ses partages d'expériences.

Merci à Christèle Etchegaray pour sa contribution à la motivation pour mon sujet de thèse. Merci
à Myriam Sidibe et Sylvie Cach pour leur disponibilité, leur bienveillance et leur réactivité. Un
grand merci à Karine Marot et Anna Lu' Mercier pour leur soutien inestimable lors de procédures
administratives depuis mes premiers jours au laboratoire LAMA.

Enfin, merci à mes parents pour leur soutien sur plusieurs plans, bien avant ma thèse, et pendant
toute la durée de la thèse.
# Productions scientifiques liées à la thèse

## Articles Soumis

* Nonparametric estimation of the diffusion coefficient from SDE paths

* Nonparametric multiclass classification procedure of the plug-in type for SDE paths

## Article en cours de rédaction

* Nonparametric multiclass classification procedure of the ERM type for SDE paths

## Package R

* SDEclassif
<figure><img src="image_4.png" /></figure>
# Contents

Abstract vii

Résumé ix

1 Introduction 1

1.1 Préliminaires 1

1.2 Inférence statistique pour les équations différentielles stochastiques 2

1.3 Généralités sur la classification supervisée 11

1.4 Contributions de la thèse 21

1.5 Conclusion et perspectives de recherche 29

1.6 Annexes 31

2 Estimation non-paramétrique du coefficient de diffusion 35

2.1 Introduction 36

2.2 Framework and assumptions 38

2.3 Estimation of the diffusion coefficient from a single diffusion path 44

2.4 Estimation of the diffusion coefficient from repeated diffusion paths 47

2.5 Non-adaptive estimation of the diffusion coefficient on a compact interval depending on the sample size 49

2.6 Adaptive estimation of the diffusion coefficient from repeated observations 51

2.7 Numerical study 52

2.8 Conclusion 58

2.9 Proofs 58

A Procédure non-paramétrique de classification multiclases de type plug-in pour les trajec-
toires de diffusions 87

A.1 Introduction 88

A.2 Statistical setting 90

A.3 Classification procedure: a plug-in approach 91

A.4 Classifier's rate of convergence with known diffusion coefficient 96

A.5 Simulation study 100

A.6 Conclusion and discussion 104

A.7 Proofs 104

A.8 Appendix 126

B Classifieur non-paramétrique de type ERM pour les trajectoires de diffusion 133

B.1 Introduction 134

B.2 Model and assumptions 135

B.3 Empirical classification procedure 136

B.4 Theoretical properties of the ERM type classifier 138

B.5 Faster rate of convergence under margin assumption 139
# CONTENTS

<table><tr><td>B.6 Numerical illustration</td><td>140</td></tr><tr><td>B.7 Conclusion and discussion</td><td>141</td></tr><tr><td>B.8 Proofs</td><td>142</td></tr></table>
Abstract

This thesis deals with statistical studies based on functional data modelled by stochastic differential equations whose solutions are called diffusion processes. More precisely, we bring contributions on the resolution of the problem of nonparametric estimation of coefficients of a diffusion process in short time, and on the construction of nonparametric procedures for multiclass classification of dif- fusion paths. The thesis is divided into three main parts.

In the first part of the thesis, we focus on the nonparametric estimation of the diffusion coefficient of a time-homogeneous stochastic differential equation with a finite time horizon. Two frameworks are considered. First, we assume that only a single discrete path is observed, and second, we assume that $N$ diffusion paths, generated independently, are observed. In each framework, we propose projection estimators of the square of the diffusion coefficient respectively on a compact interval, and on the real line, by minimizing a least squares contrast function. We establish the consistency of estimators, and derive rates of convergence under mild assumption on the diffusion coefficient. This first part paves the way for the construction of an empirical classification procedure of the plug-in type, which is based on the nonparametric estimation of the coefficients of the diffusion processes.

The second part proposes a plug-in type classification procedure for diffusion paths. We consider a diffusion process $X$ that is a strong solution of a time-homogeneous stochastic differential equation with a unknown drift coefficient depending on a label $Y$ taking values in a finite set of $\mathcal{N}$, and with an unknown diffusion coefficient, common to all classes. We propose, from a learning sample containing $N$ independent observations of the diffusion process, a plug-in classifier based on nonparametric estimators of coefficients of the diffusion process, and on the estimator of the discrete law of the label $Y$. The observation window is the compact interval $[0, 1]$. We prove the consistency of the plug-in classifier, and establish a rate of convergence of order $N^{-1/5}$ when the coefficients of the diffusion process are unknown and Lipschitz. We also derive some faster rates of convergence under stronger assumptions on the drift and the diffusion coefficient.

The last part focuses on the construction of a nonparametric procedure of Empirical Minimization Risk (ERM) type for multiclass classification of diffusion paths. The setting is the same as in the second part, and the goal is to build an empirical classifier by minimizing the empirical risk of classification defined from the learning sample. We prove the consistency of the ERM-type classifier, and derive a rate of convergence of order $N^{-\beta/(2\beta+1)}$ over a Hölder space of smoothness parameter $\beta \ge 1$. We then establish, in the binary classification setup, and over the same Hölder space, a faster rate of convergence of order $N^{-4\beta/3(2\beta+1)}$ in binary classification, thanks to a margin assumption imposed on the regression function associated to the model.

**Key words:** supervised classification, nonparametric estimation, diffusion paths, plug-in, empirical risk minimization.
<figure><img src="image_5.png" /></figure>
# Résumé

Cette thèse porte sur des études statistiques basées sur les données fonctionnelles modélisées par des équations différentielles stochastiques dont les solutions sont appelées processus de diffusion. Nous apportons des contributions au problème d'estimation non-paramétrique des coefficients d'un processus de diffusion en temps court, et à la question de construction des procédures non-paramétriques de classification multiclasse pour les trajectoires de diffusion en temps court. La thèse est divisée en trois principales parties.

Dans la première partie de la thèse, on se focalise sur l'estimation non-paramétrique du coefficient de diffusion d'une équation différentielle stochastique homogène en temps avec un horizon temporel fini. Deux cadres d'étude sont envisagés. Premièrement, on suppose qu'une seule trajectoire de diffusion est observée, et deuxièmement, on suppose observer N trajectoires de diffusion indépendantes. Dans chaque cadre d'étude, nous proposons des estimateurs par projection du carré du coefficient de diffusion respectivement sur un intervalle compact, et sur la droite réelle $\mathbb{R}$ par la minimisation d'une fonction de contraste des moindres carrés. Nous établissons la consistance des estimateurs et des vitesses de convergences sous des hypothèses de régularité sur le coefficient de diffusion. Cette première partie ouvre ainsi la voie à la construction d'une procédure de classification empirique de type plug-in, qui repose sur l'estimation non-paramétrique des coefficients des processus de diffusion.

La deuxième partie propose une procédure de classification de type *plug-in* des trajectoires de diffusion. Nous partons d'un modèle de diffusion dans lequel un processus de diffusion $X$ est solution forte d'une équation différentielle stochastique homogène en temps dont le coefficient de dérive est supposé inconnu et dépend de la classe $Y$, une variable aléatoire discrète de loi inconnue, et dont le coefficient de diffusion, aussi supposé inconnu, est commun à toutes les classes. On propose, à partir d'un échantillon constitué de $N$ observations indépendantes du processus de diffusion, un classifieur de type *plug-in* basé sur des estimateurs non-paramétriques des coefficients de dérive et de diffusion, et de l'estimateur de la loi discrète de l'étiquette $Y$. Nous prouvons la consistance du classifieur *plug-in* et établissons une vitesse de convergence de l'ordre de $N^{-1/5}$ lorsque les coefficients du processus sont des fonctions sont inconnues et lipschitziennes. Nous établissons ensuite des vitesses plus rapides sous des hypothèses plus fortes sur les coefficients de dérive et de diffusion.

La dernière partie traite de la construction d'une procédure non-paramétrique de classification multiclasse de type ERM pour les trajectoires de diffusion. Nous restons dans le même cadre d'étude que celui de la deuxième part, et l'objectif est de construire un classifieur empirique par la minimisation du risque empirique (ERM) de classification. Nous prouvons la consistance du classifieur de type ERM et établissons une vitesse de convergence de l'ordre de $N^{-\beta/(2\beta+1)}$ sur un espace de Hölder de paramètre de régularité $\beta \ge 1$. Nous établissons ensuite, sur le même espace de Hölder de régularité $\beta \ge 1$, une vitesse plus rapide de l'ordre de $N^{-4\beta/3(2\beta+1)}$ en classification binaire, grâce à une hypothèse de marge imposée sur la fonction de régression associée au modèle.

**Mots-clé** : classification supervisée, estimation non-paramétrique, trajectoires de diffusion, *plug-in*, minimisation du risque empirique.
<figure><img src="image_6.png" /></figure>
# Chapitre 1

## Introduction

### Sommaire

<table><tr><td>1.1 Préliminaires</td><td>1</td></tr><tr><td>1.2 Inférence statistique pour les équations différentielles stochastiques</td><td>2</td></tr><tr><td>1.2.1 Modèle et hypothèse</td><td>2</td></tr><tr><td>1.2.2 Estimation non-paramétrique des fonctions de dérive</td><td>5</td></tr><tr><td>1.2.3 Estimation non-paramétrique du coefficient de diffusion</td><td>8</td></tr><tr><td>1.3 Généralités sur la classification supervisée</td><td>11</td></tr><tr><td>1.3.1 Principe</td><td>11</td></tr><tr><td>1.3.2 Classifieur de Bayes et premières propriétés</td><td>12</td></tr><tr><td>1.3.3 Classifieur empirique</td><td>13</td></tr><tr><td>1.3.4 Méthodes de construction de procédures de classification</td><td>13</td></tr><tr><td>1.3.5 Modèle de classification étudié dans la thèse</td><td>15</td></tr><tr><td>1.3.6 Classification supervisée des données fonctionnelles</td><td>17</td></tr><tr><td>1.4 Contributions de la thèse</td><td>21</td></tr><tr><td>1.4.1 Estimation non-paramétrique du coefficient de diffusion</td><td>21</td></tr><tr><td>1.4.2 Classifieur de type plug-in pour les trajectoires de diffusion</td><td>24</td></tr><tr><td>1.4.3 Classifieur de type ERM pour les trajectoires de diffusion</td><td>27</td></tr><tr><td>1.4.4 Illustration numérique</td><td>28</td></tr><tr><td>1.5 Conclusion et perspectives de recherche</td><td>29</td></tr><tr><td>1.6 Annexes</td><td>31</td></tr></table>

### 1.1 Préliminaires

Depuis quelques années, nous voyons apparaître de plus en plus fréquemment dans de nombreux domaines scientifiques, des données modélisées comme des réalisations de variables aléatoires fonctionnelles (par exemple des courbes ou des images). Ces données sont généralement le résultat de mesures répétées d'une quantité ou d'une grandeur quelconque en faisant varier un paramètre tel que le temps, une longueur (par exemple la longueur d'onde), etc. En théorie, les fonctions aléatoires qui génèrent ces données prennent leurs valeurs dans des espaces vectoriels de dimension infinie. Toutefois, dans le cas pratique, ces données sont représentées par des vecteurs de valeurs de très grande taille, chaque coordonnée étant le résultat d'une mesure en fonction du paramètre d'intérêt. Le progress technologique a rendu possible une collecte rapide de ce type de données dans des domaines tels que la chimie, la météorologie, la biologie (see e.g. [42], [83], [84], [87]), ou encore la finance (voir par exemple [70]). Depuis plusieurs années, des données fonctionnelles font l'objet de nombreuses études statistiques telles que l'estimation paramétrique (voir par exemple [49], [63], [15], [54], [93]),
l'estimation non-paramétrique (voir par exemple [20], [45], [30], [94]), l'analyse discriminante ou la classification (voir par exemple [1], [92], [13], [77]).

Dans ce manuscrit de thèse, nous nous focalisons sur la classification multiclasses de données fonctionnelles générées par le modèle de mélange de diffusions suivant :

$$dX_t = b_Y^*(X_t)dt + \sigma^*(X_t)dW_t, \quad t \in [0, T], \quad X_0 = x_0 \quad (1.1)$$

où $(W_t)_{t \ge 0}$, appelé mouvement brownien standard, est un processus continu à accroissements indépendants et stationnaires défini sur un espace de probabilité filtré $(\Omega, (\mathcal{F}_t)_{t \ge 0}, \mathbb{P})$, où $(\mathcal{F}_t)_{t \ge 0}$ est la filtration naturelle de $(W_t)_{t \ge 0}$ (voir par exemple [71]). Ainsi, pour tout $s, t \ge 0$ tels que $t > s$, on a

$$W_t - W_s \perp \mathcal{F}_s, \text{ et } W_t - W_s \stackrel{\mathcal{L}}{=} W_{t-s} \sim \mathcal{N}(0, t-s).$$

De plus, le mouvement brownien $(W_t)_{t \ge 0}$ est une martingale (voir [71]) sur sa filtration naturelle. La variable aléatoire $Y$ est indépendante de $(W_t)_{t \ge 2}$ et à valeurs dans un ensemble fini $\mathcal{Y} = \{1, \dots, K\}$, avec $K \ge 2$, et de loi inconnue $\mathfrak{p}^* = (\mathfrak{p}_1^*, \dots, \mathfrak{p}_K^*)$, avec $\mathfrak{p}_0^* = \min_{i \in \mathcal{Y}} \mathfrak{p}_i^* > 0$. Les fonctions de dérive $b_i^*$, $i \in \mathcal{Y}$ et le coefficient de diffusion $\sigma^*$ sont supposés inconnus et appartiennent à un espace de fonctions de dimension infinie.

Les données de diffusion trouvent de nombreuses applications dans des domaines tels que la finance avec la modélisation de taux d'intérêt, l'étude du risque d'un actif financier, le coefficient de diffusion, encore appelé volatilité étant vu comme une mesure de risque de l'actif étudié (voir par exemple [70], [9]).

Dans ce manuscrit, nous proposons des procédures de classification non-paramétriques pour des trajectoires de diffusion essentiellement homogènes en temps, l'horizon temporel étant fixé à $T = 1$. Le terme non-paramétrique renvoie à un cadre dans lequel les coefficients de dérive et de diffusion des solutions d'équations différentielles stochastiques sont supposés inconnus, et ne dépendent pas d'un paramètre variant dans un espace de dimension finie. Nous montrons la consistance des classifi ers empiriques obtenus sous des hypothèses les plus faibles possibles sur les coefficients des processus de diffusion, et nous établissons des vitesses de convergence sous différentes hypothèses sur les coefficients des processus. La particularité de ces classifi ers empiriques est le fait qu'ils tirent profit des propriétés des processus de diffusion générant les observations à partir desquelles ils sont construits. Nous comparerons ainsi, au moyen d'études numériques sur des données simulées, la performance des classifi ers obtenus avec certaines méthodes de classification pour des données fonctionnelles trouvées dans la littérature scientifique.

Dans la section 1.2 nous parlons d'inférence statistique pour les équations différentielles stochas- tiques, et présentons particulièrement les modèles d'estimation non-paramétriques des coefficients de dérive et de diffusion. La section 1.3 est consacrée à la présentation de la classification supervisée dans un cadre général, et à la description du modèle de diffusion étudié dans cette thèse pour la classification de trajectoires de diffusions. Dans la section 1.4, nous présentons les principales contri- butions de la thèse, et enfin, une conclusion et les perspectives de recherche sont données en sec- tion 1.5. Les preuves de certains résultats sur les équations différentielles stochastiques sont données en annexes (section 1.6).

# 1.2 Inférence statistique pour les équations différentielles stochastiques

## 1.2.1 Modèle et hypothèse

On se réfère principalement à [86] et [71] pour l'étude des équations différentielles stochastiques. Comme nous l'avons dit plus haut, nous proposons dans ce manuscrit des procédures empiriques de classification supervisée pour des données fonctionnelles modélisées par des solutions d'équations différentielles stochastiques. Nous considérons plus particulièrement les diffusions homogènes en temps, solutions du modèle de mélange 1.1. On rappelle que le processus $(\int_0^t \sigma^*(X_s)dW_s)_{t \ge 0}$ est une martingale. Il en résulte que le processus de diffusion $X$ solution de l'équation (1.1) est une semi-martingale et un processus de Markov (voir par exemple [86]), et ses coefficients $b_Y^*$ et $\sigma^*$ satisfont les égalités suivantes.
**Proposition 1.2.1.** Supposons que $b_i^*$, $i \in \mathcal{Y}$ et $\sigma^*$ sont des fonctions continues et fixons $s \in [0, 1)$. On a alors

$$ \lim_{t \to s^+} \mathbb{E} \left[ \frac{X_t - X_s}{t-s} - b_Y^*(X_s) \right] = 0, \qquad (1.2) $$

$$ \lim_{t \to s^+} \frac{\langle X, X \rangle_t - \langle X, X \rangle_s}{t-s} = \sigma^{*2}(X_s) \qquad (1.3) $$

où pour tout $t \in [0, 1]$, $\langle X, X \rangle_t = \int_0^t \sigma^{*2}(X_u) du$ est la variation quadratique à l'instant $t$ du processus $X$.

L'équation (1.2) implique que pour tout instant $t$ au voisinage de $s \in (0, 1)$, on obtient, pour chaque étiquette $i \in \mathcal{Y}$ et conditionnellement à $\{Y = i\}$, le résultat approximatif ci-dessous :

$$ \frac{X_t - X_s}{t-s} \approx b_i^*(X_s). $$

On voit ainsi que pour tout $s \in (0, 1)$ et conditionnellement à $Y$, la quantité aléatoire $b_Y^*(X_s)$ peut être interprétée comme la dérivée à l'instant $s$ du processus de diffusion $X = (X_t)_{t \in [0,1]}$. D'après l'équation (1.3) et l'expression de la variation quadratique en fonction de $\sigma^{*2}$, on déduit d'une part que la variation quadratique $t \mapsto \langle X, X \rangle_t$ est une fonction croissante du temps, et d'autre part, pour tout $t \in (0, 1]$, $\langle X, X \rangle_t$ augmente avec le carré du coefficient de diffusion $\sigma^{*2}$. Ainsi, le coefficient de diffusion est vu comme une mesure des amplitudes des variations du processus de diffusion $X$ lorsqu'on fait varier le temps $t$ dans $[0, 1]$. Plus précisément, une explosion des valeurs de $\sigma^{*2}(X_s)$ pour tout $s \in (0, 1)$ entraine de fortes variations du processus de diffusion $X$ lorsqu'on passe d'un instant $s \in (0, 1)$ à un instant $t \in (s, 1]$. Inversement, si les valeurs de $\sigma^{*2}(X_s)$ pour tout $s \in (0, 1)$ sont proches de 0, alors on observe de très faibles variations des valeurs prises par $X_t - X_s$ pour tout $s, t \in [0, 1]$ tels que $s < t$.

<figure><img src="image_7.png" /><figcaption>FIGURE 1.1 : La figure ci-dessus représente deux trajectoires de diffusion. Celle en bleu est une observation d'une solution de l'équation différentielle stochastique $dX_t = 0.15X_t dW_t$ avec $b_Y^* = 0$ et $\sigma^* = 0.15$, et celle en rouge est générée par une solution de l'équation $dX_t = 5X_t dW_t$ avec $b_Y^* = 0$ et $\sigma^* = 5$. Cette figure met ainsi en évidence l'impact du coefficient de diffusion sur les amplitudes des variations du processus de diffusion.</figcaption></figure>

Une manière de classifier les trajectoires de diffusion serait de les distinguer suivant les valeurs des coefficients de dérive $b_i^*$ ou des coefficients de diffusion $\sigma^*$ des équations différentielles stochastiques qui les génèrent. Si nous prenons l'exemple de la finance, où le processus de diffusion $X$ est à valeurs positives et modélise le prix d'un actif financier. Alors, la trajectoire en bleu de la figure 1.1 représentera les variations du prix d'un actif à faible risque avec une volatilité faible ($\sigma^* \equiv 0.15$),
tandis que la trajectoire en rouge représentera l'évolution du prix d'un actif à haut risque, avec une volatilité suffisamment élevée ($\sigma^* \equiv 5$). On peut ainsi, à partir de données observées, construire une procédure de classification qui distinguera les actifs à faible risque des actifs très risqués. Certaines de ces procédures de classification peuvent être basées sur des estimateurs de $b_i^*$, $i \in \mathcal{Y}$ ou $\sigma^{*2}$.

Supposons que les coefficients $b_Y^*$ et $\sigma^*$ du processus de diffusion solution de l'équation 1.1 satisfait l'hypothèse suivante.

**Hypothèse 1.2.2.** (Ellipticité and regularité)

(i) Il existe $L_0 > 0$ tel que les fonctions $b_i^*$, $i \in \mathcal{Y}$ et $\sigma^*$ sont $L_0$-Lipschitziennes

$$ \max_{i \in \mathcal{Y}} |b_i^*(x) - b_i^*(y)| + |\sigma^*(x) - \sigma^*(y)| \le L_0 |x - y|, \forall (x, y) \in \mathbb{R}^2. $$

(ii) Il existe des constantes $\sigma_0^*, \sigma_1^*$ telles que

$$ 0 < \sigma_0^* \le \sigma^*(x) \le \sigma_1^*, \forall x \in \mathbb{R}. $$

Sous l'hypothèse 1.2.2, nous obtenons un certain nombre de résultats à partir de l'équation différentielle stochastique (1.1). Le premier résultat est l'unicité de la solution de l'équation (1.1) (voir par exemple [67]). Le deuxième résultat est l'existence d'une densité de transition $p_X : (t, x) \in [0, 1] \times \mathbb{R} \mapsto p_X(t, x)$ du processus de diffusion $X$ qu'on peut approximer par des densités gaussiennes. En effet, nous obtenons de [55] le résultat suivant.

**Proposition 1.2.3.** Sous l'hypothèse 1.2.2, il existe des constantes $c > 1$, et $C > 1$ telles que pour tout $t \in (0, 1]$ et pour tout $x \in \mathbb{R}$,

$$ \frac{1}{C\sqrt{t}} \exp\left(-c\frac{x^2}{t}\right) \le p_X(t, x) \le \frac{C}{\sqrt{t}} \exp\left(-\frac{x^2}{ct}\right). $$

La preuve de ce résultat est fournie dans [55]. L'approximation de la densité de transition $p_X$ donnée par la proposition 1.2.3 est très utilisée pour l'obtention de résultats de consistance des classifeurs de type plug-in pour des données de diffusion. Nous y reviendrons plus en détails dans les chapitres 2 et A de ce manuscrit. Nous énonçons un autre résultat important qui découle de l'hypothèse 1.2.2 et qui est en rapport avec les moments du processus de diffusion $X$.

**Proposition 1.2.4.** Sous l'hypothèse 1.2.2 et pour tout $q \ge 1$, il existe une constante $C_q \ge 1$ telle que

$$ \mathbb{E}_X \left[ \sup_{t \in [0,1]} |X_t|^q \right] \le C_q. $$

Nous pouvons ainsi déduire de la proposition 1.2.4 que sous l'hypothèse 1.2.2, le processus de diffusion $X$ admet des moments finis de tout ordre. Ce résultat est essentiel pour la majoration des risques d'estimation des coefficients $b_i^*$, $i \in \mathcal{Y}$ et $\sigma^{*2}$ de la diffusion $X$. Nous y reviendrons largement dans les deuxième et troisième chapitres de ce manuscrit.

L'estimation des coefficients d'un processus de diffusion est largement étudiée dans la littérature scientifique. On distingue le cas paramétrique (voir par exemple [49], [63], [15], [54], [93], [29]), et le cas non-paramétrique (voir par exemple [45], [22], [20], [59], [61]). Pour le cas non-paramétrique, on trouve généralement comme méthodes utilisées pour la construction des estimateurs des fonctions $b_i^*$, $i \in \mathcal{Y}$ et $\sigma^{*2}$, la méthode par noyaux (voir par exemple [44], [75]), et la méthode par regression (voir par exemple [22], [30], [61]).

Dans ce manuscrit, l'estimation des fonctions $b_i^*$, $i \in \mathcal{Y}$ et $\sigma^{*2}$ est essentiellement non-paramétrique et basée sur la méthode de regression.
1.2.2 Estimation non-paramétrique des fonctions de dérive

Considérons le processus de diffusion X = (X_t)_{t \in [0,1]} venant du modèle de diffusion (1.1) avec b_Y^* = b^*. La fonction de dérive b^* est inconnue, et le coefficient de diffusion peut être supposé connu ou inconnu, et fait partie du terme de bruit pour le modèle d'estimation de b^*.

Soit $n$ un entier naturel suffisamment grand, et $\bar{X} = (X_{k\Delta_n})_{0\le k\le n}$ une observation en temps discret du processus de diffusion $X$ solution de l'équation (1.1), avec $\bar{\Delta}_n = 1/n$ le pas de discrétisation du temps. Soit $(Z_{k\Delta_n})_{0\le k\le n}$ la suite des incréments de $X$ donnée par

$$
Z_{k\Delta_n} := \frac{X_{(k+1)\Delta_n} - X_{k\Delta_n}}{\Delta_n}, \quad k = 0, \dots, n-1.
$$

Ainsi, le coefficient de dérive $b^*$ du processus de diffusion $X$ satisfait le résultat ci-dessous.

**Proposition 1.2.5.** *Pour tout* $k = 0, \dots, n-1$, *on déduit de l'équation (1.1) que*

$$
Z_{k\Delta_n} = b^*(X_{k\Delta_n}) + \xi_{k\Delta_n} \quad (1.4)
$$

avec,

$$
\xi_{k\Delta_n} := \frac{1}{\Delta_n} \int_{k\Delta_n}^{(k+1)\Delta_n} (b^*(X_s) - b^*(X_{k\Delta_n}))ds + \frac{1}{\Delta_n} \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^*(X_s)dW_s.
$$

La fonction de dérive $b^*$ est alors estimée comme une fonction de régression solution du modèle (1.4) avec $\xi_{k\Delta_n}$ le terme d'erreur. Notons que le modèle (1.4) est utilisé que l'on soit en temps court ($T < \infty$) ou en temps long ($T \to \infty$). Pour ce qui est des observations, et pour ce qui est du temps court, on verra qu'il n'est pas possible d'obtenir un estimateur convergent de $b^*$ à partir d'une seule trajectoire de diffusion. Ainsi, nous supposons dans ce manuscrit avoir à notre disposition des observations discrètes répétées de $X$, c'est-à-dire des copies indépendantes $\bar{X}_1, \dots, \bar{X}_N$ du processus $\bar{X}$, avec $N$ qui tends vers l'infini. En effet, dans le cas d'observations répétées du processus de diffusion, on peut construire un estimateur non-paramétrique convergent de $b^*$ lorsque $N$ tend vers l'infini.

Démonstration. D'après le modèle (1.1), on a

$$
dX_t = b^*(X_t)dt + \sigma^*(X_t)dW_t
$$

et pour tout $k \in [0, n-1]$,

$$
\begin{align*}
X_{(k+1)\Delta_n} - X_{k\Delta_n} &= \int_{k\Delta_n}^{(k+1)\Delta_n} b^*(X_s)ds + \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^*(X_s)dW_s \\
&= \Delta_n b(X_{k\Delta_n}) + \int_{k\Delta_n}^{(k+1)\Delta_n} (b^*(X_s) - b^*(X_{k\Delta_n}))ds + \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^*(X_s)dW_s.
\end{align*}
$$

On obtient le résultat attendu en divisant chaque membre par $\Delta_n$. $\square$

<figure><img src="image_8.png" /></figure>

L'estimation non-paramétrique de la fonction de dérive $b^*$ par la méthode de régression est largement étudiée dans la littérature scientifique. Nous présentons ci-dessous deux des nombreuses références axées sur ce sujet.

[Comte, Genon-Catalot (2021)] ([20]). Dans cet article, le processus de diffusion $X$ solution de (1.1) est observée en temps continu, avec un horizon temporel fini ($T < \infty$). Les auteurs proposent, à partir d'un échantillon ($X_1, \dots, X_N$) constitué de $N$ copies indépendantes de $X$, un estimateur par projection de $b^*$ sur un espace d'approximation de dimension finie $m \ge 1$ engendré par une base orthonormée. La particularité de cet article est d'établir une vitesse de convergence de l'estimateur par projection de $b^*1_A$ de l'ordre de $N^{-s/(s+1)}$ sur un espace de régularité $s \ge 1$, lorsque le support de la fonction de dérive $b^*$ est la droite réelle $\mathbb{R}$, et $A$ est un interval compact ou non-compact de $\mathbb{R}$. L'obtention d'un tel résultat nécessite toutefois une troncature de la dimension de l'espace d'approximation pour l'établissement d'un terme de variance convergeant vers 0 lorsque $N$ tend vers l'infini.
i) Construction de l'estimateur tronqué de $b^*$.

L'estimateur par projection de $b^*$ noté $\hat{b}_m$ pour chaque $m \ge 1$, est donné par $\hat{b}_m = \sum_{\ell=0}^{m-1} \hat{\theta}_\ell \phi_\ell$, où $(\phi_0, \dots, \phi_{m-1})$ est une base orthonormée engendrant l'espace d'approximation, et le vecteur de coordonnées $\hat{\theta} = (\hat{\theta}_0, \dots, \hat{\theta}_{m-1})$ est donné par

$$ \hat{\theta} = \hat{\Psi}_m^{-1} \hat{Z}_m $$

où le vecteur $\hat{Z}_m$ est défini par

$$ \hat{Z}_m = \left( \frac{1}{NT} \sum_{i=1}^{N} \int_{0}^{T} \phi_j(X_i(u)) dX_i(u) \right), $$

et la matrice aléatoire $\hat{\Psi}_m$ est donnée par

$$ \hat{\Psi}_m = \left( \frac{1}{NT} \sum_{i=1}^{N} \int_{0}^{T} \phi_j(X_i(u)) \phi_\ell(X_i(u)) du \right)_{0 \le j, \ell \le m-1}. $$

La matrice $\hat{\Psi}_m$ est un estimateur sans biais de la matrice de Gram $\Psi_m$ de la base $(\phi_0, \dots, \phi_{m-1})$ définie pour tout entier $m \ge 1$ par

$$ \Psi_m = \mathbb{E}[\hat{\Psi}_m] = \left( \mathbb{E} \left[ \frac{1}{T} \int_0^T \phi_j(X_s) \phi_\ell(X_s) ds \right] \right)_{0 \le j, \ell \le m-1}. $$

La dimension $m$ de l'espace d'approximation est ensuite tronquée comme suit :

$$ L(m) (\|\hat{\Psi}_m^{-1}\|_{\text{op}} \vee 1) \le c_T \frac{NT}{\log(NT)}, $$

avec $c_T = \frac{1 - \log(2)}{8T}$, et

$$ L(m) := \sup_{x \in A} \sum_{\ell=0}^{m-1} \phi_{\ell}^{2}(x) < +\infty. \quad (1.5) $$

Ainsi, pour tout $m \ge 1$, en remplaçant la matrice de Gram $\Psi_m$ par son estimateur $\hat{\Psi}_m$, l'estimateur tronqué $\tilde{b}_m$ est défini à partir de $\hat{b}_m$ par

$$ \tilde{b}_m = \hat{b}_m 1_{\Lambda_m} $$

où

$$ \Lambda_m = \left\{ L(m) \left( \left\| \hat{\Psi}_m^{-1} \right\|_{\text{op}} \vee 1 \right) \le \frac{c_T NT}{\log(NT)} \right\}. $$

Notons que la quantité $L(m)$ donnée par l'équation (1.5) est, en effet, définie pour tout $m \ge 1$ par

$$ L(m) = \sup_{h \in S_m, \|h\|=1} \sup_{x \in A} h^2(x) $$

et dépend ainsi uniquement du choix de l'espace d'approximation $S_m$ et non du choix d'une base parmi les bases orthonormées.

ii) Vitesse de convergence de l'estimateur tronqué de $b^*1_A$.

Une vitesse de convergence de l'ordre de $N^{-s/(s+1)}$ est établie sous l'hypothèse que la fonction de dérive $b^*1_A$, restreinte à A, appartient à l'espace $W_{f_T}^s(A, R)$ défini par

$$ W_{f_T}^s(A, R) = \left\{ h \in \mathbb{L}^2(A, f_T(x)dx), \forall \ell \ge 1, \left\| h - h_{\ell}^{f_T} \right\|_{f_T}^2 \le R \ell^{-s} \right\} $$
avec

$$ \|h - h_{\ell}^{f_T}\|_{f_T}^2 = \int_A (h - h_{\ell}^{f_T})^2(x) f_T(x) dx, $$

où la fonction $f_T$ est une densité de probabilité, et pour toute fonction $h \in L^2(A, f_T(x)dx)$ et pour chaque $\ell \ge 1$, $h_{\ell}^{f_T}$ est le projeté orthogonal de $h$ sur un sous-espace de $L^2(A, f_T(x)dx)$ de dimension $\ell$. Cette vitesse est établie grâce à la troncature de la dimension, ayant prouvé que $\mathbb{P}(\Lambda_m^c) = O(N^{-7})$.

**Estimateur adaptatif de $b^*1_A$.** L'estimateur adaptatif $\tilde{b}_m$ est obtenu en sélectionant à partir des données, une dimension optimal $\hat{m}$ dans un ensemble $\hat{\mathcal{M}}_N(o_T)$ défini par l'équation suivante

$$ \hat{\mathcal{M}}_N(o_T) = \{ m \in \{1, 2, \dots, NT\}, \ c_{\phi}^2 m \left( \left\| \hat{\Psi}_m^{-1} \right\|_{op} \vee 1 \right) \le o_T \frac{NT}{\log(NT)} \} $$

où $c_{\phi}$ est la borne supérieure des fonctions de la base générant l'espace d'approximation, et la constante $o_T$ dépend de l'horizon temporel $T$ et de la norme infinie $\|f_T\|_{\infty}$ de la fonction de densité $f_T$.

[Denis, Dion, Martinez (2020) ([30]).] Cet article propose, en temps court ($T < \infty$) et à partir de données répétées, un estimateur par projection de la fonction de dérive $b^*$ sur un espace de dimension finie engendré par une base de fonctions **B-spline** et inclus dans l'espace initial contenant $b^*$. Une contrainte de type $\ell^2$ est imposée aux vecteurs de coordonnées des éléments du sous-espace d'approximation, suivie d'une troncature de la borne de l'estimateur non-paramétrique obtenu, de sorte que celle-ci soit à croissance au plus polynômiale. On précise tout de même que la troncature effectuée sur l'estimateur de $b^*$ n'a aucun impact sur la dimension de l'espace d'approximation. L'objectif de la contrainte $\ell^2$ et de la troncature est d'assurer la convergence du risque d'estimation de l'estimateur non-paramétrique $\hat{b}$ obtenu, et d'en établir, sous certaines hypothèses sur $b^*$ et $\sigma^*$, une vitesse de convegence optimale de l'ordre de $N^{-\beta/(2\beta+1)}$ sur l'espace des fonctions de type Hölder de paramètre de régularité $\beta \ge 1$.

### iii) Construction de l'estimateur ridge de $b^*$.

Partant d'un échantillon de trajectoires de diffusion $(\bar{X}^{(1)}, \dots, \bar{X}^{(N)})$ de taille $N$, observées de manière indépendante et en temps discret. Ils construisent, en utilisant le modèle de regression (1.4) et la minimisation de la fonction de constraste des moindres carrés obtenue à partir du modèle de régression, l'estimateur ridge $\hat{b}_m = \sum_{\ell=0}^{m-1} \hat{a}_{\ell} B_{\ell}$, où $(B_0, \dots, B_{m-1})$ est la base de fonctions **B-spline** de l'espace d'approximation de dimension $m$, et

$$ \hat{\mathbf{a}} = (\hat{a}_0, \dots, \hat{a}_{m-1}) = \arg \min_{\|a\|_2^2 \le mL} \|\mathbf{Z} - \mathbf{B}a\|_2^2 $$

avec **Z** le vecteur des variables réponses donné par

$$ \mathbf{Z} := (Z_{0\Delta_n}^{(1)}, \dots, Z_{(n-1)\Delta_n}^{(1)}, \dots, Z_{0\Delta_n}^{(N)}, \dots, Z_{(n-1)\Delta_n}^{(N)}), $$

et la matrice **B** donnée ci-dessous

$$ \mathbf{B} := \left( t \left( B_{\ell}(X_{0\Delta_n}^{(j)}), \dots, B_{\ell}(X_{(n-1)\Delta_n}^{(j)}) \right) \right)_{\substack{1 \le j \le N \\ 0 \le \ell \le m-1}} . $$

La constante $L > 0$ et la dimension $m$ de l'espace d'approximation sont des suites croissantes de la taille $N$ de l'échantillon des observations. Enfin, l'estimateur obtenu est indépendant du support de la fonction de dérive $b^*$.
ii) **Consistance de l'estimateur ridge de $b^*$**.

La consistance de l'estimateur ridge $\hat{b}_m$ est établie lorsque la fonction de dérive $b^*$ a pour support la droite réelle $\mathbb{R}$. Ce résultat de consistance est obtenu entre autre, sous des hypothèses sur la dimension $m$ de l'espace d'approximation, la constante $L$, et l'intervalle borné sur lequel est définie la base de fonctions B-splines qui engendre l'espace d'approximation.

iii) **Vitesse de convergence de l'estimateur ridge de $b^*$**.

L'établissement de la vitesse optimale de l'estimateur $\hat{b}_m$ nécessite, sous des hypothèses re-
quises sur $b^*$ et $\sigma^*$, une approximation de la densité de transition du processus de diffusion
$X$ solution de (1.1) par des gaussiennes, une restriction de la fonction de dérive $b^*$ à un inter-
valle compact comme par exemple $[0, 1]$, et une définition appropriée d'un ensemble $\mathcal{M}$ des
valeurs possibles de la dimension $m$ de l'espace d'approximation. Ils établissent ainsi, pour
tout $m \in \mathcal{M}$, une vitesse optimale de l'estimateur $\hat{b}_m$ de l'ordre de $N^{-\beta/(2\beta+1)}$ sur un espace
Hölder de paramètre de régularité $\beta \ge 1$.

iv) **Estimateur adaptatif de $b^*$**.

Un estimateur adaptatif de $b^*$ est ensuite proposé par une sélection, à partir des données ob-
servées, de la dimension de l'espace d'approximation. Cette sélection de modèle se fait par
minimisation de la somme de la fonction de contraste des moindres carrés et d'une fonction de
pénalité dont l'ordre est celui du terme de variance du risque d'estimation de $\hat{b}_m$.

Dans ce manuscrit, et pour la construction d'un classifieur de type plug-in, nous nous inspirons principalement de ces deux articles pour construire des estimateurs non-paramétriques des coefficients de dérive du modèle de diffusion (1.1) dont le support est la droite réelle $\mathbb{R}$. Nous établissons la vitesse optimale obtenue dans [30] en utilisant un raisonnement similaire à celui décrit dans [20].

1.2.3 Estimation non-paramétrique du coefficient de diffusion

On considère de nouveau le processus de diffusion $X = (X_t)_{t \in [0,1]}$ solution du modèle (1.1) avec $b_Y^* = b^*$.

Soit donc $n$ un entier naturel suffisamment grand et $\bar{X} = (X_{k\Delta_n})_{0\le k\le n}$ une observation discrète de $X$ avec $\Delta_n = 1/n$ le pas de temps. Soit $(U_{k\Delta_n})_{0\le k\le n}$ la suite construite à partir de $\bar{X}$ telle que

$$
U_{k\Delta_n} := \frac{(X_{(k+1)\Delta_n} - X_{k\Delta_n})^2}{\Delta_n}, \quad k = 0, \dots, n-1.
$$

Ainsi, pour tout $k \in [0, n]$, $U_{k\Delta_n}$ est une approximation en temps discret de la variance quadratique instantanée $d\langle X, X \rangle_t / dt$. La proposition ci-dessous donne le modèle de régression à partir duquel, le carré du coefficient de diffusion $\sigma^{*2}$ peut être estimé comme solution du modèle.

**Proposition 1.2.6.** *Supposons que la fonction* $\sigma^*$ *est de classe C^2 sur* $\mathbb{R}$. *Pour tout* $k = 0, \dots, n-1$, *on déduit de l'équation (1.1) que*

$$
U_{k\Delta_n} = \sigma^{*2}(X_{k\Delta_n}) + \zeta_{k\Delta_n} + R_{k\Delta_n} \quad (1.6)
$$

où $\zeta_{k\Delta_n} = \zeta_{k\Delta_n}^{(1)} + \zeta_{k\Delta_n}^{(2)} + \zeta_{k\Delta_n}^{(3)}$ avec,

$$
\zeta_{k\Delta_n}^{(1)} = \frac{1}{\Delta_n} \left[ \left( \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^*(X_s) dW_s \right)^2 - \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^{*2}(X_s) ds \right]
$$

$$
\zeta_{k\Delta_n}^{(2)} = \frac{2}{\Delta_n} \int_{k\Delta_n}^{(k+1)\Delta_n} ((k+1)\Delta_n - s)\sigma^{*\prime}(X_s)\sigma^{*2}(X_s) dW_s
$$

$$
\zeta_{k\Delta_n}^{(3)} = 2b^*(X_{k\Delta_n}) \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^*(X_s) dW_s,
$$
et $R_{k\Delta_n} = R_{k\Delta_n}^{(1)} + R_{k\Delta_n}^{(2)}$ avec,

$$R_{k\Delta_n}^{(1)} = \frac{1}{\Delta_n} \left( \int_{k\Delta_n}^{(k+1)\Delta_n} b^*(X_s)ds \right)^2 + \frac{1}{\Delta_n} \int_{k\Delta_n}^{(k+1)\Delta_n} ((k+1)\Delta_n - s)\Phi(X_s)ds$$
$$R_{k\Delta_n}^{(2)} = \frac{2}{\Delta_n} \left( \int_{k\Delta_n}^{(k+1)\Delta_n} (b^*(X_s) - b^*(X_{k\Delta_n}))ds \right) \left( \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^*(X_s)dW_s \right)$$

et $\Phi := 2b^*\sigma^*\sigma^* + [\sigma^{*\prime\prime}\sigma^* + (\sigma^*)^2]\sigma^{*2}$.

Le modèle de régression (1.6) est utilisé en temps court ($T \in \mathbb{R}_+$) comme en temps long ($T \to \infty$) (voir [22]). Notons que le terme $\zeta_{k\Delta_n}^{(1)}$ est le véritable terme d'erreur dépendant à la fois de $N$ et $n$, les autres termes $\zeta_{k\Delta_n}^{(2)}$ et $\zeta_{k\Delta_n}^{(3)}$ étant des résidus négligeables (voir par exemple [22]). Le terme d'erreur $R_{k\Delta_n}$ est directement lié au pas de discrétisation du temps $\Delta_n$. Constrairement à la fonction de dérive, un estimateur consistant de $\sigma^{*2}$ peut être construit à partir d'une seule observation discrète du processus de diffusion $X$ (voir par exemple [61]). Nous proposons dans ce manuscrit, des estimateurs ridge de $\sigma^{*2}$ dans le cas d'observation d'une seule trajectoire ($N = 1$ et $n \to \infty$), et dans le cas d'observations répétées du processus $X$ ($n, N \to \infty$).

L'estimation du carré du coefficient de diffusion est étudiée dans la littérature scientifique tant pour le temps long ($T \to \infty$) que pour le temps court ($T \in \mathbb{R}_+$). Nous présentons ci-dessous, deux articles dans lesquels sont proposés des estimateurs de $\sigma^{*2}$ en utilisant un modèle de régression non-paramétrique.

**Hoffmann (1999) [61].** L'auteur propose un estimateur non-paramétrique du carré du coefficient de diffusion $\sigma^*$ lorsque la fonction de dérive dépend à la fois du temps et de l'espace. $\sigma^{*2}$ est estimé sur l'intervalle compact $D = [0, 1]$, à partir d'une observation discrète $X^{(n)} = (X_{i/n})_{0\le i\le n}$ du processus de diffusion $X$. Pour tout $p \in [1, \infty)$, une vitesse de convergence optimale de l'ordre de $n^{-ps/2(1+2s)}$ est établie sur l'espace de Besov $B_{sp\infty}^{p}(D)$ sur l'intervalle $D$ de paramètre de régularité $s > 1 + 1/2$ et défini à partir de l'espace $L^p(D)$. L'établissement de cette vitesse optimale repose sur l'utilisation de la base d'ondelettes qui génère l'espace de Besov, et est optimale au sens minimax.

### i) Construction de l'estimateur de $\sigma^{*2}$ sur l'intervalle $D = [0, 1]$.

Pour rappel, le processus de diffusion $X = (X_t)_{t \in [0,1]}$ prend ses valeurs dans la droite réelle $\mathbb{R}$. Ainsi, la première étape consiste à assurer une répartition uniforme des points de données dans l'intervalle $D = [0, 1]$. Cette condition étant vérifiée dans le cas général où les observations sont supposées admettre une densité minorée sur l'intervalle d'estimation, l'auteur considère le temps local du processus $X$ donné par

$$\forall x \in D, \quad L^x = \lim_{\epsilon \to 0} \frac{1}{2\epsilon} \int_0^1 1_{|X_s - x| \le \epsilon} ds. \qquad (1.7)$$

De plus, pour un réel fixé $\nu \in (0, 1)$, L'estimateur de $\sigma^{*2}$ est construit conditionnellement à l'événement aléatoire $\{L^D \ge \nu\}$ où $L^D = \inf_{x \in D} L^x$.

Un seuil $h_n > 0$ est choisi, et l'intervalle $D$ est divisé en $\lfloor h_n^{-1} \rfloor$ boites $C_\lambda$, $\lambda = 1, \dots, \lfloor h_n^{-1} \rfloor$ de taille $h_n$. Le temps local empirique $x \mapsto L_n^x$ donné pour tout $x \in D$ par

$$L_n^x = \frac{1}{nh_n} \sum_{i=0}^{n} 1_{|X_{i/n} - x| \le h_n/2}$$

satisfait $L_n^x \to L^x$ pour tout $x \in D$ lorsque $h_n \to 0$ et $nh_n \to \infty$. Ainsi, sur l'événement $\{L^D \ge \nu\}$, au moins $\lfloor nh_n\nu \rfloor$ points de données se trouvent dans chaque boîte $C_\lambda$ avec une probabilité élevée.
L'estimateur non-paramétrique de $\sigma^{*2}$ sur l'intervalle $D = [0, 1]$ est

$$ \hat{\sigma}_n^2(x) = \sum_{k=0}^{N_0-1} \hat{\alpha}_{jk}^\ell \phi_{jk}^\ell(x) + \sum_{k \in s_j} \hat{\alpha}_{jk} \phi_{jk}(x) + \sum_{k=0}^{N_0-1} \hat{\alpha}_{jk}^r \phi_{jk}^r(x) \quad (1.8) $$

avec

$$ \hat{\alpha}_{jk} = \sum_i (X_{(i+1)/n} - X_{i/n})^2 \phi_{jk} \left(\frac{i}{n}\right), $$

où $\phi_{jk}^\ell$, $\phi_{jk}$ et $\phi_{jk}^r$ sont des ondelettes appartenant à la base du sous-espace $V_j$ de l'espace de Besov $B_{sp\infty}(D)$ de dimension $2^j$ avec $j \in \mathbb{N}^*$. Les fonctions $\phi_{jk}^\ell$ et $\phi_{jk}^r$ sont respectivement pour chaque $k$, les fonctions de mise à l'échelle des bords gauche et droit de l'intervalle $D = [0, 1]$. Enfin, $s_j$ est l'ensemble des $k$ tels que $\text{supp}\phi_{jk} \subset D$.

## ii) Vitesse optimale de convergence de l'estimateur de $\sigma^{*2}$ sur l'intervalle $D = [0, 1]$.

La vitesse optimale de convergence de l'estimateur non-paramétrique $\hat{\sigma}_n^2$ donné par l'équation (1.8) est établie sous certaines hypothèses de régularité sur les coefficients $b^*$ et $\sigma^*$ du processus de diffusion $X$, et en tirant profit de l'optimalité au sens minimax de la base d'ondelettes. Ainsi, l'auteur montre que l'estimateur $\hat{\sigma}_n^2$ atteint une vitesse optimale de l'ordre de $n^{-ps/2(1+2s)}$ sur un espace de Besov $B_{sp\infty}(D)$ de paramètre de régularité $s > 2$ basé sur l'espace $L^p(D)$.

Nous étudions dans le chapitre 2 l'estimation non-paramétrique du coefficient de diffusion issu du modèle (1.1) à partir d'une seule trajectoire de diffusion. Cette étude est basée sur le temps local (1.7) dont on établit le lien avec la densité de transition du processus solution du modèle (1.1).

**Comte, Genon-Catalot, Rozenholc (2007) [22].** Dans cet article, le processus $X$ est supposé ergodique et strictement stationnaire, avec l'horizon temporel $T \to \infty$. En effet, les auteurs disposent d'une observation discrète $(X_{k\Delta_n})_{1\le k\le n+1}$ du processus $X$, où le pas de temps $\Delta_n$ satisfait

$$ \Delta_n \to 0 \text{ et } n\Delta_n \to \infty \text{ lorsque } n \to \infty. $$

Ils proposent dans cet article, un estimateur par projection de la restriction $\sigma_A^{*2} = \sigma^{*2}1_A$ du carré du coefficient de diffusion $\sigma^{*2}$, solution du modèle de régression (1.6), par la minimisation d'une fonction de contraste des moindres carrés, où $A = [0, 1]$. Plus précisément, l'estimateur par projection $\hat{\sigma}_m^2$ de $\sigma_A^{*2}$ sur un sous-espace vectoriel $S_m$ de dimension finie $m \ge 1$ est construit tel que

$$ \hat{\sigma}_m^2 = \arg \min_{h \in S_m} \tilde{\gamma}_n(h), \text{ avec } \tilde{\gamma}_n(h) = \frac{1}{n} \sum_{k=1}^n [U_{k\Delta_n} - h(X_{k\Delta_n})]^2. $$

Ils établissent ensuite, sous l'hypothèse que $\sigma_A^{*2}$ appartient à un espace de Besov $B_{\alpha,2,\infty}([0, 1])$ avec $\|\sigma_A^{*2}\|_{\alpha,2,\infty} < \infty$, de régularité $\alpha > 1/2$, le résultat de consistance suivant :

$$ \mathbb{E} \left[ \| \hat{\sigma}_m^2 - \sigma_A^{*2} \|_n^2 \right] = O \left( n^{-2\alpha/(2\alpha+1)} + \Delta_n^2 + \frac{1}{n} \right), $$

où,

$$ \|\hat{\sigma}_m^2 - \sigma_A^{*2}\|_n^2 = \frac{1}{n} \sum_{k=1}^n (\hat{\sigma}_m^2 - \sigma_A^{*2})^2 (X_{k\Delta_n}). $$

Dans cette thèse, on se place dans un cadre d'étude plus proche de celui de Hoffmann [61]. Toutefois, les méthodes de construction des estimateurs ainsi que les méthodes d'établissement de résultats théoriques sont similaires à celles utilisées dans Comte, Genon-Catalot et Rozenholc [22]. La section suivante présente quelques généralités sur la classification supervisée et multiclases.
# 1.3 Généralités sur la classification supervisée

## 1.3.1 Principe

On entend par classification, un tri d'objets généralement appelés individus (ou feature en anglais) selon un critère de similarité défini au préalable. On appelle donnée étiquetée ou encore donnée labellisée, un couple de variables aléatoires $(X, Y) \in \mathcal{X} \times \mathcal{Y}$ défini sur un espace de probabilité $(\Omega, \mathcal{F}, \mathcal{P})$, où la variable $X \in \mathcal{X}$ est appelée feature ou individu, et la variable aléatoire $Y \in \mathcal{Y}$ est discrète, et est appelée étiquette ou classe. L'ensemble $\mathcal{Y}$ des classes est donnée par $\mathcal{Y} = \{1, \dots, K\}$ avec $K \ge 2$ le nombre total de classes, et on parle de classification multiclasse lorsque $K$ est au moins égal à 3, et de classification binaire lorsque $K = 2$. Une classification est dite supervisée lorsqu'elle est basée sur des données étiquetées. Ce mode de classification est à différencier de la classification non-supervisée qui sert généralement à organiser des individus en groupes homogènes, les classes n'étant pas connues d'avance, et sont alors définies dans la procédure de classification. Elle a souvent pour finalité l'étude d'une population et de sa structure, et est basée sur des données non étiquetées.

La loi du couple aléatoire $(X, Y)$ est supposée inconnue. Ainsi, nous supposons avoir à notre disposition un échantillon $\mathcal{D}_N = ((X^1, Y_1), \dots, (X^N, Y_N))$ de taille $N$ et appelé échantillon d'apprentissage, et à partir duquel on entraîne puis teste une procédure empirique de classification pour la prédiction des étiquettes des nouvelles données.

La figure 1.2 présente un exemple d'échantillon d'apprentissage lorsque la variable $X = (X_t)_{t \in [0,1]}$ est un processus de diffusion à valeurs dans $\mathbb{R}$, solution d'une équation différentielle stochastique, et l'étiquette $Y$ est une variable aléatoire distribuée de manière équ probable dans $\mathcal{Y} = \{1, 2, 3\}$. Ainsi, on entraîne le classifieur empirique $\hat{g}$ à partir de l'échantillon qu'on observe à gauche de la figure, pour ensuite prédire à l'aide de $\hat{g}$ une classe pour la nouvelle trajectoire de diffusion présentée à droite.

<figure><img src="image_9.png" /><figcaption>FIGURE 1.2 : Du coté gauche, un échantillon d'apprentissage constitué de trajectoires de diffusions regroupées en trois classes. Du coté droit, une nouvelle trajectoire de diffusion dont la classe doit être prédite.</figcaption></figure>

On appelle classifieur ou règle de classification, toute fonction $g$ mesurable sur l'espace des individus $\mathcal{X}$ et à valeurs dans l'ensemble des classes $\mathcal{Y}$. Ainsi, tout classifieur $g$ prend en argument un individu $X$ et lui alloue une classe $g(X)$ dans $\mathcal{Y}$. On note $\mathcal{G}(\mathcal{X}, \mathcal{Y})$, l'ensemble des classieurs mesurables sur $\mathcal{X}$ et à valeurs dans $\mathcal{Y}$. La prédiction d'une classe par un classifieur $g$ admet un coût évaluée par une fonction de perte $\ell : (y, y') \in \mathcal{Y} \times \mathcal{Y} \mapsto \ell(y, y') \in \mathbb{R}_+$. Ainsi, la performance de tout classifieur $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$ est mesurée par une fonction $\mathcal{R} : \mathcal{G}(\mathcal{X}, \mathcal{Y}) \to \mathbb{R}_+$ qui, à toute règle de classification $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$ associe la quantité

$$ \mathcal{R}(g) = \mathbb{E}[\ell(g(X), Y)]. $$

La fonction $\mathcal{R}$ est appelée risque de classification, ou erreur de mauvaise classification, et pour tout classifieur $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$, $\mathcal{R}(g)$ est par définition son coût moyen de prédiction. Dans cette thèse, nous
considérons la fonction de coût $\ell: (y, y') \in \mathcal{Y} \mapsto 1_{y \neq y'}$. Ainsi, le risque de classification $\mathcal{R}$ est donné pour chaque $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$ par

$$ \mathcal{R}(g) = \mathbb{P}(g(X) \neq Y). \qquad (1.9) $$

### 1.3.2 Classifieur de Bayes et premières propriétés

Nous présentons dans cette section le classifieur de Bayes, et la propriété centrale qui met en relation un classifieur quelconque et le classifieur de Bayes. L'objectif de cette relation est l'étude de la performance du classifieur quelconque en se référant au risque du classifieur de Bayes. Nous renvoyons le lecteur à [32] pour une étude sur le classifieur de Bayes.

**Definition 1.3.1 (Classifieur de Bayes).**

Supposons que la fonction $g \mapsto \mathcal{R}(g)$ atteint un minimum sur l'ensemble $\mathcal{G}(\mathcal{X}, \mathcal{Y})$ des classificateurs $g: \mathcal{X} \to \mathcal{Y}$. On appelle classifieur de Bayes, un classifieur $g^* \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$ qui minimise le risque de classification $\mathcal{R}$ donné par l'équation (1.9).

Le classifieur de Bayes $g^*$ est donc un classifieur optimal avec lequel nous pouvons classifier les données en prenant le moins de risque possible (voir par exemple [32]). Ce classifieur satisfait la relation équivalente suivante :

$$ g^* \in \arg \min_{g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})} \mathcal{R}(g). $$

Remarquons, pour tout classifieur $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$, que

$$ \mathcal{R}(g) = \mathbb{E}[1_{Y \neq g(X)}] = \sum_{i=1}^{K} \mathbb{E}[1_{g(X) \neq i} \mathbb{P}(Y = i | X)] = 1 - \sum_{i=1}^{K} \mathbb{E}[1_{g(X)=i} \mathbb{P}(Y = i | X)]. \quad (1.10) $$

Ainsi, le classifieur de Bayes prend comme argument un individu $X \in \mathcal{X}$, évalue la probabilité d'appartenance de $X$ à chacune des classes $i \in \mathcal{Y}$, et renvoie la classe $g^*(X) \in \mathcal{Y}$ pour laquelle la probabilité d'appartenance est maximale. Formellement, $g^*$ est caractérisé pour tout $X \in \mathcal{X}$ par

$$ g^*(X) = \arg \max_{i \in \mathcal{Y}} \mathbb{P}(Y = i | X). \qquad (1.11) $$

Pour tout $i \in \mathcal{Y}$, on note,

$$ \pi_i^*(X) := \mathbb{P}(Y = i | X). \qquad (1.12) $$

Le résultat suivant donne la formule de l'excès de risque de tout classifieur $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$ par rapport au classifieur de Bayes $g^*$.

**Proposition 1.3.2.** Pour tout classifieur $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$, on a :

$$ \mathcal{R}(g) - \mathcal{R}(g^*) = \mathbb{E} \left[ \sum_{i=1}^{K} \sum_{k \neq i} |\pi_i^*(X) - \pi_k^*(X)| 1_{g^*(X)=i} 1_{g(X)=k} \right]. $$

La preuve de la proposition 1.3.2 est faite dans [29] pour le cas des données de diffusion avec $X = (X_t)_{t \in [0, T]}$ et $T > 0$ l'horizon temporel, et elle reste exactement la même dans le cas général.

L'excès de risque donné par la proposition 1.3.2 est particulièrement utilisé pour l'étude théorique de la performance d'une règle de classification empirique construite à partir d'un échantillon de données.
### 1.3.3 Classifieur empirique

La loi du couple aléatoire $(X, Y)$ est supposée inconnue. On part ainsi d'un échantillon d'apprentissage $\mathcal{D}_N$ pour entrainer une règle de classification empirique $\hat{g}$ qui servira à faire des prédictions de classes pour les nouvelles observations du couple $(X, Y)$. La règle de classification empirique est construite de manière à imiter le classifieur de Bayes, de sorte que son risque de classification $\mathcal{R}(\hat{g})$ converge, selon la norme $L^1$, vers le risque du classifieur de Bayes $\mathcal{R}(g^*)$. Plus précisément, on construit à partir de l'échantillon $\mathcal{D}_N$, les estimateurs des probabilités conditionnelles $\pi_i^*(X)$, et l'estimateur $\hat{g}$ est caractérisé pour toute observation $X \in \mathcal{X}$ par

$$ \hat{g}(X) = \arg \max_{i \in \mathcal{Y}} \hat{\pi}_i(X). $$

On évalue théoriquement la performance de $\hat{g}$ en regardant son excès de risque $\mathcal{R}(\hat{g}) - \mathcal{R}(g^*)$ par rapport au classifieur de Bayes.

Ainsi, la règle de classification $\hat{g}$ n'aura d'intérêt que si son excès de risque $\mathcal{R}(\hat{g}) - \mathcal{R}(g^*)$ tend vers zéro lorsque la taille $N$ de l'échantillon $\mathcal{D}_N$ tend vers l'infini. Des études supplémentaires sont réalisées pour établir la vitesse de convergence du classifieur $\hat{g}$ sous certaines hypothèses imposées au modèle étudié.

### 1.3.4 Méthodes de construction de procédures de classification

Nous présentons dans cette section deux méthodes de construction de procédures de classification empiriques étudiées dans cette thèse. Le but de ces méthodes est de construire, à partir d'un échantillon d'apprentissage, un classifieur empirique qui imite le classifieur de Bayes. Le problème qui se pose est que la loi $\mathbb{P}$ des observations est inconnue.

**Classifieurs de type plug-in.** On suppose que la loi des observations $\mathbb{P} = \mathbb{P}_{\theta^*}$ dépend d'un paramètre inconnu $\theta^*$ de dimension finie ou infinie. Ainsi, on note le classifieur de Bayes $g^* = g_{\theta^*}$ et les probabilités $\pi_i^*(X) = \pi_{\theta^*}(i)$, et pour tout $X \in \mathcal{X}$,

$$ g_{\theta^*}(X) = \arg \max_{i \in \mathcal{Y}} \pi_{\theta^*}(i). $$

On appelle classifieur plug-in, le classifieur $\hat{g} = g_{\hat{\theta}}$ obtenu à partir du classifieur de Bayes en remplaçant le paramètre inconnu $\theta^*$ par son estimateur $\hat{\theta}$ construit à partir des données observées. En conséquence, la performance du classifieur empirique $\hat{g}$, mesurée par le risque de classification $\mathcal{R}: g \mapsto \mathbb{P}_{\theta^*}(Y \neq g(X))$, dépendra fortement de la qualité d'estimation de $\theta^*$.

Dans ce manuscrit, nous proposons une procédure de classification de type plug-in, où $X$ est solution d'une équation différentielle stochastique dont les coefficients de dérive $b_i^*$, $i \in \mathcal{Y}$ et le coefficient de diffusion $\sigma^*$ sont supposés inconnus, ainsi que la loi $\mathfrak{p}^*$ de l'étiquette $Y \in \mathcal{Y}$. Dans ce cas, le paramètre $\theta^*$, de dimension infinie, est donné par

$$ \theta^* = (\mathfrak{b}^*, \sigma^{*2}, \mathfrak{p}^*), $$

$$ \text{avec } \mathfrak{b}^* = (b_1^*, \dots, b_K^*). $$

**Classifieur de type ERM.** La loi $\mathbb{P}$ des observations étant supposée inconnue, le risque de classification n'est donc pas calculable en pratique. Ainsi, partant d'un échantillon d'apprentissage $\mathcal{D}_N$ constitué de $N$ copies indépendantes du couple aléatoire $(X, Y)$, nous considérons le risque empirique de classification $\hat{\mathcal{R}}_N: \mathcal{G}(\mathcal{X}, \mathcal{Y}) \to \mathbb{R}_+$ donné pour tout classifieur $g$ par

$$ \hat{\mathcal{R}}_N(g) := \frac{1}{N} \sum_{j=1}^{N} 1_{Y_j \neq g(X_j)}. $$
Le risque empirique de classification $\hat{\mathcal{R}}_N(g)$ d'un classifieur $g$ est un estimateur sans biais du risque de classification $\mathcal{R}(g)$, et on a

$$ \mathbb{E} \left[ \left| \hat{\mathcal{R}}_N(g) - \mathcal{R}(g) \right| \right] = O \left( \frac{1}{\sqrt{N}} \right). $$

On remarque ainsi que pour tout $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$, le risque empirique $\hat{\mathcal{R}}_N(g)$ converge vers le risque théorique $\mathcal{R}(g)$ avec une vitesse de convergence considérée comme assez rapide et de l'ordre de $1/\sqrt{N}$. L'avantage ici, est que le risque empirique de classification $\hat{\mathcal{R}}_N$ est calculable contrairement au risque théorique $\mathcal{R}$.

On appelle classifieur de type ERM, le classifieur empirique $\hat{g}$ construit à partir de l'échantillon d'apprentissage $((X_1, Y_1), \dots, (X_N, Y_N))$ tel que

$$ \hat{g} = \arg \min_{g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})} \hat{\mathcal{R}}_N(g). \qquad (1.13) $$

Le classifieur de type ERM, reposant sur la minimisation du risque empirique de classification $\hat{\mathcal{R}}_N$ est connu pour être plus performant que le classifieur de type plug-in décrit précédemment. Cependant, le problème d'optimisation (1.13) est non-convexe et donc très souvent incalculable en pratique. Ainsi, la construction d'une procédure de classification de type ERM implémentable passe par la convexification du problème d'optimisation (1.13) en utilisant une fonction de perte quadratique et en remplaçant l'espace des classificateurs $\mathcal{G}(\mathcal{X}, \mathcal{Y})$ par un espace convexe $\mathcal{H}(\mathcal{X}, \mathbb{R}^K)$ donné par

$$ \mathcal{H}(\mathcal{X}, \mathbb{R}^K) = \{h = (h^1, \dots, h^K) : \mathcal{X} \to \mathbb{R}^K\}. \qquad (1.14) $$

En conséquence, on considère les classificateurs $g_h \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$ définis à partir des fonctions score $h \in \mathcal{H}(\mathcal{X}, \mathbb{R}^K)$ tels que

$$ g_h(X) = \arg \max_{i \in \mathcal{Y}} h^i(X). \qquad (1.15) $$

Finalement, le nouveau classifieur empirique $g_{\hat{h}}$ dépend de la fonction score $\hat{h}$ donnée par

$$ \hat{h} = \arg \min_{h \in \mathcal{H}(\mathcal{X}, \mathbb{R}^K)} \hat{\mathcal{R}}_N(h) \qquad (1.16) $$

avec pour chaque $h \in \mathcal{H}(\mathcal{X}, \mathbb{R}^K)$,

$$ \hat{\mathcal{R}}_N(h) = \frac{1}{N} \sum_{j=1}^{N} \sum_{i=1}^{K} (1 - Z_i h^i(X_j))^2 \qquad (1.17) $$

et pour chaque $i \in \mathcal{Y}$, $Z_i = 2\mathbb{1}_{Y=i} - 1 \in \{-1, 1\}$. $\hat{\mathcal{R}}_N$ est la version empirique du nouveau risque de classification $\mathcal{R}$ donné pour tout $h \in \mathcal{H}(\mathcal{X}, \mathbb{R}^K)$ par

$$ \mathcal{R}(h) = \mathbb{E} \left[ \sum_{i=1}^{K} (1 - Z_i h^i(X))^2 \right]. \qquad (1.18) $$

Pour tout $X \in \mathcal{X}$ et pour chaque étiquette $i \in \mathcal{Y}$, la variable aléatoire $Z_i$ vaut $Z_i = 1$ si $g_h(X) = i$ et $Z_i = -1$ si $g_h(X) \neq i$.

Nous présentons dans les chapitres A et B des procédures de classification multiclases pour des données de diffusion, en utilisant respectivement le principe plug-in et la minimisation du risque empirique de classification.
### 1.3.5 Modèle de classification étudié dans la thèse

On étudie le modèle de diffusion (1.1) avec $T = 1$. Sous l'hypothèse 1.2.2, le modèle (1.1) admet une unique solution forte (voir par exemple [67]).

On définit pour tout $t \in [0, 1]$, une procédure de classification $g_t: \mathcal{X}_t \to \mathcal{Y}$ à l'instant $t$, avec $\mathcal{X}_t$ l'espace des processus de diffusion $X$ donné par

$$ \mathcal{X}_t = (C([0, t], \mathbb{R}), C_t) $$

où, pour tout $t \in [0, T]$, $C([0, t], \mathbb{R})$ est l'espace des fonctions continues sur l'intervalle $[0, t]$ et à valeurs dans $\mathbb{R}$, et $C_t$ est sa tribu associée. Ainsi, le classifieur $g_t$ s'actualise lorsque le temps $t$ parcourt l'intervalle $[0, T]$. Dans ce manuscrit, nous nous focalisons sur les classificateurs $g = g_1$ définis à l'horizon temporel $T = 1$, et nous posons $\mathcal{X} = (C([0, 1], \mathbb{R}), C_1)$.

Le classifieur de Bayes $g^*: \mathcal{X} \to \mathcal{Y}$ est toujours donné pour tout $X \in \mathcal{X}$ par

$$ g^*(X) = \arg\max_{i \in \mathcal{Y}} \pi_i^*(X) \qquad (1.19) $$

où $X$ désigne un processus de diffusion dont la loi de probabilité dépend de l'étiquette $Y \in \mathcal{Y}$.

On fait l'hypothèse supplémentaire suivante.

**Hypothèse 1.3.3.** Pour tout $i \in \mathcal{Y}$, nous avons

$$ \mathbb{E}_X \left[ \exp \left( \frac{1}{2} \int_0^1 \frac{b_i^{*2}}{\sigma^{*2}} (X_s) ds \right) \right] < +\infty. $$

Cette hypothèse est connue sous le nom de condition de Novikov, et nous servira en particulier à appliquer le théorème de Girsanov pour le changement de probabilité des processus de diffusion. Le résultat ci-dessous, prouvé dans [29], explicite les probabilités conditionnelles $\pi_i^*(X)$ pour chaque classe $i \in \mathcal{Y}$.

**Proposition 1.3.4** (Denis, Dion, Martinez (2020)). Supposons que les fonctions de dérive $b_i^*$ et le coefficient de diffusion $\sigma^*$ satisfont les hypothèses 1.2.2 et 1.3.3. Pour tout $i \in \mathcal{Y}$, on définit la quantité

$$ F_i^*(X) := \int_0^1 \frac{b_i^*}{\sigma^{*2}}(X_s) dX_s - \frac{1}{2} \int_0^1 \frac{b_i^{*2}}{\sigma^{*2}}(X_s) ds. $$

Pour tout $i \in \mathcal{Y}$, la probabilité conditionnelle $\pi^*(i, X)$ est donnée comme suit :

$$ \pi_i^*(X) = \phi_i^* (\mathbf{F}^*(X)), $$

où $\mathbf{F}^* = (F_1^*, \dots, F_k^*)$, et $\phi_i^* : (x_1, \dots, x_K) \mapsto \frac{\mathfrak{p}_i^* e^{x_i}}{\sum_{k=1}^K \mathfrak{p}_k^* e^{x_k}}$ sont des fonctions dites softmax.

La proposition 1.3.4 calcule ainsi, pour toute diffusion $X \in \mathcal{X}$, la probabilité $\pi_i^*(X)$ d'appartenance de $X$ à chaque classe $i \in \mathcal{Y}$. Ce résultat est obtenu sous les hypothèses 1.2.2 et 1.3.3, grâce au théorème de Girsanov duquel sont tirées les quantités $F_i^*(X)$. Cependant, ayant supposé que les fonctions de dérive $b_i^*$, $i \in \mathcal{Y}$, le coefficient de diffusion $\sigma^*$ et la loi discrète $\mathfrak{p}^*$ de $Y$ sont inconnus, les quantités $F_i^*(X)$ et les fonctions softmax $\phi_i^*$ sont incalculables, ainsi en est-il également du classifieur de Bayes $g^*$.

Dans ce manuscrit, nous proposons des procédures de classification empiriques basées sur des observations discrètes de la loi de mélange du processus de diffusion $X = (X_t)_{t \in [0,1]}$, solution du modèle 1.1 et de densité de transition $(t, x) \mapsto p_X(t, x)$ donnée pour tout $(t, x) \in [0, 1] \times \mathbb{R}$ par

$$ p_X(t, x) := \sum_{i=1}^{K} \mathfrak{p}_i^* p_{X,i}(t, x) \qquad (1.20) $$

où, pour chaque étiquette $i \in \mathcal{Y}$, $p_{X,i}$ est la densité de transition de $X$ conditionnellement à l'événement $\{Y = i\}$.
Démonstration. Notons pour chaque $i \in \mathcal{Y}$, $\mathbb{P}_i$ la loi de probabilité conditionnelle à $\{Y = i\}$, et $\mathbb{E}_i$ l'espérance associée. Ainsi, la loi de probabilité $\mathbb{P}$ de $X$ est donnée par

$$ \mathbb{P} = \sum_{i \in \mathcal{Y}} \mathfrak{P}_i^* \mathbb{P}_i. $$

On note $W^{\mathbb{P}} = (W_t^{\mathbb{P}})_{t \ge 0}$ le mouvement brownien sous la loi $\mathbb{P}$. Soit $\mathbb{Q}$ une autre loi de probabilité sous laquelle le processus de diffusion $X$ est solution de l'équation $dX_t = \sigma^*(X_t)dW_t^{\mathbb{Q}}$ où, pour tout $t \in [0, 1]$, $W_t^{\mathbb{Q}} = W_t^{\mathbb{P}} + \int_0^t \frac{b_Y^*}{\sigma^*}(X_s)ds$.

Le processus $X = (X_t)_{t \in [0,1]}$ étant prévisible car adapté par rapport à sa tribu naturelle $\mathcal{F}^X = (\mathcal{F}_t^X)_{t \in [0,1]}$, alors, d'après le théorème de Girsanov (voir [86]), on a :

i) $\mathbb{Q}$ est équivalente à $\mathbb{P}$.

ii) Pour tout $i \in \mathcal{Y}$, on a

$$ \psi_i = \frac{d\mathbb{P}_i|_{\mathcal{F}_1^X}}{d\mathbb{Q}|_{\mathcal{F}_1^X}} = \exp \left( \int_0^1 \frac{b_i^*}{\sigma^*}(X_s)dW_s^{\mathbb{P}_i} + \frac{1}{2} \int_0^1 \frac{b_i^{*2}}{\sigma^{*2}}(X_s)ds \right). $$

iii) $W^{\mathbb{Q}}$ est un mouvement brownien sous $\mathbb{Q}$.

Pour $i \in \mathcal{Y}$, nous avons :

$$ \forall t \ge 0 \quad W_t^{\mathbb{P}_i} = W_t^{\mathbb{Q}} - \int_0^t \frac{b_i^*}{\sigma^*}(X_s)ds \quad \text{et} \quad dW_t^{\mathbb{Q}} = \frac{1}{\sigma^*(X_t)}dX_t. $$

Donc :

$$ \int_0^1 \frac{b_i^*}{\sigma^*}(X_s)dW_s^{\mathbb{P}_i} = \int_0^1 \frac{b_i^*}{\sigma^*}(X_s) \left( dW_s^{\mathbb{Q}} - \frac{b_i^*}{\sigma^*}(X_s) \right) ds = \int_0^1 \frac{b_i^*}{\sigma^{*2}}(X_s)dX_s - \int_0^1 \frac{b_i^{*2}}{\sigma^{*2}}(X_s)ds. $$

On en déduit que pour $i \in \mathcal{Y}$ :

$$ \psi_i = \frac{d\mathbb{P}_i|_{\mathcal{F}_1^X}}{d\mathbb{Q}|_{\mathcal{F}_1^X}} = \exp \left( \int_0^1 \frac{b_i^*}{\sigma^{*2}}(X_s)dX_s - \frac{1}{2} \int_0^1 \frac{b_i^{*2}}{\sigma^{*2}}(X_s)ds \right) = \exp(F_i^*(X)). \quad (1.21) $$

De plus, on a :

$$ d\mathbb{P}|_{\mathcal{F}_1^X} = \sum_{i \in \mathcal{Y}} \mathfrak{P}_i^* d\mathbb{P}_i|_{\mathcal{F}_1^X} = \left( \sum_{i \in \mathcal{Y}} \mathfrak{P}_i^* \psi_i \right) d\mathbb{Q}|_{\mathcal{F}_1^X} = \left( \sum_{i \in \mathcal{Y}} \mathfrak{P}_i^* \exp(F_i^*(X)) \right) d\mathbb{Q}|_{\mathcal{F}_1^X}. \quad (1.22) $$

On déduit alors des résultats 1.21 et 1.22 que :

$$ \frac{d\mathbb{P}_i|_{\mathcal{F}_1^X}}{d\mathbb{P}|_{\mathcal{F}_1^X}} = \frac{\exp(F_i^*(X))}{\sum_{i \in \mathcal{Y}} \mathfrak{P}_i^* \exp(F_i^*(X))}. \quad (1.23) $$

L'objectif est de calculer, pour tout $i \in \mathcal{Y}$ l'espérance conditionnelle $\mathbb{P}(Y = i|\mathcal{F}_1^X) = \mathbb{E}(\mathbb{1}_{\{Y=i\}}|\mathcal{F}_1^X)$ qui est $\mathcal{F}_1^X$-mesurable et positive. Nous utiliserons pour cela l'orthogonalité de l'espérance conditionnelle. Soit donc $Z$ une variable aléatoire $\mathcal{F}_1^X$-mesurable et bornée. On a :

$$ \begin{aligned} \mathbb{E}[\mathbb{1}_{\{Y=i\}}Z] &= \mathbb{E}[\mathbb{E}(\mathbb{1}_{\{Y=i\}}Z|Y)] \\ &= \mathbb{E}[\mathbb{E}(\mathbb{1}_{\{Y=i\}}Z|Y=i)] \\ &= \mathbb{E}[\mathbb{1}_{\{Y=i\}}\mathbb{E}_i(Z)]. \end{aligned} $$
D'après l'équation (1.23), on obtient

$$
\begin{align*}
\mathbb{E}[\mathbf{1}_{\{Y=i\}} Z] &= \mathbb{E} \left[ \mathbf{1}_{\{Y=i\}} \mathbb{E} \left( \frac{d\mathbb{P}_i|_{\mathcal{F}_1^X}}{d\mathbb{P}|_{\mathcal{F}_1^X}} Z \right) \right] \\
&= \mathbb{E}[\mathbf{1}_{\{Y=i\}}] \mathbb{E} \left[ \frac{d\mathbb{P}_i|_{\mathcal{F}_1^X}}{d\mathbb{P}|_{\mathcal{F}_1^X}} Z \right] \\
&= \mathbb{E} \left[ \frac{\mathbf{p}_i^* \exp(F_i^*(X))}{\sum_{k \in \mathcal{Y}} \mathbf{p}_k^* \exp(F_k^*(X))} Z \right].
\end{align*}
$$

On en déduit finalement que pour $i \in \mathcal{Y}$ :

$$
\pi_i^*(X) = \mathbb{P}(Y = i | X) = \phi_i^*(\mathbf{F}^*(X))
$$

$$
\text{avec } \mathbf{F}^* = (F_1^*, \dots, F_K^*), \text{ et } \phi_i^* : (x_1, \dots, x_K) \mapsto \frac{\mathbf{p}_i^* e^{x_i}}{\sum_{k=1}^K \mathbf{p}_k^* e^{x_k}}.
$$

□

Nous construisons dans les chapitres A et B des procédures empiriques de classification imitant
le classifieur de Bayes g*. Cette construction repose soit sur l'estimation non-paramétrique des fonc-
tions b\*_i, i \in \mathcal{Y}, \sigma*^2 et l'estimation de la loi p\*_*, soit sur la minimisation du risque empirique sur des
espaces de dimensions finies contenant les éléments inconnus b\*_* = (b\*_1, ..., b\*_K), \sigma*^2 et p\*_*. Nous pré-
sentons dans la section suivante, des classifieurs pour les données fonctionnelles proposés dans la
littérature.

1.3.6 Classification supervisée des données fonctionnelles

La classification supervisée de données fonctionnelles est assez étudiée de manière générale dans la littérature scientifique.

**Vue d'ensemble sur la classification de données fonctionnelles.** On trouve dans la littérature scientifique des procédures de classification pour divers types de données fonctionnelles. Parmi les plus répandus, nous avons les classifieurs basés sur la notion de profondeur d'une donnée fonctionnelle dans une classe de données. On entend par profondeur pour les données, une fonction qui prend en argument une donnée multivariée ou fonctionnelle, et renvoie une quantité numérique qui détermine le degré de centralité de la donnée par rapport à une plage d'autres données. Cette mesure de profondeur peut être basée sur une mesure de distance. Ainsi, il y a des classifieurs qui prédisent les classes sur la base de la maximisation de la profondeur (voir par exemple [23], [73], [53]). Comme mesures de profondeur, nous avons par exemple la *Mahalanobis depth* (voir par exemple [12], [53]), la *Half-space depth* (voir par exemple [96]), d'autres profondeurs sont basées sur la réduction de dimension des données fonctionnelles (voir par exemple [78]). Nous trouvons ensuite des classifieurs résultant de l'adaptation de l'analyse discriminante linéaire aux données fonctionnelles (voir par exemple [66]), des classifieurs basés sur la méthode des noyaux (voir par exemple [41]), les classifieurs utilisant la méthode des k-plus proches voisins (voir par exemple [10]), ou celles basées sur la notion de signature pour des données temporelles (voir par exemple [40]) ou encore les règles de classification construites à l'aide de réseaux de neurones (voir par exemple [43]), la liste est bien-sûr non exhaustive.

**Classification de trajectoires de diffusion.** L'étude de la classification de trajectoires de diffusion n'est pas encore assez répandue dans la littérature, les données modélisées par des équations dif- férentielles stochastiques étant de plus en plus utilisées dans des domaines tels que la finance, ou encore la physique. Le but est de proposer une procédure de classification qui s'appuie sur les pro- priétés des processus de diffusion pour classer avec plus d'efficacité des données issues de ce type de processus stochastique, comparé aux procédures de classification adaptées à toutes données fonc- tionnelles. Nous trouvons dans la littérature les références ci-dessous.
1. Gadat, Gerchinovitz, Marteau (2020) [47].

Cet article propose une procédure de classification binaire de type plug-in pour les trajectoires de diffusion solutions du modèle de bruit blanc

$$
dX_t = Yf(t)dt + (1-Y)g(t)dt + dW_t, \quad t \in [0,1] \qquad (1.24)
$$

où $(W_t)_{t \ge 0}$ est un mouvement brownien standard, $Y$ est une variable aléatoire suivant une
loi de Bernoulli de paramètre $1/2$ indépendante de $(W_t)_{t \ge 0}$, et les fonctions $f, g \in L^2([0, 1])$.
Comme le coefficient de diffusion $\sigma^* = 1$ et les fonctions de dérive $f$ et $g$ dépendent du temps,
il en résulte que le processus $X$ solution du modèle (1.24) est un processus gaussien qui satisfait
pour tout $t \in (0, 1]$,

$$
X_t|Y=0 \sim \mathcal{N}(\nu_t, 1), \quad X_t|Y=1 \sim \mathcal{N}(\mu_t, 1),
$$

où

$$
\nu_t = \int_0^t g(s)ds, \quad \mu_t = \int_0^t f(s)ds.
$$

**Construction du classifieur empirique.** Rappelons que le classifieur de Bayes noté Φ* est défini par

$$
\Phi^* \in \arg \min_{\Phi} \mathcal{R}(\Phi),
$$

avec $\mathcal{R}(\Phi) = \mathbb{P}(\Phi(X) \neq Y)$ le risque de mauvaise classification. Le classifieur $\Phi^*$ est caractérisé pour tout processus gaussien $X$ solution de (1.24) par

$$
\Phi^*(X) := \mathbb{1}_{\eta^*(X) \ge 1/2},
$$

avec $\eta^*(X) = \mathbb{P}(Y = 1|X)$ la fonction de régression associée au modèle étudié. Il est ensuite établi que

$$
\Phi^*(X) = \mathbb{1}_{\eta^*(X) \ge 1/2} = \mathbb{1}\{\int_0^1 (f(s)-g(s))dX_s \ge \frac{1}{2}\|f\|^2 - \frac{1}{2}\|g\|^2\}.
$$

Les auteurs proposent une procédure de classification de type plug-in basée sur des estimateurs par projection des fonctions de dérive $f$ et $g$ sur un sous-espace de $\mathbb{L}^2([0, 1])$ de dimension finie, à partir d'un échantillon de données $\{(X^k, Y_k), k = 1, \dots, N\}$ constitué de $N$ copies indépendantes du couple aléatoire $(X, Y)$.

En effet, soient

$$
f_d := \Pi_d(f) = \sum_{j=1}^{d} \theta_j \phi_j \quad \text{et} \quad g_d := \Pi_d(g) = \sum_{j=1}^{d} \mu_j \phi_j
$$

où $\Pi_d$ est un projecteur orthogonal sur un sous-espace vectoriel de $\mathbb{L}^2([0, 1])$ de dimension $d$, généré par une base orthonormal $(\phi_j)_{j=1,...,d}$. Ils construisent ensuite, à partir de l'échantillon de trajectoires de diffusions $\{(X^k, Y_k), k = 1, ..., N\}$, l'échantillon de données univariées

$$
\mathcal{E} = \{ \langle \phi_1, X^1 \rangle, \dots, \langle \phi_1, X^N \rangle, \langle \phi_2, X^1 \rangle, \dots, \langle \phi_2, X^N \rangle, \dots, \langle \phi_d, X^1 \rangle, \dots, \langle \phi_d, X^N \rangle \}
$$

avec pour tous $j = 1, \dots, d$ et $k = 1, \dots, N$,

$$
\langle \phi_j, X^k \rangle = \int_0^1 \phi_j(t) dX_t^k.
$$

L'échantillon initial $\mathcal{E}$ est ensuite divisé en deux sous-échantillons

$$
\mathcal{E}_0 = \left\{ \langle \phi_j, X^{k,0} \rangle, \ j=1, \dots, d, \ k=1, \dots, N_0 \right\},
$$

avec $N_0 := \sum_{k=1}^{N} \mathbb{1}_{Y_k=0}$, et

$$
\mathcal{E}_1 = \{ \langle \phi_j, X^{k,1} \rangle, \ j=1, \dots, d, \ k=1, \dots, N_1 \},
$$
avec $N_1 := \sum_{k=1}^{N} 1_{Y_k=1}$ correspondant respectivement aux classes $Y = 0$ et $Y = 1$. Enfin, les fonctions $f$ et $g$ sont estimées respectivement par $\hat{f}_d = \sum_{j=1}^{d} \hat{\theta}_j \phi_j$ et $\hat{g}_d = \sum_{j=1}^{d} \hat{\mu}_j \phi_j$ avec pour tout $j = 1, \dots, d$,

$$ \hat{\theta}_j = 1_{N_1>0} \frac{1}{N_1} \sum_{k=1}^{N_1} \langle \phi_j, X^{k,1} \rangle, \quad \hat{\mu}_j = 1_{N_0>0} \frac{1}{N_0} \sum_{k=1}^{N_0} \langle \phi_j, X^{k,1} \rangle. $$

**Vitesse de convergence du classifieur empirique.** L'étude de la vitesse de convergence du classifieur empirique est réalisée en tirant profit du caractère gaussien du processus $X$ et du fait que les fonctions de dérive $f$ et $g$ sont à support compact. Une hypothèse de marge est faite sur la fonction de régression $\eta^*$, impliquant une condition de séparation des classes caractérisée par

$$ \Delta = \|f - g\| = \sqrt{\int_{0}^{1} (f - g)^2(t) dt}. $$

Ils établissement ainsi, en supposant que $f$ et $g$ appartiennent à la boule de Sobolev $H_s(R)$ de paramètre de régularité $s$, avec $R > 0$, et en posant $d = d_N = \lfloor (R^2 N)^{1/(2s+1)} \rfloor$, une vitesse de convergence de l'ordre de $N^{-s/(2s+1)} \log(N)$ si $\Delta < R^{1/(2s+1)} N^{-s/(2s+1)} \log(N)$, et une vitesse de l'ordre de $\frac{1}{\Delta} N^{-2s/(2s+1)} \log^2(N)$ si $\Delta \ge R^{1/(2s+1)} N^{-s/(2s+1)} \log(N)$. Il est remarqué qu'une distance de séparation large entraine une vitesse de convergence beaucoup plus rapide.

Dans le chapitre B, nous étendons le modèle étudié au modèle de diffusion dont les fonctions de dérive dépendent de l'espace et sont définies sur la droite réelle $\mathbb{R}$. Nous établissons une vitesse de convergence plus rapide d'un classifieur de type ERM construit en classification binaire, en imposant une hypothèse de marge sur la fonction de régression associée au modèle.

## 2. Cadre (2013) [11].

L'auteur propose une procédure de classification binaire de trajectoires de diffusions issues d'un mélange de diffusions solutions du modèle ci-dessous

$$ (M): \begin{cases} dX_t = b_0(t, X_t)dt + \sigma_0(t, X_t)dW_t \quad \text{lorsque } Y = 0, \\ dX_t = (b_0(t, X_t) + (f_0\sigma_0)(t, X_t))dt + \sigma_0(t, X_t)dW_t \quad \text{lorsque } Y = 1 \end{cases}, \quad (t \in [0, 1]) $$

avec $(W_t)_{t \in [0,1]}$ un mouvement brownien standard indépendant de de l'étiquette $Y \in \{0, 1\}$, $X_0$ est indépendante de $Y$ et $(B_t)_{t \in [0,1]}$, et $f_0, b_0, \sigma_0: [0, 1] \times \mathbb{R} \to \mathbb{R}$ sont des fonctions boréliennes telles que le modèle $(M)$ admet une solution forte étant donnée $X_0$. La variable aléatoire $Y$ est de loi discrète $(p_0, p_1)$ inconnue, avec $p_0 = \mathbb{P}(Y = 0) \in (0, 1)$.

Le classifieur de Bayes $g^*$ est défini pour tout $X$ par $g^*(X) = 1_{\eta^*(X)>1/2}$ avec $\eta^*$ la fonction de régression associée au modèle et donnée pour tout $x \in \mathbb{R}$ par $\eta^*(x) = \mathbb{P}(Y = 1|X = x)$. Il explicite la formule de la fonction de régression $\eta^*$ et obtient

$$ \eta^*(X) = \frac{(1 - p_0) \exp(F(h_0, X))}{p_0 + (1 - p_0) \exp(F(h_0, X))} $$

avec,

$$ h_0 = \left( \frac{f_0}{\sigma_0}, \frac{f_0 b_0}{\sigma_0} + \frac{f_0^2}{2} \right) $$

et,

$$ F(h_0, X) = \int_0^1 \frac{f_0(t, X_t)}{\sigma_0(t, X_t)} dX_t - \int_0^1 \left( \frac{f_0 b_0}{\sigma_0} + \frac{f_0^2}{2} \right) (t, X_t) dt. $$

Il en ressort que pour toute diffusion $X$ solution du modèle $(M)$,

$$ g^*(X) = 1_{\eta^*(X)>1/2} = 1\left\{F(h_0, X)>\log\left(\frac{p_0}{1-p_0}\right)\right\}. $$
**Construction du classifieur empirique de type ERM.** La performance d'un classifieur $g$ est mesurée par son risque de classification $\mathcal{R}(g) = \mathbb{P}(g(X) \neq Y)$, et, comme on le sait déjà, le classifieur de Bayes minimise la fonction $\mathcal{R}$ à valeurs dans $[0, 1]$. Comme la loi des observations est supposée inconnue, il considère, à partir d'un échantillon d'apprentissage $(X_j, Y_j)_{j=1,...,N}$ le risque empirique de classification $\hat{\mathcal{R}}$ donné pour tout classifieur $g$ par

$$ \hat{\mathcal{R}}(g) = \frac{1}{N} \sum_{j=1}^{N} \mathbb{1}_{g(X_j) \neq Y_j}. $$

Il pose $g^* = g(h_0, p_0)$, et il considère les classieurs s'écrivant sous la forme $g(h, p)$ avec $h: [0, 1] \times \mathbb{R} \to \mathbb{R}$ et $p \in [0, 1]^2$ une loi de probabilité discrète. Soit $\mathcal{F}$ l'ensemble des fonctions $h: [0, 1] \times \mathbb{R} \to \mathbb{R}$ et pour $\varepsilon > 0$, $\mathcal{F}_\varepsilon$ son $\varepsilon$-net. on considère ensuite l'ensemble discret $I_\varepsilon = \{[k\varepsilon], k = 1, ..., [1/\varepsilon]\}$. Ainsi, le classifieur empirique est donné par

$$ \hat{g}_{\varepsilon}(X) = g(\hat{h}_{\varepsilon}, \hat{p}_{\varepsilon})(X) = \mathbb{1}_{\{F(\hat{h}_{\varepsilon}, X) > \log\left(\frac{\hat{p}_{\varepsilon}}{1-\hat{p}_{\varepsilon}}\right)\}} $$

avec

$$ (\hat{h}_{\varepsilon}, \hat{p}_{\varepsilon}) = \arg\min_{(h,p) \in \mathcal{F}_{\varepsilon} \times I_{\varepsilon}^2} \hat{\mathcal{R}}(g(h,p)). $$

**Vitesse de convergence du classifieur empirique.** Le cardinal de l'-$\varepsilon$-net $\mathcal{F}_\varepsilon$ est noté $\mathfrak{N}(\varepsilon)$. Ainsi, sous des hypothèses de régularité sur les fonctions $f_0, b_0$ et $\sigma_0$, et supposant qu'il existe $u > 0$ et $C \ge 1$ tel que pour tout $\varepsilon > 0$, $\log(\mathfrak{N}(\varepsilon)) \le C\varepsilon^{-u}$, il obtient le résultat suivant

$$ \mathbb{E}[\mathcal{R}(\hat{g}_{\varepsilon})] - \mathcal{R}(g^*) \le 2 \left(\frac{K^u}{n}\right)^{1/(2+u)} \left(\frac{2}{u} + C\right) + \sqrt{\frac{\log(\Delta)}{n}} + \frac{1}{\Delta\sqrt{n\Delta}} $$

avec,

$$ \Delta = \sum_{\varepsilon \in \mathcal{E}} \frac{\mathfrak{N}(\varepsilon)}{\varepsilon} \exp(-2\lambda_{\varepsilon}^2) < \infty, $$

où $\mathcal{E} = \{1/\ell, \ell \ge 1\}$, et $\lambda_\varepsilon > 0$ un terme de pénalité choisi tel que

$$ \lambda_{\varepsilon}^2 \ge 2 \log \left( \frac{1}{\varepsilon} \right) + \log(\mathfrak{N}(\varepsilon)). $$

Lorsqu'il considère par exemple le cas des diffusions homogènes en temps, il obtient, sous des hypothèses de régularité caractérisées par un paramètre $k \ge 1$ sur les fonctions $f_0, b_0$ et $\sigma_0$, que $\log(\mathfrak{N}(\varepsilon)) = O(\varepsilon^{-1/k})$, et

$$ \mathbb{E}[\mathcal{R}(\hat{g}_{\varepsilon})] - \mathcal{R}(g^*) = O\left(N^{-k/(2k+1)}\right). $$

3. Denis, Dion, Martinez (2020) [29].

Cet article propose d'une part, une procédure paramétrique de classification multiclases de type plug-in pour les trajectoires de diffusion. D'autre part, ils proposent une procédure non-paramétrique de classification multiclases de type ERM pour les données de diffusion. Ces données sont générées par un mélange de processus de diffusion avec des fonctions de dérive inconnues et dépendant des classes, et un coefficient de diffusion connu et commun à toutes les classes. Ils établissent une vitesse de convergence du classifieur de type ERM de l'ordre de $N^{-\beta/(2\beta+1)}$ sur un espace de Hölder de régularité $\beta \ge 1$. Toutefois, le classifieur ainsi construit n'est pas calculable en pratique, étant solution d'un problème d'optimisation non-convexe.

La procédure de classification de type plug-in proposée dans ce manuscrit étend le cadre d'étude dans [29] à un cadre non-paramétrique. Le classifieur de type ERM est quant à lui implémentable contrairement à celui proposé dans [11], et il est étendu au cadre multiclases. On s'inspire ensuite
de l'hypothèse de marge sur la fonction de régression en classification binaire décrite dans [47] pour
proposer un classifieur de type ERM avec une vitesse plus rapide.

Nous présentons dans la section suivante les principales contributions de la thèse sur le problème d'estimation non-paramétrique du coefficient de diffusion, et sur la construction des procédures non-paramétriques de classification pour les trajectoires de diffusions.

**1.4 Contributions de la thèse**

Nous proposons dans ce manuscrit des procédures de classification pour des trajectoires de diffu-
sion dans un cadre plus général où les coefficients de dérive et de diffusion sont inconnus ainsi que
la loi discrète de l'étiquette $Y \in \mathcal{Y}$. Ce travail est réparti en trois principaux chapitres. Le chapitre 2
est consacré à l'estimation non-paramétrique du coefficient de diffusion d'une équation différen-
tielle stochastique homogène en temps. Dans le chapitre A, nous proposons une procédure non-
paramétrique de classification multiclases de type plug-in pour les trajectoires de diffusions. Nous
proposons ensuite au chapitre B une procédure de classification multiclases basée sur la minimisa-
tion du risque empirique de classification.

**1.4.1 Estimation non-paramétrique du coefficient de diffusion**

**Modèle et notations.** On considère $X = (X_t)_{t \in [0,1]}$ un processus stochastique solution du modèle (1.1). On suppose que le processus est observé en temps discret à haute fréquence sur l'intervalle de temps $[0, 1]$.

Nous proposons un estimateur non-paramétrique de $\sigma^{*2}$ en distinguant d'une part, le cas où une seule trajectoire de diffusion $\bar{X} = (X_{k\Delta_n})$ est observée, avec $\Delta_n = 1/n$, et d'autre part, le cas où on suppose disposer d'un échantillon $(\bar{X}^1, \dots, \bar{X}^N)$ constitué de $N$ copies indépendantes de $\bar{X}$ avec $N, n \to \infty$. Nous proposons des estimateurs non-paramétriques de $\sigma^{*2}$ respectivement sur un intervalle compact, et sur la droite réelle $\mathbb{R}$, et enfin, nous établissons des vitesses de convergence dans chacun des cas.

**Construction des estimateurs.** Nous approximons l'espace de fonctions lipschitziennes par un sous-espace vectoriel $S_m$ de dimension finie $m \ge 1$ généré soit par la base de fonctions B-splines

$$
\{B_{\ell}, \ell = 0, \dots, m-1\}
$$

construite sur un intervalle $I = [-A, A]$ de $\mathbb{R}$ avec $A > 0$ (voir par exemple [57]), soit par une base orthonormée comme par exemple la base de Fourier, ou encore la base de Hermite.

On considère le sous-espace contraint $S_{m,L}$ défini par

$$
S_{m,L} := \left\{ h = \sum_{\ell=0}^{m-1} a_{\ell} f_{\ell} \in S_m : \sum_{\ell=0}^{m-1} a_{\ell}^2 \le mL \right\}
$$

où $L \in \mathbb{R}_{+*}$. Soit $\gamma_{n,N}$ la fonction de contraste des moindres carrés définie pour tout $h \in S_{m,L}$ par

$$
\gamma_{n,N}(h) := \frac{1}{Nn} \sum_{j=1}^{N} \sum_{k=0}^{n-1} (U_{k\Delta}^{j} - h(X_{k\Delta_n}^{j}))^2
$$

où pour tout $j \in [1, N]$ et pour tout $k \in [0, n-1]$, $U_{k\Delta_n}^j := (X_{(k+1)\Delta_n}^j - X_{k\Delta_n}^j)^2 / \Delta_n$.

Ainsi, pour chaque dimension $m \ge 1$, l'estimateur non-paramétrique $\hat{\sigma}_m^2$ de $\sigma^{*2}$ est donné par

$$
\hat{\sigma}_m^2 \in \arg \min_{h \in S_{m,L}} \gamma_{n,N}(h). \qquad (1.25)
$$

L'équation (1.25) équivaut à $\hat{\sigma}_m^2 = \sum_{\ell=0}^{m-1} \hat{a}_\ell B_\ell$ avec

$$
\hat{\mathbf{a}} = (\hat{a}_{-M}, \dots, \hat{a}_{K-1})' := \arg \min_{\|\mathbf{a}\|_2^2 \le mL} \|\mathbf{U} - \mathbf{F}_m \mathbf{a}\|_2^2 \quad (1.26)
$$
où $\mathbf{U} = (U_{0\Delta_n}^1, \dots, U_{(n-1)\Delta_n}^1, \dots, U_{0\Delta_n}^N, \dots, U_{(n-1)\Delta_n}^N)'$ et la matrice $\mathbf{F}_m$ est donnée par

$$ \mathbf{F}_m := ((B_\ell(X_0^j), \dots, B_\ell(X_{(n-1)\Delta_n}^j))' \underset{\substack{0 \le \ell \le m-1 \\ 1 \le j \le N}}{\in} \mathbb{R}^{Nn \times m}. $$

L'estimateur $\hat{\sigma}_m^2$ (ou $\hat{\sigma}_m^2$) est dit de type ridge grâce à la contrainte $\ell^2$ donnée dans l'équation (1.26).

**Vitesses de convergence des estimateurs non-adaptatifs.** Nous proposons des estimateurs ridge de $\sigma_{I}^{*2}$, où l'intervalle d'estimation est soit compact (par exemple $I = [-1, 1]$), soit la droite réelle ($I = \mathbb{R}$). On précise que la dimension $m$ du sous-espace d'approximation $S_{m,L}$ dépend de la taille $N$ de l'échantillon et la discrétisation de l'intervalle de temps $[0, 1]$ (ou longueur $n$ des trajectoires) lorsque $N \to \infty$, ou uniquement de la discrétisation du temps lorsque qu'une seule trajectoire est observée.

Pour tout $h \in S_{m,L}$, on définit les normes et pseudo-normes suivantes

$$ \begin{align*} \|h\|_{n,N}^2 &= \frac{1}{Nn} \sum_{j=1}^{N} \sum_{k=0}^{n-1} h^2(X_{k\Delta_n}^j), \quad \|h\|_n^2 = \mathbb{E} \left[ \frac{1}{n} \sum_{k=0}^{n-1} h^2(X_{k\Delta_n}^j) \right], \\ \|h\|_X^2 &:= \int_0^1 h^2(X_s) ds, \quad \|h\|^2 := \int_I h^2(x) dx. \end{align*} $$

On étudie la performance de l'estimateur $\hat{\sigma}_m^2$ en regardant principalement son risque d'estimation $\mathbb{E} \left[ \left\| \hat{\sigma}_m^2 - \sigma_{I}^{*2} \right\|_{n,N}^2 \right]$. On pourra aussi, dans certains cas, considérer le risque d'estimation $\mathbb{E} \left\| \hat{\sigma}_m^2 - \sigma_{I}^{*2} \right\|_n^2$ défini avec la norme empirique $\|\cdot\|_n$.

**Estimation non-paramétrique à partir d'une seule trajectoire.** L'obtention des résultats théoriques pour l'estimateur de $\sigma_{I}^{*2}$, lorsque l'intervalle d'estimation $I$ est un compact, est basée sur le temps $x \mapsto L^x$ donné par l'équation (1.7). Nous obtenons le premier résultat suivant.

**Theorem 1.4.1.** Soit $\gamma \in [2, +\infty)$. Supposons que $I$ est compact. Sous des hypothèses sur $b^*$ et $\sigma^*$, il existe une constante $C > 0$ dépendant de $\sigma_1^*$ telle que

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_m^2 - \sigma_I^{*2} \right\|_{n,1}^2 \right] \le 3 \inf_{h \in S_{m,L}} \left\| h - \sigma_I^{*2} \right\|_n^2 + C \left( \frac{m}{n} + \frac{m^{2\gamma+1}L}{n^{\gamma/2}} + \Delta_n^2 \right). \quad (1.27) $$

Les deux premiers termes du membre de droite de l'équation (1.27) sont respectivement le terme de biais et le terme de variance. Le paramètre $\gamma \ge 2$ qui résulte de l'inégalité de Hölder, dépend de la régularité de l'espace d'appartenance de la fonction $\sigma^{*2}$ et est choisi de sorte que le terme $m^{2\gamma+1}L/n^{\gamma/2}$ soit négligeable devant l'erreur d'estimation $m/n$. Le troisième terme résulte de la relation d'équivalence entre les pseudo-normes $\|\cdot\|_{n,1}$ et $\|\cdot\|_X$. Le dernier terme $\Delta_n^2$ (où $\Delta_n = 1/n$) représente le coût de la discrétisation du temps. Soit $\Sigma_I(\beta, R)$ l'espace de fonctions Hölder donné par

$$ \Sigma_I(\beta, R) := \left\{ h \in C^{[\beta]+1}(I), \left| h^{(\ell)}(x) - h^{(\ell)}(y) \right| \le R |x - y|^{\beta-l}, \ x, y \in I \right\}, $$

où $\ell = \lfloor \beta \rfloor$, $\beta \ge 1$ est le paramètre de régularité et $R \in \mathbb{R}_{+*}$. Nous déduisons le résultat suivant.

**Corollaire 1.4.2.** Supposons que $\sigma^2 \in \Sigma_I(\beta, R)$ avec $\beta > 3/2$, et l'espace d'approximation est généré par les fonctions B-splines. Sous des hypothèses sur $L$ et $m$,

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m_{\text{opt}}}^2 - \sigma_I^{*2} \right\| \right] = O \left( n^{-2\beta/(2\beta+1)} \right). $$

La vitesse obtenue est du même ordre que celle établie dans [61] sur une boule de Besov. Le paramètre $\gamma$ donné dans le théorème 1.4.1 vaut $\gamma = 4(2\beta + 1)/(2\beta - 3)$, ce qui implique que l'erreur d'estimation est de l'ordre de $m/n$.
Nous étendons ensuite l'étude au cas où l'intervalle d'estimation est la droite réelle $I = \mathbb{R}$, en posant cette fois $\sigma_{I}^{*2} = \sigma^{*2}$. Nous tronquons l'estimateur $\hat{\sigma}_{m}^{2}$ donné par les équations (1.25) et (1.26) et nous obtenons l'estimateur $\hat{\sigma}_{m,L}^{2}$ défini pour tout $x \in \mathbb{R}$ par

$$ \hat{\sigma}_{m,L}^{2}(x) = \hat{\sigma}_{m}^{2}(x)1_{\hat{\sigma}_{m}^{2}(x)\le\sqrt{L}} + \sqrt{L}1_{\hat{\sigma}_{m}^{2}(x)>\sqrt{L}}. \quad (1.28) $$

Cette troncature sert particulièrement à optimiser l'ordre de l'erreur d'estimation de $\sigma^{*2}$ sur $\mathbb{R}$. Nous obtenons le résultat de consistance ci-dessous.

**Theorem 1.4.3.** *Sous des hypothèses sur $b^*$, $\sigma^*$, $m$ et $L$, il existe une constante $C > 0$ dépendant de $\beta$ et $\sigma_1$ telle que*

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma^{*2} \right\|_{n,1}^2 \right] \le C \log^{2\beta}(n) n^{-2\beta/(4\beta+1)}. $$

Cette vitesse est, comme attendu, plus lente que celle établie pour l'estimation de $\sigma^{*2}1_I$ avec $I$ un compact de $\mathbb{R}$. Toutefois, l'optimalité de cette vitesse n'est pas établie dans ce manuscrit.

**Estimation non-paramétrique à partir d'observations répétées.** Nous étendons l'étude au cas d'observations répétées, disposant de l'échantillon $(\bar{X}^1, \dots, \bar{X}^N)$ avec $N \to \infty$. Dans ce contexte, il n'est plus nécessaire d'avoir recours au temps local du processus de diffusion pour l'étude théorique de la performance de l'estimateur $\hat{\sigma}_m^2$. En effet, nous tirons profit de l'indépendance des copies $\bar{X}^j$, $j = 1, \dots, N$ du processus $X$ pour établir la convergence de l'estimateur. D'autre part, nous utilisons la fonction $f_n$, définie à partir de la densité de transition $p_X$ du processus $X$ par

$$ f_n(x) = \frac{1}{n} \sum_{k=1}^{n-1} p_X(k\Delta, x), \quad (1.29) $$

pour obtenir l'équivalence entre la norme empirique $\|\cdot\|_n$ et la norme $L^2 \|\cdot\|$ établie dans [30]. En effet, si l'intervalle d'estimation $I$ est compact, alors il existe une constante $\tau_0 > 0$ telle que

$$ \forall x \in I, \quad f_n(x) \ge \tau_0, $$

et on déduit de cette minoration que pour toute fonction continue $h$,

$$ \|h\|^2 \le \frac{1}{\tau_0} \|h\|_n^2. $$

Nous établissons le résultat de consistance ci-dessous.

**Theorem 1.4.4.** *Supposons que $\sigma^{*2} \in \Sigma_I(\beta, R)$ avec $\beta > 3/2$ et que l'espace d'approximation est généré par la base de fonctions splines. De plus, supposons que l'intervalle $I$ est compact. Sous des hypothèses sur $N, n, m$, et $L$, nous obtenons*

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m,\text{opt}}^2 - \sigma_I^{*2} \right\|_{n,N}^2 \right] = O \left( (Nn)^{-2\beta/(2\beta+1)} \right). $$

Nous obtenons ainsi une vitesse plus rapide par rapport au cas $N = 1$ en tirant profit des observations répétées du processus de diffusion $X$.

Nous considérons ensuite le cas où l'intervalle d'estimation $I = \mathbb{R}$, et dans ce cas, la fonction de densité $f_n$ donnée par l'équation (1.29) n'est plus minorée inférieurement. Il devient dès lors plus fastidieux d'établir un résultat de consistance de l'estimateur non-paramétrique de $\sigma^{*2}$. Nous considérons une fois de plus, l'estimateur tronqué $\hat{\sigma}_{m,L}^2$ donné par (1.28), dans le cas où $I = \mathbb{R}$. Nous obtenons alors le résultat ci-dessous.

**Theorem 1.4.5.** *Supposons que $\sigma^{*2} \in \Sigma_I(\beta, R)$ avec $\beta \ge 1$, $I = \mathbb{R}$, et que l'espace d'approximation est généré par la base de fonctions B-splines. Sous des hypothèses sur $b^*$, $\sigma^*$, $m$ et $L$, on obtient*

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma^{*2} \right\|_{n,N}^2 \right] \le O \left( \log^{2\beta}(N) (Nn)^{-2\beta/(4\beta+1)} + \frac{1}{n^2} \right) $$

On peut remarquer, d'après les résultats des théorèmes 1.4.4 et 1.4.5, que l'estimateur de $\sigma^{*2}$ sur l'intervalle $I = \mathbb{R}$ est moins performant comparé à l'estimateur de $\sigma^{*2}$ sur un intervalle compact.
**Estimateur non-adaptatif du coefficient de diffusion sur un intervalle compact dépendant de N.**
Nous considérons dans cette partie, l'intermédaire entre le cas $I$ compact, et le cas $I = \mathbb{R}$. En effet, on propose un estimateur ridge noté $\hat{\sigma}_{A_N,m}^2$ de $\sigma_{A_N}^{*2} = \sigma_{I}^{*2}$ par projection sur la base des splines, sur l'intervalle compact $I = [-A_N, A_N]$ où $A_N > 0$ tend vers l'infini lorsque $N$ tends vers l'infini. Ainsi, grâce au profit tiré des propriétés des fonctions B-splines (voir [57]) et à un choix approprié de $A_N$ en fonction de $N$, nous obtenons le résultat suivant.

**Théorème 1.4.6.** Supposons que $N \propto n$ et considérons l'estimateur ridge $\hat{\sigma}_{A_N,m}^2$ de $\sigma_{A_N}^{*2}$ basé les fonctions B-splines. Supposons également que $\sigma^{*2} \in \Sigma_I(\beta, R)$ avec $I = [-A_N, A_N]$. Sous des hypothèses sur $b^*, \sigma^*, L, m$ et $A_N$, on obtient

$$ \mathbb{E} \left[ \| \hat{\sigma}_{A_N, m}^2 - \sigma_{A_N}^{*2} \|_{n, N}^2 \right] \le C \log^\beta(N) (Nn)^{-2\beta/(2\beta+1)} $$

où $C > 0$ est une constante dépendant de $\beta \ge 1$.

On obtient ainsi une vitesse du même ordre (à un facteur logarithmique près) que la vitesse établie dans le théorème 1.4.4 dans le cas où $I$ est compact et indépendant de $N$. Nous verrons que l'obtention de ce résultat nécessite toutefois que l'intervalle d'estimation $[-A_N, A_N]$ converge lentement vers $\mathbb{R}$.

**Estimateur adaptatif du coefficient de diffusion.** Les estimateurs proposés dans la section précédente dépendent de la dimension du sous-espace d'approximation qu'il faut choisir en pratique. Ainsi, on considère l'estimateur adaptatif $\hat{\sigma}_{m,L}^2$ où la dimension $\hat{m}$ est sélectionnée telle que

$$ \hat{m} := \arg \min_{m \in \mathcal{M}} \{ \gamma_{n,N} (\hat{\sigma}_m^2) + \text{pen}(m) \} \quad (1.30) $$

où $\text{pen} : m \mapsto \kappa m \log(N)/(Nn)$, avec $\kappa$ à calibrer, est la fonction de pénalité et $\mathcal{M}$ est un ensemble de valeurs possibles de la dimension choisi tel que pour tous $m, m' \in \mathcal{M}, m < m'$ implique que $S_m \subset S_{m'}$. Cette propriété est nécessaire pour l'établissement du résultat ci-dessous.

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{\hat{K},L}^2 - \sigma_I^{*2} \right\|_{n,N}^2 \right] \le c \inf_{m \in \mathcal{M}} \left\{ \inf_{h \in S_{m,L}} \|h - \sigma_I^{*2}\|_n^2 + \text{pen}(m) \right\} + \frac{C}{Nn} $$

où $c$ est une constante numérique dont la valeur dépend principalement de l'intervalle d'estimation $I$. Notons également que le choix de l'ensemble $\mathcal{M}$ dépend du fait que $N = 1$ ou $N \to \infty$.

## 1.4.2 Classifieur de type plug-in pour les trajectoires de diffusion

On considère le modèle de diffusion (1.1) pour la classification multiclasses. On suppose que le processus $X = (X_t)_{t \in [0,1]}$, solution du modèle (1.1) est observé en temps discret à haute fréquence sur l'intervalle de temps $[0, 1]$. La loi des observations étant supposée inconnue, nous partons d'un échantillon d'apprentissage $\mathcal{D}_N = ((\bar{X}^j, Y_j), j = 1, \dots, N)$ de taille $N$ avec pour chaque $j \in [1, N]$, $\bar{X}^j = (X_{k\Delta_n}^j)_{0 \le k \le n}$, et $\Delta_n = 1/n$ est le pas de discrétisation. On suppose que la taille de l'échantillon $N$ tend vers l'infini et le pas de discrétisation $\Delta_n$ tend vers zéro.

On note $\mathcal{X} = \mathcal{C}([0, 1], \mathbb{R})$ l'ensemble des trajectoires et $(\mathcal{F}_t^X)_{t \in [0,1]}$ la filtration naturelle du processus $X = (X_t)_{t \in [0,1]}$. Nous proposons dans cette section une procédure de classification empirique consistante qui va imiter le classifieur de Bayes présenté dans la section 1.3.5.

**Classifieur empirique de type plug-in.** Soient $\hat{b} = (\hat{b}_1, \dots, \hat{b}_K)$, $\hat{\sigma}^2$ et $\hat{p} = (\hat{p}_1, \dots, \hat{p}_K)$ des estimateurs respectifs de $b^* = (b_1^*, \dots, b_K^*)$, $\sigma^{*2}$ et $p^*$ construits à partir de $\mathcal{D}_N$. Les estimateurs $\hat{p}_i, i \in \mathcal{Y}$ sont donnés par

$$ \hat{p}_i = \frac{1}{N} \sum_{j=1}^{N} 1_{Y_j=i}, \quad i = 1, \dots, K. $$
Considérons le classifieur empirique de type plug-in qui imite le classifieur de Bayes $g^* = g_{b^*, \sigma^{*2}, \hat{p}}$, noté $\hat{g}$, tel que

$$ \hat{g} = g_{\hat{b}, \hat{\sigma}^2, \hat{p}}. $$

On définit pour toute fonction $h \in L^2(\mathbb{R})$, une norme empirique dépendant d'une observation discrète $\bar{X} = (X_{k\Delta_n})_{k \in [0,n]}$ de $X$ :

$$ \|h\|_n^2 := \mathbb{E}_X \left[ \frac{1}{n} \sum_{k=0}^{n-1} h^2(X_{k\Delta}) \right], $$

avec $\mathbb{E}_X$ l'espérance correspondant à la loi du processus de diffusion $X$. Le premier résultat ci-dessous donne une majoration de l'excès de risque en fonction des risques d'estimation des coefficients de dérive $b_i^*$, du coefficient de diffusion $\sigma^{*2}$ et de la loi discrète $\hat{p}^*$ de l'étiquette $Y$.

**Théorème 1.4.7 ([28]).** Supposons que $N$ et $n$ sont fixés et suffisamment grands, et qu'il existe des constantes $b_{\max}, \sigma_0^2 > 0$ telles que pour tout $x \in \mathbb{R}$

$$ \max_{i \in \mathcal{Y}} |\hat{b}_i(x)| \le b_{\max} \quad \text{et} \quad \hat{\sigma}^2(x) \ge \sigma_0^2. $$

Sous certaines hypothèses sur les fonctions $b_i^*$ et $\sigma^*$, le classifieur empirique $\hat{g}$ satisfait

$$ \mathbb{E} [\mathcal{R}(\hat{g}) - \mathcal{R}(g^*)] \le C \left( \sqrt{\Delta_n} + \frac{1}{\mathfrak{p}_0^* \sqrt{N}} + \mathbb{E} \left[ b_{\max} \sigma_0^{-2} \sum_{i=1}^K \|\hat{b}_i - b_i^*\|_n \right] + \mathbb{E} \left[ \sigma_0^{-2} \|\hat{\sigma}^2 - \sigma^{*2}\|_n \right] \right), $$

où $C > 0$ est une constante qui dépend de $b^*$, $\sigma^*$, et $K$.

On déduit du résultat du théorème 1.4.7 ci-dessus que la consistance du classifieur empirique $\hat{g}$ est étroitement liée à la qualité d'estimation des fonctions de dérive $b_i^*$, $i = 1, \dots, K$ et du carré du coefficient de diffusion $\sigma^{*2}$.

**Consistance du classifieur empirique $\hat{g}$.** Les fonctions inconnues $b_i^*$, $i \in \mathcal{Y}$ et $\sigma^{*2}$ sont estimées à partir de l'échantillon d'apprentissage $\mathcal{D}_N$ comme suit.

**Estimation des fonctions de dérive** Pour chaque étiquette $i \in \mathcal{Y}$, on estime la fonction de dérive $b_i^*$ sur $\mathbb{R}$ et par projection sur un espace contraint de dimension finie et générée par la base de fonctions B-splines. La construction et l'étude de la consistance des estimateurs des fonctions $b_i^*$ sur la droite réelle $\mathbb{R}$ reposent essentiellement sur les travaux de [30] et [20]. On définit pour chaque étiquette $i \in \mathcal{Y}$, à partir du sous échantillon $\mathcal{D}_N^i = \{(\bar{X}_{j,i}, Y_j), Y_j = i, j = 1, \dots, N_i\}$ de $\mathcal{D}_N$ de taille $N_i = \sum_{j=1}^N \mathbb{1}_{Y_j=i}$, la fonction de contraste des moindres carrés $\gamma_{n,N}^i$ donnée pour toute fonction continue $h$ par

$$ \gamma_{n,N}^i(h) := \frac{1}{Nn} \sum_{j=1}^{N_i} \sum_{k=0}^{n-1} (Z_{k\Delta}^{j,i} - h(X_{k\Delta}^{j,i}))^2 $$

où, pour tout $(j, k) \in [1, N_i] \times [0, n-1]$,

$$ Z_{k\Delta_n}^{j,i} = \frac{X_{(k+1)\Delta_n}^{j,i} - X_{k\Delta_n}^{j,i}}{\Delta_n}. $$

L'estimateur non-paramétrique $\tilde{b}_i$ de la fonction de dérive $b_i^*$ est donné comme suit :

$$ \tilde{b}_i \in \arg \min_{h \in S_{m_i, L_i}} \gamma_{n,N}^i(h) $$

où

$$ S_{m_i, L_i} = \left\{ h = \sum_{\ell=0}^{m_i-1} a_\ell B_\ell, \sum_{\ell=0}^{m_i-1} a_\ell^2 \le m_i L_i \right\} $$
est l'espace contraint de dimension finie $m_i \ge 1$, généré par une base de fonctions **B**-splines $(B_\ell)_{\ell=0,...,m_i-1}$ construite sur un intervalle borné $[-A_i, A_i]$ avec $A_i > 0$, et $L_i > 0$ est une constante dépendant de la la classe *i*. Les variables $m_i$, $L_i$ et $A_i$ dépendent de $N_i$. L'espace $S_{m_i,L_i}$ est utilisé pour approximer l'espace initial contenant $b_i^*$. On tronque ensuite l'estimateur $\tilde{b}_i$ et on obtient l'estimateur tronqué $\hat{b}_i$ donné pour tout $x \in \mathbb{R}$ par

$$ \hat{b}_i(x) = \tilde{b}_i(x) \mathbf{1}_{|\tilde{b}_i(x)| \le \sqrt{L_i}} + \text{signe}(\tilde{b}_i(x)) \mathbf{1}_{|\tilde{b}_i(x)| > \sqrt{L_i}} $$

**Estimation du coefficient de diffusion** Nous considérons l'estimateur de $\sigma^{*2}$ qu'on note $\tilde{\sigma}^2$ construit dans la section 1.4.1. L'estimateur tronqué $\hat{\sigma}^2$ est donnée pour tout $x \in \mathbb{R}$ par

$$ \hat{\sigma}^2(x) = \tilde{\sigma}^2(x) \mathbf{1}_{\frac{1}{\log(N)} < \tilde{\sigma}^2(x) \le \sqrt{L}} + \sqrt{L} \mathbf{1}_{\tilde{\sigma}^2(x) > \sqrt{L}} + \frac{1}{\log(N)} \mathbf{1}_{\tilde{\sigma}^2(x) \le 1/\log(N)} $$

La consistance du classifieur plug-in $\hat{g} = g_{\hat{b},\tilde{\sigma}^2,\hat{\rho}}$ est déduite de la consistance des estimateurs $\hat{b}_i$ et $\hat{\sigma}^2$ obtenue sous certaines hypothèses sur les fonctions $b_i^*$, $\sigma^*$, et les quantités $m, m_i, L$ et $L_i$ comme énoncé ci-dessous.

**Théorème 1.4.8.** *Supposons que*

$$ \inf_{h \in S_{m,L}} \|h - \sigma^{*2}\|_n^2 = O\left(\frac{1}{m^2}\right), \quad \forall i \in \mathcal{Y}, \quad \inf_{h \in S_{m_i,L_i}} \|h - b_i^*\|_n^2 = O\left(\frac{1}{m_i^2}\right). $$

Sous les hypothèses 1.2.2 et 1.3.3 et sous des hypothèses sur $m_i, m, L, L_i, A, A_i$ et $N_i$, l'excès de risque du classifieur plug-in $\hat{g}$ satisfait :

$$ \mathbb{E}[\mathcal{R}(\hat{g}) - \mathcal{R}(g^*)] \underset{n,N \to \infty}{\longrightarrow} 0. $$

Le résultat de consistance est établi dans le cas général ou les fonctions de dérive, le coefficient de diffusion et la loi discrète de l'étiquette Y sont inconnus. Nous obtenons ensuite, et sous les mêmes hypothèses sur les fonctions inconnues $b_i^*$ et $\sigma^*$, la vitesse de convergence énoncé ci-dessous.

**Théorème 1.4.9.** *Supposons que*

$$ \inf_{h \in S_{m,L}} \|h - \sigma^{*2}\|_n^2 = O\left(\frac{1}{m^2}\right), \quad \forall i \in \mathcal{Y}, \quad \inf_{h \in S_{m_i,L_i}} \|h - b_i^*\|_n^2 = O\left(\frac{1}{m_i^2}\right). $$

Sous les hypothèses 1.2.2 et 1.3.3 et sous des hypothèses sur $m_i, m, L, L_i, A, A_i$ et $N_i$, il existe des constantes $C > 0$ et $c > 0$ telles que

$$ \mathbb{E}[\mathcal{R}(\hat{g}) - \mathcal{R}(g^*)] \le C \exp\left(\sqrt{c \log(N)}\right) N^{-1/5}. $$

Notons que la vitesse établie au Théorème 1.4.9 découle directement du Théorème 1.4.8 et de la vitesse de convergence des estimateurs des fonctions de dérive et du coefficient de diffusion. Nous avons établi que l'estimateur du coefficient de diffusion atteind une vitesse de convergence plus rapide par rapport aux estimateurs des fonctions de dérive. Ainsi, la vitesse atteint par le classifieur empirique $\hat{g}$ est celui des estimateurs des fonctions de dérive $\hat{b}_i$, $i \in \mathcal{Y}$.

**Vitesse de convergence du classifieur plug-in $\hat{g}$ lorsque $\sigma^* \equiv 1$.** Supposons que le coefficient de diffusion $\sigma^*$ est connu, constant et égal à 1. Nous pouvons ainsi établir des approximations plus fines des densités de transition des processus de diffusion $X_{|Y=i}$ avec $i \in \mathcal{Y}$. Ces approximations sont essentielles pour l'établissement de vitesses de convergence plus rapides comparées au résultat du théorème 1.4.9.

Si nous supposons en plus que les fonctions de dérive $b_i^*$ sont bornées, nous obtenons alors le résultat suivant.
**Theorem 1.4.10.** Supposons que $\sigma^* = 1$ et que les fonctions de dérive $b_i^*$ appartiennent à la classe de Hölder $\Sigma(\beta, R)$ avec $\beta \ge 1$ le paramètre de régularité et $R > 0$. Alors, sous des hypothèses sur les fonctions $b_i^*$ et les quantités $m, m_i, L, L_i, A, A_i$ et $\Delta_n$, il existe des constantes $c > 0$ et $C > 0$ telles que

$$ \mathbb{E}[\mathcal{R}(\hat{g}) - \mathcal{R}(g^*)] \le C \exp\left(\sqrt{c \log(N)}\right) N^{-\beta/(2\beta+1)}. $$

La vitesse obtenue (à un facteur d'ordre $\exp(\sqrt{c \log(N)})$ près) est du même ordre que la vitesse optimale établie dans [4] sous des hypothèses de complexité sur la fonction de régression en classification binaire de données vectorielles.

**Création d'un package R.** Nous avons créé un package R appelé SDEclassif et disponible sur Github (lien SDEclassif). Ce package contient la fonction SDEclassif qui entraîne un classifieur plug-in pour les trajectoires de diffusion, suivant la procédure de classification étudiée dans cette contribution et détaillée dans le chapitre A.

### 1.4.3 Classifieur de type ERM pour les trajectoires de diffusion

Nous reconsidérons le modèle de diffusion (1.1). Nous définissons, à partir de l'échantillon d'apprentissage $\mathcal{D}_N = ((\bar{X}^j, Y_j))_{j=1,...,N}$ constitué de $N$ copies indépendante de $(\bar{X}, Y)$ avec $\bar{X} = (X_{k\Delta_n})_{0\le k \le n}$, le risque empirique de classification $\hat{\mathfrak{R}}$ donné par l'équation (1.17). Ainsi, le classifieur empirique $g_{\hat{h}}$ de type ERM est caractérisé par l'équation (1.15), où la fonction score $\hat{h}$ est donnée par l'équation (1.16).

Nous approximons les deux espaces de fonctions contenant respectivement les fonctions de dérive $b_i^*$, $i \in \mathcal{Y}$ d'une part, et le coefficient de diffusion $\sigma^*$ d'autre part, par chacun des sous-espaces contraints respectifs $S_m$ et $\tilde{S}_m$ de dimension $m \ge 1$ générés par une base de fonctions B-splines et donnés par :

$$ S_m := \left\{ \mathfrak{f} = \sum_{\ell=0}^{m-1} a_\ell B_\ell, \sum_{\ell=0}^{m-1} a_\ell^2 \le m \log^3(N) \right\}, \quad (1.31) $$

et,

$$ \tilde{S}_m := \left\{ x \in \mathbb{R} \mapsto s^2(x) = \mathfrak{f}(x) \mathbb{1}_{f(x) \ge 1/\log^2(N)} + \frac{1}{\log^2(N)} \mathbb{1}_{f(x) \le 1/\log^2(N)}, \mathfrak{f} \in S_m \right\}. \quad (1.32) $$

La dimension $m$ dépend de la taille $N$ de l'échantillon d'apprentissage. La définition de l'espace d'approximation $\tilde{S}_m$ tient compte du fait que la fonction $\sigma^{*2}$ est bornée inférieurement. Ainsi, nous établissons le résultat de consistance suivant.

**Théorème 1.4.11.** Supposons que les fonctions $b_i^*$ et $\sigma^{*2}$ appartiennent à l'espace Hölder $\Sigma(\beta, R)$ de paramètre de régularité $\beta \ge 1$ avec $R > 0$. Sous des hypothèses sur $b_i^*$, $\sigma^{*2}$ et $m$, on a :

$$ \mathbb{E}[\mathcal{R}(g_{\hat{h}}) - \mathcal{R}(g_{h^*})] = O(N^{-\beta/(2\beta+1)}). $$

On remarque d'une part que cette vitesse est établie dans le cas général où les fonctions dérive $b_i^*$, le coefficient de diffusion $\sigma^*$ et la loi $p^*$ de $Y$ sont inconnus. Et d'autre part, le classifieur de type ERM a une vitesse de convergence plus rapide comparé au classifieur de type plug-in. Ce résultat s'explique par le fait que le classifieur de type ERM est directement lié à la minimisation du risque empirique de classification, contrairement au classifieur de type plug-in dont la construction n'est pas basée sur l'optimisation de sa performance.

**Hypothèse de marge sur la fonction de régression en classification binaire.** Dans ce qui suit, on se place en classification binaire, c'est à dire que $K = 2$ et $\mathcal{Y} = \{0,1\}$. Le classifieur de Bayes $g^*$ est donné pour $X \in \mathcal{X}$ par $g^*(X) = \mathbb{1}_{\eta^*(X)>1/2}$ avec $\eta^*(X) = \mathbb{P}(Y = 1|X)$. On suppose que $\sigma^* = 1$, les fonctions de dérive $b_0^*$ et $b_1^*$ sont bornées, et la variable aléatoire

$$ Z := \frac{1}{\Delta_{b^*}} \int_0^1 (b_1^* - b_0^*)(X_s) dW_s, \text{ avec } \Delta_{b^*}^2 = \mathbb{E} \left[ \int_0^1 (b_1^* - b_0^*)^2(X_s) ds \right] > 0, $$
admet une densité bornée sur $\mathbb{R}$. Nous établissons le premier résultat ci-dessous.

**Proposition 1.4.12.** Sous des hypothèses sur $b_0^*$ et $b_1^*$, et pour tout $\varepsilon \in (0, 1/8)$, il existe une constante $C > 0$ telle que

$$ \mathbb{P} \left( 0 < \left| \eta^*(X) - \frac{1}{2} \right| \le \varepsilon \right) \le C \frac{12}{\Delta_{b^*}} \varepsilon. $$

Le résultat de la proposition 1.4.12 est connu sous l'appelation hypothèse de marge sur la fonction de régression $\eta^*$ en classification binaire. Elle sert, sur le plan théorique, à minimiser les erreurs de classification commises par $g^*$ lorsque la probabilité d'appartenance de $X$ à la classe 1 est suffisamment proche de 1/2. Nous obtenons ainsi le résultat suivant.

**Théorème 1.4.13.** On suppose que $b_0^*, b_1^* \in \Sigma(\beta, R)$ avec $\beta \ge 1$, $R > 0$, et $\sigma^* = 1$. Sous des hypothèses supplémentaires sur les fonctions $b_i^*$, $i = 0, 1$ et $m$, on obtient :

$$ \mathbb{E} [\mathcal{R}(g_{\hat{h}}) - \mathcal{R}(g_{h^*})] = O(N^{-4\beta/3(2\beta+1)}). $$

La vitesse de convergence obtenue est plus rapide que celle établie dans un cadre plus général, et en l'absence d'hypothèse de marge sur la fonction de régression associée au modèle.

### 1.4.4 Illustration numérique

Dans cette section, nous évaluons numériquement les classificateurs de types plug-in et ERM pour les trajectoires de diffusion. Pour cette illustration, nous fixons le nombre de classes à $K = 3$, et la loi discrète de $Y \in \{1, 2, 3\}$ est $\mathbf{p}^* = (1/3, 1/3, 1/3)$. Nous considérons le modèle de diffusion ci-dessous :

$$ \text{Model : } b(\theta, x) = \theta \left[ \frac{1}{4} + \left(\frac{3}{4}\right) \cos^2 x \right], \quad \theta \in \{1, 3/2, -3/2\}, \quad \sigma(x) = 0.1 + \frac{0.9}{\sqrt{1 + x^2}}. $$

Nous évaluons le classifieur de Bayes sur des échantillons de taille $N = 4000$ contenant des trajectoires observées en temps discrets avec le pas de temps $\Delta_n = 1/n$ et $n = 500$. L'évaluation est réalisée sur 100 répétitions et nous obtenons le résultats ci-dessous.

<table><caption>TABLE 1.1 : Risque de classification du classifieur de Bayes $g^*$ à partir d'échantillons d'apprentissage de taille $N = 4000$ avec $n = 500$.</caption><tr><td>$\hat{\mathcal{R}}(g^*)$</td><td>0.36 (0.01)</td></tr></table>

La performance numérique du classifieur de Bayes nous permet d'évaluer la complexité du modèle de diffusion choisi. Elle permet également, comme nous l'avons mentionné en théorie, d'évaluer la performance des classificateurs empiriques construits à partir de données observées.

Nous évaluons la performance des classificateurs empiriques de types plug-in et ERM à partir d'échantillons d'apprentissage de taille $N \in \{100, 1000\}$. Le classifieur empirique de type plug-in est implémenté dans le package SDEclassif disponible sur github (lien SDEclassif). Le tableau ci-dessous compare les performances obtenues avec celles des classificateurs existants dans la littérature et basés sur la forêt aléatoire et la profondeur des données.

Pour le cas des classificateurs de type plug-in et ERM, l'espace d'approximation généré par une base de fonctions B-splines est choisi telle $M = 3$ et $K_N \in \mathcal{K} = \{1, 2, 4, 8, 16\}$. Pour chaque étiquette $i \in \{1, 2, 3\}$, $K_{N_i}$ est choisi à la main pour l'évaluation du classifieur de type ERM. Pour l'évaluation du classifieur de type plug-in basé sur des estimateurs non-paramétriques des coefficients de dérive, on sélectionne la dimension $\hat{K}_{N_i} + M$ telle que

$$ \hat{K}_{N_i} := \underset{K \in \mathcal{K}}{\operatorname{argmin}} \left\{ \frac{1}{Nn} \sum_{j=1}^{N} \sum_{k=0}^{n-1} (\hat{b}_{i,K} - Z_{k\Delta_n}^j)^2 + \frac{(K+M) \log^3(N)}{N} \right\} $$
<table><caption>TABLE 1.2 : Performance des classifieurs de types plug-in et ERM, et comparaison avec la performance des classifieurs basés sur la forêt aléatoires et la profondeur des données, pour des trajectoires de diffusions collectées en temps discrets avec n = 100.</caption>
  <thead>
    <tr>
      <th>Classifiers</th>
      <th><i>N</i> = 100</th>
      <th><i>N</i> = 1000</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>Plug-In</td>
      <td>0.39 (0.06)</td>
      <td>0.37 (0.05)</td>
    </tr>
    <tr>
      <td>ERM</td>
      <td>0.38 (0.02)</td>
      <td>0.36 (0.01)</td>
    </tr>
    <tr>
      <td>Forêt aléatoire</td>
      <td>0.40 (0.01)</td>
      <td>0.38 (0.01)</td>
    </tr>
    <tr>
      <td>Profondeur</td>
      <td>0.40 (0.02)</td>
      <td>0.39 (0.01)</td>
    </tr>
  </tbody>
</table>

pour l'estimation adaptative de $\sigma^{*2}$, on sélectionne la dimension $\hat{K}_N$ telle que

$$
\hat{K}_N := \operatorname{argmin}_{K \in \mathcal{K}} \left\{ \frac{1}{Nn} \sum_{j=1}^{N} \sum_{k=0}^{n-1} (\hat{\sigma}_K^2 - U_{k\Delta_n}^j)^2 + \frac{5(K + M \log^3(N))}{Nn} \right\}.
$$

Pour plus de précision sur la sélection de dimension pour l'estimation des fonctions de dérive et du
coefficient de diffusion, nous renvoyons le lecteur respectivement à l'article [30] et au chapitre 2 (ou
à l'article [36]).

D'après les résultats de la Table 1.2, nous observons que nos classifieurs ont une meilleure performance comparés aux deux classifieurs pour des données fonctionnelles proposés dans la littérature. Nous remarquons également que le classifieur de type ERM est numériquement plus efficace que celui de type plug-in. Ce résultat illustre les résultats théoriques obtenus pour chacun de ces classifieurs. Rappelons toutefois que l'évaluation numérique du classifieur de type ERM n'est pas optimale, puisque les dimensions des espaces d'approximation sont choisies à la main.

**1.5 Conclusion et perspectives de recherche**

Cette thèse s'est focalisée sur une étude statistique, dans un cadre non-paramétrique, des trajectoires générées par un mélange de diffusions unidimensionnelles, solutions d'une équation différentielle stochastique homogène en temps, dont le coefficient de dérive $b_Y^*$, supposé inconnu, dépend de la classe $Y \in \{1, \dots, K\}$ de loi discrète $\mathfrak{p}^*$ inconnue, et le coefficient de diffusion $\sigma^*$, également supposé inconnu, est commun à toutes les classes. Cette étude a abouti à l'obtention de résultats de consistance, tant pour l'estimation de $\sigma^{*2}$ que pour les classifieurs de types plug-in et ERM.

Les prochains travaux de recherche sur l'étude statistique des trajectoires de diffusion porteront principalement sur les thématiques suivantes :

i) **Proposition d'un estimateur adaptatif du classifieur de Bayes $g^*$ par la minimisation du risque empirique de classification.**

Nous avons, d'après l'équation (1.19) suivie de la proposition 1.3.4, le classifieur de Bayes $g^*$ est défini comme une fonction du vecteur de coefficients de dérive $\mathbf{b}^* = (b_1^*, \dots, b_K^*)$, du coefficient de diffusion $\sigma^*$ et de la loi discrète $\mathfrak{p}^*$. Autrement dit, il existe une fonction $g$ telle que :

$$
g^* = g(\mathbf{b}^*, \sigma^*, \mathfrak{p}^*).
$$

En convexifiant le modèle, on a $g^* = g_{h^*}$ où $h^*$ est la fonction score qui minimise le risque défini avec la perte quadratique et donné dans l'équation (1.18). Il existe également une fonction $\eta$ telle que :

$$
h^* = \eta(\mathbf{b}^*, \sigma^*, \mathfrak{p}^*).
$$
Ainsi, nous proposons dans le chapitre B un classifieur empirique $g_{\hat{h}}$ en minimisant le risque empirique $\mathfrak{R}$ donné dans (1.17) sur des espaces d'approximation des dérives $b_i^*$ et du coefficient de diffusion $\sigma^*$. Plus précisément, on a pour tous $m, m' \ge 1$,

$$ \hat{h}_{m,m'} = \arg \min_{(\tilde{b}, \tilde{\sigma}, \mathfrak{p}) \in \mathcal{H}_{m,m'}} \mathfrak{R}[\mathfrak{h}(\tilde{b}, \tilde{\sigma}, \mathfrak{p})] $$

avec,

$$ \mathcal{H}_{m,m'} = (S_m)^K \times \tilde{S}_{m'} \times (0,1)^K $$

et les espaces d'approximation $S_m$ et $\tilde{S}_{m'}$ sont données respectivement par les équations (1.31) et (1.32). Les dimensions des espaces d'approximation sont jusque là choisies à la main. L'objectif est d'effectuer, à partir de l'échantillon d'apprentissage, une sélection de la dimension de chaque espace d'approximation dans un ensemble fini $M_N$ des valeurs possibles des dimensions, défini en fonction de la taille $N$ de l'échantillon d'apprentissage.

## ii) Établissement de vitesses optimales.

Un objectif serait :

* Soit de prouver l'optimalité de certaines vitesses obtenues dans ce manuscrit, citons par exemple les résultats du théorème 1.4.4 ou du corollaire 1.4.2 pour l'estimation de $\sigma^{*2}$, ou encore les théorèmes 1.4.10 et 1.4.11 pour la consistance des classifieurs de types plug-in et ERM.

* Soit d'étudier une vitesse optimale dans les autres cas.

## iii) Extension au cas des diffusions en grande dimension.

Le but est de considérer les processus de diffusion $X = (X_t)_{t \in [0,T]} = (X_t^1, \dots, X_t^d)_{t \in [0,T]}$ de dimension $d \ge 2$, et un modèle de diffusion défini comme suit :

$$ dX_t = b_Y^*(X_t)dt + \Sigma^*(X_t)dW_t, \quad t \in [0, T], \quad X_0 = x_0 \in \mathbb{R}^d, \qquad (1.33) $$

où $T \in \mathbb{R}_{+*}$ est l'horizon temporel, $(W_t)_{t \ge 0} = (W_t^1, \dots, W_t^d)_{t \ge 0}$ est un mouvement brownien de dimension $d$, la fonction de dérive $b_Y^* = (b_Y^{*1}, \dots, b_Y^{*d})$ est supposée inconnue et dépend de l'étiquette $Y \in \{1, \dots, K\}$, avec $K \ge 2$. On suppose que $Y$ est toujours une variable aléatoire indépendante du mouvement brownien $(W_t)_{t \ge 0}$ et de loi discrète $\mathfrak{p}^*$ inconnue. Enfin, le coefficient de diffusion multidimensionnel $\Sigma^* = (\sigma_{i,j}^*)_{1 \le i,j \le d}$ est commun à toutes les classes. On distinguera le cas où $\Sigma^*$ est connu, puis considérer un cadre plus général avec $\Sigma^*$ inconnu.

L'objectif est de construire des procédures de classification non-paramétriques de type plug-in et de type ERM (minimisation du risque empirique). Comme les classifieurs de type plug-in sont basés sur des estimateurs non-paramétriques des coefficients du processus de diffusion, leur étude entrainera inéluctablement une étude sur l'estimation non-paramétrique de ces fonctions, contribuant ainsi à l'enrichissement d'une littérature déjà existante sur l'inférence statistique des processus de diffusion en grande dimension (voir par exemple [90], [81], [14]).

## iv) Évaluation des procédures de classification sur des données réelles.

Une application sur des données réelles peut être envisagée en biologie cellulaire, les mouvements de cellules étant modélisables par des processus à sauts. Cette application nécessitera ainsi une extension de l'étude pour la classification des données de diffusion à sauts. On pourra toutefois compter sur la robustesse des procédures déjà construites, et les utiliser directement
pour l'identification de types de cellules en se basant sur leur mode de déplacement dans l'orgganisme.

En plus de la biologie cellulaire, nous avons des domaines d'application possibles tels que la finance, ou encore la météorologie.

1.6 Annexes

Pour simplifier les notations, nous posons b = b* et σ = σ*.

Preuve de la proposition 1.2.1. On part de l'équation différentielle stochastique (1.1) rappelée ci-dessous :

$$
dX_t = b(X_t)dt + \sigma(X_t)dW_t.
$$

**Premier résultat.** On fixe $s \in [0, 1)$ et pour tout $t \in (s, 1]$,

$$
\begin{gather*}
\frac{X_t - X_s}{t-s} = \frac{1}{t-s} \int_s^t b(X_u) du + \frac{1}{t-s} \int_s^t \sigma(X_u) dW_u \\
\mathbb{E} \left[ \frac{X_t - X_s}{t-s} \right] = \mathbb{E} \left[ \frac{1}{t-s} \int_s^t b(X_u) du \right].
\end{gather*}
$$

Ainsi, on obtient de la continuité de la dérive b et du processus de diffusion X, et du théorème de
convergence dominée :

$$
\begin{align*}
\lim_{t \to s^+} \mathbb{E} \left[ \frac{X_t - X_s}{t-s} \right] &= \lim_{t \to s^+} \mathbb{E} \left[ \frac{1}{t-s} \int_s^t b(X_u) du \right] \\
&= \mathbb{E} \left[ \lim_{t \to s^+} \frac{1}{t-s} \int_s^t b(X_u) du \right] \\
&= \mathbb{E}[b(X_s)].
\end{align*}
$$

Deuxième résultat. On fixe $s \in [0, 1)$ et pour tout $t \in (0, 1]$, on a :

$$
\frac{\langle X, X \rangle_t - \langle X, X \rangle_s}{t-s} = \frac{1}{t-s} \int_s^t \sigma^2(X_u).
$$

Finalement, on déduit de la continuité de la fonction $\sigma^2$ et du processus de diffusion $X$ que

$$
\lim_{t \to s^+} \frac{\langle X, X \rangle_t - \langle X, X \rangle_s}{t-s} = \lim_{t \to s^+} \frac{1}{t-s} \int_s^t \sigma^2(X_u) = \sigma^2(X_s).
$$

Preuve de la proposition 1.2.4. Soit $q \ge 1$. Supposons que $X_0 = 0$. Sous l'hypothèse A.2.1 nous déduisons de l'équation (1.1) que pour tout $t \in [0, 1]$,

$$
\begin{align*}
X_t &= \int_0^t b(X_s) ds + \int_0^t \sigma(X_s) dW_s \\
|X_t| &\le \int_0^t |b(X_s)| ds + \left| \int_0^t \sigma(X_s) dW_s \right| \\
|X_t| &\le \int_0^t C_0(1 + |X_s|) ds + \left| \int_0^t \sigma(X_s) dW_s \right|
\end{align*}
$$

où la constante $C_0 > 0$ dépend de la constante $L_0 > 0$ donnée dans l'hypothèse A.2.1. Soit $p > 1$ un
réel tel que $1/p + 1/q = 1$. D'après l'inégalité de Hölder, il existe une constante $C_q$ dépendant de $q$
telle que

$$
\forall t \in [0, 1], \quad |X_t|^q \le C_q \left( \int_0^t (1 + |X_s|^q) ds + \left| \int_0^t \sigma(X_s) dW_s \right|^q \right).
$$
En utilisant l'inégalité de Cauchy Schwarz, on déduit que

$$
\begin{align*}
\mathbb{E} \left[ \sup_{t \in [0,1]} |X_t|^q \right] &\le C_q \left( \int_0^1 (1 + \mathbb{E} [|X_s|^q]) ds + \mathbb{E} \left[ \sup_{t \in [0,1]} \left| \int_0^t \sigma(X_s) dW_s \right|^q \right] \right) \\
&\le C_q \left( \int_0^1 (1 + \mathbb{E} [|X_s|^q]) ds + \sqrt{\mathbb{E} \left[ \sup_{t \in [0,1]} \left| \int_0^t \sigma(X_s) dW_s \right|^{2q} \right]} \right).
\end{align*}
$$

D'après l'inégalité de Doob (voir [86], corollary 1.6), on a

$$
\mathbb{E} \left[ \sup_{t \in [0,1]} \left| \int_0^t \sigma(X_s) dW_s \right|^q \right] \le \left( \frac{2q}{2q-1} \right)^q \sqrt{\mathbb{E} \left[ \left| \int_0^1 \sigma(X_s) dW_s \right|^{2q} \right]}.
$$

De plus, en utilisant l'inégalité de Burkholder-Davis-Gundy, il existe une constante $C_{1,q}$ dépendant de $q \ge 1$ telle que

$$
\sqrt{\mathbb{E}\left[\left|\int_0^1 \sigma(X_s) dW_s\right|^{2q}\right]} \le C_{1,q} \mathbb{E}\left[\int_0^1 \sigma^q(X_s) ds\right] < C_{1,q} \sigma_1^q.
$$

On déduit donc que

$$
\mathbb{E} \left[ \sup_{t \in [0,1]} |X_t|^q \right] \le C_q \left( \int_0^1 (1 + \mathbb{E} [|X_s|^q]) ds + C_{1,q} \sigma_1^q \right).
$$

Finalement, d'après la proposition 1.2.3, on a pour tout $q \ge 1$ et pour tout $s \in [0, 1]$, $\mathbb{E} [|X_s|^q] < \infty$. $\square$

Preuve de la proposition 1.2.6. D'après l'équation (1.1), on a

$$
dX_t = b(X_t)d_t + \sigma(X_t)dW_t
$$

et pour tout $k \in [0, n - 1]$,

$$
\begin{align*}
(X_{(k+1)\Delta_n} - X_{k\Delta_n})^2 &= \left( \int_{k\Delta_n}^{(k+1)\Delta_n} b(X_s)ds + \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s)dW_s \right)^2 \\
&= \left( \int_{k\Delta_n}^{(k+1)\Delta_n} b(X_s)ds \right)^2 + 2 \left( \int_{k\Delta_n}^{(k+1)\Delta_n} b(X_s)ds \right) \left( \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s)dW_s \right) \\
&\quad + \left( \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s)dW_s \right)^2 \\
&= 2 \left( \int_{k\Delta_n}^{(k+1)\Delta_n} (b(X_s) - b(X_{k\Delta_n}))ds \right) \left( \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s)dW_s \right) \\
&\quad + \left( \int_{k\Delta_n}^{(k+1)\Delta_n} b(X_s)ds \right)^2 + \left( \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s)dW_s \right)^2 - \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^2(X_s)ds \\
&\quad + \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^2(X_s)ds + 2\Delta_n b(X_{k\Delta_n}) \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s)dW_s.
\end{align*}
$$

On déduit alors que

$$
(X_{(k+1)\Delta_n} - X_{k\Delta_n})^2 = \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^2(X_s)ds + \left(\int_{k\Delta_n}^{(k+1)\Delta_n} b(X_s)ds\right)^2 + \Delta_n R_{k\Delta_n}^{(2)} + \Delta_n \zeta_{k\Delta_n}^{(1)} + \Delta_n \zeta_{k\Delta_n}^{(3)} \tag{1.34}
$$
Comme la fonction $\sigma$ est de classe $C^2$ sur $\mathbb{R}$, d'après la formule d'Itô, on a

$$ 
\begin{aligned}
d(\sigma^2(X_t)) &= 2\sigma'(X_t)\sigma(X_t)dX_t + 2[\sigma'' + (\sigma')^2](X_t)dt \\
&= \Phi(X_t)dt + 2\sigma'(X_t)\sigma^2(X_t)dW_t
\end{aligned}
$$

avec $\Phi = 2b\sigma'\sigma + [\sigma''\sigma + (\sigma')^2]\sigma^2$. On déduit que pour tous $k \in [0, n-1]$ et $s \in [k\Delta_n, (k+1)\Delta_n]$ tels que,

$$ \sigma^2(X_s) = \sigma^2(X_{k\Delta_n}) + \int_{k\Delta_n}^{s} \Phi(X_u)du + 2 \int_{k\Delta_n}^{s} \sigma'(X_u)\sigma^2(X_u)dW_u. $$

On intègre ensuite sur l'intervalle $[k\Delta_n, (k+1)\Delta_n)$ et on obtient

$$ 
\begin{aligned}
\int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^2(X_s)ds &= \Delta_n\sigma^2(X_{k\Delta_n}) + \int_{k\Delta_n}^{(k+1)\Delta_n} \int_{k\Delta_n}^{s} \Phi(X_u)duds \\
&\quad + 2\int_{k\Delta_n}^{(k+1)\Delta_n} \int_{k\Delta_n}^{s} \sigma'(X_u)\sigma^2(X_u)dW_u ds \\
&= \Delta_n\sigma^2(X_{k\Delta_n}) + \int_{k\Delta_n}^{(k+1)\Delta_n} \Phi(X_u)\int_{u}^{(k+1)\Delta_n} dsdu \\
&\quad + 2\int_{k\Delta_n}^{(k+1)\Delta_n} \sigma'(X_u)\sigma^2(X_u)\int_{u}^{(k+1)\Delta_n} dsdW_u \\
&= \Delta_n\sigma^2(X_{k\Delta_n}) + \int_{k\Delta_n}^{(k+1)\Delta_n} [(k+1)\Delta_n - u]\Phi(X_u)du \\
&\quad + 2\int_{k\Delta_n}^{(k+1)\Delta_n} [(k+1)\Delta_n - u]\sigma'(X_u)\sigma(X_u)dW_u.
\end{aligned}
$$

Ainsi, on obtient pour tout $k \in [0, n-1]$,

$$ \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^2(X_s)ds = \Delta_n\sigma^2(X_{k\Delta_n}) + \int_{k\Delta_n}^{(k+1)\Delta_n} [(k+1)\Delta_n - u]\Phi(X_u)du + \zeta_{k\Delta_n}^{(2)} \quad (1.35) $$

On déduit enfin des équations (1.34) et (1.35) que

$$ \frac{(X_{(k+1)\Delta_n} - X_{k\Delta_n})^2}{\Delta_n} = \sigma^2(X_{k\Delta_n}) + \zeta_{k\Delta_n} + R_{k\Delta_n}. $$

□

Preuve de la proposition 1.3.2. Pour tout $g \in \mathcal{G}(\mathcal{X}, \mathcal{Y})$, remarquons que $\sum_{i=1}^K \sum_{k=1}^K 1_{g^*(X)=i}1_{g(X)=k} = 1$. On obtient des équations (1.10) et (1.12) :

$$ 
\begin{aligned}
\mathcal{R}(g) - \mathcal{R}(g^*) &= \sum_{i=1}^{K} \sum_{k=1}^{K} [\mathcal{R}(g) - \mathcal{R}(g^*)]1_{g^*(X)=i}1_{g(X)=k} \\
&= \sum_{i=1}^{K} \sum_{k=1}^{K} \mathbb{E} \left[ \sum_{j=1}^{K} \pi_j^*(X) (1_{g^*(X)=j} - 1_{g(X)=j}) \right] 1_{g^*(X)=i}1_{g(X)=k} \\
&= \mathbb{E} \left[ \sum_{i=1}^{K} \sum_{k=1}^{K} \sum_{j=1}^{K} \pi_j^*(X) 1_{g^*(X)=i} 1_{g(X)=k} 1_{g^*(X)=j} \right] \\
&\quad - \mathbb{E} \left[ \sum_{i=1}^{K} \sum_{k=1}^{K} \sum_{j=1}^{K} \pi_j^*(X) 1_{g^*(X)=i} 1_{g(X)=k} 1_{g(X)=j} \right] \\
&= \Sigma_1 - \Sigma_2.
\end{aligned}
$$
En échangeant les indices $i$ et $j$, on obtient :

$$ \Sigma_1 = \sum_{i=1}^{K} \sum_{k=1}^{K} \sum_{j=1}^{K} \pi_i^*(X) \mathbb{1}_{g^*(X)=j} \mathbb{1}_{g(X)=k} \mathbb{1}_{g^*(X)=i} = \sum_{i=1}^{K} \sum_{k=1}^{K} \pi_i^*(X) \mathbb{1}_{g(X)=k} \mathbb{1}_{g^*(X)=i} $$

puis, en échangeant les indices $k$ et $j$, on a :

$$ \Sigma_2 = \sum_{i=1}^{K} \sum_{k=1}^{K} \sum_{j=1}^{K} \pi_k^*(X) \mathbb{1}_{g^*(X)=i} \mathbb{1}_{g(X)=j} \mathbb{1}_{g(X)=k} = \sum_{i=1}^{K} \sum_{k=1}^{K} \pi_k^*(X) \mathbb{1}_{g^*(X)=i} \mathbb{1}_{g(X)=k} $$

Enfin, en remarquant, par définition du classifieur de Bayes $g^*$ et sa caractérisation donnée par (1.11), que sur l'évènement $\{g^*(X) = i\}$, on a $\pi_i^*(X) \ge \pi_k^*(X)$ pour tout $k \in \mathcal{Y}$, on déduit alors que

$$ \begin{aligned} \mathcal{R}(g) - \mathcal{R}(g^*) &= \mathbb{E} \left[ \sum_{i=1}^{K} \sum_{k=1}^{K} (\pi_i^*(X) - \pi_k^*(X)) \mathbb{1}_{g(X)=k} \mathbb{1}_{g^*(X)=i} \right] \\ &= \mathbb{E} \left[ \sum_{i=1}^{K} \sum_{k \neq i} |\pi_i^*(X) - \pi_k^*(X)| \mathbb{1}_{g(X)=k} \mathbb{1}_{g^*(X)=i} \right]. \end{aligned} $$

□
Chapter 2

# Estimation non-paramétrique du coefficient de diffusion

**Résumé:** Considérons le processus de diffusion $X = (X_t)_{t \in [0,1]}$ observé en temps discrets et à haute fréquence, solution d'une équation différentielle stochastique dont les coefficients de dérive et de diffusion sont supposés inconnus. Dans cet article, nous nous focalisons sur l'estimation non-paramétrique du coefficient de diffusion. Nous proposons, à partir d'observations discrètes de $X$, des estimateurs de type ridge du carré du coefficient de diffusion, construits par minimisation d'une fonction de contraste des moindres carrés. Nous prouvons que les estimateurs sont convergents, et nous établissons des vitesses de convergence lorsque la taille de l'échantillon de données tend vers l'infini et le pas de discrétisation de l'intervalle d'observation du processus $[0, 1]$ tend vers zéro. Les résultats théoriques sont complétés par une étude numérique sur des données synthétiques.

**Mots clés.** Estimation non-paramétrique, processus de diffusion, coefficient de diffusion, contraste des moindres carrés, observations répétées, estimation adaptative.

**abstract:** Consider a diffusion process $X = (X_t)_{t \in [0,1]}$ observed at discrete times and high frequency, solution of a stochastic differential equation whose drift and diffusion coefficients are assumed to be unknown. In this article, we focus on the nonparametric estimation of the diffusion coefficient. We propose ridge estimators of the square of the diffusion coefficient from discrete observations of $X$ that are obtained by minimization of the least squares contrast. We prove that the estimators are consistent and derive rates of convergence as the number of sample paths tends to infinity, and the discretization step of the time interval $[0, 1]$ tend to zero. The theoretical results are completed with a numerical study over synthetic data.

**Keywords.** Nonparametric estimation, diffusion process, diffusion coefficient, least squares contrast, repeated observations.

## Contents

<table><tr><td>2.1</td><td>Introduction</td><td>36</td></tr><tr><td>2.2</td><td>Framework and assumptions</td><td>38</td></tr><tr><td>2.2.1</td><td>Definitions and notations</td><td>39</td></tr><tr><td>2.2.2</td><td>Spaces of approximation</td><td>39</td></tr><tr><td>2.2.3</td><td>Ridge estimators of the square of the diffusion coefficient</td><td>43</td></tr><tr><td>2.3</td><td>Estimation of the diffusion coefficient from a single diffusion path</td><td>44</td></tr><tr><td>2.3.1</td><td>Non-adaptive estimation of the diffusion coefficient on a compact interval</td><td>44</td></tr><tr><td>2.3.2</td><td>Non-adaptive estimation of the diffusion coefficient on non-compact interval</td><td>45</td></tr><tr><td>2.4</td><td>Estimation of the diffusion coefficient from repeated diffusion paths</td><td>47</td></tr><tr><td>2.4.1</td><td>Non-adaptive estimation of the diffusion coefficient on a compact interval</td><td>47</td></tr><tr><td>2.4.2</td><td>Non-adaptive estimation of the diffusion coefficient on a non-compact interval</td><td>48</td></tr></table>
<table><tr><td>2.5</td><td>Non-adaptive estimation of the diffusion coefficient on a compact interval depending on the sample size</td><td>49</td></tr><tr><td>2.6</td><td>Adaptive estimation of the diffusion coefficient from repeated observations</td><td>51</td></tr><tr><td>2.7</td><td>Numerical study</td><td>52</td></tr><tr><td>2.7.1</td><td>Models and simulations</td><td>53</td></tr><tr><td>2.7.2</td><td>Implementation of the ridge estimators</td><td>53</td></tr><tr><td>2.7.3</td><td>Numerical results</td><td>53</td></tr><tr><td>2.7.4</td><td>Concluding remarks</td><td>56</td></tr><tr><td>2.8</td><td>Conclusion</td><td>58</td></tr><tr><td>2.9</td><td>Proofs</td><td>58</td></tr><tr><td>2.9.1</td><td>Technical results</td><td>58</td></tr><tr><td>2.9.2</td><td>Proofs of Section 2.3</td><td>59</td></tr><tr><td>2.9.3</td><td>Proof of Section 2.4</td><td>66</td></tr><tr><td>2.9.4</td><td>Proof of Section 2.5</td><td>71</td></tr><tr><td>2.9.5</td><td>Proof of Lemma 2.5.1</td><td>71</td></tr><tr><td>2.9.6</td><td>Proof of Theorem 2.5.2</td><td>73</td></tr><tr><td>2.9.7</td><td>Proof of Section 2.6</td><td>75</td></tr></table>

## 2.1 Introduction

Let $X = (X_t)_{t \in [0,1]}$ be a one dimensional diffusion process with finite horizon time, solution of the following stochastic differential equation:

$$dX_t = b(X_t)dt + \sigma(X_t)dW_t, \quad X_0 = x_0 \in \mathbb{R} \qquad (2.1)$$

where $(W_t)_{t \ge 0}$ is a standard Brownian motion. The drift function $b$ and the diffusion coefficient $\sigma$ are assumed to be unknown.

For a number of years now, there has been a great deal of interest in stochastic processes that are solutions of stochastic differential equations, also known as diffusion processes. This mathematical tool has been the subject of many studies in the modelling of complex random phenomena in a number of fields such as finance, with the modelling of the price of a financial asset (see e.g. [65], [70], [35]), or the modelling of interest rates (see e.g. [69], [34]), in cell biology (see e.g. [88], [37]), population genetics or population dynamics (see e.g. [38], [39]), or in physics (see e.g. [33]). The estimation of coefficients of stochastic differential equations plays a key role in the study of these processes. It is the case for example for the construction of some classification procedures for diffusion paths (see [47], [29]), the automation of which is actively contributing to the development of several scientific and economic sectors. The analysis of the diffusion coefficient and its estimation plays a significant role in finance, with the volatility study of a financial asset.

We denote by $(F_t)_{t \in [0,1]}$ the natural filtration of the diffusion process $X$. The goal of the article is to construct, from $Nn$ observations $\{X_{k\Delta_n}^j, k = 0, \dots, n-1, j = 1, \dots, N\}$ coming from $N$ independent discrete time copies $\{\bar{X}^1, \dots, \bar{X}^N\}$ of $X$ with time step $\Delta_n = 1/n$, a nonparametric estimator of the square of the diffusion coefficient $\sigma^2(\cdot)$. We are in the framework of high frequency data since the time step $\Delta_n$ tends to zero as $n$ tends to infinity. Furthermore, we consider estimators of $\sigma^2(\cdot)$ built from a single diffusion path and the $n$ observations $(X_{k\Delta_n}, k = 0, \dots, n)$ ($N = 1$), and those built when $N$ tends to infinity. In this paper, we first propose a ridge estimator of $\sigma^2(\cdot)$ on a compact interval. Secondly, we focus on the nonparametric estimation of $\sigma^2(\cdot)$ on a non-compact interval, especially the real line $\mathbb{R}$. We measure the risk of any estimator $\hat{\sigma}^2$ of the square of the diffusion coefficient $\sigma^2$ by $E[\|\hat{\sigma}^2 - \sigma^2\|_{n,N}^2]$, where $\|\hat{\sigma}^2 - \sigma^2\|_{n,N}^2 := (Nn)^{-1} \sum_{j=1}^N \sum_{k=0}^{n-1} (\hat{\sigma}^2(X_{k\Delta}) - \sigma^2(X_{k\Delta}))^2$ is an empirical norm defined from the $Nn$ observations.
**Related works.** There is a large literature on the estimation of coefficients of diffusion processes, and we focus on the papers studying the estimation of $\sigma^2$.

Estimation of the diffusion coefficient has been considered in the parametric case (see e.g. [49], [63], [50], [15], [51], [54], [93]). In the nonparametric case, estimators of the diffusion coefficient from discrete observations are proposed under various frameworks.

First, the diffusion coefficient is constructed from one discrete observation of the diffusion process ($N=1$) in long time ($T \to \infty$) (see e.g. [60], [22], [89], [91]), or in short time ($T = 1$) (see e.g. [52], [94], [59], [44], [61]). Note that in short time ($T < \infty$), only the diffusion coefficient can be estimated consistently from a single discrete path contrary to the drift function whose consistent estimation relies on repeated discrete observations of the diffusion process (see e.g. [18], [30]). For the case of short time diffusion processes (for instance $T = 1$), estimators of a time-dependent diffusion coefficients $t \mapsto \sigma^2(t)$ have been proposed. In this context, [52] built a nonparametric estimator of $t \mapsto \sigma^2(t)$ and studied its $L_2$ risk using wavelets methods, [94] studies the $L_p$ risk of a kernel estimator of $\sigma^2(t)$, and [59] derived a minimax rate of convergence of order $n^{-ps/(1+2s)}$ where $s > 1$ is the smoothness parameter of the Besov space $B_{p,\infty}^s([0, 1])$ (see later in the paper). For the space-dependent diffusion coefficient $x \mapsto \sigma^2(x)$, a first estimator based on kernels and built from a single discrete observation of the diffusion process with $T = 1$ is proposed in [45]. The estimator has been proved to be consistent under a condition on the bandwidth, but a rate of convergence of its risk of estimation has not been established.

Secondly, the diffusion coefficient is built in short time ($T < \infty$) from $Nn$ observations of the diffusion process, with $N, n \to \infty$. In [28], a nonparametric estimator of $\sigma^2$ on the real line $\mathbb{R}$ is proposed when the time horizon $T = 1$. The estimator has been proved to be consistent with a rate of order $N^{-1/5}$ over the space of Lipschitz functions.

Two main methods are used to build consistent nonparametric estimators of $x \mapsto \sigma^2(x)$. The first method is the one using kernels (see e.g. [44], [6], [85], [56], [91], [82]), the other method consists in estimating $\sigma^2$ as solution of a nonparametric regression model using the least squares approach. Since the diffusion coefficient is assumed to belong to an infinite dimensional space, the method consists in projecting $\sigma^2$ into a finite dimensional subspace, estimating the projection and making a data-driven selection of the dimension by minimizing a penalized least squares contrast (see e.g. [61], [60], [89], [17], [91], [28]).

**Main contribution.** In this paper, we assume to have at our disposal the following $Nn$ observations

$$ \{X_{k\Delta_n}^j, j = 1, \dots, N; k = 0, \dots, n-1\}, $$

gathered in the $N$ independent sample paths $\{\bar{X}^j = (X_{k\Delta_n}^j)_{0\le k \le n-1}, j = 1, \dots, N\}$ which are discrete-time copies of the diffusion process $X$ solution of Equation (A.1). The main objectives of this paper are the following.

1. The construction of a consistent ridge estimator of $\sigma^2$ on a compact interval from a single diffusion path ($N=1$), using the least squares approach. In the literature and in the same framework, [61] proposed a projection estimator of $\sigma^2$ on the compact interval $[0, 1]$, over an approximation space spanned by the wavelet basis. The author established an optimal rate of order $n^{-ps/2(2s+1)}$ on a Besov space of parameter $s$, defined from the space $L^p([0, 1])$. To obtain this result, it is necessary to be sure that the data points are uniformly distributed over the compact interval $[0, 1]$ using the local time of the diffusion process $X$, and working conditionally on the event "the local time is lower bounded on $[0, 1]$". In this paper, we do not establish our results conditionally on the same event, we rather take advantage of the assumptions made on the coefficients $b$ and $\sigma$, the properties of the local time, and on the approximation of the transition density by Gaussian densities proposed in [55], to prove that the data points are uniformly scattered in the estimation interval. We establish, over a Hölder space, a rate of the same order as the one obtained in [61] with $p = 2$. Moreover, we propose an adaptive estimator of $\sigma^2$ based on a data-driven selection of the dimension through the minimization of a penalized least squares contrast.
2. The construction of a nonparametric estimator of $\sigma^2$ on a non-compact interval and from $n + 1$ observations ($X_{k\Delta_n}$, $k = 0, \dots, n$) of a single diffusion path ($N = 1$), particularly on the real line $\mathbb{R}$. In the literature, only [45] studied the nonparametric estimation of $\sigma^2$ on a non-compact interval from a single diffusion path. The author proposed a kernel estimator of $\sigma^2$ and proved its consistency. No rate of convergence has been established. In this article, we propose a projection estimator $\sigma^2$ using the least squares approach. We establish a rate of convergence, and propose an adaptive estimator through a data-driven selection of the dimension.

3. For the case of repeated observations of the diffusion process ($N \to \infty$), only [28] tackled the problem of estimation of $\sigma^2$ and established a rate of order $N^{-1/5}$ over a space of Lipschitz functions. In this paper, we propose projection estimators of $\sigma^2$ both on a compact interval and on a non-compact interval, particularly on the real line $\mathbb{R}$. We establish rates of convergence and propose adaptive estimators for both the compact and the non-compact cases.

4. Focusing on the support of the diffusion coefficient, we consider an intermediate case between a compact interval and $\mathbb{R}$ by proposing a ridge estimator of $\sigma^2$ restricted to the compact interval $[-A_N, A_N]$ where $A_N \to \infty$ as $N \to \infty$. The benefit of this approach is that the resulting projection estimator can reach a faster rate of convergence compared to the rate obtained on the real line $\mathbb{R}$.

We sum up below the rates of convergence (up to a log-factor) of the ridge estimators of $\sigma_I^2$ with $I \subseteq \mathbb{R}$ over a Hölder space defined in the next section with a smoothness parameter $\beta \ge 1$.

<table><caption>Table 2.1: Rates of convergence of the square root of the risk of estimation $\mathbb{E}[\|\hat{\sigma}^2 - \sigma_I^2\|_{n,N}^2]$ of the non-adaptive estimators $\hat{\sigma}^2$ of the square of the diffusion coefficient $\sigma_I^2$ built from one diffusion path ($N = 1$) on the left column, and from repeated observations of the diffusion process ($N \to \infty$) on the right column. For the precise results, see Sections 2.3 and 2.4.</caption><thead><tr><th>Estimation interval</th><th>$N = 1$ and $n \to +\infty$</th><th>$N \to +\infty$ and $n \to +\infty$</th></tr></thead><tbody><tr><td>$I = [-A, A], A > 0$</td><td>$n^{-\beta/(2\beta+1)}$</td><td>$(Nn)^{-\beta/(2\beta+1)}$</td></tr><tr><td>$I = [-A_N, A_N], A_N \xrightarrow{N \to +\infty} +\infty$</td><td>xxxx</td><td>$\log^{\beta/2}(N)(Nn)^{-\beta/(2\beta+1)}, N \propto n$</td></tr><tr><td>$I = \mathbb{R}$</td><td>$\log^{\beta}(n)n^{-\beta/(4\beta+1)}$</td><td>$\log^{\beta}(N)(Nn)^{-\beta/(4\beta+1)} + n^{-1}$</td></tr></tbody></table>

## 2.2 Framework and assumptions

Consider a diffusion process $X = (X_t)_{t \in [0,1]}$, solution of Equation (A.1) whose drift and diffusion coefficient satisfy the following assumption.

**Assumption 2.2.1.** 1. There exists a constant $L_0 > 0$ such that $b$ and $\sigma$ are $L_0$-Lipschitz functions on $\mathbb{R}$.

2. There exist constants $\sigma_0, \sigma_1 > 0$ such that : $\sigma_0 \le \sigma(x) \le \sigma_1, \forall x \in \mathbb{R}$.

3. $\sigma \in C^2(\mathbb{R})$ and there exist $C > 0$ and $\alpha \ge 0$ such that:

$$|\sigma'(x)| + |\sigma''(x)| \le C(1 + |x|^\alpha), \quad \forall x \in \mathbb{R}.$$

Under Assumption 2.2.1, $X = (X_t)_{t \in [0,1]}$ is the unique strong solution of Equation (A.1) (see [67]), and this unique solution admits a transition density $(t, x_0, x) \mapsto p_X(t, x_0, x)$ (see e.g. [55]). Besides, we obtain from Assumption 2.2.1 the following result.
**Lemma 2.2.2.** Under Assumption 2.2.1, it holds:

$$ \forall q \ge 1, \quad \mathbb{E} \left[ \sup_{t \in [0,1]} |X_t|^q \right] < \infty. $$

The above result shows that under Assumption 2.2.1, the diffusion process solution of Equation (A.1) admits moments of any order $q \in \mathbb{N}^*$. The proof of Lemma 2.2.2 is provided in appendix.

### 2.2.1 Definitions and notations

We suppose to have at our disposal $Nn$ observations $D_{N,n} = \{X_{k\Delta_n}^j, k = 0, \dots, n, j = 1, \dots, N\}$ constituted of $N$ independent copies of the discrete observation $(X_{k\Delta_n}, k = 0, \dots, n)$ of the diffusion process $X$, where $\Delta_n = 1/n$ is the time-step. The objective is to construct, from the sample $D_{N,n}$, a nonparametric estimator of the square $\sigma^2$ of the diffusion coefficient on an interval $I \subseteq \mathbb{R}$. In the sequel, we consider two main cases, the first one being the estimation of $\sigma^2$ on the interval $I$ from $n+1$ observations $D_{1,n} = \{X_{k\Delta_n}^1, k = 0, \dots, n\}$ ($N = 1$), with $n \to \infty$. For the second case, we assume that both $N$ and $n$ tend to infinity.

For each measurable function $h$, such that $\mathbb{E}[h^2(X_t)] < \infty$ for all $t \in [0, 1]$, we define the following empirical norms:

$$ \|h\|_n^2 := \mathbb{E}_X \left[ \frac{1}{n} \sum_{k=0}^{n-1} h^2 (X_{k\Delta_n}) \right], \quad \|h\|_{n,N}^2 := \frac{1}{Nn} \sum_{j=1}^{N} \sum_{k=0}^{n-1} h^2 (X_{k\Delta_n}^j), \quad \|h\|_X^2 := \int_0^1 h^2(X_s) ds \quad (2.2) $$

where $\mathbb{E}_X$ is the corresponding expectation of the probability distribution of the diffusion process $X$ solution of Equation (A.1). Besides, for all $h \in \mathbb{L}^2(I)$, we have

$$ \|h\|_n^2 = \int_I h^2(x) \frac{1}{n} \sum_{k=0}^{n-1} p_X(k\Delta_n, x_0, x) dx = \int_I h^2(x) f_n(x) dx, $$

where $f_n : x \mapsto \frac{1}{n} \sum_{k=0}^{n-1} p_X(k\Delta_n, x_0, x)$ is a density function. For the case of non-adaptive estimators of $\sigma^2$, we also establish bounds of the risks of the estimators based on the empirical norm $\|\cdot\|_n$ or the $\mathbb{L}^2$-norm $\|\cdot\|$ when the estimation interval $I$ is compact.

For any integers $p, q \ge 2$ and any matrix $M \in \mathbb{R}^{p \times q}$, we denote by $^tM$, the transpose of $M$.

In the sequel, without loss of generality and for the simplification of notations, we set $x_0 = 0$. The transition density is therefore defined by $p_X : (t, x) \mapsto p_X(t, x)$. Thus, for any solution $X$ of Equation (A.1) such that $X_0 = x_0 \in \mathbb{R} \setminus \{0\}$, we consider the diffusion process $Y = (X_t - x_0)_{t \in [0,1]}$ solution of

$$ dY_t = \tilde{b}(Y_t)dt + \tilde{\sigma}(Y_t)dW_t, \quad Y_0 = 0, $$

with $\tilde{b} : x \mapsto b(x + x_0)$ and $\tilde{\sigma} : x \mapsto \sigma(x + x_0)$. Besides, setting the time horizon to $T = 1$ is without loss of generality.

For any real number $x \in \mathbb{R}_{+*}$, we denote by $\lfloor x \rfloor \in \mathbb{N}$ the largest integer strictly smaller than $x$, and for all integer $p, q \in \mathbb{N} \setminus \{0, 1\}$ such that $p < q$, we denote by $\lfloor p, q \rfloor$ the set of integers $\{p, p+1, \dots, q\}$.

### 2.2.2 Spaces of approximation

We propose projection estimators of $\sigma^2$ on a finite-dimensional subspace. To this end, we consider for each $m \ge 1$, a $m$-dimensional subspace $S_m$ given as follows:

$$ S_m := \operatorname{Span} (\phi_\ell, \ell = 0, \dots, m-1), \quad m \ge 1 \quad (2.3) $$
where the functions $(\phi_{\ell}, \ell \in \mathbb{N})$ are continuous, linearly independent and bounded on $I$. Furthermore, we need to control the $\ell^2$-norm of the coordinate vectors of elements of $S_m$, which leads to the following constrained subspace,

$$S_{m,L} := \left\{ h = \sum_{\ell=0}^{m-1} a_{\ell} \phi_{\ell}, \sum_{\ell=0}^{m-1} a_{\ell}^2 = \|\mathbf{a}\|_2^2 \le mL, \mathbf{a} = (a_0, \dots, a_{m-1}), L > 0 \right\}. \quad (2.4)$$

Note that $S_{m,L} \subset S_m$ and $S_{m,L}$ is no longer a vector space. The control of the coordinate vectors allows to establish an upper bound of the estimation error that tends to zero as $n \to \infty$ or $N, n \to \infty$. In fact, we prove in the next sections that the construction of consistent estimators of $\sigma^2$ requires the functions $h = \sum_{\ell=0}^{m-1} a_{\ell} \phi_{\ell}$ to be bounded, such that

$$\|h\|_{\infty} \le \max_{\ell=0,\dots,m-1} \|\phi_{\ell}\|_{\infty} \|\mathbf{a}\|_2.$$

This condition is satisfied for the functions of the constrained subspaces $S_{m,L}$ with $m \ge 1$. In this article, we work with the following bases.

**[B] The B-spline basis.** This is an example of a non-orthonormal basis defined on a compact interval. Let $A > 0$ be a real number, and suppose (without restriction) that $I = [-A, A]$. Let $K, M \in \mathbb{N}^*$, and consider $\mathbf{u} = (u_{-M}, \dots, u_{K+M})$ a knots vector such that $u_{-M} = \dots = u_{-1} = u_0 = -A$, $u_{K+1} = \dots = u_{K+M} = A$, and for all $i = 0, \dots, K$,

$$u_i = -A + i \frac{2A}{K}.$$

One calls **B-spline functions**, the piecewise polynomial functions $(B_{\ell})_{\ell=-M,\dots,K-1}$ of degree $M$, associated with the knots vector $\mathbf{u}$ (see [57], Chapter 14). The **B-spline functions** are linearly independent smooth functions returning zero for all $x \notin [-A, A]$, and satisfying some smoothness conditions established in [57]. Thus, we consider approximation subspaces $S_{K+M}$ defined by

$$S_{K+M} = \operatorname{Span}\{B_{\ell}, \ell = -M, \dots, K-1\}$$

of dimension $\dim(S_{K+M}) = K + M$, and in which, each function $h = \sum_{\ell=-M}^{K-1} a_{\ell} B_{\ell}$ is $M-1$ times continuously differentiable thanks to the properties of the spline functions (see [57]). Besides, the spline basis is included in the definition of both the subspace $S_m$ and the constrained subspace $S_{m,L}$ (see Equations (2.3) and (2.4)) with $m = K + M$ and for any coordinates vector $(a_{-M}, \dots, a_{K-1}) \in \mathbb{R}^{K+M}$,

$$\sum_{\ell=-M}^{K-1} a_{\ell} B_{\ell} = \sum_{\ell=0}^{m-1} a_{\ell-M} B_{\ell-M}.$$

The integer $M \in \mathbb{N}^*$ is fixed, while $K$ varies in the set of integers $\mathbb{N}^*$. If we assume that $\sigma^2$ belongs to the Hölder space $\Sigma_I(\beta, R)$ given as follows:

$$\Sigma_I(\beta, R) := \left\{ h \in C^{[\beta]+1}(I), \left| h^{(\ell)}(x) - h^{(\ell)}(y) \right| \le R |x - y|^{\beta-l}, x, y \in I \right\},$$

where $\beta \ge 1$, $\ell = \lfloor \beta \rfloor$ and $R > 0$, then the unknown function $\sigma_{|I|}^2$ restricted to the compact interval $I$ can be approximated in the constrained subspace $S_{K+M,L}$ spanned by the spline basis. This approximation results in the following bias term:

$$\inf_{h \in S_{K+M,L}} \|h - \sigma_{|I|}^2\|_n^2 \le C |I|^{2\beta} K^{-2\beta}$$

where the constant $C > 0$ depends on $\beta, R$ and $M$, and $|I| = \sup I - \inf I$. The above result is a modification of Lemma D.2 in [30].
**[F] The Fourier basis.** The subspace $S_m$ can be spanned by the Fourier basis

$$ \{f_{\ell}, \ell = 0, \dots, m-1\} = \{1, \sqrt{2} \cos(2\pi jx), \sqrt{2} \sin(2\pi jx), j = 1, \dots, d\} \text{ with } m = 2d+1. $$

The above Fourier basis is defined on the compact interval $[0, 1]$. The definition can be extended to any compact interval $I \subset \mathbb{R}$, replacing the bases functions $x \mapsto f_{\ell}(x)$ by the functions

$$ x \mapsto 1/(\max I - \min I) f_{\ell} \left( \frac{x - \min I}{\max I - \min I} \right). $$

We use this basis to build the estimators of $\sigma^2$ on a compact interval $I \subset \mathbb{R}$.

Define for all $s \ge 1$ and for any compact interval $I \subset \mathbb{R}$, the Besov space $B_{2,\infty}^s(I)$ which is a space of functions $f \in L^2(I)$ such that the $\lfloor s \rfloor^{th}$ derivative $f^{(\lfloor s \rfloor)}$ belongs to the space $B_{2,\infty}^{s-\lfloor s \rfloor}(I)$ given by

$$ B_{2,\infty}^{s-\lfloor s \rfloor}(I) = \left\{ f \in L^2(I) \text{ and } \frac{w_{2,f}(t)}{t^{s-\lfloor s \rfloor}} \in L^{\infty}(I \cap \mathbb{R}^+) \right\} $$

where for $s - \lfloor s \rfloor \in (0, 1)$, $w_{2,f}(t) = \sup_{|h| \le t} \|\tau_h f - f\|_2$ with $\tau_h f(x) = f(x - h)$, and for $s - \lfloor s \rfloor = 1$, $w_{2,f}(t) = \sup_{|h| \le t} \|\tau_h f + \tau_{-h} f - 2f\|_2$. Thus, if we assume that the function $\sigma_{\lfloor I \rfloor}^2$ belongs to the Besov space $B_{2,\infty}^s$, then it can be approximated in a constrained subspace $S_{m,L}$ spanned by the Fourier basis. Moreover, under Assumption 2.2.1 and from Lemma 12 in [2], there exists a constant $C > 0$ depending on the constant $\tau_1$ of Equation (2.9), the smoothness parameter $s$ of the Besov space such that

$$ \inf_{h \in S_{m,L}} \left\| h - \sigma_{\lfloor I \rfloor}^2 \right\|_n^2 \le \tau_1 \inf_{h \in S_{m,L}} \left\| h - \sigma_{\lfloor I \rfloor}^2 \right\|_\beta^2 \le C \left| \sigma_{\lfloor I \rfloor}^2 \right|_{\beta}^2 m^{-2\beta} $$

where $|\sigma_{\lfloor I \rfloor}^2|$ is the semi-norm of $\sigma_{\lfloor I \rfloor}^2$ in the Besov space $B_{2,\infty}^s(I)$.

Note that for all $\beta \ge 1$, the Hölder space $\Sigma_I(\beta, R)$ and the Besov space $B_{2,\infty}^{\beta}$ satisfy:

$$ L^{\infty}(\mathbb{R}) \cap \Sigma_I(\beta, R) \subset B_{\infty,\infty}^{\beta}(I) \subset B_{2,\infty}^{\beta}(I) $$

(see [31], Chap. 2 page 16). As a result, we rather consider in the sequel the Hölder space $\Sigma_I(\beta, R)$ which can also be approximated by the Fourier basis.

**[H] The Hermite basis.** The basis is defined from the Hermite functions $(h_j, j \ge 0)$ defined on $\mathbb{R}$ and given for all $j \ge 0$ and for all $x \in \mathbb{R}$ by:

$$ h_j(x) = c_j H_j(x), \text{ where } H_j(x) = (-1)^j \exp\left(\frac{x^2}{2}\right) \frac{d^j}{dx^j} \left(e^{-x^2/2}\right) \text{ and } c_j = (2^j j! \sqrt{\pi})^{-1/2}. $$

The polynomials $H_j(x)$, $j \ge 0$ are the Hermite polynomials, and $(h_j, j \ge 0)$ is an orthonormal basis of $L^2(\mathbb{R})$. Furthermore, for each $j \ge 1$, the function $h_j$ satisfies $|h_j(x)| \le c|x| \exp(-c_0x^2)$ for all $x \in \mathbb{R}$ such that $x^2 \ge (3/2)(4j + 3)$, where $c, c_0 > 0$ are constants independent of $j$ (see [19], Proof of Proposition 3.5). We use the Hermite basis in the sequel for the estimation of $\sigma^2$ on the real line $\mathbb{R}$.

If one assumes that $\sigma^2$ belongs to the Sobolev space $W_{f_n}^s(\mathbb{R}, R)$ given for all $s \ge 1$ by

$$ W_{f_n}^s(\mathbb{R}, R) := \{g \in L^2(\mathbb{R}, f_n(x)dx), \forall \ell \ge 1, \|g - g_\ell\|_n^2 \le R\ell^{-s}\} $$

where for each $\ell \ge 1$, $g_\ell$ is the $L^2(\mathbb{R}, f_n(x)dx)$-orthogonal projection of $g$ on the $\ell$-dimensional vector space $S_\ell$ spanned by the Hermite basis. Consider a compact interval $I \subset \mathbb{R}$ and the following spaces:

$$ W^s(I, R) := \left\{ g \in L^2(I), \sum_{j=0}^{\infty} j^s \langle g, \phi_j \rangle^2 \le R \right\}, \\ W_{f_n}^s(I, R) := \{g \in L^2(I, f_n(x)dx), \forall \ell \ge 1, \|g - g_\ell\|_n^2 \le R\ell^{-s}\} $$
where $(\phi_j)_{j \ge 0}$ is an orthonormal basis defined on $I$ and for all $\ell \ge 1$, $g_\ell$ is the orthogonal projection of $g$ onto $S_\ell = \text{Span}(h_j, j \le \ell)$ of dimension $\ell \ge 1$ (see e.g. [20]). Then, for all $g \in W^s(I, R)$, we have

$$g = \sum_{j=0}^{\infty} \langle g, \phi_j \rangle \phi_j \quad \text{and} \quad \|g - g_\ell\|^2 = \sum_{j=\ell+1}^{\infty} \langle g, \phi_j \rangle^2 \le \ell^{-s} \sum_{j=\ell+1}^{\infty} j^s \langle g, \phi_j \rangle^2 \le R\ell^{-s}.$$

We have $W_{fn}^s(I, R) = W^s(I, R)$ as the empirical norm $\|\cdot\|_n$ and the $L^2$-norm $\|\cdot\|$ are equivalent. The space $W_{fn}^s(\mathbb{R}, R)$ is an extension of the space $W_{fn}^s(I, R)$ where $I = \mathbb{R}$ and $(\phi_j)_{j \ge 0}$ is the Hermite basis.

**[L] The Laguerre basis.** The Laguerre basis $(\ell_j)_{j \ge 1}$ is defined from the Laguerre functions defined on $\mathbb{R}^+$ and given for each $j \ge 1$ by

$$\ell_j(x) = \sqrt{2L_j(2x)} e^{-x} \mathbf{1}_{x \ge 0}, \quad \text{with} \quad L_j(x) = \sum_{k=0}^{j} (-1)^k \binom{j}{k} \frac{x^k}{k!}.$$

The collection $[\mathbf{L}]$ is a complete orthonormal basis of $L^2(\mathbb{R}^+)$.

**[CS–OB] Other orthonormal bases.** We consider any orthonormal basis $(\phi_0, \dots, \phi_{m-1})$ of compactly supported functions that satisfies the following condition:

$$\exists r \in \mathbb{N}: \mathcal{L}(m) := \sum_{j=0}^{m-1} \|\phi_j\|_{\infty}^2 = O(m^r), \quad \text{and} \quad \exists r' \in \mathbb{N}^*: \mathfrak{R}(m) := \sum_{j=0}^{m-1} \|\phi'_j\|_{\infty}^2 = O(m^{r'}). \quad (2.5)$$

Thus, under Condition (2.5), any function $h \in S_m$ satisfies $\|h\|_{\infty} = O(m^{r/2}\|\mathbf{a}\|_2)$ and $\|h'\|_{\infty} = O(m^{r'/2}\|\mathbf{a}\|_2)$, and, applying the finite increments theorem, there exists a constant $C > 0$ such that for all $x, y \in \text{Support}(h)$,

$$|h(x) - h(y)| \le Cm^{r'/2}\|\mathbf{a}\|_2|x - y|.$$

Among these bases, we have the Legendre basis with $r = r' = 2$, the orthonormal basis of piecewise polynomials on $[0, 1]$ with $r = r' = 2$, the Fourier basis with $r = 1$ and $r' = 3$.

**Remark 2.2.3.** The B-spline basis is used for the estimation of $\sigma^2$ on a compact interval on one side ($N = 1$ and $N > 1$), and on the real line on the other side restricting $\sigma^2$ on the compact interval $[-\log(n), \log(n)]$ for $N = 1$, or $[-\log(N), \log(N)]$ for $N > 1$, and bounding the exit probability of the process $X$ from the interval $[-\log(N), \log(N)]$ (or $[-\log(n), \log(n)]$) by a negligible term with respect to the estimation error. In a similar context, the Fourier basis is used as an orthonormal basis to build nonparametric estimators of $\sigma^2$ on a compact interval and on $\mathbb{R}$, both for $N = 1$ and for $N > 1$. The main goal is to show that, in addition to the spline basis which is not orthogonal, we can build projection estimators of $\sigma^2$ on orthonormal bases that are consistent. The advantage of the Hermite basis compared to the Fourier basis is its definition on the real line $\mathbb{R}$. As a result, we use the Hermite basis to propose for $N > 1$, a projection estimator of $\sigma^2$ whose support is the real line $\mathbb{R}$.

**Remark 2.2.4.** Denote, by $\mathcal{M}$, the set of possible values of the dimension $m \ge 1$ of the approximation subspace $S_m$. If $(\phi_0, \dots, \phi_{m-1})$ is an orthonormal basis, then for all $m, m' \in \mathcal{M}$ such that $m < m'$, we have $S_m \subset S_{m'}$. For the case of the B-spline basis, one can find a subset $\mathcal{K} \subset \mathcal{M}$ of the form

$$\mathcal{K} = \{2^q, q = 0, \dots, q_{\max}\}$$

such that for all $K, K' \in \mathcal{K}, K < K'$ implies $S_{K+M} \subset S_{K'+M}$ (see for example [30]). The nesting of subspaces $S_m, m \in \mathcal{M}$ is of great importance in the context of adaptive estimation of the diffusion coefficient and the establishment of upper-bounds for the risk of adaptive estimators.

In the sequel, we denote by $[\mathbf{CS} – \mathbf{OB}]$, $[\mathbf{NCS} – \mathbf{OB}]$ and $[\mathbf{B}]$, the respective collections of subspaces spanned by the orthonormal bases of compactly supported functions, the orthonormal bases of non-compactly supported functions, and the spline basis. Note that on one side, the collection $[\mathbf{CS} – \mathbf{OB}]$ includes the Fourier basis related to the collection $[\mathbf{F}]$, and on the other side, the collection $[\mathbf{NCS} – \mathbf{OB}]$ includes the collection $[\mathbf{H}]$ for the Hermite basis, and the collection $[\mathbf{L}]$ for the Laguerre basis. Finally, we denote by $[\mathbf{OB}]$, the merger of the two collections $[\mathbf{CS} – \mathbf{OB}]$ and $[\mathbf{NCS} – \mathbf{OB}]$.
### 2.2.3 Ridge estimators of the square of the diffusion coefficient

We establish from Equation (A.1) and the sample paths $D_{N,n}$ the following regression model for the estimation of $\sigma^2$:

$$U_{k\Delta_n}^j = \sigma^2(X_{k\Delta_n}^j) + \zeta_{k\Delta_n}^j + R_{k\Delta_n}^j, \quad \forall (j,k) \in [1, N] \times [0, n-1] \quad (2.6)$$

where for each pair $(j,k) \in [1, N] \times [0, n-1]$, the response variable $U_{k\Delta_n}^j$ is given by

$$U_{k\Delta_n}^j := \frac{(X_{(k+1)\Delta_n}^j - X_{k\Delta_n}^j)^2}{\Delta_n},$$

and the error terms are respectively given by $\zeta_{k\Delta}^j = \zeta_{k\Delta}^{j,1} + \zeta_{k\Delta}^{j,2} + \zeta_{k\Delta}^{j,3}$, with:

$$\begin{align*}
\zeta_{k\Delta_n}^{j,1} &= \frac{1}{\Delta_n} \left[ \left( \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s^j) dW_s^j \right)^2 - \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma^2(X_s^j) ds \right], \\
\zeta_{k\Delta_n}^{j,2} &= \frac{2}{\Delta_n} \int_{k\Delta_n}^{(k+1)\Delta_n} ((k+1)\Delta_n - s)\sigma'(X_s^j)\sigma^2(X_s^j) dW_s^j, \\
\zeta_{k\Delta_n}^{j,3} &= 2b(X_{k\Delta_n}^j) \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s^j) dW_s^j,
\end{align*}$$

and $R_{k\Delta}^j = R_{k\Delta}^{j,1} + R_{k\Delta}^{j,2} + R_{k\Delta}^{j,3}$, with:

$$\begin{align*}
R_{k\Delta_n}^{j,1} &= \frac{1}{\Delta_n} \left( \int_{k\Delta_n}^{(k+1)\Delta_n} b(X_s^j) ds \right)^2, \quad R_{k\Delta_n}^{j,3} = \frac{1}{\Delta_n} \int_{k\Delta_n}^{(k+1)\Delta_n} ((k+1)\Delta_n - s) \Phi(X_s^j) ds \\
R_{k\Delta_n}^{j,2} &= \frac{2}{\Delta_n} \left( \int_{k\Delta_n}^{(k+1)\Delta_n} (b(X_s^j) - b(X_{k\Delta_n}^j)) ds \right) \left( \int_{k\Delta_n}^{(k+1)\Delta_n} \sigma(X_s^j) dW_s^j \right),
\end{align*}$$

where

$$\Phi := 2b\sigma'\sigma + [\sigma''\sigma + (\sigma')^2]^2 \sigma^2.$$

The increments $U_{k\Delta_n}^j$ are approximations in discrete times of $\frac{d\langle X, X \rangle_t}{dt}$ since, from Equation (A.1), one has $d\langle X, X \rangle_t = \sigma^2(X_t)dt$. The proof of the establishment of the regression model is given in appendix.

We consider the least squares contrast $\gamma_{n,N}$ defined for all $m \in \mathcal{M}$ and for all functions $h \in S_{m,L}$ by

$$\gamma_{n,N}(h) := \frac{1}{Nn} \sum_{j=1}^{N} \sum_{k=0}^{n-1} (U_{k\Delta}^{j} - h(X_{k\Delta_n}^{j}))^2.$$

For each dimension $m \in \mathcal{M}$, the projection estimator $\hat{\sigma}_m^2$ of $\sigma^2$ over the subspace $S_{m,L}$ is defined as:

$$\hat{\sigma}_m^2 \in \arg\min_{h \in S_{m,L}} \gamma_{n,N}(h). \quad (2.7)$$

Indeed, for each dimension $m \in \mathcal{M}$, the estimator $\hat{\sigma}_m^2$ of $\sigma^2$ given in Equation (2.7) satisfies $\hat{\sigma}_m^2 = \sum_{\ell=0}^{m-1} \hat{a}_\ell \phi_\ell$, where

$$\hat{a} = (\hat{a}_0, \dots, \hat{a}_{m-1}) := \arg\min_{\|\mathbf{a}\|_2^2 \le mL} \|\mathbf{U} - \mathbf{F}_m \mathbf{a}\|_2^2 \quad (2.8)$$

with $\mathbf{t} \mathbf{U} = (U_0^1, \dots, U_{(n-1)\Delta_n}^1, \dots, U_0^N, \dots, U_{(n-1)\Delta_n}^N)$ and the matrix $\mathbf{F}_m$ is defined as follows

$$\mathbf{F}_m := \left( \left( \phi_\ell(X_0^j), \dots, \phi_\ell(X_{(n-1)\Delta_n}^j) \right) \right)_{\substack{0 \le \ell \le m-1 \\ 1 \le j \le N}} \in \mathbb{R}^{Nn \times m}.$$

The vector of coefficients $\hat{a}$ is unique and called the ridge estimator of a because of the $\ell^2$ constraint on the coordinate vectors (see [58] Chap. 3 page 61).
## 2.3 Estimation of the diffusion coefficient from a single diffusion path

This section focuses on the nonparametric estimation of the square of the diffusion coefficient $\sigma^2$ on an interval $I \subseteq \mathbb{R}$ when only a single diffusion path is observed at discrete times ($N = 1$). It is proved in the literature that one can construct consistent estimators of the diffusion coefficient from one path when the time horizon $T$ is finite (see e.g. [61]). Two cases are considered. First, we propose a ridge estimator of $\sigma^2$ on a compact interval $I \subset \mathbb{R}$, say for example $I = [-1, 1]$. Secondly, we extend the study to the estimation of $\sigma^2$ on the real line $I = \mathbb{R}$.

### 2.3.1 Non-adaptive estimation of the diffusion coefficient on a compact interval

In this section, we consider the estimator $\hat{\sigma}_m^2$ of the compactly supported square of the diffusion coefficient $\sigma_{|I}^2$ on the constrained subspaces $S_{m,L}$ from the observation of a single diffusion path.

Since the interval $I \subset \mathbb{R}$ is compact, the immediate benefit is that the density function $f_n$ defined from the transition density of the diffusion process $\bar{X} = (X_{k\Delta})$ is bounded from below. In fact, there exist constants $\tau_0, \tau_1 \in (0, 1]$ such that

$$ \forall x \in I, \quad \tau_0 \le f_n(x) \le \tau_1, $$

(see [30]). Thus, for each function $h \in \mathbb{L}^2(I)$,

$$ \tau_0 \|h\|^2 \le \|h\|_n^2 \le \tau_1 \|h\|^2 \quad (2.9) $$

where $\|\cdot\|$ is the $\mathbb{L}^2$-norm. Equation (2.9) allows establishing global rates of convergence of the risk of the ridge estimators $\hat{\sigma}_m^2$ of $\sigma_{|I}^2$ with $m \in \mathcal{M}$ using the $\mathbb{L}^2$-norm $\|\cdot\|$ which is, in this case, equivalent with the empirical norm $\|\cdot\|_n$.

To establish an upper-bound of the risk of estimation that tends to zero as $n$ tends to infinity, we need to establish equivalence relations between the pseudo-norms $\|\cdot\|_{n,1}$ ($N = 1$) and $\|\cdot\|_X$ (see Equation (2.2)) on one side, and $\|\cdot\|_X$ and the $\mathbb{L}^2$-norm $\|\cdot\|$ on the other side. Define for $x \in \mathbb{R}$, the local time $\mathcal{L}^x$ of the diffusion process $X = (X_t)_{t \in [0,1]}$ by

$$ \mathcal{L}^x = \lim_{\epsilon \to 0} \frac{1}{2\epsilon} \int_0^1 1_{(x-\epsilon, x+\epsilon)}(X_s)ds. \quad (2.10) $$

In general, the local time of a continuous semimartingale is a.s. càdlàg (see e.g. [86]). But, for diffusion processes and under Assumption 2.2.1, the local time $\mathcal{L}^x$ is continuous at any point $x \in \mathbb{R}$ (see Lemma 2.9.5 in Section 2.9). Furthermore, we obtain the following result.

**Lemma 2.3.1.** Under Assumption 2.2.1, and for any continuous and integrable function $h$, it holds,

$$ 1. \quad \int_0^1 h(X_s)ds = \int_{\mathbb{R}} h(x)\mathcal{L}^x dx. $$

$$ 2. \quad \text{For all } x \in \mathbb{R}, \mathbb{E}(\mathcal{L}^x) = \int_0^1 p_X(s, x)ds. $$

In Lemma 2.3.1, we show that there is a link between the local time and the transition density of the diffusion process. The proof of the Lemma is provided in appendix. Thus, if we consider the pseudo-norm $\|\cdot\|_X$ depending on the process $X = (X_t)_{t \in [0,1]}$ and given in Equation (2.2), and using Lemma 2.3.1, we obtain that,

$$ \mathbb{E}[\|h\|_{\mathcal{X}}^2] = \int_{\mathbb{R}} h^2(x) \mathbb{E}[\mathcal{L}^x] dx = \int_{\mathbb{R}} h^2(x) \int_0^1 p_X(s, x) ds dx \ge \tau_0 \|h\|^2. \quad (2.11) $$

where $\int_0^1 p_X(s, x)ds \ge \tau_0 > 0$ (see [30], Lemma 4.3), and $\|h\|^2$ is the $\mathbb{L}^2$-norm of $h$.
**Theorem 2.3.2.** Set $L = \log(n)$ and $n \to \infty$. Suppose that $\sigma^2$ is approximated in one of the collections $[\text{CS} - \text{OB}]$ and $[\text{B}]$. Under Assumption 2.2.1, it holds

$$ \begin{aligned} \mathbb{E} \left[ \left\| \hat{\sigma}_m^2 - \sigma_{|I}^2 \right\|_{n,1}^2 \right] &\le 3 \inf_{h \in S_{m,L}} \left\| h - \sigma_{|I}^2 \right\|_n^2 + C \left( \frac{m^{\alpha'}}{n} + \frac{m^{\alpha\gamma+1} \log(n)}{n^{\gamma/2}} + \Delta_n^2 \right) \\ \mathbb{E} \left[ \left\| \hat{\sigma}_m^2 - \sigma_{|I}^2 \right\|_n^2 \right] &\le \frac{34\tau_1}{\tau_0} \inf_{h \in S_{m,L}} \left\| h - \sigma_{|I}^2 \right\|_n^2 + C' \left( \frac{m^{\alpha'}}{n} + \frac{m^{\alpha\gamma+1} \log(n)}{n^{\gamma/2}} + \Delta_n^2 \right) \end{aligned} $$

where the numerical constant $\gamma$ can take any value of the interval $(1, +\infty)$, with $\alpha = 2$ and $\alpha' = 1$ for the collection $[\text{B}]$, $\alpha = (r + r')/2$ and $\alpha' = r$ for the collection $[\text{CS} - \text{OB}]$. The constant $C > 0$ depends on $\sigma_1$ and the constant $C' > 0$ depends on $\sigma_1, \tau_0$ and $\tau_1$.

We observe that the upper-bound of the risk of estimation of $\hat{\sigma}_m^2$ is composed of the bias term, which quantifies the cost of approximation of $\sigma_{|I}^2$ in the constrained space $S_{m,L}$, the estimation error $O(m^{\alpha'/n})$ and the cost of the time discretization $O(\Delta_n^2)$ are established on a random event in which the pseudo-norms $\|\cdot\|_{n,1}$ and $\|\cdot\|_X$ are equivalent, and whose probability of the complementary times $\|\hat{\sigma}_m^2 - \sigma_{|I}^2\|_{\infty}^2$ is bounded by the term $O\left(\frac{m^{\alpha\gamma+1} \log(n)}{n^{\gamma/2}}\right)$ (see Lemma 2.9.6 and proof of Theorem 2.3.2).

Note that for the two collections $[\text{B}]$ and $[\text{F}]$, we have $\alpha = 2$, and $\alpha' = 1$. The next result proves that for the collections $[\text{B}]$ and $[\text{F}]$, the risk of estimation can reach a rate of convergence of the same order as the rate established in [61] if the parameter $\gamma > 1$ is chosen such that the term $O(m^{2\gamma+1} \log(n)/n^{\gamma/2})$ is negligible with respect to the estimation error of order $m/n$. Let us also note that the risk $\|\hat{\sigma}_m^2 - \sigma_{|I}^2\|_n^2$ is random since

$$ \|\hat{\sigma}_m^2 - \sigma_{|I}^2\|_n^2 = \mathbb{E}_X \left[ \frac{1}{n} \sum_{k=0}^{n-1} (\hat{\sigma}_m^2 - \sigma_{|I}^2)(X_{k\Delta}) \right] $$

and the estimator $\hat{\sigma}_m^2$ is built from an independent copy $\bar{X}^1$ of the discrete times process $\bar{X}$. Thus, the expectation $\mathbb{E}$ relates to the estimator $\hat{\sigma}_m^2$.

**Corollary 2.3.3.** Suppose that $\sigma^2 \in \Sigma_I(\beta, R)$ with $\beta > 3/2$, and $\gamma = 4(2\beta + 1)/(2\beta - 3)$. Assume that $K_{\text{opt}} \propto n^{1/(2\beta+1)}$ for $[\text{B}]$ ($m_{\text{opt}} = K_{\text{opt}} + M$), $m_{\text{opt}} \propto n^{1/(2\beta+1)}$ for $[\text{F}]$, and $n \to \infty$. Under Assumptions 2.2.1, it holds,

$$ \begin{aligned} \mathbb{E} \left[ \left\| \hat{\sigma}_{m_{\text{opt}}}^2 - \sigma_{|I}^2 \right\|_{n,1}^2 \right] &= O \left( n^{-2\beta/(2\beta+1)} \right) \\ \mathbb{E} \left[ \left\| \hat{\sigma}_{m_{\text{opt}}}^2 - \sigma_{|I}^2 \right\|_n^2 \right] &= O \left( n^{-2\beta/(2\beta+1)} \right). \end{aligned} $$

Note that we obtain the exact same rates when considering the risk of $\hat{\sigma}_{m_{\text{opt}}}^2$ defined with the $L^2$-norm equivalent to the empirical norm $\|\cdot\|_n$. Moreover, these rates of convergence are of the same order as the optimal rate $n^{-s/(2s+1)}$ established in [61] over a Besov ball.

### 2.3.2 Non-adaptive estimation of the diffusion coefficient on non-compact interval

In this section, we propose a ridge estimator of $\sigma^2$ on a non-compact interval $I = \mathcal{I}$, built from one diffusion path. In this context, the main drawback is that the density function $f_n : x \mapsto \frac{1}{n} \sum_{k=0}^{n-1} p_X(k\Delta, x)$ is no longer lower bounded. Consequently, the empirical norm $\|\cdot\|_n$ is no longer equivalent to the $L^2$-norm $\|\cdot\|$ and the consistency of the estimation error is no longer ensured under the assumptions made in the previous sections. Consider the truncated estimator $\hat{\sigma}_{m,L}^2$ of $\sigma^2$ given by

$$ \hat{\sigma}_{m,L}^2(x) = \hat{\sigma}_m^2(x) \mathbb{1}_{\hat{\sigma}_m^2(x) \le \sqrt{L}} + \sqrt{L} \mathbb{1}_{\hat{\sigma}_m^2(x) > \sqrt{L}}. \quad (2.12) $$
For the specific case of approximation spaces spanned by bases of compactly supported functions, we proceed to the dilation of the bases and consider the following decomposition of the risk of the ridge estimator $\hat{\sigma}_{m,L}^2$:

$$ 
\begin{aligned}
\mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma_{\mathcal{I}}^2 \right\|_{n,1}^2 \right] &\le \mathbb{E} \left[ \left\| (\hat{\sigma}_{m,L}^2 - \sigma_{\mathcal{I}}^2) 1_{[-\log(n), \log(n)]} \right\|_{n,1}^2 \right] + \mathbb{E} \left[ \left\| (\hat{\sigma}_{m,L}^2 - \sigma_{\mathcal{I}}^2) 1_{[-\log(n), \log(n)]^c} \right\|_{n,1}^2 \right] \\
&\le \mathbb{E} \left[ \left\| (\hat{\sigma}_{m,L}^2 - \sigma_{\mathcal{I}}^2) 1_{[-\log(n), \log(n)]} \right\|_{n,1}^2 \right] + 4L \sup_{t \in [0,1]} \mathbb{P}(|X_t| > \log(n)).
\end{aligned}
$$

The first term on the r.h.s. is equivalent to the risk of a ridge estimator of $\sigma^2$ on the compact interval $[-\log(n), \log(n)]$. The second term on the r.h.s. is upper-bounded using Lemma 2.9.4. The estimation interval $\mathcal{I}$ is set to $\mathcal{I} = \mathbb{R}^+$ for the collection $[\mathbf{L}]$, and $\mathcal{I} = \mathbb{R}$ for the collection $[\mathbf{H}]$ and any chosen basis of compactly supported functions like those related to the collections $[\mathbf{B}]$ and $[\mathbf{F}]$, and in this case, $\sigma_{\mathcal{I}}^2 = \sigma^2$. We derive below, an upper-bound of the risk of estimation of $\hat{\sigma}_m^2$.

**Theorem 2.3.4.** Suppose that $L = \log^2(n)$ and $n \to \infty$. Under Assumption 2.2.1, it yields,

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma_{\mathcal{I}}^2 \right\|_{n,1}^2 \right] \le \inf_{h \in S_{m,L}} \|h - \sigma^2\|_n^2 + C \sqrt{\frac{m^q \log^2(n)}{n}} $$

where $C > 0$ is a constant, $q = 1$ for the collection $[\mathbf{B}]$, and $q = 2$ for the collection $[\mathbf{OB}]$.

We first remark that the upper-bound of the risk of the truncated estimator of $\sigma^2$ differs with respect to each of the chosen bases. This contrast comes from the fact that any orthonormal basis $\{\phi_\ell, \ell = 0, \dots, m-1\}$ and the spline basis $\{B_{\ell-M}, \ell = 0, \dots, m-1\}$ respectively satisfy

$$ \sum_{\ell=0}^{m-1} \phi_{\ell}(x) \le C_{\phi} m, \quad \text{and} \quad \sum_{\ell=0}^{m-1} B_{\ell-M}(x) = 1. $$

Secondly, the estimation error is not as fine as the one established in Theorem 2.3.2 where $\sigma^2$ is estimated on a compact interval. In fact, on the real line $\mathbb{R}$, the pseudo-norm $\|\cdot\|_X$ can no longer be equivalent to the $L^2$-norm since the transition density is not bounded from below on $\mathbb{R}$. Consequently, we cannot take advantage of the exact method used to establish the risk bound obtained in Theorem 2.3.2 which uses the equivalence relation between the pseudo-norms $\|\cdot\|_{n,1}$ and $\|\cdot\|_X$ on one side, and $\|\cdot\|_X$ and the $L^2$-norm $\|\cdot\|$ on the other side. Moreover, we can also notice that the term of order $1/n^2$ does not appear since it is dominated by the estimation error.

We obtain below rates of convergence of the ridge estimator of $\sigma^2$ for each of the collections $[\mathbf{B}]$ and $[\mathbf{F}]$.

**Corollary 2.3.5.** Suppose that $\sigma^2 \in \Sigma_I(\beta, R)$ with $\beta \ge 1$

**For [B].** Assume that $K \propto n^{1/(4\beta+1)}$ and $n \to \infty$. Under Assumptions 2.2.1, there exists a constant $C > 0$ depending on $\beta$ and $\sigma_1$ such that

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma^2 \right\|_{n,1}^2 \right] \le C \log^{2\beta}(n) n^{-2\beta/(4\beta+1)}. $$

**For [F].** Assume that $m \propto n^{1/2(2\beta+1)}$ and $n \to \infty$. Under Assumptions 2.2.1, it holds,

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma^2 \right\|_{n,1}^2 \right] \le C \log(n) n^{-\beta/(2\beta+1)} $$

where the constant $C > 0$ depends on $\beta$ and $\sigma_1$.

As we can remark, the obtained rates are slower than the ones established in Section 2.3.1 where $\sigma^2$ is estimated on a compact interval. This result is the immediate consequence of the result of Theorem 2.3.4. At this stage, we cannot position ourselves on the optimality or not of the obtained rates of convergence, as a lower-bound on the risk of estimation is not provided in this paper. The establishment of a lower-bound could be obtained by adapting the method provided in [61] to the case of a non-compactly supported diffusion coefficient. This study is beyond the scope of this paper, and will be subject to further investigations.
# 2.4 Estimation of the diffusion coefficient from repeated diffusion paths

We now focus on the estimation of the (square) of the diffusion coefficient from i.i.d. discrete observations of the diffusion process ($N \to \infty$).

### 2.4.1 Non-adaptive estimation of the diffusion coefficient on a compact interval

We study the rate of convergence of the ridge estimators $\hat{\sigma}_m^2$ of $\sigma_{|I|^2}$ from $D_{N,n}$ when $I$ is a compact interval. The next theorem gives an upper-bound of the risk of our estimators $\hat{\sigma}_m^2$, $m \in \mathcal{M}$.

**Theorem 2.4.1.** Suppose that $L = \log(Nn)$, $n, N \to \infty$ and $\mathcal{M} = \{1, \dots, \sqrt{\min(n, N)/\log(Nn)}\}$. Under Assumption 2.2.1 and for all $m \in \mathcal{M}$, there exist constants $C > 0$ and $C' > 0$ depending on $\sigma_1$ such that,

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_m^2 - \sigma_{|I|^2} \right\|_{n,N}^2 \right] \le 3 \inf_{h \in S_{m,L}} \left\| h - \sigma_{|I|^2} \right\|_n^2 + C \left( \frac{m}{Nn} + m \log(Nn) \exp \left( -C \sqrt{\min(n, N)} \right) + \Delta_n^2 \right) $$

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_m^2 - \sigma_{|I|^2} \right\|_n^2 \right] \le 34 \inf_{h \in S_{m,L}} \left\| h - \sigma_{|I|^2} \right\|_n^2 + C' \left( \frac{m}{Nn} + m \log(Nn) \exp \left( -C \sqrt{\min(n, N)} \right) + \Delta_n^2 \right). $$

Note that the result of Theorem 2.4.1 is independent of the choice of the basis that generates the approximation space $S_m$. The first term on the right-hand side represents the approximation error of the initial space, the second term $O(m/(Nn))$ is the estimation error, and the last term characterizes the cost of the time discretization. The third term on the right-hand side is negligible with respect to the estimation error, and is derived from the result of Lemma 2.9.8. Note that Theorem 2.4.1 does not extend Theorem 2.3.2 since Theorem 2.4.1, contrary to Theorem 2.3.2, holds for any compactly supported basis, takes advantage of the independence of the sample paths $\bar{X}^j$, $j = 1, \dots, N$, and requires the condition $m \le \sqrt{\min(n, N)/\log(Nn)}$ on the dimensions $m$ of the approximation spaces, which reduces the set of dimension $\mathcal{M}$ to the empty set $\emptyset$ for $N = 1$.

We derive below and from Theorem 2.4.1, some rates of convergence related to the collections $[\mathbf{B}]$ and $[\mathbf{F}]$.

**Corollary 2.4.2.** Suppose that $\sigma^2 \in \Sigma_I(\beta, R)$ with $\beta > 3/2$. Moreover, assume that $n \propto N$, $N \to \infty$, $K_{\text{opt}} \propto (Nn)^{1/(2\beta+1)}$ for $[\mathbf{B}]$ ($m_{\text{opt}} = K_{\text{opt}} + M$), and $m_{\text{opt}} \propto (Nn)^{1/(2\beta+1)}$ for $[\mathbf{F}]$. Under Assumptions 2.2.1, it holds,

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m_{\text{opt}}}^2 - \sigma_{|I|^2} \right\|_{n,N}^2 \right] = O \left( (Nn)^{-2\beta/(2\beta+1)} \right) $$

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m_{\text{opt}}}^2 - \sigma_{|I|^2} \right\|_n^2 \right] = O \left( (Nn)^{-2\beta/(2\beta+1)} \right). $$

The obtained result shows that the nonparametric estimators of $\sigma_{|I|^2}$ based on repeated observations of the diffusion process are more efficient when $N, n \to \infty$. Note that the same rate is obtained if the risk of $\hat{\sigma}_{m_{\text{opt}}}^2$ is defined with the $L^2$-norm $\|\cdot\|_n$ equivalent to the empirical norm $\|\cdot\|_n$.

The rate obtained in Corollary 2.4.2 is established for $\beta > 3/2$. If we consider for example the collection $[\mathbf{B}]$ and assume that $\beta \in [1, 3/2]$, then $K_{\text{opt}} \propto (Nn)^{1/(2\beta+1)}$ belongs to $\mathcal{M}$ for $n \propto \sqrt{N}/\log^4(N)$ and we have

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m_{\text{opt}}}^2 - \sigma_{|I|^2} \right\|_{n,N}^2 \right] O \left( (Nn)^{-2\beta/(2\beta+1)} + n^{-2} \right). $$

Under the condition $n \propto \sqrt{N}/\log^4(N)$, the obtained rate is of order $n^{-3\beta/(2\beta+1)}$ (up to a log-factor) which is equivalent to $N^{-3\beta/(2\beta+1)}$ (up to a log-factor).

It remains to prove the optimality of the obtained rate of convergence, especially when $N \propto n$. Unfortunately, the method proposed in [95] does not work for the establishment of a lower-bound of the risk of estimation of the diffusion coefficient. In fact, the third condition of Theorem 2.5 in [95] states that there exists a numerical constant $\alpha \in (0, 1/8)$ such that

$$ \frac{1}{M} \sum_{j=1}^{M} K(P_{0}^{\otimes N}, P_{j}^{\otimes N}) \le \alpha \log(M), $$
where $M$ is the number of hypotheses satisfying $M \ge 2^{m/8}$ with, in our framework, $m$ defined such that $m^{2\beta} \propto (Nn)^{2\beta/(2\beta+1)}$, and $K(P_j^{\otimes N}, P_0^{\otimes N})$ is the Kullback divergence between the two joint probability distributions $P_j^{\otimes N}$ and $P_0^{\otimes N}$ characterized by their respective diffusion coefficients $\sigma^{(j)}$ and $\sigma^{(0)}$. In our framework, the computation of the Kullback divergence is based on the ratio of their respective transition densities, and one obtains:

$$ \frac{1}{M} \sum_{j=1}^{M} K(P_0^{\otimes N}, P_j^{\otimes N}) = O(Nn). $$

Consequently, since $m$ is negligible with respect to $Nn$, it is not possible to satisfy this third condition using the inequality $M \ge 2^{m/8}$. A way to solve this problem may be to reconsider the construction of the set $\{\sigma^{(0)}, \dots, \sigma^{(M)}\}$ of hypotheses, and use the technique developed in [61]. This study is beyond the scope of this paper.

## 2.4.2 Non-adaptive estimation of the diffusion coefficient on a non-compact interval

Consider a ridge estimator of $\sigma^2$ on a non-compact interval $\mathcal{I}$ built from $N$ independent copies of the diffusion process $X$ observed in discrete times, where both $N$ and $n$ tend to infinity. For each $m \in \mathcal{M}$, we still denote by $\hat{\sigma}_m^2$ the ridge estimators of $\sigma^2$ and $\hat{\sigma}_{m,L}^2$ the truncated estimators of $\sigma^2$ given in Equation (2.12). We establish, through the following theorem, the first risk bound that highlights the main error terms.

**Theorem 2.4.3.** Suppose that $L = \log^2(Nn)$ and $N, n \to \infty$. Under Assumptions 2.2.1 and for any dimension $m \in \mathcal{M}$, the following holds:

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma_{\mathcal{I}}^2 \right\|_{n,N}^2 \right] \le 2 \inf_{h \in S_{m,L}} \|h - \sigma_{\mathcal{I}}^2\|_n^2 + C \left( \sqrt{\frac{m^q \log^2(Nn)}{Nn}} + \Delta_n^2 \right) $$

where $C > 0$ is a constant depending on the upper bound $\sigma_1$ of the diffusion coefficient. Moreover, $q = 1$ for the collection $[\mathbf{B}]$ and $q = 2$ for the collection $[\mathbf{OB}]$.

The result of Theorem 2.4.3 is clearly an extension of Theorem 2.3.4, it suffices to set $N = 1$ in Theorem 2.4.3 to obtain Theorem 2.3.4 with the same hypotheses. Moreover, the respective proofs of the two theorems are similar, the only difference being the number of sample paths.

If we consider the risk of $\hat{\sigma}_{m,L}^2$ using the empirical norm $\|\cdot\|_n$, then we obtain

$$ \mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma_{\mathcal{I}}^2 \right\|_n^2 \right] \le 2 \inf_{h \in S_{m,L}} \|h - \sigma_{\mathcal{I}}^2\|_n^2 + C \left( \sqrt{\frac{m^q \log^2(Nn)}{Nn}} + \frac{m^2 \log^3(Nn)}{N} + \Delta_n^2 \right) \quad (2.13) $$

The risk bound given in Equation (2.13) is a sum of four error terms. The first term is the approximation error linked to the choice of the basis, the second term is the estimation error given in Theorem 2.4.3, the third term $m^2 \log^3(N)/N$ comes from the relation linking the empirical norm $\|\cdot\|_n$ to the pseudo-norm $\|\cdot\|_{n,N}$ (see Lemma 2.9.7), and the last term is the cost of the time-discretization. In this case, Theorem 2.4.3 can no longer be an extension of Theorem 2.3.4 since the establishment of Equation (2.13), which is derived from Lemma 2.9.7, requires a large number $N > 1$ of independent sample paths (see [30], proof of Theorem 3.3).

We derive, in the next result, rates of convergence of the risk bound of the truncated ridge estimators $\hat{\sigma}_{m,L}^2$ based on the collections $[\mathbf{B}]$ and $[\mathbf{H}]$ respectively.

**Corollary 2.4.4.** Suppose that $\sigma^2 \in \Sigma_I(\beta, R)$ with $\beta \ge 1$, $N, n \to \infty$, $I = [-\log(N), \log(N)]$, and $K \propto (Nn)^{1/(4\beta+1)}$ for $[\mathbf{B}]$, and $\sigma^2 \in W_{f_n}^s(\mathbb{R}, R)$ with $s \ge 1$ and $m \propto (Nn)^{1/2(2s+1)}$ for $[\mathbf{H}]$. Under Assumption 2.2.1, the following holds:

$$ \text{For } [\mathbf{B}] \quad \mathbb{E} \left[ \left\| \hat{\sigma}_{m,L}^2 - \sigma^2 \right\|_{n,N}^2 \right] \le C \left( \log^{2\beta}(N) (Nn)^{-2\beta/(4\beta+1)} + \frac{1}{n^2} \right), $$
For $[\mathbf{H}] \mathbb{E} [\|\hat{\sigma}_{m,L}^2 - \sigma^2\|_{n,N}^2] \le C (\log^3(N)(Nn)^{-s/(2s+1)} + \frac{1}{n^2})$.

where $C > 0$ is a constant depending on $\beta$ and $\sigma_1$ for $[\mathbf{B}]$, or $s$ and $\sigma_1$ for $[\mathbf{H}]$.

The obtained rates are slower compared to the rates established in Section 2.4.1 for the estimation of $\sigma_{[I]}^2$ where the interval $I \subset \mathbb{R}$ is compact. In fact, the method used to establish the rates of Theorem 2.4.3 from which the rates of Corollary 2.4.4 are obtained, does not allow us to derive rates of order $(Nn)^{-\alpha/(2\alpha+1)}$ (up to a log-factor) with $\alpha \ge 1$ (e.g. $\alpha = \beta, s$). Finally, if we consider the risk defined with the empirical norm $\|\cdot\|_n$, then from Equation (2.13) with $n \propto N$ and assuming that $m \propto N^{1/4(s+1)}$ for $[\mathbf{H}]$ or $K \propto N^{1/4(\beta+1)}$ for $[\mathbf{B}]$, we obtain

$$[\mathbf{B}] : \mathbb{E} [\|\hat{\sigma}_{m,L}^2 - \sigma^2\|_n^2] \le C \log^{2\beta}(N)(Nn)^{-\beta/2(\beta+1)},$$

$$[\mathbf{H}] : \mathbb{E} [\|\hat{\sigma}_{m,L}^2 - \sigma^2\|_n^2] \le C \log^3(N)(Nn)^{-s/2(s+1)},$$

where $C > 0$ is a constant depending on $\sigma_1$ and on the smoothness parameter. We can see that the obtained rates are slower compared to the results of Corollary 2.4.4 for $n \propto N$. The deterioration of the rates comes from the additional term of order $m^2 \log^3(N)/N$ which is now regarded as the new estimation error since it dominates the other term in each case as $N \to \infty$.

Finally, the study of an optimal rate of convergence, which is beyond the scope of this paper, has to take into account the new problem related to the non-compact support of the square of the diffusion coefficient.

## 2.5 Non-adaptive estimation of the diffusion coefficient on a compact interval depending on the sample size

This section combines the two first Sections 4.1 and 4.2 focusing on the estimation of $\sigma^2$ on the compact interval $[-A_N, A_N]$ where $(A_N)$ is a strictly positive sequence such that $A_N \to \infty$ as $N \to \infty$. Consequently, we obtain that the estimation interval tends to $\mathbb{R}$ as the sample size $N$ tends to infinity. Define from the observations and for each dimension $m \in \mathcal{M}$, the following matrices:

$$\hat{\Psi}_m := \left( \frac{1}{Nn} \sum_{j=1}^{N} \sum_{k=0}^{n-1} \phi_{\ell}(X_{k\Delta}^j) \phi_{\ell'}(X_{k\Delta}^j) \right)_{0 \le \ell, \ell' \le m-1},$$

$$\Psi_m := \mathbb{E}(\hat{\Psi}_m) = \left( \mathbb{E} \left[ \frac{1}{n} \sum_{k=0}^{n-1} \phi_{\ell}(X_{k\Delta}) \phi_{\ell'}(X_{k\Delta}) \right] \right)_{0 \le \ell, \ell' \le m-1}. \quad (2.14)$$

These two matrices play an essential role in the construction of a consistent projection estimator of $\sigma^2$ over any approximation subspace $S_m$ spanned by the basis $(\phi_0, \dots, \phi_{m-1})$. Furthermore, for all $h = \sum_{\ell=0}^{m-1} a_\ell \phi_\ell \in S_m$, we have:

$$\|h\|_{n,N}^2 = {}^t \mathbf{a} \hat{\Psi}_m \mathbf{a}, \quad \|h\|_n^2 = \mathbb{E} (\|h\|_{n,N}^2) = {}^t \mathbf{a} \Psi_m \mathbf{a},$$

where $\mathbf{a} = (a_0, \dots, a_{m-1})$. The Gram matrix $\Psi_m$ is invertible under the spline basis (see [28]) and the Hermite basis (see [20]). We define for any invertible matrix $M$, the operator norm $\|M^{-1}\|_{\text{op}}$ of $M^{-1}$ given by $\|M^{-1}\|_{\text{op}} = 1/\inf\{\lambda_j\}$ where the $\lambda_j$ are eigenvalues of $M$.

For each dimension $m \in \mathcal{M}$, the matrices $\hat{\Psi}_m$ and $F_m$ satisfy:

$$\hat{\Psi}_m = {}^t \mathbf{F}_m \mathbf{F}_m.$$

Consider the ridge estimator $\hat{\sigma}_m^2$ of $\sigma_{A_N}^2 = \sigma^2 \mathbf{1}_{[-A_N, A_N]}$, with $m \in \mathcal{M}$ and $A_N \to \infty$ as $N \to \infty$. The estimator $\hat{\sigma}_m^2$ can reach a faster rate of convergence if the Gram matrix $\Psi_m$ given in Equation (2.14) satisfies the following condition,

$$\mathcal{L}(m) (\|\Psi_m^{-1}\|_{\text{op}} \vee 1) \le C \frac{N}{\log^2(N)}, \quad \text{where } \mathcal{L}(m) := \sup_{x \in \mathbb{R}} \sum_{\ell=0}^{m-1} \phi_{\ell}^2(x) < \infty \quad (2.15)$$
where $C > 0$ is a constant. In fact, the optimal rate of convergence is achieved on a random event $\Omega_{n,N,m}$ in which the two empirical norms $\|\cdot\|_{n,N}$ and $\|\cdot\|_{n}$ are equivalent (see [18], [30]). Then, Condition (2.15) is used to upper-bound $\mathbb{P}(\Omega_{n,N,m}^c)$ by a negligible term with respect to the considered rate (see [18]). Note that in Equation (2.15), the square on $\log(N)$ is justified by the fact that the value of constant $C > 0$ is unknown, and that the spline basis is not othonormal (see [28], proof of Lemma 7.8). The assumption of Equation (2.15) is also made in [18] on the operator norm of $\Psi_m^{-1}$ based on an orthonormal basis with the bound $cN/\log(N)$ where the value of $c$ is known, and chosen and such that the upper-bound of $\mathbb{P}(\Omega_{n,N,m}^c)$ is negligible with respect to the estimation error. In our framework, since the transition density is approximated by Gaussian densities, we derive the following result.

**Lemma 2.5.1.** Suppose that $n \propto N$, $N \to \infty$ and that the spline basis is constructed on the interval $[-A_N, A_N]$ with $A_N > 0$. Under Assumption 2.2.1, for all $m \in \mathcal{M}$ and for all $w \in \mathbb{R}^m$ such that $\|w\|_{2,m} = 1$, there exists a constant $C > 0$ such that

$$ \text{For [H]:} \quad w'\Psi_m w \ge \frac{C}{\log(N)} \exp\left(-\frac{3c_\sigma(4m+3)}{2(1-\log^{-1}(N))}\right), $$

$$ \text{For [B]:} \quad w'\Psi_m w \ge \frac{CA_N}{m \log(N)} \exp(-c_\sigma A_N^2), $$

where the constant $c_\sigma > 1$ that comes from the approximation of the transition density, depends on the diffusion coefficient $\sigma$.

The result of Lemma 2.5.1 implies for the Hermite basis that

$$ (\|\Psi_m^{-1}\|_{\text{op}} \vee 1) \le \frac{\log(N)}{C} \exp\left(\frac{3c_\sigma(4m+3)}{2(1-\log^{-1}(N))}\right) $$

where the upper-bound is an exponentially increasing sequence of $N$ since the dimension $m \in \mathcal{M}$ has a polynomial growth with respect to $N$. Thus, Condition (2.15) cannot be satisfied for the Hermite basis in our framework. Considering the spline basis, one has $\mathcal{L}(m) = \mathcal{L}(K+M) \le 1$ and there exists a constant $C > 0$ such that

$$ \|\Psi_m^{-1}\|_{\text{op}} \le C \frac{m \log(N)}{A_N} \exp(c_\sigma A_N^2). \quad (2.16) $$

For $K \propto (N^{2/(2\beta+1)}A_N)$, Condition (2.15) is satisfied if the estimation interval $[-A_N, A_N]$ is chosen such that $A_N = o(\sqrt{\log(N)})$. In the next theorem, we prove that the spline-based ridge estimator of $\sigma_{A_N}^2$ reaches a faster rate of convergence compared to the result of Corollary 4.4 for the collection [B].

**Theorem 2.5.2.** Suppose that $N \propto n$, $N \to \infty$ and consider the ridge estimator $\hat{\sigma}_{A_N,m}^2$ of $\sigma_{A_N}^2$ based on the spline basis. Furthermore, suppose that $L = \log(N)$, $A_N = o(\sqrt{\log(N)})$ and $K \propto (Nn)^{1/(2\beta+1)}A_N$ ($m = K + M$). Under Assumptions 2.2.1 and for $\sigma^2 \in \Sigma_I(\beta, R)$ with $I = [-A_N, A_N]$, the following holds:

$$ \mathbb{E} \left[ \| \hat{\sigma}_{A_N, m}^2 - \sigma_{A_N}^2 \|_{n,N}^2 \right] \le C \log^\beta(N) (Nn)^{-2\beta/(2\beta+1)} $$

where $C > 0$ is a constant depending on $\beta$.

The above result shows that the risk of the ridge estimator of $\sigma_{A_N}^2$ on $[-A_N, A_N]$ reaches a rate of order $(Nn)^{-\beta/(2\beta+1)}$ (up to a log-factor) thanks to Condition (2.15) which allows us to take advantage of the equivalence relation between the empirical norms $\|\cdot\|_n$ and $\|\cdot\|_{n,N}$ given in Equation (2.2) to derive a finer estimation error (see proof of Theorem 2.5.2). Note that the obtained result depends on an appropriate choice of the estimation interval $[-A_N, A_N]$ which tends to $\mathbb{R}$ as $N$ tends to infinity. Therefore, based on the result of Lemma 2.5.1 any choice of $A_N$ such that $A_N/\sqrt{\log(N)} \to +\infty$ cannot lead to a consistent estimation error since Equation (2.15) is no longer satisfied for the upper-bounding of $\mathbb{P}(\Omega_{n,N,m}^c)$ by a term that tends to zero as $N \to \infty$. Thus, from Equation (2.16) derived