GÉRARD BEN AROUS

MIHAI GRADINARU

# Singularités des fonctions de Green hypoelliptiques

*Annales mathématiques Blaise Pascal, tome 3, n° 1 (1996), p. 23-32*

<http://www.numdam.org/item?id=AMBP_1996_3_1_23_0>

© Annales mathématiques Blaise Pascal, 1996, tous droits réservés.

L'accès aux archives de la revue « Annales mathématiques Blaise Pascal » (http://math.univ-bpclermont.fr/ambp/) implique l'accord avec les conditions générales d'utilisation (http://www.numdam.org/legal.php). Toute utilisation commerciale ou impression systématique est constitutive d'une infraction pénale. Toute copie ou impression de ce fichier doit contenir la présente mention de copyright.

NUMDAM

Article numérisé dans le cadre du programme
Numérisation de documents anciens mathématiques
http://www.numdam.org/
# SINGULARITÉS DES FONCTIONS DE GREEN HYPOELLIPTIQUES *

Gérard Ben Arous et Mihai Gradinaru

À la mémoire d'Albert Badrikian

Résumé. Ce travail contient une description précise de la singularité près de la diagonale de la fonction de Green associée à un opérateur hypoelliptique, par une approche probabiliste. On donne des exemples et des applications à la théorie du potentiel.

*Abstract.* This paper is devoted to a precise description of the singularity near the diagonal of the Green function associated to a hypoelliptic operator using a probabilistic approach. Examples and some applications to potential theory are given.

Soient $X_0, X_1, \dots, X_m$ des champs de vecteurs sur $\mathbb{R}^d$, $d \ge 3$, de classe $C^\infty$. Nous supposerons que l'algèbre de Lie engendrée par les champs $X_1, \dots, X_m$ est de rang plein en tout point:

$$ (1) \qquad \forall x \in \mathbb{R}^d, \dim \mathrm{Lie}(X_1, \dots, X_m)(x) = d. $$

Cette hypothèse assure l'hypoellipticité de l'opérateur $L = \frac{1}{2} \sum_{j=1}^{m} X_j^2 + X_0$. Les opérateurs de cette forme ont été introduits et étudiés par Hörmander [H] en 1967, sous l'hypothèse que $X_0, \dots, X_m$, avec leurs crochets de longueur au plus r engendrent $\mathbb{R}^d$ en tout point. (1) est l'hypothèse d'Hörmander forte.

Nous noterons par $G(x, y)$ la solution fondamentale de $L$ sur $\Omega$. $G$ est la fonction de Green de $L$ sur $\Omega$, et, par l'hypothèse (1), on sait que $G$ est $C^\infty$ hors de la diagonale. Ce travail contient une description précise de la singularité de la fonction de Green, par une approche probabiliste.

Il y a très peu de situations où la fonction de Green hypoelliptique est connue explicitement. Ainsi, en 1973 Folland [Fo], p. 375, (voir aussi Folland et Stein [Fo-S], p. 440) indique l'expression exacte de $G$ sur l'espace entier, pour le cas du groupe d'Heisenberg $H_{2n+1}$. En 1990 Greiner [Gr2], p. 136, donne la formule de $G$ dans un cas légèrement modifié. Récemment, Beals, Gaveau et Greiner [B-Gav-Gr] ont fait un calcul dans une situation plus générale. Dans tous ces cas, la longueur maximale des crochets de champs de vecteurs utilisés

<footnote>*Nous remercions les organisateurs du colloque "Albert Badrikian" de nous avoir permis de publier cet exposé de synthèse, fait par le second auteur, sur ce qui constitue l'essentiel du papier [BA-G].</footnote>
pour engendrer l'espace est deux. On connaît un cas où on utilise les crochets de longueur quatre: il s'agit d'un opérateur sur $\mathbb{R}^3$ qui parait de l'étude de la frontière du complexe de Cauchy-Riemann. La fonction de Green a été trouvée en 1979 par Greiner [Gr1], p. 1108.

Faute d'expression exacte de la fonction de Green, on peut se contenter de connaître le comportement asymptotique sur la diagonale, dont l'intérêt a été souligné, en 1986, par Jerison et Sánchez-Calle [J-Sa], p. 51.

Auparavant, Nagel, Stein et Wainger [N-S-W], p. 114, et Sánchez-Calle [Sa], p. 143, ont obtenu des majorations de la fonction de Green et de ses dérivées. Ils ont utilisé une notion fondamentale de distance, associée à L. Leurs bornes n'impliquent pas la distance sous-riemannienne seule, mais aussi le volume des boules construites avec cette distance:

$$|G(x, y)| \le c \frac{\rho(x, y)^2}{\mathrm{vol}(B_{\rho}(x, \rho(x, y)))}.$$

Dans le cas auto-adjoint on obtient aussi des minorations de même type (voir Fefferman et Sánchez-Calle [Fe-Sa], p. 248). Cela prouve qu'il s'agit du bon ordre de grandeur (voir Jerison et Sánchez-Calle [J-Sa], p. 51).

De point de vue probabiliste, G est la densité de la mesure d'occupation de la diffusion ($x_t$) associée à L. Précisément, soit ($B^1, \dots, B^m$) un mouvement brownien $m$-dimensionel. Alors, ($x_t$) est la solution de l'équation de Stratonovich

$$(2) \qquad dx_t = \sum_{j=1}^{m} X_j(x_t) \circ dB_t^j + X_0(x_t)dt, x_0 = x,$$

tuée au premier temps de sortie de $\Omega$, $\tau = \inf\{t > 0 : x_t \notin \Omega\}$. La loi de $x_t$ a, sur $\Omega$, une densité par rapport à la mesure de Lebesgue, $p_t^\Omega(x, y)$, le noyau de la chaleur associé à L. La fonction de Green (probabiliste) s'écrit alors

$$(3) \qquad G(x, y) = \int_{0}^{\infty} p_{t}^{\Omega}(x, y)dt, x, y \in \Omega,$$

et, quelque soit la fonction positive mesurable, $f$,

$$(4) \qquad E_x \int_0^\tau f(x_t)dt = \int_\Omega f(y)G(x, y)dy.$$

À l'aide de cette interprétation probabiliste, Gaveau [Gav], p. 101, retrouve en 1977 le résultat de Folland [Fo]. Par la formule de P. Lévy pour l'aire stochastique, on peut calculer la transformée de Fourier du noyau de la chaleur. Par inversion de Fourier et en intégrant ensuite en $t$ on déduit l'expression de $G$. Gaveau [Gav] donne aussi une formule de la transformée de Fourier du noyau de la chaleur sur un groupe nilpotent libre de pas deux. On pourrait essayer de trouver $G$, mais déjà pour le cas de $H_{2n+1}$, $n \ge 2$, le calcul devient difficile. Pour les cas de pas plus grand que deux, on devrait disposer des lois d'intégrales stochastiques triples. Il n'y a pas de calcul de loi à notre connaissance.
En 1989, Chaleyat-Maurel et Le Gall [CM-LG] ont considéré la situation suivante: soient les champs de vecteurs $X_1, X_2$ sur $\mathbb{R}^3$, tels que pour tout $x \in \Omega$, $X_1(x), X_2(x)$ et $[X_1, X_2](x)$ engendrent $\mathbb{R}^3$. On décrit le comportement de $G(x, y)$, lorsque $\|y - x\|$ est petite. On prouve qu'il existe une constante positive, $c_x$, telle que

$$ \lim_{\epsilon \downarrow 0} \sup_{\|y-x\|<\epsilon} |G(x, y) d(x, y)^2 - c_x| = 0. $$

Ici, $d(x, y)$ est une pseudo-distance localement équivalente à la distance sous-riemannienne. D'abord, on obtient des estimations (locale) de la fonction de Green qui font intervenir la pseudo-distance seule. Ensuite, l'idée est de comparer la diffusion engendrée par $X_1, X_2$ à la diffusion invariante sur $H_3$, dont on connaît la fonction de Green (Folland [Fo] ou Gaveau [Gav]).

La comparaison est faite en utilisant le développement de Taylor stochastique. Cette idée a l'origine dans les travaux de Azencott [A] et de [BA1]. La forme finale a été donnée par Castell [Ca], travail où on apprend comment développer explicitement les flots stochastiques. Ces techniques, combinées avec d'autres méthodes ont été appliquées pour l'étude du noyau de la chaleur par [BA2], Léandre [Le], lorsque il n'y a pas de drift, et par Ben Arous et Léandre [BA-Le] pour le cas où $X_0 \neq 0$.

Dans ce travail nous avons suivi et étendu la stratégie donnée par Chaleyat-Maurel et Le Gall [CM-LG], au cas des champs de vecteurs réguliers $X_1, \dots, X_m$ sur $\mathbb{R}^d$, $d \ge 3$, satisfaisant l'hypothèse (1).

Pour énoncer le résultat central nous allons introduire quelques notations. Pour un multi-indice $J = (j_1, \dots, j_p) \in \{1, \dots, m\}^p$, de longueur $|J| = p$, on notera $X^J = [X_{j_1}, [X_{j_2}, \dots, [X_{j_{p-1}}, X_{j_p}] \dots]]$, le crochet de Lie des champs $X_{j_1}, \dots, X_{j_p}$. Pour tout $x \in \mathbb{R}^d$, on considère le pas

$$ r(x) = \inf\{k : \dim C_k(x) = d\}, \text{ où } C_k(x) = \text{Vect}\{X^J(x), |J| \le k\}. $$

Nous noterons par $Q(x)$, la dimension graduée en $x$:

$$ (5) \qquad Q(x) = \sum_{k=1}^{r(x)} k (\dim C_k(x) - \dim C_{k-1}(x)). $$

Nous allons supposer que la géométrie des crochets est localement constante au voisinage de $x$, c'est à dire que pour tout $k \in \mathbb{N}^*$ et tout $y$ dans un voisinage $A(x)$ de $x$, $\dim C_k(y) = \dim C_k(x)$. Sur ce voisinage, $r(y)$ et $Q(y)$ sont constantes, $r$ et $Q$. Nous supposerons que $Q \ge 4$. Dans le cas de Chaleyat-Maurel et Le Gall [CM-LG] la dimension graduée est quatre, constante sur tout $\Omega$.

Nous allons introduire à présent une norme localement homogène. Pour cela on utilise une "bonne" carte en $x \in \Omega$ (voir aussi [BA2], p. 81). Soit $B = \{J_1, \dots, J_d\}$, une famille de multi-indices telle que $\{X^J(x) : J \in B\}$ est une base triangulaire. C'est à dire, pour tout $k \le r$, $\{X^J(x) : J \in B, |J| \le k\}$
engendre $C_k(x)$. Il existe un voisinage $W$ de 0, tel que, l'application

$$u \mapsto \varphi_x(u) = \exp \left( \sum_{j=1}^{d} u_j X^{J_j} \right) (x)$$

définisse un difféomorphisme de $W$ sur son image $\varphi_x(W)$. Il existe un voisinage $U$ de $x$ tel que $U \subset \varphi_x(W) \cap A(x)$. On note $|J_j| = l_j, j = 1, \dots, d$.
Alors, $y \in U$, $y = \varphi_x(u)$, a la norme en $x$:

$$(6) \qquad |y|_x = \left[ \sum_{k=1}^{r} \left( \sum_{j,l_j=k} u_j^2 \right)^{\frac{c}{2k}} \right]^{\frac{1}{2k}},$$

équivalente à la pseudo-distance utilisée par Chaleyat-Maurel et Le Gall [CM-LG].
Nous démontrons que l'estimation de Nagel, Stein et Wainger [N-S-W] s'écrit:

$$(7) \qquad |G(x, y)| \le \frac{c}{|y|_x^{Q-2}}.$$

Notre résultat central est le suivant: il existe une fonction régulière $\Phi_x > 0$, qu'on va décrire plus bas, telle que

$$(8) \qquad \lim_{\epsilon \downarrow 0} \sup_{\|x-y\|<\epsilon} |G(x, y) |y|_x^{Q-2} - \Phi_x(\theta_x(y))| = 0,$$

où la variable angulaire homogène, $\theta_x(y)$, est définie par:

$$(9) \qquad \theta_x(y) = \left( \frac{u_1}{|y|_x^{l_1}}, \dots, \frac{u_d}{|y|_x^{l_d}} \right), \quad y = \varphi_x(u) \in U \setminus \{x\}.$$

Dans le cas du groupe d'Heisenberg ou dans celui de Chaleyat-Maurel et Le Gall [CM-LG], $\Phi_x$ est une constante. Par (8) et (9) on voit que, en général, la limite $\lim_{y \to x} G(x, y) |y|_x^{Q-2}$ n'existe pas; elle existe seulement d'une façon radiale, à savoir, lorsque $y$ s'approche de $x$ tel que la variable angulaire $\theta_x(y)$ a une limite. Il s'agit d'un comportement différent par rapport à la situation elliptique, à celle du groupe d'Heisenberg ou à celle étudiée par Chaleyat-Maurel et Le Gall [CM-LG].

Nous allons décrire le nouveau coefficient géométrique, $\Phi_x$, en termes de la densité d'occupation d'un processus qu'on appellera processus tangent.

Pour introduire ce processus nous allons rappeler encore quelques notations (voir aussi Castell [Ca], 227). Pour un multi-indice $J$, on note par $B_J^I$ l'intégrale stochastique itérée de Stratonovich,

$$B_J^I = \int_{0<t_1<\dots<t_p<t} dB_{t_1}^{I_1} \circ \dots \circ dB_{t_p}^{I_p}$$
et par $c_i^J$, une combinaison linéaire explicite d'intégrales itérées,

$$c_i^J = \sum_{\tau \in \sigma_{|J|}} \frac{(-1)^{e(\tau)}}{|J|^2 \left( \frac{|J|-1}{e(\tau)} \right) B_i^{J_0 \tau^{-1}}.$$

Ici, pour une permutation $\tau \in \sigma_p$, d'ordre $p$, on a noté $e(\tau)$ le nombre d'erreurs dans l'ordre de $\tau(1), \dots, \tau(p)$, et $J \circ \tau = (j_{\tau(1)}, \dots, j_{\tau(p)})$.

Puisque $\{X^J(y) : J \in B\}$ est une base triangulaire pour $y$ proche de $x$, quelque soit le multi-indice $L$, il existe des fonctions $C^\infty$, définies au voisinage de $x$, $(a_j^L)_{j \in B}$, telles que

$$X^L = \sum_{J \in B} a_j^L X^J.$$

Alors, le processus tangent est défini par:

$$(10) \qquad u_i^{(x)} = \left( \sum_{L, |L|=|J|} a_j^L(x) c_i^L \right)_{J \in B}.$$

Ce processus est en général non-markovien. Comment peut-on alors étudier sa densité d'occupation? Sa loi, a-t-elle une densité, par rapport à la mesure de Lebesgue? Pour répondre à ces questions, nous montrons qu'on peut regarder ce processus, comme la projection de la diffusion invariante sur un groupe de Lie nilpotent:

$$(11) \qquad u_i^{(x)} = \pi_x(G_i).$$

Ici, $(G_i)$ est la diffusion invariante sur le groupe de Lie nilpotent $\mathcal{N}(m, r)$ associé à $g(m, r)$, l'algèbre de Lie libre nilpotente de pas $r$ à $m$ générateurs $Y_1, \dots, Y_m$. Précisément, si $e$ est l'élément unité du groupe, alors

$$dG_i = \sum_{j=1}^{m} Y_j(G_i) \circ dB_i^j, \quad G_0 = e.$$

Cette diffusion a la fonction de Green, $G^{(N)}$, strictement positive.

En utilisant (11), on montre que la matrice de Malliavin de $u_i^{(x)}$, $t > 0$, est non-dégénérée. Alors, sa loi admet une densité regulière par rapport à la mesure de Lebesgue, $q_i^{(x)}(0, u)$. On note, pour $u \in \mathbb{R}^d \setminus \{0\}$,

$$(12) \qquad g^{(x)}(0, u) = \int_0^\infty q_i^{(x)}(0, u) dt,$$

la densité d'occupation du processus $(u_i^{(x)})$. On se sert de cette interprétation, pour écrire cette fonction régulière, comme l'intégrale de $G^{(N)}$ sur une fibre de la projection $\pi_x$ et on déduit que $g^{(x)}$ est strictement positive.
Si on note $J_x = |\det(X^{J_1}(x), \dots, X^{J_d}(x))|$, la fonction $\Phi_x$ est définie par:

$$ (13) \qquad \Phi_x(\theta) = \frac{1}{J_x} g^{(x)}(0, \theta), \theta \in \mathbb{R}^d \setminus \{0\}. $$

On peut comparer notre résultat (8), au résultat de comportement du noyau de la chaleur sur la diagonale:

$$ p_i^{\Omega}(x, x) \sim \frac{c_0(x)}{\sqrt{t}^Q}. $$

$c_0(x)$ est la densité de la loi de $(u_i^{(x)})$, prise au temps 1, $q_i^{(x)}(0, 0)$ (voir [BA2], p. 97).

La démonstration de (8) repose sur le développement de Taylor stochastique et sur les estimations à priori de la fonction de Green et de ses dérivées.

La diffusion associée à $L$, en temps petit, a la même loi que la solution $(x_i^\epsilon)$ de

$$ dx_i^\epsilon = \epsilon \sum_{j=1}^{m} X_j(x_i^\epsilon) \circ dB_i^j, x_0^\epsilon = x (\epsilon > 0), $$

tuée au premier instant de sortie de $\Omega$, $\tau_\epsilon = \tau/\epsilon^2$. On ramène cette diffusion dans la "bonne" échelle:

$$ v_i^{(\epsilon, x)} = (T_\epsilon \circ \varphi_x^{-1})(x_i^\epsilon), t < \tau_\epsilon, $$

où $T_\lambda, \lambda > 0$, est la dilatation sur $\mathbb{R}^d$, $T_\lambda(u) = (\lambda^{l_1} u_1, \dots, \lambda^{l_d} u_d)$.

En utilisant le développement de Taylor stochastique on compare le processus tangent et la diffusion $(v_i^{(\epsilon, x)})$. Si $f$ est une fonction lipschitzienne bornée et $T > 0$, alors, pour $\epsilon > 0$ suffisamment petit, il existe une constante $c > 0$, telle que

$$ \left| E_0 \left( \mathbb{I}_{(T<\tau_\epsilon)} \int_0^T f(v_i^{(\epsilon,x)}) dt \right) - E_0 \int_0^T f(u_i^{(x)}) dt \right| \le c \|f\|_{\text{Lip}} T \epsilon. $$

Par l'estimation à priori (7), on vérifie que $G$ est localement intégrable. On démontre ensuite que, si $f$ est une fonction continue, bornée par 1, à support dans une boule $B(0, \rho)$, alors

$$ \lim_{\epsilon \downarrow 0, T \uparrow \infty} E_0 \left( \mathbb{I}_{(T<\tau_\epsilon)} \int_T^{\tau_\epsilon} f(v_i^{(\epsilon,x)}) dt \right) = 0. $$

En utilisant encore l'estimation à priori dans le cadre nilpotent, ainsi qu'un autre résultat d'intégrabilité, on déduit que le temps passé par $(u_i^{(x)})$ dans la boule $B(0, \rho)$ est fini. D'où, si $f$ est une fonction continue, bornée par 1, à support dans $B(0, \rho)$, alors,

$$ \lim_{T \uparrow \infty} E_0 \int_T^{\infty} f(u_i^{(x)}) dt = 0. $$
De cette façon, on obtient le plus important pas de la démonstration :

$$ \lim_{\epsilon \downarrow 0} \sup_{u \in \mathcal{H}} |G^{(\epsilon, x)}(0, u) - g^{(x)}(0, u)| = 0. $$

Ici $G^{(\epsilon, x)}$ est la fonction de Green de $(v_i^{(\epsilon, x)})$ et $H \subset \mathbb{R}^d \setminus \{0\}$. Pour cela, on se sert aussi des estimations des dérivées de $G$,

$$ |X_{i_1} \dots X_{i_q} G(x, y)| \le \frac{c}{|y|^{Q-2+q}}, \quad y \ne x \text{ proches.} $$

Enfin, pour conclure, on utilise les égalités :

$$ \begin{aligned} G^{(\epsilon, x)}(0, (T_{\frac{1}{2}} \circ \varphi_x^{-1}) (y)) &= J_x \epsilon^{Q-2} G(x, y), \\ g^{(x)}(0, T_{\frac{1}{2}}(u)) &= \epsilon^{Q-2} g^{(x)}(0, u). \end{aligned} $$

On doit remarquer qu’en général il n’est pas facile de calculer $\Phi_x$. Sa valeur peut être calculée dans certains cas, par exemple sur le groupe d’Heisenberg. Nous donnons des exemples, pour illustrer le résultat, par des calculs explicites (voir aussi [G]).

Le premier exemple consiste à généraliser la situation considérée par Chaleyat-Maurel et Le Gall [CM-LG] sur $\mathbb{R}^{2n+1}$. L’espace est engendré en tout point par $X_1, \dots, X_{2n}$ et le seul crochet non-nul

$$ [X_1, X_2] = [X_{2k-1}, X_{2k}], \quad k = 1, \dots, n. $$

On calcule $\Phi_x$ grâce au résultat de Folland [Fo]. $\Phi_x$ a une forme simple, mais elle est loin d’être constante, ainsi qu’elle est dans le cas $n=1$.

On complique ensuite les relations entre crochets :

$$ [X_{2k-1}, X_{2k}] = a_k[X_1, X_2], \quad a_k \in \mathbb{R}^*, \quad k = 1, \dots, n. $$

En utilisant le "cas modèle" de Greiner [Gr2] à la place du cas d'Heisenberg on trouve $\Phi_x$. On pourrait écrire des formules similaires en utilisant les résultats de Beals, Gaveau et Greiner [B-Gav-Gr].

On considère ensuite un exemple qui vient de l’analyse complexe et où le pas est plus grand que deux. Soit le champ de vecteurs holomorphe,

$$ Z = \frac{\partial}{\partial z} + i p z^{p-1} \bar{z}^p \frac{\partial}{\partial x_3}, \quad z = x_1 + i x_2, \quad p \in \mathbb{N}^*. $$

On considère l’opérateur de type $\square_b$ (voir Greiner et Stein [Gr-S]):

$$ L = Z\bar{Z} + \bar{Z}Z = \frac{1}{2}(X_1^2 + X_2^2), \quad Z = \frac{1}{2}X_1 - \frac{i}{2}X_2. $$

Il est facile à voir que pour $p=1$ on obtient le cas d'Heisenberg. Pour $p>1$ il n'y a pas de structure de groupe de Lie sur $\mathbb{R}^3$, par rapport à laquelle $Z$ soit invariant. Greiner [Gr1] a étudié le cas $p=2$.
Soit $p > 1$ arbitraire. L'opérateur $L$ est hypoelliptique sur tout $\mathbb{R}^3$. Hors de l'axe $\{x_1 = x_2 = 0\}$, $X_1(x)$, $X_2(x)$ et $[X_1, X_2](x)$ engendrent $\mathbb{R}^3$ et on est dans la situation traitée par Chaleyat-Maurel et Le Gall [CM-LG]. Pour des points sur l'axe on a besoin d'aller jusqu'aux crochets de l'ordre $2p$ pour engendrer $\mathbb{R}^3$. La dimension graduée dans un tel point est $2p + 2$. On constate que, autour de ces points, la géométrie des crochets n'est pas localement constante, donc on ne peut pas appliquer (8). Pourtant, on calcule la fonction de Green de pôle $(0, 0, x_3)$:

$$ (14) \qquad G((0, 0, x_3), (y_1, y_2, y_3)) = \frac{1/(4p\pi)}{\sqrt{(y_1^2 + y_2^2)^{2p} + (y_3 - x_3)^2}} $$

Le calcul de $G$ de pôle arbitraire semble plus difficile. On peut utiliser (14) pour étudier la loi d'une fonctionnelle d'un mouvement brownien plan (voir [G], p. 79).

Enfin, on considère le cas de l'opérateur de Grushin sur $\mathbb{R}^2$, $L = \frac{1}{2}(\partial_{x_1}^2 + x_1^2\partial_{x_2}^2)$, qui est hypoelliptique sur l'axe $\{x_1 = 0\}$. On calcule la fonction de Green de pôle $(0, 0)$, en partant de la diffusion associée à $L$. Le résultat obtenu est de même nature. Pourtant, dans ce cas, plusieurs de nos hypothèses cessent d'être vraies: $d = 2$, cas où l'estimation à priori (7) n'est plus valide, la géométrie des crochets n'est pas localement constante autour des points de l'axe $\{x_1 = 0\}$ et, enfin, la dimension graduée dans un tel point est trois.

Une extension possible serait de supposer $X_0 \neq 0$. Si $X_0$ peut s'écrire

$$ (15) \qquad X_0 = \sum_{j=1}^{m} f_j X_j + \sum_{j,k} f_{j,k} [X_j, X_k], $$

où les fonctions $f_j$, $f_{j,k}$ sont $C^\infty$ au voisinage de $x$, alors le résultat sur le comportement du noyau de la chaleur sur la diagonale reste valide (voir Ben Arous et Léandre [BA-Le], p. 378). De même, l'estimation à priori reste vraie (voir Nagel, Stein et Wainger [N-S-W], p. 107). Le résultat de Chaleyat-Maurel et Le Gall [CM-LG] a été prouvé sous la même hypothèse. Il est très plausible que le résultat (8) reste vrai en dimension $d$, sous l'hypothèse forte d'Hörmander et avec le drift de la forme (15).

Par ailleurs, on sait que, pour le comportement du noyau de la chaleur sur la diagonale en présence d'un drift, on peut avoir des phénomène surprenants. Il s'agit du cas où $X_0(x) \notin C_2(x)$ ou même dans des cas encore plus délicats où $X_0(x) \in C_2(x)$, mais ne peut s'écrire sous la forme (15) (voir [BA-Le]).

On peut donner un exemple où la fonction de Green se comporte très différem-
ment sur la diagonale. Dans le cas du groupe nilpotent $\mathcal{N}(m, r)$ on suppose que
le drift se trouve dans le centre de l'algèbre de Lie. Alors, lorsqu'on s'approche
de la diagonale par la direction opposée au drift, la fonction de Green reste
bornée (voir [G] p. 76).

Le résultat de comportement de la fonction de Green sur la diagonale s'appli-
que à la théorie du potentiel et à l'étude de la trajectoire de la diffusion associée.
Ainsi, Sznitmann [Sz] en 1987, après avoir étudié la fonction de Green ellip-
tique, analyse le volume de la saucisse de Wiener de petit rayon associée à ($x_t$). Chaleyat-Maurel et Le Gall [CM-LG] menent le même travail pour certaines diffusions dégénérées. Ils obtiennent des résultats sur la capacité et la probabilité d'atteinte des ensembles petits compacts, sur le volume de la saucisse de Wiener, ainsi que certaines propriétés trajectorielles.

Nous décrivons aussi des applications de (8). D'abord on étudie le comportement de la capacité des petits compacts. Pour un $\lambda > 0$ suffisamment grand, soit $(x^{(\lambda)})$ la diffusion tuée au temps $\xi$ exponentiel indépendant, de paramètre $\lambda$. Soit un compact $H \subset \Omega$. La $\lambda$-capacité de $H$, $c_\lambda(H)$, est la masse totale de la mesure d'équilibre $\mu_H^{(\lambda)}$ de $H$, à savoir, de l'unique mesure supportée par $H$, telle que

$$P_x(T_H^{(\lambda)} < \infty) = G_\lambda \mu_H^{(\lambda)}(x) = \int_{\mathbb{R}^d} G_\lambda(x, y) \mu_H^{(\lambda)}(dy).$$

Ici, on a noté $T_H^{(\lambda)} = \inf\{t > 0 : x_t^{(\lambda)} \in H\}$ et $G_\lambda(x, y) = \int_0^\infty e^{-\lambda t} p_t^\Omega(x, y)dt$, la fonction de Green de $(x_t^{(\lambda)})$. On peut démontrer qu'elle satisfait aussi (8).

Pour énoncer le résultat, on introduit quelques notations. Si $H$ est un compact de $\mathbb{R}^d$ qui contient $0$, alors sa dilatation naturelle est: $H_x^x = (\varphi_x \circ T_x)(H)$. On pose aussi $u_x^x = (\varphi_x \circ T_x)(u)$, pour $u \in \mathbb{R}^d$. On note, pour $u \neq v \in \mathbb{R}^d \setminus \{0\}$,

$$\lim_{\epsilon \downarrow 0} \frac{|v_x^x| u_x^x}{\epsilon} = \alpha(u, v) > 0, \lim_{\epsilon \downarrow 0} \theta_{u_x^x}(v_x^x) = \beta(u, v) \neq 0,$$

$$r_x(u, v) = \frac{\Phi_x(\beta(u, v))}{\alpha(u, v)^{Q(x)-2}}, \quad q_x(H) = \frac{m(H)}{\max_{u \in \partial H} \int_H r_x(u, v) dv}.$$

Alors, le résultat sur la capacité s'écrit:

$$(16) \qquad \lim_{\epsilon \downarrow 0} \frac{c_\lambda(H_x^x)}{\epsilon Q(x)-2} = q_x(H).$$

On pourrait étudier le même problème pour un compact dilaté d'une façon arbitraire, par exemple comme le fait Chaleyat-Maurel et Le Gall [CM-LG], avec la dilatation usuelle de $\mathbb{R}^d$, et pas avec la dilatation naturelle $T_x$.

Comme il a été affirmé par Chaleyat-Maurel et Le Gall [CM-LG], p. 222, dès qu'on dispose du résultat sur la capacité des petits compacts, on peut déduire d'autres propriétés trajectorielles. Les méthodes générales utilisées par Chaleyat-Maurel et Le Gall [CM-LG] §7 – 8 s'appliquent. Ainsi, on étend les résultats concernant la probabilité d'atteinte des petits compacts et la saucisse de Wiener de petit rayon associée à ($x_t$).

Pour démontrer la non-existence des points doubles de la trajectoire il suffit d'utiliser les estimations à priori (majoration et minoration) de la fonction de Green. Il est de même, pour vérifier le test de Wiener.

Bibliographie:

[A] Azencott, R.: Formule de Taylor stochastique et développements asymptotiques d'inté-
grales de Feynmann, Dans: Azéma, J., Yor, M. (eds.) Seminaire de Probabilités XVI. Supplément: Géométrie différentielle stochastique (Lect. Notes Math. vol. 921, pp. 237-284), Berlin Heidelberg New York: Springer 1982

.[BA1] Ben Arous, G.: Flots et séries de Taylor stochastiques, Probab. Th. Rel. Fields 31, pp. 29-77 (1989)

.[BA2] Ben Arous, G.: Développement asymptotique du noyau de la chaleur hypoelliptique sur la diagonale, Ann. Inst. Fourier 39, pp. 73-99 (1989)

.[BA-G] Ben Arous, G., Gradinaru, M.: Singularities of hypoelliptic Green functions, Preprint LMENS-95-19, soumis au "Potential Analysis", 1995

.[BA-Le] Ben Arous, G., Léandre, R.: Décroissance exponentielle du noyau de la chaleur sur la diagonale I,II, Probab. Th. Rel. Fields 90, pp. 175-202, 377-402 (1991)

.[B-Gav-Gr] Beals, R., Gaveau, B., Greiner, P.C.: Solution fondamentale pour des varietés de Cauchy-Riemann, Exposés au Seminaire d'Analyse, Institut "Henri Poincaré", 1993

.[Ca] Castell, F.: Asymptotic expansion of stochastic flows, Probab. Th. Rel. Fields 96, pp. 225-239 (1993)

.[CM-LG] Chaleyat-Maurel, M., Le Gall, J.-F.: Green function, capacity and sample paths properties for a class of hypoelliptic diffusions processes, Probab. Th. Rel. Fields 83, pp. 219-264 (1989)

.[Fo] Folland, G.B.: A fundamental solution for a subelliptic operator, Bull. Amer. Math. Soc. 79, pp. 373-376 (1973)

.[Fo-S] Folland, G.B., Stein, E.M.: Estimates for the $\delta_b$-complex and analysis on the Heisenberg group, Comm. Pure Appl. Math. 27, pp. 429-522 (1974)

.[Fe-Sa] Fefferman, C.L., Sánchez-Calle, A.: Fundamental solutions for second order subelliptic operators, Ann. Math. 124, pp. 247-272 (1986)

.[G] Gradinaru, M.: Fonctions de Green et support de diffusions hypoelliptiques, Thèse, Université de Paris-Sud, Orsay, 1995

.[Gav] Gaveau, B.: Principe de moindre action, propagation de la chaleur et estimées sous-elliptiques sur certains groupes nilpotents, Acta Math. 139, pp. 96-153 (1977)

.[Gr1] Greiner, P.C.: A fundamental solution for a nonelliptic partial differential operator, Canad. Jour. Math. 31, pp. 1107-1120 (1979)

.[Gr2] Greiner, P.C.: On second order hypoelliptic differential operators and the $\delta$-Neumann problem, In: Diedrich, K. (ed.) Complex analysis, Proceedings of Workshop at Wuppertal 1990, pp. 134-142, Braunschweig: Vieweg 1991

.[Gr-S] Greiner, P.C., Stein, E.M.: On the solvability of some differential operators of type $\square_b$, Dans: Several complex variables, Proceedings of the conference at Cortona 1976-1977, pp. 106-165, Pisa: Scuola Normale Superiore 1978

.[H] Hörmander, L.: Hypoelliptic second order differential equations, Acta Math. 119, pp. 147-171 (1967)

.[J-Sa] Jerison, D., Sánchez-Calle, A.: Subelliptic second order differential operators, Dans: Berenstein, C.A. (ed.) Complex analysis III, Proceedings of the Special Year at University of Maryland 1985-1986 (Lect. Notes Math. vol. 1277, pp. 46-77), Berlin Heidelberg New York: Springer 1987

.[Le] Léandre, R.: Développement asymptotique de la densité d'une diffusion dégénérée, Forum Math. 4, pp. 45-75 (1992)

.[N-S-W] Nagel, A., Stein, E.M., Wainger, S.: Balls and metrics defined by vector fields I. Basic properties, Acta Math. 155, pp. 103-147 (1985)

.[Sa] Sánchez-Calle, A.: Fundamental solutions and geometry of the sum of square of vector fields, Invent. math. 78, pp. 143-160 (1984)

.[Sz] Sznitman, A.S.: Some bounds and limiting results for the measure of the Wiener sausage of small radius associated with elliptic diffusions, Stoch. Proc. Appl. 25, pp. 1-25 (1987).

Gérard BEN AROUS: DMI, École Normale Supérieure, 45, rue d'Ulm, 75230 Paris Cedex et Université de Paris-Sud, Mathématiques, Bât. 425, 91405 Orsay Cedex, France.

Mihai GRADINARU: Département de Mathématiques, Université d'Evry Val d'Essonne, 91025 Evry Cedex et Univ. Paris-Sud, Math., Bât. 425, 91405 Orsay Cedex, France.