# THÉORÈMES D'INDICE POUR DES OPÉRATEURS DIFFÉRENTIELS À COEFFICIENTS POLYNOMIAUX

B. HELFFER

Centre de Mathématiques de l'Ecole Polytechnique, Plateau de Palaiseau
91128 Palaiseau Cedex (France)

et

Université de Nantes, 2, Chemin de la Houssinière, 44072 Nantes Cedex (France)

J. NOURRIGAT

Université de Rennes, Campus de Beaulieu, 35042 Rennes Cedex (France)

## Introduction

Dans [7], [8], l'étude de l'hypoellipticité pour un opérateur $P$ invariant à gauche sur un groupe nilpotent $G$ utilisait les propriétés d'une famille d'opérateurs différentiels à coefficients polynomiaux associée à $P$ et indicée par l'ensemble des représentations unitaires, irréductibles, non triviales du groupe $G$. On montrait en particulier que ces opérateurs étaient d'image fermée et que leurs noyaux étaient de dimension finie dans des espaces de Hilbert convenables. L'objet de cet article est de montrer que ces opérateurs sont à indice. Lorsqu'on peut montrer que cet indice est nul, il en résulte des propriétés du type suivant: $P$ est hypoelliptique si et seulement si $P^*$ est hypoelliptique; en particulier, si $P$ est hypoelliptique, $P$ est localement résoluble.

## 1. Presentation des resultats et rappels

Soit $G$ un groupe de Lie nilpotent, connexe, simplement connexe dont l'algèbre de Lie $\mathfrak{G}$ admet la décomposition en somme directe:

$$ \mathfrak{G} = \mathfrak{G}_1 \oplus \dots \oplus \mathfrak{G}_r $$

avec

$$ [\mathfrak{G}_i, \mathfrak{G}] \subset \mathfrak{G}_{i+j} \quad \text{si } i+j \le r, $$

$$ [\mathfrak{G}_i, \mathfrak{G}_j] = 0 \quad \text{si } i+j > r. $$
On désigne par $\mathfrak{U}(\mathfrak{G})$ l'algèbre enveloppante de $\mathfrak{G}$ et par $\mathfrak{U}_m(\mathfrak{G})$ le sous-espace
de $\mathfrak{U}(\mathfrak{G})$ des opérateurs homogènes de degré $m$, pour la famille de dilatations
$\delta_t$ ($t \in \mathbb{R}^+ \setminus 0$) définie sur $\mathfrak{G}$ par:

$$
(1.1) \qquad \delta_t(X) = t^j X \quad \text{pour } X \text{ dans } \mathfrak{G}_j.
$$

Il est démontré dans [7] et [8] le théorème suivant, conjecturé par
C. Rockland [10] (cf. [8], pour une bibliographie complète):

THÉORÈME 1.1. *Soit P un opérateur dans $\mathfrak{U}_m(\mathfrak{G})$. Les propriétés suivantes sont équivalentes :*

(1.2) (i) Pour toute représentation $\pi$ unitaire, irréductible, non triviale de $G$, $\pi(P)$ est injectif dans $\mathcal{S}_n$ (où $\mathcal{S}_n$ est l'espace des vecteurs $\mathcal{O}^{\infty}$ de $\pi$),

(1.3) (ii) P est hypoelliptique.

Rappelons un certain nombre de résultats intermédiaires obtenus
au cours de la démonstration de l'implication: (i) ⇒ (ii) (cf. [7] et [8]).

Soit $\pi$ une représentation unitaire, irréductible, non triviale de $G$
dans un espace de Hilbert $H_n$.

Soit $H_n^m$ le sous-espace de $H_n$ défini par :

$$
H_{\pi}^{m} = \{u \in H_{\pi}, \pi(A)u \in H_{\pi} \forall A \in \mathcal{U}_{j}(\mathcal{G}), j \le m\},
$$

$\mathcal{S}_n$ est dense dans $H_n^m$.

Sous la condition :

(1.4) Ro-dégénérée

Pour toute représentation $\pi$ unitaire, irréductible, non triviale de $G$,
triviale sur $\exp \mathfrak{G}$, $\pi(P)$ est injectif dans $\mathcal{S}_n$

pour $m$ assez grand et divisible par $r!$, on a :

$$
(1.5) \qquad \ker \pi(P) \cap H_{\pi}^{m} = \ker \pi(P) \cap \mathcal{S}_{\pi}.
$$

(1.6) Pour $m$ assez grand, l'injection de $H_{\pi}^m$ dans $H_{\pi}$ est compacte.

(1.7) Sous la condition (1.4), pour $m$ assez grand et divisible par $r!$
$\pi(P)$ est un opérateur de $H_{\pi}^m$ dans $H_{\pi}$, d'image fermée et dont le
noyau est de dimension finie.

Dans le cas où $\mathcal{G}$ est stratifié, i.e. si $\mathcal{G}_1$ engendre tout $\mathcal{G}$, il semble possible
de montrer que sous l'hypothèse (1.4), les propriétés (1.5), (1.6) et (1.7)
sont vraies sous la seule condition que $m$ est strictement positif. Ceci sera
éventuellement détaillé ailleurs.

On se propose de démontrer ici le théorème suivant, démontré dans
le cas: $r \le 3$ dans [7].

THÉORÈME 1.2. *Soit P dans $\mathfrak{U}_m(\mathfrak{G})$ ($m > 0$) vérifiant (1.4), alors, pour toute représentation $\pi$ unitaire, irréductible, non triviale de $G$,*

$$
\ker \pi(P) \cap \mathcal{S}_n = \ker \pi(P) \cap S'_n
\text{ (où } S'_n \text{ désigne le dual de } \mathcal{S}_n).
$$

On déduira du théorème 1.2, le théorème suivant :

THÉORÈME 1.3. *Soit P dans $\mathfrak{U}_m(\mathfrak{G})$ vérifiant (1.4) ainsi que son adjoint $P^*$. Alors, si $m$ est assez grand et divisible par $r!$, $\pi(P)$ est un opérateur à indice de $H_m^m$ dans $H_n$ pour toute représentation $\pi$ unitaire, irréductible, non triviale de $G$.*

Remarque 1.4. Si on sait a priori que P dans $\mathfrak{U}_m(\mathfrak{G})$ est hypoelliptique, il résulte d'un argument de R. Goodmann [4] que :

$$
\ker \pi(P) \cap \mathcal{S}_{\pi} = \ker \pi(P) \cap H_{\pi}.
$$

On montre en effet que, pour $v$ dans $\ker \pi(P) \cap H_n$, la fonction continue
sur $G$: $(\pi(g)v, w)$ est dans le noyau de $P$ et donc $\mathcal{O}^{\infty}$ pour tout $w$ dans $H_n$.

Des applications du théorème 1.3 à l'étude de l'hypoellipticité seront
données au paragraphe 3.

2. Démonstration des théorèmes 1.2 et 1.3

2.1. Démonstration du théorème 1.3 à partir du théorème 1.2. D'après
(1.7), on sait que, sous l'hypothèse 1.4, pour toute représentation unitaire,
irréductible, non triviale de G, $\pi(P)$ et $\pi(P^*)$ son continus de $H_n^m$ dans $H_n$,
d'image fermée et que leurs noyaux sont de dimension finie.

Soit $(\pi(P))^*$ l'adjoint de $\pi(P)$ qui est un opérateur continu de $H_n$
dans $(H_n^m)^*$ défini par : $\forall u \in H_n, \forall w \in H_n^m$

$$
(\pi(P)^* u, w) = (u, \pi(P)w)_{H_n}.
$$

$\mathcal{S}_n$ étant dense dans $H_n^m$, $(\pi(P))^*$ est continu de $H_n$ dans $\mathcal{S}'_n$ et on a, pour $u$ dans $H_n$, l'égalité suivante dans $\mathcal{S}'_n$:

$$
(\pi(P))^* u = \pi(P^*) u.
$$

Pour démontrer que $\pi(P)$ est à indice, il suffit donc de montrer que $\ker\pi(P^*) \cap H_n$ est de dimension finie, ce qui résultera bien entendu de la propriété :

$\ker \pi(P^*) \cap \mathcal{S}'_n$ est de dimension finie.

Par hypothèse, on sait que :

$\ker \pi(P^*) \cap H_n^m$ est de dimension finie.

Le théorème (1.2) permet alors de conclure.
## 2.2. Démonstration du théorème 1.2

(a) *Approximation de l'opérateur* $\mathcal{P}_\lambda$. La démonstration est conceptuellement la même que celle donnée dans le cas du rang 3 (§ 5.6 de [7]). Toutefois, on doit substituer au formalisme de L. Boutet de Monvel, A. Grigis, B. Hellffer [1], utilisé dans [7], le formalisme de L. P. Rothsschild, E. M. Stein [11]. L'idée de la démonstration trouve son origine dans l'article de C. Rockland [10]. On supposera dans la suite que $m$ est divisible par $r!$ et assez grand. Il est facile de voir qu'on peut toujours se ramener à ce cas pour démontrer le théorème.

Soit $X_r^*, i = 1, \dots, p_r$, une base de $\mathcal{G}_r$. On associe à l'opérateur $P$ dans $\mathcal{U}_m(\mathcal{G})$, l'opérateur:

$$ (2.2.1) \qquad \mathcal{P}_\lambda = P^*P + \sum_{i=1}^{p_r} (X_r^* X_r^{i/m(r-1)} + \lambda) $$

où $\lambda$ est un nombre complexe, qui sera déterminé ultérieurement.

$\mathcal{P}_\lambda$ peut être considéré comme un opérateur invariant à gauche sur $\mathcal{G}$ mais qui n'est plus homogène. $\mathcal{P}_\lambda$ peut aussi être considéré comme un opérateur défini sur $\mathcal{G}$, en prenant la carte exponentielle. Soit $\mathcal{E}$ l'espace vectoriel sous-jacent à $\mathcal{G}$. $\mathcal{E}$ peut être muni de la famille de dilatations $\delta_t$ définie sur $\mathcal{G}$. On va en fait choisir sur $\mathcal{E}$ une nouvelle famille de dilatations $\beta_t$, avec l'idée d'approcher l'opérateur $\mathcal{P}_\lambda$ considéré comme défini sur $\mathcal{E}$, par un opérateur homogène, invariant à gauche sur un groupe de Lie $\tilde{\mathcal{G}}$ de rang $(r-1)$, dont l'algèbre de Lie $\tilde{\mathcal{G}}$, dont le sous-espace vectoriel sous-jacent sera $\mathcal{E}$, sera muni de la dilatation $\beta_t$. On définit $\beta_t$ par:

$$ (2.2.2) \qquad \beta_t(\tilde{X}) = t^j X \quad \text{pour } X \in \mathcal{G}_j, \quad j = 1, \dots, r-1, \\ \beta_t(\tilde{X}) = t^{r-1} X \quad \text{pour } X \in \mathcal{G}_r. $$

$\beta_t$ n'est pas un automorphisme de $\mathcal{G}$ en tant qu'algèbre, mais munit son espace sous-jacent $\mathcal{E}$ d'une nouvelle structure homogène.

Pour étudier, l'hypoellipticité de $\mathcal{P}_\lambda$, on se place dans le cadre des articles [9], [11], [12] dont nous supposerons les techniques connues. On reprend les notations de [9].

**LEMME 2.2.1.** $\mathcal{P}_\lambda$ est un opérateur d'ordre inférieur ou égal à 2m à l'origine, lorsqu'on munit $\mathcal{E}$ de la dilatation $\beta_t$.

Sa partie homogène:

$$ \begin{gathered} [\mathcal{P}_{\lambda,0}^{\wedge} \stackrel{\text{def}}{=} \lim_{t \to \infty} t^{-2m} \beta_t^*(\mathcal{P}_\lambda)] \\ (2.2.3) \qquad \pi_{(0,\mathcal{G}_r)}(P^*P) + \sum_{i=1}^{p_r} (X_r^* X_r^{i/m(r-1)}) \end{gathered} $$

est égale à

où $\pi_{(0,\mathcal{G}_r)}$ est la représentation induite par la représentation triviale sur $\exp(\mathcal{G}_r)$.

La démonstration est laissée au lecteur. Remarquons que $\pi_{(0,\mathcal{G}_r)}(P^*P)$ peut être considéré comme un opérateur invariant à gauche sur le groupe $\exp \mathcal{G}_r \backslash \mathcal{G}$ d'algèbre de Lie: $\mathcal{G}/\mathcal{G}_r$.

Si on identifie $\mathcal{G}/\mathcal{G}_r$ et $\mathcal{G}_1 \oplus \dots \oplus \mathcal{G}_{r-1}$, $\mathcal{G}_1 \oplus \dots \oplus \mathcal{G}_{r-1}$ hérite d'une structure d'algèbre.

On peut alors munir $\mathcal{E}$ d'une nouvelle structure d'algèbre graduée $\tilde{\mathcal{G}}$:

$$ \begin{gathered} \tilde{\mathcal{G}} = \tilde{\mathcal{G}}_1 \oplus \dots \oplus \tilde{\mathcal{G}}_{r-1} \\ \text{avec} \\ \tilde{\mathcal{G}}_i = \mathcal{G}_i \quad \text{pour } i = 1, \dots, r-2, \\ \tilde{\mathcal{G}}_{r-1} = \tilde{\mathcal{G}}_{r-1} \oplus \tilde{\mathcal{G}}_{r-1}, \\ \tilde{\mathcal{G}}'_{r-1} = \mathcal{G}_{r-1}, \quad \tilde{\mathcal{G}}''_{r-1} = \mathcal{G}_r, \end{gathered} $$

où les lois d'algèbre sont données par les règles suivantes: $\tilde{\mathcal{G}}''_{r-1}$ est dans le centre de $\tilde{\mathcal{G}}$ et $\sum_{i=1}^{r-2} \tilde{\mathcal{G}}_i \oplus \tilde{\mathcal{G}}_{r-1}$ est la sous-algèbre $(\mathcal{G}_1 \oplus \dots \oplus \mathcal{G}_{r-1})$ isomorphe à $\mathcal{G}/\mathcal{G}_r$.

$\beta_t$ est un famille de dilatations sur $\tilde{\mathcal{G}}$ qui respecte la structure d'algèbre de $\tilde{\mathcal{G}}$ et, par conséquent,

$\mathcal{P}_{\lambda,0}^\wedge$ peut être considérée comme un élément de $\mathcal{U}_{2m}(\tilde{\mathcal{G}})$.

On a ainsi approximé l'opérateur $\mathcal{P}_\lambda$ sur $\mathcal{E}$ à l'origine de $\mathcal{E}$, par un opérateur invariant homogène $\mathcal{P}_{\lambda,0}^\wedge$ sur le groupe $\tilde{\mathcal{G}}$ associé par l'application exponentielle $\exp$ à $\tilde{\mathcal{G}}$.

Considérons maintenant l'application $\theta_x$ de $\mathcal{G}$ dans $\tilde{\mathcal{G}}$ définie par:

$$ \theta_x(y) = \log(\exp(-x) \cdot \exp y) $$

où $\exp$ est l'application exponentielle de $\mathcal{G}$ sur $\mathcal{G}$, et $\log$ est l'application inverse (on a identifié bien entendu $\mathcal{G}$, $\tilde{\mathcal{G}}$ et $\mathcal{E}$).

On vérifie que: $(\theta_x^*\mathcal{P}_\lambda)_0 = \mathcal{P}_\lambda$. En effet, $\mathcal{P}_\lambda$ est invariant à gauche sur $\mathcal{G}$. On en déduit que

$$ (2.2.4) \qquad \mathcal{P}_{\lambda,x}^{\wedge} \stackrel{\text{def}}{=} \lim_{t \to \infty} t^{-2m} \beta_t^*(\theta_x^*\mathcal{P}_\lambda) = \mathcal{P}_{\lambda,0}^\wedge. $$

(2.2.4) dit simplement que l'approximé de $\mathcal{P}_\lambda$ au point $x$ est en fait indépendant de $x$.

(b) *Hypoellipticité de* $\mathcal{P}_\lambda$. On est presque dans le cadre d'application de la théorie de Rotschild-Stein [11], à ceci près, que cette théorie n'est écrite que dans cas stratifié (ou stratifié de type II); Or $\tilde{\mathcal{G}}$ n'est jamais
stratifié. Cependant, un examen des démonstrations montre qu'une grande partie de la théorie se généralise sans difficultés particulières.

On doit cependant vérifier que l'application $\theta \in \mathcal{G} \times \mathcal{G}$ dans $\tilde{\mathcal{G}}$ définie par $\theta(x, y) = \theta_x(y)$ a bien les propriétés voulues. C'est l'objet du lemme:

**LEMME 2.2.2.** Posons $\varrho(x, y) = \|\theta(x, y)\| = |\theta_1| + |\theta_2|^{1/2} + \dots + |\theta_{r-1}|^{1/r-1} + |\theta_r|^{1/r-1}$ où $\theta_j$ désigne la projection de $\theta$ sur $\mathcal{G}_j$.

Alors pour $x, y, z$ dans $\mathcal{E}$ avec $\varrho(x, y)$ et $\varrho(x, z)$ inférieurs à 1, on a:

$$ (2.2.5) \quad (i) \quad \|\theta(x, y) - \theta(x, z)\| \le C_1(\varrho(x, z)) + \varrho(x, z)^{1/r-1} \varrho(x, y)^{1-1/r-1}, $$

$$ (2.2.6) \quad (ii) \quad \varrho(x, y) \le C_2(\varrho(x, z) + \varrho(y, x)). $$

La démonstration est calquée sur celle de la proposition (12.3) de [11]. (2.2.6) étant une conséquence facile de (2.2.5), on démontre seulement le premier point.

Posons

$$ \begin{aligned} \varrho_1(x, y) &= \|\theta(x, y)\| = |\theta_1| + |\theta_2|^{1/2} + \dots + |\theta_{r-1}|^{1/(r-1)} + |\theta_r|^{1/r}, \\ \theta'(x, y) &= \theta_1 \oplus \dots \oplus \theta_{r-1}(x, y) \end{aligned} $$

et

$$ \varrho'(x, y) = \|\theta'(x, y)\| = \|\theta'(x, y)\|. $$

Remarquons que $\theta'$ définit sur $\mathcal{G}_1 \oplus \dots \oplus \mathcal{G}_{r-1}$ la loi de groupe héritée de $\exp \mathcal{G}_r \backslash \mathcal{G}$. Il résulte de la proposition 12.3 de [11] appliquée à $\mathcal{G} / \mathcal{G}_r$ que:

$$ \|\theta'(x, y) - \theta'(x, z)\| \le C_1(\varrho'(x, z) + \varrho'(x, z))^{1/(r-1)} \varrho'(x, y)^{1-1/(r-1)}. $$

car $\mathcal{G} / \mathcal{G}_r$ est nilpotent de rang $r-1$.

On en déduit immédiatement que:

$$ \|\theta'(x, y) - \theta'(x, z)\| \le C_1(\varrho(x, z) + \varrho(x, z))^{1/(r-1)} \varrho(x, y)^{1-1/(r-1)}. $$

Considérons maintenant l'expression:

$$ |\theta_r(x, y) - \theta_r(x, z)|^{1/(r-1)} = \|\theta_r(x, y) - \theta_r(x, z)\|^{r/(r-1)}. $$

Utilisant à nouveau la proposition (12.3) de [11] appliquée à $\mathcal{G}$, on obtient que:

$$ \begin{aligned} |\theta_r(x, y) - \theta_r(x, z)|^{1/(r-1)} &\le C(\varrho_1 + \varrho_1^{1/r} \varrho_1^{1-1/r})^{r/(r-1)} \\ &\le C' (\varrho_1^{r/(r-1)} + (\varrho_1^{r/(r-1)})^{1/r} (\varrho_1^{r/(r-1)})^{1-1/r}) \\ &\le C'' (\varrho + \varrho^{1/r} \varrho^{1-1/r}). \end{aligned} $$

Il résulte de l'inégalité (12.9) de [11] la majoration désirée. Ceci termine la démonstration du lemme.

La théorie de [11], [12] s'applique si $\mathcal{P}_{\lambda,x}$ est hypoelliptique pour tout $x$. On a vu que $\mathcal{P}_{\lambda,x} = \mathcal{P}_{\lambda,0}$ et, sous les hypothèses du théorème 1.2, on

vérifie en utilisant le théorème 1.1, que $\mathcal{P}_{\lambda,0}$ est hypoelliptique. Supposons que l'ordre de l'opérateur $\mathcal{P}_{\lambda,0}$ est inférieur à la dimension homogène de $\tilde{\mathcal{G}}$: $\sum_{j=1}^{r-1} j \dim \tilde{\mathcal{G}}_j$. On a vu dans [9] que l'on pouvait toujours se ramener à ce cas. Conformément à un théorème de Folland [2], $\mathcal{P}_{\lambda,0}$ admet une distribution homogène (pour $\mathcal{E}$ munie de la famille de dilatations $\beta_t$) $k$ telle que, pour tout $f$ dans $C_0^\infty(\tilde{\mathcal{G}})$, on ait:

$$ f = \mathcal{P}_{\lambda,0} f^* \frac{k}{\tilde{\mathcal{G}}} = f^* \frac{k}{\mathcal{G}} \mathcal{P}_{\lambda,0} k. $$

(La convolution est prise relativement à la structure de groupe $\tilde{\mathcal{G}}$.)

Soient $a$ et $b$ deux fonctions $C^\infty$ à support compact dans $\mathcal{E}$ telles que $b$ soit égale à 1 sur le support de $a$. Posons:

$$ (2.2.7) \quad K_{a,b,\lambda}(x, y) = a(x) k(\theta_x(y)) b(y) $$

on a alors

$$ (2.2.8) \quad K_{a,b,\lambda} \cdot \mathcal{P}_{\lambda} = aI + \mathcal{R}_{a,b,\lambda} $$

où $K_{a,b,\lambda}$ (dont le noyau est défini en 2.2.7) est de type 2m, et $\mathcal{R}_{a,b,\lambda}$ est de type 1.

On en déduit l'hypoellipticité de $\mathcal{P}_\lambda$, en faisant varier $a$ et $b$. $K_{a,b,\lambda}$ et $\mathcal{R}_{a,b,\lambda}$ opèrent en effet dans les espaces de Sobolev classiques construit sur $L^2$. $R_{a,b,\lambda}$ opère de $H_s$ dans $H_{s+1/(r-1)}$, pour tout $s$ réel.

La démonstration de ce point est la même que dans le cas stratifié (méthode d'interpolation de Calderon). Par contre, on ne sait pas démontrer des théorèmes plus précis relatifs aux espaces adaptés aux champs $X_\lambda$, comme dans le cas stratifié. Il y a déjà une difficulté dans le cas stratifié de rang $\Pi$ considéré dans [11].

(c) Démonstration du théorème 1.2. $\mathcal{P}_\lambda$ étant autoadjoint, il résulte de l'hypoellipticité de $\mathcal{P}_\lambda$ et d'un théorème classique de Trèves, déjà utilisé dans [2], qu'il existe une distribution $u_\lambda$ dans $\mathcal{E}'(\mathcal{G})$ et une fonction $\varphi_\lambda$ dans $C_0^\infty(\mathcal{G})$ telle que:

$$ (2.2.9) \quad \bar{\mathcal{P}}_\lambda u_\lambda = \delta + \varphi_\lambda. $$

Soit $\pi$ une représentation unitaire, irréductible, non triviale de $\mathcal{G}$. On a:

$$ (2.2.10) \quad \pi(P_\lambda) = \pi(P^*P) + \sum_{i=1}^{p_r} (\pi(X_r^i)^*)^* \pi(X_r^i) + \lambda, $$

$\pi$ étant irréductible, $\pi(X_r^i)$ est scalaire, pour $i = 1, \dots, r$. Choisissons $\lambda$ tel que:

$$ (2.2.11) \quad \sum_{i=1}^{p_r} \| (\pi(X_r^i)^*)^2 + \lambda = 0. $$
On a alors:

$$ (2.2.12) \qquad \pi(\mathcal{G}_1) = \pi(P)^*\pi(P). $$

La suite de la démonstration est complètement analogue à celle donnée dans [7], dans le cas du rang 3. On déduit de (2.2.9) et (2.2.11), que, pour toute représentation irréductible $\pi$, il existe une distribution $v$ dans $\mathcal{S}'(\mathcal{G})$ (on prend $v = \bar{P}u_\lambda$) telle que:

$$ \pi(v)\pi(P) = I + \pi(\phi_\lambda). $$

Comme dans [7], on montre que $\pi(v)$ opère de $\mathcal{S}_n$ dans $\mathcal{S}_n$ et $\mathcal{S}'_n$ dans $\mathcal{S}'_n$, et que $\pi(\phi_\lambda)$ opère de $\mathcal{S}'_n$ dans $\mathcal{S}_n$. Le théorème (1.2) en résulte.

### 3. Application

Le théorème (1.3) serait très intéressant, si l'on montrait que cet indice est toujours nul. Il en résulterait alors en effet que, pour $m$ assez grand et divisible par $r!$ (ou pour $m > 0$, dans le cas stratifié), l'hypoellipticité de $P$ est équivalente à l'hypoellipticité de $P^*$.

Rappelons que cette dernière propriété est vérifiée lorsque l'opérateur $P$ est à coefficients constants et que le premier exemple d'opérateur différentiel hypoelliptique dont l'adjoint n'était pas hypoelliptique a été donné par Kannai: $P = \partial_t + \partial_x^2$ dans $\mathbb{R}^2$.

Nous donnons ici deux exemples où l'hypoellipticité de $P$ est équivalente à celle de $P^*$.

**3.1. Le cas du rang 2.** Soint $\mathcal{G} = \mathcal{G}_1 \oplus \mathcal{G}_2$. Soint $\eta$ dans $\mathcal{G}_2^*$ et $B_\eta$ la forme bilinéaire associée, définie sur $\mathcal{G}_1 \times \mathcal{G}_1$ par:

$$ \mathcal{G}_1 \times \mathcal{G}_1 \ni (x, y) \rightarrow B_\eta(x, y) = \eta([x, y]). $$

Soit $R_\eta$ le radical de $B_\eta$, i.e. l'ensemble des $x$ dans $\mathcal{G}_1$ tels que:

$$ B_\eta(x, y) = 0, \quad \forall y \in \mathcal{G}_1. $$

On sait (cf. [6]) que si $\eta$ est non nul, on a une famille de représentations irréductibles $\pi_{\eta,\zeta}$ indicée par $\zeta$ dans $\mathcal{R}_\eta^*$, et qu'on obtient ainsi, en faisant varier $\eta$ et $\zeta$ toutes les classes d'équivalence des représentations irréductibles qui sont non triviales sur $\exp \mathcal{G}_2$.

Lorsque $R_\eta$ est non nul, il est facile de voir que si, pour $P$ dans $\mathcal{U}_m(\mathcal{G})$, $\pi(P)$ est injectif pour toutes les représentations $\pi$ dégénérées sur $\exp \mathcal{G}_2$ (ellipticité transversale au sens de [1]), $\pi_{\eta,\zeta}(P)$ et $\pi_{\eta,\zeta}(P^*)$ sont injectifs dans $\mathcal{S}_{\pi_{\eta,\zeta}}$, pour $\zeta$ assez grand. On en déduit que l'indice de $\pi_{\eta,\zeta}$, qui est indépendant de $\zeta$, est nul pour tout $\zeta$.

Lorsque $R_\eta$ est réduit à zéro et que la dimension de $\mathcal{G}_1$ est supérieure strictement à 2, $\pi_\eta(P)$ est d'indice nul de par un résultat de Grušin [5].

Si la dimension de $\mathcal{G}_1$ est égale à 2, $\pi_\eta(P)$ peut a priori être d'indice non nul. On va montrer que ce n'est pas possible si $P$ est hypoelliptique.

En effet, $\pi_\eta(P)$ étant injectif, l'indice $p$ de $\pi_\eta(P)$ est négatif ou nul. Il n'est pas difficile de voir qu'alors (cf. Sjöstrand [13], lemme 2.2), l'indice de $\pi_{-\eta}(P)$ est égal à $-p$. $\pi_{-\eta}(P)$ étant également injectif par hypothèse, on en déduit que $p$ est égal à 0. On a ainsi démontré le théorème suivant:

**THÉORÈME 3.1.** Soit $\mathcal{G} = \mathcal{G}_1 \oplus \mathcal{G}_2$, $P$ dans $\mathcal{U}_m(\mathcal{G})$, alors les deux propriétés suivantes sont équivalentes:

(i) $P$ est hypoelliptique,

(ii) $P^*$ est hypoelliptique.

Ce théorème a été démontré dans le cas du groupe de Heisenberg par D. Geller [3], comme nous l'a signalé L. P. Rothschild.

**3.2. Le cas du rang 3.** On suppose maintenant que: $\mathcal{G} = \mathcal{G}_1 \oplus \mathcal{G}_2 \oplus \mathcal{G}_3$. Soit $P$ dans $\mathcal{U}_m(\mathcal{G})$ (avec $m = 6p, p \in \mathbb{N}, p > 0$) un opérateur hypoelliptique. On sait alors (théorème 1.1) que, pour toute représentation unitaire, irréductible, non triviale $\pi$ de $\mathcal{G}$, $\pi(P)$ est injectif dans $\mathcal{S}_n$. Du théorème (1.3) et du théorème (3.1), on déduit de plus que $\pi(P)$ est à indice pour toute représentation $\pi$, et que cet indice est nul pour les représentations dégénérées sur $\exp \mathcal{G}_3$. On veut trouver des conditions, sous lesquelles l'indice est nul pour toutes les représentations irréductibles. On considère donc des représentations non dégénérées sur $\mathcal{G}_3$. Soit $\xi_3$ dans $\mathcal{G}_3^* \setminus 0$. On désigne par $R_{\xi_3}$ le sous-espace de $\mathcal{G}_1$ défini par:

$$ R_{\xi_3} = \{x \in \mathcal{G}_1, \xi_3([x, y]) = 0, \forall y \in \mathcal{G}_2\}. $$

Soit $\xi_2$ dans $\mathcal{G}_2^*$. On désigne par $R'_{\xi_2, \xi_3}$ le sous-espace de $R_{\xi_3}$ défini par:

$$ R'_{\xi_3, \xi_2} = \{x \in R_{\xi_3}, \xi_2([x, y]) = 0, \forall y \in R_{\xi_3}\}. $$

Un examen détaillé de la démonstration dans [7] permet de montrer le théorème suivant:

**THÉORÈME 3.2.** Soit $\mathcal{G} = \mathcal{G}_1 \oplus \mathcal{G}_2 \oplus \mathcal{G}_3$ et on suppose que: pour tout $\xi_3 \in \mathcal{G}_3^* \setminus 0$, tout $\xi_2$ dans $\mathcal{G}_2^*$, $R'_{\xi_3, \xi_2}$ est non réduit à 0. Alors, pour $P$ dans $\mathcal{U}_m(\mathcal{G})$ (avec $m = 6p, p \in \mathbb{N}, p > 0$), les conditions suivantes sont équivalentes:

(i) $P$ est hypoelliptique,

(ii) $P^*$ est hypoelliptique.

**EXEMPLE** (cf. [7]). L'algèbre de Lie $\mathcal{G}^4$ nilpotente de rang 3 et de dimension 4:

$$ \mathcal{G}^4 = \mathcal{R}\mathcal{X}_1 \oplus \mathcal{R}\mathcal{X}_2 \oplus \mathcal{R}\mathcal{X}_3 \oplus \mathcal{R}\mathcal{X}_4 $$

dont la loi d'algèbre est définie par les relations:

$$ [X_1, X_2] = X_3, \quad [X_1, X_3] = X_4 $$

vérifie les hypothèses du théorème 3.2.
Bibliographie

[1] L. Boutet de Monvel, A. Grigis, B. Helffer, *Paramétrizes d'opérateurs pseudo-différentiels à caractéristiques multiples*, Astérisque 34-35, 93-121.

[2] G. B. Follafid, *Subelliptic estimates and function spaces in nilpotent Lie groups*, Ark. f. Mat. 13 (1975), 161-207.

[3] D. Geller, *Fourier analysis in the Heisenberg group*, J. Functional Analysis, Vol. 36, n° 2, April 1980.

[4] R. W. Goodman, *Elliptic and subelliptic estimates for operators in an enveloping algebra*, preprint, Juin 1978.

[5] V. V. Grušin, *On a class of elliptic pseudo-differential operators degenerate on a submanifold*, Mat. Sb. 84 (126) (1971) n° 2, Math. USSR Sb. 13 (1971) n° 2.

[6] B. Helffer, *Hypoellipticité pour des opérateurs différentiels sur des groupes de Lie nilpotents*, Editions du C.I.M.E., 1977.

[7] B. Helffer, J. Nourrigat, *Hypoellipticité pour des groupes nilpotents de rang de nilpotence 3*, Comm. in P. D. E. 3 (8) (1978), 643-743.

[8] —, —, *Caractérisation des opérateurs hypoelliptiques homogènes invariants à gauche sur un groupe nilpotent gradué*, Comm. Partial Differential Equations 4 (1979), 899-958.

[9] —, —, *Approximation d'un système de champs de vecteurs et applications à l'hypoellipticité*, Arkiv för Matematik 2 (1979), 237-254.

[10] C. Rockland, *Hypoellipticity on the Heisenberg group. Représentation theoretic criteria*, Trans. of the A. M. S., 240 (June 1978), 1-53.

[11] L. P. Rothschild, E. M. Stein, *Hypoelliptic differential operators and nilpotent groups*, Acta Math. 137 (1976), 248-315.

[12] L. P. Rothschild, *A criterion for hypoellipticity of operators constructed from vector fields*, Comm. in P.D.E. 4 (6) (1979), 645-699.

[13] J. Sjöstrand, *Parametrices for pseudo-differential operators with multiple characteristics*, Arkiv för Matematik 12 (1974), n°1.

Presented to the Semester
*Partial Differential Equations*
September 11–December 16, 1978

ГАРМОНИЧЕСКИЕ ПО М. А. ЛАВРЕНТЬЕВУ ОТОБРАЖЕНИЯ

А. ЯНУШАУСКАС

СО АН СССР, Институт Математики, Новосибирск, С.С.Р.С.

Конформные отображения плоских областей характеризуются сохранением углов и тем, что коэффициент искажения масштаба не зависит от направления. Пусть конформное отображение области D плоскости переменных $x, y$ на область G плоскости переменных $u, v$ задается соотношениями $u = \varphi(x, y)$, $v = \psi(x, y)$. Из сохранения углов при конформном отображении следует выполнение равенства

$$ (1) \qquad \varphi_x \psi_x + \varphi_y \psi_y = 0, $$

которое означает, что два ортогональных направления переходят снова в два ортогональных направления. В силу того, что искажение масштаба не зависит от направления, выполняется равенство

$$ (2) \qquad \varphi_x^2 + \varphi_y^2 = \psi_x^2 + \psi_y^2, $$

которое означает равенство коэффициентов искажения масштаба в двух взаимно ортогональных направлениях.

Из равенства (1) следует

$$ (3) \qquad \varphi_x = \lambda \psi_y, \quad \varphi_y = -\lambda \psi_x, $$

где $\lambda$ — некоторая функция переменных $x$ и $y$. Далее в силу равенства (2) имеем $\psi_x^2 + \psi_y^2 = \lambda^2(\psi_x^2 + \psi_y^2)$, откуда следует $\lambda = \pm 1$, причем система (3) превращается в систему Коши-Римана, либо в систему, которая легко сводится к системе Коши-Римана. Следовательно, конформное отображение $w = u + iv = \varphi + i\psi$ осуществляется либо голоморфной либо антиголоморфной функцией переменного $z = x + iy$. Поэтому в вещественной записи конформное отображение можно интерпретировать как отображение, осуществляемое градиентом гармонической функции.

Так как функции $\varphi$ и $\psi$ являются гармоническими, то в силу равенства (1) отображение $u = \varphi(x, y)$, $v = \psi(x, y)$ переводит линии уровня гармонической функции $\varphi$ в линии уровня гармонической