# Analyse harmonique non commutative

L'analyse harmonique non commutative est une branche des mathématiques qui est parvenue à maturité vers la fin des années 1970 ; elle généralise l'analyse harmonique classique et consiste, comme cette dernière (qui remonte au XVIIIe siècle), à développer une fonction en composantes fondamentales. Elle a des applications dans de nombreux domaines : les équations aux dérivées partielles qui, avec leurs problèmes aux bords, ont des groupes de symétrie non commutatifs ; la Mécanique quantique ; récemment, les sciences de l'ingénieur (traitement d'images, robotique, chimie, théorie des systèmes dynamiques non linéaires, etc.) ; la théorie des nombres (théorie non abélienne des corps de classes (en), groupes adéliques)$^,$.
L'analyse harmonique, à ses débuts, considérait des fonctions périodiques et en réalisait la décomposition en série de Fourier. Une fonction périodique (de période 1, après normalisation) peut être considérée comme définie sur le tore $\mathbb {T} =\mathbb {R} /\mathbb {Z}$, et la théorie des groupes commutatifs localement compacts montre que l'« espace dual » du tore, sur lequel dont définis les coefficients de Fourier, est l'ensemble $\mathbb {Z}$ des entiers relatifs, qui est de nouveau un groupe abélien ; aussi les coefficients de Fourier d'une fonction périodique forment-ils une suite de nombres complexes. Réciproquement, quand on réalise la synthèse de Fourier, on passe par la « formule de Plancherel » des coefficients de Fourier, définis sur $\mathbb {Z}$, à la fonction périodique dont ils sont issus, définie sur $\mathbb {T}$ qui est le « dual » de $\mathbb {Z}$.
Ceci est un cas particulier du théorème de dualité de Lev Pontryagin et Egbert van Kampen, qui montre que le « bidual » d'un groupe localement compact commutatif G s'identifie à G. D'autre part, on peut associer à une fonction définie sur la droite réelle $\mathbb {R}$ sa transformée de Fourier, elle aussi définie sur $\mathbb {R}$, qui est son propre dual ; puis on peut faire l'opération inverse, par la formule de Plancherel. L'analyse harmonique consiste donc à associer à une fonction, définie sur un groupe topologique G (qu'on supposera être un groupe de Lie quand on voudra définir sur ce groupe, par exemple, la notion de dérivée), une autre fonction, définie sur l'« espace dual » ${\hat {G}}$ de ce groupe.
Celui-ci est défini comme étant l'ensemble des classes d'équivalence des représentations unitaires irréductibles de G ; lorsque G est un groupe « apprivoisé », par exemple un groupe de Lie semi-simple, cet espace est muni d'une « topologie naturelle » et d'une mesure « canonique », la mesure de Plancherel. Lorsque le groupe G est commutatif, ces représentations irréductibles s'identifient aux caractères de G ; ${\hat {G}}$ est alors de nouveau un groupe commutatif localement compact, et la mesure de Plancherel est la mesure de Haar sur ${\hat {G}}$ : ceci est lié au fait que, dans ce cas, toutes les représentations unitaires irréductibles de G sont de dimension (ou « degré ») 1.
Sur un groupe non commutatif, ce n'est plus le cas, et déjà sur un groupe fini ou compact non commutatif, les « coefficients de Fourier » d'une fonction, qui constituent la « cotransformée de Fourier » de cette fonction, sont des matrices. On peut encore définir les caractères comme étant les traces des représentations irréductibles : dans le cas d'un groupe compact, ce sont des traces au sens usuel (traces de matrices) ; dans le cas d'un groupe non compact, ce sont des traces dans un sens généralisé qui est fondé à la fois sur la notion d'opérateur à trace et sur celle de distribution (« caractères de Harish-Chandra »).
La « décomposition de Fourier » sur un groupe non commutatif non compact comporte une partie discrète, analogue aux coefficients de Fourier d'une fonction périodique : c'est la « série discrète » ; et une partie continue, analogue à la transformée de Fourier d'une fonction sur la droite réelle : c'est la « série principale ». La partie purement formelle de l'analyse harmonique non commutative peut être présentée assez simplement, par généralisations successives, en partant des développements en série de Fourier et de la transformation de Fourier sur la droite réelle puis sur un groupe commutatif, en envisageant ensuite le cas d'un groupe compact, enfin en montrant comment le « formalisme de Peter-Weyl » peut s'étendre au cas d'un groupe non compact.
En revanche, dès qu'on veut, comme l'a fait Harish-Chandra, dépasser le cadre purement formel et expliciter dans le cas général la formule de Plancherel, qui permet de réaliser la synthèse de Fourier à partir des caractères, l'analyse harmonique non commutative est « hérissée de difficultés conceptuelles » et « nécessite des moyens techniques considérables », suivant les expressions de Jean Dieudonné. Le groupe $SL_{2}(\mathbb {R} )$ des matrices carrées d'ordre 2 à coefficients réels et de déterminant 1 est le groupe non compact semi-simple de la plus petite dimension possible ; tout en restant relativement simple, il a une structure suffisamment riche pour donner un bon aperçu des points fondamentaux de la théorie générale.

## Historique

Frigyes Riesz et Ernst Sigismund Fischer en 1907 pour les séries de Fourier, Michel Plancherel en 1910 pour la transformation de Fourier, ont démontré les théorèmes qui portent leur nom (théorème de Riesz-Fischer et théorème de Plancherel) et qui sont au cœur de l'analyse harmonique commutative, respectivement sur le tore et sur la droite réelle. Leur extension sur un groupe commutatif a été réalisée par Pontryagin et van Kampen dans les années 1934-1935. L'analyse harmonique sur un groupe compact non commutatif a été établie par Hermann Weyl et son étudiant Fritz Peter en 1927. Ces théories ont été réunies et simplifiées dans le livre d'André Weil publié en 1940, le théorème de Plancherel sur un groupe commutatif y trouvant sa forme générale.
Le passage aux groupes non compacts non commutatifs s'est effectué sur la base de nombreux travaux dont un thème commun est la théorie des représentations : il faut citer en premier lieu les travaux portant sur les représentations des groupes finis : ceux de Ferdinand Georg Frobenius qui a introduit la notion de caractère d'un groupe non commutatif fini en 1896 et a démontré l'orthogonalité de deux caractères irréductibles ; le livre classique de William Burnside sur les groupes finis, paru en 1911 ; les relations d'orthogonalité d'Issai Schur (1924). Il convient de mentionner aussi les nombreux travaux portant sur les groupes et algèbres de Lie, dont Élie Cartan, Hermann Weyl, Claude Chevalley comptent parmi les protagonistes les plus notoires. Datant des années 1940, les travaux d'Israel Gelfand et ses collaborateurs Mark Aronovitch Naïmark et Dmitrii Abramovich Raikov (algèbres stellaires, représentations unitaires irréductibles), de John von Neumann et Francis Joseph Murray (algèbres de von Neumann, sommes continues d'espaces de Hilbert) ; plus tard, vers la fin des années 1950 et le début des années 1960, ceux de François Bruhat (distributions sur un groupe localement compact et représentations des groupes p-adiques)$^,$ et Jacques Dixmier (algèbres stellaires, algèbres de von Neumann, mesure de Plancherel). S'appuyant sur le notions créées par Claude Chevalley, Emil Artin et George William Whaples, les travaux d'André Weil et John Tate ont montré à partir des années 1950 que toute la théorie algébrique des nombres peut se présenter comme une application de l'analyse harmonique sur les groupes d'adèles et d'idèles de corps de nombres$^,$.
On peut faire remonter les débuts de l'analyse harmonique non commutative proprement dite à 1947, lorsque Gelfand et Naïmark, étudiant le groupe $SL_{2}(\mathbb {C} )$, ont déterminé deux types de représentations irréductibles : celles constituant la « série principale (en) », associées aux sous-groupes diagonaux, et dont les caractères s'expriment grâce aux « fonctions sphériques (en) », et celles constituant la « série complémentaire », ces dernières n'entrant pas dans la formule de Plancherel car elles y ont un poids nul. Toutes les représentations irréductibles sont de l'un ou l'autre de ces types. Ils ont généralisé ce résultat en 1950 à tous les groupes classiques complexes.
Mais en 1947 encore, Valentine Bargmann a mis en évidence dans le cas de $SL_{2}(\mathbb {R} )$ un phénomène qui n'intervenait pas dans le cas complexe : l'existence d'une « série discrète », analogue à la « série de Fourier généralisée » de Peter-Weyl dans le cas d'un groupe compact, ainsi que des relations d'orthogonalité semblables à celles des caractères des séries de Fourier, de ceux de Frobenius-Schur et de ceux de Peter-Weyl. Entre 1950 et 1955, Irving Segal et Friedrich Mautner (de) ont établi le cadre formel général$^,$$^,$. Mautner a montré en 1950 que le groupe $SL_{2}(\mathbb {R} )$ est « apprivoisé » (on dit aussi « de type I ») et a émis la conjecture qu'il en est de même de tous les groupes de Lie semi-simples. Cette conjecture a été démontrée par Harish-Chandra l'année suivante (1951).
La théorie s'est ensuite orientée vers les calculs effectifs avec divers mathématiciens, dont Roger Godement, Atle Selberg (et sa formule des traces qui, obtenue en 1956, généralise la formule sommatoire de Poisson), et surtout Harish-Chandra. Ce dernier a explicité la formule de Plancherel pour $SL_{2}(\mathbb {R} )$ en 1952 ; puis il s'est lancé dans un programme colossal, dont la réalisation a demandé un quart de siècle, visant à expliciter la formule de Plancherel des groupes semi-simples, puis des groupes réductifs généraux. Un passage obligé était l'étude approfondie de la série discrète, travail qui à lui seul était considérable ; cette étude a été reformulée, selon un point de vue différent, par Michael Atiyah et Wilfried Schmid en 1977 dans un article de synthèse. L'aboutissement des travaux de Harish-Chandra a été publié entre 1970 et 1975$^,$. Le cas des groupes nilpotents a été étudié à partir des idées d'Alexandre Kirillov (« méthode des orbites ») qui ont mûri vers la même période. Parmi les groupes résolubles non nilpotents, certains sont « apprivoisés », donc susceptibles de donner lieu à une analyse harmonique, d'autres non ; un critère obtenu par Louis Auslander et Bertram Kostant en 1967 permet de les distinguer.
Pour résumer en une courte phrase les travaux ci-dessus, on peut dire que la cotransformation de Fourier et la transformation de Fourier sont des opérations inverses l'une de l'autre de $L^{2}(G)$ sur $L^{2}({\hat {G}})$, G étant le groupe considéré, ${\hat {G}}$ son dual, et ces transformations étant in fine explicites ; c'est une généralisation du théorème de Plancherel. Parallèlement, Laurent Schwartz a généralisé ce théorème en 1948, dans une autre direction, celle de la transformation de Fourier des distributions tempérées : dans le cas où $G={\hat {G}}=\mathbb {R} ^{n}$, le théorème de Plancherel reste valide si l'on remplace $L^{2}$ par ${\mathcal {S}}$, l'espace de Schwartz, ou son dual ${\mathcal {S}}^{\prime }$, l'espace des distributions tempérées. Leon Ehrenpreis (en) et Friedrich Mautner, dans trois articles publiés entre 1955 et 1965, ont introduit la notion d'espace de Schwartz sur $SL_{2}(\mathbb {R} )$ ; cette approche a ensuite été généralisée par Harish-Chandra entre 1966 et 1976 au cas où G est un groupe de Lie semi-simple réel, puis au cas où G est un groupe réductif réel ou p-adique$^,$, faisant de l'« espace de Schwartz-Harish-Chandra (en) » et son dual le cadre naturel de l'analyse harmonique non commutative. Néanmoins, la formule de Plancherel pour les groupes p-adiques est moins explicite que pour les groupes réels ; la classification des séries discrètes dans le cas p-adique reste un problème ouvert qui fait partie du programme de Langlands, et les applications de l'analyse harmonique non commutative à la théorie des nombres, qui ont commencé à se développer avec notamment Harish-Chandra, Armand Borel, Hervé Jacquet et Robert Langlands$^,$$^,$, restent un domaine dont l'exploration est loin d'être terminée.

## Conventions et notations

Dans tout ce qui suit, sauf mention du contraire, espace topologique signifie espace topologique séparé, localement compact et séparable, groupe signifie groupe topologique métrisable, séparable, connexe, localement compact et unimodulaire, groupe de Lie signifie groupe de Lie réel métrisable, séparable, localement compact, connexe et unimodulaire, fonction signifie fonction à valeurs complexes ; les espaces de Hilbert sont tous complexes et séparables. Un opérateur dans un espace de Hilbert H est un endomorphisme continu de H dans lui-même ; l'ensemble de ces opérateurs est une algèbre (sur le corps des complexes) notée $End(H)$. Un automorphisme de H (pour la structure d'espaces de Hilbert) est un élément $u\in End(H)$ tel que $\left\langle u\left(\alpha \right),u\left(\beta \right)\right\rangle =\left\langle \alpha ,\beta \right\rangle$ pour tous $\alpha ,\beta \in H$ ; l'ensemble de ces automorphismes est l'algèbre notée $Aut(H)$. Soit X un espace topologique muni d'une mesure de Radon $\mu$ (ou soit $(X,{\mathfrak {T}})$ un espace mesurable et $\mu$ une mesure « abstraite » sur ${\mathfrak {T}}$) ; quand il n'y a pas d'ambiguïté, et sauf mention du contraire, deux fonctions $\mu$-mesurable sur X et égales $\mu$-presque partout ne sont pas distinguées. L'espace vectoriel des fonctions continues sur X est noté ${\mathcal {C}}(X)$.

## Représentations unitaires des groupes de Lie
### La notion de représentation

Soit G un groupe et $m_{G}$ une mesure de Haar sur G (invariante à gauche et à droite, puisque G est unimodulaire). Une représentation unitaire de G dans un espace de Hilbert H est un morphisme de groupes $U:G\rightarrow Aut(H)$ tel que l'application $G\ni x\mapsto U(x)f\in H$ est continue pour tout $f\in H$. La dimension de H (finie ou infinie) est appelée le degré de U. Toutes les représentations sont unitaires dans ce qui suit. Une représentation U est dite irréductible si tout sous-espace fermé non réduit à 0 de H et stable par U est nécessairement égal à H. Deux représentations $U_{1}:G\rightarrow H_{1}$ et $U_{2}:G\rightarrow H_{2}$ sont équivalentes s'il existe un isomorphisme d'espace de Hilbert $T:H_{1}\rightarrow H_{2}$ tel que $U_{2}(x)=TU_{1}(x)T^{-1}$ pour tout $x\in G$. La représentation triviale de G dans H est l'application constante $g\mapsto Id_{H}$. Une représentation scalaire U est un multiple scalaire de la représentation triviale, c'est-à-dire telle que $U(x)=u(x)Id_{H}$, où $u(x)\in \mathbb {C} ,\forall x\in G$. Les représentations régulières à gauche U de G sont celles pour lesquelles $H=L^{2}\left(G\right)$, l'espace de Hilbert des classes (modulo l'égalité $m_{G}$-presque partout) de fonctions à valeurs complexes de carré intégrable sur G par rapport à $m_{G}$, et $U(x)$ est la translation à gauche $\gamma (x)$ où $(\gamma (x)f)(y)=f(x^{-1}y)$ ($f\in H,x,y\in G$) ; cette représentation est évidemment unitaire. On définit de même la représentation régulière à droite $\delta (x)$, où $(\delta (x)f)(y)=f(yx)$ ($f\in H,x,y\in G$), et on peut raisonner sur l'une ou l'autre. Dans ce qui suit, « représentation régulière » signifie représentation régulière à gauche. Le problème central de l'analyse harmonique sur un groupe G (commutatif ou non) est, comme on va le voir, l'étude de la décomposition en composantes irréductibles de la représentation régulière de G. Le lemme de Schur ci-dessous est un résultat classique d'algèbre lorsque l'espace de Hilbert H est de dimension finie ; lorsque H est de dimension infinie, c'est une conséquence de la théorie spectrale de Hilbert :
Lemme de Schur — Soit U une représentation irréductible de G dans un espace de Hilbert H. Si $T\in End(H)$ est auto-adjoint et commute avec les $U(x),\forall x\in G$, alors T est un multiple scalaire de l'identité $Id_{H}$. Soit U, V deux représentations irréductibles de G dans des espaces de Hilbert E et F respectivement. Si $T:E\rightarrow F$ est une application linéaire continue non nulle telle que $TU(x)=V(x)T,\forall x\in G$, alors T est un isomorphisme d'espaces de Hilbert, et U et V sont donc équivalentes.
On conviendra dans ce qui suit de ne pas distinguer deux représentations équivalentes, pour ne pas compliquer la terminologie.
Un théorème dû à Gelfand et Raïkov montre que tout groupe G (localement compact) possède un système complet de représentations irréductibles, c'est-à-dire que pour tout élément $x\neq e$, il existe un espace de Hilbert H et une représentation irréductible $U:G\rightarrow Aut(H)$ telle que $U(x)\neq Id_{H}$.

### Sommes continues d'espaces de Hilbert

Soit Z un espace topologique, $\pi$ une mesure sur Z, $(H_{z})_{z\in Z}$ une famille d'espaces de Hilbert, et $V=\prod \nolimits _{z\in Z}H_{z}$ ; la famille $(H_{z})_{z\in Z}$ est appelée un champ d'espaces de Hilbert, un élément $f=(f_{z})_{z\in Z}$ où $f_{z}\in H_{z},\forall z\in Z$ est appelé un champ de vecteurs, un élément $u=(u_{z})_{z\in Z}$ où $u_{z}\in End(H_{z}),\forall z\in Z$ est appelé un champ d'opérateurs. Le champ $(H_{z})_{z\in Z}$ est dit $\pi$-mesurable s'il existe un sous-espace S de V tel que (i) pour tout champ de vecteurs $\varepsilon =(\varepsilon _{z})\in S$, la fonction à valeurs réelles $z\mapsto \left\Vert \varepsilon _{z}\right\Vert$ est $\pi$-mesurable, (ii) si $f\in V$ est tel que pour tout $\varepsilon \in S$, la fonction $z\mapsto \left\langle f_{z},\varepsilon _{z}\right\rangle _{H_{z}}$ est $\pi$-mesurable, alors $f\in S$, (iii) il existe dans V une suite $(\varepsilon ^{i})$ de champs de vecteurs telle que pour tout $z\in Z$, la suite $(\varepsilon _{z}^{i})$ soit totale dans $H_{z}$. S'il en est ainsi, un champ de vecteurs f est dit $\pi$-mesurable si pour tout i, la fonction $z\mapsto \left\langle f_{z},\varepsilon _{z}^{i}\right\rangle _{H_{z}}$ est $\pi$-mesurable ; il est dit de carré intégrable (par rapport à $\pi$) s'il est $\pi$-mesurable et si
       $\int _{Z}\left\Vert f_{z}\right\Vert ^{2}d\pi \left(z\right)<\infty$.
Les champs de vecteurs de carré intégrable forment un espace préhilbertien complexe K ; en quotientant par le sous-espace formé par les champs de vecteurs $\pi$-négligeables, on obtient un espace préhilbertien séparé H, et on peut montrer que H est complet, donc est un espace de Hilbert. C'est cet espace qui est appelé la somme continue du champ d'espaces de Hilbert $(H_{z})_{z\in Z}$$^,$. Il est noté
       $H=\int _{Z}H_{z}d\pi (z)$.
Si Z est discret, cette somme continue est une somme hilbertienne et les $H_{z}$ s'identifient canoniquement à des sous-espaces hilbertiens de H (ce qui est inexact, en général, si Z n'est pas discret).

### Sommes continues de représentations

Soit maintenant G un groupe et $(U_{z})_{z\in Z}$ une famille, chaque $U_{z}$ étant une représentation unitaire de G dans l'espace de Hilbert $H_{z}$ ; $(U_{z})_{z\in Z}$ est appelée un champ de représentations unitaires. Si les fonctions $z\mapsto H_{z}\varepsilon ^{i}$ sont toutes mesurables, il existe une représentation unitaire unique U de G dans H telle que la relation $g=Uf$ équivaut à $g_{z}=U_{z}f_{z},\forall z\in Z$. On dit alors que U est la somme continue des $U_{z}$ et on écrit
       $U=\int _{Z}U_{z}d\pi (z)$.
Si les $U_{z}$ sont irréductibles, on a donc une décomposition de U en somme continue de représentations irréductibles. C'est le cas de la décomposition en série de Fourier et la transformée de Fourier, que nous allons rappeler maintenant, ces représentations irréductibles étant alors « scalaires ».

## Transformation de Fourier sur un groupe commutatif
### Séries de Fourier

Soit $G=\mathbb {T}$ le tore défini plus haut, $H=L^{2}\left(\mathbb {T} \right)$, et considérons la représentation régulière $\gamma$. On peut décomposer une fonction $f\in H$ en série de Fourier :
       $f=\sum _{n}{\overline {\mathcal {F}}}[f]_{n}\chi _{n}^{\ast }$
où $\chi _{n}$ est le « caractère » $y\mapsto e^{i2\pi ny}$ ($y\in \mathbb {T}$), $\chi _{n}^{\ast }\left(y\right)={\overline {\chi _{n}\left(y\right)}}$, les coefficients de Fourier ${\overline {\mathcal {F}}}[f]_{n}$ sont donnés par
       ${\overline {\mathcal {F}}}[f]_{n}=\int _{\mathbb {T} }\chi _{n}\left(x\right)f(x)dx$
et la série converge dans H. En notant ${\overline {\mathcal {F}}}[f]$ la suite $({\overline {\mathcal {F}}}[f]_{n})$, on a ${\overline {\mathcal {F}}}[f]\in l^{2}$, et il vient
       $\gamma (x)f=\sum _{n}\chi _{n}^{\ast }\left(x\right){\overline {\mathcal {F}}}[f]_{n}\chi _{n}$.
On a $\left(f\star \chi _{n}^{\ast }\right)\left(x\right)=\int _{\mathbb {T} }f(y)\chi _{n}^{\ast }\left(x-y\right)dy=\chi _{n}^{\ast }\left(x\right){\overline {\mathcal {F}}}[f]_{n}$, et par conséquent, en posant $\Theta _{n}\left(f\right)={\overline {\mathcal {F}}}[f]_{n}$, on obtient la « formule de Plancherel »
       $f(x)=\sum _{n}(f\star \chi _{n}^{\ast })=\sum _{n}\Theta _{n}\left(\gamma (-x)f\right)$.
L'espace de Hilbert H se décompose en la somme hilbertienne $\oplus _{n}\mathbb {C} \chi _{n}^{\ast }$ et $(\chi _{n}^{\ast })$ est une base hilbertienne de H. Soit $H_{n}=\mathbb {C} \chi _{n}^{\ast }$ ; c'est un sous-espace hilbertien de dimension 1 de H (avec le produit scalaire habituel dans $\mathbb {C}$), et si $f\in H_{n}$, on a $\gamma (x)f=\chi _{n}\left(x\right)f$. La restriction de $\gamma$ à $H_{n}$ est donc une représentation irréductible de degré 1, dite « scalaire », à savoir la multiplication par $\chi _{n}$. On écrira donc $\gamma =\oplus _{n}\chi _{n}$. On peut encore noter H et $\gamma$ par les intégrales respectives $\int _{\mathbb {Z} }H_{n}dm_{\mathbb {Z} }\left(n\right)$ et $\int _{\mathbb {Z} }\chi _{n}dm_{\mathbb {Z} }\left(n\right)$ où $m_{\mathbb {Z} }$ est la mesure définie par $m_{\mathbb {Z} }(n)=1$ (c'est-à-dire la mesure de Haar normalisée sur $\mathbb {Z}$). Le groupe ${\hat {G}}$ des caractères est isomorphe à $\mathbb {Z}$ et peut donc lui être identifié. Comme on va le voir plus loin, $\mathbb {Z}$ est le « dual » du groupe $\mathbb {T}$ ; on peut récrire ce qui précède en notant ${\hat {x}}$ au lieu de n l'élément générique de $\mathbb {T}$. En notant $\left\Vert f\right\Vert _{2}$ la norme de f dans $L^{2}\left(\mathbb {T} \right)$ et $\left\Vert {\overline {\mathcal {F}}}[f]\right\Vert _{2}$ la norme de la suite ${\overline {\mathcal {F}}}[f]$ dans $l^{2}$, l'égalité de Parseval (ou de Bessel-Parseval) s'écrit ${\left\Vert f\right\Vert _{2}}^{2}={\left\Vert {\overline {\mathcal {F}}}[f]\right\Vert _{2}}^{2}$.
On appelle cotransformation de Fourier la correspondance ${\overline {\mathcal {F}}}:f\mapsto {\overline {\mathcal {F}}}[f]$.

### Transformées de Fourier

Soit $G=\mathbb {R}$, $H=L^{2}\left(\mathbb {R} \right)$, et U la représentation régulière de G. Soit $f\in L^{2}$ une fonction suffisamment régulière (ce qui sera précisé plus loin). Sa transformée de Fourier est donnée par
       ${\mathcal {F}}[f]:\nu \mapsto \int _{\mathbb {R} }\chi _{\nu }^{\ast }(x)f\left(x\right)dx$
où $dx$ est la mesure de Lebesgue, $\chi _{\nu }$ est le « caractère » $y\mapsto e^{i2\pi \nu y}$, $\chi _{\nu }^{\ast }(x)={\overline {\chi _{\nu }(x)}}$ et l'intégrale converge dans H. On a cette fois
       ${\mathcal {F}}\left[\gamma \left(x\right)f\right]\left(\nu \right)=\chi _{\nu }^{\ast }(x){\mathcal {F}}[f]\left(\nu \right)$
et par transformée de Fourier inverse
       $f\left(x\right)=\int _{\mathbb {R} }\chi _{\nu }(y){\mathcal {F}}\left[f\right]\left(\nu \right)d\nu$.
En posant $\Theta _{\nu }^{\ast }\left(f\right)={\mathcal {F}}[f](\nu )$, on appellera formule de Plancherel l'expression équivalente
       $f(x)=\int _{\mathbb {R} }\Theta _{\nu }^{\ast }\left(\gamma \left(-x\right)f\right)d\nu$.
Soit $H_{\nu }=\mathbb {C} \chi _{\nu }$ l'espace de Hilbert de dimension 1 engendré par $\chi _{\nu }$. Alors H s'identifie à l'ensemble des fonctions (ou, plus exactement, des classes de fonctions modulo l'égalité presque partout) ${\hat {f}}$ de carré intégrable telles que ${\hat {f}}(\nu )\in H_{\nu },\forall \nu \in \mathbb {R}$. Si $f\in H_{\nu }$, on a $\gamma (x)f=\chi _{\nu }^{\ast }(x)f$. La situation est donc semblable à la précédente (si ce n'est qu'au lieu de la cotransformation de Fourier on a considéré cette fois la transformation de Fourier) : la représentation régulière $\gamma$ se décompose en représentations irréductibles $U_{\nu }^{\ast }$ dans les espaces $H_{\nu }$, et $U_{\nu }^{\ast }(x)f=\chi _{\nu }^{\ast }(x)f$. L'espace de Hilbert H est la somme continue des espaces de Hilbert $H_{\nu }$ et $\gamma$ est la somme continue des « représentations scalaires » (évidemment irréductibles) $U_{\nu }^{\ast }$ relativement à la mesure de Lebesque. À la différence de ce qui précède, les $H_{\nu }$ ne sont pas des sous-espaces de H. On écrit donc $H=\int _{\mathbb {R} }H_{\nu }d\nu$ et $\gamma =\int _{\mathbb {R} }U_{\nu }^{\ast }d\nu$. L'égalité de Parseval s'écrit ${\left\Vert f\right\Vert _{2}}^{2}={\left\Vert {\mathcal {F}}[f]\right\Vert _{2}}^{2}$.

### Transformation de Fourier sur un groupe commutatif

Considérons un groupe commutatif G noté multiplicativement, dont l'élément unité est noté e, et sur lequel on a défini une mesure de Haar $m_{G}$. Soit $\mathbf {U}$ le groupe multiplicatif des nombres complexes de module unitaire. Un caractère unitaire de G est un morphisme de groupes topologiques de G dans $\mathbf {U}$. Dans ce qui suit, « caractère » signifie caractère unitaire. L'ensemble des caractères de G forme un groupe multiplicatif et commutatif, noté ${\hat {G}}$ et appelé le groupe dual de G. Ce groupe est muni de la topologie de la convergence compacte (en), ce qui en fait un groupe topologique localement compact ; il est muni d'une mesure de Haar $m_{\hat {G}}$, unique à la multiplication près par un réel positif. On a $\chi (x^{-1})={\overline {\chi (x)}}$ pour tout $x\in G$ car $\chi (x^{-1})\chi (x)=1$ et $\left\vert \chi \left(x\right)\right\vert =1$.
Pour $x\in G$ et ${\hat {x}}\in {\hat {G}}$, notons $\left\langle {\hat {x}},x\right\rangle$ le nombre complexe ${\hat {x}}(x)$. La transformée de Fourier d'une fonction $f\in L^{1}(G)$ (où $L^{1}(G)$ désigne l'espace de Banach des fonctions intégrables sur G) est donnée par
       ${\mathcal {F}}\left[f\right]\left({\hat {x}}\right)=\int _{G}{\overline {\left\langle {\hat {x}},x\right\rangle }}f\left(x\right)dm_{G}\left(x\right)$.
Les propriétés suivantes découlent de calculs simples et vont être utiles : soit de nouveau, pour $f\in L^{2}\left(G\right)$, $\gamma (x)f$ ($x\in G$) la translatée à gauche$y\mapsto f(x^{-1}y)$ ; puisque la mesure de Haar $dm_{G}$ est invariante par translation, on a, si $f\in L^{1}\left(G\right)\cap L^{2}\left(G\right)$
       ${\mathcal {F}}\left[\gamma (x)f\right]\left({\hat {x}}\right)={\overline {\left\langle {\hat {x}},x\right\rangle }}{\mathcal {F}}\left[f\right]\left({\hat {x}}\right)$.
Par ailleurs, si $f,g\in L^{1}(G)$, alors leur convolée $f\star g:x\mapsto \int _{G}f\left(y\right)g\left(y^{-1}x\right)dm_{G}\left(y\right)$ est encore dans $L^{1}(G)$, et on a
       ${\mathcal {F}}\left[f\star g\right]={\mathcal {F}}\left[f\right]{\mathcal {F}}\left[g\right]$.
En désignant par ${\tilde {f}}$ la fonction $x\mapsto {\overline {f(x^{-1})}}$, on a ${\mathcal {F}}\left[{\tilde {f}}\right]={\overline {{\mathcal {F}}\left[f\right]}}$.
Le théorème de Plancherel montre que si $f\in L^{1}\left(G\right)\cap L^{2}\left(G\right)$, alors ${\mathcal {F}}\left[f\right]\in L^{2}\left({\hat {G}}\right)$. On peut choisir de manière unique la mesure de Haar $dm_{\hat {G}}$ de façon que la transformée de Fourier se prolonge en une isométrie de $L^{2}(G)$ sur $L^{2}({\hat {G}})$. Cette mesure de Haar $dm_{\hat {G}}$ est dite associée à la mesure de Haar $dm_{G}$. En conséquence :
Théorème de Plancherel — Si $f,g\in L^{2}(G)$, on a l'égalité de Parseval
       $\int _{G}f\left(x\right){\overline {g(x)}}dm_{G}(x)=\int _{\hat {G}}{\mathcal {F}}\left[f\right]\left({\hat {x}}\right){\overline {{\mathcal {F}}\left[g\right]\left({\hat {x}}\right)}}dm_{\hat {G}}({\hat {x}})$.
Soit alors $f,g\in L^{1}\left(G\right)\cap L^{2}\left(G\right)$ et $h=\gamma (x)(f\star {\tilde {g}})$, d'où $h(x)=(f\star {\tilde {g}})(e)$ et ${\mathcal {F}}\left[h\right]({\hat {x}})={\overline {\left\langle {\hat {x}},x\right\rangle }}{\mathcal {F}}\left[f\star {\tilde {g}}\right]\left({\hat {x}}\right)$, soit encore ${\mathcal {F}}\left[f\star {\tilde {g}}\right]\left({\hat {x}}\right)=\left\langle {\hat {x}},x\right\rangle {\mathcal {F}}\left[h\right]({\hat {x}})$. On peut écrire l'égalité de Parseval sous la forme
       $\left(f\star {\tilde {g}}\right)\left(e\right)=\int _{\hat {G}}{\mathcal {F}}\left[f\right]\left({\hat {x}}\right){\overline {{\mathcal {F}}\left[g\right]\left({\hat {x}}\right)}}dm_{\hat {G}}\left({\hat {x}}\right)$ ;
de plus, on a
       ${\mathcal {F}}[f\star {\tilde {g}}]({\hat {x}})={\mathcal {F}}[f]({\hat {x}}){\mathcal {F}}[{\tilde {g}}]({\hat {x}})={\mathcal {F}}\left[f\right]\left({\hat {x}}\right){\overline {{\mathcal {F}}\left[g\right]\left({\hat {x}}\right)}}$.
On obtient de la sorte le résultat suivant, où $A(G)$ désigne le sous-espace vectoriel de $L^{1}(G)$ engendré par les fonctions $f\star {\tilde {g}}$ $(f,g\in L^{1}\left(G\right)\cap L^{2}\left(G\right))$ :
Définition et théorème — Soit ${\hat {\hat {G}}}$ le bidual de G et $\eta$ l'application canonique de G dans ${\hat {\hat {G}}}$. Soit ${\overline {\mathcal {F}}}:L^{1}\left({\hat {G}}\right)\rightarrow L^{\infty }\left({\hat {\hat {G}}}\right)$ la cotransformation de Fourier définie par
       ${\overline {\mathcal {F}}}\left[{\hat {f}}\right]\left(x\right)=\int _{\hat {G}}\left\langle {\hat {x}},x\right\rangle {\hat {f}}\left({\hat {x}}\right)dm_{\hat {G}}\left({\hat {x}}\right)$.
Soit $f\in A(G)$ ; alors on a la formule d'inversion de Fourier
       $f=({\overline {\mathcal {F}}}\left[{\mathcal {F}}\left[f\right]\right])\circ \eta$.
Cette formule est encore valable pour toute fonction $f\in L^{2}\left(G\right)$ telle que ${\mathcal {F}}\left[f\right]\in L^{1}\left(G\right)$, la fonction f étant alors $dm_{G}$-presque partout égale à la fonction continue et bornée qui figure dans le second membre.
On peut maintenant énoncer l'un des résultats les plus importants de l'analyse harmonique sur un groupe commutatif :
Théorème de dualité de Pontryagin-van Kampen — Soit $m_{\hat {\hat {G}}}$ la mesure sur ${\hat {\hat {G}}}$ associée à $m_{\hat {G}}$. L'application canonique $\eta$ de G dans ${\hat {\hat {G}}}$ est un isomorphisme de groupes topologiques qui transforme $m_{G}$ en $m_{\hat {\hat {G}}}$. En identifiant G et ${\hat {\hat {G}}}$ par cet isomorphisme, la cotransformation de Fourier de $L^{2}\left({\hat {G}}\right)$ sur $L^{2}\left(G\right)$ et la transformation de Fourier de $L^{2}\left(G\right)$ sur $L^{2}\left({\hat {G}}\right)$ sont inverses l'une de l'autre.
Si G est compact, et la mesure $m_{G}$ est normalisée de sorte que $m_{G}(G)=1$, alors ${\hat {G}}$ est discret et chacun de ses points a une mesure égale à 1. Inversement, si G est discret, et chaque point a une mesure égale à 1, alors ${\hat {G}}$ est compact, et $m_{\hat {G}}({\hat {G}})=1$.
Posons alors, comme plus haut, $\Theta _{\hat {x}}^{\ast }\left(f\right)={\mathcal {F}}[f]({\hat {x}})$ ; avec ces identifications on obtient la formule de Plancherel, valide pour toute fonction $f\in A(G)$ :
       $f(x)=\int _{\hat {G}}\Theta _{\hat {x}}^{\ast }\left(\gamma \left(x^{-1}\right)f\right)dm_{\hat {G}}\left({\hat {x}}\right)$.
On a montré plus haut comment cette formule se déduit de l'égalité de Parseval. Inversement, l'égalité de Parseval de déduit de cette formule en posant $f=g\star {\tilde {h}}\left(g,h\in L^{1}\left(G\right)\cap L^{2}\left(G\right)\right)$ et $x=e$. La formule de Plancherel est donc essentiellement équivalente à l'égalité de Parseval.

### Interprétation en termes de sommes de représentations irréductibles

Soit $H=L^{2}(G)$, $\gamma$ la représentation régulière de G, $H_{\hat {x}}$ l'espace de Hilbert de dimension 1 engendré par le caractère ${\hat {x}}$, et $U_{\hat {x}}$ la représentation « scalaire » de G dans $H_{\hat {x}}$ définie par $U_{\hat {x}}f={\overline {\left\langle {\hat {x}},x\right\rangle }}f$ puisque pour $x,y\in G,{\hat {x}}\in {\hat {G}}$,
       $\left\langle {\hat {x}},x^{-1}y\right\rangle =\left\langle {\hat {x}},x^{-1}\right\rangle \left\langle {\hat {x}},y\right\rangle ={\overline {\left\langle {\hat {x}},x\right\rangle }}\left\langle {\hat {x}},y\right\rangle$.
L'espace de Hilbert H s'identifie (via la transformation de Fourier) à l'ensemble des fonctions ${\hat {f}}\in L^{2}({\hat {G}})$ telles que ${\hat {f}}({\hat {x}})\in H_{\hat {x}},\forall {\hat {x}}\in {\hat {G}}$. Par conséquent, H s'identifie à la somme continue d'espaces de Hilbert $\int _{\hat {G}}H_{\hat {x}}dm_{\hat {G}}\left({\hat {x}}\right)$, et $\gamma$ s'identifie à la somme continue de représentations scalaires $\int _{\hat {G}}U_{\hat {x}}dm_{\hat {G}}\left({\hat {x}}\right)$. Le résultat suivant, qu'on peut déduire directement du lemme de Schur, reformule partiellement le théorème de dualité de Pontryagin-van Kampen :
Théorème — Sur un groupe commutatif, les représentations irréductibles sont toutes de dimension 1.

## Cotransformation de Fourier sur un groupe compact

L'analyse harmonique sur un groupe compact G généralise le développement en série de Fourier d'une fonction périodique, lequel correspond au cas où G est le tore $\mathbb {T}$. Tout groupe compact est unimodulaire ; la mesure de Haar $m_{G}$ est normalisée, de sorte que $m_{G}(G)=1$. Si $f,g\in L^{2}(G)$, alors $f\star g$ est une fonction continue sur G ; et puisque ${\mathcal {C}}(G)\subset L^{2}(G)$, l'espace de Hilbert $H=L^{2}(G)$ est une algèbre de convolution ; c'est donc une algèbre hilbertienne (voir ci-dessous) munie de l'involution $f\mapsto {\tilde {f}}:x\mapsto {\overline {{\check {f}}(x)}}$ où ${\check {f}}:x\mapsto f\left(x^{-1}\right)$.

### Algèbres hilbertiennes

Une algèbre hilbertienne H est une algèbre involutive (i.e. munie d'une involution $f\mapsto {\tilde {f}}$) et d'un produit scalaire vérifiant (ainsi que d'autres propriétés) $\left\langle f,g\right\rangle =\left\langle {\tilde {g}},{\tilde {f}}\right\rangle ,\forall f,g\in H$. Une telle algèbre, quand elle est complète, est la somme hilbertienne d'un ensemble dénombrable de sous-algèbres ${\mathfrak {a}}_{n}$:
       $H=\bigoplus \nolimits _{n}{\mathfrak {a}}_{n}$
où chaque ${\mathfrak {a}}_{n}$ est simple (i.e. ses seuls idéaux bilatères fermés sont 0 et ${\mathfrak {a}}_{n}$) et est un idéal bilatère minimal de H (i.e. tout idéal bilatère de H, inclus dans ${\mathfrak {a}}_{n}$, est égal à ${\mathfrak {a}}_{n}$). Les ${\mathfrak {a}}_{n}$ s'annulent mutuellement (i.e. si $f\in {\mathfrak {a}}_{n}$, $f^{\prime }\in {\mathfrak {a}}_{n^{\prime }}$, $n\neq n^{\prime }$, alors $f\star f^{\prime }=0$, en dénotant par $\star$ le produit dans H). Chaque ${\mathfrak {a}}_{n}$ est la somme hibertienne d'idéaux à gauche minimaux ${\mathfrak {I}}_{j}^{(n)}$ ($j\in J_{n}$, où $J_{n}$ est un ensemble dénombrable d'indices) deux à deux isomorphes et orthogonaux, et ${\mathfrak {I}}_{j}^{(n)}={\mathfrak {a}}_{n}\star e_{j}^{(n)}$ où les $e_{j}^{(n)}$ sont des idempotents (i.e. $e_{j}^{(n)}\star e_{k}^{(n)}=\delta _{jk}e_{j}^{(n)}$) autoadjoints (i.e. stables par l'involution) minimaux.

### Théorème de Peter-Weyl

Théorème de Peter-Weyl — Si $H=L^{2}(G)$, les algèbres ${\mathfrak {a}}_{n}$ sont de dimension finie ; en notant $d(n)$ la dimension de ${\mathfrak {a}}_{n}$, l'ensemble d'indices $J_{n}$ est $\left\{1,2,...,d(n)\right\}$. Par suite,
       ${\mathfrak {a}}_{n}=\bigoplus \limits _{j=1}^{d(n)}{\mathfrak {I}}_{j}^{\left(n\right)}=\bigoplus \limits _{j=1}^{d(n)}{\mathfrak {a}}_{n}\star e_{j}^{(n)}$.
Chaque ${\mathfrak {a}}_{n}$ est unifère et est isomorphe à (et est identifiée avec) une algèbre $\mathbf {M} _{d(n)}(\mathbb {C} )$ de matrices carrées d'ordre $d(n)$ à coefficients complexes. Les éléments de ${\mathfrak {a}}_{n}$ sont des fonctions continues et l'élément unité de ${\mathfrak {a}}_{n}$ est une fonction continue autoadjointe $u_{n}$. Le projecteur orthogonal de $L^{2}(G)$ sur ${\mathfrak {a}}_{n}$ est l'opérateur $L^{2}(G)\ni f\mapsto f\star u_{n}=u_{n}\star f\in {\mathfrak {a}}_{n}$.
Soit $\left(a_{j}^{(n)}\right)_{1\leq j\leq p(n)}$ une base hilbertienne de ${\mathfrak {I}}_{1}^{\left(n\right)}$ telle que $a_{j}^{(n)}\in e_{j}^{(n)}\star {\mathfrak {a}}_{n}\star e_{1}^{(n)}$ et $m_{jk}^{(n)}=\gamma _{n}a_{j}^{(n)}\star {\widetilde {a_{k}^{(n)}}}$ où $\gamma _{n}$ est un coefficient normalisateur. Les $m_{jk}^{(n)}$ sont les coefficients de $M_{n}$ ; ils sont autoadjoints et, pour j fixé, forment une base orthonormale de ${\mathfrak {I}}_{j}^{(n)}$. Quand j, k et n varient, les $m_{jk}^{(n)}$ forment une base hilbertienne de $L^{2}(G)$. On a les relations
       $M_{n}(xy)=M_{n}(x)M_{n}(y),M_{n}(x^{-1})=(M_{n}(x))^{\ast }$
(où $(.)^{\ast }$ est la transposée-conjuguée) qui entraînent que $M_{n}(x)$ est unitaire. De plus, l'application $x\mapsto M_{n}(x)$ est continue et est donc une représentation (unitaire continue) de G dans $\mathbb {C} ^{d(n)}$ (muni du produit hermitien habituel). Les représentions $M_{n}$ sont donc les représentations irréductibles ; leur ensemble, qui est dénombrable, est noté ${\hat {G}}$, et l'élément générique de ${\hat {G}}$ est noté ${\hat {x}}$. On écrira dans ce qui suit $({\hat {x}}(x))^{\ast }={\hat {x}}^{\ast }(x)$. Le caractère associé à ${\hat {x}}$ est $\Theta _{\hat {x}}=Tr({\hat {x}})$, où $Tr$ désigne la trace ; ceci généralise la notion de caractère d'une représentation d'un groupe fini. Soit $F({\hat {G}})=\prod \nolimits _{{\hat {x}}\in {\hat {G}}}\mathbb {C} ^{d({\hat {x}})\times d({\hat {x}})}$ (où $d({\hat {x}})$ est l'ordre de la matrice ${\hat {x}}$).
Définition — On appelle coefficients de Fourier de $f\in L^{1}(G)$ les matrices
       ${\overline {\mathcal {F}}}[f]_{\hat {x}}=\int _{G}{\hat {x}}\left(x\right)f(x)dm_{G}(x)\in \mathbb {C} ^{d({\hat {x}})\times d({\hat {x}})}$
et cotransformation de Fourier l'application ${\overline {\mathcal {F}}}:f\mapsto ({\overline {\mathcal {F}}}[f]_{\hat {x}})$ de $L^{1}(G)$ dans $F({\hat {G}})$.
Les deux égalités suivantes sont immédiates :
       ${\overline {\mathcal {F}}}[f\star g]={\overline {\mathcal {F}}}[f].{\overline {\mathcal {F}}}[G]$, et ${\overline {\mathcal {F}}}[\gamma (x)f]_{\hat {x}}={\hat {x}}(x){\overline {\mathcal {F}}}[f]_{\hat {x}}$.

### Théorème de Plancherel-Peter-Weyl

Soit $L^{2}({\hat {G}})$ la somme hilbertienne des espaces de Hilbert $\mathbb {C} ^{d({\hat {x}})\times d({\hat {x}})}$ : $L^{2}({\hat {G}})$ est l'espace des familles $\Phi =(\Phi _{\hat {x}})\in F({\hat {G}})$ telles que $\sum _{{\hat {x}}\in {\hat {G}}}\left\Vert \Phi _{\hat {x}}\right\Vert _{2}^{2}<\infty$, muni du produit scalaire
       $\left\langle \Phi ,\Psi \right\rangle _{L^{2}\left({\hat {G}}\right)}=\sum \nolimits _{\hat {x}}d({\hat {x}})Tr\left\{\Phi _{\hat {x}}^{\ast }\Psi _{\hat {x}}\right\}$.
Ci-dessous, on notera une famille comme une fonction. Le produit scalaire dans $L^{2}(G)$ est dans ce qui suit
       $\left\langle f,g\right\rangle _{L^{2}\left(G\right)}=\int _{G}{\overline {f(x)}}g(x)dm_{G}\left(x\right)$.
Théorème de Plancherel-Peter-Weyl — La cotransformation de Fourier est une application linéaire isométrique de $L^{2}(G)$ sur $L^{2}({\hat {G}})$ :
       $\left\langle f,g\right\rangle _{L^{2}\left(G\right)}=\left\langle {\overline {\mathcal {F}}}[f],{\overline {\mathcal {F}}}[f]\right\rangle _{L^{2}\left({\hat {G}}\right)}$
(égalité de Parseval), ou plus explicitement
       $\int _{G}{\overline {f\left(x\right)}}g(x)dx=\sum _{{\hat {x}}\in {\hat {G}}}d({\hat {x}})Tr\left\{{\overline {F}}\left[f\right]({\hat {x}})^{\ast }{\overline {F}}\left[g\right]({\hat {x}})\right\}$.
On inverse la cotransformation de Fourier à partir de l'égalité de Parseval en procédant comme dans le cas commutatif, mutatis mutandis, c'est-à-dire en posant $f=\gamma (x)({\tilde {g}}\star h)$, $g,h\in L^{2}\left(G\right)$. En définissant $A(G)$ comme plus haut, on obtient de cette façon, pour toute fonction $f\in A(G)$ et tout $x\in G$
       $f(x)=\sum \nolimits _{{\hat {x}}\in {\hat {G}}}d({\hat {x}})Tr\left\{{\hat {x}}^{\ast }(x){\overline {\mathcal {F}}}\left[f\right]({\hat {x}})\right\}$.
Définition et corollaire — On appelle transformée de Fourier d'une famille $\Phi =(\Phi ({\hat {x}}))\in L^{2}\left({\hat {G}}\right)$ la fonction
       ${\mathcal {F}}\left[\Phi \right]=\sum _{{\hat {x}}\in {\hat {G}}}d\left({\hat {x}}\right)Tr\left\{{\hat {x}}^{\ast }\Phi ({\hat {x}})\right\}:x\mapsto {\mathcal {F}}\left[\Phi \right]\left(x\right)=\sum _{{\hat {x}}\in {\hat {G}}}d\left({\hat {x}}\right)Tr\left\{{\hat {x}}^{\ast }(x)\Phi ({\hat {x}})\right\}$.
Les applications ${\overline {\mathcal {F}}}$ et ${\mathcal {F}}$ sont des isomorphismes réciproques entre les espaces de Hilbert $L^{2}(G)$ et $L^{2}({\hat {G}})$.
Pour toute fonction $f\in A(G)$, soit le caractère de Weyl
       $\Theta _{\hat {x}}\left(f\right)=Tr\left\{{\overline {F}}\left[f\right]({\hat {x}}\right\}$ ;
on a pour tout $x\in G$ la formule de Plancherel
       $f\left(x\right)=\sum \limits _{{\hat {x}}\in {\hat {G}}}d\left({\hat {x}}\right)\Theta _{\hat {x}}\left(\gamma \left(x^{-1}\right)f\right)$.

### Remarque

La transformation de Fourier sur $L^{1}(G)$ ou $L^{2}(G)$ n'est pas compatible avec le produit de convolution dans le cas non commutatif. En effet, supposons qu'on définisse
       ${\mathcal {F}}[f]_{\hat {x}}=\int _{G}{\hat {x}}^{\ast }\left(x\right)f(x)dm_{G}(x)$.
On obtient alors ${\mathcal {F}}[f\star g]={\mathcal {F}}[g]{\mathcal {F}}[f]$, « dont personne ne veut ».

## Cotransformation de Fourier sur un groupe de Lie
### Formule de Plancherel abstraite
#### Algèbres de von Neumann

Soit H un espace de Hilbert. Une algèbre ${\mathcal {A}}\subset End(H)$ est une algèbre de von Neumann si elle est stable pour l'involution de $End(H)$ (c'est-à-dire si elle est autoadjointe) et faiblement fermée. Sa norme vérifie $\left\Vert u\right\Vert ^{2}=\left\Vert u^{\ast }u\right\Vert =\left\Vert uu^{\ast }\right\Vert$, et c'est donc une algèbre stellaire. On désigne par ${\mathcal {A}}^{+}$ l'ensemble des opérateurs u autoadjoints positifs (on écrira $u\geq 0$) de ${\mathcal {A}}$. Une trace (au sens de von Neumann) sur une algèbre de von Neumann ${\mathcal {A}}$ est une application $Tr:{\mathcal {A}}^{+}\rightarrow [0,+\infty ]$ telle que
       $Tr\left\{u+v\right\}=Tr\left\{u\right\}+Tr\left\{v\right\}$, $Tr\left\{\lambda u\right\}=\lambda Tr\left(u\right)(\lambda \in \mathbb {R} _{+})$
où l'on convient que $0.\left(+\infty \right)=0$, et
       $Tr\left\{uu^{\ast }\right\}=Tr\left\{u^{\ast }u\right\}$ ($u,v\in {\mathcal {A}}$).
Une trace est dite finie si elle ne prend que des valeurs finies dans ${\mathcal {A}}^{+}$ ; on la prolonge alors à ${\mathcal {A}}$ d'une manière évidente. Elle est dite semi-finie si pour tout $u\in {\mathcal {A}}^{+}$
       $Tr\left\{u\right\}=\sup \left\{Tr\left\{v\right\}:0\leq v\leq u,Tr\left\{v\right\}<+\infty \right\}$.
Une algèbre de von Neumann est dite finie (resp. semi-finie) si pour tout $u\in {\mathcal {A}}^{+}$, $u\neq 0$, il existe une trace finie (resp. semi-finie) $Tr$ telle que $Tr\left\{u\right\}\neq 0$. Une trace non triviale est une trace qui n'est pas identiquement nulle.
Une algèbre de von Neumann est un facteur si son centre se réduit aux opérateurs scalaires (et est donc isomorphe à $\mathbb {C}$). Sur un facteur, une trace non triviale est unique (à la multiplication près par une constante) si elle existe. Les facteurs pour lesquels il n'existe pas de trace non triviale sont dits de type III : ce cas est pathologique. Les autres (auxquels on se restreindra désormais) sont dits de type I ou II. Parmi les facteurs finis, il y a les algèbres de matrices $\mathbf {M} _{n}(\mathbb {C} )$ ; ces facteurs sont dits de type $I_{n}$. Parmi les facteurs semi-finis non finis, il y a les algèbres $End(H)$ où H est un espace de Hilbert de dimension infinie ; ces facteurs sont dits de type $I_{\infty }$. Un facteur de type $I_{n}$ ou de type $I_{\infty }$ est dit de type I. Les facteurs qui ne sont ni de type I, ni de type III, sont dits de type II.
Un élément $u\in {\mathcal {A}}$ est dit de Hilbert-Schmidt relativement à une trace $Tr$ si $Tr\left\{u^{\ast }u\right\}<\infty$. La norme de Hilbert-Schmidt d'un tel opérateur est $\left\Vert u\right\Vert _{2}={\sqrt {Tr\left\{u^{\ast }u\right\}}}$.

#### Théorème de Plancherel-Mautner-Segal

Soit G un groupe, $H=L^{2}(G)$, $\gamma$ la représentation régulière de G dans H et ${\mathcal {A}}$ l'algèbre de von Neumann engendrée par les $\gamma (x)H,x\in G$. Il découle d'un théorème de Mautner, démontré à partir du lemme de Schur, qu'on peut décomposer $\gamma$ suivant une somme continue
       $\gamma =\int _{Z}U_{z}d\pi \left(z\right),L^{2}(G)=\int _{Z}H_{z}d\pi \left(z\right)$,
où $\left(Z,\pi \right)$ est un espace mesuré, chaque $U_{z}$ est une représentation de G dans $H_{z}$, $U_{z}\in {\mathcal {A}}_{z}$, où chaque ${\mathcal {A}}_{z}=End(H_{z})$ est un facteur de type I (resp. II), muni d'une trace non triviale $Tr_{z}$ (unique à la multiplication près par un coefficient >0) ; les représentations $U_{z}$ sont dites factorielles de type I (resp. II). Soit, pour $f\in L^{2}(G)\cap L^{1}(G)$
       ${\overline {\mathcal {F}}}[f](z)=\int _{G}U_{z}(x)f(x)dm_{G}\left(x\right)$.
Cet opérateur et borné pour tout $z\in Z$ et ${\overline {\mathcal {F}}}\left[f\right]\in F(Z)$ où $F\left(Z\right)=\prod \nolimits _{z\in Z}{\mathcal {A}}_{z}$.
Définition — On appelle cotransformation de Fourier l'application ${\overline {\mathcal {F}}}:L^{2}(G)\cap L^{1}(G)\rightarrow F(Z):f\mapsto {\overline {\mathcal {F}}}\left[f\right]$.
Soit $L^{2}(Z)$ la somme continue des espaces de Hilbert ${\mathcal {A}}_{z}$ : $L^{2}(Z)$ est l'espace des familles $\pi$-mesurables $\Phi =(\Phi _{\hat {x}})\in F(Z)$ telles que $\int _{Z}\left\Vert \Phi _{z}\right\Vert _{2}^{2}d\pi \left(z\right)<\infty$ (où $\left\Vert \Phi _{z}\right\Vert _{2}$ est la norme de Hilbert-Schmidt relativement à la trace $Tr_{z}$) muni du produit scalaire
       $\left\langle \Phi ,\Psi \right\rangle _{L^{2}\left(Z\right)}=\int _{Z}Tr_{z}\left\{\Phi _{z}^{\ast }\Psi _{z}\right\}d\pi \left(z\right)$.
Le produit scalaire dans $L^{2}(G)$ est défini comme dans le cas d'un groupe compact. Par densité de $L^{2}(G)\cap L^{1}(G)$ dans $L^{2}(G)$, on obtient le résultat suivant$^,$ :
Théorème de Plancherel-Mautner-Segal — En normalisant de manière appropriée les traces $Tr_{z}$, la cotransformation de Fourier sur se prolonge en une application linéaire isométrique de $L^{2}(G)$ sur $L^{2}(Z)$ :
       $\left\langle f,g\right\rangle _{L^{2}\left(G\right)}=\left\langle {\overline {\mathcal {F}}}[f],{\overline {\mathcal {F}}}[f]\right\rangle _{L^{2}\left({\hat {G}}\right)}$
(égalité de Parseval), ou plus explicitement
       $\int _{G}{\overline {f\left(x\right)}}g\left(x\right)dx=\int _{Z}Tr_{z}\left\{{\overline {\mathcal {F}}}\left[f\right]\left(z\right)^{\ast }{\overline {\mathcal {F}}}\left[g\right]\left(z\right)\right\}d\pi \left(z\right)$ .
Ce théorème implique évidemment que si $f\in L^{2}\left(G\right)$, alors $\left\Vert {\overline {\mathcal {F}}}[f](z)\right\Vert _{2}<\infty$ $\pi$-presque partout.
L'égalité de Parseval permet d'inverser la cotransformation de Fourier (et de définir ainsi la transformation de Fourier) en suivant la même méthode que celle qui a été utilisée sur un groupe commutatif, puis sur un groupe compact ; en définissant $A(G)$ comme plus haut, on obtient :
Corollaire — Si $f\in A(G)$, f est continue et on a pour tout $x\in G$ a formule d'inversion de Fourier, ou formule de Plancherel
       $f(x)=\int _{Z}Tr_{z}\left\{U_{z}(x){\overline {\mathcal {F}}}\left[f\right](z)\right\}d\pi (z)={\mathcal {F}}\left[{\overline {\mathcal {F}}}\left[f\right]\right](x)$,
l'intégrale du membre de droite étant absolument convergente, et où on a posé
       ${\mathcal {F}}\left[{\hat {f}}\right]\left(x\right)=\int _{Z}Tr_{z}\left\{U_{z}\left(x\right){\hat {f}}\left(z\right)\right\}d\pi \left(z\right)$.
Par densité de $A(G)$ dans $L^{2}(G)$, on peut étendre l'expression $f={\mathcal {F}}\left[{\overline {\mathcal {F}}}\left[f\right]\right]$ à $L^{2}(G)$.
Le même raisonnement que dans le cas commutatif montre que l'égalité de Parseval et la formule de Plancherel sont équivalentes.

#### Cas des « groupes apprivoisés »

Ce qui précède est tout à fait général, les représentations factorielles $U_{z}$ pouvant être de type I ou II. Néanmoins, les représentations de type II présentent des caractères pathologiques ; en particulier, elles admettent des décompositions en représentations irréductibles non équivalentes, ce qui ne peut pas se produire avec les représentations de type I.
Un groupe G est dit de type I, ou « apprivoisé » (terminologie de Kirillov), si toutes ses représentations factorielles sont de type I. La classe des groupes apprivoisés contient celle des groupes commutatifs, des groupes compacts, des groupes (réels, complexes ou p-adiques) réductifs (et en particulier des groupes de Lie semi-simples) et des groupes de Lie nilpotents. En revanche, il existe des groupes de Lie résolubles et des groupes discrets non commutatifs qui ne sont pas apprivoisés (et sont donc « sauvages »).
Sur un groupe apprivoisé, les représentations factorielles sont irréductibles. En identifiant deux représentations irréductibles équivalentes, l'espace mesuré $(Z,\pi )$ s'identifie donc avec $({\hat {G}},m_{\hat {G}})$, l'espace dual du groupe G. Les opérateurs ${\hat {f}}\left(z\right)$ ci-dessus sont alors des opérateurs de Hilbert-Schmidt (en) au sens usuel, leur trace a sa signification habituelle, et $m_{\hat {G}}$ est appelée la mesure de Plancherel. Dans le cas où G est compact, le théorème de Plancherel-Mautner-Segal se réduit à celui de Plancherel-Peter-Weyl, les espaces $H_{z}=H_{\hat {x}}$ étant alors de dimension finie, ${\hat {G}}$ étant discret, $\pi \left(\left\{{\hat {x}}\right\}\right)$ étant la dimension $d({\hat {x}})$ de $H_{\hat {x}}$, et les ${\hat {f}}\left(z\right)$ étant des matrices carrées d'ordre $d({\hat {x}})$.

### Théorie de Harish-Chandra
#### Caractères de Harish-Chandra

Soit G un groupe apprivoisé, par exemple un groupe de Lie semi-simple. Les représentations irréductibles de G ne sont pas de dimension finie en général ; la définition des caractères qui a été donnée à propos des groupes compacts n'est donc plus valide, puisque chaque ${\hat {x}}(x)$ est un opérateur unitaire dans un espace de Hilbert de dimension infinie, et n'admet donc pas de trace. Soit ${\mathcal {D}}(G)$ l'espace des fonctions indéfiniment dérivables sur G et à support compact, muni de sa topologie habituelle en théorie des distributions. Si $f\in {\mathcal {D}}(G)$,
       ${\overline {\mathcal {F}}}\left[f\right]\left({\hat {x}}\right)=\int _{G}{\hat {x}}(x)f(x)dm_{G}\left(x\right)$
est un opérateur à trace.
Théorème et définition — L'application $\Theta _{\hat {x}}:{\mathcal {D}}(G)\rightarrow \mathbb {C} :f\mapsto \Theta _{\hat {x}}\left(f\right)=Tr\left\{{\overline {\mathcal {F}}}\left[f\right]({\hat {x}})\right\}$ est une forme linéaire continue, donc une distribution, appelée caractère de Harish-Chandra. La distribution $\Theta _{\hat {x}}$ est régulière, définie par une fonction localement intégrable $\theta _{\hat {x}}$, de sorte que
       $\Theta _{\hat {x}}\left(f\right)=\int _{G}\theta _{\hat {x}}\left(x\right)f\left(x\right)dm_{G}\left(x\right)$.
En notant $dm_{\hat {G}}$ la mesure de Plancherel, on obtient la « formule de Plancherel abstraite » pour une fonction $f\in {\mathcal {D}}(G)$ sous la forme : pour tout $x\in G$,
       $f\left(x\right)=\int _{\hat {G}}\Theta _{\hat {x}}\left(\gamma \left(x^{-1}\right)f\right)dm_{\hat {G}}\left({\hat {x}}\right)$.
On peut se contenter d'évaluer la formule de Plancherel en $x=e$. Elle peut alors s'interpréter comme un développement sur l'espace dual de la distribution de Dirac :
       $\delta =\int _{\hat {G}}\Theta _{\hat {x}}dm_{\hat {G}}\left({\hat {x}}\right)$.

#### Sous-groupes de Cartan, séries discrète et principale

Soit G un groupe de Lie, qu'on supposera semi-simple dans tout ce qui suit. Les représentations irréductibles forment trois « séries ». Les deux qui interviennent dans la formule de Plancherel sont les « séries tempérées ». L'autre, qui donne lieu à des termes globalement de mesure de Plancherel nulle, est la « série complémentaire » ; sa détermination exhaustive dans le cas général reste un problème ouvert, et les deux séries tempérées sont les plus importantes. Un sous-groupe de Cartan est un sous-groupe abélien maximal. Il existe un nombre fini de classes de conjugaison de ces sous-groupes, et chacun d'eux est de la forme $T\times A$ où T est compact et A est isomorphe à $\mathbb {\mathbb {R} } ^{n}$ pour un certain entier n. La série discrète existe si, et seulement s'il existe des sous-groupes de Cartan compacts ; les représentations irréductibles ${\hat {x}}\in {\hat {G}}$ de cette série se caractérisent par le fait que $m_{\hat {G}}\left(\left\{{\hat {x}}\right\}\right)>0$, et leur caractère est analogue à celui obtenu pour les groupes compacts par Peter et Weyl ; les représentations irréductibles de la série discrète ont, comme dans le cas compact, un degré fini, appelé « degré formel », $d({\hat {x}})$. Les caractères des représentations irréductibles sont intégrés dans la série principale par rapport à une mesure absolument continue (par rapport à la mesure de Lebesgue) dont la densité est appelée « fonction de Plancherel ».
Dans le cas de $SL_{2}(\mathbb {R} )$, il existe deux classes de conjugaison de sous-groupes de Cartan. L'une d'entre elles, à laquelle sera associée la série discrète, est constituée de groupes compacts isomorphes à $\mathbb {T}$ :
       $T=\left\{\left({\begin{array}{cc}\cos \theta &\sin \theta \\-\sin \theta &\cos \theta \end{array}}\right):\theta \in 2\pi \mathbb {T} \right\}$.
L'autre, à laquelle sera associée la série principale, est constituée de groupes isomorphes à $\mathbb {\mathbb {R} }$ (en passant par le logarithme) :
       $A=\left\{\left({\begin{array}{cc}a&0\\0&a^{-1}\end{array}}\right):a>0\right\}.$

#### Formule de Plancherel-Harish-Chandra

L'aboutissement des travaux de Harish-Chandra est la formule de Plancherel « explicite », dont la démonstration prend près de 250 pages et qui s'écrit pourtant sous une forme concise :
Formule de Plancherel-Harish-Chandra — Soit $f\in {\mathcal {D}}(G)$ ; alors
       $f\left(e\right)=\sum \limits _{H=T\times A}\sum \limits _{{\hat {x}}\in {\hat {T}}}d\left({\hat {x}}\right)\int _{\hat {A}}\Theta \left(H,{\hat {x}};\nu \right)\left(f\right)\mu \left(H,{\hat {x}};\nu \right)d\nu .$
La première sommation s'effectue sur un ensemble de représentants $H=T\times A$ des classes de conjugaison des sous-groupes de Cartan de G (avec la notation introduite plus haut). La seconde correspond à la série discrète, dont les éléments ${\hat {x}}\in {\hat {T}}$ ont pour degré formel $d\left({\hat {x}}\right)$. Les $\Theta \left(H,{\hat {x}};\nu \right)$ sont les caractères de Harish-Chandra. Enfin, $\mu \left(H,{\hat {x}};.\right)$ est la fonction de Plancherel et $d\nu$ est la mesure de Lebesgue. L'avantage de la formule de Plancherel-Harish-Chandra sur la formule de Plancherel abstraite est qu'au lieu que l'intégration soit réalisée par rapport à la mystérieuse mesure de Plancherel, elle consiste maintenant en une somme discrète plus une intégration par rapport à la mesure de Lebesgue.
Dans le cas de $SL_{2}(\mathbb {R} )$, la formule de Plancherel-Harish-Chandra s'écrit :
       ${\begin{array}{c}f\left(e\right)=\sum \limits _{n\in \mathbb {Z} }\left\vert n\right\vert \Theta \left(T;n\right)\left(f\right)+\quad \quad \quad \quad \quad \quad \quad \\+{\frac {1}{4}}\int _{-\infty }^{+\infty }\Theta \left(A,0;\nu \right)\left(f\right){\rm {{th}\left({\frac {\pi \nu }{2}}\right)d\nu }}\\+{\frac {1}{4}}\int _{-\infty }^{+\infty }\Theta \left(A,1;\nu \right)\left(f\right){\rm {{coth}\left({\frac {\pi \nu }{2}}\right)d\nu .}}\end{array}}$
Le premier terme est la série discrète, dont l'élément (i.e. la représentation irréductible) d'indice n a pour degré formel $\left\vert n\right\vert$ ; les deux suivants constituent la série principale. Les $\Theta \left(A,\varepsilon ;\nu \right)(\varepsilon =0,1)$ sont les caractères de Harish-Chandra, $\nu \mapsto {\rm {{th}\left({\frac {\pi \nu }{2}}\right)}}$ et $\nu \mapsto {\rm {{coth}\left({\frac {\pi \nu }{2}}\right)}}$ sont les deux fonctions de Plancherel (l'une ou l'autre étant utilisée suivant la valeur de $\varepsilon$). On montre qu'il existe en outre deux séries complémentaires.