# Leçons de Mathématiques contemporaines à l'IRCAM

Yves André

► To cite this version:

Yves André. Leçons de Mathématiques contemporaines à l'IRCAM. Master. IRCAM, France. 2009. cel-01359200

HAL Id: cel-01359200

https://cel.hal.science/cel-01359200v1

Submitted on 2 Sep 2016

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
Leçons de Mathématiques contemporaines
à l'IRCAM

Yves André<fnref n="1" />

6 février 2009

<footnote n="1">¹École Normale Supérieure, Département de Mathématiques, 45 rue d'Ulm, 75005 Paris, France, andre@dma.ens.fr</footnote>
an die Glasperlenspieler
# Introduction.

Ce petit livre rassemble et complète des « leçons de Mathématiques contemporaines » données par l'auteur à l'IRCAM<fnref n="1" /> en 2008/2009, devant un public d'intellectuels venant d'horizons divers.

Son propos est de donner accès à la pensée mathématique d'aujourd'hui, en présentant, au cours de chaque leçon, un concept central, une idée-force des Mathématiques à des non-mathématiciens.

Il ne s'agit pas d'un cours au sens usuel : il n'y a ni parcours graduel univoque, ni visée de transmission d'un quelconque savoir-faire mathématique.

Il ne s'agit pas non plus d'une introduction historique, ni d'une apologie, ni d'une anthologie, ni d'un catalogue raisonné, ni d'un survol panoramique<fnref n="2" /> (encore que l'on puisse tirer de ces pages des tables d'orientation pour un assez vaste pan des Mathématiques contemporaines); ni d'une « entreprise scientifique-caritative », comme disait G. Châtelet, et nous nous abstiendrons de déployer

la panoplie puérile charriée par le big-bang (qui ne cesse de commencer),
le chaos (qui neutralise tout), [...] le fractal (qui fascine surtout les esprits un
peu simples)<fnref n="3" />,

ainsi que les néo-indivisibles de la prétendue « analyse non-standard » et les guirlandes tressées autour des théorèmes de Gödel - bref, les thèmes-bateaux qu'une certaine vulgarisation mathématique ressasse sur un ton guilleret.

Il existe heureusement des exemples réussis de vulgarisation<fnref n="4" /> qui, loin de ces lieux communs et des amusettes de « mathématiques récréatives », invitent en douceur à de vrais voyages sur les terres de l'Algèbre, de la Géométrie ou de l'Analyse, et permettent parfois d'en apercevoir quelque sommet.

<footnote n="1">¹Institut de Recherche et Coordination Acoustique/Musique, Paris.</footnote>

<footnote n="2">²pour un catalogue raisonné, commenté et mis en perspective, des notions et résultats de base des Mathématiques, on recommande le livre *Mathematics, Form and Function* de S. MacLane : cet ouvrage limpide et extrêmement soigné permet d'acquérir rapidement un solide bagage mathématique.</footnote>

<footnote>Pour un panorama, on pourra consulter les conférences d'initiation par divers auteurs : *Leçons de mathématiques d'aujourd'hui*, vol. I, II, Cassini. Contrairement au présent livre, ces deux volumes, ainsi que celui de MacLane, s'adressent d'abord à un public d'étudiants en Mathématiques.</footnote>

<footnote n="3">³Gilles Châtelet, *Les enjeux du mobile*, Seuil 1993, introduction.</footnote>

<footnote n="4">⁴voir par exemple *Dimensions* sur www.dimensions-math.org</footnote>
Mais le présent livre se situe sur un tout autre plan. Basé sur la conviction que les Mathématiques sont une pensée avant d'être une technique, son objectif est précisément de contribuer à ouvrir cette pensée vivante méconnue à d'autres formes de pensée contemporaines, dans l'espoir de susciter des résonances.

Pour mieux saisir la singularité de ce projet mené à l'IRCAM, on peut imaginer ce que serait son « symétrique » : donner accès à la musique d'aujourd'hui à des non-connaisseurs (par exemple mathématiciens), non par le biais d'un cours intensif de solfège ou d'un discours musicologique, mais par une confrontation, préparée, aux œuvres elles-mêmes. L'analogie laisse penser que la compréhension passe par une phase de « choc », qu'il s'agit de dépasser ; elle suggère de ne pas chercher à s'approprier le contenu de ces leçons sur le mode des dictées musicales, mais de construire sa propre écoute - dans une démarche qui

viserait à une saisie rationnelle de l'allusion et de l'apprendre sur l'apprendre [... sans] confondre l'apprendre avec une razzia sur un butin informatif<fnref n="5" />.

Les cinq principes qui guident cette entreprise sont les suivants.

1) Parmi les éléments constitutifs des mathématiques vivantes - formation de concepts, raisonnement, calcul... -, c'est l'élément conceptuel que nous privilégierons, presque exclusivement.

2) Les concepts fondamentaux dont il s'agira seront non seulement situés, mais effectivement présentés. Il ne sera donc pas question de les enrober d'un discours décoratif et métaphorique, mais d'aller « à la chose même » (nous essaions en contrepartie de réduire les détails techniques au minimum compatible avec cette rude exigence).

3) Pour atténuer l'impression d'hermétisme des Mathématiques si souvent évoquée, nous choisirons ces concepts fondamentaux sur le critère qu'ils condensent des points de vue mathématiques sur des notions communes, c'est-à-dire n'appartenant pas en propre aux Mathématiques : espace, symétrie, singularité, dualité, infini... Chacun pourra confronter ces points de vue à ceux qui lui sont plus familiers (musicaux, architecturaux, philosophiques...) sur les mêmes notions communes, et disposer ainsi d'un point d'ancrage.

4) Nous nous attacherons à dessiner avec netteté les mouvements de pensée et enjeux entourant chacun de ces concepts. Quelques perspectives historiques seront évoquées ça et là, non pour elles-mêmes, mais comme moyen d'éclairer ces enjeux. Surtout, nous nous évertuerons à restituer

ce surplus de sens que l'écriture formalisée croit bon d'évacuer, alors même que là gît l'essence de la pensée mathématique<fnref n="6" />.

5) Les concepts présentés réapparaîtront discrètement au fil des chapitres sous diverses perspectives, de manière à favoriser une compréhension rétrospective et surtout à laisser entrevoir la fascinante et mystérieuse unité des Mathématiques (les chapitres seront néanmoins assez largement indépendants pour pouvoir circuler librement de l'un à l'autre<fnref n="7" />).

<footnote n="5">⁵G. Châtelet, loc. cit.</footnote>

<footnote n="6">⁶F. Patras, *La pensée mathématique contemporaine*, PUF 2001, p. 6.</footnote>

<footnote n="7">⁷l'index et le glossaire peuvent aider en cas de désorientation passagère.</footnote>
Par ailleurs, sans tabler sur aucun prérequis mathématique (ce qui ne revient pas à nier le rôle de la culture mathématique dans l'appropriation de ces leçons), nous supposerons le lecteur non seulement rompu à la pensée spéculative, mais aussi animé d'un fort intérêt *a priori* pour la pensée mathématique en général et ses liens avec d'autres modes de penser.

*Remerciements.* Je remercie l'IRCAM et son directeur, Frank Madlener, ainsi que le séminaire MaMuX d'avoir accueilli ce projet. Je remercie Moreno Andreatta et François Nicolas d'en avoir assuré l'organisation avec beaucoup de dynamisme. C'est grâce à la fidélité d'un public très motivé et interactif que le projet a pu aboutir.

Les nombreuses discussions avec François Nicolas qui ont nourri ce projet, son soutien et son enthousiasme constants m'ont été très précieux; je l'en remercie.

Je remercie tous les collègues qui m'ont encouragé dans cette entreprise, et tout particulièrement Pierre Cartier pour sa lecture critique très attentive et les corrections et suggestions qu'il m'a communiquées.
# Chapitre 1

## Espace I. Topos.

« C'est le thème du topos qui est ce « lit » où viennent s'épouser la géométrie et l'algèbre, la topologie et l'arithmétique, la logique mathématique et la théorie des catégories, le monde du continu et celui des structures « discontinues » ou « discrètes ».

Il est ce que j'ai conçu de plus vaste, pour saisir avec finesse, par un même langage riche en résonnances géométriques, une « essence » commune à des situations des plus éloignées les unes des autres. »

A. Grothendieck, *Récoltes et Semaines*, p. 59.

Les deux premiers chapitres évoquent deux points de vue mathématiques les plus avancés et les plus profonds sur la notion commune d'espace : à savoir, la géométrie des topos et la géométrie non commutative. Chacune représente un aboutissement de la très longue maturation de la pensée mathématique autour de la problématique de la « localité » et des rapports du « local » au « global ».

Nous commençons par la géométrie des topos, initiée par Alexander Grothendieck dans les années 1960, vaste extension de la topologie générale. D'inspiration algébro-géométrique, la notion de topos intègre et fusionne les notions fondamentales de surface de Riemann et de faisceau<fnref n="1" />, notions que nous déclinerons tour à tour. Après une introduction très condensée au point de vue catégorique, nous indiquerons ensuite le chemin mathématique qui relie « topos » et « logos ».

<footnote n="1">¹pour le lecteur pressé de lire la « morale de l'histoire », signalons d'emblée qu'elle se trouve aux paragraphes 1.4.2 et 1.6.1.</footnote>
# 1.1 Topologie générale.

Ce qu'on appelle aujourd'hui Topologie générale est l'étude mathématique qualitative des « lieux » et des « relations spatiales » : elle théorise les notions de proximité, frontière, localité, continuité, etc... et leurs liens mutuels.

On peut sans doute faire remonter le projet de la topologie (analysis situs, en latin) à Leibniz, mais c'est Riemann qui en jeta les bases dans sa célèbre dissertation, et la Topologie générale fut ensuite axiomatisée par Hausdorff (1914).

Topologie désigne à la fois un chapitre des Mathématiques et un objet mathématique dont s'occupe cette discipline.

## 1.1.1 Ce que c'est.

Lisons donc la définition d'une topologie dans le « texte canonique » : Bourbaki, *Topologie générale*, chapitre 1².

« DÉFINITION 1. On appelle structure topologique (ou plus brièvement topologie) sur un ensemble X une structure constituée par la donnée d'un ensemble $\mathcal{D}$ de parties de X possédant les propriétés suivantes :

(O₁) Toute réunion d'ensembles de $\mathcal{D}$ est un ensemble de $\mathcal{D}$.

(O₁₁) Toute intersection finie d'ensembles de $\mathcal{D}$ est un ensemble de $\mathcal{D}$.

Les ensembles de $\mathcal{D}$ sont appelés ensembles ouverts.

DÉFINITION 2. On appelle espace topologique un ensemble muni d'une structure topologique.

Les éléments d'un espace topologique sont appelés points. [...] L'axiome (O₁) implique en particulier que la réunion de la partie vide de $\mathcal{D}$, c'est-à-dire l'ensemble vide, appartient à $\mathcal{D}$. L'axiome (O₁₁) implique en particulier que l'intersection de la partie vide de $\mathcal{D}$, c'est-à-dire de l'ensemble X, appartient à $\mathcal{D}$. »<fnref n="3" />.

Écoutons à présent le commentaire du poète mathématicien J. Roubaud<fnref n="4" /> :

J'ai lu et relu d'innombrables fois ces définitions, toute cette première page et les pages suivantes, sans rien comprendre, littéralement sans rien comprendre. Mais je n'ai pris que peu à peu conscience du fait que la difficulté essentielle venait non d'une extrême impénétrabilité du sujet (ce n'est certes pas le cas) ni d'une incapacité congénitale de ma part à le comprendre (heureusement), mais de ce que je ne savais pas lire.

<footnote n="2">²Hermann, 1971.</footnote>

<footnote n="3">³ce commentaire de Bourbaki sur la définition 1, qui semble de prime abord assez obscur, explique que, comme conséquence des axiomes, dans tout espace topologique X, le tout X et la partie vide $\emptyset$ sont des ouverts : pour Bourbaki (bon barbier selon Ockham), une réunion vide de parties (de X) est la partie vide, une intersection vide de parties est la partie pleine. Cela se justifie pleinement du point de vue « catégorique », mais guère du point de vue pédagogique, et bien d'autres exposés préfèrent être clairs et pécher par redondance en ajoutant aux axiomes (O₁) et (O₁₁) l'axiome suivant lequel X et $\emptyset$ sont des ouverts.</footnote>

<footnote n="4">⁴Mathématique : (récit), Seuil 1997, p. 159-160.</footnote>
[...] Le mode de lecture romanesque, l'extrême rapidité qui m'était cou-
tumière depuis l'enfance pour la dévoration des romans, ne pouvait à l'évi-
dence pas me servir dans ces circonstances nouvelles.

[...] Restait la poésie. [...] (à la différence de ce qui se passait pour la prose)
je relisais la poésie sans cesse jusqu'au point d'une réappréhension de tous
ses éléments au présent, dans la simultanéité du temps intérieur. [...] Je me
mis donc, et sans réfléchir, à lire les paragraphes du chapitre 1 du livre de
Topologie comme s'il s'agissait d'une séquence de poèmes.

Qu'est-ce donc que comprendre une notion mathématique ?

C'est plus subtil, apparemment que comprendre une démonstration. Com-
prendre littéralement - connaître la signification des termes employés dans la dé-
finition formelle - n'est pas suffisant : il faut un complément heuristique. Il ne suf-
fit pas de savoir lire. Il faut disposer d'exemples significatifs pour donner corps
à la définition, et éventuellement de contre-exemples pour la baliser. Il faut par
ailleurs saisir la motivation et surtout l'usage de la notion, ce qui relève tant de la
connaissance de l'histoire de la discipline que de la pratique. Enfin et surtout, il
faut voir « fonctionner » la définition dans divers contextes.

Revenant aux espaces topologiques, l'exemple de base est la droite réelle $\mathbb{R}$ munie de la topologie dont les ouverts sont les réunions (éventuellement infinies) d'intervalles privés de leurs extrémités ; et plus généralement, l'espace $\mathbb{R}^n$ à $n$ dimensions muni de la topologie dont les ouverts sont les réunions de boules ouvertes<fnref n="5" />.

1.1.2 Voisinages.

Un *voisinage* d'un point *x* ∈ X est une partie de X contenant un ouvert contenant *x*.

Si cette notion dérive de celle d'ouvert, on récupère, réciproquement, la no-
tion d'ouvert à partir de celle de voisinage : un ouvert est une partie de X qui
est voisinage de chacun de ses points. Ces notions sont ainsi logiquement équi-
valentes et il est donc possible de définir, de manière équivalente, une topologie
par une axiomatique des voisinages. Cette axiomatique consiste en fait à dire que
l'ensemble V(x) des voisinages d'un point quelconque x ∈ X forme un filtre (à
savoir :

(V_I) Toute partie de X qui contient un élément de V(x) (c'est-à-dire un voisi-
nage de x) est un élément de V(x),

(V_{II}) Toute intersection finie de parties de X qui sont des éléments de V(x) est un élément de V(x),

(V_{III}) Le vide n'est pas un élément de V(x) (en effet x appartient à chacun de ses voisinages),)

en ajoutant que

<footnote n="5">⁵la boule ouverte de centre x et de rayon r est l'ensemble des points à distance strictement inférieure à r de x.</footnote>
$(V_{IV})$ si $V$ est un voisinage de $x$, il en existe un autre $W$ tel que $V$ soit voisinage de chacun des points de $W$.

Revenons au problème de la compréhension des notions mathématiques. Il suit de ce que nous en avons dit qu'il s'agit d'un processus progressif - qui peut passer par le malentendu. Il est en tout cas fort utile de se forger une représentation (même fantaisiste) donnant un contenu intuitif à la présentation formelle - sans jamais toutefois confondre celle-ci avec celle-là.

Écoutons l'évocation de Roubaud à propos du filtre des voisinages<fnref n="6" /> :

C'est ici que le mot *filtre*, et l'image qu'aussitôt il évoque vient s'interpo-
ser entre la topologie telle qu'elle est [...] et le souvenir que j'en ai gardé.

Cela veut dire qu'il ne m'était pas possible alors, qu'il ne m'est pas pos-
sible encore aujourd'hui de ne pas voir ces filtres, et surtout de ne pas les
voir comme liés, et même surimprimés à une représentation mentale de ces
objets exaspérants qu'étaient les cafés-filtres des cafés.

[...] Je pense tout particulièrement à la lenteur générale de l'écoulement de leur contenu, cette soupe brunâtre qualifiée sans honte de café, qui m'amenait à les saisir, en dépit de toutes mes expériences antérieures, avant l'achèvement du trajet de haut en bas du liquide et par conséquent à me brûler les doigts; puis à me brûler la langue en essayant de m'en débarrasser trop tôt en les buvant. Je les vois et je vois aussitôt quelque chose comme une icône d'espace topologique, une sorte de grande prairie de « points », chacun placé au-dessous d'une tasse-filtre, son « filtre de voisinages ».

[...] Cette image donnait à l'idée de point une tout autre représentation
que celle de la géométrie élémentaire scolaire et elle s'est pour moi entièrement
substituée à la première.

Et je ne vous parlerai pas des divins et singuliers ultrafiltres.

[...] Si je m'y attarde un peu, le paysage glisse vers autre chose, vers un
support de narration; il devient un paysage « carrollien », où une licorne
vient boire dans les tasses avec une unique paille au-dessus de son unique
corne. Elle en fausse la topologie, bien sûr. [...] Tel est le scénario irrémé-
diablement frivole, mathématiquement irresponsable, dont j'accompagne en
pensée l'idée de topologie. [...] On ne commande pas aisément ce qui peuple
notre espace intérieur, et ses lointains.

1.1.3 Intérieur et frontière.

L'intérieur d'une partie $A$ de $X$ est l'ensemble des points de $A$ dont $A$ est un voisinage. On le note $\tilde{A}$.

C'est encore une notion logiquement équivalente à celle d'ouvert : une partie est ouverte si et seulement si elle est son propre intérieur. On peut donc définir une topologie, de manière alternative, par une axiomatique des intérieurs, qui est la suivante<fnref n="7" /> :

$$
\tilde{X} = X, \quad \tilde{A} \subset A, \quad (A \cup B) = \tilde{A} \cup \tilde{B}, \quad \tilde{A}^{\circ} = \tilde{A}.
$$

<footnote n="6">⁶op. cit. pp. 164-165, 199.</footnote>

<footnote n="7">⁷C'est cette axiomatique qui est utilisée, par exemple, par A. Badiou, *Logiques des Mondes*, Seuil 2006, ch. VI.</footnote>
La frontière d'une partie A de X est l'ensemble des points de X qui ne sont ni à l'intérieur de A, ni à l'intérieur du complémentaire de A.

Voici la vision « éthologique » de l'intérieur et de la frontière (d'un territoire) que propose le mathématicien R. Thom<fnref n="8" />, fondateur d'une théorie topologique de la morphogenèse :

> Si l'on examine les emplois actuels du mot *lieu* en français, on observera qu'un lieu demande toujours un habitant qui en fait sa résidence. [...] De là l'hypothèse que le mot *topos* implique un être humain ou un animal qui séjourne (normalement) en ce lieu.

> [...] On peut partir de l'hypothèse (simpliste) qu'Aristote, s'imaginant un être vivant, le dotera d'un territoire. [...] Mais ce domaine aura, dans la pratique, des bornes que l'individu préférera ne pas franchir. De là la notion [...] de limites : les *eschata*.

> [...] En fait, selon la conception ici proposée, la théorie des lieux serait liée à un problème central de l'éthologie actuelle : comment un animal (ou un humain) se repère-t-il au sein de son territoire ?

### 1.1.4 De l'espace topologique au treillis de ses ouverts.

Bien que moins « intuitive » que la notion de voisinage, la notion d'ouvert s'avère souvent techniquement plus utile.

L'ensemble $\mathcal{D}$ des ouverts d'un espace topologique $X$ est muni d'une structure de treillis : c'est un ensemble (partiellement) ordonné<fnref n="9" /> (par l'inclusion $\subset$), muni de deux lois de composition associatives $\cap$ et $\cup$ (en général : la borne inférieure et la borne supérieure; ici, l'intersection et la réunion) qui vérifient la propriété suivante :

$$ \text{pour tous } U, V \in \mathcal{D}, U \cap (U \cup V) = U \cup (U \cap V) = U. $$

En associant à l'espace topologique $(X, \mathcal{D})$ le treillis des ouverts $\mathcal{D}$, il semble donc qu'on oublie les points de $X$. Or il n'en est rien : sous une condition extrêmement faible de séparation des points - la sobriété, toujours vérifiée en pratique<fnref n="10" /> - on ne perd rien : on peut reconstruire l'ensemble $X$ à partir du treillis $\mathcal{D}$.

L'idée pour retrouver les points est simple : on identifie un point $x \in X$ au filtre de ses voisinages ouverts.

<footnote>Ici, comme dans toute la suite, on utilise les symboles « ensemblistes » usuels : $\cap$ pour l'intersection de deux ou plusieurs parties d'un ensemble, $\cup$ pour leur réunion, $X \setminus A$ pour le complémentaire de la partie A dans l'ensemble $X$, $A \subset X$ pour indiquer que $A$ est une partie de $X$, $x \in X$ pour indiquer que $x$ est un élément de $X$ (ou, en langage géométrique, que $x$ est un point de l'espace $X$), $\emptyset$ pour l'ensemble vide.</footnote>

<footnote n="8">⁸ Aristote topologue, *Revue de Synthèse* (1999), 39-48.</footnote>

<footnote n="9">⁹un ordre (partiel) $\le$ sur un ensemble $X$ est une relation binaire $x \le y$ entre des éléments de $X$, qui vérifie les conditions suivantes : $x \le x$, $(x \le y \text{ et } y \le x) \Rightarrow x = y$, $(x \le y \text{ et } y \le z) \Rightarrow x \le z$.</footnote>

<footnote n="10">¹⁰la définition technique, que nous donnons pour les lecteurs-mathématiciens qui se sont avenir-turés dans ce livre, est la suivante : $X$ est sobre si pour tout fermé (i.e. complémentaire d'un ouvert) non vide $A$ qui ne s'écrit pas comme réunion propre de deux fermés, il existe un unique point $x$ tel que $A$ soit le plus petit fermé contenant $x$.</footnote>
### 1.1.5 Applications continues.

Une application<sup>11</sup> $f : X \to Y$ entre espaces topologiques est dite *continue* si l'image *inverse* par $f$ de tout ouvert de $Y$ est un ouvert de $X$; autrement dit, si pour tout ouvert $V$ de $Y$, l'ensemble $U$ des points de $X$ que $f$ envoie dans $V$ est un ouvert de $X$.

Une application continue $f$ induit donc une application $f^*$, dans l'autre sens, entre le treillis des ouverts de $Y$ et celui des ouverts de $X$.

Dans le cas particulier où l'espace but $Y$ est $\mathbb{R}$ (la droite rélle) ou $\mathbb{C}$ (le plan complexe)<sup>12</sup> muni de sa topologie naturelle, on dit que $f$ est une *fonction*<sup>13</sup> *continue* (à valeurs réelles ou complexes).

Terminons ce paragraphe en concluant que la topologie générale a réussi à *formaliser les notions de voisinage, frontière, continuité* (et bien d'autres : limites, connexité, compacité, etc...) *de manière purement qualitative*, sans faire appel à la notion de distance ou de mesure.

## 1.2 L'idée de surface de Riemann. Sites.

### 1.2.1 « Ambiguïtés ».

Tout polynôme, tel que $x^2$ ou bien $x^3 + x$, définit une fonction continue d'une variable, réelle ou complexe : $x \mapsto x^2$, $x \mapsto x^3 + x$.

<figure><img src="image_2.png" /><figcaption>FIG. 1.1 -</figcaption></figure>

La situation est plus délicate pour une fonction algébrique telle que $\sqrt{x}$ ou bien $\sqrt{x^3 + x}$. Elle définit bien une fonction (continue) d'une variable réelle posi-

<footnote n="11"><sup>11</sup>c'est-à-dire une règle $f$ qui associe à tout élément de $X$ un élément de $Y$. On la note souvent $x \mapsto f(x)$, $x$ désignant un élément quelconque de $X$. On dit que $f$ est une *bijection* si tout élément de $Y$ est l'image par $f$ d'un et d'un seul élément de $X$.</footnote>

<footnote n="12"><sup>12</sup>rappelons que les nombres complexes s'écrivent sous la forme $z = x + \sqrt{-1}y$ où $x$ et $y$ sont des nombres réels, et $\sqrt{-1}$ est le nombre « imaginaire » racine carrée de -1. Ainsi, $\mathbb{C}$ s'identifie canoniquement à $\mathbb{R}^2$ (en décomposant tout nombre complexe $z$ en sa partie réelle $x$ et sa partie imaginaire $y$), ce qui donne la topologie sur $\mathbb{C}$.</footnote>

<footnote>Rappelons par ailleurs que le conjugué de $z$, noté $\bar{z}$, est le nombre complexe $x - \sqrt{-1}y$; le module de $z$, noté $|z|$, est la racine carrée de $z\bar{z} = x^2 + y^2$.</footnote>

<footnote n="13"><sup>13</sup>De manière générale, une *fonction* $f$ sur un ensemble $X$ est une règle qui associe à tout élément de $X$ (ou parfois, selon le contexte, seulement à certains d'entre eux) un nombre réel ou complexe. Cette notion fondamentale en Mathématiques, depuis Euler, formalise l'idée de dépendance d'une quantité par rapport à des quantités variables.</footnote>
tive. En revanche, elle n'est pas bien définie en tant que fonction d'une variable complexe : si l'on part d'un point $x$ non nul, et qu'on tourne autour de 0, cette fonction variera continûment, mais en revenant à $x$ au bout d'un tour, la valeur ne sera pas la valeur initiale, mais son opposé : $-\sqrt{x}$ ou $-\sqrt{x^3+x}$. On n'obtiendra la valeur initiale qu'au bout d'un second tour.

Il y a donc une ambiguïté (dans notre exemple : un signe) qui empêche de considérer une fonction algébrique comme une fonction (d'une variable complexe) bien définie.

### 1.2.2 Revêtements à plusieurs feuillets.

C'est Riemann qui a trouvé comment lever l'ambiguïté et donner à ces « fonctions multiformes » $f$ le statut d'authentiques fonctions bien définies<fnref n="14" />. Pour cela, il convient de regarder $f$ comme une fonction définie non pas sur le plan complexe $X = \mathbb{C}$ ou l'un de ses ouverts, mais sur un *revêtement à plusieurs feuillets de $\mathbb{C}$*, appelé *surface de Riemann de $f$*.

L'exemple de $f(x) = \sqrt{x}$ est trivial à cet égard : on considère une autre copie $Y$ de $\mathbb{C}$ qu'on voit comme revêtement à deux feuillets du plan complexe original $X$ via la fonction $y \mapsto x = y^2$ (les deux feuillets se touchent au point de ramification $y = 0$). Alors $f$ devient la fonction identique $y \mapsto y = \sqrt{x}$ sur $Y$.

Nettement plus subtil est le cas de $f(x) = \sqrt{x^3 + x}$. Sa surface de Riemann est encore un revêtement à deux feuillets (qui se touchent en trois points de ramification), qui n'est plus du tout le plan complexe, mais à la forme d'une bouée.

### 1.2.3 Du treillis des ouverts aux sites de Grothendieck.

Retenons de cela que pour traiter correctement des fonctions algébriques, il convient de remplacer les ouverts de $X$ par des revêtements à plusieurs feuillets d'ouverts de $X$.

Grothendieck, élargissant cette idée aux *variétés algébriques* de dimension quelconque<fnref n="15" />, a proposé de généraliser « catégoriquement » la notion de topologie de la manière suivante, en introduisant les sites.

Un *site* est une catégorie $S$ muni de la donnée, pour chaque objet $U$ de $S$, de familles $(U_i \to U)$ (dites couvrantes) de morphismes de but $U$, stables par changement de base $U$ et composition.

Tout espace topologique classique fournit un site : le treillis de ses ouverts (vu comme catégorie, les morphismes étant donnés par les inclusions<fnref n="16" />), une famille couvrante de but l'ouvert $U$ étant une collection d'ouverts $U_i$ contenus dans $U$ dont la réunion est égale à $U$.

La première application (et la plus importante, sans doute) de cette généralisation de la notion de topologie est la construction du site étale attaché à une

<footnote n="14">¹⁴voir par exemple l'ouvrage classique de H. Weyl, *Die Idee der Riemannschen Fläche*, 1913.</footnote>

<footnote n="15">¹⁵*grosso modo*, une variété algébrique est un espace défini par des équations polynomiales (à plusieurs variables). Aucune familiarité avec cette notion n'est requise ici, les variétés algébriques n'étant mentionnées qu'à l'occasion d'allusions « historiques » sporadiques.</footnote>

<footnote n="16">¹⁶voir plus bas, 1.5.1.</footnote>
variété algébrique $X$, dont les objets sont les morphismes $U \to X$ « étales » - variante algébrique de la notion de revêtement non ramifié (cas où les feuillets « ne se touchent pas »)$^{17}$.

## 1.3 Du local au global. Faisceaux.

Un des traits caractéristiques du développement des Mathématiques depuis le milieu du XIXe siècle, c'est que les recherches mathématiques les plus différentes aient pu être poursuivies à un double point de vue, le point de vue local et le point de vue global. L'étude locale se porte vers l'élément, le plus souvent infinitésimal, de la réalité [...] L'étude globale cherche au contraire à caractériser une totalité indépendamment des éléments qui la composent; elle s'attaque d'emblée à la structure de l'ensemble [...].

La dualité du point de vue local et du point de vue global s'est tout d'abord présentée aux mathématiciens comme une opposition entre deux modes d'étude, irréductibles l'un à l'autre. Il semblait qu'il fallût choisir entre ces deux conceptions incompatibles [...]

écrivait le philosophe A. Lautman$^{18}$ peu d'années avant l'introduction des faisceaux.

### 1.3.1 Données locales (préfaisceaux).

Les espaces topologiques les plus familiers sont ceux qui sont *localement* isomorphes à des ouverts de $\mathbb{R}^n$. On les appelle *variétés* topologiques de dimension $n$. Par exemple, la sphère est une variété de dimension deux ; en effet, tout point de la sphère admet une calotte sphérique comme voisinage ouvert, et une telle calotte est isomorphe (par « aplatissement ») à un disque ouvert, qui est un ouvert de $\mathbb{R}^2$.

En général, bien entendu, les variétés ne sont pas *globalement* isomorphes à des ouverts de $\mathbb{R}^n$ (par exemple, la sphère n'est pas isomorphe à un ouvert de $\mathbb{R}^2$). C'est la source des problèmes de passage du local au global (problèmes de recollement, en particulier), qui sont fondamentaux en Géométrie. Un concept universel pour poser et traiter ces problèmes est celui de *faisceau*, introduit par J. Leray vers 1945 et mis au point par H. Cartan.

Pour commencer, on formalise l'idée de données locales par la notion de préfaisceau : un préfaisceau $\mathcal{F}$ sur un espace topologique $X$ est une règle qui associe à chaque ouvert $U$ de $X$ un ensemble $\mathcal{F}(U)$ (de « données locales ») et à chaque inclusion d'ouverts $V \subset U$ une application dite de restriction $\mathcal{F}(U) \to \mathcal{F}(V)$. On demande que pour une inclusion composée $W \subset V \subset U$, la restriction correspondante soit la composée des restrictions.

Les éléments de $\mathcal{F}(U)$ s'appellent les *sections* de $\mathcal{F}$ au-dessus de $U$.

Un morphisme de préfaisceau $\mathcal{F} \to \mathcal{G}$ est la donnée, pour tout ouvert $U$ d'une application $\mathcal{F}(U) \to \mathcal{G}(U)$ compatible aux applications de restriction.

<footnote>$^{17}$Ce site pallie l'absence de théorème des fonctions implicites en Géométrie algébrique.</footnote>

<footnote>$^{18}$Essai sur les notions de structure et d'existence en Mathématiques. Réédition Vrin 2006, p. 133.</footnote>
1.3.2 Recollement de données locales compatibles (faisceaux).

Un préfaisceau $\mathcal{F}$ est un faisceau si toute famille $s_i \in \mathcal{F}(U_i)$ de sections « locales » compatibles (i.e. telles que les restrictions de $s_i$ et $s_j$ coïncident dans $\mathcal{F}(U_i \cap U_j)$) se recolle en une unique section « globale » $s \in \mathcal{F}(\bigcup U_i)$ (dont la restriction à $U_i$ est $s_i$). Ici les $U_i$ sont des ouverts quelconques de $X$.

Par exemple, si $X$ est un espace topologique, les fonctions continues forment un faisceau sur $X$. Si $X$ est en outre une variété lisse$^{19}$, on dispose du faisceau tangent $T_X$ des champs de vecteurs$^{20}$ sur $X$.

1.3.3 Théorie des obstructions et cohomologie des faisceaux.

L'obstruction à recoller des données locales compatibles s'exprime donc en général par le fait qu'un certain préfaisceau n'est pas un faisceau. Mais on peut souvent aller plus loin, et donner à une telle obstruction le statut d'un objet mathématique.

Voici un cas typique. Considérons un faisceau abélien $\mathcal{F}$ (c'est-à-dire un faisceau de groupes commutatifs), et un sous-faisceau abélien $\mathcal{G}$. On peut alors former le quotient au sens naïf : c'est le préfaisceau qui associe à tout ouvert $U$ le groupe quotient $\mathcal{F}(U)/\mathcal{G}(U)$. En général, ce n'est pas un faisceau : l'obstruction à ce qu'il en soit ainsi peut être vue comme un élément d'un certain « groupe de cohomologie » $H^1(\mathcal{G})$.

La Théorie des obstructions a pour objet de fournir des interprétations « cohomologiques » aux obstructions à diverses constructions mathématiques : recollement, déformation, etc... Par exemple, l'obstruction à déformer un variété $X$ peut être vue comme un élément du groupe de cohomologie $H^1(X, T_X)$ du faisceau tangent.

Dans un second volet, la théorie fournit des critères généraux pour l'annulation de ces groupes de cohomologie - annulation qui entraîne l'absence d'obstruction au problème posé.

Par ailleurs, les obstructions elles-mêmes, une fois interprétées cohomologiquement, posent des problèmes de recollement, qui conduisent à considérer aussi des obstructions supérieures, « vivant » dans des groupes $H^i(U, \mathcal{F})$, $i > 1$. La cohomologie des faisceaux$^{21}$, c'est-à-dire la théorie de ces groupes $H^i(U, \mathcal{F})$, est un outil souple et puissant, fondamental en Géométrie analytique ou algébrique.

1.4 Faisceaux sur un site. Topos de Grothendieck.

1.4.1 Ce que c'est.

Comme Grothendieck l'a observé, la définition des préfaisceaux et faisceaux se transpose à tout site $S$: un préfaisceau sur $S$ est un foncteur contravariant $\mathcal{F}$

<footnote n="19"><sup>19</sup>on s'étendra au chapitre 5 sur cette notion.</footnote>

<footnote n="20"><sup>20</sup>c'est-à-dire la donnée, pour tout point $x$ de $X$ d'un vecteur tangent $\tilde{v}(x)$ qui varie de manière continue et même lisse avec $x$.</footnote>

<footnote n="21"><sup>21</sup>dont les pionniers sont Leray, Borel, Cartan, Serre et Grothendieck.</footnote>
de $S$ vers la catégorie des ensembles, et c'est un faisceau si pour toute famille
couvrante $(U_i \to U)$, une section globale $s \in \mathcal{F}(U)$ s'identifie à une famille de
sections locales $s_i \in \mathcal{F}(U_i)$ « compatibles ».

Dans le cas où $S = \mathcal{D}$ est le treillis des ouverts d'un espace topologique $X$, on retrouve bien la notion de faisceau sur $X$.

Grothendieck appelle topos toute catégorie $\mathcal{X}$ équivalente à la catégorie $\mathcal{Faisc}_S$ des faisceaux sur un site.

Exemples : • le topos ponctuel, i.e. la catégorie des faisceaux sur l'espace réduit à un point, n'est autre que la catégorie des ensembles.

• Si $G$ est un groupe, la catégorie des ensembles sur lesquel $G$ opère est un topos.

• Le topos étale d'une variété algébrique $X$ est la catégorie des faisceaux sur le site étale de $X$.

Chaque topos donne lieu à une théorie de cohomologie. Celle du topos étale, appelée cohomologie étale s'est avérée parfaitement adaptée à la Géométrie algébrique et a constitué l'outil principal de démonstration des conjectures de Weil<fnref n="22" />.

1.4.2 Espaces et topos.

Des sites différents peuvent donner des topos équivalents. En revanche, le to-
pos des faisceaux sur un espace topologique (sobre) détermine cet espace - nous
verrons comment ci-dessous (5.4). C'est en ce sens qu'on peut dire que la notion
de topos généralise celle d'espace topologique tout en englobant à la fois l'idée de
surface de Riemann et celle de faisceau de Leray<fnref n="23" />. Au bout de ce double mouve-
ment, on a remplacé les espaces topologiques par les topos de faisceaux associés :

Espace topologique $(X, \mathcal{D}) \rightsquigarrow \text{Site } \mathcal{D} \rightsquigarrow \text{Topos } \mathcal{X} = \mathcal{Faisc}_X$.

Ce faisant, on n'a rien perdu, puisqu'on peut reconstruire l'espace topologique<fnref n="24" /> à partir du topos associé, et on a gagné une structure beaucoup plus souple, puisque les topos permettent essentiellement toutes les opérations familières dans la catégorie des ensembles. En mettant l'accent sur les conditions de recollement, on a ainsi extrait les propriétés intrinsèques de localisation de X en « oubliant » ses points.

Comme l'écrit Grothendieck<fnref n="25" /> :

Cette notion [de topos] constitue une extension insoupçonnée, pour
mieux dire, *une métamorphose de la notion d'espace*. [...] Elle possède les deux

<footnote n="22"><sup>22</sup>ces conjectures arithmétique-géométriques qui datent de 1949 concernent le nombre de so-
lutions modulo un nombre premier - ou plus généralement dans un corps fini - d'un système
d'équations polynômiales à coefficients entiers. Elles étaient l'horizon des recherches de Grothen-
dieck, et ont finalement été démontrées en partie par lui-même, et puis par Deligne (1973). Voir
8.5 sur la signification et le rôle des conjectures en général.</footnote>

<footnote n="23"><sup>23</sup>pour plus de précisions, voir le survol de L. Illusie, What is a topos?, *Notices of the AMS* 51, 9 (2004), 1060-1062.</footnote>

<footnote n="24"><sup>24</sup>supposé sobre.</footnote>

<footnote n="25"><sup>25</sup>« Récoltes et Semailles », notes miméographiées (désormais accessibles sur la Toile comme fichier pdf), §56-57.</footnote>
caractères complémentaires essentiels pour toute généralisation fertile, que
voici.

Primo, la nouvelle notion n’est pas trop vaste, en ce sens que dans les
nouveaux « espaces », les intuitions et les constructions « géométriques » les
plus essentielles, familières pour les bons vieux espaces d’antan, peuvent se
transposer de façon plus ou moins évidente. [...]

Et secundo, la nouvelle notion est en même temps assez vaste pour en-
glober une foule de situations qui jusque là, n'étaient pas considérées comme
donnant lieu à des intuitions de nature « topologico-géométrique » - aux in-
tuitions, justement, qu'on avait réservées par le passé aux seuls espaces to-
pologiques ordinaires.

1.5 Interlude : catégories, foncteurs, adjonction.

1.5.1 Catégories.

Les catégories ont fait leur apparition discrète à plusieurs reprises dans ce chapitre. La notion de foncteur vient même d'être évoquée. Il est temps de faire halte pour préciser ces notions fondamentales.

De l'aveu de l'un des fondateurs de la théorie, S. MacLane<fnref n="26" />,

c'est une notation (la flèche) qui a conduit à un concept (catégorie).

Plus précisément, c'est l'introduction<fnref n="27" /> de la notation extrêmement suggestive
$X \xrightarrow{f} Y$ pour désigner une application au moyen d'une flèche, et celle des dia-

$$
X \xrightarrow{f} Y
$$

grammes commutatifs $p \downarrow \qquad q \downarrow$ qui lui emboîte le pas, qui sont à l'origine

$$
S \xrightarrow{g} T
$$

directe de la notion de catégorie.

Une catégorie *C* consiste d'une part en une collection d'objets *A*, et d'autre part en la donnée, pour tout couple d'objets (*A*, *B*), d'un ensemble *C*(*A*, *B*) dont les éléments sont appelés *morphismes* ou *flèches* de *A* vers *B* (notés *A* $\xrightarrow{f}$ *B*).

On requiert que les morphismes se composent lorsque cela fait sens (i.e. le composé $gf$ de $f \in C(A, B)$ et de $g \in C(B, C)$ est un élément de $C(A, C)$), la composition étant associative$^{28}$. On requiert aussi qu'il y ait un morphisme identité $1_A$ de $A$ vers lui-même, qui composé avec tout morphisme de source ou de but $A$, ne le modifie pas.

On dit que $f \in C(A, B)$ est un *isomorphisme* s'il admet un inverse, *i.e.* s'il existe $g \in C(B, A)$ tels que $fg = 1_B$, $gf = 1_A$; que $f$ est un *automorphisme* si de plus $A = B$.

C'est l'accent mis sur les flèches (et leur composition) qui fait la spécifité du

<footnote n="26"><sup>26</sup> Categories for the working mathematician, Springer (1978), Notes du ch. 1.</footnote>

<footnote n="27"><sup>27</sup>au tout début des années 1940, dans le contexte de la Topologie algébrique.</footnote>

<footnote n="28"><sup>28</sup>notion précisée en 2.1.</footnote>
concept mathématique de catégorie<fnref n="29" />. Faute d'avoir pris en compte ce point capital, bien des tentatives d'exportation de concepts catégoriques hors des Mathématiques ont échoué dans le trivial ou l'inconsistant.

L'exemple de base est la catégorie *Ens* des ensembles (les morphismes entre deux ensembles étant les applications quelconques entre ces ensembles). On en déduit d'autres catégories par addition de structure : par exemple la catégorie des espaces topologiques (objets : espaces topologiques, morphismes : applications continues).

Dans les exemples de cette nature, la spécificité du point de vue catégorique (par opposition au point de vue ensembliste) consiste à ne considérer et manipuler que les espaces et surtout les morphismes qui les relient, et non les points de ces espaces : *on occulte délibérément la structure interne des objets, pour mettre l'accent sur leurs rapports mutuels.*

Voici quelques exemples de catégories dont les objets ne se donnent pas (du moins d'emblée) comme ensembles structurés :

• la catégorie $\mathcal{Faisc}_X$ des faisceaux sur un espace topologique fixé $X$,

• tout groupe peut être vu comme une catégorie à un seul objet, les morphismes étant les éléments du groupe,

• tout ensemble (partiellement) ordonné $(X, \leq)$ - par exemple un treillis - peut être vu comme une catégorie (objets : les éléments $x$ de $X$, morphismes de $x$ vers $y$ : un seul si $x \leq y$, aucun sinon).

### 1.5.2 Foncteurs.

De même que les ensembles sont reliés par des applications, les catégories sont reliées par des foncteurs, qui agissent tant sur les objets que sur les morphismes.

Un foncteur (covariant) $\phi : C \to \mathcal{D}$ associe à chaque objet $A$ de $C$ un objet $\phi(A)$ de $\mathcal{D}$ et à chaque morphisme $f \in C(A, B)$ un morphisme $\phi(f) \in \mathcal{D}(\phi(A), \phi(B))$. On requiert que $\phi$ préserve les identités et la composition.

Soulignons que c'est la *variance* de $F$ (i.e. le fait qu'un morphisme entre $A$ et $B$ se reflète en un morphisme de $F(A)$ vers $F(B)$) qui est ici fondamentale : c'est de cette variance qu'il s'agit lorsqu'on parle du caractère *fonctoriel* d'une règle $A \mapsto F(A)$.

Un foncteur *contravariant* $\psi : C \to \mathcal{D}$ est un foncteur $\psi : C^{op} \to \mathcal{D}$, où $C^{op}$ désigne l'opposée de $C$, qui s'obtient en prenant les mêmes objets et en renversant le sens des flèches : $C^{op}(A, B) = C(B, A)$.

Donnons deux types d'exemples, d'allure banale, mais très utiles en pratique :
• si $C$ est une catégorie d'ensembles enrichis d'une structure (espaces topologiques, etc...), on dispose d'un foncteur $d' \otimes : C \to Ens$ : ensemble sous-jacent.

• Tout objet $A$ de $C$ donne lieu à un foncteur contravariant de $C$ vers $Ens : C(?, A)$ (où ? désigne un objet variable). Un foncteur contravariant de cette forme est dit *représentable* (par $A$).

<footnote n="29">²⁹au reste, les objets sont logiquement secondaires, voire superflus : on peut identifier l'objet $A$ au morphisme $1_A$, et donc penser aux objets comme à des morphismes particuliers.</footnote>
Dans un topos, le foncteur contravariant qui à tout objet $U$ associe l'ensemble de ses sous-objets est représentable par un objet $\Omega$ appelé classifiant. Pour le topos ponctuel, $\Omega$ est l'ensemble à deux éléments.

Les foncteurs eux-mêmes (de $\mathcal{C}$ vers $\mathcal{D}$) peuvent être vus comme objets d'une nouvelle catégorie : un morphisme (on dit aussi *transformation naturelle*) entre deux foncteurs $\phi_1, \phi_2$ est une règle qui associe fonctoriellement à tout objet $A$ de $\mathcal{C}$ un morphisme $u_A \in \mathcal{D}(\phi_1(A), \phi_2(A))$ (« fonctoriellement » voulant dire que pour tout $f \in \mathcal{C}(A, B)$, on a $\phi_2(f) \circ u_A = u_B \circ \phi_1(f)$).

Deux catégories $\mathcal{C}, \mathcal{D}$ sont dites équivalentes s'il existe des foncteurs quasi-inverses $\phi : \mathcal{C} \to \mathcal{D}$, $\psi : \mathcal{D} \to \mathcal{C}$ ; quasi-inverses voulant dire que $\psi \circ \phi$ et $\phi \circ \psi$ sont isomorphes aux foncteurs identiques $\mathrm{Id}_\mathcal{C}$ et $\mathrm{Id}_\mathcal{D}$ respectivement<fnref n="30" />.

Le lemme de Yoneda dit précisément que $A \mapsto \mathcal{C}(?, A)$ induit une équivalence entre $\mathcal{C}$ et la catégorie des foncteurs représentables de $\mathcal{C}$ vers Ens. En particulier, le foncteur $\mathcal{C}(?, A)$ détermine<fnref n="31" /> l'objet $A$.

Ce lemme a inspiré nombre de gloses et d'interprétations. L'interprétation perspectiviste, qui énonce qu'« un objet s'identifie à l'intégrale des points de vue sur cet objet », est éclairante<fnref n="32" />, mais guère rigoureuse : il faudrait en effet convenir que les « points de vue » réciproques sont les morphismes de la catégorie que l'on considère ; or il semble difficile d'admettre que la composition d'un point de vue de $A$ sur $B$ avec un point de vue de $B$ sur $C$ détermine un point de vue de $A$ sur $C$, comme il serait requis dans une catégorie...

On voit bien sur cet exemple les difficultés des généralisations philosophiques d'énoncés mathématiques, qui ne laissent pas d'être éclairantes en dépit de leurs incohérences en tant qu'interprétations.

### 1.5.3 Foncteurs adjoints.

Soit $(\phi : \mathcal{C} \to \mathcal{D}, \psi : \mathcal{D} \to \mathcal{C})$ un couple de foncteurs allant en sens opposés.

Ces foncteurs sont dits *adjoints* si pour tout objet $A$ de $\mathcal{C}$ et tout objet $B$ de $\mathcal{D}$, $\mathcal{C}(A, \psi(B))$ s'identifie<fnref n="33" /> à $\mathcal{D}(\phi(A), B)$.

Il s'agit là d'un concept aussi fondamental que difficile à comprendre : c'est semble-t-il un cas extrême d'« hysteresis » entre compréhension littérale et compréhension réelle. On prendra garde à ne surtout pas confondre cette notion avec celle d'inverse ou de quasi-inverse : il n'y a ici d'inversion que le sens des foncteurs<fnref n="34" />.

Bien des foncteurs d'oubli $\psi : \mathcal{D} \to \mathrm{Ens}$ admettent un adjoint à gauche $\phi$, $\phi(A)$ correspondant à l'objet « libre » de base $A$ (c'est par exemple le cas lorsque

<footnote n="30">³⁰C'est le primat des morphismes sur les objets, dans la perspective catégorique, qui impose cette notion d'équivalence de catégories, au détriment de celle d'isomorphisme de catégories.</footnote>

<footnote n="31">³¹à isomorphisme unique près.</footnote>

<footnote n="32">³²à condition d'insister sur le fait que le point de vue de l'objet sur lui-même, crucial dans la démonstration du lemme, fait partie de l'intégrale, ce qui censure bien des gloses abusives.</footnote>

<footnote n="33">³³fonctoriellement en $A$ et $B$ bien entendu. Noter que la notion n'est pas symétrique ; on dit que $\phi$ est adjoint à gauche de $\psi$, et $\psi$ adjoint à droite de $\phi$.</footnote>

<footnote n="34">³⁴Il y a une analogie formelle (et non fortuite) avec la définition des opérateurs adjoints $\phi$ et $\psi$ sur un espace euclidien ou de Hilbert $\mathcal{H}$ qu'on verra au chapitre suivant (cf. 2.4.1, 2.4.2) : pour tout couple de vecteurs $x, y$ de $\mathcal{H}$, $\langle x, \psi(y) \rangle = \langle \phi(x), y \rangle$.</footnote>
D est la catégorie des espaces vectoriels : $\phi(A)$ est l'espace vectoriel de base $A$, cf. 2.2.3).

Bien des foncteurs d'inclusion admettent un adjoint à gauche :

• l'inclusion de la catégorie des faisceaux dans celle des préfaisceaux a un adjoint à gauche appelé *faisceautisation*,

• l'inclusion de la catégorie des espaces topologiques sobres dans celle de tous les espaces topologiques a un adjoint à gauche qu'on pourrait appeler « cure de désintoxication ».

D'autre part, bien des foncteurs diagonaux $\mathcal{D} \to \mathcal{D}^I$ admettent à la fois un adjoint à gauche (appelé limite inductive et noté $\lim_{\underset{I}{\to}}$) et un adjoint à droite (appelé limite projective et noté $\lim_{\underset{I}{\leftarrow}}$).

### 1.5.4 Application : morphismes de topos et points d'un topos.

Soit $f : X \to Y$ une application continue. Si $\mathcal{F}$ est un faisceau sur $X$, on définit un faisceau $f_*\mathcal{F}$ sur $Y$ par $f_*\mathcal{F}(V) = \mathcal{F}(f^{-1}(V))$. Si $\mathcal{G}$ est un faisceau sur $Y$, on définit un faisceau $f^*\mathcal{G}$ sur $X$ par $f^*\mathcal{G}(U) = \lim_{\underset{V \supset U}{\longrightarrow}} \mathcal{G}(V)$; en particulier, si $f$ est l'inclusion d'un point $y \in Y$, l'ensemble $f^*\mathcal{G}(\{y\})$ est la fibre de $\mathcal{G}$ en $y$.

On obtient ainsi un couple de foncteurs adjoints

$$ (f^* : \mathcal{Faisc}_Y \to \mathcal{Faisc}_X, f_* : \mathcal{Faisc}_X \to \mathcal{Faisc}_Y) : \\ \mathcal{Faisc}_Y(\mathcal{G}, f_*\mathcal{F}) = \mathcal{Faisc}_X(f^*\mathcal{G}, \mathcal{F}). $$

On peut maintenant préciser comment on récupère un espace topologique (sobre) $X$ à partir du topos $\mathcal{X} = \mathcal{Faisc}_X$ de ses faisceaux : l'idée est simplement d'identifier un point $x \in X$ au foncteur « fibre en $x$ » : $\mathcal{X} \to \text{Ens}$.

Plus généralement, Grothendieck définit la notion de morphisme de topos $f : \mathcal{X} \to \mathcal{Y}$ comme la donnée d'un couple de foncteurs adjoints $f = (f^* : \mathcal{Y} \to \mathcal{X}, f_* : \mathcal{X} \to \mathcal{Y})$, $f^*$ commutant aux limites projectives finies<fnref n="35" />.

Prenant pour $\mathcal{X}$ le topos ponctuel, on obtient la notion de *point* du topos $\mathcal{Y}$.

Mais il existe des topos exotiques sans aucun point !

## 1.6 Topos et Logique intuitionniste.

### 1.6.1 Les topos entre Géométrie et Logique.

La transition est excellemment présentée par P. Cartier<fnref n="36" /> :

[Grothendieck] avait remarqué que les faisceaux sur un espace donné formaient une catégorie qui avait, en gros, toutes les propriétés de « la » catégorie des ensembles. Or, après les résultats d'indécidabilité de Gödel et de

<footnote n="35">³⁵c'est-à-dire des $\lim_{\underset{I}{\leftarrow}}$ avec $I$ fini.</footnote>

<footnote n="36">³⁶« Grothendieck et les motifs », Prépublication IHES (2000). Voir aussi P. Cartier, « Catégories, logique et faisceaux ; modèles de la théorie des ensembles », Séminaire Bourbaki, exposé 513, 1978.</footnote>
Cohen en théorie des ensembles, il y a non pas *une* théorie des ensembles, mais *divers modèles* non équivalents de la théorie des ensembles (au sens logique de « modèle »). Il était donc naturel d'explorer les relations entre topos et modèles de la théorie des ensembles. [...]

Il appartint à d'autres (surtout Bénabou, Lawvere et Tierney) de résoudre l'énigme : les topos sont exactement les modèles de la théorie des ensembles, mais dans une logique particulière, qu'on appelle « intuitionniste », et où le prinicipe du tiers exclu n'est pas valable. Il est très remarquable que cette logique ait été inventée par un fameux topologue, Brouwer, et qu'avec un peu de recul, elle s'impose naturellement en vertu du fait que l'intérieur de l'adhérence d'un ensemble ouvert ne lui est pas égal.

Mais l'invention des topos donne une liberté inouïe au jeu mathématique, et permet de briser le carcan de « la » théorie des ensembles. Rejouer une pièce mathématique bien connue dans le décor nouveau d'un topos exotique peut amener des surprises, et faire découvrir des accents nouveaux dans des vers resassés ; parfois, cette nouvelle représentation révèle des trésors mathématiques. D'un point de vue plus général, un topos porte en lui sa propre logique, et définit donc une espèce de logique modale, ou plutôt une logique du *hic* et du *nunc*, une logique spatio-temporelle où la valeur de vérité d'une assertion peut dépendre du lieu et du temps.

## 1.6.2 Règles du calcul propositionnel : formulaire.

Nous nous limiterons à la logique des propositions, pour simplifier au maximum. Mais ce qui suit s'étend à la logique des prédicats<fnref n="37" /> et même à la logique plus sophistiquée des « types ».

Commençons par rappeler le formulaire des règles de déduction en logique des propositions. Si $p$ et $q$ sont des propositions (ou formules logiques), notons $\neg p$ la négation de $p$, $p \wedge q$ la conjonction de $p$ et $q$, $p \vee q$ leur disjonction, $p \Rightarrow q$ la proposition « $p$ implique $q$ », et $\vdash$ l'inférence : de $p$ on infère $q$.

Le tableau des axiomes et règles de déduction est le suivant (en notant 0 le faux et 1 le vrai) :

$$ 
\begin{array}{l@{\qquad}l@{\qquad}l}
0 \vdash p, \quad p \vdash 1, \quad p \vdash p, & & \\
\neg p \vdash (p \Rightarrow 0), \quad (p \Rightarrow 0) \vdash \neg p, & & \\
\displaystyle\frac{p \vdash q, \quad q \vdash r}{p \vdash r}, & & \\
\displaystyle\frac{p \vdash q \wedge r}{p \vdash q}, \quad \displaystyle\frac{p \vdash q \wedge r}{p \vdash r}, \quad \displaystyle\frac{p \vdash q, \quad p \vdash r}{p \vdash q \wedge r}, & & \\
\displaystyle\frac{p \vee q \vdash r}{p \vdash r}, \quad \displaystyle\frac{p \vee q \vdash r}{q \vdash r}, \quad \displaystyle\frac{p \vdash r, \quad q \vdash r}{p \vee q \vdash r}, & & \\
\displaystyle\frac{p \wedge q \vdash r}{p \vdash (q \Rightarrow r)}, \quad \displaystyle\frac{p \vdash (q \Rightarrow r)}{p \wedge q \vdash r}. & &
\end{array}
$$

<footnote n="37">³⁷la logique des prédicats fait intervenir les quantificateurs universel $\forall$ et existentiel $\exists$, qui du reste peuvent s'interpréter comme adjoints à gauche et à droite respectivement d'un même fonctionneur.</footnote>
(par la notation « fractionnaire », on entend que le dénominateur se déduit du numérateur).

On a alors $p \vdash \neg\neg p$ et $\neg\neg\neg p \vdash \neg p$, mais l'inférence $\neg\neg p \vdash p$ ne se déduit pas des règles précédentes et n'est pas valide en Logique intuitionniste. Cette inférence est l'axiome supplémentaire (tiers exclu) qu'impose la Logique classique.

### 1.6.3 Logique intuitionniste et treillis de Heyting.

Si l'inférence $\vdash$ est interprétée comme une relation d'ordre $\leq$, le calcul des propositions forme un treillis de Heyting$^{38}$, c'est-à-dire un treillis avec plus petit élément (noté $0$) et plus grand élément (noté $1$), ayant la propriété que le foncteur $y \mapsto? \wedge y$ du treillis dans lui-même admet un adjoint à droite (c'est $y \mapsto? \Rightarrow y$).

Mieux, une proposition $p$ est valide en Logique intuitionniste si et seulement son interprétation dans tout treillis de Heyting l'est.

Le treillis des ouverts $\mathfrak{D}$ d'un espace topologique $X$ est un treillis de Heyting. L'inférence $\vdash$ s'y interprète comme l'inclusion $\subset$ (des ouverts les uns dans les autres), la conjonction $\wedge$ s'interprète comme l'intersection $\cap$, $\vee$ comme la réunion $\cup$, et la négation $\neg$ comme l'intérieur du complémentaire$^{39}$ :

$$ \neg U = (X \stackrel{o}{\setminus} U). $$

Plus généralement, dans tout topos $\mathcal{X}$, le treillis des sous-objets d'un objet $A$ de $\mathcal{X}$ (treillis dont l'ensemble sous-jacent est $\mathcal{X}(A, \Omega)$ par définition du classifiant $\Omega$), est un treillis de Heyting.

La Logique intuitionniste s'interprète donc dans tout topos de Grothendieck. Le classifiant apparaît comme faisceau de valeurs de vérités. Dans le topos ponctuel, cette logique devient classique : $\Omega = \{0, 1\}$.

Ce qu'on vient d'esquisser n'est que le début de la logique toposique$^{40}$, qui a précédé la Logique des interactions évoquée au chapitre suivant - tout en lui demeurant complémentaire.

Bien que cela dépasse largement notre cadre, nous ne pouvons omettre, en terminant, de signaler que la logique toposique forme le substrat mathématique de la logique de l'apparaître dans la philosophie d'A. Badiou et irrigue la construction des principaux concepts de son livre *Logiques des Mondes*$^{41}$.

Les topos jouent aussi un rôle fondamental dans la théorie mathématique de la musique de G. Mazzola$^{42}$, où ils permettent notamment d'effectuer le passage du local au global dans le contexte « discret » des compositions musicales.

<footnote>$^{38}$on dit aussi *algèbre de Heyting*.</footnote>

<footnote>$^{39}$cette interprétation topologique de la Logique intuitionniste fait ressortir la non-validité du tiers-exclu : par exemple si $X$ est la droite, et $U$ la droite privée d'un point, $\neg U = \emptyset$, et $\neg\neg U = X$ qui n'est pas contenu dans $U$, de sorte que $\neg\neg U \vdash U$ n'est pas valide.</footnote>

<footnote>$^{40}$pour les besoin de la Logique, la notion de topos que Lawvere et Tierney et leurs successeurs utilisent est un peu plus générale que celle de Grothendieck.</footnote>

<footnote>$^{41}$Seuil 2006.</footnote>

<footnote>$^{42}$*The topos of Music*, Birkhäuser 2002.</footnote>
# Chapitre 2

## Espace II. Algèbres d'opérateurs et Géométrie non commutative.

Dans le formalisme de la mécanique quantique, les observables ne sont plus des grandeurs ou fonctions numériques, que l'on peut multiplier entre elles dans un ordre indifférent, mais des opérateurs, que l'on peut composer entre eux suivant un ordre qui n'est plus indifférent. Il en est de même dans la géométrie non commutative initiée par Alain Connes dans les années 1980, qui s'en inspire : au lieu du double mouvement de la géométrie des topos

espace des points ↛ site des ouverts ↛ topos des faisceaux,
on a le double mouvement

espace des points ↛ algèbres de fonctions ↛ algèbres d'opérateurs<fnref n="1" />.

La théorie des algèbres d'opérateurs (algèbres de von Neumann, de leur nom technique plus précis) peut être vue sous deux aspects complémentaires : comme étant obtenue par passage à la dimension infinie en Algèbre linéaire, ou par passage au non commutatif en Théorie de la mesure.

<figure><img src="image_3.png" /><figcaption>FIG. 2.1 – Leitfaden</figcaption></figure>

Comme au chapitre précédent, nous allons commencer par faire sonner puis varier quelques thèmes (opérateurs linéaires, point de vue fonctionnel sur les espaces, spectres...), avant de les tresser ensemble.

<footnote n="1">¹la « morale de l'histoire » se trouve aux paragraphes 2.3.4 et 2.3.5.</footnote>
## 2.1 Associativité et commutativité.

Les Mathématiques sont un « monde associatif ». Nous entendons par là que la plupart des lois de composition auxquelles on a affaire en Mathématiques sont associatives<fnref n="2" />, ce qui veut dire ceci : supposons qu'on ait des transformations $f, g, h \cdots$ et un moyen de les composer ($gf$ représentant la transformation composée de $f$ suivie de $g$), alors on a la relation $(hg)f = h(gf)$.

<figure><img src="image_4.png" /><figcaption>FIG. 2.2 -</figcaption></figure>

Par contre les Mathématiques sont loin d'être un « monde commutatif » : si $f$ et $g$ sont composables dans les deux sens, en général $gf$ n'est pas égal à $fg$. On dit que $f$ commute à $g$ lorsque $gf = fg$.

<figure><img src="image_5.png" /><figcaption>FIG. 2.3 -</figcaption></figure>

Autrement dit, la commutativité est la possibilité de changer l'ordre des opérations, tandis que l'associativité est la possibilité de changer le groupement des opérations, sans affecter le résultat.

La non-commutativité est du reste un phénomène fort commun : si l'on demande son chemin et que l'on s'avise de permuter l'ordre des déplacements indiqués, il y a peu de chance que l'on parvienne à destination... Gardons-nous donc de voir du « quantique » dans tout ce qui est non commutatif !

Écartons encore un malentendu à propos du terme « non commutatif » : il faut prendre garde qu'en Mathématiques, ce terme est bien plus souvent employé dans le sens de « *non nécessairement commutatif* » (et donc représente une généralisation du cas commutatif) que comme négation de « commutatif ».

Commençons à présent notre exploration en partant du haut du Leitfaden.

## 2.2 Petite boîte à outils d'algèbre linéaire.

L'Algèbre linéaire est la partie la plus simple des Mathématiques. Elle est issue de la méthode des coordonnées cartésiennes pour repérer les points d'une droite,

<footnote n="2">²ou bien s'y ramènent aisément, par des constructions naturelles, si elles ne le sont pas elles-mêmes (comme le crochet de Lie par exemple).</footnote>
d'un plan, ou de l'espace. Cette méthode étant uniforme dans les trois cas, on en est venu, dans les années 1840, à l'étendre en dimension $n$ plus grande, quitte à se passer de l'intuition géométrique immédiate. Fixer une origine $O$ permet d'identifier tout point $P$ au vecteur $\vec{OP}$; l'addition des vecteurs, familière en Statique et en Cinématique, se transporte alors à la droite, au plan, voire à l'espace à $n$ dimensions, et correspond à l'addition des coordonnées lorsqu'un repère d'origine $O$ est fixé.

Un peu plus tard, Grassmann a entrepris de dégager l'algèbre linéaire de l'arbitraire des choix de repères, en calculant directement avec les objets géométriques. Mais l'entreprise n'a abouti qu'avec Peano (1888, après l'introduction du langage ensembliste par Dedekind et Cantor), qui a forgé la petite boîte à outils brièvement présentée ci-dessous.

### 2.2.1 Espaces vectoriels.

Ces espaces, dont les points sont appelés *vecteurs*, ont une origine (le vecteur nul noté simplement $0$); les vecteurs peuvent être additionnés entre eux d'une part<fnref n="3" />

$$v_1, v_2 \mapsto v_1 + v_2,$$

et être multipliés par des nombres<fnref n="4" /> (réels ou complexes, suivant la situation<fnref n="5" />) d'autre part

$$v \mapsto \lambda \cdot v.$$

Exemples : la droite réelle $V = \mathbb{R}$ (où un vecteur s'identifie à un nombre), le plan réel $V = \mathbb{R}^2$ (où un vecteur s'identifie à un couple de nombres, son abscisse et son ordonnée), etc...

### 2.2.2 Applications linéaires.

Etant donnés deux espaces vectoriels $V$ et $W$, une application linéaire $F : V \to W$ de $V$ vers $W$ est une règle qui associe à tout vecteur $v$ de $V$ un vecteur $F(v)$ de $W$ et qui vérifie les compatibilités naturelles relatives à la structure d'espace vectoriel, à savoir :

$$F(v_1 + v_2) = F(v_1) + F(v_2), \quad F(\lambda \cdot v) = \lambda \cdot F(v).$$

Avec les espaces vectoriels pour objets et les applications linéaires comme morphismes (cf. 1.5.1), on obtient la catégorie des espaces vectoriels (complexes, dimensions).

<footnote n="3">³L'addition des vecteurs est associative et commutative, l'addition de $0$ à un vecteur $v$ ne change pas $v$, et tout vecteur $v$ admet un opposé $-v$, qui, lui étant ajouté, donne $v + (-v) = 0$; on dit que $(V, +)$ est un « groupe abélien » (ou commutatif).</footnote>

<footnote n="4">⁴la multiplication d'un vecteur $v$ par le nombre 1 ne change pas $v$. Par ailleurs, la multiplication de $v$ par un nombre vérifie la relation d'« associativité » $(\lambda_1 \lambda_2) \cdot v = \lambda_1 \cdot (\lambda_2 \cdot v)$ et est liée à l'addition des vecteurs par les relations de « distributivité » $\lambda \cdot (v_1 + v_2) = \lambda \cdot v_1 + \lambda \cdot v_2$ et $(\lambda_1 + \lambda_2) \cdot v = \lambda_1 \cdot v + \lambda_2 \cdot v$. On allège souvent l'écriture en se dispensant du point : on écrit $\lambda v$ au lieu de $\lambda \cdot v$.</footnote>

<footnote n="5">⁵on parle d'espace vectoriel réel ou complexe, respectivement; en général, dans ce chapitre, nous considérons des espaces vectoriels complexes.</footnote>
Les applications linéaires de $V$ vers $W$ forment elles-mêmes un espace vectoriel : $F+G$ est l'application linéaire définie par $(F+G)(v) = F(v) + G(v)$, et $\lambda \cdot F$ est l'application linéaire définie par $(\lambda \cdot F)(v) = \lambda \cdot F(v)$.

Un cas qui nous intéresse particulièrement est celui où $V = W$. On parle alors d'opérateur (sous-entendu : linéaire) sur $V$ plutôt que d'application linéaire de $V$ vers $V$, et on note $\mathcal{L}(V)$ l'espace vectoriel des opérateurs (linéaires) de $V$ ($\mathcal{L}$ comme « linéaire »). Du fait que les espaces de départ et d'arrivée coïncident, on peut composer les opérateurs entre eux : $GF : V \xrightarrow{F} V \xrightarrow{G} V$.

### 2.2.3 Bases, dimension, matrices.

La dimension d'une espace vectoriel est le « nombre de ses degrés de liberté ». Un peu plus précisément, l'espace vectoriel $V$ est de dimension$^6$ finie $n$ si tout vecteur $v$ peut s'écrire de façon unique comme combinaison linéaire$^7$ $v = \sum_{i=1}^{n} \lambda_i e_i$ de vecteurs particuliers $e_1, e_2, \dots, e_n$ (formant ce que l'on appelle une base de $V$). Les nombres $\lambda_i$ sont les coordonnées de $v$ dans la base $(e_1, e_2, \dots, e_n)$ (retour aux coordonnées cartésiennes !).

<figure><img src="image_6.png" /><figcaption>FIG. 2.4 –</figcaption></figure>

Une base étant fixée, se donner un vecteur revient donc à se donner $n$ nombres $\lambda_i$. De la sorte, tout espace vectoriel réel de dimension $n$ s'identifie à $\mathbb{R}^n$ (modulo le choix d'une base) ; de même, tout espace vectoriel complexe de dimension $n$ s'identifie à $\mathbb{C}^n$.

Si $F$ est un opérateur, on peut écrire $F(e_1) = \sum_i \lambda_i e_i$, ..., $F(e_n) = \sum_i \lambda_i e_i$.

Une base étant fixée, se donner un opérateur revient donc à se donner une matrice carrée

$$ \begin{pmatrix} \lambda_{11} & \dots & \lambda_{1n} \\ \vdots & \ddots & \vdots \\ \lambda_{n1} & \dots & \lambda_{nn} \end{pmatrix}. $$

La composition des opérateurs s'exprime très simplement en termes de leurs matrices :

$$ F \rightsquigarrow \lambda_{ij}, \quad G \rightsquigarrow \mu_{ij}, \quad GF \rightsquigarrow \sum_k \mu_{ik} \lambda_{kj}. $$

<footnote>$^6$le cas limite de la dimension 0 correspond à l'espace vectoriel nul, ne contenant que le vecteur nul.</footnote>

<footnote>$^7$le signe $\sum_{i=1}^{n}$ indique que l'on somme sur tous les indices $i$ de 1 à $n$.</footnote>
### 2.2.4 Importance des problèmes linéaires.

Le rôle de l'Algèbre linéaire est de traiter les « problèmes linéaires », c'est-à-dire, *grosso modo*, ceux dont l'ensemble des solutions est naturellement muni d'une structure d'espace vectoriel (comme par exemple la propagation des ondes).

Ces problèmes sont particulièrement faciles en dimension finie<fnref n="8" />.

En mécanique classique, les problèmes sont souvent non linéaires, mais de dimension finie. Une technique classique consiste à se ramener, par une approximation au premier ordre, au cas linéaire, ce qui permet d'appliquer les techniques de l'Algèbre (ou de l'Analyse) linéaire pour traiter le problème approché.

En mécanique quantique, la situation est en quelque sorte opposée : le principe de superposition nous assure que les équations d'évolution sont linéaires ; mais cette fois la difficulté vient du fait que la dimension est infinie.

C'est une difficulté sérieuse : l'Algèbre linéaire pure « bute » en dimension infinie. Par exemple, l'expression $\sum_k \mu_{ik} \lambda_{kj}$ qui traduit la composition des opérateurs devient une somme infinie et n'a donc pas de sens en général. Pour qu'elle ait un sens, il faut que la série soit convergente, et pour cela il faut introduire un peu de topologie...

Nous y reviendrons après un certain détour. Mais il nous reste à clore ces généralités sur l'Algèbre linéaire en précisant la notion d'« algèbre » - au sens technique que lui donne le domaine des Mathématiques appelé « Algèbre »<fnref n="9" />.

### 2.2.5 Algèbres.

Une *algèbre* est un espace vectoriel muni d'une loi de composition

$$ (g, f) \to gf $$

qui est associative, bilinéaire et avec un élément unité<fnref n="10" /> 1.

Elle est dite commutative si l'on a toujours $gf = fg$. Par exemple l'espace vectoriel des fonctions<fnref n="11" /> $f : X \to \mathbb{C}$ sur un espace $X$ quelconque, muni de la multiplication entre fonctions<fnref n="12" /> est une algèbre commutative.

Un exemple d'algèbre non commutative<fnref n="13" /> est l'algèbre $\mathcal{L}(V)$ des opérateurs $F : V \to V$, munie de la composition (on notera $I$ l'élément unité, c'est-à-dire l'opérateur « qui ne fait rien »). Nous verrons en particulier que les algèbres de

<footnote n="8">⁸du moins du point de vue théorique. En revanche, bien des problèmes concrets de calcul numérique sont des problèmes linéaires en très grande dimension qui font peiner les ordinateurs...</footnote>

<footnote n="9">⁹tout comme le terme *topologie* vu dans le chapitre précédent, « algèbre » désigne à la fois un domaine des Mathématiques et une structure mathématique particulière appartenant à ce domaine.</footnote>

<footnote n="10">¹⁰vérifiant $1f = f1 = f$ pour tout élément $f$ de l'algèbre.</footnote>

<footnote n="11">¹¹rappelons qu'une fonction $f$ sur un ensemble $X$ est une règle qui associe à tout élément de $X$ (ou parfois seulement à certains d'entre eux) un nombre réel ou complexe. On met en général des conditions supplémentaires adaptées à l'ensemble particulier $X$ que l'on considère. Par exemple, si $X$ est un espace « topologique », il est naturel de considérer des fonctions continues (cf. 1.1.5).</footnote>

<footnote n="12">¹²définie par $(fg)(x) = f(x)g(x)$.</footnote>

<footnote n="13">¹³sauf lorsque $V$ est de dimension 0 ou 1.</footnote>
von Neumann sont des sous-algèbres (i.e. des sous-ensembles stables par addition, multiplication par un nombre, et composition) de $\mathcal{L}(V)$.

Remarquons également que si $A$ est une sous-algèbre de $\mathcal{L}(V)$, on peut en fabriquer une autre en prenant son commutant $A'$, c'est-à-dire l'ensemble de tous les opérateurs qui commutent à tout opérateur dans $A$. Le commutant de $\mathcal{L}(V)$ est réduit aux opérateurs dits « scalaires » (ceux qui multiplient tout vecteur de $V$ par un nombre fixe).

On vérifie que $A' = A'''$, et après une petite contorsion d'esprit, on en déduit qu'une algèbre $A$ est égale à son bi-commutant $A''$ si et seulement si $A$ est elle-même un commutant. Ce n'est pas automatiquement le cas, du reste.

## 2.3 Espaces et fonctions. Vers la Géométrie non commutative.

Revenons au Leitfaden de ce chapitre, et quittons temporairement la direction verticale pour la direction horizontale, en partant de la gauche.

Il n'y a pas de notion générale d'« espace en tant qu'espace » en Mathématiques. Jusqu'à présent, même les écoles les plus doctrinaires se sont abstenues de s'approprier symboliquement cette notion commune en la « taguant » d'une définition mathématique générale.

En revanche, il existe bien des points de vue mathématiques sur la notion commune d'espace, dont dérivent beaucoup de types d'espaces mathématiques particuliers, toujours flanqués d'un prédicat (nous avons déjà rencontré les espaces topologiques et les espaces vectoriels).

Nous allons brièvement décliner trois de ces points de vue qui donnent lieu à des « catégories » d'espaces particuliers : grandeur, localité, topographie. Démêler ces trois points de vue fut d'ailleurs un très long travail conceptuel, achevé peu avant la première guerre mondiale.

### 2.3.1 « Grandeur ».

D'une certaine façon, c'est peut-être le point de vue le plus ancien (problèmes d'arpentage de l'antiquité). En termes mathématiques contemporains, nous avons ici en vue tout ce qui se rapporte à la Théorie de la mesure, qui traite des espaces mesurés<fnref n="14" /> $(X, \mathfrak{B}, d\mu)$.

Les fonctions $f : X \to \mathbb{C}$ qu'il est naturel de considérer dans ce contexte sont les fonctions (mesurables<fnref n="15" />) bornées presque partout, c'est-à-dire bornées hors d'une partie de mesure nulle. Elles forment une algèbre commutative notée $L^\infty(X, \mathfrak{B}, d\mu)$ (ou $L^\infty(X)$ pour abréger).

<footnote n="14">¹⁴une mesure $d\mu$ est une fonction à valeurs positives ou infinies sur une tribu $\mathfrak{B}$ de parties de $X$, qui est additive pour la réunion disjointe d'une collection finie ou dénombrable de parties deux à deux disjointes. Une *tribu* est un ensemble de parties stable par passage au complémentaire et par réunion dénombrable.</footnote>

<footnote n="15">¹⁵c'est-à-dire celles pour lesquelles l'image inverse de tout ouvert de $\mathbb{C}$ est dans $\mathfrak{B}$.</footnote>
La Théorie de la mesure fait la synthèse entre les idées apparemment éloignées d'arpentage, de moyenne, de probabilité. Techniquement, la Théorie des probabilités s'y rattache en effet : une probabilité n'étant rien d'autre, selon la définition moderne (Kolmogorov), qu'une mesure telle que la mesure de l'espace $X$, vu comme ensemble de tous les évènements possibles, soit égale à $1^{16}$.

C'est un chapitre passionnant de l'histoire des Mathématiques que l'étude des chemins sinueux et ramifiés ayant mené des antiques problèmes d'arpentage à la Théorie de la mesure, sous la forme définitive qu'elle a prise avec Lebesgue, en passant par le calcul intégral à partir de la seconde moitié du XVIIᵉ siècle, par l'intégrale de Riemann au milieu du XIXᵉ, et par les travaux de Cantor<fnref n="17" />.

### 2.3.2 « Localité ».

Il s'agit ici des notions de voisinage, de frontière, de compacité et de compléture, qui font l'objet de la Topologie générale, qui traite des *espaces topologiques (X, O)* (cf. 1.1)<fnref n="18" />.

Les fonctions sur $X$ qu'il est naturel de considérer dans ce contexte sont les *fonctions continues*. Elles forment une algèbre commutative notée $C(X, O)$ (ou $C(X)$ pour abréger).

### 2.3.3 « Topographie ».

Il s'agit ici des notions de cartes, de ligne de niveau, de géodésie en général, de courbure, etc... Nous avons ici en vue tout ce qui se rapporte à la Géométrie différentielle, et plus particulièrement à la Géométrie différentielle riemannienne, qui traite des *variétés riemanniennes (X, ds²)* : variétés qui sont, *infinitésimalement*, linéaires et munies d'un « élément métrique » $ds²$.

Les fonctions sur $X$ qu'il est naturel de considérer dans ce contexte sont les *fonctions lisses*, c'est-à-dire indéfiniment différentiables (par exemple les fonctions coordonnées sur un espace vectoriel). Elles forment une algèbre commutative notée $C^∞(X)$.

<footnote n="16">¹⁶s'y rattachent de même les aspects mathématiques de la mécanique statistique, où l'étude mécanique d'un système de très nombreuses particules est remplacé par celui de l'espace des états muni de la mesure de Gibbs au moyen de laquelle on prend les moyennes.</footnote>

<footnote n="17">¹⁷quelques traits de cette histoire sont esquissés au chapitre 7.</footnote>

<footnote n="18">¹⁸Puisque nous aurons à évoquer ci-dessous les espaces topologiques *compacts* ou *complets*, donnons, sans rentrer dans les détails techniques (voir 7.3.2, 7.3.3), une idée de ces deux notions voisines, en supposant pour simplifier qu'on dispose d'une métrique permettant de préciser numériquement la proximité de deux points; on a alors aussi la notion de limite d'une suite de points.</footnote>

<footnote>La *complétude* d'un espace $X$ reflète le fait qu'une suite de points converge (i.e. a une limite dans $X$) dès que les points sont tous arbitrairement proches les uns des autres à partir d'un certain rang. La *compacité* de $X$ reflète le fait que de toute suite de points de $X$, on peut extraire une suite convergente, i.e. qui a une limite. Plus formellement, et dans les termes de 1.2.3, ce qui est requis est que toute famille couvrante d'ouverts $U_i$ de $X$, il existe une sous-famille couvrante finie.</footnote>

<footnote>Par exemple, les espaces $R^n$ ou $C^n$ sont complets mais non compacts. Les parties compactes de $R^n$ ou $C^n$ sont les parties bornées et fermées (i.e. qui contiennent leur frontière); elles sont aussi complètes.</footnote>
Ce point de vue est encore dû aux réflexions de Riemann sur les fondements de la géométrie « courbe » en toute dimension (après Gauss, qui traita le cas des surfaces dans un ouvrage célèbre).

## 2.3.4 Le point de vue fonctionnel sur les espaces. Les points et leur ombre.

Ce point de vue - qui est apparu à divers moments et dans divers contextes de l'histoire des Mathématiques - consiste *grosso modo* à inverser le rôle de la fonction et celui de la variable : au lieu de voir une fonction $f : X \to C$ comme fonction (fixe) d'un point variable $x$ de l'espace $X$, on regarde le point $x$ comme fixe, et on considère son « ombre » constituée des valeurs $f(x)$ prises par toutes les fonctions $f$ sur $X$ (ou plus précisément la règle qui associe à une fonction variable $f$ le nombre complexe $f(x)$).

Cela amène à remplacer l'espace $X$ (mesuré, topologique, ou riemannien) par l'algèbre commutative $L^\infty(X)$, ou $C(X)$, ou $C^\infty(X)$ suivant le cas.

La question qui se pose alors est de savoir si l'on ne perd rien ce faisant. Non-tamment, peut-on récupérer un point à partir de son « ombre » ?

Il se trouve que sous des hypothèses assez larges, c'est effectivement le cas, comme nous le verrons plus loin : on retrouve *grosso modo* l'espace comme *spectre* de l'algèbre associée, c'est-à-dire essentiellement comme l'ensemble des « ombres » des points.

Mais, si l'on ne perd rien, que gagne-t-on ?

C'est, en premier lieu, de pouvoir *calculer* : on calcule avec des fonctions (qui forment une algèbre, à laquelle on peut appliquer les outils de l'Analyse classique), et non avec les points d'un espace. Autrement dit, on gagne de passer du visuel (Géométrie) au scriptural (Algèbre).

À cet égard, nous aimerions inviter le lecteur à une grande prudence en ce qui concerne les thèses sur le prétendu antagonisme calcul/raisonnement en Mathématiques. Ni le slogan romantique « les Mathématiques consistent à remplacer les calculs par des idées », ni les slogans opposés d'une certaine tradition logico-informaticienne (plus récente mais se réclamant non sans raison de Leibniz) ne rendent le moins du monde justice à la très délicate dialectique entre *calcul, raisonnement, problèmes, constructions, et formation de concepts* en Mathématiques.

Bien que ces leçons privilégient de manière presque exclusive le cinquième terme de cette dialectique, il convient de ne pas négliger le rôle essentiel des autres si l'on veut éviter de se forger une image complètement déformée de la pensée mathématique.

Ainsi, pour ne citer qu'un exemple parmi bien d'autres, la Théorie des graphes ne s'est pas constituée par une méditation approfondie sur l'essence de la notion de graphe, immédiatement saisissable, mais par la combinaison féconde de problèmes, constructions et raisonnements.
### 2.3.5 Comment le non commutatif s'introduit aussi subreptice-ment que naturellement dans le point de vue fonctionnel sur les espaces, en reléguant les points dans l'ombre. L'idée de Géométrie non commutative.

Beaucoup d'espaces intéressants s'obtiennent par recollement. Par exemple, toute variété de dimension $n$ s'obtient par recollement de « cartes » qui sont des parties ouvertes de $\mathbb{R}^n$.

L'opération de recollement est donc une des opérations les plus fondamentales de la Géométrie, et dans beaucoup de problèmes, il importe de ne pas considérer seulement le résultat du recollement, mais de garder trace de l'opération même de recollement. Comment traduire cela dans le point de vue fonctionnel esquissé ci-dessus ?

Considérons le cas le plus simple, passablement trivial, d'un espace $X$ constitué d'un seul point, obtenu en identifiant deux espaces du même type $\{x\}$ et $\{y\}$. L'algèbre des fonctions sur la réunion disjointe $\{x\} \cup \{y\}$ est l'algèbre commutative $\mathbb{C}^2$ des couples de nombres (un pour chaque point). L'opération ensembliste de recollement se traduit alors en considérant tous les opérateurs sur $\mathbb{C}^2$, c'est-à-dire l'algèbre non commutative de toutes les matrices $2 \times 2$

$$ \begin{pmatrix} \lambda_{xx} & \lambda_{xy} \\ \lambda_{yx} & \lambda_{yy} \end{pmatrix}. $$

Dans le cas beaucoup moins trivial quoique similaire d'une variété compacte $X$ obtenue par recollement de « cartes », l'algèbre qui décrit le recollement est l'algèbre des matrices infinies $(f_{x,x'})$, nulles à l'infini, indexées continûment par les couples de points où le recollement a lieu. C'est une algèbre non commutative de dimension infinie.

Toutefois, dans ces deux exemples, on peut encore retrouver les points (c'est-à-dire l'espace $X$ lui-même) à partir de spectres, comme dans le cas commutatif : du point de vue spectral, les algèbres non commutatives que l'on voit apparaître par recollement sont en fait équivalentes à l'algèbre commutative des fonctions sur $X$. Cela est dû au fait que les espaces en question obtenus par recollement restent très « conventionnels » du point de vue de l'Analyse classique.

En revanche, pour des recollements plus sauvages (comme ceux qui apparaissent quand on considère les feuilles d'un feuilletage associé à un système dynamique), ce n'est plus du tout le cas. L'espace recollé peut avoir très peu de points « physiques » subsistants - l'opération de recollement ayant relégué en quelque sorte les points dans l'ombre (ou dans la colle !). Le point de vue ensembliste est totalement inadéquat pour décrire des situations de cette sorte (pourtant communes dans la Théorie des systèmes dynamiques par exemple), et il en est de même de l'Analyse classique : l'algèbre commutative des fonctions des points de cet espace recollé est un objet beaucoup trop pauvre pour décrire le recollement en question. Il devient nécessaire de remplacer résolument ensembles de points et algèbres de fonctions par une algèbre non commutative du type de celles considérées ci-dessus.
Parvenu à ce stade, on peut alors retourner complètement le point de vue et
tâcher de définir et d'étudier directement, en termes d'algèbres non commuta-
tives, les structures qui correspondaient, dans les situations géométriques clas-
siques, aux notions de grandeur (mesure), de localité (topologie), de topographie
(géodésie). Ce sont ces algèbres non commutatives qui remplacent les espaces, ou
plutôt, qui jouent le rôle d'« espaces non commutatifs » sans points.

C'est là l'objet de la *Géométrie non commutative*, initiée et développée principalement par A. Connes<fnref n="19" />.

Dans la suite, nous nous concentrerons sur l’aspect « théorie de la mesure » de la Géométrie non commutative, qui n’est autre que la théorie des algèbres de von Neumann et des poids (théorie qui est en fait antérieure à la Géométrie non commutative).

2.4 Espaces de Hilbert et Analyse fonctionnelle.

Revenons derechef au Leitfaden de ce chapitre, en reprenant la direction ver-
ticale là où nous l'avions laissée, c'est-à-dire au passage à la dimension infinie en
Algèbre linéaire.

2.4.1 Espaces euclidiens.

Revenons d'abord brièvement à Euclide. Il construisait des triangles, abais-
sait des perpendiculaires, comparait des angles et des longueurs de côtés. Deux
millénaires et demi après, on considère que pour faire ces opérations, le substrat
adéquat est celui d'espace euclidien, défini comme suit.

Un espace euclidien<fnref n="20" /> est un espace vectoriel *V* de dimension finie muni d'un
produit scalaire<fnref n="21" />, qui associe à tout couple de vecteur (*v*₁, *v*₂) un nombre (réel ou
complexe) noté < *v*₁, *v*₂ >. On requiert que

$$
\bullet < v_1, v_2 > = \overline{< v_2, v_1 >}
$$

$$
\bullet < \lambda_1 v_1, \lambda_2 v_2 > = \bar{\lambda}_1 \lambda_2 < v_1, v_2 >,
$$

* que < v₁, v₂ > soit additif en v₁ et en v₂ et soit un nombre positif non nul
lorsque v₁ = v₂ ≠ 0 .

À partir du produit scalaire, on définit la *norme* (= longueur) d'un vecteur<fnref n="22" /> :

$$
|v| = \sqrt{\langle v, v \rangle}.
$$

La norme permet de mesurer la distance entre deux vecteurs (c'est la norme de
la différence des vecteurs). Outre la norme, le produit scalaire permet aussi de

<footnote n="19">¹⁹le discours ci-dessus passe sous silence les motivations et sources d’inspiration très impor-
tantes provenant de la mécanique quantique et de la physique statistique quantique. Nous y fe-
rons brièvement allusion dans la suite.</footnote>

<footnote n="20">²⁰réel ou complexe; on dit aussi espace hermitien plutôt qu'espace euclidien complexe.</footnote>

<footnote n="21">²¹dans le cas du plan euclidien réel proprement dit, le produit scalaire < v₁, v₂ > n'est autre que le produit des normes (= longueurs) de v₁ et de v₂ par le cosinus de l'angle entre v₁ et v₂.</footnote>

<footnote n="22">²²qui correspond intuitivement, si l'on pense à un vecteur $\vec{OP}$ dans la plan, à sa longueur.</footnote>
définir la notion d'orthogonalité (synonyme de perpendicularité) :

$$v_1 \perp v_2 \Leftrightarrow \langle v_1, v_2 \rangle = 0.$$

Pour deux vecteurs orthogonaux, on a alors la « relation de Pythagore » :

$$|v_1 + v_2|^2 = |v_1|^2 + |v_2|^2.$$

Étant donné un sous-espace $W$ de l'espace euclidien $V$, l'espace orthogonal à $W$, formé des vecteurs orthogonaux à tous les vecteurs de $W$, est noté $W^{\perp}$. On a $W^{\perp} = W$. En outre, $V$ se décompose en $V = W \oplus W^{\perp}$, autrement dit tout vecteur $v \in V$ s'écrit de manière unique comme somme d'un vecteur $w \in W$ (la projection de $v$ dans $W$, qu'on écrit aussi $P_W(v)$) et d'un vecteur $w^{\perp}$ orthogonal à $w$.

<figure><img src="image_7.png" /><figcaption>FIG. 2.5 –</figcaption></figure>

Le produit scalaire permet aussi de définir l'adjoint $F^*$ d'un opérateur $F \in \mathcal{L}(V)$. Une façon abstraite et intrinsèque est de dire que l'adjoint satisfait l'équation

$$\langle F^*(v), w \rangle = \langle v, F(w) \rangle.$$

Une façon plus concrète (mais équivalente) est d'utiliser les matrices associées (modulo le choix de bases *orthonormées*, c'est-à-dire formées de vecteurs orthogonaux et de norme 1) : l'adjonction est l'opération qui remplace lignes par colonnes et passe au conjugué complexe, c'est-à-dire $(\lambda_{ij}) \rightsquigarrow (\bar{\lambda}_{ji})$. On a :

$$F^{**} = F, \quad (GF)^* = F^*G^*.$$

Par exemple, considérons le *projecteur* $P_W$ sur un sous-espace vectoriel $W$ de $V$. C'est l'opérateur qui à tout vecteur $v \in V$ associe sa composante dans $W$ eu égard à la décomposition $V = W \oplus W^{\perp}$ (ce point se décrit aussi comme le point de $W$ le plus proche de $v$).

Alors $P_W$ vérifie les équations $P_W = P_W^* = P_W P_W$, et ces équations caractérisent les opérateurs qui sont des projecteurs.

Autre exemple important : les opérateurs *unitaires*. Ce sont ceux (inversibles) qui préservent le produit scalaire. Ils vérifient les équations $U^*U = UU^* = I$, qui les caractérisent.
## 2.4.2 Espaces de Hilbert.

Il s'agit de la généralisation en dimension infinie des espaces euclidiens. Ces espaces ont été introduits par Hilbert en 1909, pour développer l'Analyse fonctionnelle abstraite, dont le point de départ consiste à considérer des fonctions comme points d'un espace vectoriel topologique idoine - dans les cas les plus simples, d'un espace de Hilbert<fnref n="23" />.

Un espace (vectoriel) de Hilbert $\mathcal{H}$ admet un produit scalaire tout comme un espace euclidien, mais il est de dimension infinie (dénombrable, pour simplifier), et complet (pour la distance définie par la norme définie elle-même par le produit scalaire comme ci-dessus).

En particulier, $\mathcal{H}$ admet une base orthonormée infinie $(..., e_{-1}, e_0, e_1, e_2, ...)$, et tout vecteur $v \in \mathcal{H}$ s'écrit de manière unique comme combinaison linéaire infinie convergente

$$v = \sum_{n=-\infty}^{n=\infty} \lambda_n e_n, \quad \text{où} \quad \lambda_n = \langle e_n, v \rangle,$$

et on a la « relation de Pythagore » en dimension infinie $|v|^2 = \sum_{n=-\infty}^{n=\infty} |\lambda_n|^2$.

Les espaces de Hilbert ressemblent donc beaucoup aux espaces euclidiens, mais la dimension infinie donne une plus grande souplesse (bien qu'il n'existe, à isomorphie près, qu'un seul espace de Hilbert<fnref n="24" />). Par exemple, $\mathcal{H}$ peut être décomposé en somme directe de deux copies de lui-même !

L'exemple standard est fourni par les séries de Fourier<fnref n="25" />. Étant donné deux fonctions périodiques $f_1(t)$ et $f_2(t)$ de période $2\pi$, on définit leur produit scalaire par :

$$\langle f_1, f_2 \rangle = \frac{1}{2\pi} \int_{-\pi}^{\pi} \bar{f}_1 f_2 dt$$

L'espace $\mathcal{H}$ des fonctions $f$ pour lesquelles $\langle f, f \rangle$ est bien défini, est un espace de Hilbert. Une base orthonormée est donnée par $e_n = e^{\sqrt{-1}nt}$ (où $n$ est un entier positif ou négatif quelconque) : tout $f \in \mathcal{H}$ s'écrit de manière unique

$$f = \sum_{n=-\infty}^{n=\infty} \langle e_n, f \rangle e_n.$$

## 2.4.3 Opérateurs sur un espace de Hilbert et algèbres stellaires.

Un opérateur sur un espace de Hilbert $\mathcal{H}$ est une application linéaire $\mathcal{H} \xrightarrow{F} \mathcal{H}$ continue (ce qui revient à dire qu'elle est bornée sur la boule unité formée des vecteurs de norme au plus 1). La norme de $F$ est le maximum des normes des valeurs que prend $F$ sur la boule unité.

<footnote n="23">²³voir L. Schwartz, *Analyse hilbertienne*, Hermann, Paris, 1979.</footnote>

<footnote n="24">²⁴sous-entendu : de dimension dénombrable.</footnote>

<footnote n="25">²⁵préfet de l'Isère, auteur de la théorie de la chaleur - pour laquelle il inventa il y a 200 ans le développement en séries trigonométriques (séries de Fourier) et la transformation de Fourier - et du bel aphorisme selon lequel les Mathématiques « n'ont pas de signe pour exprimer les notions confuses ».</footnote>
Les opérateurs se composent, et forment une algèbre non commutative notée $\mathcal{L}(\mathcal{H})$, munie d'une norme $|\cdot|$ et d'une involution (l'adjonction $F \mapsto F^*$). On a la relation $|FF^*| = |F|^2$.

De manière générale, une algèbre munie d'une involution et d'une norme vé-
rifiant cette propriété répond au beau nom d'algèbre stellaire.

## 2.5 Spectres.

### 2.5.1 De Newton à Gelfand.

L'histoire des spectres en sciences physico-mathématiques est une histoire merveilleuse pour laquelle nous renvoyons aux travaux de J. Mawhin.

Il semble que les spectres apparaissent pour la première fois en physique chez Newton à propos de la dispersion de la lumière solaire par un prisme (1671). D'après Mawhin,

le développement de ces travaux au cours du XIXe siècle conduit à la spectroscopie, indispensable outil d'exploration de l'infiniment grand (astrophysique) et de l'infiniment petit (physique atomique). L'introduction du mot « spectre » en Mathématiques est beaucoup plus tardive (fin du XIXe siècle), mais les notions qu'il recouvre sont plus anciennes et trouvent leur origine dans des disciplines mathématiques multiples (équations différentielles, Mécanique céleste, Géométrie analytique, Physique mathématique, théorie de propagation de la chaleur, Algèbre). Il faut attendre le XXe siècle pour que les notions physique et mathématique de spectre se réconcilient, au sein de la mécanique quantique.

On a pu dire que le spectre d'un élément chimique est comme son « codebarre ». Dans le cas de l'hydrogène, les raies du spectre d'émission obéissent à la loi arithmétique de fréquence en $\frac{1}{m^2} - \frac{1}{n^2}$ ($n > m$) (loi de Ritz-Rydberg 1890), dont l'incompatibilité avec les lois de Newton et de Maxwell a été l'une des sources de l'émergence de la mécanique quantique de Heisenberg et Schrödinger (1925-26).

Du côté mathématique, si $F \in \mathcal{L}(V)$ est un opérateur, son spectre est l'ensemble des nombres complexes $\lambda$ tels que $F - \lambda I$ ne soit pas inversible$^{26}$.

Par exemple, si l'on prend comme opérateur un projecteur $P$ d'un espace euclidien ou de Hilbert, le spectre de $P$ est contenu dans l'ensemble à deux éléments $\{0, 1\}$. Plus généralement, si un opérateur (continu) est auto-adjoint, c'est-à-dire si $F = F^*$, son spectre est un sous-ensemble compact de $\mathbb{R}$.

Si l'on considère en revanche des opérateurs auto-adjoints « non continus »$^{27}$, alors le spectre est réel mais pas nécessairement compact (c'est le cas notamment des opérateurs hamiltoniens de la mécanique quantique).

Revenant au cas d'un opérateur (continu) auto-adjoint $F$, on peut aussi définir son spectre comme l'ensemble des caractères (= fonctions linéaires multipli-

<footnote>$^{26}$un opérateur $F$ est dit *inversible* s'il existe un opérateur $G$ tel que $FG = GF = I$, où $I$ est, rappelons-le, l'opérateur identité. On reviendra sur les spectres en 4.1.1.</footnote>

<footnote>$^{27}$contrairement à notre convention précédente selon laquelle les opérateurs d'un espace de Hilbert sont par définition continus.</footnote>
catives<sup>28)</sup> de l'algèbre stellaire $A = \mathbb{C}[F]$ qu'il engendre. Ceci permet d'étendre la notion de spectre au cas d'une algèbre stellaire commutative quelconque $A$: Gelfand définit le *spectre* de $A$ comme l'ensemble des caractères de $A$. C'est de manière naturelle un espace topologique compact (mais plus forcément un ensemble de nombres).

## 2.5.2 Retour au point de vue fonctionnel. Les théorèmes de Gelfand et de Riesz.

Revenons maintenant au point de vue fonctionnel (cf. 2.3.4), et précisons le fait qu'on « ne perd rien » dans ce passage.

Commençons par le cas d'un espace topologique compact $(X, \mathcal{D})$. On lui associe l'algèbre stellaire commutative $A = C(X, \mathcal{D})$ des fonctions continues à valeurs complexes sur $X^{29}$.

Réciproquement, partant d'une algèbre stellaire commutative $A$, Gelfand lui associe son spectre $X$ qui est un espace topologique compact. Le théorème de Gelfand dit que ces deux opérations sont inverses l'une de l'autre. En particulier, on récupère $X$ à partir de $A$: un point $x \in X$ correspond à un caractère $\chi$ défini par la formule

$$f(x) = \chi(f) \text{ pour tout } f \in A.$$

Supposons en outre que $X$ soit muni d'une mesure $d\mu$ (et pour faire « bonne mesure », faisons aussi l'hypothèse technique que la topologie de $X$ provient d'une métrique<sup>30)</sup>). La mesure $d\mu$ permet d'intégrer les fonctions, et définit donc une application linéaire

$$\mu : A = C(X) \to \mathbb{C}, \quad \mu(f) = \int_X f d\mu,$$

telle que $\mu(ff^*) \ge 0$.

Le théorème de Riesz (1909) affirme que, réciproquement, une telle fonction $\mu$ correspond toujours à une mesure $d\mu$, telle que $\mu(f) = \int f d\mu^{31}$. On peut alors considérer l'espace de Hilbert

$$\mathcal{H} = L^2(X, d\mu) = \{f \mid \int |f|^2 d\mu < \infty\}$$

des fonctions complexes sur $X$ de carré intégrable. Toute fonction presque partout bornée agit par multiplication sur $\mathcal{H}$, de sorte que l'algèbre

$$M = L^\infty(X, d\mu)$$

des fonctions presque partout bornées est une sous-algèbre stellaire de $\mathcal{L}(\mathcal{H})$. Elle contient

$$A = C(X)$$

<footnote n="28"><sup>28</sup>en particulier, tout caractère $\chi$ vérifie $\chi(ff^*) \ge 0$ et $\chi(1) = 1$.</footnote>

<footnote n="29"><sup>29</sup>l'involution $f \mapsto f^*$ étant induite par la conjugaison complexe, et la norme $|f|$ étant le maximum des modules des valeurs prises par $f$ sur $X$.</footnote>

<footnote n="30"><sup>30</sup>on prend pour tribu $\mathfrak{B}$ la plus petite contenant les ouverts et les parties de mesure nulle.</footnote>

<footnote n="31"><sup>31</sup>cas particulier : le caractère associé à un point $x$ n'est autre que la mesure de Dirac en $x$.</footnote>
et coïncide en fait avec le commutant de $A$. Elle est donc égale à son propre bicommutant : $M = M''$. En outre, $\mu$ s'étend à $M$, avec la même propriété de positivité.

En combinant les théorèmes de Gelfand et de Riesz, on voit que les données géométriques (espace topologique mesuré)

$$ (X, \mathcal{D}, d\mu) $$

et les données fonctionnelles

$$ (A, M \xrightarrow{\mu} \mathbb{C}) $$

se déterminent mutuellement$^{32}$.

On peut alors préciser ce qui a été dit à la fin de 2.3.5.

En Géométrie non commutative, c'est la théorie des algèbres stellaires non commutatives$^{33}$, analogues non commutatifs des algèbres $C(X, \mathcal{D})$, qui jouera le rôle de « topologie générale non commutative ».

C'est la théorie des algèbres de von Neumann et de leurs poids, analogues non commutatifs des algèbres $M = L^\infty(X, d\mu)$ et des mesures $\mu$, qui jouera le rôle de « théorie de la mesure non commutative ».

## 2.6 Algèbres de von Neumann, facteurs et poids.

### 2.6.1 Ce que c'est.

La théorie des algèbres de von Neumann a été créée en l'espace de quelques années (de 1936 à 1943) par von Neumann et son élève F. J. Murray. Leur motivation principale venait de la mécanique quantique : tentative de classification des algèbres d'observables qu'on y rencontre.

Une *algèbre de von Neumann*$^{34}$ (on dit aussi, plus simplement : *algèbre d'opérateurs*) est une sous-algèbre stellaire $M$ de l'algèbre stellaire $\mathcal{L}(\mathcal{H})$ des opérateurs sur un espace de Hilbert complexe $\mathcal{H}$, qui est égale à son bi-commutant (voir 2.2.4), c'est-à-dire telle que

$$ M = M''. $$

C'est la généralisation non commutative de l'algèbre $L^\infty(X)$ des fonctions presque partout bornées sur un espace mesuré $X$.

Un facteur $M$ est une algèbre de von Neumann telle que les seuls éléments de $M$ qui commutent avec tous les autres sont les opérateurs scalaires (opérateurs de multiplication par un nombre fixe), ce qui revient à dire que

$$ M \cap M' = \mathbb{C}. $$

<footnote>$^{32}$Il y a quelque chose d'analogue, mais plus compliqué (en termes d'opérateurs de Dirac) dans le cas où l'on ajoute une structure riemannienne.</footnote>

<footnote>$^{33}$de préférence séparables en norme, ce qui reflète, dans le cas commutatif, la condition que le spectre peut être muni d'une métrique.</footnote>

<footnote>$^{34}$Si par hasard un connaisseur tombait sur ces lignes, prévenons que, techniquement, nous nous limiterons souvent tacitement aux algèbres de von Neumann à prédual séparable. Sur les algèbres de von Neumann et leur usage en Géométrie non commutative, on peut consulter A. Connes, *Géométrie non commutative*, Interéditions, Paris, 1990 (deuxième éd. refondue chez Dunod, 2005).</footnote>
Nous avons déjà rencontré des exemples simples de facteurs (les moins intéressants qui soient, à dire vrai) :

• pour tout $n = 1, 2, \dots$ l'algèbre stellaire $I_n = \mathcal{L}(\mathbb{C}^n)$ des matrices $n \times n$,

• l'algèbre stellaire $I_\infty = \mathcal{L}(\mathcal{H})$ des opérateurs (continus) sur l'espace de Hilbert.

Ce sont les facteurs *de type I*. On verra qu'il existe deux autres types bien plus intéressants.

Un théorème fondamental de von Neumann assure la possibilité de « désintégrer » toute algèbre de von Neumann $M$ en facteurs ; les facteurs sont les briques élémentaires, et il suffit de les comprendre pour comprendre les algèbres d'opérateurs.

Voilà donc le début de la théorie de von Neumann. Des motivations solides d'où est issu un concept fondamental bien précis (celui de facteur en l'occurrence). Il s'est alors agi de développer cette théorie :

1. développement d'une technologie aussi riche que celle de la théorie clasique de la mesure (dans le cas commutatif). Par exemple la notion de mesure a un analogue dans le cas non commutatif, celle de poids ; le théorème de Riesz vu plus haut assure que dans le cas commutatif, il n'y a pas « deux poids, deux mesures », c'est la même chose.

2. Exploration de phénomènes nouveaux.

3. Construction et classification des facteurs.

## 2.6.2 Facteurs de type II et géométrie en dimension continue.

Soit $M \subset \mathcal{L}(\mathcal{H})$ un facteur. Murray et von Neumann ont eu l'idée de chercher à classifier les projecteurs $P$ de $M$ (voir 2.4.1), en s'inspirant de ce qui se passe en dimension finie $n$, c'est-à-dire pour le type $I_n$.

Deux projecteurs $P_1$ et $P_2$ sont dits *équivalents* (on écrit $P_1 \sim P_2$) s'il existe un opérateur $V \in M$ tel que $P_1 = V^*V$ et $P_2 =VV^*$ (on a alors $P_2V = VP_1$). En dimension finie, cela signifie simplement que les dimensions des espaces vectoriels images des projecteurs sont les mêmes ; modulo équivalence, les projecteurs $P$ sont donc entièrement classifiés par la dimension $D(P)$ de leur image.

Murray et von Neumann ont découvert quelque chose d'analogue pour tout facteur $M$. On peut associer de façon canonique à chaque projecteur $P$ une dimension $D(P) \in [0, \infty]$ qui est un nombre réel positif ou l'infini, vérifiant :

$$1. P_1 \sim P_2 \Leftrightarrow D(P_1) = D(P_2),$$

$$2. P_1P_2 = 0 \Rightarrow D(P_1 + P_2) = D(P_1) + D(P_2).$$

On peut alors effectuer une première classification grossière des facteurs suivant les valeurs que peuvent prendre les dimensions des projecteurs. On obtient les cinq familles suivantes (y compris les deux vues précédemment), réparties en trois types :

$$I_n : \{0, 1, 2, \dots, n\}$$

$$I_\infty : \{0, 1, 2, 3, \dots\}$$
$II_1 : [0, 1]$

$II_\infty : [0, \infty]$

$III : \{0, \infty\}$

L'apparition de « dimensions continues » constitue la première grande découverte de la théorie. Ces dimensions apparaissent en fait comme des « densités de dimension », au sens où on pourrait dire que les entiers pairs sont de densité 1/2 parmi tous les entiers<fnref n="35" />.

Pour construire un exemple de facteur de type $II_1$, on peut s'y prendre de la manière suivante. Prenons un groupe (discret) dénombrable $\Gamma$ d'opérateurs unitaires qui est « assez non commutatif »; alors le commutant $M = \Gamma'$ dans $\mathcal{L}(\mathcal{H})$ est un facteur de type $II_1$.

### 2.6.3 Facteurs de type III et dynamique.

Les facteurs de type III sont précisément ceux sur lesquels la théorie de la dimension de von Neumann et Murray ne dit rien. Pendant un quart de siècle, et bien que la provision d'exemples s'enrichît, cette classe resta complètement mystérieuse.

La deuxième grande découverte de la théorie les concerne, et vient des travaux de Tomita, Takesaki et Connes<fnref n="36" />. Pour tout facteur $M$ muni d'un poids $\mu$, il existe un groupe à un paramètre d'évolution (analogue aux flots d'évolution dans le temps que l'on rencontre en mécanique statistique quantique)

$$t \mapsto (F \in M \mapsto e^{\sqrt{-1}tH_\mu} \cdot F \cdot e^{-\sqrt{-1}tH_\mu}),$$

qui ne dépend du poids $\mu$ qu'à conjugaison unitaire près. Il définit donc un morphisme canonique de groupes

$$\delta : \mathbb{R} \to \mathrm{Out} M,$$

où $\mathrm{Out} M$ est le groupe des « automorphismes extérieurs » (c'est-à-dire les automorphismes à conjugaison unitaire près) du facteur $M$.

Il se trouve que les facteurs de type III sont justement ceux pour lesquels ce groupe à un paramètre d'évolution est non trivial : les facteurs de type III sont des objets dynamiques.

### 2.6.4 Classification des facteurs moyennables.

Comme dans beaucoup de théories, où des motivations solides et quelques exemples non triviaux ont mené, dans un premier mouvement, à la définition d'un objet mathématique fondamental, se pose le problème de la classification des objets répondant à cette définition. C'est là un second mouvement, en général très difficile et dont l'achèvement signe souvent la maturité de la théorie.

<footnote n="35">³⁵sans lien, a priori, avec les dimensions fractionnaires des fractals.</footnote>

<footnote n="36">³⁶Voir, par exemple, Alain Connes, « Une classification des facteurs de type III », *Annales scientifiques de l'École Normale Supérieure Sér. 4*, 6 no. 2 (1973), p. 133-252.</footnote>
La classification des objets, loin de « sortir » de la définition même, requiert d'abord une période de « gestation » où s'accumulent des exemples provenant de constructions variées et parfois surprenantes, puis une période « taxinomique » où les objets construits sont analysés en détail et comparés entre eux; vient un moment où l'on a l'impression d'avoir une liste complète. Reste à le démontrer.

Il arrive parfois qu'une classification complète soit impossible, et que cette im-
possibilité - en un sens précisé - soit démontrée. C'est en fait ce qui se passe pour
les facteurs. La tâche de classification se complique alors : il s'agit de détermi-
ner d'abord une « bonne » classe qui, tout en étant suffisamment ubiquitaire, soit
susceptible de classification<fnref n="37" />.

Dans le cas des facteurs, de nombreux travaux convergents ont permis de
dégager cette « bonne » classe : c'est celle des *facteurs moyennables*<sup>38</sup>, caractérisés
par la propriété d'être approximés par des sous-algèbres stellaires de dimension
finie. Ce sont des algèbres de dimension infinie (sauf pour le type *I*<sub>n</sub>), mais « pas
trop » !

La classification des facteurs moyennables, due à A. Connes<sup>39</sup>, est la suivante :

$I_n$

$I_\infty$

$\mathrm{II}_1$: il n'y a qu'un seul facteur moyennable de ce type.

$\mathrm{II}_\infty$: idem.

$\mathrm{III}_\lambda$ avec $\lambda \in [0, 1[$ : idem. En fait $\lambda$ est directement relié à la dynamique $\delta$ (cf. 2.6.3) : l'ensemble $\{t : \delta(t) = 0\}$ est l'ensemble des $\frac{2\pi n}{\log \lambda}$ pour $n$ entier quelconque.

$\mathrm{III}_1$ : encore un seul facteur moyennable de ce type.

$\mathrm{III}_0$ : dans cette rubrique, il y a une infinité de facteurs moyennables, tous décrits « géométriquement » à l'aide de la Théorie des systèmes dynamiques.

2.6.5 Prolongements.

Le facteur moyennable de type $II_1$ est l'un des plus remarquables de la liste,
tant à cause de ses multiples propriétés que de ses applications. On peut le
construire comme indiqué en 2.5.2 en prenant pour $\Gamma$ un groupe localement fini
(par exemple un groupe de substitutions sur un alphabet infini ou chaque élé-
ment du groupe ne permute qu'un nombre fini de lettres).

C'est un facteur de dimension infinie, certes, mais il possède une double pro-
priété de finitude : la moyennabilité - approximation par des sous-algèbres stel-
laires de dimension finie -, et l'existence d'une *trace*, c'est-à-dire un poids parti-
culier qui joue le rôle d'une probabilité. C'est l'analogue non commutatif d'un
espace de probabilités.

<footnote n="37">³⁷Nous y reviendrons en 4.4.1.</footnote>

<footnote n="38">³⁸il y a beaucoup d'autres noms « équivalents », par exemple facteurs hyperfinis, ou encore injectifs. Il ne s'agit d'ailleurs nullement d'une pure synonymie : chacun de ces noms est associé à une propriété spécifique de facteurs, qui a d'abord été étudiée pour elle-même, et la coïncidence de ces propriétés est un résultat majeur de la théorie qui met en évidence l'importance de cette classe de facteurs.</footnote>

<footnote n="39">³⁹voir, en particulier, l'article « Classification of injective factors », *Ann. of Math.* 104 (1976), 73-115.</footnote>
La classification des sous-facteurs du facteur $II_1$ moyennable par V. Jones a donné lieu à des nouveaux invariants pour la Théorie des nœuds, et a ouvert un nouveau chapitre des Mathématiques, la « topologie quantique ».

## 2.7 Coda : Logique des interactions.

En guise de conclusion<fnref n="40" />, nous dirons quelques mots (beaucoup trop brefs) sur l'intervention surprenante du facteur moyennable de type $II_1$ en Logique, dans le cadre de la Théorie de la démonstration, plus précisément dans la récente « logique des interactions » de J.-Y. Girard<fnref n="41" />.

Il est intéressant de remarquer que l'histoire en Logique mime un peu l'histoire que nous avons racontée à propos du changement de point de vue :

espace des points ↛ algèbres de fonctions ↛ algèbres d'opérateurs.

Le point de vue naïf d'espace de points correspond au point de vue des débuts de la Logique formelle : dans cette analogie les points correspondent aux *formules* logiques. Les fonctions, quant à elles, correspondent aux *programmes*, et l'équivalence de Gelfand entre espaces compacts de points et algèbres stellaires commutatives de fonctions correspond à l'équivalence de de Bruijn-Curry-Howard entre preuves et programmes. L'analyse poussée de la notion de preuve a soulagné l'importance théorique de l'élimination des coupures (il s'agit, *grosso modo*, de transformer une preuve en une autre plus directe, en supprimant les lemmes intermédiaires), qui est associatif d'après des résultats de Church-Rosser-Girard. Une description en termes topologiques classiques avait été tentée (domaines de Scott), mais le résultat est peu satisfaisant, les espaces obtenus étant non séparés ; cela correspond à la situation décrite en 2.3.5 des points « englués ».

Grâce à sa notion opératorielle de *feed-back* dans le processus d'élimination des coupures, Girard est parvenu à donner une description géométrique (au sens non commutatif) de la situation, en termes de géométrie de dimension continue associée au facteur moyennable de type $II_1$, en jouant de la double propriété de finitude de ce facteur remarquable.

Il est impossible de rentrer ici dans les détails, mais disons simplement ce que devient la tautologie « de $A$, on infère $A$ » dans ce nouveau contexte : on utilise la décomposition de l'espace de Hilbert en deux copies de lui-même, et l'avatar opératoriel de ladite tautologie est la matrice $\begin{pmatrix} 0 & I \\ I & 0 \end{pmatrix}$ associée à cette décomposition.

<footnote n="40">⁴⁰« la bêtise consiste à vouloir conclure » disait Flaubert...</footnote>

<footnote n="41">⁴¹voir *Le Point Aveugle. Cours de théorie de la démonstration*, Roma Tre, Octobre-Décembre 2004, *Hermann*, collection « Visions des Sciences »*. Tomes I, II.</footnote>
# Chapitre 3

## Symétries I. Idées galoisiennes.

> « Il existe pour ces sortes d'équations
> un certain ordre de considérations métaphysiques
> qui planent sur les calculs
> et qui souvent les rendent inutiles. »

> « Sauter à pieds joints sur les calculs,
> grouper les opérations, les classer
> suivant leur difficulté et non suivant leur forme,
> telle est selon moi la mission des géomètres futurs. »

> É. Galois.

Évariste Galois : révolutionnaire - en politique et en mathématique -, mort en 1832 dans sa vingtième année.

Éduqué par sa mère à Bourg-la-Reine, dont son père est maire, il se passionne pour les Mathématiques suite à la lecture, à quinze ans, des Éléments de Géométrie de Legendre. Il obtient le premier prix du concours général dans cette discipline mais échoue au concours d'entrée à l'École Polytechnique, quelques jours après le suicide de son père suite à une cabale du curé du village. Au lycée, Galois commence à lire les mémoires des grands mathématiciens de l'époque (Lagrange, Gauss, Jacobi). Il obtient, dès ses dix-huit ans, des résultats mathématiques d'une portée incomparable (« théorie de l'ambiguïté », théorie des intégrales abéliennes) qu'on a pu qualifier d'acte de naissance des mathématiques « modernes ».

Pendant la révolution de juillet 1830, Galois est élève à l'École Normale Supérieure<fnref n="1" /> et consigné comme ses condisciples. Suite à la publication de deux lettres de lui brocardant le directeur et la misère de l'enseignement scientifique, il est renvoyé, et, sans ressource, il ouvre un cours privé d'Algèbre supérieure chez un libraire du quartier latin. Il s'engage alors très activement dans la lutte politique, au sein de la Société des Amis du Peuple présidée par Raspail. Toast régicide puis manifestation en tenue illégale de garde républicain lui valent de passer l'essentiel de la dernière année de sa vie en prison. C'est en partie là qu'il rédige ses mémoires les plus importants, dont la plupart ont été perdus<fnref n="2" /> ou rejetés<fnref n="3" />. La nuit

<footnote n="1">¹transitoirement rebaptisée École Préparatoire, après avoir été supprimée quelque temps.</footnote>

<footnote n="2">²par Cauchy et par Fourier.</footnote>

<footnote n="3">³par Poisson.</footnote>
précédant le duel fatal, il écrit une splendide lettre-testament (qui sera évoquée ci-dessous).

Épilogue : en 1843, Liouville exhume un mémoire de Galois et expose la « théorie de l’ambiguïté » à l’Académie des Sciences. Depuis, l’influence de ces idées n’a cessé de croître.

En suivre certaines lignes de force jusque dans les Mathématiques les plus contemporaines, tel est l'objet de ce chapitre dont le thème central est celui de groupe de symétries et d'invariant.

## 3.1 Théorie de Galois des équations algébriques.

### 3.1.1 Résolubilité par radicaux.

Ainsi débute la lettre-testament de Galois :

Mon cher Ami, j'ai fait en Analyse plusieurs choses nouvelles. Les unes concernent la théorie des équations, les autres les fonctions intégrales. Dans la théorie des équations, j'ai recherché lesquelles étaient résolubles par radicaux...

Une équation *algébrique* (ou *polynomiale*) de degré *n* est une équation de la forme

$$ (*) \quad x^n + a_{n-1}x^{n-1} + \dots + a_1x + a_0 = 0 $$

où les coefficients $a_i$ sont des constantes (par exemple des nombres rationnels), et $x$ est l'inconnue (appelée racine de l'équation).

La recherche de « formules » pour les racines $x$ d'une telle équation est un problème très ancien, qui, au XVIe siècle avait été résolu jusqu'au degré $n = 4$ au moyen de techniques de changement de variables et substitutions<fnref n="4" />. Ces formules se présentent sous la forme d'expressions faisant intervenir des radicaux $x^m$, pour $m \le n$. Par exemple, la formule donnant une solution de l'équation du troisième degré

$$ x^3 + a_1x + a_0 = 0 $$

est

$$ x = {}^3\sqrt{-\frac{a_0}{2} + \sqrt{\left(\frac{a_0}{2}\right)^2 + \left(\frac{a_1}{3}\right)^3}} + {}^3\sqrt{-\frac{a_0}{2} - \sqrt{\left(\frac{a_0}{2}\right)^2 + \left(\frac{a_1}{3}\right)^3}} $$

On notera toutefois que de telles formules présentent des ambiguïtés techniques (dans la prise des radicaux), liées à une ambiguïté de fond : comment briser l'indiscernabilité *a priori* des racines de l'équation ?

Autre souci : ces formules peuvent faire intervenir des racines carrées de nombres négatifs (exclus jusqu'au XVIe siècle), même lorsque la solution $x$ est rationnelle : par exemple la formule précédente exprime la racine $x = 4$ de l'équation $x^3 - 15x - 4 = 0$ sous la forme alambiquée<fnref n="5" />

$$ x = {}^3\sqrt{2 + \sqrt{-121}} + {}^3\sqrt{2 - \sqrt{-121}} $$

<footnote n="4">⁴del Ferro, Tartaglia, Cardano (Ars Magna, 1545), Ferrari.</footnote>

<footnote n="5">⁵comme le remarque Bombelli vers 1550, la clé de l'énigme, qui passe par le calcul des imaginaires, est que $2 + \sqrt{-121}$ est le cube de $2 + \sqrt{-1}$.</footnote>
À la fin du XVIᵉ, Viète systématisa l'usage des lettres pour noter coefficients et inconnues, et découvrit la relation entre coefficients de (*) et fonctions symétriques des racines. Malgré tout l'intérêt du bouleversement conceptuel qui accompagna l'assimilation progressive des racines imaginaires et la clarification de la notion même de racine<fnref n="6" />.

Il fallut plus de deux siècles avant de pouvoir aller au-delà du degré $n = 4$ dans la question de la résolution par radicaux des équations algébriques. Les travaux de Lagrange sur la technique des résolvantes à la fin du XVIIIᵉ siècle mirent en lumière le rôle crucial joué par les permutations des racines, sans toutefois résoudre le problème.

Mais c'est N. Abel, précurseur de Galois mort à 26 ans en 1829, qui le premier démontra rigoureusement l'impossibilité de résoudre l'équation générale du 5ᵉ degré par radicaux<fnref n="7" />. Peu après, Galois s'empara du problème de la résolubilité par radicaux et le résolut complètement en donnant une condition nécessaire et suffisante portant sur un certain groupe de symétries des racines de l'équation.

#### 3.1.2 Le groupe de Galois.

Voici comment Galois l'introduit lui-même<fnref n="8" />, sous forme d'un

*Théorème*. Soit une équation donnée, dont $a, b, c...$ sont les racines. Il y aura toujours un groupe de permutations des lettres $a, b, c...$ qui jouira de la propriété suivante :

1. que toute fonction des racines, invariable par les substitutions de ce groupe, soit rationnellement connue,<fnref n="9" />

2. réciproquement, que toute fonction des racines, déterminable rationnellement, soit invariable par ces substitutions.

C'est sans doute là l'une des toutes premières apparitions de la notion mathématique de groupe. En fait, Galois ne considère pas de « groupes abstraits »<fnref n="10" />,

<footnote n="6">⁶dans le cas des équations dont les coefficients sont des nombres, on peut considérer que la question a été complètement élucidée par le classique « théorème fondamental de l'Algèbre » (énoncé par Girard, « justifié » par D'Alembert, mieux par Lagrange, enfin démontré rigoureusement par Gauss) : toute équation (*) de degré non nul, dont les coefficients $a_i$ sont des nombres complexes, admet au moins une racine parmi les nombres complexes ; nous n'en dirons pas plus, considérant que cela appartient à la préhistoire de notre sujet.</footnote>

<footnote n="7">⁷N. Abel, Sur la résolution algébrique des équations, *Oeuvres* t. II.</footnote>

<footnote n="8">⁸*Oeuvres mathématiques*, suivies d'une notice de G. Verriest, Gauthiers-Villars, 1951.</footnote>

<footnote n="9">⁹ce qui signifie : exprimable à partir des coefficients de l'équation *rationnellement*, c'est-à-dire en ne faisant intervenir que l'addition, la soustraction, la multiplication, la division.</footnote>

<footnote n="10">¹⁰C'est semble-t-il Cayley qui donna en 1854 une première définition générale de groupe abstrait (en indiquant d'ailleurs que tout groupe abstrait peut être vu comme groupe de permutations de ses éléments, de sorte que la considération des seuls groupes de substitutions n'est pas limitative) ; mais la condition d'associativité n'est clairement mise en avant que plus tard (Huntington, Moore, 1902).</footnote>

<footnote>La définition d'un groupe (abstrait) s'est alors stabilisée : un groupe est un ensemble $G$ muni d'une loi de composition interne $(x, y) \mapsto x \cdot y$ qui est associative $(x \cdot (y \cdot z) = (x \cdot y) \cdot z)$, admet un élément neutre $1$ $(1 \cdot x = x \cdot 1 = x)$, et telle que tout élément $x$ admet un inverse $x^{-1}$ $(x \cdot x^{-1} = x^{-1} \cdot x = 1)$. Exemples : le groupe des permutations d'un ensemble d'objets, le groupe des déplacements dans l'espace, le groupe des transformations canoniques du sujet d'une fugue, etc...</footnote>
mais seulement des groupes de substitutions, c'est-à-dire des ensembles de per-
mutations de *a*, *b*, *c*... qui sont stables par composition et par passage à l'inverse.
Mais, comme on va voir, c'est bien la structure de ces groupes qui l'intéresse, et
non le calcul des permutations des *a*, *b*, *c*... elles-mêmes (comme chez Lagrange).

Notre but n'étant pas de nature historique, c'est non pas avec les mots mêmes de Galois, mais sous la forme moderne et compacte qu'elle a prise au tournant du XXe siècle<fnref n="11" />, que nous allons exposer, brièvement, les notions et résultats de base de la théorie<fnref n="12" />.

On part d'un corps de base $k$ qui contient les coefficients $a_i$ de l'équation (par exemple le corps $\mathbb{Q}$ des nombres rationnels<fnref n="13" />). Sans perte de généralité, on peut supposer, et nous supposerons toujours, que l'équation (*) est irréductible sur $k$, c'est-à-dire que le polynôme $x^n + a_{n-1}x^{n-1} + \dots + a_0$ n'est pas produit de polynômes à coefficients dans $k$ de degrés moindres.

Alors l'équation (*) a exactement *n* racines complexes. On aimerait bien les appeler *x*₁, ..., *x*ₙ, mais comment les distinguer *a priori* les unes des autres de façon à les numéroter ?

C'est précisément sur cette ambiguïté, sur les substitutions indétectables de
racines, que va jouer Galois pour fonder sa théorie, qu'il baptise « théorie de l'am-
biguïté » (et que l'on a appelée après lui, après un long processus de maturation
et de réélaborations, la « théorie de Galois »).

Notons $K$ le corps engendré sur $k$ par ces racines, c'est-à-dire le corps qu'on obtient en formant toutes les expressions bâties à partir des éléments de $k$ et des racines par addition, soustraction, multiplication, division. Une extension $ (= \text{ sur-corps})$ du type $K/k$ est dite *normale*.

Le groupe de Galois de l'équation algébrique (*) est défini comme le groupe des automorphismes du corps K qui fixent k : c'est le groupe des « symétries » de l'extension K/k (dans le langage du chapitre précédent, ce sont exactement les opérateurs du k-espace vectoriel K qui respectent la multiplication).

Il est noté Gal(K/k) en l'honneur de son inventeur. Il vérifie les deux propriétés énoncées par Galois :

1) toute expression rationnelle en les racines (c'est-à-dire tout élément de K) qui est invariant par Gal(K/k) est en fait dans k,

2) réciproquement, tout élément de k est invariant par Gal(K/k).

Les éléments de Gal(K/k) sont entièrement déterminés par les valeurs qu'ils prennent sur les racines de (*), valeurs qui sont encore des racines de (*). Ainsi

<footnote>Un groupe $G$ est dit *commutatif* ou *abélien* si on a toujours $x \cdot y = y \cdot x$. Exemples : l'addition des vecteurs dans un espace vectoriel, le groupe des transpositions d'un mode musical, etc...</footnote>

<footnote n="11">¹¹grâce notamment à Kronecker, Weber, et Artin. La thèse de C. Ehrhardt (Évariste Galois et la théorie des groupes. Fortune et réélaborations (1811-1910), Paris) contient un exposé critique de la construction progressive du canon de cette théorie, de Galois à Artin.</footnote>

<footnote n="12">¹²pour les détails, voir par exemple I. Stewart, *Galois theory*, Chapman and Hall, 2. ed., 1989, et R. et A. Douady, *Algèbre et théories galoisiennes II*, Cédic, 1979.</footnote>

<footnote n="13">¹³de manière informelle, un corps est un ensemble dans lequel il est possible d'effectuer des additions, des soustractions, des multiplications et des divisions (sauf par 0). Plus précisément, on a deux lois de composition sur $k$ (+ et $\cdot$), $(k, +)$ et $(k \setminus \{0\}, \cdot)$ sont des groupes abéliens, et on a la distributivité : $a \cdot (b + c) = a \cdot b + a \cdot c$. Il est traditionnel d'omettre $\cdot$ pour alléger lorsqu'il n'y a pas d'ambiguïté, de sorte que la multiplication est notée par simple juxtaposition.</footnote>
$Gal(K/k)$ s'identifie à un sous-groupe du groupe $\mathfrak{S}_n$ des permutations des $n$ raccines. C'est un groupe d'ordre égal à la dimension<fnref n="14" /> du $k$-espace vectoriel $K$.

### 3.1.3 La correspondance de Galois.

Le cœur de la Théorie de Galois est une correspondance bijective entre extensions $\ell$ de $k$ contenues dans l'extension normale $K$, et sous-groupes $H$ du groupe de Galois $Gal(K/k)$. Elle est définie ainsi :

1. à l'extension $\ell$, on associe le sous-groupe $H$ formé des éléments qui fixent $\ell$ (autrement dit, le groupe de symétries de l'extension $K/\ell$),

2. réciproquement, au sous-groupe $H$, on associe l'extension $\ell$ formés des éléments de $K$ invariants par $H$.

Cette correspondance entre extensions (de corps) et groupes (de symétries) renverse le sens des inclusions.

Par ailleurs, Galois dégage la notion de sous-groupe normal $H$ d'un groupe $G$. C'est un sous-groupe tel que pour tout $g \in G$, la conjugaison par $g$ :

$$h \mapsto g \cdot h \cdot g^{-1}$$

envoie $H$ dans lui-même ; on peut alors former le groupe quotient $G/H$. Dans la correspondance de Galois, les sous-groupe normaux de $Gal(K/k)$ correspondent aux extensions normales $\ell/k$.

Galois introduit aussi la notion de groupe résoluble. C'est un groupe qui se « dévisse en groupes abéliens ». Plus précisément, un groupe $G$ est dit résoluble s'il existe une chaîne finie de sous-groupes inclus les uns dans les autres, commençant à $\{1\}$ et finissant à $G$, chacun étant normal dans le suivant avec un quotient abélien. Galois démontre que l'équation (*) est résoluble si et seulement si son groupe de Galois est résoluble. Il démontre en outre que le groupe $\mathfrak{S}_n$ n'est pas résoluble dès que $n \ge 5$, et en déduit qu'il y a des équations de tout degré $n \ge 5$ qui ne sont pas résolubles par radicaux.

Il a par ailleurs introduit les corps finis<fnref n="15" /> et utilisé sa correspondance pour les classifier.

## 3.2 Portée et enjeux de la « théorie de l'ambiguïté ».

Galois était conscient du caractère révolutionnaire, à divers titres, de ses conceptions, et du fait qu'elles dépassaient largement le cadre spécifique des équations algébriques.

### 3.2.1 Émergence d'un corps de concepts d'un type nouveau.

L'usage d'une structure algébrique - celle de groupe en l'occurence, suivie par celle d'extension de corps que la théorie « appelle » - comme outil fondamental,

<footnote n="14">¹⁴qui est comprise entre $n$ et $n! = 1 \cdot \dots \cdot n$.</footnote>

<footnote n="15">¹⁵on ne connaissait guère avant lui que l'exemple des corps finis obtenus par réduction des entiers modulo un nombre premier $p$.</footnote>
et de notions abstraites comme celles de sous-groupes normaux, de groupes ré-
solubles, a modifié l'idée qu'on se faisait de la nature des objets mathématiques.

En mettant l'accent sur les concepts d'opération (« abstraite de son résultat »)
et d'invariant, la démarche galoisienne ouvre un champ conceptuel nouveau aux
Mathématiques qui marque la naissance de l'Algèbre moderne<fnref n="16" />.

3.2.2 Fécondité du principe de correspondance galoisienne.

Pour S. Lie, premier grand continuateur (avec F. Klein) de l'œuvre de Galois,

la grande portée de l'œuvre de Galois tient au fait que sa théorie origi-
nale des équations algébriques est une application systématique des deux
notions fondamentales de *groupe* et *d'invariant*, notions qui tendent à domi-
ner la science mathématique.

L'idée galoisienne de correspondance entre symétries d'une structure mathé-
matique et treillis de ses sous-structures a essaimé dans d'autres domaines des
Mathématiques. L'un des premiers et plus célèbres avatars est le « programme
d'Erlangen » de Klein, qui jette un pont entre Géométrie et Théorie des groupes :
il s'agit de classifier les géométries de l'espace à n dimensions où le « mouvement
d'une figure invariable est possible » - et, en toile de fond, de comprendre de
manière unifiée les géométries classiques de l'époque (géométries euclidienne,
affine, projective, sphérique, elliptique, hyperbolique, conforme). Klein montre
qu'elles correspondent à certains groupes G de « déplacements » : la géométrie
correspondant à G est définie par les propriétés des figures (parties de l'espace)
telles que G soit exactement le groupe de déplacements qui conservent ces pro-
priétés, ou par les classes invariantes par G de figures (on peut alors chercher à
classifier ces figures pour l'action de G, c'est-à-dire déterminer les orbites). Par
exemple, pour le groupe affine G, les coniques forment une classe invariante, et
se répartissent en trois orbites : ellipses, paraboles, hyperboles.

Comme l'écrit G. Bachelard dans sa polémique contre E. Meyerson sur le prin-
cipe d'identité<fnref n="17" />,

des êtres géométriques qui sont *invariants* dans les opérations d'un sous-
groupe *G*′ du groupe général *G* de la géométrie euclidienne peuvent cesser
d'être invariants pour des opérations qui, comprises dans *G*, ne figurent pas
dans *G*. Leur « identité » est donc simplement relative au groupe qui défi-
nit le système rationnel qui sert de base à l'examen de leurs propriétés. [...]
Qu'une sphère et un ellipsoïde soient des surfaces identiques du point de
vue de l'Analysis Situs, voilà un fait qui nous libère d'une *identité en soi*. [...]

Dès qu'on aborde les géométries très spécialisées, le principe d'identité
pose un discernement très travaillé. [...] Les géométries ont besoin chacune
d'un protocole d'identification. [...] Si l'on suivait en détail ces *applications*
de la pensée algébrique à la géométrie, on s'apercevrait que fonctionne tou-
jours - plus ou moins tacitement - une fonction d'adverbe à côté de l'adjectif
*identique*. [...] On devrait donc, si l'on veut se cantonner dans la géométrie
usuelle, parler de figures *euclidiennement* identiques.

<footnote n="16">¹⁶voir J. Vuillemin, *Philosophie de l'algèbre*.</footnote>

<footnote n="17">¹⁷ *Le rationalisme appliqué*, P. U. F. 1949, p. 83.</footnote>
Le point de vue que promeut Klein est que c'est le groupe sous-jacent qui fonde une géométrie, car c'est lui qui permet la définition même de l'identité des figures. Qu'il apparaisse encore, en second lieu, comme groupe de symétries des figures est le reflet du principe de correspondance galoisienne.

Nous verrons d'autres avatars plus récents de correspondances galoisiennes
dans la suite.

3.2.3 Thématisation des obstructions.

Avec Galois, la notion vague, à connotation esthétique, de symétrie devient
un concept mathématique précis et opératoire.

Les ambiguïtés constituent-elles une « nuisance » ? Non, répond Galois en sub-
stance, elles constituent un *groupe* !

Loin d'être un simple zeugma, c'est un geste de pensée étonnant : geste inau-
gural de la Théorie de l'obstruction (évoquée en 1.3.3), dont l'objet est de réali-
ser les obstructions à effectuer telle ou telle opération mathématique comme élé-
ments d'un nouvel objet mathématique, souvent un groupe ; l'étude de ce nouvel
objet *per se* livre la clé du problème.

Sur un plan philosophique beaucoup plus général, ce geste inaugure un

3.2.4 Changement de paradigme dans la conception des pro-
blèmes mathématiques.

Ce point a été bien cerné par G. Deleuze<fnref n="18" /> :

Au lieu de chercher comme au hasard si une équation est résoluble en
général, il faut déterminer des conditions de problèmes qui spécifient pro-
gressivement des champs de résolubilité, de telle manière que « l'énoncé
contienne le germe de la solution ». Il y a là un renversement radical dans
le rapport solution-problème [...]

Le même jugement se confirme, appliqué aux travaux de Galois : à partir
d'un « corps » de base, les adjonctions successives à ce corps permettent une
distinction de plus en plus précise des racines d'une équation, par limitation
progressive des substitutions possibles. Il y a donc une cascade de « résol-
vantes partielles » ou un emboîtement de « groupes », qui font découler la
solution des conditions mêmes du problème : qu'une équation ne soit pas
résoluble algébriquement, par exemple, cela n'est plus découvert à l'issue
d'une recherche empirique ou d'un tâtonnement, mais d'après les caractères
des groupes et des résolvantes qui constituent la synthèse du problème et de
ses conditions. [...]

Le groupe de l'équation caractérise à un moment, non pas ce que nous
savons des racines, mais l'objectivité de ce que nous n'en savons pas. Inver-
sement, ce non-savoir n'est plus un négatif, une insuffisance, mais une règle,
un *apprendre* auquel correspond une dimension fondamentale de l'objet.

<footnote n="18"><sup>18</sup>La différence et la répétition, p. 233.</footnote>
## 3.3 Revêtements, groupes fondamentaux, dessins d'enfants.

### 3.3.1 La « montée vers l'absolu ». Le groupe Gal($\bar{\mathbb{Q}}/\mathbb{Q}$).

La correspondance galoisienne concerne les extensions intermédiaires $k \subset \ell \subset K$, l'extension normale $K/k$ étant fixée. On peut aussi ne fixer que le corps de base $k$, disons $k = \mathbb{Q}$, et faire varier l'extension normale $K/\mathbb{Q}$ : lorsque $K$ grossit (c'est-à-dire lorsqu'on adjoint de plus en plus de nombres algébriques), on obtient ainsi un système « projectif » de groupes finis s'envoyant les uns sur les autres :

$$ \dots \to \mathrm{Gal}(K/\mathbb{Q}) \to \dots \to \mathrm{Gal}(\mathbb{Q}/\mathbb{Q}) = \{1\}. $$

La limite $\lim_{K}$ Gal$(K/\mathbb{Q})$ de ce système est le groupe infini<fnref n="19" /> Gal($\bar{\mathbb{Q}}/\mathbb{Q}$) des automorphismes du corps $\bar{\mathbb{Q}}$ des nombres algébriques<fnref n="20" />.

C'est cette démarche qu'A. Lautman appelle la « montée vers l'absolu »<fnref n="21" /> : un seul objet mathématique, le groupe de Galois absolu, code les propriétés de toutes les équations algébriques à coefficients rationnels à la fois.

Ce groupe de Galois absolu Gal($\bar{\mathbb{Q}}/\mathbb{Q}$), objet central de la Théorie des nombres, reste largement un mystère après un siècle et demi d'efforts intenses pour en comprendre la structure.

### 3.3.2 Théorie de Galois des revêtements.

Il s'agit d'une « jumelle » géométrique de la Théorie de Galois des nombres algébriques. En voici un aperçu dans le cadre des revêtements de surfaces de Riemann évoqués au premier chapitre.

L'histoire commence en 1877 lorsque Klein remarque que le groupe des isométries laissant invariant l'icosaèdre est isomorphe au groupe de Galois d'une équation quintique à coefficients dans le corps de fonctions rationnelles d'une variable auxiliaire. On a maintenant deux variables, et les solutions complexes de l'équation quintique forment une surface de Riemann, qui est un revêtement du plan complexe.

Plus généralement, on a la notion de revêtement<fnref n="22" /> fini normal $Y \to X$ de surfaces de Riemann. C'est l'avatar géométrique d'une équation (*) : ce qui joue le rôle de racines de l'équation est l'ensemble $\{y_1, \dots, y_n\}$ des points de Y qui s'envoient sur un point $x$ arbitraire fixé de X. Le groupe de Galois Gal(Y/X) est un sous-groupe du groupe $\mathfrak{S}_n$ des permutations de $\{y_1, \dots, y_n\}$<fnref n="23" />. Il peut se calculer comme suit : traçons sur X un lacet $\gamma$ pointé en $x$, et choisissons un point $y_i$ de Y au-dessus de $x$. Un tel $\gamma$ se « relève » alors en un chemin sur Y partant de $y_i$, qui en général aboutira à un autre point $y_j$, d'où une permutation $y_i \mapsto y_j$ de l'ensemble

<footnote n="19">¹⁹il est naturellement muni d'une structure de groupe topologique compact.</footnote>

<footnote n="20">²⁰nombres vérifiant une équation algébrique à coefficients rationnels.</footnote>

<footnote n="21">²¹*Essai sur les notions de structure et d'existence en mathématiques*. Réédition Vrin 2006.</footnote>

<footnote n="22">²²qu'on suppose non ramifié pour simplifier.</footnote>

<footnote n="23">²³dans le cas de la quintique de Klein, le groupe de Galois est le groupe de l'icosaèdre, auquel Klein a consacré un ouvrage classique.</footnote>
des points au-dessus de $x$, qui ne dépend en fait du lacet $\gamma$ qu'à homotopie (= déformation) près. C'est ainsi que s'obtiennent les éléments de $Gal(Y/X)$.

Dans ce contexte, on peut encore effectuer une « montée vers l'absolu ». Ce qui correspond au corps $\overline{\mathbb{Q}}$ est maintenant le *revêtement universel* de $X$, et son groupe d'automorphismes n'est autre que le *groupe fondamental* de Poincaré $\pi_1(X)$ : c'est le groupe des lacets tracés sur $X$ à homotopie près, partant et aboutissant à un point $x$ fixé.

On peut algébriser la construction en remplaçant $\pi_1(X)$ par la limite projective $\hat{\pi}_1(X)$ des groupes $Gal(Y/X)$, lorsque le revêtement $Y/X$ grossit$^{24}$. D'après Grothendieck, $\hat{\pi}_1(X)$ s'interprète comme groupe des automorphismes du foncteur fibre en $x$

$$Y \mapsto Y_x = \{y_1, \dots, y_n\}$$

sur la catégorie des revêtements de $(X, x)$ (à valeurs dans la catégorie des ensembles), ce qui permet d'unifier les Théories de Galois arithmétique et géométrique dans un même moule.

### 3.3.3 Une vision géométrique, voire graphique, de $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$.

Une approche indirecte fascinante de $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$ consiste à le relier à la géométrie des surfaces de Riemann.

Pour fixer les idées, prenons pour $X$ le plan complexe privé des points 0 et 1. Son groupe fondamental $\pi_1(X)$ est le groupe libre à deux générateurs, les lacets $\gamma_0$ et $\gamma_1$ autour de 0 et de 1 (qu'on ne peut « défaire » par déformation).

Suivant Grothendieck et Belyi, $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$ opère sur les revêtements finis de $X$, donc sur $\hat{\pi}_1(X)$, et cette opération est fidèle : le groupe de Galois absolu arithmétique $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$ se plonge dans le groupe des automorphismes du groupe de Galois absolu géométrique $\hat{\pi}_1(X)$.

De là, Grothendieck a alors proposé de décrire $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$ au moyen de notions graphiques « si simples qu'un enfant peut les connaître en jouant ». Considérons un revêtement $Y \to X$, en supposant pour simplifier que $Y$ est le plan complexe privé de quelques points. L'image inverse dans $Y$ du segment $]0, 1[$ de $X$ est un objet combinatoire très simple que Grothendieck appelle « dessin d'enfant ». Le défi est de comprendre en termes combinatoires l'opération fidèle de $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$ sur ces dessins.

Pour ce faire, il faut disposer au préalable d'un codage combinatoire des éléments de $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$ lui-même. C'est ce qui a été obtenu par Drinfeld autour de 1990 (en découvrant un lien insoupçonné entre $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$ et groupes quantiques) : il plonge $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$ dans un groupe de nature combinatoire (le groupe de Grothendieck-Teichmüller, défini par générateurs et trois relations très simples), qui s'avère agir fidèlement sur les dessins d'enfants. On ignore à l'heure actuelle si $GT$ est réellement « plus gros » que $Gal(\overline{\mathbb{Q}}/\mathbb{Q})$.

<footnote>$^{24}$voir aussi 7.3.2.</footnote>
## 3.4 Ambiguïtés galoisiennes en Analyse.

Voici la fin de la lettre-testament de Galois :

Tu sais, mon cher Auguste, que ces sujets ne sont pas les seuls que j'ai explorés. Mes principales méditations depuis quelque temps étaient dirigées sur l'application à l'Analyse transcendante de la théorie de l'ambiguïté. Il s'agissait de voir *a priori* dans une relation entre quantités ou fonctions transcendantes quels échanges on pouvait faire, quelles quantités on pouvait substituer aux quantités données sans que la relation pût cesser d'avoir lieu. Cela fait reconnaître tout de suite l'impossibilité de beaucoup d'expressions que l'on pouvait chercher. Mais je n'ai pas le temps et mes idées ne sont pas encore bien développées sur ce terrain qui est immense...

Liouville est le premier à avoir poursuivi dans cette direction : au lieu de se demander quand une équation algébrique est résoluble par radicaux, il se demande quand une équation différentielle<fnref n="25" /> linéaire

$$p_n(x) \frac{d^n y}{dx^n} + \dots + p_1(x) \frac{dy}{dx} + p_0(x) = 0,$$

(les coefficients $p_i(x)$ étant typiquement des polynômes) est résoluble à l'aide de fonctions élémentaire (des radicaux, des logarithmes, des exponentielles), et obtient un critère galoisien. Au début du XXᵉ siècle, on a introduit<fnref n="26" /> dans ce contexte le groupe de Galois différentiel : c'est le groupe formé des automorphismes de l'extension du corps des fonctions de base, obtenu en adjoignant les solutions et leurs dérivées, qui commutent à la dérivation. Du fait que les solutions d'une équation différentielle linéaire forment non plus un ensemble fini, mais un espace vectoriel de dimension finie, le groupe de Galois différentiel n'est plus un groupe fini en général, mais un groupe « continu » de matrices.

La théorie a mûri lentement, et la classification des ambiguïtés galoisiennes dans le cadre des équations différentielles linéaires analytiques au voisinage d'une singularité<fnref n="27" /> date seulement de la fin du XXᵉ siècle (J. P. Ramis, et al...). Le résultat est qu'il y a trois types, et trois seulement, de telles ambiguïtés galoisiennes, qui prennent en fait la forme de matrices :

* la *monodromie* : c'est l'ambiguïté qui résulte de ce que l'on ne retombe pas la valeur initiale lorsque l'on fait subir à une solution un tour autour de la singularité. On a déjà vu ce phénomène en 1.2.1. Considérons l'équation différentielle

$$\frac{dy}{dx} = \frac{1}{2x}y$$

<footnote n="25">²⁵une équation différentielle relie une fonction y d'une variable x à sa dérivée $\frac{dy}{dx}$ et aux dérivées supérieures $\frac{d^i y}{dx^i}$. Elles sont apparues au XVIIᵉ dans le contexte de la cinématique, où typiquement x figure la variable temporelle, y la fonction de position, $\frac{dy}{dx}$ la vitesse, $\frac{d^2 y}{dx^2}$ l'accélération, etc... Rappelons que la dérivée de y en x est la pente de la tangente du graphe de la fonction y au point x.</footnote>

<footnote n="26">²⁶Picard, Vessiot, et al...</footnote>

<footnote n="27">²⁷c'est-à-dire d'un point où $p_n$ s'annule.</footnote>
au voisinage de la singularité 0; une solution est $y = \sqrt{x}$, et un tour autour de l'origine la transforme en $-y$. Le groupe de Galois différentiel de cette équation est le groupe à deux éléments engendré par la monodromie.

• le recalibrage des exponentielles : considérons l'équation différentielle

$$x^2 \frac{dy}{dx} + y = 0$$

au voisinage de la singularité 0; une solution est $y = e^{1/x} = \sum x^{-n}/n!$, et toute autre solution non nulle s'obtient en multipliant y par une constante non nulle. Le groupe de Galois différentiel de cette équation est le groupe multiplicatif $\mathbb{C}^\times$ (des nombres complexes non nuls) engendré par ces recalibrages.

• les ambiguïtés de Stokes : considérons l'équation différentielle

$$x^2 \frac{dy}{dx} + y = x$$

au voisinage de la singularité 0; une solution formelle est $\hat{y} = \sum (-1)^n n! x^{n+1}$, qui diverge en tout point $x \neq 0$. Toutefois, il y a moyen de « resommer » cette série divergente de manière canonique pour obtenir une vraie solution dans certains secteurs de sommet 0. Par exemple, dans un secteur bissecté par le demie-axe réel positif, une vraie solution, asymptotique à $\hat{y}$, est $y = \int_0^\infty \frac{e^{-t/x}}{1+t} dt$, mais les changements de secteurs introduisent des ambiguïtés dans ces vraies solutions resommées, les ambiguïtés de Stokes.

De manière générale, le groupe de Galois différentiel est engendré (au sens des groupes « continus ») par ces trois types de matrices.

Ainsi la Théorie de Galois s'étend, comme Galois l'avait lui-même pressenti, aux fonctions transcendantes solutions d'équations différentielles<fnref n="28" />.

## 3.5 Groupes de Galois motiviques et nombres transcendants.

Mais laissons là les équations différentielles et même les fonctions, pour re-venir aux nombres. La Théorie de Galois, initialement conçue dans le cadre des nombres algébriques, s'étend-elle aux nombres transcendants (c'est-à-dire non algébriques) ?

Il s'avère que la réponse est oui, du moins conjecturalement, pour des nombres qui s'écrivent comme intégrales (multiples) $\int_{\Delta} \omega$ où le domaine d'intégration $\Delta$ est limité par des équations polynômiales définies sur $\mathbb{Q}$ et l'intégrant $\omega$ est algébrique et défini sur $\mathbb{Q}$. Par exemple, le nombre $\pi = \int_0^1 4\sqrt{1-t^2}dt$ est de ce type.

Pour ces nombres, la réponse conjecturale est donnée par la Théorie des motifs (imaginée par Grothendieck), plus précisément par la Théorie de Galois motivique qui est une vaste généralisation, partiellement conjecturale, de la Théorie

<footnote n="28">²⁸voir M. van der Put, M. Singer, Galois theory of linear differential equations, Springer Grundlehren der Math. Wiss. 328, 2003.</footnote>
de Galois qui s'applique aux systèmes de plusieurs équations algébriques à plusieurs variables<fnref n="29" />.

Dans le cas de $\pi$, la réponse est que le groupe de Galois associé est le groupe multiplicatif $Q^\times$ des nombres rationnels non nuls.

## 3.6 Coda : un groupe de Galois « cosmique » ?

Depuis quelque temps, les idées galoisiennes ont fait irruption en physique quantique, plus précisément en Théorie perturbative des champs quantiques.

À partir des travaux de Feynman et Schwinger, les physiciens ont mis au point des techniques sophistiquées pour éliminer les quantités infinies qui se présentent systématiquement, sous forme d'intégrales divergentes, dans la théorie. La plus simple et la plus utilisée de ces techniques est la renormalisation par régularisation dimensionnelle : on fait fluctuer la dimension de l'espace-temps en lui faisant prendre des valeurs complexes voisines de 4, et on développe les intégrales obtenues en séries indexées par des diagrammes de Feynman de complexité croissante. L'élimination des termes « divergents » de la série se fait suivant de subtiles règles combinatoires qui garantissent la cohérence du procédé.

La « moelle » mathématique de cette technique a récemment été extraite par Connes et Kreimer, qui ont associé à toute théorie quantique des champs un certain groupe de symétries infini (mais résoluble) directement construit en termes de diagrammes de Feynman. En effectuant une « montée vers l'absolu », ils obtiennent, dans la situation universelle, un groupe de Galois absolu - le groupe de Galois « cosmique » (P. Cartier<fnref n="30" />) - qui agit sur les constantes de toutes les théories quantiques des champs à la fois.

Ce groupe, d'une ubiquité stupéfiante, incarne à lui seul les divers avatars galoisiens évoqués ci-dessus :

- il s'interprète comme groupe de Galois différentiel,

- il apparaît comme groupe de Galois motivique,

- il est sensé être le groupe de Galois de certaines intégrales de Feynman<fnref n="31" />,

- c'est une variante algébro-géométrique du groupe de Grothendieck-Teichmüller.

En conclusion, on peut dire qu'en Théorie quantique des champs, les divergences, loin d'être des nuisances, donnent naissance à des « ambiguïtés galoisiennes » formant le groupe de symétries d'une riche structure qui apparaît dans des domaines mathématiques très éloignés les uns des autres.

<footnote n="29">²⁹voir Y. André, *Une introduction aux motifs*, Panoramas et Synthèses 17, SMF, 2004.</footnote>

<footnote n="30">³⁰« La folle journée, de Grothendieck à Connes et Kontsevich », *Festschrift* des 40 ans de l'IHES, cf. *Bull. A.M.S*.</footnote>

<footnote n="31">³¹nombres présumés transcendants qui généralisent les valeurs aux entiers de la fonction zêta de Riemann.</footnote>
# Chapitre 4

## Symétries II. Représentations linéaires.

> « Plus une méthode est nouvelle et féconde,
> plus elle étend le champ de l'inconnu. »

> J. Bertrand, *D'Alembert*<fnref n="1" />

Hegel parlait de « l'apparence bariolée du sensible ». Ici, c'est plutôt « l'apparence bariolée » de l'intelligible mathématique que nous voudrions rendre sensible. En espérant faire entrevoir que le développement des Mathématiques ne repose pas sur le seul mouvement d'élévation conceptuelle, mais qu'au contraire la conquête de l'intelligible mathématique s'appuie sur une dynamique de va-et-vient entre avancées conceptuelles et retombées applicatives.

« Retombée » : n'y voyons surtout pas une chute d'Icare du ciel des Idées, mais ce mouvement essentiel par lequel les nouveaux concepts essaient, se concrétisent, et fécondent d'autres territoires mathématiques.

Ce second chapitre sur le thème général des symétries s'ouvre sur un long préambule présentant les idées fondamentales de linéarisation et de représentation en Mathématiques. Nous esquisserons ensuite la théorie des représentations linéaires des groupes, initiée par Frobenius à la fin du XIXème siècle (dans le cas des groupes finis). Un acteur majeur fut H. Weyl qui, en liaison avec ses travaux sur les fondements de la mécanique quantique, fit la jonction inattendue avec l'Analyse de Fourier et créa l'Analyse harmonique non commutative. La théorie s'est ensuite énormément développée et ramifiée sous la maîtrise d'œuvre de Gelfand.

Le rêve de Burnside de mettre à profit l'impressionnante effectivité de la Théorie des représentations linéaires pour classifier tous les groupes finis simples s'est finalement réalisé au bout d'un siècle. Entre-temps, cette théorie avait permis à E. Cartan et Killing de classifier tous les groupes infinis « continus » simples. Nous terminerons en expliquant comment le problème général de classification des représentations linéaires mène à une trichotomie (fini, modéré, sauvage), et

<footnote n="1">¹cité dans G. Bachelard, *Le matérialisme rationnel*, P. U. F. 1953.</footnote>
comment l'indécidabilité surgit au cœur de situations extrêmement concrètes et
apparemment élémentaires.

4.1 Linéarité. Linéarisation.

4.1.1 Bref retour à l'Algèbre linéaire.

Comme nous l'affirmions au début du second chapitre, l'Algèbre linéaire est
la partie la plus simple des Mathématiques. Elle consiste, rappelons-le, en l'étude
des espaces vectoriels (espaces où les points nommés vecteurs peuvent être addi-
tionnés entre eux et multipliés par des nombres) et des applications linéaires qui
relient ces espaces, et tout particulièrement, de l'algèbre L(V) des opérateurs d'un
espace vectoriel V (c'est-à-dire des applications linéaires de V dans lui-même),
munie de l'addition et de la composition.

Supposons $V$ de dimension finie. Dans une base donnée $e_1, \dots, e_n$, les vecteurs sont repérés par leurs coordonnées. Un opérateur $F \in \mathcal{L}(V)$ étant donné, les coordonnées $\lambda_{ij}$ des vecteurs $F(e_j)$ forment une matrice $\Lambda$, c'est-à-dire un tableau carré de nombres (disons des nombres complexes).

La matrice Λ n'est pas intrinsèquement attachée à F : elle dépend de la base choisie. On peut se demander ce qui, de Λ, reste invariant par changement de base.

L'invariant le plus simple est la *trace* de Λ, c'est-à-dire la somme de ses coefficients diagonaux $\lambda_{ii}$ :

$$
\mathrm{tr} \, \Lambda = \sum \lambda_{ii} = \mathrm{tr} \, F,
$$

qui jouera un rôle important dans la suite. En fait, $tr F$ est la somme $\sum \mu_i(F)$ des valeurs propres de $F$, qui ne sont autres que les éléments du spectre de $F$ comptés éventuellement plusieurs fois². En outre, vis-à-vis de la composition des opérateurs, la trace vérifie l'identité

$$
\mathrm{tr} FG = \mathrm{tr} GF.
$$

C'est un outil de passage du non-commutatif au commutatif.

4.1.2 Linéarisation.

La linéarité est le caractère des situations ou problèmes mathématiques dans lesquels les multiplicités à l’œuvre forment des espaces vectoriels. Le rôle de l’Algèbre linéaire est précisément d’aider à traiter les problèmes linéaires, c’est-à-dire ceux dont les solutions forment a priori un espace vectoriel : la somme de deux solutions est encore une solution, de même que la multiplication d’une solution par une constante arbitraire.

<footnote>$^2$comme on l'a vu en 2.5.1, ces éléments sont les nombres $\mu$ tels que $F - \mu I$ n'est pas inversible.</footnote>

<footnote>En dimension infinie, c'est plus compliqué : pour pouvoir écrire des sommes infinies, on doit
introduire un peu de topologie ; la situation la plus commode est celle des espaces de Hilbert, cf.
2.4.2.</footnote>
La linéarisation, certainement l'une des démarches les plus universelles en Mathématiques, des plus abstraites aux plus appliquées, consiste à essayer de ramener des problèmes non-linéaires à des problèmes linéaires, toujours plus abordables grâce notamment à la technologie élémentaire de l'Algèbre linéaire.

La linéarisation se retrouve aussi bien en Analyse qu'en Géométrie et en Algèbre. En Analyse, elle se présente sous la forme de l'approximation au premier ordre. En voici trois grands exemples.

* Soit $f$ une fonction lisse d'une variable $x$ (« lisse » évoque, intuitivement, quelque chose comme « agréable à caresser » ; formellement : « indéfiniment différentiable ». Pourvoir les chaînons manquants dans l'évolution putative de la notion intuitive à la notion formelle est une gageure tant pour les sciences cognitives que pour l'histoire des Mathématiques...)

Une telle fonction admet un développement en puissances<fnref n="3" /> de la variable $x$

$$f(x) = a_0 + a_1x + a_2x^2 + a_3x^3 + \dots$$

où les $a_n$ sont des constantes. La linéarisée de $f$ est $a_0 + a_1x$ (cela revient si l'on veut à poser, quelque peu brutalement, $x^2 = 0$ dans le développement de $f$). Avantages quantitatifs et qualitatifs : bonne approximation numérique en pratique, et détection de la croissance (positivité de $a_1$).

Du point de vue géométrique, cela revient à remplacer le graphe de la fonction $f$ par sa tangente au point d'abscisse 0. Noter qu'on reconstruit $f$ en prenant l'enveloppe de ses tangentes (en tous les points du graphe).

Plus généralement, prendre l'espace tangent d'une variété (lisse) en un point est une forme de linéarisation.

* Considérons un groupe « continu » $G$ de transformations<fnref n="4" />, par exemple le groupe $GL(V)$ des applications linéaires inversibles de $V$ dans $V$. L'espace tangent en l'identité est l'algèbre de Lie de $G$ : elle est munie d'opération « crochet de Lie » [, ] que l'on obtient en « linéarisant » le commutateur

$$g_1, g_2 \mapsto g_1 g_2 g_1^{-1} g_2^{-1}$$

(en fait en regardant le terme d'ordre 2 car il n'y a pas de terme d'ordre 1). La structure d'algèbre de Lie<fnref n="5" /> de $G$ est une forme linéarisée de la structure de groupe de Lie. Par exemple, l'algèbre de Lie de $GL(V)$ est l'espace d'opérateurs $\mathcal{L}(V)$, muni du crochet $[F_1, F_2] = F_1 F_2 - F_2 F_1$.

* Les systèmes dynamiques, qui modélisent mathématiquement l'évolution de toutes sortes de systèmes physiques, biologiques, économiques, etc..., sont souvent non-linéaires. Considérons par exemple un système du type

$$dy/dt = F(y, t),$$

<footnote n="3">³en pratique, souvent, ce développement converge et $f$ en est la somme ; on dit alors que $f$ est analytique. La théorie des développements asymptotiques, qui a fait une apparition-éclair à la fin de 3.4, permet de donner sens à ces développements même dans le cas divergent.</footnote>

<footnote n="4">⁴« groupe de Lie ».</footnote>

<footnote n="5">⁵espace vectoriel muni d'une opération « crochet de Lie » vérifiant des axiomes convenables.</footnote>
où $t$ désigne la variable temporelle et $y = (y_1, \dots, y_n)$ un ensemble de quantités dépendant du temps. Au voisinage d'un point d'équilibre $y_0$, on peut linéariser le système, ce qui donne

$$dy/dt = DF(y_0, t)(y - y_0),$$

où $DF(y_0, t)$ est maintenant une matrice. De nombreux théorèmes de la théorie des systèmes dynamiques ont pour objet de prédire le comportement du système en fonction du spectre de la matrice $DF(y_0, t)$ (e.g. si le spectre est négatif, l'équilibre est stable...).

Là se trouve d'ailleurs, semble-t-il, la source historique de la notion de spectre et de valeur propre en Mathématiques, qui a migrée de l'Analyse appliquée à l'Algèbre (travaux de Lagrange puis de Laplace sur les petits mouvements d'un système au voisinage d'un point d'équilibre et les inégalités séculaires des planètes, où les parties imaginaires des valeurs propres apparaissent comme des fréquences).

## 4.2 Le concept mathématique de représentation.

Nous le ferons émerger de trois doublets successifs : objets généraux/objets particuliers, mode intrinsèque/mode extrinsèque, présentation/représentation.

### 4.2.1 Objets généraux/objets particuliers.

Il s'agit là d'une distinction<fnref n="6" /> imprécise et presque triviale, mais omniprésente dans le champ mathématique (et pourtant peu soulignée).

Appelons *objets généraux* ces objets indifférenciés dans leur type d'être mathématique, ceux qu'accompagne, plus ou moins tacitement, l'adjectif « quel-conque » - comme dans les expressions canoniques « soit *ABC* un triangle quel-conque », « considérons un groupe *G* », etc...

Souvent, les objets généraux que l'on considère sont tout simplement les objets d'une catégorie donnée (groupes, espaces vectoriels, espaces topologiques, etc...). Un point de vue structuraliste outrancier voudrait que ce soit toujours le cas ; autrement dit, qu'un objet mathématique général ne soit rien d'autre qu'une espèce de structure.

Or ce n'est pas toujours le cas, tant s'en faut : par exemple, les systèmes dynamiques évoqués ci-dessus sont les objets généraux d'un immense chapitre des Mathématiques, qui ne se laissent pas enfermer dans une saisie catégorique, si ce n'est fort artificiellement.

Soit dit en passant, il importe d'être conscient des limites de l'approche catégorique, et surtout de ne pas confondre à cet égard trois « ordres d'universalité » : la notion mathématique d'« universalité » que la Théorie des catégories thématise, l'« universalité » théorique d'application de ses concepts formels (liée au fait

<footnote n="6">⁶cette terminologie n'est guère satisfaisante. Nous l'employons par défaut, le doublet « géné- rique/singulier » étant déjà fort employé en Mathématiques, comme nous le verrons au chapitre suivant.</footnote>
que par nature, cette théorie occulte la structure interne des objets), et l'« universalité » - ou plutôt la généralité - relativement limitée, voire précaire, de son importance pratique dans le champ mathématique tout entier.

Les *objets particuliers*, quant à eux, sont des sortes de « personnages » mathématiques qui ont un nom propre. Ils interagissent les uns avec les autres, et avec les objets généraux. Nous en avons déjà rencontré quelques specimens remarquables :

* le facteur moyennable de type $II_1$ dans la théorie de von Neumann (et plus récemment héros de la Logique des interactions de Girard),

* la Logique classique (parmi toutes les logiques intuitionnistes),

* le groupe de Galois absolu $Gal(\overline{Q}/Q)$ (objet central de la Théorie des nombres),

* le groupe de Galois cosmique (qui agit sur les constantes de toutes les théories quantiques des champs).

Ces objets particuliers sont d'autant plus fascinants qu'ils sont plus protéiformes et ubiquitaires, c'est-à-dire qu'ils admettent de nombreuses descriptions différentes et interviennent de façon différente dans plusieurs théories mathématiques. Cette *combinaison de singularité et d'ubiquité* enchante bien des mathématiciens, qui considèrent de tels objets particuliers remarquables comme les joyaux de leur discipline. Leur apparition inopinée dans une théorie mathématique qui les ignorait est le présage de développements exaltants, l'un des catalyseurs de l'unité des Mathématiques en acte. L'explication de cette apparition passe souvent par le façonnage d'objets mathématiques généraux tout à fait nouveaux. L'exploration de ce nouvel inconnu peut alors mener, après un âpre travail, à une classification qui fait apparaître de nouveaux objets particuliers.

Cette dialectique entre objets généraux et objets particuliers, qui nous semble être l'un des moteurs de la recherche mathématique, ne semble pas avoir attiré l'attention des épistémologues.

### 4.2.2 Mode intrinsèque/mode extrinsèque.

La question qu'on se pose maintenant est celle du mode sous lequel tel ou tel objet mathématique *particulier* est constitué/envisagé.

Prenons, pour fixer les idées, le cas d'objets géométriques. Traditionnellement, c'est-à-dire depuis les Anciens jusqu'à Gauss, ils étaient envisagés par rapport à un *référent* géométrique : le plan ou bien l'espace euclidien de dimension trois ; l'étude portait donc sur l'objet plongé.

C'est Gauss qui, dans son étude fondamentale des surfaces, a mis l'accent sur les propriétés *intrinsèques*<fnref n="7" />, c'est-à-dire indépendantes du plongement dans le référent. Cela suppose déjà une vision claire de l'identité (ou plus correctement, de l'« isomorphie ») d'objets géométriques plongés différemment dans un référent. On peut y voir l'une des sources de l'importance prise peu à peu par la notion générale d'isomorphisme, puis de morphisme.

<footnote n="7">⁷la dialectique intrinsèque/extrinsèque a été bien thématisée par A. Lautman, *Essai sur les notions de structure et d'existence en Mathématiques*. Réédition Vrin 2006, II.</footnote>
Toutefois, si c'est la notion intrinsèque qui importe en fin de compte, il ne s'agit pas pour autant de se débarrasser d'un référent, la donnée même d'un objet mathématique *particulier* se faisant très souvent de manière extrinsèque, e.g. *via* des équations. Le caractère intrinsèque des objets et propriétés considérés permet alors, selon un libre jeu de changements de repères, de choisir la description la plus commode selon les besoins.

À titre d'exemple, reprenons le cas, évoqué au début de ce chapitre, d'un opérateur linéaire $F \in \mathcal{L}(V)$. Bien souvent, ce qui est donné en pratique, ce n'est pas $F$ lui-même, mais le tableau carré de nombres qu'est sa matrice $\Lambda$. L'opérateur $F$ est l'objet abstrait intrinsèque défini par $\Lambda$ dans une base donnée, c'est-à-dire une fois $V$ identifié à $\mathbb{C}^n$. Cette définition est donc de nature extrinsèque : elle dépend du choix d'une base. Lorsqu'on la change, $\Lambda$ se change en une matrice du type $P\Lambda P^{-1}$, et on peut par exemple tirer profit de cette variation pour se ramener au cas commode d'une matrice triangulaire (i.e. n'ayant que des 0 au-dessous de la diagonale).

Nous allons maintenant discuter *deux modes extrinsèques de se donner un objet mathématique particulier : la présentation et la représentation*.

Ces deux modes sont de caractères opposés : la présentation est une description abstraite, formelle, symbolique de l'objet considéré, tandis que la représentation vise à une « concrétisation », une « réalisation », une « incarnation » de cet objet.

### 4.2.3 Présentations.

Présenter un objet mathématique, c'est l'exhiber en termes de générateurs et relations.

Pour fixer les idées, considérons le cas d'un groupe. Présenter un groupe $G$, c'est se donner $G$ par générateurs $g_i$ et relations $r_j$, de la manière suivante :

* les $g_i$ sont des symboles (sans contenu sémantique spécifié), chacun étant accompagné d'un autre symbole $g_i^{-1}$ (appelé inverse de $g_i$). On considère l'alphabet (fini ou infini) formé des $g_i$ et des $g_i^{-1}$,

* les $r_j = r_j(g_i, g_i^{-1})$ sont certains mots écrits dans cet alphabet,

* les éléments de $G$ sont les mots qu'on peut écrire dans cet alphabet, *modulo les relations* $r_j$,

* la loi de composition de $G$ est donnée par la concatenation des mots mis bout à bout. L'élément neutre est le mot vide (sans lettre), noté $1_G$ ou simplement 1.

L'expression « modulo les relations $r_j$ » demande explication : on entend par là que deux mots $m_1$ et $m_2$ sont considérés comme définissant le même élément de $G$ si on peut les obtenir tous deux à partir d'un troisième mot $m$ en effaçant à l'intérieur de $m$ certaines séquences du type $r_j$, ou $g_i g_i^{-1}$, ou $g_i^{-1} g_i$.

On dit que le groupe $G$ est de présentation *finie* s'il peut être défini par un nombre fini de générateurs $g_i$ et de relations $r_j$.

Le groupe libre engendré par $g_1, \dots, g_n$ est le groupe ayant pour générateurs les $g_i$ liés par aucune relation. Si $n = 1$, on trouve le groupe des entiers $\mathbb{Z}$ (muni
de l'addition). Pour $n \ge 1$, ce groupe s'identifie au groupe fondamental du plan privé de $n$ points $x_1, \dots, x_n$ (voir 3.3.2) : les $g_i$ symbolisent des chemins partant et aboutissant à un point-base fixé $x$, et tournant une fois autour du point manquant $x_i$ dans le sens trigonométrique.

Du point de vue des présentations, les groupes libres jouent le rôle de référents. Dans ce mode extrinsèque de description, un groupe n'apparaît pas comme plongé dans un référent, mais, duailment, comme quotient du référent.

Tout élémentaire et formel que paraisse ce mode de définition d'un groupe, surtout dans le cas de présentation finie où tout se réduit à concaténer et simplifier des mots sur un alphabet fini, la présentation par générateurs et relations recèle en fait de redoutables difficultés, dont le fameux problème des mots<fnref n="8" /> :

> soit $G$ le groupe donné par une présentation finie explicite $(g_i, r_j)$. Donner un algorithme pour déterminer si deux mots $m_1$ et $m_2$ (sur l'alphabet formé des $g_i$ et des $g_i^{-1}$) coïncident modulo les relations $r_j$, autrement dit, s'ils définissent le même élément de $G$.

Toute la difficulté réside en ce qu'on ne connaît pas de borne a priori pour la longueur du mot $m$ dont dériveraient à la fois $m_1$ et $m_2$ par simplification, s'ils définissaient le même élément de $G$. La réponse au problème des mots a été apportée en 1955 par P. Novikov :

> pour certains groupes $G$ de présentation finie, le problème des mots est indécidable.

Ce résultat célèbre est sans doute la première manifestation d'indécidabilité (au sens usuel d'inexistence de machines de Turing capables de trancher algorithmiquement la question) en dehors du domaine de la Logique et de la Théorie des ensembles.

Par la suite, on a pu caractériser les groupes $G$ de présentation finie pour lesquels le problème des mots est décidable : ce sont ceux qui se plongent dans un groupe simple qui lui-même se plonge dans un groupe de présentation finie<fnref n="9" />. De là à savoir construire des groupes où le problème des mots est indécidable, il y a un grand pas... et une riche théorie.

Gardons-nous donc de confondre « indécidable » (qui a un sens logico-mathématique précis à condition d'en préciser le contexte) et « inconnaisable » (qui n'en a aucun), et d'interpréter l'indécidabilité comme on ne sait quel retrait du « manteau » mathématique devant le « toucher de l'esprit ».

### 4.2.4 Représentations.

Représenter un objet mathématique, c'est le décrire en termes de son action sur d'autres objets X préalablement connus.

Pour fixer les idées, reprenons le cas d'un groupe. Représenter un groupe $G$, c'est se donner $G$ comme groupe de symétries d'un ensemble structuré $X$. Dans une acception un peu plus générale, c'est se donner un morphisme<fnref n="10" />

$$G \to \mathrm{Aut} X$$

<footnote n="8">⁸posé par M. Dehn en 1911.</footnote>

<footnote n="9">⁹Boone et Higman (1974).</footnote>

<footnote n="10">¹⁰c'est-à-dire une application qui respecte la loi de composition.</footnote>
du groupe $G$ vers le groupe des automorphismes de $X$. On parle aussi d'action de $G$ sur $X$, et on note $g \cdot x$ l'élément de $X$ qui est le résultat de l'action de l'élément $g \in G$ sur l'élément $x \in X$.

* Par exemple, tout groupe $G$ agit sur lui-même par translations à gauche : $g \cdot x$ étant le produit de $g$ et de $x$ dans $G$. Ce faisant, $G$ s'incarne comme un groupe de permutations particulières de ses éléments. On peut aussi faire agir $G$ sur lui-même par conjugaison (cf. 3.1.3).

* Le « programme d'Erlangen » de Klein évoqué en 3.2.2 fournit de nombreux exemples d'actions de groupes de déplacements sur des figures géométriques. Ce programme est en fait une réflexion de fond sur la notion d'action en Géométrie.

### 4.2.5 Représentations linéaires.

Une représentation est d'autant plus efficace que le substrat $X$ de l'action est élémentaire ou bien connu. Le cas d'un espace vectoriel est à cet égard prometteur.

On parle de représentation linéaire lorsque $X$ est un espace vectoriel, qu'on note plutôt $V$ comme d'habitude ; le groupe des automorphismes de $V$ n'est autre que $GL(V)$. Lorsque $V$ est de dimension finie, on parle de représentation linéaire de dimension finie.

Une représentation linéaire d'un groupe $G$ dans l'espace vectoriel $V$, c'est donc un morphisme de groupes<fnref n="11" />

$$ \rho : G \to GL(V). $$

En dimension finie et sous l'hypothèse que $\rho$ injectif<fnref n="12" />, représenter linéairement un groupe abstrait $G$, c'est donc le représenter « concrètement » comme groupe de matrices<fnref n="13" />. Une représentation linéaire est dite irréductible si $V$ n'a pas de sous-espace<fnref n="14" /> stable sous l'action de $G$.

Le leitmotiv de la Théorie des représentations linéaires des groupes est d'essayer de « comprendre » un groupe abstrait $G$ à partir de la collection de ses représentations linéaires (irréductibles).

Voici trois exemples de représentations linéaires.

* Partant d'une action d'un groupe $G$ sur un ensemble structuré $X$ quelconque, voici comment en déduire une représentation linéaire de $G$. On prend pour $V$ l'espace vectoriel $F(X)$ formé des fonctions sur $X$ à valeurs complexes<fnref n="15" />, et on fait agir $G$ sur $F(X)$ par la règle suivante qui définit l'action $g \cdot f$ :

$$ (g \cdot f) \cdot x = f(g^{-1} \cdot x) $$

(où $x$ désigne un élément de $X$, $f$ un élément de $F(X)$, $g$ un élément de $G$).

<footnote n="11">¹¹si $G$ est muni d'une topologie, il est naturel de requérir que ce morphisme soit continu.</footnote>

<footnote n="12">¹²c'est-à-dire faisant de $G$ un sous-groupe de $GL(V)$.</footnote>

<footnote n="13">¹³on renvoie à 2.2.3 pour la définition de la composée de deux matrices.</footnote>

<footnote n="14">¹⁴distinct de $\{0\}$ et de lui-même, bien entendu.</footnote>

<footnote n="15">¹⁵variante utile en dimension infinie : on peut imposer diverses conditions sur ces fonctions.</footnote>
En particulier, si $G$ agit sur $X = G$ par translation, la représentation linéaire ainsi obtenue (dans l'espace $F(G)$ des fonctions sur $G$) s'appelle la *représentation régulière* de $G$ et est notée $\rho_{reg}$.

* Reprenons le premier exemple du numéro précédent, dans le cas particulier d'un groupe continu de transformations $G$ (groupe de Lie) agissant par conjugaison. Par linéarisation, l'action de $G$ sur lui-même induit une représentation linéaire de $G$ sur son algèbre de Lie.

* Considérons une équation différentielle linéaire d'ordre $m$

$$p_m(x) \frac{d^m y}{dx^m} + \dots + p_1(x) \frac{dy}{dx} + p_0(x) = 0,$$

les coefficients $p_i(x)$ étant des polynômes. Les singularités de cette équation sont les racines $x_1, \dots, x_n$ du polynôme $p_m(x)$. Au voisinage de tout point $x$ distinct des singularités, les solutions de cette équation différentielle linéaire d'ordre $n$ forment un espace vectoriel $V$ de dimension $m$. Mais quand on « suit » une solution $y$ le long d'un chemin partant de $x$ et aboutissant à $x$, mais entourant une ou plusieurs singularités, on retombe en général sur une autre solution de l'équation. Ainsi, le groupe fondamental (cf. 3.3.2) du plan privé de $x_1, \dots, x_n$ agit sur $V$: on obtient une représentation du groupe libre à $n$ générateurs, dite *représentation de monodromie*.

On peut additionner et multiplier des représentations linéaires<fnref n="16" />, comme suit.

* la somme de deux représentations $\rho \oplus \rho' : G \to GL(V \oplus V')$ a pour espace sous-jacent l'ensemble $V \oplus V'$ des couples formés d'un vecteur de $V$ et d'un vecteur de $V'$. L'action de $g \in G$ est donnée par la formule $g \cdot (v, v') = (g \cdot v, g \cdot v')$.

* le produit tensoriel de deux représentations $\rho \otimes \rho' : G \to GL(V \otimes V')$ a pour espace sous-jacent l'ensemble des combinaisons linéaires de symboles $e_i \otimes e'_j$, où les $e_i$ sont des vecteurs de base de $V$ et les $e'_j$ des vecteurs de base de $V'$. L'action de $g \in G$ est donnée par la formule $g \cdot (e_i \otimes e'_j) = (g \cdot e_i) \otimes (g \cdot e'_j)$.

# 4.3 Représentations linéaires des groupes.

## 4.3.1 Caractères : la théorie de Frobenius.

La théorie des représentations linéaires des groupes finis est née en 1896, grâce aux efforts de G. Frobenius pour répondre aux questions de R. Dedekind, qui se heurtait à des calculs inextricables en Théorie de Galois des équations algé-briques, dès que le degré dépassait 4. Le concept fondamental de sa théorie est celui de caractère.

Soit $G$ un groupe à $N$ éléments. On note $F_{cent}(G)$ le sous-espace de $F(G)$ formé des fonctions centrales, c'est-à-dire des fonctions $f$ (à valeurs complexes) vérifiant $f(gg') = f(g'g)$ pour tout couple $(g, g')$ d'éléments de $G$. Le produit scalaire

$$ (4.1) \qquad \langle f_1, f_2 \rangle = \frac{1}{N} \sum_{g \in G} \bar{f}_1(g) f_2(g) $$

<footnote n="16">¹⁶l'intérêt de ces opérations apparaîtra en 4.3.3.</footnote>
fait de $F_{cent}(G)$ un espace euclidien complexe (cf. 2.4.1).

Soit maintenant $\rho : G \to GL(V)$ une représentation de dimension finie de $G$. Son caractère $\chi_\rho$ est la fonction sur $G$ à valeurs complexes définie par la trace :

$$ \chi_{\rho}(g) = \text{tr} \, \rho(g). $$

Par la propriété fondamentale de la trace (cf. 4.1.1), c'est un élément de $F_{cent}(G)$.

Il s'avère qu'une représentation $\rho$ est complètement déterminée par son caractère $\chi_\rho$. En outre, cette correspondance de Frobenius entre représentations et caractères jouit des propriétés remarquables suivantes :

* $\rho$ est irréductible $\Leftrightarrow \chi_\rho$ est unitaire : $\langle\chi_\rho, \chi_\rho\rangle = 1$,

* les caractères unitaires forment une base orthonormée de $F_{cent}(G)$ ; pour tout élément $f \in F_{cent}(G)$, on a donc la décomposition

$$ (4.2) \qquad f = \sum \langle \chi_n, f \rangle \chi_n $$

où $\chi_n$ parcourt les caractères unitaires,

* $\chi_{\rho \oplus \rho'} = \chi_\rho + \chi_{\rho'}$ et $\chi_{\rho \otimes \rho'} = \chi_\rho \cdot \chi_{\rho'}$,

* toute représentation $\rho$ de dimension finie de $G$ est somme directe de représentations irréductibles. La multiplicité avec laquelle la représentation irréductible de caractère $\chi_n$ apparaît dans $\rho$ est $\langle\chi_n, \chi_\rho\rangle$. Cas particulier : la décomposition de la représentation régulière est : $\rho_{reg} = \oplus (\dim \rho_n) \rho_n$ où $\rho_n$ parcourt toutes les représentations irréductibles.

La correspondance de Frobenius permet d'associer à tout groupe fini sa table de caractères, c'est-à-dire le tableau de nombres complexes dont les entrées sont les valeurs des caractères unitaires<fnref n="17" />, et cette table détermine le groupe (en un sens à préciser). Cette correspondance réalise ainsi l'exploit de ramener en principe la structure du groupe fini abstrait $G$ à de simples données numériques. Conformément au leimotiv énoncé ci-dessus, des renseignements sur la table de caractères donnent des renseignements sur le groupe. Ainsi, on montre facilement qu'un groupe fini $G$ est

* simple<fnref n="18" /> si et seulement si pour tout $g \neq 1_G$ et pour tout caractère $\chi \neq 1$, $\chi(g) \neq \chi(1_G)$.

* commutatif si et seulement si pour tout caractère unitaire $\chi$, $\chi(1_G) = 1$.

Bien entendu, pour exploiter à fond cette correspondance, encore faut-il la rendre explicite, c'est-à-dire savoir calculer la table des caractères. Il existe pour cela un algorithme simple dû à W. Burnside, l'un des fondateurs de la théorie<fnref n="19" />.

<footnote n="17">¹⁷comme les caractères sont des fonctions centrales, on peut se limiter à considérer leurs valeurs sur des représentants des classes de conjugaison de $G$, ce qui permet d'obtenir un tableau carré. Par ailleurs ces valeurs sont des nombres d'un type bien particulier : comme tout élément $g$ de $G$ vérifie $g^N = 1_G$, toute valeur propre $\mu$ de $\rho(g)$ vérifie $\mu^N = 1$, de sorte que les valeurs de caractères sont toujours des sommes de racines $N$-ièmes de l'unité.</footnote>

<footnote n="18">¹⁸c'est-à-dire n'admet pas de quotient non trivial; mais, attention, il peut admettre des sous-groupes non-triviaux, qui ne seront pas normaux.</footnote>

<footnote n="19">¹⁹voir T. Coquand, B. Spitters, A constructive proof of the Peter-Weyl theorem, Math. Log. Quart. 0 (2004), 1-12.</footnote>
4.3.2 Représentations linéaires des groupes compacts et Analyse
harmonique. L'apport de Weyl.

Comme on l'a vu en 2.4.2, on définit en Analyse de Fourier le produit scalaire
de deux fonctions périodiques $f_1(t)$ et $f_2(t)$ de période $2\pi$ par la formule

$$
(4.3) \qquad \langle f_1, f_2 \rangle = \frac{1}{2\pi} \int_{-\pi}^{\pi} \bar{f}_1(t) f_2(t) \, dt.
$$

L'espace $L^2(U(1))$ des fonctions $f$ pour lesquelles $\langle f, f \rangle$ est bien défini est un
espace de Hilbert$^{20}$. Une base orthonormée est donnée par $e_n = e^{\sqrt{-1}nt}$ (où $n$ est
un entier quelconque), et tout $f \in L^2(U(1))$ s'écrit de manière unique

$$
(4.4) \qquad f = \sum_n \langle e_n, f \rangle e_n
$$

(expression mathématique de la décomposition des ondes en somme de modes propres de vibration).

H. Weyl semble avoir été le premier à remarquer l'analogie (frappante) entre ces formules et les formules (4.1) et (4.2) du paragraphe précédent. On avait affaire à un groupe fini $G$ (non nécessairement commutatif), et à un espace euclidien de dimension finie dont le produit scalaire était défini par une somme finie ; ici, on a affaire au groupe topologique commutatif (infini) $U(1)$ des rotations planes autour de l'origine (qu'on peut identifier au cercle unité, chaque rotation étant épinglée par son angle $t \in ] -\pi, \pi ]$), et à un espace de Hilbert dont le produit scalaire est défini par une intégrale relative à la mesure de probabilité $\frac{dt}{2\pi}$ sur $U(1)$ ; les $e_n$ sont les caractères unitaires de $U(1)$.

En Mathématiques, toute analogie est une aubaine : le chercheur n’a de cesse
de la creuser jusqu’à sa disparition/absorption dans une théorie qui englobe les
théories jumelles. C’est ce qu’a fait Weyl : il a étendu la théorie de Frobenius aux
représentations linéaires de dimension finie des *groupes (topologiques) compacts*
non nécessairement commutatifs, et créé l’Analyse harmonique non commuta-
tive.

Le prototype d'un groupe compact est le groupe $U(n)$ des opérateurs unitaires d'un espace euclidien de dimension $n$, voir 2.4.1.

L'analogue pour un groupe compact $G$ de la décomposition de la représentation régulière d'un groupe fini, c'est le théorème de Peter-Weyl : $L_{cent}^2(G)$ se décompose selon les représentations irréductibles de $G$ (il y en a une infinité), chacune intervenant avec une multiplicité égale à sa dimension$^{21}$.

4.3.3 Problème de Tannaka.

Étant donné un groupe compact $G$, on dispose de la catégorie *Rep* $G$ des représentations linéaires de dimension finie de $G^{22}$.

<footnote>$^{20}$c’est-à-dire un espace euclidien complet de dimension infinie (cf. 2.4.2).</footnote>

<footnote>$^{21}$voir par exemple T. Coquand, B. Spitters, A constructive proof of the Peter-Weyl theorem, Math. Log. Quart. 0 (2004), 1-12.</footnote>

<footnote>$^{22}$un morphisme de représentations n'étant autre qu'une application linéaire compatible aux
actions de G.</footnote>
Le leitmotiv général de la Théorie des représentations linéaires formulé ci-dessus (§ 2.5) incite à poser le problème suivant (problème de Tannaka) :

*Peut-on reconstituer $G$ à partir de $\mathrm{Rep}\,G$ ?*

La réponse est « non... mais presque ». Rappelons (ibidem) que $\mathrm{Rep}\,G$ est munie d'une opération interne « produit tensoriel » $\otimes$. Le théorème de Tannaka dit qu'on peut bel et bien reconstruire $G$ à partir de la catégorie $\mathrm{Rep}\,G$ munie de $\otimes$.

C'est par le biais d'une vaste généralisation de ce résultat que Grothendieck est parvenu à l'idée de *groupe de Galois motivique*, qui a fait une apparition furtive dans le chapitre précédent (§ 5)<fnref n="23" />.

### 4.3.4 Représentations linéaires et mécanique quantique.

Le produit tensoriel, conçu en Algèbre et pour l'Algèbre, a fait fortune en mécanique quantique : l'état de $n$ particules est décrit non par la somme, mais par le produit tensoriel de $n$ espaces de Hilbert $\mathcal{H}$. Du principe d'indiscernabilité des particules identiques, on déduit une action du groupe $\mathfrak{S}_n$ des permutations sur $n$ objets sur $\mathcal{H}^{\otimes n}$. Dès les années 1926-27, E. Wigner étudiait cette représentation linéaire. À la même époque, Weyl s'intéressait aux représentations unitaires de dimension infinie du groupe additif des réels $\mathbb{R}$ qui apparaissent en mécanique quantique sous la forme $t \mapsto e^{\sqrt{-1}tH}$ où $H$ est un opérateur hamiltonien (cf. 2.6.3). La synthèse<fnref n="24" /> qu'il a écrite sur la Théorie des représentations et la Mécanique quantique, parue en 1928 (soit fort peu après les travaux fondateurs de Heisenberg et Schrödinger), a eu une influence considérable.

Les théories de jauge, dont les origines remontent d'ailleurs aussi à Weyl, ont par la suite contribué à renforcer l'importance de la Théorie des représentations en Physique des particules. Selon ces théories, c'est *grosso modo* $U(1)$ qui gouverne l'électro-magnétisme, $U(2)$ les forces électro-faibles, $U(3)$ les interactions fortes (les quarks qui, avec les leptons, constituent la matière, furent introduits dans la théorie par Gell-Man et Neeman en 1964 sur la base de considérations sur les représentations de $U(3)$).

### 4.3.5 Représentations linéaires en dimension infinie. La théorie de von Neumann et l'école de Gelfand.

Les travaux de Weyl ont ouvert une nouvelle ère dans la Théorie des représentations : celle de l'étude des représentations de dimension infinie (de préférence unitaires) des groupes topologiques $G$.

Deux théories, ou deux écoles, en sont nées : la théorie des algèbres d'opérateurs de von Neumann évoquée au chapitre 2, et l'école de Gelfand.

<footnote n="23">²³signalons au passage que l'étude des représentations linéaires du groupe de Galois absolu $\mathrm{Gal}(\mathbb{Q}/\mathbb{Q})$ (cf. 3.3.1) est l'un des domaines les plus actifs de la Théorie des nombres contemporaine. Pour un groupe compact totalement discontinu comme $\mathrm{Gal}(\mathbb{Q}/\mathbb{Q})$, ce n'est d'ailleurs pas le corps $\mathbb{C}$ des nombres complexes qui est le corps naturel de coefficients de ces représentations galoisiennes, mais ce sont ce qu'on appelle les corps *p*-adiques, cf. 7.3.2.</footnote>

<footnote n="24">²⁴*Gruppentheorie und Quantenmechanik* (1928), transl. by H. Robertson, *The Theory of Groups and Quantum Mechanics*, (1931), Dover.</footnote>
Le lien entre représentations linéaires et algèbres d'opérateurs est le suivant.
Soit $\rho : G \to U(H)$ une représentation unitaire d'un groupe topologique $G$ dans
un espace de Hilbert $H$. Alors le commutant de $\rho(G)$ dans $\mathcal{L}(H)$ est une algèbre
de von Neumann (voir § 5.1).

I. Gelfand et son école se sont principalement occupés de construire et clas-
ser des représentations. La théorie est extrêmement ramifiée, mais il en émerge
un principe directeur (principe de Kirillov) : les représentations irréductibles de
dimension infinie d'un groupe de Lie correspondent à certaines orbites pour l'ac-
tion de ce groupe sur (le dual de) son algèbre de Lie (orbites soumises à une
certaine condition de « quantification », dans l'esprit de la mécanique quantique).
Ce principe permet de se ramener à des problèmes de dimension finie.

4.4 Représentations linéaires et problèmes de classi-
fication.

« Tout ce qui peut se ranger lui plaisait. »
G. Cuvier, *Éloge de Werner*<fnref n="25" />

4.4.1 « Taxinomie » mathématique.

Nous avons déjà dit quelques mots sur le rôle de la classification en Mathé-
matiques en 2.6.4. Ce rôle étant moins connu que dans d'autres sciences, les clas-
sifications paraissent davantage préservées, dans le domaine mathématique, du
discrédit culturel actuel qui bannit presque du champ de la pensée ces avatars
scientifiques de la « philatélie », la patience illimitée qu'exige leur exercice étant
perçue comme l'antithèse de l'éclair de génie.

On sait pourtant comment les grands travaux systématiques botaniques et
zoologiques, de Linné à Lamarck et Cuvier, ont forgé, lors de l'élaboration de
schèmes classificatoires « naturels », la compréhension progressive de la struc-
ture visible et de l'organisation des êtres vivants ; comment la problématique
de la classification des éléments simples, culminant avec la combinatoire du ta-
bleau périodique de Mendeleieff des 92, a contribué à façonner la rationalité chi-
mique<fnref n="26" />, etc...

De même, en Mathématiques, certaines classifications ont eu une importance
conceptuelle qui dépasse de bien loin les problèmes de rangement²⁷ ; c'est certai-
nement le cas de celles que nous allons évoquer ci-dessous.

Les classifications portent sur des objets généraux (au sens du § 2.1), mais font
parfois apparaître en fin de compte des objets particuliers tout à fait imprévus ; un

<footnote n="25"><sup>25</sup>cité dans G. Bachelard, *Le matérialisme rationnel*, P. U. F. 1953.</footnote>

<footnote n="26"><sup>26</sup>cf. G. Bachelard, *op. cit.*, P. U. F. 1953, chap. III.</footnote>

<footnote>27il y aurait certes bien des distinctions à faire parmi entre classifications, mais c'est à un philosophe des sciences qu'il revient d'en parler. Remarquons seulement qu'il ne s'agit dans ce chapitre que du cas où la classification aboutit à des listes dénombrables. Bien d'autres problèmes de classification mettent en jeu à la fois des invariants discrets et des modules continus qui forment parfois des objets de même nature générale que ceux que l'on classifie.</footnote>
tel passage ne s'obtient pas par une simple méditation dialectique sur les objets généraux considérés.

### 4.4.2 Classification des groupes finis simples.

Un exemple emblématique de classification mathématique est celui de la classification des groupes finis simples. Rappelons encore une fois qu'un groupe fini est dit simple s'il n'a pas de quotient non trivial, ou ce qui revient au même, s'il n'a pas de sous-groupe normal non trivial (cf. 3.1.3)<fnref n="28" />. Tout groupe fini se « dévisse » en groupes finis simples, qui sont, eux, « indévissables ».

Le rêve de Burnside de classifier, en s'appuyant sur la Théorie des représentations, les groupes finis simples a finalement abouti, au bout d'un siècle de travail monumental. On a la liste complète : trois séries infinies mais élémentaires

* groupes cycliques d'ordre premier,

* groupes alternés<fnref n="29" />,

* groupes simples de type de Lie<fnref n="30" />,

plus 26 *groupes sporadiques*, dont le plus gros, appelé « Monstre », a

808017424794512875886459904961710757005754368000000000

éléments (il est construit par « représentation », comme groupe de symétries d'une certaine structure remarquable en dimension 196883).

Les cinq premiers groupes sporadiques<fnref n="31" /> ont été découverts par Mathieu en 1860. Il a fallu plus d'un siècle pour qu'un 6ème n'apparaisse, au cours du travail de classification. La fin de ce travail avait été annoncée en 1983, mais un « trou » a été repéré dans une démonstration, trou qui a été « bouché » grâce à un article-rustine de 1300 pages !

La classification est désormais réputée achevée<fnref n="32" /> et les experts sont en train de rédiger une preuve « de seconde génération », plus compacte (environ 5000 pages si tout va bien !) et plus conceptuelle.

Au-delà des groupes finis simples eux-mêmes, qu'en est-il de la classification de leurs représentations linéaires ? Autrement dit, que sait-on de leurs tables de caractères ?

Pour les groupes cycliques ou alternés, elles étaient déjà connues de Frobenius. Pour les groupes sporadiques, on possède des atlas de tables de caractères. La question des tables de caractères des groupes finis de type de Lie est en revanche ouverte, c'est même l'objet d'un champ d'investigation vaste et très actif

<footnote n="28">²⁸la notion, sinon le qualificatif, est due à Galois.</footnote>

<footnote n="29">²⁹c'est-à-dire groupes de permutations de n lettres composés d'un nombre impair d'échanges de deux lettres. C'est Galois qui a montré que ce sont des groupes simples dès que $n \ge 5$.</footnote>

<footnote n="30">³⁰ce sont, *grosso modo*, des groupes de matrices à coefficients dans un corps fini.</footnote>

<footnote n="31">³¹ce qualificatif est dû à Burnside.</footnote>

<footnote n="32">³²pour un compte rendu vivant de cette aventure, voir M. Ronan, *Symmetry and the Monster: The story of one of the greatest quests of Mathematics*, Oxford 2006 - qui mène le lecteur jusqu'au fascinant « monstrous moonshine » reliant les représentations du Monstre aux fonctions modulaires classiques en Théorie des nombres.</footnote>
sous la maîtrise d'œuvre de G. Luzstig. Celui-ci a proposé une étonnante conjec-
ture<fnref n="33" /> reliant les représentations des groupes finis simples de type de Lie aux
représentations des groupes quantiques<fnref n="34" />.

4.4.3 Classification des groupes de Lie simples.

Entre-temps, Cartan et Killing avaient classifié les groupes de Lie réels et com-
plexes simples G. La classification se ramène à celle des algèbres de Lie simples
Lie G. Un peu comme dans la théorie de Frobenius pour les groupes finis, mais
de manière beaucoup plus sophistiquée, apparaît de la Géométrie euclidienne.

En fait, à toute algèbre de Lie complexe simple<fnref n="35" /> (ou somme directe de telles)
est associée un petit bijou de Géométrie euclidienne réelle appelé *système de racines*, qui consiste en un ensemble fini Φ de vecteurs qui engendrent l'espace et
qui vérifient les 3 propriétés suivantes :

• pour tout $\alpha \in \Phi$, les seuls éléments de $\Phi$ proportionnels à $\alpha$ sont $\alpha$ et $-\alpha$,

• pour tout $\alpha \in \Phi$, $\Phi$ est stable par réflexion $s_{\alpha}$ par rapport à l'hyperplan perpendiculaire à $\alpha$,

• pour tous $\alpha, \beta \in \Phi$, la projection orthogonale de $\beta$ sur la droite menée par $\alpha$ est un multiple demi-entier de $\alpha$.

Le groupe de Weyl est le groupe fini de symétries de Φ engendré par les ré-
flexions $s_\alpha$.

<figure><img src="image_8.png" /><figcaption>FIG. 4.1 – Systèmes de racines en dimension 2.</figcaption></figure>

Il reste à classifier les systèmes de racines : c'est affaire de combinatoire et
de Géométrie euclidienne élémentaire, quoique subtile. Ceux qui sont indécom-
posables (ce sont ceux qui correspondent effectivement à des algèbres de Lie
simples) se laissent épingler, chacun, par un *diagramme de Dynkin*, dont voici la

<footnote n="33">³³Voir 8.5 sur la signification et le rôle des conjectures en général.</footnote>

<footnote n="34">³⁴Il nous paraît dommage que les philosophes des Mathématiques se penchent si peu sur les problèmes de classification. Si les épistémologies d’inspiration platonicienne semblent à première vue « pré-adaptées » pour décrire cet aspect de la pensée mathématique - ce qui n’est pas si sûr : comment penser le « sporadique » ? - , quel éclairage pourraient apporter d’autres épistémologies ? - par exemple, des épistémologies de type « nominaliste » ou « cognitiviste » sur le Monstre ?</footnote>

<footnote n="35">³⁵sic! Complexe veut dire ici à coefficients dans le corps des nombres complexes, simple veut dire sans quotient non-trivial.</footnote>
liste (on a pu dire que ces diagrammes de Dynkin sont des sortes de « lutins qui infestent les Mathématiques »)$^{36}$ :

$$A_n : \circ - \circ - \cdots - \circ - \circ$$

$$B_n : \circ - \circ - \cdots - \circ \Rightarrow \circ$$

$$C_n : \circ - \circ - \cdots - \circ \Leftarrow \circ$$

$$D_n : \circ - \circ - \cdots - \circ < \circ$$

$$E_6 : \begin{array}{c|c} \circ & \\ \circ - \circ - & \circ - \circ - \circ \end{array}$$

$$E_7 : \begin{array}{c|c} \circ & \\ \circ - \circ - & \circ - \circ - \circ - \circ \end{array}$$

$$E_8 : \begin{array}{c|c} \circ & \\ \circ - \circ - & \circ - \circ - \circ - \circ - \circ \end{array}$$

$$F_4 : \circ - \circ \Rightarrow \circ - \circ$$

$$G_2 : \circ \equiv \circ.$$

En conclusion, il y a 4 familles infinies ($A_n, B_n, C_n, D_n$) d'algèbres de Lie complexes simples$^{37}$, plus 5 exceptionnelles ($E_6, E_7, E_8, F_4, G_2$).

Le problème de la classification des représentations des groupes de Lie simples a été résolu par Weyl pour l'essentiel, qui a donné une formule fondamentale pour les caractères. Il y a une relation entre les représentations de chacun de ces groupes continus et les représentations du groupe de Weyl (fini) correspondant.

### 4.4.4 Classification des représentations linéaires et indécidibilité.

Reprenons la notion de représentation linéaire dans son acceptation générale. On s'est attaché ci-dessus au cas des groupes (abstraits ou topologiques), mais on peut représenter linéairement d'autres structures. La situation la plus générale, semble-t-il, est celle des carquois.

Les carquois sont des graphes (en général finis) dont les arêtes (qui peuvent être multiples) sont orientées.

<footnote>$^{36}$ leur signification est en gros la suivante : les sommets - ou petits cercles - figurent les racines simples, desquelles toutes les racines se déduisent par combinaison linéaire à coefficients tous positifs ou tous négatifs ; les arêtes figurent l'angle entre deux racines simples non perpendiculaires - simple arête si l'angle est de 120°, etc...</footnote>

<footnote>$^{37}$ les groupes associés sont issus de la Géométrie euclidienne réelle ou complexe, ou de la Géométrie symplectique.</footnote>
Une représentation linéaire d'un carquois $Q$, c'est la donnée, pour tout sommet $x$ de $Q$, d'un espace vectoriel $V_x$ (disons de dimension finie pour fixer les idées), et pour toute arête $a$ liant les sommets $x$ et $y$ d'une application linéaire $F_a$ de $V_x$ dans $V_y$.

Comme pour les représentations de groupes, il y a une notion naturelle de somme, et une représentation est dite indécomposable si elle ne se laisse pas décomposer (non trivalement) en somme.

L'étude des représentations linéaires des carquois, initiée par P. Gabriel, a résolu le problème de classification, en établissant la trichotomie suivante<fnref n="38" />, où surgissent, tels Scarbo, les diagrammes de Dynkin :

Tout carquois $Q$ est de l'un des trois types suivants :

1. (fini) $Q$ n'a qu'un nombre fini de représentations indécomposables ; c'est le cas si et seulement si $Q$ est un diagramme de Dynkin.

2. (modéré) $Q$ a une infinité de représentations indécomposables classifiables algébriquement (en un sens précis que nous n'éluciderons pas ici) ; c'est le cas si et seulement si $Q$ est un diagramme de Dynkin étendu<fnref n="39" />.

3. (sauvage) Ni 1) ni 2) ; la « théorie » des représentations de $Q$ est alors indécidable.

En fait, l'indécidabilité dans le cas 3) s'établit en codant le problème des mots (cf. 4.2.3) dans la théorie des représentations de $Q$.

Voici un exemple concret (Gelfand-Ponomarev). Soit $Q_n$ le carquois ayant $n$ sommets $x_1, \dots, x_n$ liés par une arête orientée vers un sommet central $x_0$. La théorie des représentations de $Q_n$ équivaut à celle des systèmes de $n$ sous-espaces $V_1, \dots, V_n$ d'un espace vectoriel $V_0$, considéré à isomorphisme près. Il s'avère que $Q_n$ est

* de type 1) (fini) pour $n \le 3$,

* de type 2) (modéré) pour $n = 4$,

* de type 3) (sauvage) pour $n > 4$ : il est donc impossible de classifier, à isomorphisme près, les systèmes de 5 sous-espaces d'un espace vectoriel.

<footnote n="38">³⁸Gabriel, Nazarova et al., voir D. Benson, *Representations and cohomology I : basic representation theory of finite groups and associative algebras*, Cambridge studies in advanced mathematics 30 (1995), §4.4.</footnote>

<footnote n="39">³⁹obtenu par adjonction d'un sommet à un diagramme de Dynkin selon une règle simple que nous ne préciserons pas ici.</footnote>
# Chapitre 5
## Singularités.

> « La singularité est dangereuse en tout. »

Fénelon, Lettre à l'Académie.

### 5.1 Généricité, lissité, singularités.

#### 5.1.1 Notion de singularité.

« Singulier » s'oppose à « générique », mais il n'y a pas de définition formelle de ces termes en Mathématiques. De manière générale, toutefois, l'adjectif « générique » est employé en Mathématiques dans le sens suivant. Étant donné une collection d'objets $x$ formant un espace $X$ (mesuré, ou topologique, ou algébrique...), on dit qu'une propriété $P$ de ces objets est générique si elle est vraie « presque partout », c'est-à-dire pour « presque tout » objet $x$ - le sens de « presque partout » variant suivant le contexte<fnref n="1" />.

On qualifie parfois l'ensemble des $x$ qui ne vérifient pas $P$ de lieu singulier (eu égard à $P$). En ce sens très général, « singularité » a donc valeur d'« exception », de « dégénérescence ». C'est par exemple le lieu où certaines fonctions ne sont pas « bien définies », où certaines quantités deviennent infinies, etc...

Toutefois, l'acceptation la plus courante de ce terme en Mathématiques, celle qui est en jeu dans la Théorie des singularités, concerne le cas où la propriété $P$ est la lissité.

Rappelons qu'intuitivement, lisse veut dire « infiniment doux à la caresse » (cf. 4.1.2) ; formellement : indéfiniment différentiable.

On parle ainsi de fonctions et de variétés lisses ; une variété lisse est en tout point infinitésimalement linéaire, c'est-à-dire qu'elle s'identifie infinitésimalement à son espace tangent en chacun de ses points.

<footnote n="1">¹dans le contexte mesuré, cela signifie « hors d'un ensemble de mesure nulle » (nous avons déjà rencontré cette acception en 2.3.1) ; dans le contexte topologique, « dans un ouvert dense », ou plus généralement, « dans une intersection dénombrable d'ouverts denses » ; dans le contexte algébrique, « hors d'un sous-ensemble algébrique de dimension moindre que celle de $X$ ».</footnote>
Le cadre dans lequel la Théorie des singularités opère est celui d'objets géométriques ou de systèmes évolutifs qui sont génériquement lisses<fnref n="2" />. C'est le cas des systèmes dynamiques de la science classique (optique, mécanique...) dont l'étude est à l'origine de la Théorie des singularités, et en fait de la plupart des modèles mathématiques des sciences de la nature.

Au sens mathématique strict, une singularité est donc un « défaut de lissité », une « aspérité » ou une « crise », dans un contexte génériquement lisse.

## 5.1.2 Enjeux.

Si le lisse est générique, si donc « la caresse rencontre presque partout de l'infiniment doux », pourquoi se préoccuper des singularités, ces « aspérités exceptionnelles » ?

Une première réponse est que (comme nous allons le voir au paragraphe suivant) les singularités apparaissent « spontanément » même dans des contextes lisses a priori, et on ne peut se contenter de les ignorer : la catégorie ayant comme objets les variétés lisses et comme morphismes les applications lisses s'avère vite trop « étroite » pour faire de la Géométrie.

En fait, les singularités et autres bifurcations (changements de régime), loin d'être des « impuretés » dont il faudrait se débarrasser, en disent souvent long sur les systèmes étudiés tout entiers, comme si ces derniers étaient caractérisés par leurs « crises ».

En fait, nous verrons plus loin qu'en plusieurs sens, les objets géométriques tendent à être conditionnés, voire caractérisés, par leurs singularités.

Par ailleurs, on remarque que dans le doublet générique/singulier, c'est le générique qui est surdéterminé par rapport au singulier ; le sens mathématique de ce doublet est donc bien différent du sens philosophique traditionnel.

En effet, les singularités apparaissent a priori comme de purs négatifs : carence de lissité, obstruction au principe de linéarisation. Mais la Théorie des singularités va opérer une sorte de renversement dialectique : elle va thématiser ces obstructions, en faire des objets mathématiques à part entière, les décrire, les classifier, etc... Dans ses listes, le point lisse ne figurera plus qu'en tant que « singularité triviale ».

L'aspect le plus remarquable de ce renversement est la description des singularités en termes d'objets combinatoires (par exemple des diagrammes de Dynkin) : au bout du compte, par un mouvement subtil et réversible, on sera passé d'objets du monde continu à des objets du monde discret.

Outre l'illustration de ces deux thèses, ce chapitre sera l'occasion de faire un peu de phénoménologie des singularités : comment elles apparaissent, se déploient, et disparaissent (en laissant quelles traces ?)

<footnote n="2">²cela exclut donc les objets fractals, même s'ils ont tendance à « rentrer par la petite porte » en Théorie des systèmes dynamiques...</footnote>