# Théorie géométrique des invariants

En mathématiques, la théorie géométrique des invariants (ou GIT) est une méthode de construction de quotients par l'action d'un groupe en géométrie algébrique, utilisée pour construire des espaces de modules. Elle a été développée par David Mumford en 1965, en utilisant des idées tirées de l'article (Hilbert 1893) portant sur la théorie des invariants classique.
La théorie géométrique des invariants porte sur l'action d'un groupe G sur une variété algébrique (ou un schéma) X et fournit des techniques pour former des « quotients » de X par G comme des schémas ayant des propriétés raisonnables. L'une des motivations était de construire des espaces de modules en géométrie algébrique comme quotients de schémas paramétrant des objets pointés. Dans les années 1970 et 1980 sont apparues des interactions avec la géométrie symplectique et la topologie équivariante (en) et la théorie a été également utilisée en géométrie différentielle pour construire des espaces de modules d'objets tels que les instantons et les monopôles (en).

## Contexte

Le point de départ de la théorie des invariants est une action d'un groupe G sur une variété algébrique (ou un schéma) X. La théorie des invariants classique porte sur le cas où X = V est un espace vectoriel et G est soit un groupe fini, soit un groupe de Lie classique agissant linéairement sur V. Cette action induit une action – toujours linéaire – de G sur l'algèbre des fonctions polynomiales R(V) sur V par la formule
    $g\cdot f(v)=f(g^{-1}v)$ pour tous $g\in G$ et $v\in V$.
Les invariants polynomiaux (ou polynômes invariants) de l'action G sur V sont les fonctions polynomiales f sur V qui sont fixées par le « changement de variables » déterminé par l'action du groupe, c'est-à-dire telles que que g · f = f pour tout g dans G . Ces fonctions forment une algèbre commutative $A=R(V)^{G}$ qui est interprétée comme l'algèbre des fonctions sur le « quotient de la théorie des invariants » $V/\!\!/G$ car chacune de ces fonctions prend la même valeur en tous les points d'une orbite donnée (c'est-à-dire que f (v) = f (gv) pour tout g). Dans le langage de la géométrie algébrique moderne,
    $V/\!\!/G=\operatorname {Spec} A=\operatorname {Spec} R(V)^{G}.$
Cette description fait immédiatement naître plusieurs difficultés. La première, traitée avec succès par Hilbert dans le cas du groupe linéaire, consiste à démontrer que l'algèbre A est de type fini pour assurer que le quotient soit une variété algébrique affine. La question de savoir si cette propriété est vraie pour des groupes G arbitraires était le sujet du quatorzième problème de Hilbert, et Nagata a démontré que la réponse était négative en général en 1959. A contrario, au cours du développement de la théorie des représentations dans la première moitié du XXe siècle, une large classe de groupes pour lesquels la réponse est positive a été identifiée : ce sont les groupes réductifs, parmi lesquels figurent tous les groupes finis et tous les groupes classiques.
Le fait que l'algèbre A soit de type fini n'est que le premier pas vers la description complète de A et les progrès sur cette question plus délicate ont été relativement modestes. Les invariants classiques n’avaient été décrits que dans un éventail restreint de situations et la complexité de cette description au-delà de ces premiers cas laissait peu d’espoir de comprendre complètement les algèbres d'invariants en général. De plus, il peut arriver que tout invariant polynomial f prenne la même valeur en deux points donnés u et v de V alors que ces points appartiennent à des orbites différentes de G. Pour un exemple simple, on considère le groupe multiplicatif $\mathbb {C} ^{*}$ des nombres complexes non nuls qui agit sur un espace vectoriel complexe $\mathbb {C} ^{n}$ par produit. Dans ce cas, tout polynôme invariant est constant mais il existe de nombreuses orbites différentes pour cette action : le vecteur nul forme une orbite et toute droite vectorielle privée du vecteur nul en est une aussi, de sorte que les orbites non nulles sont paramétrées par les points de l'espace projectif complexe $\mathbb {C} \mathbf {P} ^{n-1}$. Lorsque toutes les fonctions invariantes prennent la même valeur sur des orbites différentes, on dit que les invariants ne séparent pas les orbites, ce qui signifie que l'algèbre A ne reflète qu'imparfaitement l'espace quotient topologique $X/G$. En effet, ce dernier, muni de la topologie quotient, n'est pas séparé en général. (C'est le cas dans l'exemple ci-dessus : l'orbite nulle n'est pas ouverte car tout voisinage du vecteur nul contient des points dans toutes les autres orbites, si bien que dans la topologie quotient, tout voisinage de l'orbite nulle contient toutes les autres orbites.) En 1893, Hilbert a formulé et prouvé un critère pour déterminer les orbites qui ne sont pas séparées de l'orbite nulle par des polynômes invariants. Il est assez remarquable que, contrairement à ses travaux antérieurs sur la théorie des invariants, qui ont conduit au développement rapide de l'algèbre abstraite, ce résultat de Hilbert soit resté peu connu et peu utilisé pendant les 70 années suivantes. Une grande partie du développement de la théorie des invariants dans la première moitié du XXe siècle portait sur des calculs explicites d'invariants et, à tout le moins, suivait une philosophie plus algébrique que géométrique.

## Le livre de Mumford

La théorie géométrique des invariants est née et a été développée par David Mumford dans un livre publié pour la première fois en 1965, qui appliquait des idées de la théorie des invariants du XIXe siècle, parmi lesquelles certains résultats de Hilbert, à la géométrie algébrique moderne. (Le livre a été considérablement étendu dans deux éditions ultérieures par l'ajout d'annexes de Fogarty et Mumford et un chapitre sur les quotients symplectiques de Kirwan.) Le livre utilise à la fois la théorie des schémas et les techniques de calcul disponibles dans les exemples.
Le cadre abstrait utilisé est celui d'une action de groupe sur un schéma X. Comme on l'a vu, l'idée naïve d'un espace d'orbites
    $G\setminus X$,
c'est-à-dire l'ensemble quotient de X par l'action du groupe, se heurte à des difficultés en géométrie algébrique, pour des raisons qui s'expliquent en termes abstraits. Il n’y a en fait aucune raison générale pour laquelle les relations d’équivalence devraient bien se comporter vis à vis des fonctions régulières (polynomiales), plutôt rigides, qui sont au cœur de la géométrie algébrique. Les fonctions sur le quotient ensembliste G \ X qu'il faut considérer sont les fonctions sur X qui sont invariantes par G. On peut commencer par une approche directe au moyen du corps des fonctions rationnelles d'une variété : on considère les fonctions rationnelles G-invariantes comme corps de fonctions de la variété quotient. Malheureusement, ce point de vue de la géométrie birationnelle ne donne qu’une première approximation de la réponse. Comme l’écrit Mumford dans la préface du livre :
   « Le problème est de savoir si parmi tous les modèles de la classe d'équivalence birationnelle ainsi construite, il en existe un dont les points géométriques classent l'ensemble des orbites dans une action donnée, ou l'ensemble des objets algébriques dans un problème de modules. »
Au chapitre 5, il précise la difficulté technique en jeu, dans un problème de modules de type tout à fait classique — classer l'énorme « ensemble » de toutes les variétés algébriques sous la seule condition qu'elles soient non singulières (et une condition technique de polarisation). Les modules sont censés décrire l'espace des paramètres. Par exemple, pour les courbes algébriques, on sait depuis l'époque de Riemann qu'il doit y avoir des composantes connexes de dimensions
    $0,1,3,6,9,\dots$
correspondant au genre g = 0, 1, 2, 3, 4, …, et les modules sont des fonctions sur chaque composante. Pour le problème dit des modules grossiers, Mumford considère que les obstructions sont :
* une topologie non séparée sur l'espace des modules (c'est à dire pas assez de paramètres en bonne et due forme) ;
* une infinité de composantes irréductibles (ce qui est inévitable mais on peut vérifier la finitude locale) ;
* l'échec des composantes à être représentables sous forme de schémas, alors qu'elles sont représentables comme des espaces topologiques.
C’est le troisième point qui a motivé toute la théorie. Comme dit Mumford, si les deux premières difficultés sont résolues,
   « [la troisième question] devient essentiellement équivalente à la question de savoir s'il existe un espace des orbites d'un certain sous-ensemble localement fermé des schémas de Hilbert (en) ou de Chow (en) sous l'action du groupe projectif (en). »
Pour traiter ce problème, Mumford a introduit une notion de stabilité (plus précisément, trois). Cela lui a permis d'ouvrir un domaine resté jusque-là bien obscur – beaucoup avait été écrit, en particulier par Francesco Severi, mais les méthodes étaient limitées. Le point de vue birationnel peut se permettre de négliger les sous-ensembles de codimension 1. D'un côté, voir un espace de modules comme un schéma revient à le caractériser comme un foncteur représentable (suivant l'école de Grothendieck) ; géométriquement, cependant, cela ressemble davantage à une question de compactification, comme l'ont révélé les critères de stabilité. La restriction aux variétés non singulières ne conduira en aucun sens l'espace de modules à être un espace compact : les variétés peuvent dégénérer jusqu'à avoir des singularités. En revanche, les points qui correspondraient à des variétés très singulières sont définitivement trop « mauvais » pour être inclus dans la réponse. Le juste milieu, constitué des points suffisamment stables pour être admis, a été identifié par le travail de Mumford. Le concept n'était pas entièrement nouveau, puisque certains aspects se trouvent déjà dans les derniers travaux de Hilbert sur la théorie des invariants, avant qu'il ne passe à d'autres domaines.
La préface du livre énonce également la conjecture de Mumford, démontrée plus tard par William Haboush.

## Stabilité

Étant donné un groupe réductif G agissant linéairement sur un espace vectoriel V, un point non nul de V est dit :
* instable si 0 est dans la fermeture de son orbite ;
* semi-stable si 0 n'est pas dans la fermeture de son orbite ;
* stable si son orbite est fermée et si son stabilisateur est fini.
Il y d'autres façons équivalentes d'énoncer ces conditions. Le critère suivant est connu sous le nom de critère de Hilbert-Mumford (en).
* Un point x non nul est instable si et seulement s'il existe un sous-groupe à 1 paramètre de G dont tous les poids par rapport à x sont positifs.
* Un point x non nul est instable si et seulement si tout polynôme invariant prend la même valeur en 0 et en x.
* Un point x non nul est semi-stable si et seulement s'il n'existe pas de sous-groupe à 1 paramètre de G dont tous les poids par rapport à x sont positifs.
* Un point x non nul est semi-stable si et seulement s'il existe un polynôme invariant qui prend des valeurs différentes en 0 et en x.
* Un point x non nul est stable si et seulement si tout sous-groupe à 1 paramètre de G a des poids positifs (et négatifs) par rapport à x.
* Un point x non nul est stable si et seulement si pour tout y n'appartenant pas à l'orbite de x il existe un polynôme invariant qui prend des valeurs différentes en y et en x, et l'anneau des polynômes invariants a un degré de transcendance dim(V) – dim(G) .
Un point de l'espace projectif associé à V est dit instable, semi-stable ou stable s'il est l'image d'un point de V possédant la même propriété. Noter qu'« instable » est la négation de « semi-stable » (et non de « stable »). Les points instables forment un fermé de l'espace projectif pour la topologie de Zariski, alors que les points semi-stables et stables forment deux ouverts de Zariski (éventuellement vides). NB : Les définitions ci-dessus sont celles de (Mumford 1977) et ne sont pas équivalentes à celles de la première édition du livre de Mumford.
De nombreux espaces de modules peuvent être construits comme des quotients de l'espace des points stables d'une partie de l'espace projectif par l'action d'un groupe convenable. Ils peuvent souvent être compactifiés par l'ajout de classes d'équivalence de points semi-stables bien choisies. Différentes orbites stables correspondent à des points différents du quotient, mais deux orbites semi-stables différentes peuvent correspondre au même point du quotient si leurs clôtures s'intersectent.
Exemple (Deligne et Mumford 1969) : Une courbe stable est une courbe connexe réduite de genre ≥2 dont les seules singularités sont des points doubles ordinaires et dont toute composante rationnelle lisse coupe les autres composantes en au moins 3 points. L'espace des modules des courbes stables de genre $g$ est le quotient d'un sous-ensemble du schéma de Hilbert (en) des courbes dans $\mathbb {C} \mathbf {P} ^{5g-6}$ qui ont pour polynôme de Hilbert (6n – 1)(g – 1) par le groupe $\mathrm {PGL} _{5g-5}(\mathbb {C} )$.
Exemple : Un fibré vectoriel W sur une courbe algébrique (ou une surface de Riemann) est stable (en) si et seulement si
    $\displaystyle {\frac {\deg(V)}{{\hbox{rank}}(V)}}<{\frac {\deg(W)}{{\hbox{rank}}(W)}}$
pour tout sous-fibré propre non nul V de W ; il est semi-stable si cette condition est satisfaite en remplaçant < par ≤.