# Théorie des groupes/Théorème de Maschke

Dans ce chapitre, on va démontrer le théorème de Maschke, qui joue un rôle fondamental dans la théorie des représentations linéaires des groupes finis. On commencera par quelques rappels d'algèbre générale.

## Rappels sur la caractéristique d'un corps

Soit K un corps (non forcément commutatif). L'unique homomorphisme du groupe $\mathbb {Z} ,+$ dans le groupe K, + qui applique l'élément 1 de $\mathbb {Z}$ sur l'élément 1 de K est aussi l'unique homomorphisme d'anneaux de $\mathbb {Z}$ dans K. Le noyau de cet homomorphisme est de la forme n $\mathbb {Z}$, pour un nombre naturel n défini de manière unique; ce nombre naturel n est appelé la caractéristique de K. La caractéristique de K est égale à 0 ou à un nombre premier p. Si la caractéristique de K est nulle, l'homomorphisme d'anneaux $\mathbb {Z} \rightarrow K$ est injectif et s'étend de façon unique en un homomorphisme injectif du corps $\mathbb {Q}$ (corps des nombres rationnels) dans le corps K; par corestriction, cet homomorphisme définit un isomorphisme du corps $\mathbb {Q}$ sur le sous-corps premier de K (plus petit sous-corps de K pour l'inclusion). Si maintenant la caractéristique de K est un nombre premier p, l'homomorphisme d'anneaux $\mathbb {Z} \rightarrow K$ a pour noyau $p\mathbb {Z} ,$, d'où un (unique) isomorphisme du corps $\mathbb {Z} /p\mathbb {Z}$ sur le sous-corps premier de K. Pour un entier rationnel n, nous noterons parfois n$_K$ l'image de n par l'unique homomorphisme d'anneaux de $\mathbb {Z}$ dans K. (En particulier, 1$_K$ désigne le neutre multiplicatif de K.) Nous dirons que n$_K$ est l'image canonique de n dans K. De façon générale, si G est un groupe noté additivement, si n est un entier rationnel et x un élément de G, on désigne par nx l'image de n par l'unique homomorphisme du groupe $\mathbb {Z} ,+$ dans G qui applique 1 sur x. (Pour n naturel, nx est la somme de n termes égaux à x; pour n = -n' avec n' naturel, nx = - (n'x)= n'(-x).) En appliquant cette notation au cas où G est le groupe additif du corps K, on a nx = n$_K$x, où, dans le second membre, le produit est pris relativement à la loi interne multiplicative de K. Pour un entier rationnel, on écrit parfois n au lieu de n$_K$. Si on emploie cette notation, il faut garder présent à l'esprit que si la caractéristique de K n'est pas nulle, un entier rationnel non nul peut être « nul dans K ».

## Anneau des endomorphismes d'un espace vectoriel

Soit F un corps (non forcément commutatif) et V un F-espace vectoriel. On désigne par End$_F$(V), ou encore par End(V), l'ensemble des F-endomorphismes de V (transformations linéaires).
Soit V un espace vectoriel (sur un corps non forcément commutatif). L'addition point par point et la composition $(f,g)\mapsto f\circ g$ dans End(V) font de End(V) un anneau.
La vérification est laissée au lecteur.

## Sous-espaces vectoriels supplémentaires dans un espace vectoriel

Soit V un espace vectoriel (à gauche ou à droite), soient W$_1$, W$_2$ des sous-espaces de V. On dit que W$_2$ est un supplémentaire de W$_1$ si V est somme directe (interne) de W$_1$ et W$_2$. W$_1$ est alors un supplémentaire de W$_2$ dans V et on dit aussi que W$_1$ et W$_2$ sont supplémentaires (dans V).
Soit V un espace vectoriel (à gauche ou à droite). Un endomorphisme f de V est appelé un projecteur de V si $f\circ f=f,$ autrement dit si f est un élément idempotent de l'anneau End(V) des endomorphismes de V.
Soit V un espace vectoriel (à gauche ou à droite), soit f un projecteur de V. Alors Ker f et Im f sont des sous-espaces supplémentaires dans V.
Soit x un élément de V. Nous avons
    (1) x = f(x) + (x - f(x))
avec $f(x)\in \mathrm {Im} f.$ De plus, x - f(x) appartient à Ker f; en effet,
    $f(x-f(x))=f(x)-f\circ f(x)$ et, puisque $f\circ f(x)=f,$ cela peut s'écrire f(x - f(x)) = f(x) - f(x) = 0, donc x - f(x) appartient à Ker f comme annoncé.
La relation (1) montre donc que
    (2) V = Im f + Ker f.
Prouvons que $\mathrm {Im} f\cap \mathrm {Ker} f=0.$ Soit y un élément de $\mathrm {Im} f\cap \mathrm {Ker} f;$ il s'agit de prouver que y = 0. Puisque y appartient à Im f, il existe un élément x de V tel quelconque
    (3) y = f(x).
Puisque, d'autre part, y appartient à Ker f, nous avons f(y) = 0, ce qui, d'après (3), peut s'écrire f(f(x)) = 0; puisque $f\circ f=f,$ nous avons donc f(x) = 0, d'où, d'après (3), y = 0, ce qui, comme on l'a vu, prouve que $\mathrm {Im} f\cap \mathrm {Ker} f=0.$ Joint à (2), cela prouve que Ker f et Im f sont des sous-espaces supplémentaires dans V.
Remarque. Il est clair que tout ce qui a été dit jusqu'ici sur les espaces vectoriels dans la présente section s'étend immédiatement aux modules. Ce n'est pas le cas de l'énoncé suivant :
Dans un espace vectoriel, tout sous-espace admet un supplémentaire.
C'est une conséquence classique du fait que toute partie libre d'un espace vectoriel peut se compléter en une base de cet espace.

## Algèbres sur un corps commutatif

Soit F un anneau commutatif. (La commutativité est essentielle.) Une algèbre sur F, ou F-algèbre, est la donnée d'un ensemble A, d'une loi de composition interne ${\underset {A}{+}}$, dite addition dans A, d'une loi de composition interne ${\underset {A}{\times }}$, dite multiplication dans A, et d'une loi externe $*:F\times A\rightarrow A$ telles que
    1° la loi interne ${\underset {A}{+}}$ et la loi externe $*:F\times A\rightarrow A$ font de A un F-module;
    2° la loi interne ${\underset {A}{\times }}:A\times A\rightarrow A:(a,b)\mapsto a{\underset {A}{\times }}b$ est F-bilinéaire pour cette structure de F-module sur A.
Dans les écritures, on donnera la précédence aux opérateurs $*$ et ${\underset {A}{\times }}$ sur l'opérateur ${\underset {A}{+}}$. Avec cette convention, la condition 2° signifie que pour tous éléments a, b, c de A,
    $(a{\underset {A}{+}}b){\underset {A}{\times }}c=a{\underset {A}{\times }}c{\underset {A}{+}}a{\underset {A}{\times }}c$
et
    $a{\underset {A}{\times }}(b{\underset {A}{+}}c)=a{\underset {A}{\times }}b{\underset {A}{+}}a{\underset {A}{\times }}c$
et que pour tout f dans F et tous a, b dans A,
    $a{\underset {A}{\times }}(f*b)=(f*a){\underset {A}{\times }}b=f*(a{\underset {A}{\times }}b).$
En pratique, on note généralement par le même symbole + l'addition dans F et l'addition dans A. De même, on note généralement par simple juxtaposition la multiplication dans F, la multiplication dans A et la loi externe $F\times A\rightarrow A$. Avec cette convention, et l'usage correspondant du symbole $\sum$, on peut énoncer :
    Soient $(f_{i})_{i\in I}$ et $(g_{j})_{j\in J}$ deux familles finies d'éléments de F, soient $(a_{i})_{i\in I}$ et $(b_{j})_{j\in J}$ deux familles d'éléments de A; alors
    $(\sum _{i\in I}f_{i}a_{i})(\sum _{j\in J}g_{j}b_{j})=\sum _{(i,j)\in I\times J}(f_{i}g_{j})(a_{i}b_{j}).$
Les algèbres auxquelles nous nous intéresserons dans la suite de ce cours seront des algèbres sur des corps (commutatifs). Si F est un corps commutatif, l'expression « F-module » peut être remplacée par « F-espace vectoriel » dans la définition d'une F-algèbre.
Si la multiplication d'une algèbre est associative, on dit que cette algèbre est associative. L'addition et la multiplication d'une algèbre associative A munissent A d'une structure de pseudo-anneau, que nous appellerons le pseudo-anneau sous-jacent de l'algèbre A. Toutes les algèbres que nous considérerons seront associatives.
Si la multiplication d'une algèbre A admet un élément neutre (lequel est alors unique),on dit que cet élément neutre est l'unité de l'algèbre A et que cette algèbre est unifère.
Si une algèbre A est à la fois associative et unifère, son pseudo-anneau sous-jacent est un anneau, qu'on appellera anneau sous-jacent de A.
L'exemple suivant d'algèbre associative et unifère sur un corps commutatif sera utilisé dans la suite de ce chapitre.
Soit F un corps commutatif et V un F-espace vectoriel. On désigne par End(V) l'ensemble des F-endomorphismes de V (transformations linéaires). Si pour tout élément $\lambda$ de F et tout élément h de End(V), on définit une application $\lambda h$ de V dans lui-même en posant
    $\lambda h:x\mapsto \lambda \cdot (h(x)),$
où le point désigne la loi externe du F-espace vectoriel V, alors $\lambda h$ appartient à End$_F$(V) et l'addition dans End(V), la loi externe
    $F\times \mathrm {End} _{F}(V)\rightarrow \mathrm {End} _{F}(V):(\lambda ,h)\mapsto \lambda h$
et la composition dans End$_F$(V) font de End$_F$(V) une F-algèbre associative unifère (l'unité de cette algèbre étant l'endomorphisme identité).
On sait par l'énoncé 1 que l'addition point par point et la composition dans End(V) font de End(V) un anneau (même si F n'est pas supposé commutatif).
Prouvons que si F est commutatif, alors, pour tout élément $\lambda$ de F et tout élément h de End(V), l'application $\lambda h$ est un F-endomorphisme de V. La relation $(\lambda h)(x+y)=(\lambda h)(x)+(\lambda h)(y)$, pour tous éléments x, y de V, est vraie même si F n'est pas supposé commutatif, comme le lecteur le vérifiera facilement. Il reste à prouver que, pour tout élément $\mu$ de F et tout élément x de V,
    $(\lambda h)(\mu x)=\mu \cdot ((\lambda h)(x)).$
Par définition de $\lambda h$, le premier membre de la thèse égale
    $\lambda \cdot ((h)(\mu x))=\lambda \cdot (\mu \cdot (h(x)))=(\lambda \mu )\cdot (h(x))$.
D'autre part, toujours par définition de $\lambda h$, le second membre de la thèse égale
    $\mu \cdot (\lambda \cdot (h(x))=(\mu \lambda )\cdot (h(x)).$
Puisque F est supposé commutatif, $\lambda \mu =\mu \lambda ,$ donc les deux membres de la thèse sont bien égaux.
Il reste à prouver que, pour tout élément $\lambda$ de F et tous éléments f, g de End(V),
    $\lambda (f\circ g)=(\lambda f)\circ g=f\circ (\lambda g)$,
ce qui est laissé au lecteur.

## Groupes linéaires réductibles, irréductibles, complètement réductibles

Dans la suite de ce chapitre, les corps sur lesquels on considérera des espaces vectoriels seront toujours supposés commutatifs, même si certains énoncés restent vrais sans cette hypothèse. Il n'y aura donc pas lieu de distinguer entre espaces vectoriels à gauche et à droite.
Si V est un espace vectoriel sur un corps commutatif F, on désignera par GL(V) le groupe formé par les permutations F-linéaires de V (automorphismes de l'espace vectoriel V), la loi de groupe étant la composition
    $GL(V)\times GL(V)\rightarrow GL(V):(f,g)\mapsto f\circ g,$
où $f\circ g$ est définie par
    $f\circ g:V\rightarrow V:v\mapsto f(g(v)).$
Nous dirons qu'un groupe G est un groupe linéaire si c'est un sous-groupe de GL(V) pour un certain espace vectoriel V sur un corps commutatif. Si on définit un endomorphisme d'espace vectoriel de façon que la notion de l'endomorphisme englobe celle de l'espace vectoriel, alors V est défini de façon unique à partir de G.
Si g est un élément de GL(V), un sous-espace W de V est dit stable par g si g(W) est contenu dans W. W est dit invariant par g si g(W) = W. (Si W est de dimension finie et stable par g, il est invariant par g, car W et g(W) ont la même dimension et un espace vectoriel de dimension finie n est son seul sous-espace de dimension n.)
Soit V un espace vectoriel sur un corps commutatif. Si G est un sous-groupe de GL(V), si W est un sous-espace de V stable par tout élément de G, alors W est invariant par tout élément de G. (En effet, on a alors, pour tout élément g de G, $g(W)\leq W$ et $g^{-1}(W)\leq W$, cette dernière relation entraînant $W\leq g(W).$) On dit alors que W est invariant par G.
Dans ce cas, chaque élément de G admet une birestriction à W et ces birestrictions forment un sous-groupe de GL(W).
Soit F un corps commutatif, soit V un F-espace vectoriel, soit G un sous-groupe de GL(V). On dit que G est réductible s'il existe un sous-F-espace W de V invariant par G et tel que 0 < W < V. On dira dans le même cas que V est réductible pour G.
Il est clair que s'il existe un sous-groupe réductible de GL(V), la dimension de V est au moins égale à 2.
Exemples. 1° Si G est le sous-groupe trivial de GL(V), c'est-à-dire le sous-groupe de GL(V) réduit à l'automorphisme identique de V, tout sous-espace de V est invariant par G, donc si V est de dimension au moins égale à 2, V est réductible. 2° Si G est GL(V) tout entier, G n'est pas réductible. (En effet, si W est un sous-espace de V tel que 0 < W < V, on peut choisir un élément non nul x de W et un élément y, forcément non nul, de V \ W; d'après la théorie des espaces vectoriels, il existe un automorphisme g de V qui applique x sur y; alors W n'est pas invariant par g et n'est donc pas invariant par G = GL(V), ce qui prouve que GL(V) n'est pas réductible.)
Soit F un corps commutatif, soit V un F-espace vectoriel, soit G un sous-groupe de GL(V). On dit que G est irréductible s'il n'est pas réductible et que V est non nul. Dans les mêmes conditions, on dit aussi que V est irréductible pour G.
Soit F un corps commutatif, soit V un F-espace vectoriel, soit G un sous-groupe de GL(V). On dit qu'un sous-espace W de V invariant par G est réductible pour G si W est réductible pour le sous-groupe de GL(W) formé par les birestrictions à W des éléments de G. Cela revient à dire qu'il n'existe pas de sous-espace T de W invariant par G et tel que 0 < T < W.
Soit F un corps commutatif, soit V un F-espace vectoriel, soit G un sous-groupe de GL(V). On dit qu'un sous-espace W de V invariant par G est irréductible pour G s'il est non nul et n'est pas réductible pour G.
Soit F un corps commutatif, soit V un F-espace vectoriel, soit G un sous-groupe de GL(V). On dit que G est complètement réductible si V est somme directe d'une famille de sous-espaces irréductibles pour G. Dans le même cas, on dit aussi que V est complètement réductible pour G.
Il est clair que si V est de dimension finie et qu' un sous-groupe G de GL(V) est complètement réductible, alors V est somme directe d'une famille finie de sous-espaces irréductibles pour G.
Un groupe linéaire irréductible est complètement réductible, ce qui montre une certaine incohérence dans la terminologie.
Soit F un corps commutatif, soit V un F-espace vectoriel (de dimension finie ou infinie), soit G un sous-groupe fini de GL(V) dont l'ordre $\vert G\vert$ n'est pas divisible par la caractéristique de F. (C'est le cas en particulier si F est de caractéristique nulle.)
    1° Si W est un sous-espace vectoriel de V invariant par G, W admet un sous-espace supplémentaire dans V qui est invariant par G.
    2° Si V est de dimension finie, il est somme directe $V=V_{1}\oplus \cdots \oplus V_{r}$ d'une famille finie de sous-espaces invariants par G et irréductibles pour G, autrement dit G est complètement réductible.
Démontrons le point 1° de l'énoncé. Choisissons un sous-espace X supplémentaire de W dans V, ce qui est possible d'après l'énoncé 3. Désignons par p l'endomorphisme d'espace vectoriel de V qui coïncide avec l'identité sur W et est nul en tout point de X. (Dans une certaine terminologie, p est la projection de V sur W relativement à la décomposition $V=W\oplus X.$) Désignons par $\vert G\vert _{F}$ l'image canonique du nombre naturel $\vert G\vert _{F}$ dans F. D'après les hypothèses, $\vert G\vert _{F}$ est inversible dans F. Considérons l'endomorphisme de V
    $P={\frac {1}{\vert G\vert _{F}}}\sum _{g\in G}g\circ p\circ g^{-1},$
endomorphisme correctement défini d'après l'énoncé 4. Par définition de p, p(V) est contenu dans W. Donc, puisque W est invariant par G,
    (1) P(V) est contenu dans W.
De plus, si w est un élément de W, alors, pour tout élément g de G, $g^{-1}(w)$ appartient à W, donc, par définition de p,
    $p\circ g^{-1}(w)=g^{-1}(w)$
d'où
    $g\circ p\circ g^{-1}(w)=w$
d'où
    $P(w)={\frac {1}{\vert G\vert _{F}}}(\vert G\vert w)$
    $P(w)={\frac {1}{\vert G\vert _{F}}}(\vert G\vert _{F}w)$
    $P(w)=w.$
Joint à (1), cela entraîne $P\circ P=P$ et P(W) = W, donc, d'après l'énoncé 2,
    $V=W\oplus KerP.$
Ainsi, Ker P est un supplémentaire de W dans V. Pour prouver le point 1° de l'énoncé, il suffit donc de prouver que Ker P est invariant par G. Prouvons d'abord que, pour tout élément g de G,
    (thèse 2) $\qquad g\circ P=P\circ g.$
Nous avons
    $g\circ P\circ g^{-1}=g\circ ({\frac {1}{\vert G\vert _{F}}}\sum _{h\in G}h\circ p\circ h^{-1})\circ g^{-1},$
ce qui, dans l'algèbre définie à l'énoncé 4, peut s'écrire
    $g\circ P\circ g^{-1}={\frac {1}{\vert G\vert _{F}}}\sum _{h\in G}g\circ h\circ p\circ h^{-1}\circ g^{-1},$
    $g\circ P\circ g^{-1}={\frac {1}{\vert G\vert _{F}}}\sum _{h\in G}(g\circ h)\circ p\circ (g\circ h)^{-1}.$
Puisque $h\mapsto g\circ h$ définit une permutation de G, cela peut s'écrire
    $g\circ P\circ g^{-1}={\frac {1}{\vert G\vert _{F}}}\sum _{h\in G}h\circ p\circ h^{-1},$
    $g\circ P\circ g^{-1}=P,$
d'où
    (3) $g\circ P=P\circ g,$
ce qui est notre thèse (2). Soit maintenant v un élément de Ker P. Alors $g\circ P(v)=g(0)$, $g\circ P(v)=0$, ce qui, d'après (3), peut s'écrire $P\circ g(v)=0$, ou encore $g(v)\in \mathrm {Ker} P.$ Ceci prouve que Ker P est invariant par G. Comme on l'a vu, le point 1° de l'énoncé en résulte.
Le point 2° de l'énoncé se démontre facilement par récurrence sur la dimension de V. Les détails sont laissés au lecteur.
| Produit en couronne | Représentations complexes des groupes finis, 1 |