# Critère d'irréductibilité de Mackey

En mathématiques, et plus précisément dans le cadre de la théorie des représentations d'un groupe, le critère d'irréductibilité de Mackey propose une condition nécessaire et suffisante pour qu'une représentation induite soit irréductible. Ce résultat, démontré par George Mackey pour les représentations unitaires de groupes localement compacts, n'est présenté ici que pour les groupes finis.

## Énoncé

Précisons d'abord les notations et hypothèses de l'énoncé :
* G désigne un groupe fini d'ordre g et d'exposant e et K est un corps dont la caractéristique ne divise pas g et sur lequel le polynôme Xe - 1 est scindé. Dans ce contexte, deux représentations d'un même sous-groupe de G sont dites disjointes si elles n'ont aucune composante irréductible commune.
* H est un sous-groupe de G.
* W désigne un K-espace vectoriel et θ une représentation de H sur W.
* Ind(θ) est la représentation de G induite par θ.
* Pour tout élément s de G, H$_s$ désigne l'intersection de H avec son conjugué par s :$H_{s}=sHs^{-1}\cap H$ et deux représentations sur W de ce sous-groupe sont issues de θ :
** θ$^s$, « conjuguée » de θ, définie par :$\forall h\in H_{s}\quad \theta ^{s}(h)=\theta (s^{-1}hs)$ ;
** Res$_s$(θ), restriction (en) de θ à H$_s$.
Le critère de Mackey s'énonce de la manière suivante :
   La représentation Ind(θ) est irréductible si et seulement si θ est irréductible et pour tout s ∉ H, les deux représentations de H$_s$ issues de θ, θ$^s$ (conjuguée) et Res$_s$(θ) (restriction), sont disjointes.
Dans le cas où H est un sous-groupe normal, on a H$_s$=H et Res$_s$(θ)=θ, d'où ce corollaire :
* Si H est normal dans G, Ind(θ) est irréductible si et seulement si θ est irréductible et n'est isomorphe à aucune de ses conjuguées θ$^s$, pour s∉H.

## Démonstration
### Restriction d'une représentation induite à un sous-groupe

Notons (V,ρ)=Ind(θ) et déterminons la restriction Res$_S$(ρ) de ρ à un autre sous-groupe S de G.
Pour cela,
* choisissons un ensemble de représentants des doubles classes de G modulo (H,S), c'est-à-dire un sous-ensemble C de G tel que les ScH, quand c parcourt C, forment une partition de G (c'est l'analogue, pour les doubles classes, de la notion de transversale pour les classes suivant un sous-groupe), et
* généralisons la définition précédente des H$_s$ et des θ$^s$ (qui correspondait au cas S=H) : pour tout élément c de G – les seuls qui interviendront seront les éléments c du système C de représentants – H$_c$ désigne à présent le sous-groupe de S$H_{c}=cHc^{-1}\cap S$et θ$^c$ est la représentation sur W de ce sous-groupe définie par la même formule que précédemment.
Ceci permet de formuler un lemme :
* La restriction à S de Ind(θ) est la somme directe des représentations Ind$_{Hc}$$^S$(θ$^c$) quand c parcourt un ensemble C de représentants des doubles classes de G modulo (H,S).
Pour tout élément c de C, soit T$_c$ une transversale à gauche pour H$_c$ dans S, contenant l'élément neutre. Alors la réunion des T$_c$.c forme une transversale à gauche pour H dans G, donc par définition de la représentation induite (V,ρ)=Ind(θ), V est la somme directe des ρ$_{sc}$(W) quand c décrit C et s décrit T$_c$. En notant, pour c fixé, W$_c$ le sous-espace ρ$_c$(W) et V$_c$ la somme directe des ρ$_s$(W$_c$) quand s décrit T$_c$ on obtient donc : V est la somme directe des S-modules V$_c$, et ces derniers sont équivalents aux Ind$_{Hc}$$^S$(θ$^c$), puisque le H$_c$-sous-module W$_c$ de V$_c$ est isomorphe à (W,θ$^c$), par l'opérateur d'entrelacement de W dans W$_c$ qui à tout vecteur w associe ρ$_c$(w).

### Preuve du critère en caractéristique nulle

La démonstration est une application directe du lemme ci-dessus dans le cas S=H et de la formule de réciprocité de Frobenius, en notant, pour tout sous-groupe L de G, < | >$_L$ la forme bilinéaire symétrique canonique sur les fonctions centrales sur L, et <ρ$_1$|ρ$_2$>$_L$ le résultat de cette forme appliquée aux caractères de deux représentations ρ$_1$ et ρ$_2$ de L.
Comme la caractéristique de K est supposée nulle, la représentation (V, ρ) est irréductible si et seulement si <ρ|ρ>$_G$ = 1. La formule de réciprocité de Frobenius s'exprime de la manière suivante :
$\langle \rho ~|~\rho \rangle _{G}=\langle \mathrm {Ind} _{H}^{G}\theta ~|~\rho \rangle _{G}=\langle \theta ~|~\mathrm {Res} _{H}^{G}\rho \rangle _{H}.$
Or d'après le lemme ci-dessus, si C est un système de représentants des doubles classes modulo (H,H) :
$\langle \theta ~|~\mathrm {Res} _{H}^{G}\rho \rangle _{H}=\langle \theta ~|~\oplus _{c\in C}\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}=\sum _{c\in C}\langle \theta ~|~\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}.$
En appliquant à nouveau la formule de Frobenius, le terme courant de cette somme est égal à :
$\langle \theta ~|~\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}=\langle \mathrm {Ind} _{H_{c}}^{H}\theta ^{c}~|~\theta \rangle _{H}=\langle \theta ^{c}~|~\mathrm {Res} _{c}(\theta )\rangle _{H_{c}}$
Ce terme est nul si θ$^c$ est disjointe de Res$_c$(θ) et supérieur ou égal à 1 sinon. On peut toujours supposer que pour la double classe particulière H1H=H on a choisi comme représentant c=1. Or les représentations θ$^1$ et Res$_1$(θ) de H$_1$=H sont égales à θ donc non disjointes. Pour que <ρ|ρ>$_G$ soit égal à 1, il est donc nécessaire et suffisant que <θ|θ>$_H$ soit égal à 1 – c'est-à-dire que θ soit irréductible – et que pour tout élément c de C différent de 1, θ$^c$ soit disjointe de Res$_c$(θ). Par équivalence, il en sera alors de même pour n'importe quel autre représentant de la même classe double, ce qui termine la démonstration.