# Théorie des représentations

La théorie des représentations est une branche des mathématiques qui étudie les structures algébriques abstraites en représentant leurs éléments comme des transformations linéaires d'espaces vectoriels, et qui étudie les modules sur ces structures algébriques abstraites. Essentiellement, une représentation concrétise un objet algébrique abstrait en décrivant ses éléments par des matrices et les opérations sur ces éléments en termes d'addition matricielle et de produit matriciel. Parmi les objets algébriques qui se prêtent à une telle approche figurent les groupes, les algèbres associatives et les algèbres de Lie. La théorie primordiale des représentations est celle des représentations de groupes, où les éléments d'un groupe sont représentés par des matrices inversibles de telle façon que la loi du groupe corresponde au produit matriciel.
La théorie des représentations est un outil puissant, parce qu'elle réduit des problèmes d'algèbre abstraite à des problèmes d'algèbre linéaire, un domaine qui est bien compris. En outre, lorsqu'on autorise l'espace vectoriel, sur lequel un groupe (par exemple) est représenté, à être un espace de dimension infinie, par exemple un espace de Hilbert, on peut appliquer à la théorie des groupes des méthodes d'analyse. La théorie des représentations est aussi importante en physique, parce qu'elle permet de décrire, par exemple, l'influence du groupe des symétries d'un système sur les solutions des équations qui le décrivent.
La théorie des représentations est omniprésente en mathématiques. De ce fait, ses applications sont variées : en plus de son impact en algèbre, elle éclaire et généralise largement l'analyse de Fourier via l'analyse harmonique, elle est profondément liée à la géométrie via la théorie des invariants et le programme d'Erlangen et elle a un impact profond en théorie des nombres via les formes automorphes et le programme de Langlands. Par ailleurs, elle peut être abordée de diverses manières : les mêmes objets peuvent être étudiés en utilisant des méthodes de géométrie algébrique, de théorie des modules, de théorie analytique des nombres, de géométrie différentielle, de théorie des opérateurs (en) et de topologie.
Le succès de la théorie des représentations a conduit à de nombreuses généralisations. L'une des plus générales est catégorique. Les objets algébriques auxquels s'applique la théorie peuvent être vus comme des cas particuliers de catégories, et les représentations comme des foncteurs, d'une telle catégorie dans celle des espaces vectoriels. Cette description indique deux généralisations évidentes : d'une part, les objets algébriques peuvent être remplacés par des catégories plus générales, et, d'autre part, la catégorie d'arrivée des espaces vectoriels peut être remplacée par d'autres catégories que l'on maîtrise bien.

## Définitions et concepts

Soit V un espace vectoriel sur un corps K. Par exemple, supposons que V est ℝ$^n$ ou ℂ$^n$, l'espace usuel de dimension n des vecteurs colonnes sur le corps ℝ des réels ou celui, ℂ, des complexes. Dans ce cas, l'idée de la théorie des représentations est de faire de l'algèbre abstraite de façon concrète, en utilisant des matrices n × n de nombres réels ou complexes. On peut le faire principalement pour trois types d'objets algébriques : les groupes, les algèbres associatives et les algèbres de Lie.
* Le sous-ensemble des matrices n × n inversibles forme un groupe pour la multiplication et la théorie des représentations de groupes analyse un groupe en décrivant – en « représentant » – ses éléments en termes de matrices inversibles.
* L'addition et la multiplication font de l'ensemble de toutes les matrices n × n une algèbre associative, ce qui donne lieu à la théorie des représentations d'algèbres (en) associatives.
* Si l'on remplace le produit MN de deux matrices par leur commutateur MN – NM, alors les matrices n × n ne forment plus une algèbre associative mais une algèbre de Lie, et l'on étudie les représentations d'algèbres de Lie.
Ceci se généralise à tout corps K et à tout espace vectoriel V sur K, en remplaçant les matrices par des endomorphismes linéaires et le produit matriciel par la composition : les automorphismes de V forment le groupe GL(V) et les endomorphismes de V forment l'algèbre associative End(V), à laquelle correspond l'algèbre de Lie gl(V).

### Définitions

Il y a deux façons d'expliquer ce qu'est une représentation.
* La première utilise la notion d'action, généralisant la façon dont les matrices agissent par produit sur les vecteurs colonnes. Une représentation d'un groupe G ou d'une algèbre A (associative ou de Lie) sur un espace vectoriel V est une application$\Phi \colon G\times V\to V\quad {\text{ou}}\quad \Phi \colon A\times V\to V$possédant deux propriétés. Premièrement, pour tout g dans G (idem pour A), l'application${\begin{aligned}\varphi (g)\colon V&\to V\\v&\mapsto \Phi (g,v)\end{aligned}}$est K-linéaire. Deuxièmement, en introduisant la notation g ∙ v pour Φ(g, v), on a, pour tous g$_1$, g$_2$ dans G et tout v dans V :${\begin{matrix}(1)&e\cdot v&=&v\\(2)&g_{1}\cdot (g_{2}\cdot v)&=&(g_{1}g_{2})\cdot v\end{matrix}}$où e est l'élément neutre de G et g$_1$g$_2$ est le produit dans G. La condition pour une algèbre associative A est analogue, excepté que A peut ne pas avoir d'élément unité, auquel cas l'équation (1) est omise. L'équation (2) est une expression abstraite de l'associativité du produit matriciel. Elle n'est pas vérifiée par les commutateurs de matrices et pour ces commutateurs, il n'y a pas d'élément neutre, si bien que pour les algèbres de Lie, la seule condition est que pour tous x$_1$, x$_2$ dans A et tout v dans V :$(2')\quad x_{1}\cdot (x_{2}\cdot v)-x_{2}\cdot (x_{1}\cdot v)=[x_{1},x_{2}]\cdot v$où [x$_1$, x$_2$] est le crochet de Lie, qui généralise le commutateur MN – NM de deux matrices.
* La seconde façon, plus concise et plus abstraite, met l'accent sur l'application φ qui à tout x de G ou A associe φ(x) : V → V, qui doit vérifier, pour tous x$_1$, x$_2$ dans le groupe G ou l'algèbre associative A :$(2)\quad \varphi (x_{1}x_{2})=\varphi (x_{1})\circ \varphi (x_{2}).$
** Une représentation d'un groupe G sur un espace vectoriel V est un morphisme de groupes φ : G → GL(V).
** Une représentation d'une algèbre associative A sur V est un morphisme d'algèbres φ : A → End(V).
** Une représentation d'une algèbre de Lie a sur V est un morphisme d'algèbres de Lie φ : a → gl(V).

### Terminologie

La représentation est notée (V, φ), ou simplement V si le morphisme φ est clair d'après le contexte. L'espace vectoriel V est appelé l'espace de la représentation (V, φ) et la dimension n de V est appelée le degré de (V, φ).
Si ce degré n est fini, le choix d'une base de V permet d'identifier V à K$^n$ et l'on retrouve une représentation par des matrices à coefficients dans K.
La représentation (V, φ) est dite fidèle si le morphisme φ est injectif. Pour une algèbre associative, cette notion équivaut à celle de module fidèle. Pour toute représentation d'un groupe G sur un K-espace vectoriel, si la représentation associée de l'algèbre K[G] est fidèle alors la représentation de G l'est aussi, mais la réciproque est fausse, comme le montre l'exemple de la représentation régulière du groupe symétrique S$_4$.

### Morphismes

Si (V, φ) et (W, ψ) sont deux représentations d'un groupe G, on appelle opérateur d'entrelacement ou morphisme de représentations de la première vers la seconde toute application linéaire α : V → W équivariante, c'est-à-dire telle que pour tout g dans G et tout v dans V,
$\alpha (g\cdot v)=g\cdot \alpha (v)$
ce qui, en termes des morphismes φ : G → GL(V) et ψ : G → GL(W), s'écrit :
$\forall g\in G,\quad \alpha \circ \varphi (g)=\psi (g)\circ \alpha .$
On définit de même les morphismes de représentations d'une algèbre associative ou de Lie.
Si α est inversible, on dit que c'est un isomorphisme de représentations et que les deux représentations sont isomorphes. Elles sont alors, d'un point de vue pratique, « identiques » : elles fournissent la même information sur le groupe ou l'algèbre qu'elles représentent. C'est pourquoi la théorie des représentations cherche à classifier les représentations « à isomorphisme près ».
Les morphismes d'une représentation vers elle-même sont appelés ses endomorphismes. Ils forment une algèbre associative sur le corps de base K.

### Sous-représentations et représentations irréductibles

Si (W, ψ) est une représentation, par exemple d'un groupe G, et si V est un sous-espace de W « stable » par l'action de G, c'est-à-dire tel que pour tous g dans G et v dans V, le vecteur g ∙ v appartienne à V, alors V est l'espace d'une sous-représentation : en définissant φ(g) comme la restriction de ψ(g) à V, (V, φ) est une représentation de G et l'inclusion de V dans W est un morphisme de représentations. L'espace vectoriel quotient W/V est alors, lui aussi, muni naturellement d'une représentation de G.
La représentation est dite irréductible si W possède exactement deux sous-espaces stables (qui sont alors l'espace nul et W lui-même).
Le lemme de Schur indique que tout morphisme non nul entre deux représentations irréductibles est un isomorphisme, puisque son noyau et son image sont des sous-représentations. En particulier, la K-algèbre des endomorphismes d'une représentation irréductible est un corps gauche. Si K est algébriquement clos, cette algèbre à division est isomorphe à K car réduite aux homothéties de l'espace.
Les représentations irréductibles sont les briques élémentaires de la théorie des représentations : si une représentation non nulle W n'est pas irréductible, alors elle se décompose en une sous-représentation et une représentation quotient qui sont toutes deux plus simples, en un certain sens ; par exemple si W est de dimension finie, elles sont plus simples au sens où elles sont de degré plus petit.

### Sommes directes et représentations indécomposables

Si (V, φ) et (W, ψ) sont deux représentations, par exemple d'un groupe G, alors la somme directe de V et W est canoniquement l'espace d'une représentation, via l'équation :
$g\cdot (v,w)=(g\cdot v,g\cdot w).$
Cette somme directe de deux représentations contient en général plus d'information sur le groupe G que chacune des deux.
Une représentation est dite indécomposable si elle n'est ni nulle, ni somme directe de deux sous-représentations non nulles.
Elle est dite semi-simple, ou complètement réductible, si elle est somme directe de représentations irréductibles. Dans les bons cas où toute représentation est semi-simple, l'étude des représentations se ramène à celle des représentations irréductibles. Dans le cas général, il faut comprendre comment les représentations indécomposables peuvent être reconstituées à partir de représentations irréductibles, comme extensions d'un quotient par une sous-représentation.

## Branches et sujets

La théorie des représentations est remarquable par l'abondance de ses branches et la diversité de ses approches. Bien que toutes les théories aient en commun les concepts de base présentés ci-dessus, elles sont considérablement différentes dans leurs détails. Ces différences sont au moins de trois sortes :
* Les représentations dépendent de la nature des objets algébriques représentés et comportent des particularités différentes selon la famille de groupes, d'algèbres associatives ou d'algèbres de Lie que l'on étudie ;
* Elles dépendent aussi du type des espaces vectoriels considérés. La distinction la plus importante est entre les représentations de degré fini et celles de degré infini. On peut imposer des structures additionnelles sur l'espace (de Hilbert, de Banach, etc. dans le cas infini, structures algébriques dans le cas fini) ;
* Enfin, elles dépendent du type du corps de base K. Un cas très étudié est celui du corps des complexes. D'autres cas importants sont le corps des réels, les corps finis et les corps de nombres p-adiques. Des difficultés supplémentaires surgissent lorsque K est de caractéristique positive ou n'est pas algébriquement clos.

### Groupes finis

Dans l'étude des groupes finis, leurs représentations sont un outil très important$^,$$^,$. Elles apparaissent aussi dans les applications de la théorie des groupes finis à la géométrie et à la cristallographie. Elles présentent beaucoup des caractéristiques de la théorie générale et guident les développements des autres branches et sujets de la théorie des représentations.
Elles font appel à la théorie des caractères : le caractère d'une représentation φ : G → GL(V) d'un groupe fini G est la fonction centrale χ$_φ$ : G → K définie par χ$_φ$(g) = Tr(φ(g)). Si la caractéristique du corps K est nulle, chaque représentation irréductible de G est entièrement déterminée par son caractère.
De plus, si la caractéristique de K est nulle ou plus généralement si elle ne divise pas l'ordre |G| du groupe, alors toutes les représentations de G sont semi-simples : c'est le théorème de Maschke, qui se démontre essentiellement en prenant une moyenne (le cas où la caractéristique est un nombre premier qui divise |G| est l'objet de la sous-théorie, plus élaborée, des représentations modulaires).
Dans le cas particulier où K est égal à ℝ ou ℂ, ce même procédé de moyenne permet de construire, sur l'espace d'une représentation de G, un produit scalaire G-invariant, et d'en déduire que la représentation est isomorphe à une représentation unitaire. On retrouve ainsi qu'elle est semi-simple car pour une représentation unitaire, le supplémentaire orthogonal de toute sous-représentation est stable. Dans l'étude des représentations de groupes infinis, les représentations unitaires sont une bonne généralisation des représentations réelles et complexes des groupes finis.
Les résultats comme le théorème de Maschke et la propriété d'unitarisation s'étendent à des groupes plus généraux en remplaçant la moyenne par une intégrale, à condition qu'il existe une mesure de Haar, ce qui est le cas pour les groupes compacts ou même seulement localement compacts ; la théorie qui en résulte est l'analyse harmonique.
Sur un corps arbitraire, une autre classe de groupes finis possédant une « bonne » théorie des représentations est celle des groupes finis de type de Lie. Des exemples importants en sont les groupes algébriques linéaires sur les corps finis. La théorie des représentations des groupes algébriques linéaires et des groupes de Lie étend ces exemples à des groupes de dimension infinie. Les représentations des groupes de Lie sont intimement reliées à celles des algèbres de Lie. L'importance de la théorie des caractères des groupes finis a un analogue dans la théorie des poids pour les représentations de groupes de Lie et d'algèbres de Lie.
Les représentations d'un groupe fini G sont aussi directement liées à celles de son algèbre K[G], qui est un K-espace vectoriel de base G, muni d'une multiplication qui prolonge bilinéairement celle du groupe.

### Représentations modulaires

Les représentations modulaires d'un groupe fini G sont ses représentations sur un corps dont la caractéristique divise |G|. Pour elles, on n'a pas d'analogue du théorème de Maschke (parce qu'on ne peut plus diviser par |G|, qui n'est pas inversible dans K). Cependant, Richard Brauer a étendu à ces représentations une grande partie de la théorie des caractères, ce qui a joué un rôle important au début des travaux de classification des groupes finis simples, en particulier ceux que les méthodes de pure théorie des groupes ne suffisaient pas à caractériser, parce que leurs 2-Sylow étaient « trop petits ».
Les représentations modulaires ont non seulement des applications en théorie des groupes, mais apparaissent naturellement dans d'autres branches des mathématiques, comme la géométrie algébrique, la théorie des codes, la combinatoire et la théorie des nombres.

### Représentations unitaires

Une représentation (V, φ) d'un groupe G est dite unitaire si V est un espace de Hilbert (réel ou, le plus souvent, complexe) et si, pour tout élément g de G, φ(g) est un opérateur unitaire. Ce type de représentations a été largement utilisé en mécanique quantique depuis les années 1920, en particulier grâce à l'influence de Hermann Weyl, qui a inspiré le développement de la théorie. Une étape remarquable fut l'analyse par Wigner (en) des représentations (en) du groupe de Poincaré. L'un des pionniers dans l'élaboration d'une théorie générale des représentations unitaires (pour tout groupe G, au lieu de se limiter à des groupes particuliers utiles dans des applications) fut George Mackey, et une théorie complète fut développée par Harish-Chandra et d'autres dans les années 1950 et 1960.
L'un des principaux objectifs est de décrire le dual unitaire de G, c'est-à-dire l'espace de ses représentations unitaires irréductibles. La théorie est bien développée surtout pour les représentations fortement continues d'un groupe localement compact. Pour un groupe abélien, le dual unitaire est simplement l'espace des caractères du groupe et pour un groupe compact, le théorème de Peter-Weyl montre que les représentations unitaires irréductibles sont de dimension finie et que le dual unitaire est discret. Par exemple pour le cercle S$^1$ vu comme groupe, le dual unitaire est ℤ.
Pour un groupe de Lie réductif G non compact, la question de déterminer, parmi ses représentations, lesquelles sont unitarisables est subtile, bien que (le module de Harish-Chandra (en) de) toute représentation unitaire irréductible soit admissible et qu'il soit facile de détecter si une représentation admissible possède une forme sesquilinéaire non dégénérée invariante ; la difficulté est en effet de déterminer quand cette forme est définie positive. L'important problème général de décrire effectivement le dual unitaire d'un tel G reste donc ouvert, bien que résolu pour beaucoup de groupes particuliers, comme pour le groupe spécial linéaire (en) SL(2, ℝ) ou pour le groupe de Lorentz (en) SO(3,1).

### Analyse harmonique

La dualité entre le groupe T = S$^1$ du cercle et celui, ℤ, des entiers, ou plus généralement entre le n-tore T$^n$ et ℤ$^n$, est classique en analyse : c'est la théorie des séries de Fourier ; de même, la transformation de Fourier exprime que l'espace des caractères de l'espace vectoriel ℝ$^n$ est son espace dual ℝ$^n$. Ainsi, la théorie des représentations unitaires et l'analyse harmonique sont intimement liées, et l'analyse harmonique abstraite exploite cette relation, en développant l'analyse des fonctions sur des groupes localement compacts et en étudiant les espaces associés.
Un problème essentiel est de trouver une forme générale pour la transformation de Fourier et le théorème de Plancherel. On le résout, pour certains groupes G, en construisant une mesure sur le dual unitaire et un isomorphisme entre la représentation régulière de G (sur l'espace L$^2$(G) des fonctions sur G de carré intégrable) et sa représentation sur l'espace L$^2$ du dual unitaire : la dualité de Pontryagin réalise ceci pour G localement compact abélien et le théorème de Peter-Weyl pour G compact$^,$.
Une autre approche fait intervenir toutes les représentations unitaires (au lieu de seulement celles qui sont irréductibles). Elles forment une catégorie à partir de laquelle, si G est compact, la dualité de Tannaka-Krein (en) fournit un moyen de reconstruire G.
Si G n'est ni abélien, ni compact, on ne connait pas de théorie générale avec un analogue du théorème de Plancherel ou de l'inversion de Fourier, mais Grothendieck a étendu la dualité de Tannaka-Krein en une relation entre groupes algébriques linéaires et catégories tannakiennes (en).
L'analyse harmonique a aussi été étendue de l'analyse des fonctions sur un groupe G à celle des fonctions sur un espace homogène pour G. La théorie est particulièrement développée dans le cas des espaces symétriques et fournit une théorie des formes automorphes.

### Groupes de Lie

Un groupe de Lie est à la fois un groupe et une variété différentielle. Beaucoup de groupes usuels de matrices à coefficients réels ou complexes sont des groupes de Lie. De nombreux groupes importants en physique et en chimie sont des groupes de Lie, et la théorie de leurs représentations est cruciale pour les applications de la théorie des groupes dans ces domaines.
On peut développer la théorie des représentations des groupes de Lie en commençant par considérer ceux qui sont compacts, auxquels les résultats généraux sur les groupes compacts s'appliquent. Cette théorie peut s'étendre aux représentations de dimension finie des groupes de Lie semi-simples grâce au procédé d'unitarisation (en) de Weyl : le complexifié d'un groupe de Lie réel semi-simple est un groupe de Lie complexe, dont les représentations de dimension finie correspondent de façon étroite à celles de « son » sous-groupe compact maximal.
Tout groupe de Lie est produit semi-direct d'un groupe de Lie résoluble et d'un groupe de Lie semi-simple (c'est la décomposition de Levi (en)). La classification des représentations des groupes de Lie résolubles est irréalisable en général, mais souvent facile dans les cas pratiques. On peut alors analyser les représentations des produits semi-directs au moyen de la théorie de Mackey, qui est une généralisation des méthodes utilisées dans la classification de Wigner des représentations du groupe de Poincaré.

### Algèbres de Lie

Une algèbre de Lie sur un corps K est un K-espace vectoriel muni d'une opération bilinéaire antisymétrique appelée son crochet de Lie, qui vérifie l'identité de Jacobi. Ces algèbres apparaissent en particulier comme espaces tangents au neutre à un groupe de Lie, ce qui conduit à interpréter leurs éléments comme des « symétries infinitésimales ». Une approche importante de la théorie des représentations des groupes de Lie est d'étudier celles des algèbres de Lie qui leur correspondent, mais la théorie des représentations des algèbres de Lie a aussi un intérêt intrinsèque.
Comme les groupes de Lie, les algèbres de Lie admettent une décomposition en parties semi-simple et résoluble, et la classification des représentations d'algèbres de Lie résolubles est irréalisable en général. À l'inverse, les représentations de dimension finie d'une algèbre de Lie semi-simple g sont entièrement connues, depuis les travaux d'Élie Cartan. Pour analyser une telle représentation, on choisit une sous-algèbre de Cartan h de g, c'est-à-dire essentiellement une sous-algèbre de Lie abélienne maximale générique. La représentation de g se décompose en espaces de poids, qui sont des sous-espaces propres pour l'action de h et un analogue infinitésimal des caractères. L'analyse de la structure de g via ses représentations se ramène alors à une simple étude combinatoire des poids qui peuvent intervenir.

#### Algèbres de Lie de dimension infinie

Parmi les nombreuses classes d'algèbres de Lie de dimension infinie dont les représentations ont été étudiées, une classe importante est celle des algèbres de Kac-Moody, découvertes indépendamment par Victor Kac et Robert Moody. Elles généralisent les algèbres de Lie semi-simples de dimension finie et partagent beaucoup de leurs propriétés combinatoires, ce qui permet d'appréhender leurs représentations de la même manière.
La sous-classe des algèbres de Lie affines a une importance spéciale en mathématiques et en physique théorique, en particulier en théorie conforme des champs et en théorie des systèmes complètement intégrables. Kac a découvert une preuve élégante de certaines identités combinatoires, les identités de Macdonald (en), en se basant sur la théorie des représentations des algèbres de Lie affines.

#### Superalgèbres de Lie

Les superalgèbres de Lie sont des généralisations des algèbres de Lie dans lesquelles l'espace vectoriel sous-jacent est muni d'une ℤ$_2$-graduation, qui modifie les signes dans les propriétés du crochet de Lie et dans l'identité de Jacobi. La théorie de leurs représentations est similaire.

### Groupes algébriques linéaires

Les groupes algébriques linéaires (ou, plus généralement, les schémas affines en groupes (en)) sont des analogues en géométrie algébrique des groupes de Lie, mais sur des corps plus généraux que ℝ ou ℂ. En particulier, sur des corps finis, ils donnent naissance aux groupes finis de type de Lie. Bien que la classification des groupes algébriques linéaires soit très similaire à celle des groupes de Lie, la théorie de leurs représentations est assez différente (et beaucoup moins bien comprise) et nécessite des techniques différentes, du fait que la topologie de Zariski est relativement grossière, ce qui rend inutilisables les outils de l'analyse classique.

### Théorie des invariants

La théorie des invariants étudie les actions d'un groupe sur des variétés algébriques du point de vue de l'effet de ces actions sur des fonctions. La théorie classique a d'abord porté sur la question de décrire explicitement les fonctions polynomiales invariantes par les transformations d'un groupe de matrices donné. L'approche moderne analyse la décomposition de ces représentations en irréductibles.
La théorie des invariants des groupes infinis est liée de façon indissociable au développement de l'algèbre linéaire, en particulier aux théories des formes quadratiques et des déterminants. Un autre sujet avec lequel elle a une forte influence mutuelle est la géométrie projective, que la théorie des invariants peut servir à organiser ; au cours des années 1960, David Mumford a insufflé un renouveau dans ce domaine, sous la forme de sa théorie géométrique des invariants.
La théorie des représentations des groupes de Lie semi-simples a ses racines dans la théorie des invariants et la forte corrélation entre théorie des représentations et géométrie algébrique a de nombreux parallèles en géométrie différentielle, à commencer par le programme d'Erlangen de Felix Klein et les connexions d'Élie Cartan, qui placent les groupes et la symétrie au cœur de la géométrie. Des développements modernes relient l'étude des représentations et des invariants à des théories aussi variées que celles de l'holonomie, des opérateurs différentiels et de l'analyse complexe à plusieurs variables.

### Formes automorphes et théorie des nombres

Les formes automorphes sont une généralisation des formes modulaires par des fonctions analytiques, éventuellement de plusieurs variables complexes, ayant des propriétés similaires de transformation. La généralisation met en jeu le remplacement du groupe projectif spécial linéaire PSL$_2$(ℝ) et d'un sous-groupe de congruences (en) donné, par un groupe de Lie semi-simple G et un sous-groupe discret Γ. De même que les formes modulaires peuvent être vues comme des formes différentielles sur un quotient du demi-espace supérieur H = PSL$_2$(ℝ)/SO(2), les formes automorphes peuvent être vues comme des formes différentielles (ou des objets similaires) sur Γ\G/K, où K est (typiquement) un sous-groupe compact maximal de G. Il faut cependant prendre en compte l'existence, en général, de singularités du quotient. Le quotient d'un groupe de Lie semi-simple par un groupe compact étant un espace symétrique, la théorie des formes automorphes est intimement liée à l'analyse harmonique sur les espaces symétriques.
Avant le développement de la théorie générale, beaucoup de cas particuliers importants ont été étudiés en détail, comme les formes modulaires de Hilbert et celles de (en) Siegel. Parmi les résultats importants de la théorie figurent la formule des traces de Selberg et l'application du théorème de Riemann-Roch, par Robert Langlands, au calcul de la dimension de l'espace des formes automorphes. La notion de « représentation automorphe » qui en a résulté s'est avérée très utile techniquement pour traiter le cas où G est un groupe algébrique, traité comme un groupe algébrique adélique. Une philosophie entière est née de là : le programme de Langlands s'est développé autour de la relation entre la représentation des formes automorphes et leurs propriétés liées à la théorie des nombres.

### Algèbres associatives

En un certain sens, les représentations d'algèbres associatives généralisent à la fois celles des groupes et celles des algèbres de Lie. Une représentation de groupe induit une représentation correspondante de son algèbre de groupe ou de son algèbre de groupe topologique (en), tandis que les représentations d'une algèbre de Lie sont en bijection avec celles de son algèbre enveloppante. Cependant, la théorie des représentations des algèbres associatives quelconques ne possède pas toutes les propriétés agréables de celles des représentations des groupes et des algèbres de Lie.

#### Théorie des modules

Lorsqu'on considère les représentations d'une algèbre associative, on peut oublier le corps de base et voir l'algèbre comme un simple anneau, et ses représentations comme des modules sur cet anneau. Cette approche est étonnamment fructueuse : beaucoup de résultats de la théorie des représentations peuvent s'interpréter comme des cas particuliers de résultats de la théorie des modules.

#### Algèbres de Hopf et groupes quantiques

Se restreindre des algèbres associatives aux algèbres de Hopf est une façon d'obtenir une meilleure théorie des représentations, tout en continuant d'inclure les groupes et les algèbres de Lie comme cas particuliers. Entre autres, le produit tensoriel de deux représentations est une représentation, de même que l'espace vectoriel dual.
Les algèbres de Hopf associées à des groupes sont commutatives, c'est pourquoi les algèbres de Hopf générales sont connues sous le nom de groupes quantiques, bien que ce terme désigne souvent des algèbres de Hopf particulières, obtenues par déformations de groupes ou de leurs algèbres enveloppantes. La théorie des représentations des groupes quantiques a apporté des éclairages surprenants dans celle des groupes et algèbres de Lie, par exemple via les cristaux de (en) Kashiwara.

## Généralisations
### Représentations ensemblistes

Une représentation « ensembliste », ou représentation « par permutations » d'un groupe G (par opposition aux représentations évoquées plus haut, dites « linéaires »), est une action de G sur un ensemble X, c'est-à-dire la donnée d'une application ρ de G dans l'ensemble X$^X$ de toutes les applications de X dans X, telle que pour tous g$_1$, g$_2$ dans G et x dans X :
$\rho (1)(x)=x\quad {\text{et}}\quad \rho (g_{1}g_{2})(x)=\rho (g_{1})(\rho (g_{2})(x)),$
où 1 désigne l'élément neutre du groupe G.
Ces conditions, jointes à la définition d'un groupe, entraînent que les ρ(g) (pour tout g dans G) sont des bijections, si bien qu'une définition équivalente d'une représentation de G par permutation est la donnée d'un morphisme de groupes de G dans le groupe symétrique S$_X$ de X.

### Représentations dans d'autres catégories

Tout groupe G peut être vu comme une catégorie, avec un seul objet, et dont les morphismes sont simplement les éléments de G. Une représentation de G dans une catégorie arbitraire C est un foncteur de G dans C, c'est-à-dire la donnée d'un objet particulier X de C et d'un morphisme de G dans le groupe des automorphismes de X.
Par exemple, sur un corps K fixé, une représentation linéaire de G est une représentation de G dans la catégorie des K-espaces vectoriels (en) ; une représentation ensembliste de G est une représentation de G dans la catégorie des ensembles, c'est-à-dire une action de G ; une représentation de G dans la catégorie des espaces topologiques est un morphisme de G dans le groupe des homéomorphismes d'un espace topologique, c'est-à-dire une action continue de G (vu comme groupe discret) ; une représentation de G dans la catégorie des groupes est une action de G sur un groupe par automorphismes.
Deux autres types de représentations sont fortement liées à celui des représentations linéaires :
* les représentations projectives, que l'on peut décrire comme les représentations « linéaires à transformations scalaires près » : dans la catégorie des espaces projectifs
* les représentations affines (en) : dans la catégorie des espaces affines.

### Représentations de catégories

Puisqu'on a étudié les représentations de groupes, et que ces derniers sont des cas particuliers de catégories, il est naturel de chercher à définir la notion de représentation pour d'autres types de catégories. La classe de catégories la plus simple qui généralise celle des groupes est celle des monoïdes, qui sont des catégories à un seul objet mais où les morphismes ne sont plus nécessairement des isomorphismes. De même que pour un groupe, on peut étudier les représentations d'un monoïde dans n'importe quelle catégorie. Dans celle des ensembles, il s'agit des actions de ce monoïde (en) sur un ensemble.
Si l'on ne suppose plus que la catégorie a un seul objet, on aboutit à la théorie des foncteurs, sur laquelle on peut dire peu de choses en toute généralité.
Un cas particulier a eu un impact significatif dans la théorie des représentations : celui des représentations de carquois. Un carquois est simplement un graphe orienté (où l'on autorise des boucles et des arêtes multiples), mais on peut lui associer une catégorie (et aussi une algèbre) en considérant ses chemins. La théorie des représentations de catégories ou d'algèbres de carquois a jeté un nouvel éclairage sur plusieurs aspects de la théorie des représentations, par exemple en permettant parfois de réduire des questions sur les représentations semi-simples d'un groupe à des questions analogues pour un carquois.