# Théorie des ensembles

La théorie des ensembles est une branche des mathématiques, créée par le mathématicien allemand Georg Cantor à la fin du XIXe siècle.
La théorie des ensembles se donne comme primitives les notions d'ensemble et d'appartenance, à partir desquelles elle reconstruit les objets usuels des mathématiques : fonctions, relations, entiers naturels, relatifs, rationnels, nombres réels, complexes… C'est pourquoi la théorie des ensembles est considérée comme une théorie fondamentale dont Hilbert a pu dire qu'elle était un « paradis » créé par Cantor pour les mathématiciens.
En plus de proposer un fondement aux mathématiques, Cantor introduisit avec la théorie des ensembles des concepts radicalement nouveaux, et notamment l'idée qu'il existe plusieurs types d'infini que l'on peut mesurer et comparer au moyen de nouveaux nombres (ordinaux et cardinaux).
À cause de sa modernité, la théorie des ensembles fut âprement controversée, notamment parce qu'elle postulait l'existence d'ensembles infinis, en contradiction avec certains principes des mathématiques constructives ou intuitionnistes.
Au début du XXe siècle, plusieurs facteurs ont poussé les mathématiciens à développer une axiomatique pour la théorie des ensembles : la découverte de paradoxes tels que le paradoxe de Russell, mais surtout le questionnement autour de l'hypothèse du continu qui nécessitait une définition précise de la notion d'ensemble. Cette approche formelle conduisit à plusieurs systèmes axiomatiques, le plus connu étant les axiomes de ZF, mais également la théorie des classes de von Neumann ou la théorie des types de Russell.

## Les origines de la théorie des ensembles
### Genèse

Cantor est le principal créateur de la théorie des ensembles qu'il a introduite au début des années 1880. C'est en travaillant sur des problèmes d'unicité des séries trigonométriques dans les années 1870 que Cantor a été amené à définir une notion de dérivation des ensembles de nombres réels : étant donné un ensemble $X$ de réels, son dérivé $X'$ est $X$ duquel on a supprimé tous les points isolés. Par exemple si on prend l'ensemble $X=\{1/n\mid n\in \mathbb {N} ^{*}\}\cup \{0\}$ alors chaque nombre $1/n$ est isolé dans $X$ si bien que $X'$ est simplement $\{0\}$. Ce dernier ensemble peut à son tour se dériver et son dérivé est l'ensemble vide.
Si maintenant on prend $Y=\{1/n+1/p^{2}\mid n<p\in \mathbb {N} ^{*}\}\cup \{1/n\mid n\in \mathbb {N} ^{*}\}\cup \{0\}$ alors chaque $1/n+1/p^{2}$ est isolé dans $Y$, mais les $1/n$ ne le sont plus, si bien que le dérivé $Y'$ est $X$. On voit donc que l'ensemble $Y$ peut se dériver trois fois.
En itérant ce procédé on peut ainsi construire un ensemble $X$ de réels qui se dérive une infinité de fois au sens suivant : si on note $X^{(n)}$ le $n$-ième dérivé de $X$ alors les $X^{(n)}$ forment une suite décroissante (pour l'inclusion) d'ensembles ; le dérivé infini de $X$ est l'intersection de tous les $X^{(n)}$ que l'on note $X^{(\infty )}$. Mais cela ne s'arrête pas là : Cantor a découvert l'existence d'ensembles de réels tels que $X^{(\infty )}$ contient des points isolés, donc est encore dérivable. Il y a ainsi des ensembles que l'on peut dériver une infinité + 1 fois, une infinité + 2 fois, ..., 2 infinités de fois, etc. Il semblait donc exister une arithmétique de l'infini et c'est en explicitant celle-ci que Cantor a développé la théorie des ensembles.
L'idée fondamentale a été de définir l'équipotence : deux ensembles A et B sont équipotents, ou ont même cardinalité (même nombre d'éléments quand ils sont finis), s'il existe un moyen d'associer à chaque élément de A un et un seul élément de B et inversement. On peut ainsi démontrer que l'ensemble $\mathbb {N}$ des entiers naturels a la même cardinalité que l'ensemble $\mathbb {Q}$ des nombres rationnels, bien que $\mathbb {N}$ soit un sous-ensemble propre de $\mathbb {Q}$. Ces deux ensembles sont dits infinis dénombrables. D'un autre côté, l'ensemble $\mathbb {R}$ des nombres réels n'a pas la même cardinalité que $\mathbb {N}$ ou $\mathbb {Q}$, mais une cardinalité supérieure que l'on appelle la puissance du continu. Cantor a donné deux preuves de ce que $\mathbb {R}$ n'est pas dénombrable, et la deuxième, qui utilise un argument connu sous le nom d'argument de la diagonale de Cantor, a été extraordinairement influente et a eu de nombreuses et diverses applications en logique et en mathématiques.
Cantor a approfondi la théorie et a construit des hiérarchies infinies d'ensembles infinis, les nombres ordinaux et les nombres cardinaux. Ces constructions furent controversées à son époque, l'opposition étant conduite par le finitiste Leopold Kronecker ; mais aujourd'hui elles sont acceptées par la majorité des mathématiciens.

### Développement

La notion de cardinalité d'un ensemble a conduit Cantor à poser une question qui devait devenir fondatrice : existe-il des ensembles de réels qui sont non dénombrables (ils ont strictement plus d'éléments que $\mathbb {N}$) mais n'ont pas non plus la puissance du continu (ils ont strictement moins d'éléments que $\mathbb {R}$) ? Cette question (dont la réponse négative éventuelle est connue sous le nom de l'hypothèse du continu) n'a pas obtenu de réponse du vivant de Cantor (il a fallu attendre Gödel en 1938 pour avoir une première demi-réponse) mais a suscité de nombreux travaux et notamment le développement de la théorie axiomatique des ensembles.
La théorie de Cantor est considérée comme « naïve » parce qu'elle n'emploie pas encore une axiomatique précise, et parce que pour lui il n'y avait qu'une seule théorie des ensembles, un seul univers ensembliste attendu, alors que les théoriciens des ensembles d'aujourd'hui jonglent avec des univers différents.
Après coup, on a pu simplifier, assez injustement pour Cantor, en résumant sa théorie à un usage tacite de l'axiome d'extensionnalité, et d'une version trop forte du schéma d'axiomes de compréhension, qui en substance permettrait d'associer à toute propriété l'ensemble des objets vérifiant cette propriété. Une telle théorie, que l'on n'attribuera pas à Cantor, est contradictoire. Elle mène à deux familles de paradoxes. Les uns, comme le paradoxe de Berry ou le paradoxe de Richard, se rattachent au fait que le langage n'est pas bien défini, les autres, comme le paradoxe de Russell ou le paradoxe du plus grand cardinal, à un usage trop large de la compréhension : quand on essaie de construire l'ensemble S = {A | A∉A} de tous les ensembles qui n'appartiennent pas à eux-mêmes on tombe sur une contradiction. L'actuel schéma d'axiomes de compréhension, proposé par Zermelo, est restreint afin d'éviter ce paradoxe.
Cantor connaissait, avant la découverte du paradoxe de Russell, des paradoxes plus complexes, mais de même nature, comme le paradoxe de Burali-Forti ou le paradoxe du plus grand cardinal. Beaucoup de théoriciens des ensembles s'entendent pour dire que l'axiomatisation la plus adéquate à la théorie développée par Cantor est la théorie ZFC avec axiome de fondation (voir ci-dessous), ou la théorie des classes de von Neumann, Gödel et Bernays, qui lui est, en un certain sens (qui peut être rendu précis), équivalente.
Au tournant du siècle, Cantor est de plus en plus handicapé par sa maladie nerveuse, mais ses solutions aux paradoxes circulent par sa correspondance et sont connues, à la fin du XIXe siècle, de Richard Dedekind et, à Göttingen, de David Hilbert et de Ernst Zermelo. Cependant, pour beaucoup de mathématiciens de l'époque, les paradoxes jettent un doute sur la validité de la théorie des ensembles, les solutions proposées par Cantor sont trop informelles pour convaincre ceux qui les connaissent. Certains s'orientent vers la méthode axiomatique, illustrée à la même époque par Hilbert pour les fondements de la géométrie (1899).
Ainsi, en 1908, Ernst Zermelo construit un système d'axiomes pour la théorie des ensembles. En dehors de l'axiome d'extensionnalité, on peut voir ces axiomes comme une restriction de la version contradictoire du schéma d'axiomes de compréhension aux cas particuliers utiles, qui ne permettent pas de dériver les paradoxes. Dans ce système, il inclut également l'axiome du choix (qui n'a rien à voir avec la compréhension), un axiome à l'époque très controversé, avec lequel il a montré (en 1904) le théorème du bon ordre, et qui a également été utilisé implicitement par Cantor. Le système de Zermelo a été complété dans les années 1920 par Abraham Adolf Fraenkel et Thoralf Skolem, qui ajouteront le schéma d'axiomes de remplacement (autre cas particulier de la compréhension non restreinte), donnant la théorie connue aujourd'hui sous le nom de ZF (sans axiome du choix) ou ZFC (avec axiome du choix). D'autres auteurs ont depuis travaillé sur le problème de l'axiomatisation de la théorie des ensembles, notamment John von Neumann qui a défini une alternative très intéressante à ZF : la théorie des classes.

## Le problème de l'axiome du choix

L'axiome du choix est apparu explicitement dans une publication de Ernst Zermelo de 1904, c'est-à-dire avant la parution de son axiomatisation de la théorie des ensembles. L'axiome du choix est en effet d'une nature différente des autres axiomes de la théorie des ensembles énoncés ultérieurement, et qui résultent pour la plupart d'une analyse soignée de la compréhension non restreinte. En effet l'axiome du choix ne donne pas de définition explicite de l'ensemble construit (ensemble de choix ou fonction de choix suivant les versions). D'autre part, dans son article de 1904, Zermelo démontre avec l'axiome du choix son fameux théorème qui énonce que tout ensemble peut être bien ordonné, proposition qui n'a rien d'intuitivement évident, ne serait-ce que pour l'ensemble des réels. L'axiome du choix était utilisé tacitement au moins par Georg Cantor, mais la publication de Zermelo déclenche des débats passionnés chez les mathématiciens de l'époque.
L'axiome du choix est par ailleurs très lié à l'infini mathématique, en effet l'axiome du choix est intuitivement vrai pour un nombre fini de choix, et d'ailleurs tout à fait démontrable dans ce cas à partir des autres axiomes de la théorie des ensembles. Or nous sommes autour de 1904 en plein dans la controverse déclenchée par la découverte des paradoxes. Diverses conceptions de l'infini mathématique s'affrontent alors. Cela ira jusqu'à la remise en cause radicale des fondements des mathématiques par Luitzen Egbertus Jan Brouwer, fondateur de l'intuitionnisme, qui écarte le principe du tiers exclu, qui se situe bien en amont de l'axiome du choix. Cependant à l'époque, certains mathématiciens qui ne vont pas aussi loin et acceptent certaines formes de raisonnement non constructif, se méfient de l'axiome du choix. Émile Borel écrit encore en 1950 : « C'est déjà un résultat important obtenu par les adversaires de l'axiome de Zermelo que tous ceux qui admettent cet axiome prennent le soin, lorsqu'ils obtiennent un théorème nouveau, de spécifier si la démonstration de ce théorème exige ou non l'utilisation de l'axiome de Zermelo. Cet axiome a ainsi créé une branche séparée des mathématiques ; l'importance et l'intérêt de cette branche décideront de son sort. » On peut quand même dire qu'aujourd'hui, vu justement son utilisation dans des branches importantes des mathématiques, l'axiome du choix est largement accepté.
Ceci d'autant plus que l'on sait d'après les travaux de Gödel que d'admettre l'axiome du choix n'est pas plus « risqué », au sens où il montre que si la théorie ZFC était incohérente la théorie ZF le serait aussi (voir ci-dessous la section sur les résultats d'indépendance en théorie des ensembles).
On a identifié par ailleurs des restrictions de l'axiome du choix, comme l'axiome du choix dénombrable (qui permet par exemple de montrer qu'une réunion dénombrable d'ensembles dénombrables est dénombrable), lui-même conséquence de l'axiome du choix dépendant (qui permet par exemple de montrer l'existence d'une suite infinie décroissante pour une relation non bien fondée). Ainsi Robert Solovay a publié en 1970 la cohérence de la théorie ZF + axiome du choix dépendant + tout sous-ensemble des réels est Lebesgue-mesurable, théorie contredisant donc l'axiome du choix dans toute sa généralité, relativement à la théorie ZF + il existe un cardinal inaccessible (un renforcement de la théorie ZF qui permet de montrer la cohérence de ZF). Cependant, l'axiome du choix dénombrable est insuffisant en géométrie algébrique, car le traitement des corps algébriquement clos requiert le lemme de Zorn équivalent à l'axiome du choix ; donc le théorème selon lequel tout corps peut être plongé dans un corps algébriquement clos est fondé sur l'axiome du choix général.
Un des meilleurs exemples des étrangetés auquel conduit l'axiome du choix est certainement le paradoxe de Banach-Tarski, publié en 1924 qui, en utilisant l'axiome du choix, affirme qu'on peut découper une sphère en un nombre fini de morceaux, les déplacer par une suite de mouvement rigides (translation et rotation), en permettant à certaines pièces d'en traverser d'autres et de les rassembler en formant deux copies de la sphère d'origine. Ceci semble contredire l'intuition physique que nous avons de la notion de volume, mais le paradoxe de Banach-Tarski fait intervenir des parties non mesurables.

## Les axiomes de Zermelo-Fraenkel

Les systèmes axiomatiques pour la théorie des ensembles, ZF, Théorie des classes, Théorie des types sont équivalents au moins au sens où ils permettent tous de représenter l'essentiel des mathématiques. Parmi eux ZF est le plus courant et c'est pourquoi on en fait une description informelle ici.
La théorie qui se fonde sur les axiomes originaux de Zermelo est appelée théorie de Zermelo ou théorie Z. Si on la complète par l'axiome de remplacement de Fraenkel, on obtient la théorie de Zermelo-Fraenkel, ou plus simplement la théorie ZF, bien que la forme finale des axiomes soit due à Skolem. Lorsqu'on lui adjoint l'axiome du choix on obtient alors la théorie ZFC (« C » pour « choix »).
Un aspect important de la théorie ZF est que tous les objets dont elle traite sont des ensembles et ne peuvent être que des ensembles. En particulier, chaque élément d'un ensemble est lui-même un ensemble. D'autres objets mathématiques familiers, tels que les nombres, doivent donc être définis en termes d'ensembles.
Strictement parlant, les axiomes de ZF sont simplement des énoncés du calcul des prédicats du premier ordre égalitaire dans un langage ayant un seul symbole primitif pour l'appartenance qui est une relation binaire, « x appartient à A » se dit aussi « x est élément de à A ». Les éléments d'un ensemble A sont les objets, ici les ensembles, qui appartiennent à A. Ce qui suit est seulement une tentative d'exprimer ces axiomes en français. De plus, l'axiome de compréhension (ou séparation) et l'axiome de remplacement sont en fait des schémas infinis d'axiomes.
* Axiome d'extensionnalité :
    Si deux ensembles ont les mêmes éléments, alors ils sont égaux.
    Cet axiome permet en particulier de montrer qu'un ensemble qui est défini par ses éléments est défini de façon unique, c'est le cas de plusieurs des axiomes suivant : ensemble vide, paire, réunion et ensemble des parties (l'axiome énoncé n'assure que l'existence). Une partie ou un sous-ensemble d'un ensemble A est un ensemble dont tous les éléments sont éléments de A. L'axiome d'extensionnalité revient à dire que, étant donné deux ensembles A et B si A est une partie de B et B est une partie de A alors A et B sont égaux.
* Schéma d'axiomes de compréhension ou de séparation :
    Pour tout ensemble A et toute propriété P exprimée dans le langage, il existe un ensemble dont les éléments sont les éléments de A vérifiant P.
    Le schéma de compréhension est conséquence du schéma de remplacement.
* Axiome de l'ensemble vide :
    Il existe un ensemble sans élément.
    On le note $\varnothing$ (ou plus rarement $\{\}$).
    Cet axiome ne fait pas à proprement parler partie de l'axiomatisation de ZF, du moins dans sa version actuelle, formalisée en calcul des prédicats du premier ordre. On peut le déduire d'une propriété générique du calcul des prédicats, qui est qu'un modèle d'une théorie est non vide. Dans le cas de la théorie des ensembles, cela revient à dire qu'il existe au moins un ensemble, ce qui se démontre en logique pure, sans axiome spécifique. L'existence de l'ensemble vide s'en déduit par le schéma d'axiomes de compréhension . On trouve cependant cet axiome dans des variantes de la théorie des ensembles, ou dans des présentations plus anciennes ou semi-formelles de la théorie ZF comme celle de Paul Halmos.
* Axiome de la paire :
    Si $x$ et $y$ sont deux ensembles, alors il existe un ensemble dont les éléments sont $x$ et $y$ et eux seuls.
    Cet ensemble se note $\{x,y\}$.
    Les ensembles $x$ et $y$ ne sont pas nécessairement distincts. Autrement dit, si $x$ est un ensemble, cet axiome assure l'existence d'un singleton $\{x\}$.
    Cet axiome est conséquence du schéma de remplacement et de l'axiome de l'ensemble des parties, aussi on peut l'omettre dans la théorie ZF mais il est indispensable dans la théorie Z.
* Axiome de la réunion :
    Pour tout ensemble $X$ d'ensembles, il existe un ensemble $R$ dont les éléments sont précisément les éléments des éléments de $X$, et eux seuls.
    Dans le contexte de cette théorie où tous les objets sont des ensembles, tous les ensembles sont des ensembles d'ensembles. Cet axiome permet les réunions, finies ou infinies.
* Axiome de l'ensemble des parties :
    Pour tout ensemble $E$, il existe un ensemble dont les éléments sont précisément toutes les parties de $E$.
    Cet ensemble se note habituellement ${\mathcal {P}}(E)$.
    Cet axiome a de fortes conséquences en présence de l'axiome de l'infini.
* Axiome de l'infini :
    Il existe un ensemble $W$ dont $\varnothing$ est élément et tel que pour tout $x$ appartenant à $W$, $x\cup \{x\}$ appartient aussi à $W$.
    On peut ensuite définir par compréhension l'intersection de tous les ensembles contenant $\varnothing$ et clos par cette opération : il s'agit de l'ensemble des nombres entiers tels que définis par von Neumann, qui est bien infini. Sa définition fournit une version ensembliste du raisonnement par récurrence.
* Schéma d'axiomes de remplacement :
    Pour tout ensemble $A$ et toute relation fonctionnelle $P$, formellement définie comme une proposition $P(x,y)$ telle que $P(x,y)$ et $P(x,z)$ impliquent que $y=z$, il existe un ensemble contenant précisément les images par $P$ des éléments de l'ensemble d'origine $A$.
    La généralité de l'énoncé vient de ce que la relation fonctionnelle $P$ peut ne pas correspondre à une fonction au sens usuel, c'est-à-dire qu'elle peut être définie sur une partie (au sens intuitif) de l'univers qui ne correspond pas à un ensemble, et c'est même dans ce cas que l'axiome est vraiment utile.
* Axiome de fondation :
    Tout ensemble $X$ non vide contient un élément $y$ tel que $X$ et $y$ sont des ensembles disjoints (qui n'ont aucun élément en commun), ce qui se note $X\cap y=\varnothing$.
    Cet axiome n'est pas toujours ajouté à Z ou ZF. On peut construire assez facilement comme sous-classe d'un modèle quelconque de ZF, un modèle de ZF vérifiant l'axiome de fondation. Les ensembles utiles au développement des mathématiques usuelles appartiennent à cette sous-classe, et donc cela a peu d'importance d'ajouter celui-ci ou non à la théorie pour ces développements. L'axiome de fondation n'est par exemple pas mentionné dans le livre de Halmos, dont le but est de présenter les aspects de la théorie des ensembles utiles pour le mathématicien non spécialiste de ce domaine. L'axiome de fondation est par contre très utile dans le domaine spécialisé de la théorie des ensembles, il permet de hiérarchiser l'univers ensembliste, de définir un rang ordinal (voir l'article axiome de fondation)… Des théories des ensembles, extensions de ZF sans fondation, ont par ailleurs été développées, qui introduisent un axiome d'anti-fondation (il en existe plusieurs variantes) qui contredit directement l'axiome de fondation. L'anti-fondation est une idée assez ancienne (Dimitri Mirimanoff 1917, Paul Finsler 1926), mais ces théories ont connu un regain d'intérêt pour leur lien avec l'informatique théorique.
* Axiome du choix :
    (version de Zermelo) Étant donné un ensemble $X$ d'ensembles non vides mutuellement disjoints, il existe un ensemble $y$ (l'ensemble de choix pour $X$) contenant exactement un élément pour chaque membre de $X$.
    L'axiome du choix reste controversé pour une minorité de mathématiciens. Des formes faibles existent, comme l'axiome du choix dépendant, très utile pour le développement de l'analyse réelle.

## Les résultats d'indépendance en théorie des ensembles
### Modèles intérieurs

Les premiers résultats d'indépendance notables en théorie des ensembles sont ceux de Kurt Gödel qui démontre que l'axiome du choix est compatible avec la théorie ZF, autrement dit si la théorie ZF est cohérente, alors la théorie ZFC est aussi cohérente. Il montre également le même résultat pour l'hypothèse du continu vis-à-vis de ZF ou ZFC. Gödel utilise la méthode appelée depuis la méthode des modèles intérieurs, elle revient à construire, par exemple dans un modèle de ZF ne satisfaisant pas nécessairement l'axiome du choix, une sous-classe de celui-ci qui possède une nouvelle relation d'appartenance satisfaisant l'axiome du choix. Une contradiction de la théorie ZFC entraîne donc une contradiction de la théorie ZF.

### Forcing

Paul Cohen, en 1963, démontre que la négation de l'hypothèse du continu (HC) est compatible avec la théorie ZFC : si la théorie ZFC est cohérente, alors la théorie ZFC + (non HC) est aussi cohérente. La méthode qu'il introduit, le forcing, devait avoir un énorme succès en théorie des ensembles. Reformulée, étendue, itérée (en), elle a permis de montrer de nombreux résultats d'indépendance.

### Second théorème d'incomplétude

Les résultats d'indépendance précédents reposent sur des résultats d’équicohérence (ou équiconsistance), par exemple la cohérence de la théorie ZF entraîne la cohérence de ZF+AC (la réciproque est évidente). Mais pour d'autres axiomes, comme les axiomes de grands cardinaux, ce n'est pas le cas : dans la théorie ZFC + « il existe un cardinal inaccessible » on peut montrer l'existence d'un modèle de ZFC, c'est-à-dire la cohérence de cette théorie. Le second théorème d'incomplétude de Gödel permet d'en déduire que l'existence d'un cardinal inaccessible n'est pas démontrable dans ZFC (en supposant bien sûr que cette dernière théorie est cohérente). Le second théorème d'incomplétude permet donc également de démontrer des résultats d'indépendance. Il est utilisé plus largement pour comparer des théories, une théorie étant « plus forte » qu'une autre si elle permet de démontrer sa cohérence.