Séparation des convexes

Étant donnés deux convexes d'un même plan ne se rencontrant pas, il est toujours possible de subdiviser le plan en deux demi-plans de sorte que chacun contienne entièrement l'un des convexes. Il en est de même en dimension 3, la séparation des convexes étant alors réalisée par un plan. Plus généralement, on peut en faire autant en dimension finie quelconque à l'aide d'un hyperplan. Sous une hypothèse convenable de compacité, on peut même garantir une « séparation stricte », assurant que chacun des deux convexes reste à distance de l'hyperplan qui les sépare ; dans de bonnes conditions la séparation peut également être assurée dans certains espaces vectoriels topologiques de dimension infinie.

Un cas particulier remarquable est celui où l'un des convexes ne contient qu'un point, choisi sur la frontière de l'autre. Dans ce cas, les hyperplans séparants sont appelés hyperplans d'appui du convexe.

Position du problème 
On se place dans un espace affine E (de dimension finie), ou dans un espace vectoriel normé sur .

Étant donné un hyperplan affine H de E, il existe une forme linéaire (unique à un facteur multiplicatif près) qui puisse servir d'équation à , c'est-à-dire pour laquelle il existe un  réel tel que . De plus, si  est fermé,  est continue. On pourra dès lors définir les deux « demi-espaces » limités par  comme les ensembles  et .

Étant données deux parties  et  de , on dit alors que  sépare  et  lorsque, dans la subdivision de  par  en deux demi-espaces  et , l'un des ensembles  et  est inclus dans  et l'autre dans . Dans cette définition (séparation au sens « large »), on n'interdit pas à  et à  de contenir des points de , voire de se rencontrer l'un l'autre à condition que ce soit sur .

Sous certaines hypothèses, on peut obtenir des résultats de séparation plus précis et conclure que  et  sont de part et d'autre de , dans les demi-plans stricts qu'il limite. De fait, on peut parfois faire encore un peu mieux, d'où la définition technique suivante : on dit que  d'équation  sépare strictement  et  lorsqu'il existe un  tel que l'un des ensembles  et  soit inclus dans le demi-espace  et l'autre dans le demi-espace .

Théorèmes de séparation au sens large 
Deux jeux d'hypothèses permettent d'assurer la séparation au sens large. Le premier des théorèmes qui suit est parfois appelé « première forme géométrique du théorème de Hahn-Banach ».

En revanche, en dimension infinie, on ne peut pas toujours construire un hyperplan fermé de séparation large : il existe un exemple de deux convexes fermés non vides et disjoints mais qui ne peuvent être séparés par un hyperplan fermé.

On pourra remarquer que, dans le premier théorème, le convexe ouvert est nécessairement inclus dans un demi-espace strict. En particulier lorsque A et B sont tous les deux ouverts, on a réalisé une séparation où chacun des convexes est inclus dans un des demi-espaces stricts : c'est mieux qu'une séparation large, mais moins bien qu'une séparation stricte au sens qui a été choisi dans cet article.

Principe de la démonstration 
Le premier théorème ci-dessus découle assez rapidement de la version de la « forme géométrique du théorème de Hahn-Banach » donnée dans l'article Théorème de Hahn-Banach. L'idée supplémentaire nécessaire pour conclure est de considérer l'ensemble  c'est-à-dire l'ensemble des , où  varie dans  et  dans . On vérifie sans mal que c'est un convexe ouvert . On peut alors appliquer le théorème mentionné à l'article Théorème de Hahn-Banach à ce convexe  et à , qui fournit un hyperplan  ; il est alors facile de constater que parmi les hyperplans parallèles à   l'un répond à la question.

Théorème de séparation stricte 
Ce résultat est la « deuxième forme géométrique du théorème de Hahn-Banach » :

Une application particulièrement importante en est la représentation des convexes fermés comme intersection de demi-espaces fermés. Lorsqu'on intersecte des demi-espaces fermés, le résultat de l'opération est de façon évidente un convexe fermé (puisque tant la convexité que la fermeture sont conservées par intersection, même infinie). Il se trouve que la réciproque est vraie :

Principes des démonstrations 
Pour le théorème, on remarque dans un premier temps que la distance  qui sépare  et  est strictement positive (c'est toujours le cas pour la distance entre un fermé et un compact dans un espace métrique). On pose  et l'on considère  (resp. ), ensembles des points à distance  de  (resp. ), qui sont encore convexes mais sont eux des ouverts, tout en restant disjoints. On applique à ces ouverts le théorème de séparation au sens large, et l'on vérifie enfin sans mal que l'hyperplan obtenu sépare de fait strictement  de .

Pour le corollaire, on prend  un point quelconque du complémentaire du convexe fermé . En appliquant le théorème à  et , on obtient un demi-espace fermé contenant  mais auquel  n'appartient pas, ce qui prouve que  n'est pas dans l'intersection des demi-espaces fermés contenant . L'inclusion non évidente est ainsi prouvée.

En dimension finie, on peut aussi démontrer cette forme du théorème de séparation en se reposant sur le théorème de projection sur un convexe fermé. En effet si  est fermé et  est un singleton (contenant un point  extérieur à ), on peut trouver un hyperplan les séparant en projetant  sur  en un point  puis en utilisant l'hyperplan perpendiculaire à  passant par le milieu de ce segment. Dans le cas général, on se ramène à cette situation particulière en séparant le fermé  de , comme dans la preuve du théorème de séparation large.

Hyperplans d'appui 

Un cas particulièrement important est celui où B est un singleton contenant un seul point , choisi sur la frontière de .

Commençons par une définition : pour  partie d'un espace vectoriel sur  et  élément de , on dit qu'un hyperplan affine  est un hyperplan d'appui de  en  lorsque  appartient à  et  est inclus dans un des demi-espaces limités par .

On peut alors énoncer :

Pour le prouver, on se débarrasse d'abord du cas dégénéré où la dimension de  serait plus petite que celle de l'espace ambiant : si c'est ainsi, n'importe quel hyperplan affine contenant l'enveloppe affine de  convient. Une fois ce cas éliminé, l'intérieur  n'est pas vide et l'on peut appliquer le théorème de séparation à l'ouvert  et au singleton , qu'on sépare par un hyperplan . Comme  est l'adhérence de son intérieur (voir l'article Adhérence, intérieur et frontière d'un convexe), il est lui aussi inclus dans un des demi-espaces délimités par , et cet hyperplan répond donc au cahier des charges.

Les hyperplans d'appui sont des outils fondamentaux pour classifier les points au bord d'un polyèdre convexe en sommets, points des arêtes, points des faces, etc. et plus généralement pour distinguer et étudier des points et parties remarquables de la frontière d'un convexe.

Théorème de séparation de Stone 
Le résultat fondamental suivant, dû à Marshall Stone, est purement algébrique : l'espace ambiant est de dimension quelconque et n'est muni d'aucune topologie.

Il suffit, pour le démontrer, d'appliquer le lemme de Zorn à l'ensemble inductif des convexes contenant  et disjoints de  (ordonné par inclusion), ou encore, à celui des couples  de convexes disjoints tels que  et .

Références 

Analyse convexe
Géométrie convexe
Espace vectoriel topologique