Sous-différentiel

En mathématiques, et plus précisément en analyse convexe, le sous-différentiel est un concept permettant de décrire la variation locale d'une fonction convexe (à valeurs réelles donc) non nécessairement différentiable dans un sens classique, celui auquel on attache aujourd'hui le nom de Fréchet. Au lieu d'être la pente de l'application linéaire tangente (c'est-à-dire, la dérivée) au point considéré, qui n'existe pas nécessairement, le sous-différentiel d'une fonction convexe est l'ensemble des pentes de toutes les minorantes affines de la fonction, qui sont exactes en ce point, c'est-à-dire qui ont en ce point la même valeur que la fonction convexe qu'elles minorent. Dans cette description, le mot pente peut être entendu comme un élément de l'espace dual. La convexité de la fonction assure qu'on peut lui trouver des minorantes affines exactes en presque tout point de son domaine ; on met donc à profit cette propriété pour définir le sous-différentiel. Si l'on peut trouver une minorante affine exacte en un point donné, on dit que la fonction convexe est sous-différentiable en ce point.

On sait que la notion de dérivée est fondamentale en analyse car elle permet d'approcher localement des fonctions par des modèles linéaires, plus simples à étudier. Ces modèles fournissent des renseignements sur les fonctions qu'ils approchent, si bien que de nombreuses questions d'analyse passent par l'étude des fonctions linéarisées (stabilité, inversibilité locale, etc). On rencontre beaucoup de fonctions convexes qui ne sont pas différentiables au sens classique, en particulier lorsque celles-ci résultent de constructions qui n'ont rien pour assurer la différentiabilité des fonctions qu'elles produisent. Il en est ainsi de la fonction duale associée à un problème d'optimisation sous contraintes, pour en citer un exemple emblématique. Pour ces fonctions convexes non lisses, le sous-différentiel joue donc un rôle similaire à celui de la dérivée des fonctions plus régulières.

La notion de sous-différentiel connaît diverses extensions aux fonctions non nécessairement convexes, par exemple aux fonctions localement lipschitziennes.

Connaissances supposées : l'algèbre linéaire, le calcul différentiel (notamment les propriétés de la dérivée directionnelle au sens de Dini pour les fonctions convexes prenant des valeurs infinies), les bases de l'analyse convexe (notamment les principales notions attachées aux ensembles et aux fonctions convexes, mais surtout la notion de fonction conjuguée).

Fonction d'une seule variable

Définition 

De manière rigoureuse, une sous-dérivée d'une fonction convexe  en un point  de l'intervalle ouvert  est un nombre réel  tel que

pour tout  dans . On peut montrer que si  est dans l'intérieur de , l'ensemble des sous-dérivées en  est un intervalle fermé non vide, donc de la forme , avec des bornes  et  données par

qui sont finies et qui vérifient .

L'ensemble  de toutes les sous-dérivées est appelé le sous-différentiel de la fonction  en .

Exemples 

Considérons la fonction f(x)=|x| qui est convexe. Alors, le sous-différentiel à l'origine est l'intervalle [−1, 1]. Le sous-différentiel en n'importe quel point x0<0 est le singleton {−1} et le sous-différentiel en n'importe quel point x0>0 est le singleton {1}.

Propriétés 

 Une fonction convexe f:I→R est différentiable en x0 si et seulement si le sous-différentiel ne contient qu'un seul point, qui est alors la dérivée de f en x0.

 Un point x0 est un minimum local de f si et seulement si zéro est contenu dans le sous-différentiel, c'est-à-dire, dans la figure ci-dessus, on peut tracer une droite horizontale "sous-tangente" au graphe de f en (x0, f(x0)). La dernière propriété est une généralisation du fait que la dérivée d'une fonction dérivable en un minimum local est nulle.

Fonction définie sur un espace euclidien 

On suppose dans cette section que  est un espace euclidien (de dimension finie donc) dont le produit scalaire est noté  et la norme associée . On note par ailleurs
  la droite réelle achevée,
  le domaine d'une fonction , qui peut donc prendre la valeur  sur son domaine,
  l'ensemble des fonctions  qui sont convexes (c'est-à-dire, leur épigraphe est convexe) et propres (c'est-à-dire, elles ne prennent pas la valeur  et ne sont pas identiquement égales à ),
  la partie de  formée des fonctions qui sont aussi fermées (c'est-à-dire, leur épigraphe est fermé),
  l'intérieur et  l'intérieur relatif d'un convexe .

Définition 

La notion de sous-différentiel peut être généralisée à une fonction convexe de plusieurs variables réelles, pouvant également prendre la valeur . Cette dernière extension trouve son utilité, par exemple en optimisation, lorsque la fonction résulte d'une construction qui n'assure pas a priori la finitude des valeurs qu'elle prend. Comme pour la notion de gradient, on a besoin que l'espace sur lequel est définie la fonction soit muni d'un produit scalaire si l'on veut construire des objets dans cet espace et non dans son dual. Les concepts seront mieux révélés en travaillant sur un espace euclidien abstrait, qui pourra, si on le souhaite, être vu comme  muni du produit scalaire euclidien.

La lettre  renvoie à slope (pente) ou sous-gradient (si l'on préfère). La propriété 1 exprime le fait que la fonction  est une minorante linéaire de la fonction dérivée directionnelle  (que l'on sait toujours exister lorsque  est convexe), exacte en . La propriété 2 exprime le fait que la fonction  est une minorante affine de  exacte en . Les propriétés 4 et 5 expriment la même chose que la propriété 2 en utilisant la fonction conjuguée  de .

Propriétés

Optimalité 

La propriété 2 de la définition du sous-différentiel permet d'obtenir immédiatement une expression simple de l'optimalité d'un point.

Cette condition nécessaire et suffisante d'optimalité du premier ordre (ainsi qualifiée parce qu'elle ne fait intervenir que les « dérivées » premières de la fonction) est typique des problèmes d'optimisation convexes (voir la section Conditions du premier ordre sans contrainte de l'article Conditions d'optimalité).

Trouver les minimiseurs d'une fonction convexe propre revient donc à trouver les « zéros » de son sous-différentiel. Ce résultat est à rapprocher de celui selon lequel les minimiseurs d'une fonction convexe différentiable sont les points qui annulent son gradient. Ce résultat est plus riche qu'il ne paraît à première vue. En effet, du fait que la fonction peut prendre la valeur , il traite également de la minimisation d'une fonction convexe sous contraintes convexes (l'ensemble admissible étant le domaine de la fonction).

Lorsque  est polyédrique, on a les caractérisations supplémentaires suivantes, liées au concept de minimum saillant.

La polyédricité de la fonction joue un rôle majeur dans les caractérisations précédentes. Ainsi chacune des implications de la première équivalence peut être fausse pour une fonction non polyédrique : l'implication "" est fausse pour la fonction  en  et l'implication "" est fausse pour la fonction  en . Pour la seconde équivalence, l'implication "" est fausse pour la fonction  en , mais l'implication "" reste vraie même si  n'est pas polyédrique.

Règle de bascule 

Les sous-différentiels de  et de sa conjuguée  jouissent d'une belle règle de réciprocité, parfois appelée règle de bascule.

La réciproque n'a pas lieu au point 1, pour la fonction  ci-dessous

puisque l'on a , alors que .

Sous-différentiabilité 

Rappelons que l'on dit que  est sous-différentiable en  si . Affirmer qu'un ensemble est non vide est une propriété forte qui, dans certains cas, revient à montrer qu'un certain problème a une solution.

La propriété 1 définissant un sous-gradient , à savoir

montre clairement que  ne peut être sous-différentiable en  si la dérivée directionnelle  prend en une direction la valeur  puisque le membre de droite de l'inégalité ci-dessus est toujours fini. La réciproque de cette observation est le sujet de la proposition qui suit. Une telle situation se présente pour la fonction convexe définie par

Cette fonction n'est pas sous-différentiable en zéro, parce que . Évidemment, si , alors , mais ce n'est pas la valeur  de la dérivée directionnelle qui empêche  d'être sous-différentiable en . C'est ce que montre la fonction indicatrice de l'intervalle , dont le sous-différentiel en zéro est l'intevalle .

Propriétés géométriques et topologiques 

On note ci-dessous  l'enveloppe affine d'une partie .

Si  ne prend que des valeurs réelles, alors  et son sous-différentiel est un ensemble non vide, convexe et compact (par les points 2 et 4).

Formule du max 

Le sous-différentiel peut être défini en utilisant la dérivée directionnelle (propriété 1 de la définition). La proposition suivante montre que l'on peut retrouver les dérivées directionnelles à partir du sous-différentiel :  est la fonction d'appui de .

Le résultat précédent ne tient plus si  est sur la frontière relative du domaine de . Voici un contre-exemple :  est l'indicatrice de la boule-unité fermée de , pour la norme euclidienne, et . Alors  et si  :

Dès lors, la fonction  n'est pas fermée et ne peut donc être la fonction d'appui d'un ensemble, en particulier elle n'est pas la fonction d'appui du sous-différentiel. D'ailleurs, ce dernier s'écrit  et

est l'enveloppe convexe fermée de . Cette propriété est tout à fait générale pour les fonctions de .

La multifonction sous-différentiel 

On peut voir  comme une multifonction ou fonction multivoque, qui à un élément de  fait correspondre une partie de , c'est-à-dire un élément de l'ensemble  des parties de . On note

cette correspondance.

Rappelons quelques notions d'analyse multifonctionnelle. Soit  une multifonction. On définit le domaine, l'image et le graphe de  respectivement par

On notera bien que l'on a choisi de définir le graphe comme une partie de  et pas de . La multifonction réciproque  de la multifonction  est définie en  par

Lorsque  est un espace euclidien dont le produit scalaire est noté  et que , on dit que  est monotone si

On dit que  est monotone maximale si  est monotone et si son graphe n'est pas strictement contenu dans le graphe d'un opérateur monotone. On vérifie facilement que cette dernière propriété s'écrit aussi

Dans le résultat ci-dessous, on note  la conjuguée de .

On rappelle que  est fortement convexe, de module , si pour tout  et  et pour tout , on a

Rappelons aussi qu'une multifonction  est dit fortement monotone, de module , si

La forte convexité de  peut s'exprimer par la forte monotonie de .

Lien avec la différentiabilité 

Rappelons les trois notions de différentiabilité d'une fonction  dont il est question dans cette section. On suppose que  est finie au point  où sont prises ces dérivées.
 On dit que  a une dérivée partielle en  suivant un vecteur  si la fonction  est différentiable en .
 On dit que  est Gâteaux-différentiable en  si la dérivée directionnelle  existe pour tout  et si  est linéaire.
 On dit que  est Fréchet-différentiable en  s'il existe un vecteur  tel queDans ce cas, le vecteur  est appelé le gradient de  en . On le noteD'après la définition, si  est Fréchet-différentiable en ,  prend des valeurs finies dans un voisinage de .

Ces trois propriétés sont de plus en plus fortes (la Fréchet-différentiabilité implique la Gâteaux-différentiabilité, qui implique elle-même la différentiabilité partielle). Pour une fonction convexe, les trois notions sont équivalentes, si bien qu'il n'y a alors pas lieu de faire de distinction entre celles-ci.

Le résultat suivant établit un lien entre la différentiabilité et la sous-différentiabilité : en bref, une fonction est différentiable en un point si, et seulement si, elle est sous-différentiable en ce point et son sous-différentiel est un singleton.

Calcul sous-différentiel

Combinaison conique 

Voici une conséquence immédiate de la définition du sous-différentiel.

On remarquera bien que le scalaire multiplie une fonction dans le membre de gauche de l'identité ci-dessus et un ensemble dans son membre de droite.

À l'inverse, comme le montrera un exemple ci-dessous, l'égalité entre le sous-différentiel de la somme de fonctions convexes et la somme des sous-différentiels n'est pas nécessairement assurée. On aura certainement l'égalité si toutes les fonctions ne prennent que des valeurs finies. On notera également que la somme se fait sur des fonctions dans le membre de gauche de l'identité et sur des ensembles dans celui de droite.

Voici un exemple où l'égalité n'est pas assurée dans la formule de la somme ( est la fonction indicatrice de ):

Comme la somme  est l'indicatrice de , on a , alors que , parce que .

Pré-composition par une fonction affine 

Le cadre est le suivant. On dispose d'une fonction affine  entre deux espaces euclidiens  et . Celle-ci est supposée être définie en  par

où  est linéaire et . On note  l'Image directe de  par  et  l'application linéaire adjointe de  pour les produits scalaires que l'on s'est donnés sur  et , défini donc par la relation

L'application affine  est composée avec une application .

Fonction marginale 

Soient  et  deux espaces euclidiens et  une fonction. On associe à cette dernière la fonction marginale  définie par :

Le sous-différentiel de  dépend de celui de  qui est supposé calculé pour le produit scalaire de  suivant : .

Ce résultat appelle quelques remarques.
 Il faut bien noter que, si la borne inférieure  est atteinte en plusieurs ,  ne dépend pas du minimiseur  choisi.On a un autre éclairage sur cette indépendance par rapport à  en observant que  est constante sur l'ensemble   minimise , si bien que  est aussi constant sur lintérieur relatif de . Cependant  peut varier lorsque  passe de l'intérieur relatif de  à son bord. C'est le cas de la fonction définie par , dont la fonction marginale est nulle :
 D'autre part, si  est différentiable en , où  est un minimiseur quelconque de , alors  est également différentiable en  (car son sous-différentiel est un singleton) et on aC'est comme s'il y avait un minimiseur unique , fonction différentiable de , que l'on écrivait  et que l'on calculait  par une dérivation en chaîne :On retrouverait le résultat ci-dessus en observant que  car  minimise .
 Le fait que  ait un minimum unique n'implique nullement la différentiabilité de la fonction marginale en . Par exemple,  est la fonction marginale de  définie par . Cette dernière a un minimum  unique en  quel que soit , alors que  peut ne pas être différentiable.

 Fonctions concave et convexe-concave 

Certaines constructions conduisent naturellement à des fonctions concaves plutôt que convexes. Il en est ainsi, par exemple, lorsque l'on prend l'enveloppe inférieure d'une famille de fonctions linéaires (la fonction duale d'un problème d'optimisation est construite de cette manière). On peut alors prendre le sous-différentiel de la fonction opposée, qui est convexe, mais il est parfois plus naturel de se passer de la multiplication par moins un. Si  est concave, on définit donc le sous-différentiel concave de cette fonction en un point  où elle est finie, comme l'ensemble noté et défini par

Certains auteurs ne mettent pas le signe  au-dessus de  ; il faut alors se rappeler que  est concave. Si  est concave différentiable, son sous-différentiel concave se réduit bien au gradient de . Les propriétés suivantes sont équivalentes :
 ,
 ,
 ,
  maximise .

Il est aussi intéressant de définir le sous-différentiel d'une fonction convexe-concave. Si  et  sont deux espaces vectoriels, on dit que  est convexe-concave si
 pour tout ,  est convexe et
 pour tout ,  est concave.
Le lagrangien d'un problème d'optimisation convexe avec contraintes a cette propriété. La situation est plus complexe que dans le cas d'une fonction concave, car il ne suffit pas de multiplier (une partie de) la fonction par  pour retrouver une fonction convexe et lui appliquer la notion de sous-différentiel convexe que l'on connait.

De manière synthétique :

Dans cette définition, on a noté  le sous-différentiel ordinaire en  de la fonction convexe  et  le sous-différentiel concave en  de la fonction concave . Certains auteurs ne mettent pas le signe  au-dessus de  ; il faut alors se rappeler que  est convexe-concave.

 Exemples 

Voici quelques exemples de sous-différentiels de fonctions convexes classiques.

 Fonction indicatrice 

On suppose ici que  est un espace euclidien et que  est un convexe de .

Le sous-différentiel de la fonction indicatrice  est le cône normal  de  :

 Norme 

Soit  une norme sur un espace euclidien , non nécessairement dérivée du produit scalaire  de . On introduit la norme duale

et la boule-unité duale fermée

Une norme est évidemment une fonction convexe (par l'inégalité triangulaire), partout sous-différentiable (elle ne prend que des valeurs finies). Son sous-différentiel est donné par les formules

En particulier :
 si , les sous-gradients  sont sur la frontière de  :  ;
 .

La puissance  d'une norme

est aussi une fonction convexe (composition de fonctions convexes dont la seconde est croissante) propre (elle ne prend que des valeurs finies) fermée (elle est continue) et partout sous-différentiable (elle ne prend que des valeurs finies). Son sous-différentiel est donné par les formules

où  est le nombre conjugué de  :

La dernière expression du sous-différentiel  rappelle la dérivation en chaîne de la composition de  et de .

 Distance à un convexe 

Soit  une norme sur un espace euclidien , non nécessairement dérivée du produit scalaire  de . On introduit la norme duale

et la boule-unité duale fermée

Soit  un ensemble convexe fermé non vide de . On considère la fonction , la distance à , définie par

C'est une fonction convexe propre et fermée (elle ne prend que des valeurs finies). On note  une projection d'un point  sur  : c'est une solution du problème . Cette dernière n'est pas nécessairement unique car la norme n'est pas nécessairement associée à un produit scalaire.

Le sous-différentiel en  de la distance à  est donné par la formule

où  pour tout  est le cône normal à  en .

Lorsque la norme  est celle associée au produit scalaire , les boules-unités primale et duale coïncident (c'est-à-dire, ) et on a les propriétés suivantes :
 si , alors  est différentiable en  et  ;
 si , l'intérieur de , alors  est différentiable en  et  ;
 si , la frontière de , alors .

En l'absence de convexité d'un ensemble , la distance  n'est pas nécessairement différentiable sur le complémentaire de .

 Valeur propre maximale 

On note  l'ensemble des matrices réelles d'ordre  symétriques, que l'on munit du produit scalaire canonique  ( désigne la trace de la matrice ). On note aussi  le cône de  formé des matrices semi-définies positives. On note enfin

l'application valeur propre maximale, qui à une matrice symétrique  associe sa plus grande valeur propre (on rappelle qu'une matrice symétrique d'ordre  a  valeurs propres réelles). C'est une fonction propre, convexe et continue (donc fermée). Son sous-différentiel en  est donné par la formule

où  désigne l'enveloppe convexe d'un ensemble
. L'enveloppe convexe ci-dessus est compacte (par exemple, parce que le sous-différentiel d'une fonction convexe ne prenant que des valeurs finies, comme , l'est).

On en déduit que :
 si  est simple,  est différentiable en  et son gradient s'écrit alorsoù  sont les uniques vecteurs propres unitaires associés à la valeur propre maximale ;
  ;
 la dérivée directionnelle de  en  dans la direction  s'écrit   où  est une matrice dont les colonnes forment une base orthonormale de l'espace propre associé à .

 Fonction spectrale 

La présentation ci-dessous synthétise celles de Lewis (1996), Hiriart-Urruty (1998), Borwein et Lewis (2000).

On note  l'ensemble des matrices réelles d'ordre  symétriques, que l'on munit du produit scalaire canonique , la trace de la matrice . Par ailleurs, pour , on note  le vecteur formé des composantes de  en ordre décroissant.

On se donne une fonction  symétrique, c'est-à-dire qui vérifie

ce qui revient à dire que l'on ne modifie pas la valeur de  en permutant les composantes de . On note

la fonction donnant les valeurs propres de  en ordre décroissant :

On appelle fonction spectrale une fonction de la forme , avec  et  comme ci-dessus. Ce sont donc des fonctions définies sur , mais dont les valeurs ne dépendent que du spectre des matrices.

On peut alors caractériser la convexité-fermeture de  à partir de celle de .

On peut aussi calculer le sous-différentiel de  à partir de celui de .

On peut enfin caractériser la différentiabilité de  à partir de celle de .

Les fonctions spectrales sont fréquemment rencontrées. En voici quelques-unes, construites à partir de fonctions , donnant donc lieu à des fonctions . Dans le tableau ci-dessous, les entiers  et  peuvent être choisis arbitrairement dans , un vecteur de  dont toutes les composantes sont strictement positives est signalé par , une matrice  définie positive est signalée par .

 Fonction définie sur un espace localement convexe 

La présentation ci-dessous synthétise celle de Bonnans et Shapiro (2000).

 Cadre 

On suppose donnés deux espaces espaces vectoriels topologiques localement convexes  et  sur  couplés', dans le sens où il existe une application bilinéaire continue

telle que
 le dual topologique de  coïncide avec ,
 le dual topologique de  coïncide avec .
Comme exemples de tels couples d'espaces vectoriels topologiques localement convexes, citons
 un espace de Banach et son dual topologique muni de la topologie faible,
 un espace vectoriel normé réflexif et son dual topologique muni de la topologie forte.

 Définitions 

Les définitions de sous-gradient, de sous-différentiel et de sous-différentiabilité sont essentiellement les mêmes que celles introduites en dimension finie.

 Annexes 

 Notes 

 Bibliographie 

  A. Auslender, M. Teboulle (2003). Asymptotic Cones and Functions in Optimization and Variational Inequalitites. Springer Monographs in Mathematics. Springer, New York.
  J. F. Bonnans, A. Shapiro (2000). Perturbation Analysis of Optimization Problems. Springer Verlag, New York.
  J.M. Borwein, A.S. Lewis (2000). Convex Analysis and Nonlinear Optimization. Springer, New York.
  H. Brézis (1973). Opérateurs Maximaux Monotones et Semi-groupes de Contractions Dans les Espaces de Hilbert. Mathematics Studies 5. North-Holland, Amsterdam. .
  J.V. Burke, M.C. Ferris (1993). Weak sharp minima in mathematical programming. SIAM Journal on Control and Optimization, 31, 1340–1359. DOI
  C. Davis (1957). All convex invariant functions of Hermitian matrices. Archiv der Mathematik, 8, 26-278.
  F.H. Clarke (1983). Optimization and Nonsmooth Analysis. John Wiley & Sons, New York.
  J.Ch. Gilbert (2015). On the solution uniqueness characterization in the  norm and polyhedral gauge recovery. Rapport INRIA.
  J.-B. Hiriart-Urruty (1998). Optimisation et Analyse Convexe. Presses Universitaires de France, Paris.
  J.-B. Hiriart-Urruty, Cl. Lemaréchal (2001). Fundamentals of Convex Analysis. Springer. .
  A.S. Lewis (1996). Convex analysis on the Hermitian matrices. SIAM Journal on Optimization, 6, 164-177.
  R.T. Rockafellar (1970). Convex Analysis. Princeton Mathematics Ser. 28. Princeton University Press, Princeton, New Jersey.
  R.T. Rockafellar (1976). Monotone operators and the proximal point algorithm. SIAM Journal on Control and Optimization, 14, 877–898.
  R.E. Showalter (1997). Monotone Operators in Banach Space and Nonlinear Partial Differential Equations''. American Mathematical Society. .

Analyse (mathématiques)
Analyse convexe