Solve exactly an under determined linear system by minimizing least squares regularized with an 0 penalty Résoudre exactement un système sous-déterminé en minimisant des moindres carrés régularisés avec 0

Article history: Received 23 May 2011 Accepted after revision 18 August 2011 Available online 5 October 2011 Presented by Yves Meyer We analyze objectives Fd combining a quadratic data-fidelity and a weighted 0 penalty. Data d are generated using a full column rank M × N matrix A with N > M . We provide a detailed analysis of the minimization problem. We exhibit a criterion enabling to recover exactly an original vector ü with support shorter than M − 1 as a strict (local) minimizer of Fd where d = Aü. © 2011 Académie des sciences. Published by Elsevier Masson SAS. All rights reserved. r é s u m é Nous analysons des objectifs Fd combinant une fidélité aux données quadratique et une pénalisation 0. Les données d sont générées par une matrice A de dimension M × N et de rang M où N > M . Nous donnons une analyse détaillée du problème de minimisation. Nous établissons un critère permettant de retrouver un vecteur original ü dont la longueur du support ne dépasse pas M − 1 comme un minimiseur (local) strict de Fd où d = Aü. © 2011 Académie des sciences. Published by Elsevier Masson SAS. All rights reserved. Version française abrégée Introduction La fonction objectif Fd est de la forme (1) où A ∈ RM×N , for M < N , est de rang M , ‖ · ‖ est la norme 2, d sont les données et β est un paramètre de régularisation. Nous analysons les minimiseurs (locaux) û de Fd , voir (2). Rappelons que le problème numérique est combinatoire, de très haute complexité. On minimise Fd de la forme (1) en traitement du signal et de l’image, en problèmes inverses, en apprentissage, en classification, en sélection de modèles, en échantillonnage compressé, en sélection de sous-ensembles, en compression de données, etc. Il faut noter qu’il n’y a pas d’équivalence entre le problème (1)–(2) et ses variantes contraintes formulées dans (3). La raison en est que tous ces problèmes sont non convexes. Notations Nous dénotons IK = {1, . , K }. La cardinalité d’un sous-ensemble ω ⊂ IK est notée par ω. Si ω ⊂ IK alors ωc = IK \ ω. D’autres notations importantes sont indiquées dans les équations (4), (5) et (6). Noter que AT ω désigne la transposée de Aω . E-mail address: nikolova@cmla.ens-cachan.fr. 1631-073X/$ – see front matter © 2011 Académie des sciences. Published by Elsevier Masson SAS. All rights reserved. doi:10.1016/j.crma. 2011.08. 011 Author's personal copy 1146 M. Nikolova / C. R. Acad. Sci. Paris, Ser. I 349 (2011) 1145–1150 On dit qu’un sous-ensemble S ⊂ RK est négligeable s’il existe un fermé Z ⊂ RK de mesure de Lebesgue dans RK LK (Z) = 0, tel que S ⊆ Z . Si une propriété est vraie pour tout v ∈ RK \ S , nous dirons que cette propriété est générique sur RK . Tous les minimiseurs de Fd La section 2 offre une caractérisation générale des minimiseurs (locaux) de Fd . On y établit que si û ∈ RN résout un problème de la forme (Pω), alors Fd atteint un minimum (local) en û, pour tout β > 0 (Théorème 1). La réciproque – que chaque minimiseur û de Fd résout le problème formulé dans (Pω) pour ω = σ̂ où σ̂ est le support de û – est bien intuitive (Lemme 1). Ainsi a-t-on une équivalence entre la minimisation de Fd et la résolution de (Pω) pour des supports différents ω ⊂ IN . Cette équivalence sous-tend la majorité des résultats présentés dans cette Note. Le Corollaire 1 nous dit qu’un minimiseur û de Fd satisfait le problème linéaire formulé dans (7). Une conséquence en est qu’un minimiseur (local) û de Fd peut supprimer du bruit ou trouver une approximation parcimonieuse selon un schéma qui peut ressembler au seuillage dur. En présence de bruit, les coefficients non nuls peuvent être fortement bruités si AT σ̂ Aσ̂ est mal conditionnée. La qualité du résultat dépend notablement du minimiseur local sélectionné. Les minimiseurs stricts de Fd Cette question est étudiée dans la section 3. La condition nécessaire et suffisante pour qu’un minimum (local) soit strict est formulée dans (8), Théorème 2. La Proposition 1 est constructive puisqu’elle fournit des directions permettant de s’échapper d’un minimiseur non strict. Les minimiseurs globaux, dont l’existence est prouvée, sont stricts (Théorème 3). L’ensemble Ωmax dans la Définition 2 est composé de tous les sous-ensembles d’indices de colonnes de A tels que la sous matrice correspondante est de rang plein. Cet ensemble décrit tous les minimiseurs (locaux) stricts de Fd . Le Théorème 4 stipule que chaque minimiseur strict (local) de Fd est produit par une fonction minimiseur local U qui est linéaire sur RM . D’où la continuité des minimiseurs (locaux) stricts par rapport à d. Chaque minimiseur global satisfait une condition nécessaire formulée dans (10), Théorème 5. Une méthodologie pour trouver la solution exacte comme un minimiseur (local) de Fd Dans la section 4, les données sont de la forme d = Aü. Si σü M , on ne peut pas retrouver ü. On ne considère donc que des vecteurs originaux dont les supports sont dans Ω (cf. Définition 2) et des données d sans bruit. On démontre que la solution de n’importe quel des problèmes formulés dans (11) fournit le vecteur d’origine û = ü (Théorème 2). Cependant, il faut connaître un ω ∈ Ω tel que ̈ = σü ⊆ ω, ce qui n’est pas réaliste. Afin de trouver la solution exacte parmi tous les minimiseurs (locaux) de Fd de support dans Ω , on adopte une hypothèse sur A formulée dans H1. Cette hypothèse n’est mise en défaut que pour un sous-ensemble négligeable de matrices A – voir la Proposition 3. Les vecteurs originaux dont le support est de longueur r M − 1 que nous ne saurons pas trouver en minimisant Fd sont contenus dans l’ensemble Θr , équation (13), qui est négligeable dans Rr (Lemme 3). Un original ü avec σü = r M − 1 satisfait génériquement üσü ∈ Rr \ Θr . La Proposition 4 affirme que si H1 est satisfaite, alors tous les minimiseurs dont les supports ω sont dans Ω , mais ne contiennent pas le support original ̈ , produisent un terme d’erreur positif. Le Théorème 6 stipule que le minimiseur û de Fd qui coïncide avec le vecteur original ü résout (14). Donc parmi tous les minimiseurs stricts dont la longueur du support est au maximum M − 1, on a ‖Aû − d‖2 = 0 uniquement pour û = ü.