Brevet FR3057690A1 — publié le 20180420

Méthode de complétion d'une image d'une scène exploitant les caractéristiques spectrales de la scène La présente invention concerne le domaine des méthodes de 5 complétion d'images appliquées à des images ou à des séquences vidéo. La complétion d'images, encore désignée par le terme « inpainting » en anglais, vise à masquer une zone, typiquement un objet particulier, dans une scène en remplaçant cette zone par des pixels extraits du reste de l'image. Plus généralement, la complétion d'images vise à remplacer une 10 zone d'une image par une région de remplacement reconstituée à partir du contenu du restant de l'image. La complétion a pour but que l'image complétée soit cohérente visuellement de sorte qu'un spectateur ne puisse pas identifier qu'une zone de l'image a été modifiée. 15 Les applications possibles de la complétion d'images concernent tout d'abord l'infographie. Un utilisateur sélectionne une zone d'une image à masquer et la zone est remplacée automatiquement. Une autre application possible concerne la complétion appliquée à une séquence vidéo en temps différé. De façon similaire, un utilisateur peut 20 sélectionner une zone commune dans toutes les images de la vidéo pour qu'elle soit masquée automatiquement. La recherche de la région de remplacement peut se faire dans toutes les images de la séquence vidéo. Le résultat de la complétion doit être mis à jour temporellement. En outre, des techniques de détection d'objets peuvent être utilisées conjointement à la 25 complétion afin d'éviter de re-sélectionner la zone à masquer (qui correspond à l'objet à détecter) dans toutes les images. Une troisième application possible concerne la complétion pour des séquences vidéo en temps réel, par exemple pour des applications de réalité diminuée. Un utilisateur peut sélectionner un objet à masquer au début d'une 30 séquence vidéo, ou à un instant choisi de cette séquence, puis un algorithme de reconnaissance ou de détection d'objets peut être déclenché pour suivre 3057690 2 l'objet, initialement sélectionné par l'utilisateur, dans la vidéo et le suivre en temps réel. Une méthode de complétion peut ensuite être activée, image par image, pour masquer l'objet sélectionné et suivi. La recherche de la zone de remplacement ne peut se faire que dans les images antérieures à l'image courante. Un problème général que vise à résoudre les méthodes de complétion d'images est la recherche d'une zone de remplacement optimale pour la zone de l'image à masquer afin que l'image modifiée présente un rendu 10 visuel qui soit le plus cohérent possible pour l'oeil humain. Pour résoudre ce problème, il existe différentes méthodes qui prennent en compte soit des contraintes géométriques, soit des contraintes de texture, soit une combinaison des deux. On connait en particulier les 15 solutions décrites dans [1], [2], [6] et [7]. Un inconvénient des méthodes connues est qu'elles ne permettent pas de distinguer, dans une image, des pixels appartenant à des objets différents mais présentant des couleurs proches. Ainsi, la recherche d'une zone de remplacement peut conduire à sélectionner, dans l'image, des pixels 20 appartenant à des objets très différents de ceux présents dans la zone à masquer. Plus précisément, les méthodes de complétion habituelles ne permettent pas de distinguer des matériaux de couleurs proches mais de compositions très différentes. Par exemple, des pixels appartenant à un rideau peuvent être exploités pour compléter une zone dans laquelle est 25 positionnée un objet en bois si la couleur du rideau est proche de celle du bois. En pratique, le rendu visuel de l'image complétée ne trompe pas l'oeil humain qui va interpréter le résultat obtenu comme étant incohérent car la zone complétée mélange des pixels issus de matériaux différents. 3057690 3 La présente invention vise notamment à résoudre l'inconvénient précité en proposant d'exploiter la réponse spectrale des objets de la scène capturée par une caméra pour améliorer le rendu visuel de la complétion. Pour cela, l'invention utilise les techniques d'imagerie multispectrale 5 pour classifier finement le contenu de l'image et améliorer la complétion en contraignant la recherche des pixels de la zone de remplacement dans des classes ayant une intersection non vide avec le voisinage de la zone à remplacer. Un avantage de l'invention est qu'elle permet d'obtenir un meilleur 10 rendu visuel pour des images complétées, grâce à l'exploitation de l'imagerie multispectrale. Autrement dit, l'invention propose de segmenter finement les objets de la scène en analysant la signature spectrale des pixels de l'image. In fine, la recherche des pixels de la zone de remplacement est contrainte dans des 15 régions ayant une intersection non vide avec le voisinage de la zone à remplacer. La contrainte par segmentation spectrale a pour but d'améliorer le résultat visuel délivré par le processus de complétion. L'invention a pour objet une méthode, mise en oeuvre par ordinateur, 20 de complétion d'une image d'une scène comprenant les étapes de : - Recevoir une observation multispectrale de la scène comprenant un nombre N, au moins égal à quatre, d'images spectrales obtenues pour des intervalles spectraux différents, - Classifier les pixels de l'image en fonction de leur similarité 25 spectrale à partir des images spectrales, - Sélectionner une zone de l'image à remplacer, - Définir un voisinage de la zone de l'image à remplacer, - Sélectionner la ou les classe(s) de pixels ayant une intersection non vide avec le voisinage défini, 3057690 4 - Rechercher, dans la ou les classe(s) sélectionnées, au moins une zone de remplacement pour compléter la zone de l'image à remplacer, - Compléter la zone de l'image à remplacer avec au moins une zone 5 de remplacement. Selon un aspect particulier de l'invention, une zone de remplacement est sélectionnée en fonction d'un critère de distance entre pixels de la zone de remplacement et pixels d'au moins une partie du voisinage de la zone de l'image à remplacer. Selon un aspect particulier de l'invention, la zone de l'image à remplacer est sélectionnée par un utilisateur. Selon un aspect particulier de l'invention, la zone de l'image à remplacer est sélectionnée au moyen d'une méthode de détection d'objet dans une image. Selon un aspect particulier de l'invention, la similarité spectrale des pixels de l'image est déterminée en comparant les signatures spectrales de chaque pixel, une signature spectrale d'un pixel comprenant les valeurs d'intensité du pixel dans chaque image spectrale. Selon un aspect particulier de l'invention, la classification des pixels 20 de l'image est réalisée au moins au moyen des étapes suivantes : - estimer la densité conjointe des intensités des pixels des N images spectrales, - déterminer une segmentation de la densité conjointe des intensités des pixels en une pluralité de classes, 25 - propager la segmentation obtenue dans le domaine de l'image. Selon un aspect particulier de l'invention, la classification des pixels de l'image est réalisée au moins au moyen des étapes suivantes : - pour chaque paire d'images spectrales prises parmi les N images spectrales, estimer la densité conjointe des intensités des pixels 30 des deux images spectrales de la paire, 3057690 5 - déterminer une segmentation de chaque densité conjointe des intensités des pixels en une pluralité de classes, - propager chaque segmentation obtenue dans le domaine de l'image pour obtenir plusieurs images segmentées, 5 - fusionner les images segmentées pour obtenir une image segmentée unique. Selon un aspect particulier de l'invention, la classification des pixels de l'image est réalisée au moins au moyen des étapes suivantes : - construire un dendrogramme comprenant un ensemble de clusters 10 organisés de façon hiérarchiques, chaque cluster comprenant un ensemble de pixels proches selon un critère de similitude donné, - déterminer une segmentation de la densité conjointe des intensités des pixels en une pluralité de classes à partir du dendrogramme construit, 15 - propager la segmentation obtenue dans le domaine de l'image. Selon une variante particulière, la méthode de complétion d'une image d'une scène selon l'invention comprend, avant l'étape d'estimer la densité conjointe de probabilité des intensités des pixels de deux images spectrales, une étape d'analyse en composantes principales appliquée aux images spectrales. Selon un aspect particulier de l'invention, l'étape d'analyse en composantes principales est basée sur la méthode « maximum noise fraction » ou la méthode « adjusted principal component analysis ». Selon une variante particulière, la méthode de complétion d'une image 25 d'une scène selon l'invention comprend, en outre une étape de réduction du nombre d'images spectrales après l'analyse en composantes principales. Selon un aspect particulier de l'invention, chaque segmentation est obtenue à l'aide d'une méthode de segmentation du type « marker-controlled watershed ». 3057690 6 Selon un aspect particulier de l'invention, les N images spectrales correspondent à des intervalles spectraux sensiblement équirépartis dans le spectre visible. L'invention a également pour objet un programme d'ordinateur 5 comportant des instructions pour l'exécution de la méthode de complétion d'une image selon l'invention, lorsque le programme est exécuté par un processeur. L'invention a également pour objet un support d'enregistrement lisible par un processeur sur lequel est enregistré un programme comportant des 10 instructions pour l'exécution de la méthode de complétion d'une image selon l'invention, lorsque le programme est exécuté par un processeur. L'invention a également pour objet un système de complétion d'images comprenant un capteur d'images multispectrales, une unité d'affichage des images, une interface homme-machine pour permettre à un 15 utilisateur de sélectionner une zone d'une image affichée à remplacer et un module de traitement configuré pour : - Classifier les pixels de l'image en fonction de leur similarité spectrale, - Définir un voisinage de la zone de l'image à remplacer, 20 - Rechercher, dans la ou les classe(s) de pixels ayant une intersection non vide avec le voisinage défini, au moins une zone de remplacement pour compléter la zone de l'image à remplacer, - Compléter la zone de l'image à remplacer avec au moins une zone de remplacement. Selon une variante particulière, le système de complétion d'images selon l'invention comprend en outre un module de conversion des images multispectrales captées dans un espace de couleurs rouge-vert-bleu. D'autres caractéristiques et avantages de la présente invention 30 apparaîtront mieux à la lecture de la description qui suit en relation aux dessins annexés qui représentent : 3057690 7 - Les figures 1 a et 1 b, un organigramme et un schéma illustrant respectivement les étapes de mise en oeuvre de la méthode de complétion d'image selon l'invention et les résultats intermédiaires de certaines étapes, 5 - La figure 2, un organigramme détaillant les étapes de mise en oeuvre d'un exemple de méthode de segmentation appliquée à une image multispectrale, - La figure 3a, un schéma d'un système de complétion d'images selon un premier mode de réalisation de l'invention, 10 - La figure 3b, une illustration d'un capteur multispectral utilisé dans un système selon l'invention, - La figure 4, un schéma d'un second mode de réalisation de l'invention. L'invention propose d'exploiter les apports de l'imagerie multispectrale 15 pour améliorer la complétion d'images. L'imagerie multispectrale consiste à saisir simultanément plusieurs images d'une même scène selon des bandes spectrales différentes. Autrement dit, cette technique consiste à mesurer une image constituée de plusieurs bandes de sensibilité spectrale différentes. Chaque bande 20 spectrale présente une largeur de bande qui correspond à un intervalle de valeurs de longueur d'onde qui peut varier de quelques dizaines de nanomètres à plusieurs micromètres. L'invention concerne cependant des observations multispectrales dans le domaine du visible, c'est-à-dire principalement entre 380 et 750 nanomètres. Lorsque le nombre de bandes 25 spectrales d'observation est très élevé, on parle alors d'imagerie hyperspectrale. Un intérêt de l'observation multispectrale réside dans une meilleure capacité à distinguer certains détails d'une image, en particulier des détails liés à la composition des objets, par exemple à la matière dont ils sont composés. En effet, l'imagerie courante, au standard RVB, (rouge-vert- bleu) ne permet pas toujours de différencier des objets composés de matières différentes si leurs couleurs sont proches. 3057690 8 Par la suite, le terme multispectral sera employé pour désigner une observation d'une scène comprenant au moins quatre images relatives à quatre bandes spectrales différentes. Pour réaliser une observation multispectrale d'une scène, il est connu 5 d'utiliser une caméra ou capteur ou imageur multispectral. Un tel dispositif permet, grâce à l'utilisation de filtres interférométriques de type Fabry-Perot sensibles à différentes longueurs d'ondes, de capturer plusieurs observations d'une même scène à des longueurs d'ondes différentes. Un tel dispositif peut être, par exemple, basé sur un capteur CMOS comprenant une matrice de 10 cellules. Chaque cellule peut comprendre une matrice de pixels, chaque pixel étant sensible à une longueur d'onde différente. De cette façon, plusieurs images peuvent être acquises simultanément, à des longueurs d'ondes différentes. Un capteur multispectral est capable de fournir directement des images multispectrales numérisées en temps réel. Une image multispectrale 15 comprend, pour chaque pixel de l'image, un nombre entier N de valeurs différentes correspondant aux N plages de longueurs d'ondes différentes auxquelles le capteur est sensible. Un exemple de valeur de N possible est N=16, les différents intervalles de longueurs d'onde étant équirépartis dans la bande de longueurs d'onde correspondant au domaine du visible. On parle 20 également de signature spectrale d'un pixel pour désigner les N valeurs composant un pixel de l'image selon sa représentation multispectrale. D'autres systèmes permettant d'acquérir des images multispectrales existent, en particulier des systèmes équipés d'une roue à filtres. De façon générale, l'Homme du métier sait réaliser l'acquisition d'une image 25 multispectrale au moyen de tout dispositif connu convenant à cet objectif. La figure la schématise, sur un organigramme, les étapes de mise en oeuvre d'une méthode de complétion d'image selon l'invention. Sur la figure 1 b sont représentés, sous forme schématique, les résultats obtenus après 30 l'exécution de certaines étapes de la méthode. La méthode est décrite ci-après pour une application à la complétion d'une image unique mais elle 3057690 9 peut, bien entendu, être appliquée de façon itérative à une succession d'images, par exemple sur une séquence vidéo composée de plusieurs images. La première étape 101 de la méthode consiste à acquérir une 5 observation IMS multispectrale d'une scène. L'observation IMS est composée de N images spectrales de la scène à des plages de longueurs d'ondes différentes, N étant un nombre entier strictement supérieur à trois. L'observation IMS peut être obtenue à l'aide d'un capteur ou d'une caméra ou d'un imageur multispectral. 10 A partir de l'observation IMS multispectrale, on effectue, dans une deuxième étape 102, une classification C des pixels de l'image en fonction de leur signature spectrale. Autrement dit, les pixels de l'image sont regroupés en plusieurs classes Ci ,..CM en fonction de leur proximité en prenant en compte l'intégralité de leur signature spectrale, autrement dit en 15 prenant en compte leurs valeurs dans les N images spectrales. L'observation multispectrale de la scène permet ainsi de réaliser une classification fine des pixels de l'image. Par exemple, des pixels qui présentent une couleur très proche dans une image représentée dans l'espace de couleurs RVB, mais qui correspondent à des objets composés de matériaux très différents, 20 peuvent appartenir à des classes différentes si leur signature spectrale est exploitée. Le critère utilisé pour réaliser la classification C est un critère de similarité spectrale qui vise à comparer et catégoriser les signatures spectrales des pixels. Sur la figure 1 b, on a représenté très schématiquement un exemple de 25 classification C pour laquelle l'image IMS est décomposée en cinq classes de pixels correspondant à cinq zones de l'image. Sur cet exemple, on a représenté des classes continues mais une ou plusieurs classes peuvent également être discontinues, c'est-à-dire être constituées de plusieurs zones discontinues de l'image. 30 Un exemple de classification exploitant la signature spectrale des pixels est décrit plus en détail ci après à l'appui de la figure 2. 3057690 10 Dans une étape 103, l'observation IMS multispectrale est convertie en une image IRVB exploitable pour l'oeil humain, par exemple une image représentée dans l'espace de couleurs RVB pour Rouge-Vert-Bleu. Cette 5 étape 103 peut également comporter un traitement visant à supprimer l'illuminant, c'est-à-dire à supprimer l'impact, dans l'image obtenue, de la source lumineuse qui vient éclairer la scène. L'image I obtenue est rendue visible, pour un utilisateur, via un écran d'affichage. Alternativement, l'étape de conversion 103 peut être supprimée si par 10 exemple une version de l'image de la scène observée est disponible dans l'espace de couleurs RVB par un autre moyen. Par exemple, si en plus de permettre la capture d'observations multispectrales, la caméra utilisée est également capable d'acquérir une image RVB de la même scène ou encore si on utilise un capteur différent séparé de la caméra multispectrale. 15 L'étape de conversion 103 peut aussi être omise lorsque la méthode de complétion d'image selon l'invention est appliquée sur des observations enregistrées au préalable qui peuvent alors comprendre une observation multispectrale et une image RVB de la même scène. 20 Dans une étape 104, un utilisateur sélectionne une zone Zm de l'image IRVB affichée qu'il souhaite masquer. Dans certains modes de réalisation de l'invention, en particulier dans le cas d'un système de capture vidéo temps-réel, l'utilisateur peut sélectionner une zone dans une image de la séquence vidéo puis la zone à masquer peut être automatiquement sélectionnée dans 25 les autres images de la séquence au moyen d'un algorithme de détection d'objets qui vise à identifier, dans toutes les images, l'objet initialement sélectionné par l'utilisateur dans une image particulière (par exemple la première image de la séquence). Un exemple de zone Zm à masquer peut correspondre à une zone dans laquelle est située un objet ou une personne 30 ou du texte que l'on souhaite masquer pour d'autres spectateurs de l'image ou de la vidéo. Le principe général de la complétion d'images consiste à 305 76 90 11 remplacer la zone Z, à masquer par une zone de remplacement constituée à partir de pixels du reste de l'image de sorte que l'image complétée soit cohérente visuellement et qu'un spectateur ne puisse pas identifier qu'une zone de l'image a été modifiée. 5 Dans une étape 105, on défini un voisinage V autour de la zone Z, à masquer. Le voisinage V est constitué d'une zone entourant la zone Zm à masquer qui doit présenter une continuité avec la zone de remplacement de la zone à masquer. Par exemple, le voisinage V peut être constitué d'une zone de largeur fixée à un nombre de pixels constant entourant la zone à 10 masquer. Les étapes 103,104 et 105 peuvent être exécutées après, avant ou simultanément à l'étape 102. Dans une étape 106, on sélectionne les classes, de la classification C 15 obtenue à l'étape 102, qui présentent une intersection non vide avec le voisinage V déterminé à l'étape 105. Sur l'exemple de la figure 1 b, les classes sélectionnées sont les classes C2,C3 et C4. Dans une étape 107, on effectue une recherche de la zone de remplacement qui va venir remplacer la zone à masquer Zm dans l'image 20 finale Ic. La zone de remplacement peut être constituée de plusieurs zones élémentaires, appelées patchs, les patchs constituant la zone de remplacement étant recherchés exclusivement dans les classes sélectionnées à l'étape 106. Un patch est un ensemble de pixels d'une image, par exemple une zone carrée ou rectangulaire. Le critère de sélection 25 des patchs est un critère de similarité entre les pixels d'un patch et les pixels du voisinage V. Le critère utilisé est, par exemple, un critère de distance Euclidienne moyenne entre les pixels de deux patchs. Dans une étape 108 finale, la zone à masquer Z, est supprimée et 30 remplacée par une zone de remplacement Zc constituée des patchs 3057690 12 recherchés et sélectionnés à l'étape 107 afin de produire une image modifiée le destinée à être affichée. On décrit à présent, à l'appui de l'organigramme de la figure 2, un 5 exemple particulier de méthode de classification de pixels en fonction de leur signature spectrale qui peut être mise en oeuvre à l'étape 102 précédemment décrite de la méthode de complétion d'image selon l'invention. Bien entendu, l'invention ne se limite pas à ce seul exemple de réalisation qui est décrit à titre illustratif et non limitatif. Toute méthode de 10 classification ou segmentation de pixels d'une image permettant de regrouper les pixels en classes en fonction de la similarité de leur signature spectrale, peut venir se substituer à l'exemple de la figure 2 afin de réaliser l'étape 102 de la méthode selon l'invention. 15 La méthode de classification de pixels décrite à la figure 2 reçoit en entrée plusieurs images spectrales Imsi,... IMSN issues d'une observation multispectrale IMS d'une scène. Typiquement, le nombre d'images spectrales est au moins égal à quatre, chaque image correspondant à une observation de la scène dans un intervalle de longueurs d'ondes donné. 20 Dans une première étape 201, une analyse en composantes principales est appliquée aux images spectrales IMS1,... IMSN- Une telle analyse a pour but de transformer des variables liées entre elles en nouvelles variables décorrélées les unes des autres. Dans le cas présent, les variables en question sont les images spectrales. L'étape d'analyse en 25 composantes principales opère une transformation sur les N images spectrales pour produire N images transformées ITN. Cette étape permet de concentrer l'information contenue dans les N bandes spectrales d'observation vers les premières bandes, en particulier la première bande. Une méthode d'analyse en composantes principales particulièrement 30 adaptée à l'imagerie multispectrale est la méthode dite d'analyse en composantes principales avec ajustement d'un modèle de bruit ou « Noise 3057690 13 Adjusted Principal Component Analysis » en anglais qui est décrite dans les documents de référence [3] et [4]. L'étape 201 d'analyse en composantes principales permet ainsi de 5 concentrer l'information présente initialement dans toutes les images spectrales vers un nombre réduit d'images. En conséquence, une étape 202 de réduction du nombre d'images ou de bandes spectrales, peut ensuite être appliquée afin de diminuer les temps de calcul nécessaires pour les étapes suivantes de la méthode. Dans l'exemple de la figure 2, les trois premières 10 images 11,12,13 obtenues en sortie de l'étape 201 sont conservées pour la suite des traitements. Comme indiqué, les étapes 201, 202 ont pour principal objectif de réduire le nombre d'images spectrales à traiter et ce pour des raisons de temps de calcul et de ressources mémoire à optimiser. Ainsi, les étapes 15 201,202 peuvent être rendues optionnelles si le temps d'exécution de la méthode ainsi que les ressources de calcul et de mémoire disponibles ne sont pas contraints. Selon l'application ou non des étapes 201, 202, les N images 20 spectrales initiales ou les N' images sélectionnées à l'étape 202 (avec N' un nombre entier inférieur ou égal à N, par exemple égal à trois), sont exploitées dans une étape 203 afin d'estimer une densité conjointe des intensités des pixels des N ou N' images. Autrement dit, l'étape 203 vise à estimer la répartition des intensités des pixels selon les différentes bandes spectrales 25 ou images spectrales retenues ou encore à représenter les concentrations de pixels dont la signature spectrale est proche. Une première solution pour estimer une telle densité conjointe consiste à représenter les intensités des pixels de l'image dans un histogramme à N (ou N') dimensions, chaque dimension correspondant à 30 une image spectrale. 3057690 14 Une seconde solution permettant de segmenter l'espace par regroupement des pixels consiste à utiliser les techniques de regroupement hiérarchique (hierarchical cluster tree), notamment au moyen de dendogrammes. La similitude entre chaque paire de pixels de l'image est 5 évaluée à partir d'une distance, Euclidienne par exemple. Un pixel est représenté par ses N ou N' coordonnées (image obtenue à l'issue de l'étape 203). La distance permet de lier les paires de pixels via un groupe binaire encore désigné par l'appellation « binary cluster » en anglais. De nouveaux groupes binaires sont formés à partir des premiers groupes pour former le 10 dendrogramme qui consiste en un regroupement hiérarchique de l'ensemble des pixels de l'image multi-spectrale. Ce regroupement de groupes binaires est effectué à l'aide de la méthode de Ward, décrite dans la référence [8]. Le processus de segmentation est, in fine, réalisé en coupant l'arborescence construite à partir des différents groupes binaires. Le nombre 15 de segments désiré est un paramètre de l'invention, qui détermine, notamment, à quel niveau couper l'arbre hiérarchique. Les données séparées forment différentes classes. Si, par exemple, le nombre de segments est pris égal à quatre, chaque pixel de l'image se voit attribuer une étiquette (un nombre compris entre 1 et 4) en fonction de sa position dans 20 l'arborescence hiérarchique. Lorsque le nombre de segments est convenablement choisi, une classe (tous les pixels étiquetés avec la même étiquette), regroupe l'ensemble des pixels appartenant à un objet de la scène dont la réponse spectrale et la couleur sont homogènes. 25 Une autre solution consiste à construire plusieurs histogrammes bi- variés représentant chacun la répartition des intensités de tous les pixels de l'image selon leurs valeurs d'intensité dans deux images spectrales parmi les N (ou N') retenues. Si N images sont retenues, le nombre d'histogrammes bivariés nécessaires est égal à N(N-1)/2. Un histogramme bivarié est 30 construit pour chaque paire d'images spectrales. 3057690 15 Une autre solution peut consister à construire N histogrammes simples, chacun représentant la répartition des intensités de tous les pixels dans une image spectrale parmi toutes les images retenues. 5 Dans l'exemple de la figure 2, on considère le cas de trois images 11,12,13 en entrée de l'étape 203 et de trois histogrammes bi-variés D1,D2,D3 en sortie de cette étape. Dans une étape 204, on opère une segmentation de la densité 10 conjointe de probabilité des intensités des pixels. Dans le cas où l'étape 203 produit plusieurs histogrammes ou, de façon plus générale, plusieurs estimées de densité conjointe de probabilité, la segmentation est appliquée à chaque estimée ou histogramme. Dans le cas où l'étape 203 aboutit à la construction d'un 15 dendrogramme, la segmentation peut être directement obtenue à partir de la structure hiérarchique formée par le dendrogramme. L'étape de segmentation 203 consiste à regrouper les valeurs de densité conjointe de probabilité d'intensité de pixels en classes homogènes. Lorsque les densités conjointes de probabilité sont estimées sous la 20 forme d'histogrammes bivariés, une façon de réaliser cette classification consiste à appliquer un algorithme de ligne de partage des eaux contrôlée par marqueur ou « marker-controlled watershed » en anglais. Un tel algorithme est décrit dans la référence [5] ainsi que dans l'ouvrage « Morphological Image Analysis », Pierre Soille aux pages 227 à 292, 25 chapitre « Segmentation ». Le principe général de cet algorithme est une recherche des extrema (maxima et minima) de la variable estimée puis une classification des données par regroupement de classes centrées sur les maxima locaux et séparées par des lignes de partage qui suivent les minima locaux. 30 Sans sortir du cadre de l'invention, d'autres méthodes de segmentation peuvent être appliquées. 3057690 16 A l'issue de l'étape 204 on obtient une carte de segmentation DS1,DS2,DS3 pour chaque estimée Di ,D2,D3. Dans une étape 205, chaque carte de segmentation obtenue à l'étape 5 204 est propagée dans le domaine spatial de l'image. Pour cela, les pixels répartis dans une carte de segmentation sont transposés dans le domaine spatial à partir de leurs coordonnées spatiales dans l'image qui ont été conservées lors de l'étape 203. Chaque pixel est ramené dans le domaine spatial en conservant l'information d'appartenance à une classe selon la 10 segmentation opérée à l'étape 204. A l'issue de l'étape 205, on obtient une ou plusieurs image(s) segmentée(s) IS1,1S2,1S3. Dans une étape 206 finale, si plus d'une image segmentée est obtenue en sortie de l'étape 205, les images segmentées sont fusionnées 15 pour obtenir une unique image segmentée C. Une méthode de fusion possible consiste à appliquer un algorithme de type vote majoritaire ou « majority voting » en anglais. Cet algorithme consiste, pour chaque pixel, à retenir la classe majoritaire parmi les classes obtenues pour chaque image segmentée IS1,1S2,1S3. Autrement dit, si le pixel x appartient à la classe C1 20 dans l'image 1S1, à la classe C2 dans l'image IS2 et à la classe C2 dans l'image IS3, alors le pixel x est associé à la classe majoritaire C2 dans l'image segmentée finale. Cette méthode de fusion suppose que les mêmes types de classes sont utilisés pour chacune des images segmentées. Sans sortir du cadre de l'invention, toute autre méthode de fusion 25 permettant d'obtenir une seule image segmentée à partir de plusieurs images segmentées, est envisageable. Dans le cas où un histogramme à N dimensions est utilisé pour estimer une densité conjointe de probabilité des intensités des pixels dans les N images spectrales, alors une unique carte de segmentation est obtenue 30 à l'étape 204 et une unique image segmentée C est obtenue en sortie de l'étape 205. Dans ce cas, l'étape 206 est supprimée. 3057690 17 La figure 3a représente schématiquement un système automatique de complétion d'images SCI selon un premier mode de réalisation de l'invention. Le système SCI décrit à la figure 3a est, par exemple, adapté pour des 5 applications de réalité diminuée. Le système SCI est adapté pour réaliser une ou plusieurs prise(s) de vue d'une scène S. Ainsi, le système peut produire une ou plusieurs images ou une séquence vidéo. Le système SCI comprend principalement un composant optique OP associé à un capteur multispectral CP. Le capteur CP 10 peut être réalisé, par exemple, à l'aide de la technologie CMOS et comprend une matrice de pixels photosensibles. Il comporte en outre une série de filtres spectraux FS, par exemple des filtres interféromètres de Fabry-Perot. Chaque filtre comporte une cavité dont l'épaisseur est variable et configurée pour capturer certaines longueurs d'ondes spectrales. Ainsi, en positionnant 15 un filtre interféromètre FS sur chaque pixel, il est possible de rendre chacun des pixels sensibles à certaines longueurs d'ondes du spectre visible. De cette façon, le capteur multispectral CP est capable de produire plusieurs prises de vue de la même scène pour différentes longueurs d'ondes. Par exemple, un capteur multispectral CP peut être constitué d'une matrice de 20 Nc par NL cellules, chaque cellule comprenant N pixels, chaque pixel de la cellule étant couplé à un filtre spectral différent. De cette façon, il est possible d'acquérir N images de la même scène, en parallèle, selon N plages de longueurs d'ondes différentes. Un exemple typique de valeur de N est 16. Les images multispectrales acquises sont numérisées au moyen d'un 25 convertisseur analogique-numérique CAN. Un module de conversion CONV des images multispectrales vers un format exploitable par l'oeil humain, par exemple un format Rouge-Vert-Bleu, permet de convertir les images pour les transmettre à un moyen d'affichage AFF, par exemple un écran simple ou un écran tactile. Le moyen d'affichage AFF inclut une interface homme-machine 30 pour permettre à un utilisateur de sélectionner une zone d'une image à masquer et à compléter. 3057690 18 Le système SCI selon l'invention comporte encore un module de traitement MT configuré pour exécuter les étapes de la méthode de complétion d'images selon l'invention. A cet effet, le module de traitement MT est apte à communiquer avec le moyen d'affichage AFF pour recevoir 5 l'information relative à la zone de l'image à masquer et pour transmettre une image complétée à afficher. Le module de traitement MT reçoit une copie des images multispectrales depuis le convertisseur CAN et peut aussi communiquer avec le module de conversion CONV. Le module de traitement MT peut être implémenté au moyen d'un processeur qui peut être un 10 processeur générique, un processeur spécifique, un circuit intégré propre à une application (connu aussi sous le nom anglais d'ASIC pour « ApplicationSpecific Integrated Circuit ») ou un réseau de portes programmables in situ (connu aussi sous le nom anglais de FPGA pour « Field-Programmable Gate Array »). 15 Sans sortir du cadre de l'invention, les différents modules présentés sur la figure 3a peuvent être agencés différemment. En particulier, ils peuvent être regroupés au sein d'un même module ou au contraire dissociés en un nombre de modules plus importants. De façon générale, l'Homme du métier saura adapter l'architecture du système SCI selon l'invention en 20 fonction des contraintes technologiques d'un tel système. La figure 3b représente schématiquement, sur la droite de la figure, un exemple de capteur multispectral CP sur lequel sont positionnés différents filtres spectraux FS permettant de rendre les pixels du capteur sensibles à 25 différentes longueurs d'ondes. Un exemple de courbes de sensibilité spectrale de différents filtres spectraux est donné sur le diagramme de la gauche de la figure 3b, en fonction de la longueur d'onde du signal optique exprimée en nanomètres. 30 La figure 4 schématise une seconde implémentation possible de l'invention. Selon ce second mode de réalisation, l'invention est mise en 3057690 19 oeuvre en tant que programme d'ordinateur exécuté sur une machine de calcul PC. Les images multispectrales sont acquises par un capteur d'images Cl qui comporte au moins un composant optique OP, un capteur multispectral 5 CP du type déjà décrit ci-dessus et un convertisseur numérique CAN. La méthode de complétion d'images est exécutée par la machine de calcul PC qui reçoit les images multispectrales. La machine de calcul PC comporte un moyen d'affichage et une interface homme-machine, par exemple un écran simple ou un écran tactile, pour permettre à un utilisateur 10 de sélectionner une zone de l'image à masquer. Le programme d'ordinateur selon l'invention peut être enregistré sur un support d'enregistrement lisible par un processeur. La référence à un programme d'ordinateur qui, lorsqu'il est exécuté, effectue l'une quelconque des fonctions décrites précédemment, ne se limite 15 pas à un programme d'application s'exécutant sur un ordinateur hôte unique. Au contraire, les termes programme d'ordinateur et logiciel sont utilisés ici dans un sens général pour faire référence à tout type de code informatique (par exemple, un logiciel d'application, un micro logiciel, un microcode, ou toute autre forme d'instruction d'ordinateur) qui peut être utilisé pour 20 programmer un ou plusieurs processeurs pour mettre en oeuvre des aspects des techniques décrites ici. Les moyens ou ressources informatiques peuvent notamment être distribués ("Cloud computing"), éventuellement selon des technologies de pair-à-pair. Le code logiciel peut être exécuté sur n'importe quel processeur approprié (par exemple, un microprocesseur) ou 25 coeur de processeur ou un ensemble de processeurs, qu'ils soient prévus dans un dispositif de calcul unique ou répartis entre plusieurs dispositifs de calcul (par exemple tels qu'éventuellement accessibles dans l'environnement du dispositif). Le code exécutable de chaque programme permettant au dispositif programmable de mettre en oeuvre les processus selon l'invention, 30 peut être stocké, par exemple, dans le disque dur ou en mémoire morte. De manière générale, le ou les programmes pourront être chargés dans un des 3057690 20 moyens de stockage du dispositif avant d'être exécutés. L'unité centrale peut commander et diriger l'exécution des instructions ou portions de code logiciel du ou des programmes selon l'invention, instructions qui sont stockées dans le disque dur ou dans la mémoire morte ou bien dans les autres éléments de 5 stockage précités. Ce second mode de réalisation de l'invention est particulièrement adapté pour des applications infographiques de complétion automatique d'image ou de vidéo pour lesquelles un traitement en temps-réel des images n'est pas requis. 10 15 20 3057690 21 Références 5 [1] F. Cao, Y. Gousseau, S. Masnou, and P. Perez, "Geometrically guided exemplar-based inpainting ". SIAM Journal on Imaging Sciences, 4(4):11431179, 2011. [2] J.-B. Huang, S. B. Kang, N. Ahuja, and J. Kopf. "Image completion using 10 planar structure guidance". ACM Transactions on Graphics (ToG), 33(4):129, 2014. [3] A. A. Green, M. Berman, P. Switzer, and M. D. Craig. "A transformation for ordering multispectral data in terms of image quality with implications for 15 noise removal". IEEE Transactions on Geoscience and Remote Sensing, 26(1):65-74, 1988. [4] J. B. Lee, A. S. Woodyatt, and M. Berman. "Enhancement of high spectral resolution remote-sensing data by a noise-adjusted principal components 20 transform". IEEE Transactions on Geoscience and Remote Sensing, 28(3):295-304, 1990. [5] J. Chanussot and P. Lambert. "Watershed approaches for color image segmentation". In NSIP, volume 99, pages 129-133, 1999. 25 [6] C. Barnes, E. Shechtman, A. Finkelstein, and D. Goldman. "Patchmatch: A randomized correspondence algorithm for structural image editing". ACM Transactions on Graphics, 28(3):24, 2009. 30 [7] K. He and J. Sun. "Image completion approaches using the statistics of similar patches". IEEE Transactions on Pattern Analysis and Machine Interlligence, 36(12):2423-2435, 2014. [8] J.H.Ward Jr. "Hierarchical grouping to optimize an objective function". 35 Journal of the American statistical association, 58(301):236-244,1963. REVENDICATIONS1. Méthode, mise en oeuvre par ordinateur, de complétion d'une image d'une scène comprenant les étapes de : - Recevoir (101) une observation multispectrale (lm) de la scène comprenant un nombre N, au moins égal à quatre, d'images spectrales obtenues pour des intervalles spectraux différents, - Classifier (102) les pixels de l'image en fonction de leur similarité spectrale à partir des images spectrales, - Sélectionner (104) une zone (ZM) de l'image à remplacer, - Définir (105) un voisinage (V) de la zone de l'image à remplacer, - Sélectionner (106) la ou les classe(s) de pixels (C2,C3,C4) ayant une intersection non vide avec le voisinage défini (V), - Rechercher (107), dans la ou les classe(s) sélectionnées, au moins une zone de remplacement pour compléter la zone de l'image à remplacer, - Compléter (108) la zone de l'image à remplacer avec au moins une zone de remplacement. 2. Méthode de complétion d'une image d'une scène selon la revendication 1 dans laquelle une zone de remplacement est sélectionnée en fonction d'un critère de distance entre pixels de la zone de remplacement et pixels d'au moins une partie du voisinage de la zone de l'image à remplacer. 3. Méthode de complétion d'une image d'une scène selon l'une des revendications précédentes dans laquelle la zone de l'image à remplacer est sélectionnée par un utilisateur. 4. Méthode de complétion d'une image d'une scène selon l'une des revendications précédentes dans laquelle la zone de l'image à remplacer 3057690 2 est sélectionnée au moyen d'une méthode de détection d'objet dans une image. 5. Méthode de complétion d'une image d'une scène selon l'une des 5 revendications précédentes dans laquelle la similarité spectrale des pixels de l'image est déterminée en comparant les signatures spectrales de chaque pixel, une signature spectrale d'un pixel comprenant les valeurs d'intensité du pixel dans chaque image spectrale. 10 6. Méthode de complétion d'une image d'une scène selon l'une des revendications précédentes dans laquelle la classification (102) des pixels de l'image est réalisée au moins au moyen des étapes suivantes : - estimer (203) la densité conjointe des intensités des pixels des N images spectrales, 15 - déterminer (204) une segmentation de la densité conjointe des intensités des pixels en une pluralité de classes, - propager (205) la segmentation obtenue dans le domaine de l'image. 20 7. Méthode de complétion d'une image d'une scène selon l'une des revendications 1 à 5 dans laquelle la classification (102) des pixels de l'image est réalisée au moins au moyen des étapes suivantes : - pour chaque paire d'images spectrales prises parmi les N images spectrales, estimer (203) la densité conjointe des intensités des 25 pixels des deux images spectrales de la paire, - déterminer (204) une segmentation de chaque densité conjointe des intensités des pixels en une pluralité de classes, - propager (205) chaque segmentation obtenue dans le domaine de l'image pour obtenir plusieurs images segmentées, 30 - fusionner (206) les images segmentées pour obtenir une image segmentée unique. 3057690 3 8. Méthode de complétion d'une image d'une scène selon l'une des revendications 1 à 5 dans laquelle la classification (102) des pixels de l'image est réalisée au moins au moyen des étapes suivantes : - construire (203) un dendrogramme comprenant un ensemble de 5 clusters organisés de façon hiérarchiques, chaque cluster comprenant un ensemble de pixels proches selon un critère de similitude donné, - déterminer (204) une segmentation de la densité conjointe des intensités des pixels en une pluralité de classes à partir du 10 dendrogramme construit, - propager (205) la segmentation obtenue dans le domaine de l'image. 9. Méthode de complétion d'une image d'une scène selon l'une des 15 revendications 6 à 8 comprenant, avant l'étape (203) d'estimer la densité conjointe de probabilité des intensités des pixels de deux images spectrales ou avant l'étape de construire un dendogramme, une étape (201) d'analyse en composantes principales appliquée aux images spectrales. 20 10. Méthode de complétion d'une image d'une scène selon la revendication 9 dans laquelle l'étape (201) d'analyse en composantes principales est basée sur la méthode « maximum noise fraction » ou la méthode « adjusted principal component analysis » 25 11.Méthode de complétion d'une image d'une scène selon l'une des revendications 9 ou 10 comprenant en outre une étape (202) de réduction du nombre d'images spectrales après l'analyse en composantes principales. 30 3057690 4 12. Méthode de complétion d'une image d'une scène selon l'une des revendications 6 à 8 dans laquelle chaque segmentation est obtenue à l'aide d'une méthode de segmentation du type « marker-controlled watershed ». 5 13. Méthode de complétion d'une image d'une scène selon l'une des revendications précédentes dans laquelle les N images spectrales correspondent à des intervalles spectraux sensiblement équirépartis dans le spectre visible. 10 14. Programme d'ordinateur comportant des instructions pour l'exécution de la méthode de complétion d'une image selon l'une quelconque des revendications précédentes, lorsque le programme est exécuté par un processeur. 15 15.Support d'enregistrement lisible par un processeur sur lequel est enregistré un programme comportant des instructions pour l'exécution de la méthode de complétion d'une image selon l'une quelconque des revendications 1 à 13, lorsque le programme est exécuté par un 20 processeur. 16. Système de complétion d'images (SCI) comprenant un capteur d'images multispectrales (CP), une unité d'affichage (AFF) des images, une interface homme-machine pour permettre à un utilisateur de sélectionner 25 une zone d'une image affichée à remplacer et un module de traitement (MT) configuré pour : - Classifier les pixels de l'image en fonction de leur similarité spectrale, - Définir un voisinage de la zone de l'image à remplacer, 30 - Rechercher, dans la ou les classe(s) de pixels ayant une intersection non vide avec le voisinage défini, au moins une zone de remplacement pour compléter la zone de l'image à remplacer, 3057690 5 - Compléter la zone de l'image à remplacer avec au moins une zone de remplacement. 17.Système de complétion d'images (SCI) selon la revendication 16 5 comprend en outre un module de conversion (CONV) des images multispectrales captées dans un espace de couleurs rouge-vert-bleu. 10