Brevet FR2909205A1 — publié le 20080530

PROCEDE DE DESIGNATION D'UN OBJET DANS UNE IMAGE La présente invention concerne un procédé de désignation d'un objet dans une image. L'invention s'applique notamment pour le traitement d'image en vue d'effectuer la désignation graphique d'un objet par une opération simple pour un utilisateur. Un opérateur peut notamment souhaiter disposer d'une fonction automatique de délimitation d'un objet, désigné au préalable par une opération de saisie simple telle que par exemple un seul clic souris, sur une image vidéo sans avoir besoin de repérer lui-même toute une zone de pixels appartenant à l'objet, ni de dessiner une ligne de contour ou une boîte englobant l'objet. Une telle fonctionnalité est notamment intéressante pour des personnes handicapées qui ne peuvent effectuer qu'un seul clic ou une désignation d'objet équivalente et ne peuvent pas effectuer des opérations supplémentaires tel qu'un déplacement de souris pour encadrer un objet à sélectionner. Cette fonctionnalité est aussi intéressante lorsqu'une image présente une grande quantité d'objets à sélectionner. L'opérateur souhaite ainsi désigner un objet sur une image vidéo par exemple par un simple clic et obtenir automatiquement la visualisation de l'objet désigné, par une boîte englobante ou une tache de couleur par exemple. Un problème technique est la mise au point d'un traitement automatique pour la délimitation de l'image d'un objet dans une image à partir de la sélection par l'utilisateur d'un point dans l'image de l'objet. Différentes techniques de traitement d'image ont été développées, mais 25 aucune ne présente de résultats suffisamment fiables et robustes face aux variations de luminosité, de forme ou de texture des objets. Il existe des algorithmes de traitement permettant de repérer des objets dans une image lorsque ces objets ont une forme géométrique de base, du type disque ou rectangle par exemple, ou encore une couleur uniforme spécifique 30 ou des contours suffisamment nets. Ces algorithmes ne sont plus efficaces en général pour des images d'objets quelconques du fait de la complexité de leurs images, des similarités de couleurs entre objets et fonds, ou du manque de contraste notamment. 2909205 2 Une première catégorie de traitement d'image est basée sur la détection automatique des contours d'un objet. Toutefois, ce procédé induit des erreurs dues aux variations de luminosité importantes dans les images, aux effets d'ombre ou aux variations de texture, interprétés de manière erronée 5 par ce procédé comme des contours d'objets. Il existe d'autres procédés de désignation d'objet, par exemple faisant intervenir les images des deux caméras, l'une des caméras étant par exemple fixe et l'autre mobile et guidant le mouvement d'un bras d'un robot. II existe cependant un besoin pour une méthode ne requérant pas de caméra 10 supplémentaire, ni de préparation des objets à saisir, notamment pas de marquage préalable des objets à l'aide de points cibles. Dans le traitement d'images en général pour l'identification d'objets, il existe de nombreuses recherches sur la segmentation globale d'images dans le but de rechercher tous les objets présents dans une image. L'objectif 15 généralement souhaité en segmentation d'image est le découpage de l'ensemble de l'image en objets. Toutefois, la généralité de l'objectif amène à utiliser des attributs photométriques, la couleur notamment, qui à eux seuls ne permettent pas de reconstruire un objet. Par conséquent la sémantique associée aux objets reste éloignée de la sémantique qu'un être humain peut 20 lui associer. Un but de l'invention est notamment de permettre la désignation d'un objet, par une seule interaction sur une image, le différentiant du reste de l'image. A cet effet, l'invention a pour objet un procédé de désignation d'un objet dans une image, le procédé comportant : une étape de désignation d'un point P1 à l'intérieur de l'objet dans l'image ; une étape de segmentation de l'image en régions élémentaires ; une étape d'identification d'une région d'origine R1 à laquelle 30 appartient le point P1 ; - une étape de construction d'un graphe de connexité entre Iles régions ; une étape de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la région d'origine R1, en combinant différents attributs d'appartenance ; 2909205 3 - une étape de fusion de la région d'origine R1 avec ses régions connexes, une région connexe étant fusionnée si la valeur de sa fonction d'appartenance est supérieure à un seuil donné ; les étapes de calcul de fonctions d'appartenance des régions connexes et de 5 fusion étant répétées pour chaque nouvelle région fusionnée jusqu'à ce qu'aucune fusion ne soit effectuée. L'étape de fusion comporte par exemple les étapes suivantes : - une étape de calcul de la fonction d'appartenance à l'objet pour les régions connexes à la région d'origine R1 ; 10 - une étape de fusion de la région d'origine R1 avec la région connexe la plus proche dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ; une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée ; 15 l'étape de fusion comportant par la suite les étapes itératives suivantes : une étape (71, 72) de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la nouvelle région fusionnée R; ; une étape de fusion (73) de la région fusionnée R; avec la région connexe la plus proche Ri dont la valeur de la fonction d'appartenance 20 est supérieure à un seuil donné ; une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée. Avantageusement, le calcul de la fonction d'appartenance de la région à 25 l'objet se fait par exemple par une opération floue o combinant plusieurs attributs caractérisant la dissimilitude de la région connexe Ri à la région fusionnée R;. Plusieurs types d'attributs peuvent être utilisés, dont par exemple les attributs suivants : l'éloignement de la région Ri au point de désignation P1 ; la distance du centre de gravité de la région Ri au bord de l'image ; - la densité de la région Ri définie comme le rapport de sa surface sur la surface de sa boîte englobante ; - la compacité de la région Ri définie comme le rapport du carré de son 35 périmètre sur sa surface ; 2909205 4 -la symétrie selon un axe de l'image, une région symétrique à une région appartenant à l'objet étant susceptible d'appartenir à cet objet. Avantageusement, le procédé comporte par exemple une étape de 5 reconnaissance de l'objet, ledit procédé utilisant un critère permettant de comparer l'objet aux éléments d'un dictionnaire. Le point P, est par exemple désigné au moyen d'une interface de saisie de type souris. 10 D'autres avantages et caractéristiques de l'invention apparaîtront à l'aide de la description qui suit faite en regard de dessins annexés qui représentent : - les figures la, 1 b et 1c, un exemple de segmentation selon l'art antérieur à partir d'une image originale ; - la figure 2, un exemple de résultat de segmentation souhaité ; 15 la figure 3, une illustration des étapes possibles d'un procédé selon l'invention ; les figures 4a et 4b, une illustration de deux segmentations possibles d'une image ; - la figure 5, une illustration d'un graphe de connexité utilisé dans un 20 procédé selon l'invention ; la figure 6, une illustration d'un lien de connexité ; la figure 7, une illustration des étapes possibles d'un processus itératif appliqué dans une étape de fusion des régions d'un procédé selon l'invention. 25 Les figures la, lb, 1c illustrent, à titre d'exemple, le résultat d'une méthode de segmentation globale d'une image selon l'art antérieur, la figure la présentant l'image originale, la figure 1 b une segmentation cible et la figure 1c la segmentation finalement obtenue. 30 La figure la illustre une image originale A. Le but d'une segmentation globale automatique classique est d'obtenir une image H(A) illustrée par la figure 1 b. Dans cette image H(A) on cherche à réaliser une segmentation en régions sémantiques 1 de toute l'image, dans laquelle chaque objet de premier plan 2 ou de l'arrière-plan 3 est isolé individuellement. La figure 1c illustre la figure segmentée S(A) finalement obtenue où l'on observe une sur-segmentation 2909205 5 par rapport à l'image idéale H(A), des sous-segments 4 étant créés à l'intérieur des objets. Les sous-segments 4, obtenus par segmentation automatique, forment des régions élémentaires en opposition aux régions sémantiques de la figure 1 b 5 obtenues par segmentation humaine. Plus généralement, les principales limites d'une segmentation automatique classique sont les suivantes : des régions de couleurs similaires mais éloignées faisant partie du même objet ne sont pas toujours incluses dans un même segment ; 10 des régions de couleurs similaires et proches faisant partie respectivement de l'objet et du fond peuvent être incluses dans un même segment ; des régions de couleurs très différentes, voisines, faisant partie du même objet ne sont elles aussi pas toujours incluses dans un même 15 segment ; - enfin, des régions de couleurs très différentes, voisines, faisant partie de l'objet et du fond peuvent être regroupées dans un même segment. Les seuls paramètres de distance entre régions et de couleur sont donc insuffisants pour déterminer l'appartenance d'une région à l'objet ou au fond. 20 Il est alors difficile de fusionner automatiquement des régions pour les regrouper en zones correspondant aux différents objets. Une segmentation globale classique ne permet donc pas de segmenter de manière fiable une image en objets sémantiques, puisqu'elle aboutit : soit à une sur-segmentation de l'image telle qu'illustrée par la figure 25 1c, où chaque objet est découpé en zones difficiles à regrouper ; soit à une sous-segmentation de l'image, qui ne permet pas d'isoler les objets du fond. La figure 2 est une illustration d'un exemple de résultat souhaité, pouvant 30 être obtenu par un procédé selon l'invention. Un objet 21 situé dans une partie de l'image est indiquée par un opérateur, par un simple clic de souris par exemple, et la zone de l'image correspondant à l'objet ainsi désignée est différenciée de tout le reste de l'image. Sur la figure 2, une croix 22 est un exemple de point de désignation 35 effectuée par un opérateur, par exemple au moyen d'un clic de souris. La 2909205 6 segmentation souhaitée D(A) est une segmentation binaire, la région correspondante à l'objet désigné 21 étant séparée du reste de l'image ou fond. Dans l'exemple de la figure 2, on peut notamment rendre flou tout ce qui correspond alors au fond de l'image. Ce fond contient plusieurs objets au 5 sens d'une segmentation classique. La figure 3 illustre des étapes possibles pour la mise en oeuvre du procédé selon l'invention. Le procédé comporte une étape préliminaire 30 de désignation d'un point 10 dans l'objet sur l'image. Dans une image affichée sur une interface graphique un opérateur désigne un point faisant partie de l'objet qu'il souhaite désigner, au moyen d'une interface de saisie, par exemple une souris une trackball ou tout autre dispositif adapté au profil de l'utilisateur. Dans l'exemple de la figure 2 l'objet 21 est désigné par un point représenté par une 15 croix 22. L'image peut par exemple subir une étape supplémentaire, optionnelle, de filtrage bas niveau. Dans cette étape, l'image est filtrée afin de réduire sa taille, par exemple sur un nombre réduit de couleurs. Dans une première étape 31, le procédé réalise une segmentation de l'image A en régions. L'image sur laquelle se fait la désignation est découpée 20 en régions par l'intermédiaire d'une méthode de segmentation d'image, par exemple par l'utilisation d'une technique de ligne de partage des eaux ou de diffusion anisotropique. Le procédé comporte une deuxième étape 32 de construction d'un graphe de connexité des régions. Dans cette étape, un graphe de connexité des 25 régions est déterminé à partir de cette segmentation. Dans une troisième étape 33, le procédé effectue le regroupement des régions pour recouvrir au mieux l'objet désigné. La position du clic sur l'image est par exemple utilisée comme repère pour agréger des régions supposées appartenir à l'objet. Les régions à fusionner sont déterminées par 30 des critères structurels, dépendants ou non de la position du clic. Ces critères peuvent être inclusifs ou exclusifs. Les figures 4a et 4b illustrent deux exemples de segmentation de l'image exécutée lors de la première étape 31 précitée. Cette première étape est la 35 segmentation de l'image brute ou initiale dont le but est le découpage de 2909205 7 l'image en régions homogènes. L'objectif de la segmentation esi: d'avoir des régions qui correspondent au mieux aux objets présents dans l'image, et ayant si possible des frontières régulières entre elles. Cette segmentation fournit un nombre d'éléments en nombre plus réduit que le nombre de pixels 5 de l'image initiale. A ce stade, il n'est pas possible de savoir si différentes zones appartiennent à un même objet. Les figures 4a et 4b illustrent deux exemples de segmentations de l'image originale A de la figure la, obtenues selon des méthodes, ou algorithmes, connues. La figure 4a illustre une première méthode de segmentation 10 obtenue par diffusion anisotropique, la figure segmentée 41 est obtenue par une méthode basée sur les contours. Un document Ma, W. . and B.S. Manjunath : Edge Flow : A technic for boundary detection and segmentation. IEEE Transactions on Images Processing, pp 1375-1388, Aug 2000, décrit une méthode de segmentation basée sur les contours. L'image 41 est par 15 ailleurs par exemple obtenue par une diffusion anisotropique. La diffusion anisotropique fait évoluer l'ensemble de l'image de manière à lisser les régions homogènes et à augmenter le contraste au niveau des contours. La figure 4b présente une figure segmentée 42 obtenue par la méthode dite de ligne de partage des eaux. La ligne de partage des eaux est le modèle 20 caractéristique de la segmentation d'image par les méthodes de la morphologie mathématique. Le principe de base consiste à décrire les images comme une surface topographique. Un ouvrage de G. Matheron et J. Serra The Birth of Mathematical Morphology , June 1998 décrit cette méthode. 25 De manière générale, plusieurs méthodes de segmentation en régions peuvent être utilisées. En particulier, les critères suivants peuvent être utilisés : par les contours, comme l'illustre la figure 4a ; par les ensembles de pixels connexes homogènes, comme l'illustre la 30 figure 4b. Le découpage obtenu n'est lié à aucune information sur les distances. Un résultat important est notamment que la segmentation génère des régions au plus proche des objets, en particulier au plus proche de leur structure. La segmentation permet d'avoir des régions correspondant exactement, ou 35 presque, aux différentes parties d'un objet. Une région peut notamment être 2909205 8 caractérisée par sa couleur moyenne, son centre de gravité, sa boîte englobante et sa surface. La segmentation de l'image en régions homogènes est fonction de ces paramètres. D'autres paramètres peuvent éventuellement être pris en compte. 5 Dans l'exemple d'une bouteille d'eau minérale de couleur verte en matière plastique la segmentation devrait permettre si possible d'obtenir notamment des régions correspondant respectivement au bouchon, à l'étiquette et au plastique vert. 10 La figure 5 est une illustration d'un graphe de connexité obtenu à l'issue de la deuxième étape 32 précitée. Un graphe de connexité est une structure classique utilisée en segmentation d'image pour la fusion de régions. Plus particulièrement, la figure 5 illustre à titre d'exemple un graphe de connexité 51 obtenu à partir de l'image segmentée 41 de la figure 4a. L'image d'entrée 15 est représentée par l'ensemble de ses pixels { p; }. Pa = { Rk } 1 REVENDICATIONS 1. Procédé de désignation d'un objet dans une image caractérisé en ce qu'il comporte : - une étape (30) de désignation d'un point Pi (22) à l'intérieur de l'objet (21) dans l'image ; une étape (31) de segmentation de l'image (A) en régions élémentaires (4, R;) ; une étape d'identification d'une région d'origine RI à laquelle appartient le point PI ; une étape (32) de construction d'un graphe de connexité (51) entre les régions ; - une étape de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la région d'origine RI, en combinant différents attributs d'appartenance ; une étape (33) de fusion de la région d'origine RI avec ses régions connexes, une région connexe étant fusionnée si la valeur de sa fonction d'appartenance est supérieure à un seuil donné ; les étapes de calcul de fonctions d'appartenance des régions connexes et de fusion étant répétées pour chaque nouvelle région fusionnée jusqu'à ce qu'aucune fusion ne soit effectuée. 2. Procédé selon la revendication 1, caractérisé en ce que l'étape (33) de fusion comporte : une étape (71, 72) de calcul de la fonction d'appartenance à l'objet pour les régions connexes à la région d'origine RI ; - une étape (73) de fusion de la région d'origine RI avec la région connexe la plus proche dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ; - une étape de mise à jour du graphe de connexité en fonction de la nouvelle région fusionnée ; la dite étape de fusion (33) comportant par la suite les étapes itératives suivantes (71, 72, 73) : une étape (71, 72) de calcul d'une fonction d'appartenance à l'objet pour les régions connexes à la nouvelle région fusionnée R; ; 2909205 16 une étape de fusion (73) de la région fusionnée R; avec la région connexe la plus proche Ri dont la valeur de la fonction d'appartenance est supérieure à un seuil donné ; une étape de mise à jour du graphe de connexité en fonction de la 5 nouvelle région fusionnée. 3. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le calcul de la fonction d'appartenance de la région à l'objet (21) se fait par une opération floue ( o) combinant plusieurs attributs 10 caractérisant la dissimilitude de la région connexe Ri à la région fusionnée R. 4. Procédé selon la revendication 3, caractérisé en ce qu'un attribut de l'opération floue est l'éloignement de la région Ri au point de désignation PI (22). 5. Procédé selon l'une quelconque des revendications 3 ou 4, caractérisé en ce qu'un attribut de l'opération floue est la distance du centre de gravité de la région Ri au bord de l'image. 20 6. Procédé selon l'une quelconque des revendications 3 à 5, caractérisé en ce qu'un attribut de l'opération floue est la densité de la région Ri définie comme le rapport de sa surface (A(Ri)) sur la surface de sa boîte englobante (BB(Ri)). 25 7. Procédé selon l'une quelconque des revendications 3 à 6, caractérisé en ce qu'un attribut de l'opération floue est la compacité de la région Ri définie comme le rapport du carré de son périmètre (p(Ri)) sur sa surface (A(Ri)). 8. Procédé selon l'une quelconque des revendications 3 à 7, caractérisé en 30 ce qu'un attribut de l'opération floue est la symétrie selon un axe de l'image, une région symétrique à une région appartenant à l'objet (21) étant susceptible d'appartenir à cet objet. 9. Procédé selon l'une quelconque des revendications précédentes, 35 caractérisé en ce qu'il comporte une étape de reconnaissance de l'objet (21), 15 2909205 17 ledit procédé utilisant un critère permettant de comparer l'objet aux éléments d'un dictionnaire. 10. Procédé selon l'une quelconque des revendications précédentes, 5 caractérisé en ce que le point PI (22) est désigné au moyen d'une interface de saisie de type souris.