Brevet FR2888375A1 — publié le 20070112

Procédé d'obtention d'une carte de saillance à partir d'une pluralité de cartes de saillances établies à partir de grandeurs visuelles L'invention concerne un procédé d'obtention d'une carte de saillance à partir d'une pluralité de cartes de saillances établies à partir de grandeurs visuelles différentes. L'humain possède une attention visuelle sélective signifiant que notre système visuel répond de façon privilégiée à un certain nombre de signaux 10 provenant des objets, des événements de notre environnement. Le signal attirant notre attention le plus évidement et le plus intuitif est certainement l'apparition soudaine d'un objet dans une scène. Enfin, différentes études cherchent à estimer, à partir de points de fixation réels les similarités des caractéristiques visuelles attirant notre regard. D'une façon générale ces études concernent la mesure de différentes grandeurs telles que la variance normalisée par la luminosité moyenne de l'image, l'entropie et la corrélation entre le point de fixation mesuré et son voisinage. Les principales conclusions sont les suivantes: les mesures de contraste des régions fixées sont plus élevées que celles de régions prises au hasard. En d'autres termes, le contraste d'une zone quel qu'il soit (de luminance, de couleur, de mouvement, de texture...) attire notre attention même lorsque cette zone n'a rien avoir avec la tâche que l'observateur doit accomplir. à partir des mesures de corrélation, ces études montrent également que les régions fixées diffèrent de leur voisinage. La détection des points de saillance dans une image permet l'amélioration ultérieure de procédés de codage, d'indexation. L'obtention de cartes de saillance permettant d'obtenir une liste des points saillants d'une image est décrite dans la demande de brevet Européenne publiée sous le numéro EP1544792 déposée au nom de la société Thomson Licensing SA le 18 décembre 2003. L'obtention de cartes de saillance est relative à différentes grandeurs visuelles. Une carte de saillance pouvant être relative aux composantes chromatiques, une carte par composante chromatique, ou alors relative aux composantes achromatique. Cependant une fois les différentes cartes de saillance obtenue, leur fusion peut engendrer des résultats non souhaités. Une méthode de fusion classique consiste à normaliser les différentes cartes de saillance de façon à obtenir la même dynamique. La normalisation d'une carte C, notée N(C), utilise le maximum global déterminé sur la carte C. La carte de saillance finale S est alors simplement obtenue par la relation suivante: CS(s) = N(N(CSA(s)) + N(CScri(s)) + N(CScr2(s))) avec CSA(s) représentant la carte de saillance de la composante achromatique, CScri(s) représentant la carte de saillance de la première composante chromatique et CScr2(s) représentant la carte de saillance de la seconde composante chromatique. Un avantage de cette méthode est sa simplicité. Par contre, elle présente différents inconvénients: - cette méthode ne fait pas la distinction entre une carte de saillance présentant une distribution quasi uniforme et une carte de saillance présentant un ou plusieurs pics de saillance; - lorsque plusieurs pics de saillance sont présents dans une carte de saillance, ce type de fusion favorise clairement le pic de saillance le plus élevé ; cette méthode est très sensible au bruit impulsionnel, - il n'y a aucune interaction entre cartes. L'invention propose donc de remédier à au moins un des inconvénients précités. A cet effet, l'invention propose un procédé d'obtention d'une carte de saillance à partir d'une pluralité de cartes de saillances établies à partir de grandeurs visuelles différentes. Selon l'invention le procédé comprend - une étape de normalisation desdites cartes de saillance basée sur le maximum théorique de chaque grandeur visuelle, - une étape de compétition intra carte sélectionnant les principales zones de saillance dans chaque carte de saillance, - une étape de compétition inter carte basée sur la somme des compétitions intra carte avec un terme de redondance inter carte fonction du produit des compétitions intra carte et de la probabilité d'apparition d'un site sur lesdites cartes de saillance. Un tel procédé de fusion de cartes de saillance met en place deux procédés de compétition: - une compétition intra-carte permettant d'identifier les zones les plus pertinentes de la carte; - une compétition inter-cartes tirant profit de la redondance et de la complémentarité des différentes cartes. L'utilisation de la redondance inter-cartes permet de renforcer la saillance de certaines zones lorsque celles-ci génèrent de la saillance dans plusieurs dimensions. Par contre, lorsqu'une zone ne génère de la saillance que dans une seule dimension visuelle, il est nécessaire d'utiliser la complémentarité inter-cartes. Selon un mode de réalisation préféré, lors de l'étape de normalisation, on normalise les sites desdites cartes de saillance par rapport au maximum théorique de la valeur de la grandeur visuelle, - on quantifie lesdites cartes linéairement en utilisant un nombre de niveaux prédéterminés. Selon un mode de réalisation préféré, lors de l'étape de compétition intra carte, - on définit une liste préliminaire des sites dits saillants comprenant des sites dont la valeur de la grandeur visuelle est élevée, on parcourt la liste préliminaire des sites dits saillants dans l'ordre décroissant desdites valeurs et on inhibe les autres sites dits saillants présents dans une zone circulaire centrée autour du site dit saillant et d'un rayon prédéterminé, - on établit une liste des sites saillants comprenant les sites non inhibés dont le ratio avec la valeur du site de valeur immédiatement supérieur est supérieur à un seuil prédéterminé. Selon un mode de réalisation préféré, les grandeurs visuelles sont relatives aux composantes chromatiques et achromatique. Selon un mode de réalisation préféré, on effectue une fusion des cartes de saillance relatives aux composantes chromatiques puis on effectue une fusion de la carte de saillance obtenue avec la carte de saillance relative à la composante achromatique. L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence à l'unique figure annexée représentant un exemple de recherche des maximum locaux sur la composante A non modifiée. Le mode de réalisation présenté ci-dessous propose une fusion cohérente pour deux cartes, notées CSCr1 et CSCr2 issues d'une composante Cr1 et Cr2. La généralisation à n cartes de saillance est facilement envisageable. Le procédé de fusion comprend une étape préalable de normalisation dynamique. Contrairement aux normalisations connues qui utilisent une normalisation à partir du maximum global de chaque carte, la normalisation utilisée dans le procédé de fusion se base sur le maximum théorique de chaque dimension visuelle. Ces maximums sont déterminés expérimentalement en utilisant des tests particuliers. Par exemple, pour la composante Cri, une image à luminance uniforme mais présentant un motif rouge saturé génère une dynamique proche de la dynamique maximale de l'axe visuel Cri. La répétition de ce type d'expérimentation permet de définir les maximum théoriques des composantes A, Cri, Cr2. Les deux cartes CSCr' et CSCr2 sont donc normalisées et quantifiées linéairement sur L niveaux. Après normalisation et quantification, elles sont respectivement notées CSNQ et CSNQ. Suite à l'étape de normalisation, le procédé comprend une étape de compétition intra-carte. Cette compétition intra-carte modifie la valeur de chaque site s des cartes CSNQ et CSNQ en fonction du maximum local le plus proche. Ce type de compétition est donné par la relation suivante: CScrl s IntraMapCr'(s)= NQ ( ) Plus Pr ocheMaxcri (s) CS Cr2 s IntraMapCr2(s)= NQ ( ) Plus Pr ocheMaxcr2 (s) La fonction PlusprocheMaxcri (respectivement PlusprocheMaxcr2) retourne la valeur du maximum local de la composante Cri (respectivement Cr2) le plus proche du site s. Cette valeur est extraite de la liste L1 (respectivement L2) de taille K1 (respectivement K2) valeurs. La taille des listes est déterminée de façon à avoir un rapport entre le maximum local n et le maximum local n+1 supérieur à un seuil, fixé arbitrairement à 1.3. Ceci permet de prendre uniquement en compte les principales zones de saillance. Le maximum local n+1 est déterminé en inhibant une zone circulaire centrée autour du maximum local n et d'un rayon de deux degrés visuel comme représenté en figure 1. La taille du cercle est proportionnelle à la distance de visualisation. Suite à l'étape de compétition intra carte, une compétition inter-cartes est appliquée. Cette compétition inter-cartes tire profit de la redondance et de la complémentarité des différentes cartes. Le terme Intermap est donné par la relation suivante: redondance(s) = int raMap cri (s) x int raMap cr2 (s) 3Log(L) Log H(CSNQ (s), CSNQ (s)) N Intermap(s) = complementarite(s) + redondance(s) Le terme complementarité(s) s'obtient en sommant les résultats de la compétition intra-carte: complementarite(s) = int raMap cri (s) + int raMap cr2 (s) La redondance inter-cartes est traitée à partir d'une analyse conjointe des distributions des cartes à fusionner. N représente le nombre de sites des cartes considérées. Le facteur Log H(CSQ (s),CSrQ (s)) déduit de l'histogramme conjoint 3Log(L) des cartes CSNQ et CSNQ modifie la valeur du site s considéré en fonction de sa probabilité d'apparition. La quantité d'information portée par un site s est inversement proportionnelle à sa probabilité d'apparition. Par conséquent, le facteur ci-dessus augmente la valeur d'un site s lorsque sa probabilité d'apparition est faible. Réciproquement, la valeur du site s est diminuée lorsque sa probabilité d'apparition est forte. La fusion des cartes CSCr' et CSCr2 est donnée par le terme intermap(s). Lorsque les grandeurs visuelles Cri et Cr2 représentent les composantes chromatiques, une troisième carte de saillance relative à une 25 composante achromatique peut également être introduite. On introduit alors une approche hiérarchique pour réaliser la fusion des trois carte de saillance. On obtient ainsi la carte de saillance en fusionnant dans un premier temps les deux cartes de saillance relatives aux composantes achromatiques puis on effectue une fusion entre cette carte de saillance chromatique 30 obtenue et la carte de saillance achromatique. N Une telle approche hiérarchique peut également être appliquée en fusionnant avec les cartes de saillance spatiales, une carte de saillance temporelle. On fusionne alors les cartes de saillance chromatiques et achromatiques selon l'approche hiérarchique mentionnée ci-dessus. Puis on effectue encore une fusion hiérarchique de cette carte de saillance spatiale avec la carte de saillance temporelle. Revendications 1. Procédé d'obtention d'une carte de saillance à partir d'une pluralité de cartes de saillances établies à partir de grandeurs visuelles différentes, caractérisé en ce qu'il comprend - une étape de normalisation desdites cartes de saillance basée sur le maximum théorique de chaque grandeur visuelle, - une étape de compétition intra carte sélectionnant les principales zones de saillance dans chaque carte de saillance, - une étape de compétition inter carte basée sur la somme des compétitions intra carte avec un terme de redondance inter carte fonction du produit des compétitions intra carte et de la probabilité d'apparition d'un site sur lesdites cartes de saillance. 2. Procédé selon la revendication 1 caractérisé en ce que lors de l'étape de normalisation, - on normalise les sites desdites cartes de saillance par rapport au maximum théorique de la valeur de la grandeur visuelle, on quantifie lesdites cartes linéairement en utilisant un nombre de niveaux prédéterminés. 3. Procédé selon la revendication 1 caractérisé en ce que lors de l'étape de compétition intra carte, - on définit une liste préliminaire des sites dits saillants comprenant des sites dont la valeur de la grandeur visuelle est élevée, - on parcourt la liste préliminaire des sites dits saillants dans l'ordre décroissant desdites valeurs et on inhibe les autres sites dits saillants présents dans une zone circulaire centrée autour du site dit saillant et d'un rayon prédéterminé, - on établit une liste des sites saillants comprenant les sites non inhibés dont le ratio avec la valeur du site de valeur immédiatement supérieur est supérieur à un seuil prédéterminé. 4. Procédé selon l'une des revendications précédentes caractérisé en ce que les grandeurs visuelles sont relatives aux composantes chromatiques et achromatique. 5. Procédé selon la revendication 4 caractérisé en ce que l'on effectue une fusion des cartes de saillance relatives aux composantes chromatiques puis on effectue une fusion de la carte de saillance obtenue avec la carte de saillance relative à la composante achromatique.