# Contours actifs localisés hybrides basés région et gradient

Vincent Jaouen, Clovis Tauber

<figure><img src="image_1.png" /></figure>

## To cite this version:

Vincent Jaouen, Clovis Tauber. Contours actifs localisés hybrides basés région et gradient. Colloque GRETSI 2015, École normale supérieure de Lyon, Sep 2015, Lyon, France. hal-01175832

HAL Id: hal-01175832

https://hal.science/hal-01175832v1

Submitted on 15 Jul 2015

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Contours actifs localisés hybrides basés région et gradient

Vincent JAOUEN¹, Clovis TAUBER¹

¹UMRS INSERM U930 «Imagerie et cerveau», Université François Rabelais de Tours
Faculté de médecine, 10 bd Tonnellé, 37032 Tours, France

Vincent.Jaouen@univ-tours.fr, Clovis.Tauber@univ-tours.fr

**Résumé** – Nous proposons une nouvelle méthode de segmentation par contour actif implicite basée à la fois sur la statistique régionale locale dans le voisinage des pixels du level set et sur l'information de contour. L'originalité de notre approche réside dans la combinaison d'un terme régional localisé avec un terme adaptant localement l'influence d'un champ de forces extérieures basé contours de type flot de vecteurs gradients (GVF). Cette technique permet d'une part de lever la limitation de convergence imposée par le rayon de localisation des approches locales, et d'autre part de dépasser les restrictions des champs de forces basées contours lorsque le niveau de bruit impose une dégradation de la carte des contours ou lorsque des centres de divergences interdisent sa progression.

**Abstract** – We propose a new segmentation method for implicit active contours segmentation based simultaneously on local regional statistics in the vicinity of the level set and on contour information. The originality of our approach lies in the combination of a local region term with an adaptive term that locally weights the influence of external force fields such as gradient vector flow fields. On the one hand, this technique extends the convergence horizon of localizing approaches caused by the localizing radius. On the other hand, it allows to overpower inherent restrictions of edge-based fields approaches when the level of noise hampers the edge map quality, or when the presence of centers of divergence forbids further evolution of the model.

## 1 Introduction

Avec plus de 17500 références à ce jour, l'article sur la segmentation par contours actifs (CA) de Kass et Witkin [1] figure parmi les plus cités de l'histoire du traitement d'image. Son principe consiste à déformer un modèle mathématique (une courbe dans le cas 2D ou une surface dans le cas 3D) superposé à une image afin qu'il en épouse les contours. Ce problème s'exprime le plus souvent comme une formulation variationnelle dans laquelle on minimise une fonction de coût appelée par analogie physique fonctionnelle d'énergie, ou de manière équivalente comme un équilibrage progressif de forces agissant sur le modèle. Cette fonctionnelle incorpore des termes de régularité du CA ainsi que des termes d'attraction vers les contours de l'image, ou forces extérieures.

Deux principales catégories de forces extérieures ont fait l'objet d'une littérature abondante pour pallier les lacunes de la formulation d'origine. D'une part, des forces basées contours (FBC) qui reposent sur l'identification des gradients dans l'image [2, 4, 5]. D'autre part, des forces basées région (FBR) qui comparent les statistiques globales à l'intérieur et à l'extérieur du CA [6]. Les modèles FBR permettent en général une plus grande flexibilité dans l'initialisation et bénéficient d'une meilleure robustesse apportée par la statistique. Toutefois, ceux-ci peuvent se révéler incapables d'identifier des objets dont les propriétés globales ne sont pas différentes de celles de l'image (Fig. 1b).

Plusieurs auteurs ont récemment proposé d'exploiter la statistique dans le voisinage du CA pour ne plus dépendre uniquement des propriétés globales de l'objet et de l'image [7, 8, 9].

<figure><img src="image_3.png" /><figcaption>FIGURE 1 – Image synthétique 150 × 100. Situation initiale (en vert) mettant en échec les modèles traditionnels (b) approche région globale (c) approche région localisée de rayon $r = 30$ (d) approche GVF avant l'effondrement du modèle à cause d'un centre de divergence du champ spécifié en jaune (e) méthode proposée</figcaption></figure>

En particulier, Lankton et Tannenbaum, ont proposé un formalisme général (localized region-based active contours, LRAC) pour localiser n'importe quel terme FBR au travers d'un paramètre contrôlant le rayon de localisation $r$. Ils permettent ainsi la segmentation d'objets aux statistiques hétérogènes. Les FBC, comme les champs de type Gradient Vector Flow (GVF) [2], sont quant à elles généralement définies dans toute l'image et permettent de guider le modèle même lorsque celui-ci se trouve dans une zone homogène.

Si les approches régionales localisées ou basées FBC présentent des atouts certains, elles comportent encore plusieurs limitations. D'une part, les approches de type LRAC sont fortement dépendantes du rayon de localisation $r$, et peuvent ne pas converger lorsque ce dernier est inférieur à la distance séparant le modèle de l'objet d'intérêt (Fig. 1c). D'autre part,
les approches FBC sont sensibles au bruit ainsi qu’à la présence de centres de divergence [10]. Ces centres sont inhérents à tout objet à segmenter et sont également engendrés par la présence d’objets secondaires dans l’image, source de gradients. Ils forment des barrières de potentiel infranchissables, qui peuvent mettre en échec l’évolution du CA (Fig. 1d). De plus, ils dépendent de façon critique de la carte des contours, dont la précision peut être altérée par un lissage employé dans le cas d’images bruitées ou afin d’occulter des objets secondaires.

Notre approche consiste à répondre conjointement aux limitations des deux types d’approche en les combinant de façon à tirer profit de leurs forces respectives. Nous pondérons l’influence du champ de FBC en fonction d’une analyse locale de sa régularité. Nous comparons les résultantes locales intérieures et extérieures du champ de FBC au voisinage du contour, et pondérons favorablement ou défavorablement l’influence du champ de FBC en fonction du degré de colinéarité de ces résultantes. De cette manière, nous nous affranchissons en partie des limitations inhérentes des modèles basés FBC ainsi que des limitations dues au rayon de localisation des approches régionales localisées. La figure 1e illustre la convergence d’un tel modèle pour le cas proposé.

Dans la suite de cet article, nous présentons succinctement les approches GGVF et LRAC. Nous détaillons ensuite la méthode de contours actifs proposée, et la comparons à ces approches sur différents types d’images et de situations initiales.

# 2 Méthodes existantes

## Notations

Soit $I(x)$ une image définie sur un domaine $\Omega$. Soit $C$ un contour fermé représenté comme l'ensemble de niveau 0 d'une fonction de distance signée $\phi: C = \{x | \phi(x) = 0\}$. Nous évoluons dans une bande étroite autour de ce niveau 0. Soit $\delta\phi(x)$ une version lissée d'un delta de Dirac centré en $\phi(x) = 0$ définissant cette bande étroite autour de $C$.

## 2.1 Generalized gradient vector flow (GGVF)

Le champ de FBC de flot de vecteurs gradient généralisé (GGVF) [2] est le champ de vecteur $\vec{F}$ défini comme la solution stationnaire de l'équation différentielle vectorielle suivante :

$$ \frac{\partial \vec{F}}{\partial t} = g(|\nabla \vec{f}_{\sigma}|) \Delta \vec{F} - h(|\nabla \vec{f}_{\sigma}|)(\vec{F} - \nabla \vec{f}_{\sigma}), \quad (1) $$

où chaque composante spatiale $F_x$, $F_y$ est résolue de manière indépendante. $\Delta$ est l'opérateur laplacien vectoriel, $f_\sigma$ est une carte des contours déduite de l'image, ayant de fortes valeurs au niveau des contours, généralement lissée par un filtre gausien d'échelle $\sigma$ dans le cas d'images bruitées. $g(s) = e^{-s/\kappa}$ et $h = 1 - g$ sont deux fonctions contrôlant l'équilibre entre le premier et second terme de l'équation au travers du paramètre $\kappa$. Le premier terme privilégie la diffusion linéaire de

$\vec{F}$ dans les régions homogènes où $|\nabla \vec{f}_\sigma|$ est faible. Le second terme tend à conformer le champ à $\nabla \vec{f}_\sigma$ au niveau des contours. $\vec{F}(x)$ peut ensuite être normalisé pour accélérer la progression du modèle, ce que nous adoptons pour les expérimentations.

L'évolution de $\phi(x)$ soumis à un champ GGVF s'écrit [11] :

$$ \frac{\partial \phi}{\partial t}(x) = \lambda \delta\phi(x) \operatorname{div} \left( \frac{\nabla \phi(x)}{|\nabla \phi(x)|} \right) - \delta\phi(x) \langle \vec{F}, \nabla \phi(x) \rangle, \quad (2) $$

où $\langle \cdot, \cdot \rangle$ est le produit scalaire. Le premier terme est un terme régularisant la courbure de $\phi(x)$, tandis que le second contrôle sa progression vers les contours par la projection du champ GGVF sur sa normale intérieure $-\nabla\phi(x)$.

## 2.2 Méthode de Lankton et Tannenbaum (LRAC)

La méthode LRAC localise l’approche des contours actifs sans gradient de Chan et Vese [6, 8]. Le modèle est contrôlé par l’équation différentielle suivante :

$$ \frac{\partial \phi}{\partial t}(x) = \lambda \delta\phi(x) \operatorname{div} \left( \frac{\nabla \phi(x)}{|\nabla \phi(x)|} \right) + \delta\phi(x) \int_{\Omega_y} B_r(x, y) \delta\phi(y) \cdot \left( (I(y) - u_x)^2 - (I(y) - v_x)^2 \right) dy, \quad (3) $$

où $B_r(x, y)$ est un masque circulaire de rayon de localisation $r$ autour de $x$ :

$$ B_r(x, y) = \begin{cases} 1 & \text{si } \|x - y\| < r, \\ 0 & \text{sinon} \end{cases}, $$

et où $u_x$ et $v_x$ représentent les moyennes de $I$ dans le masque $B$ à l'intérieur et à l'extérieur de $C$.

Le premier terme est identique à (2). Le deuxième terme est le terme de FBR localisées, comparant les statistiques à l'intérieur et à l'extérieur du contour dans un voisinage de chaque pixel de la bande étroite $\delta\phi(x)$.

# 3 Méthode proposée

L'approche proposée consiste à combiner les FBR localisées aux FBC en pondérant l'influence du champ de FBC en fonction de son degré de régularité et de sa configuration. En effet, ces champs ne sont généralement bien définis que lorsqu'ils sont localement réguliers. Des écarts à cette régularité peuvent se produire localement en présence de bruit.

Pour établir cette pondération, nous comparons les résultantes du champ dans les voisinages intérieurs et extérieurs du CA, et favorisons les situations pour lesquelles ces résultantes sont parallèles ou antiparallèles. De plus, nous limitons l'influence du champ lorsque les résultantes divergent localement, correspondant à la situation d'un contour aux abords
<figure><img src="image_4.png" /><figcaption>FIGURE 2 – Analyse locale du champ de FBC au voisinage d'un nœud du CA. La normale extérieure au CA est montrée en noir, les résultantes locales intérieure $\vec{F}_u^R$ en vert et extérieure $\vec{F}_v^R$ en rouge (a,b) résultantes parallèles à considérer dans les zones homogènes (c) résultantes antiparallèles à ignorer (d) résultantes antiparallèles à considérer près des contours.</figcaption></figure>

d'un centre de divergence. Les figures 2a et 2b illustrent un contour actif situé dans des zones homogènes de l'image dans lesquelles un grand nombre de vecteurs du champ de FBC sont parallèles. Les figures 2c et 2d illustrent deux situations où les résultantes sont antiparallèles. La figure 2c montre une situation problématique où le champ diverge localement (centre de divergence). La figure 2d illustre quant à elle une situation de convergence locale du champ.

Nous pondérons favorablement l'influence du champ de FBC en proportion du produit scalaire entre la résultante locale intérieure $\vec{F}_u^R$ et extérieure $\vec{F}_v^R$, lorsque celui-ci est positif dans les zones homogènes (situation 2a et 2b), ainsi que dans le cas de convergence du champ près des contours (situation 2d). La situation de divergence locale est quant à elle défavorablement pondérée (situation 2c).

L'équation du modèle proposé de contour actif localisé basé région et gradient (GALAC, pour gradient aided localized active contour) s'écrit :

$$ 
\begin{aligned}
\frac{\partial \phi}{\partial t}(x) = & \lambda \delta \phi(x) \operatorname{div} \left( \frac{\vec{\nabla} \phi(x)}{|\vec{\nabla} \phi(x)|} \right) && (4) \\
& + \delta \phi(x) \int_{\Omega_y} B_r(x, y) \delta \phi(y) \\
& \cdot \left( (I(y) - u_x)^2 - (I(y) - v_x)^2 \right) dy \\
& - (\omega \underset{\leftrightarrow}{=} + \omega \overset{\leftrightarrow}{=}) \delta \phi(x) \langle \vec{F}, \vec{\nabla} \phi(x) \rangle, && (5)
\end{aligned}
$$

où $\omega \underset{\leftrightarrow}{=} \text{ est un poids favorisant les situations parallèles dans les zones homogènes (figures 2a et 2b), et où } \omega \overset{\leftrightarrow}{=} \text{ est un poids favorisant la situation de convergence locale du champ près des contours (figure 2d) et défavorisant le champ de FBC au voisinage de centres de divergence (figure 2c):}$

$$ 
\begin{aligned}
\omega \underset{\leftrightarrow}{=} & g(|\vec{\nabla} f_{\sigma}|) R \left( \langle \vec{F}_u^R(x), \vec{F}_v^R(x) \rangle \right), \\
\omega \overset{\leftrightarrow}{=} & h(|\vec{\nabla} f_{\sigma}|) R \left( \langle \vec{F}_u^R(x), \vec{\nabla} \phi(x) \rangle \right) R \left( \langle \vec{F}_v^R(x), -\vec{\nabla} \phi(x) \rangle \right),
\end{aligned}
$$

où $R(s) = sH(s)$ est la fonction rampe, primitive de la fonction de Heaviside $H$.

Les résultantes locales moyennes $\vec{F}_u^R(x)$ et $\vec{F}_v^R(x)$ s'expriment par :

$$ 
\begin{aligned}
\vec{F}_u^R(x) &= \frac{\int_{\Omega_y} B_{r'}(x, y) H \phi(y) \vec{F}(y) dy}{\int_{\Omega_y} B_{r'}(x, y) H \phi(y) dy}, \\
\vec{F}_v^R(x) &= \frac{\int_{\Omega_y} B_{r'}(x, y)(1 - H \phi(y)) \vec{F}(y) dy}{\int_{\Omega_y} B_{r'}(x, y)(1 - H \phi(y)) dy},
\end{aligned}
$$

où la sommation s'effectue sur chaque composante spatiale des vecteurs dans un voisinage $r'$ de $x$.

Ces poids permettent ainsi de réduire l'influence du champ de FBC à mesure du non alignement des résultantes intérieures et extérieures. L'utilisation de résultantes locales permet de ne pas faire reposer le modèle sur les valeurs isolées de deux points et de renforcer ainsi sa robustesse. Le rayon $r'$ de localisation de l'analyse de colinearité des FBC n'est donc pas lié à $r$. Pour l'analyse du champ de FBC, nous nous limitons à un voisinage $r'$ proche du CA. Le temps de calcul des statistiques locales étant proportionnel au carré de ce rayon, le choix $r' \ll r$ ajoute ainsi un faible surcoût de calcul vis-à-vis de l'approche LRAC.

## 4 Résultats

<figure><img src="image_5.png" /><figcaption>FIGURE 3 – Résultats sur l'image sparrow [12]</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>FIGURE 4 – Résultats sur une IRM du cerveau</figcaption></figure>
<table><caption>TABLE 1 – Indices de Jaccard</caption><thead><tr><th></th><th>GVF</th><th>LRAC</th><th>GALAC</th></tr></thead><tbody><tr><td>sunset sparrow</td><td>0,76</td><td>0,64</td><td>0,90</td></tr><tr><td>lady liberty</td><td>0,71</td><td>0,45</td><td>0,82</td></tr><tr><td>shroom</td><td>0,57</td><td>0,61</td><td>0,73</td></tr><tr><td>IRM (fig. 4)</td><td>0,24</td><td>0,42</td><td>0,91</td></tr></tbody></table>

La figure 3 montre un résultat de segmentation pour une image en niveau de gris issue de la base de données CSIQ de l'université d'état d'Oklahoma [12]. Les paramètres de localisation utilisés sont *r* = 40 et *r'* = 5. L'approche GVF (Fig. 3b) ne parvient pas à capturer la forme aiguë du bec de l'oiseau imposé par la trop grande régularité du champ au niveau des contours. Le modèle LRAC (Fig. 3c) est quant à lui gêné par la proximité immédiate de la branche, provoquant une segmentation partielle de l'arbuste. Le recouvrement de la forme du bec dans l'approche GALAC proposée (Fig. 3d) s'explique par l'apport des FBR localisées, qui outrepassent l'influence du champ GVF. Ce même champ GVF permet néanmoins d'inter dire la propagation du contour dans les branches de l'arbuste. Ainsi, la compétition avantageuse de ces deux forces permet une meilleure segmentation. La figure 4 montre la segmentation des ventricules latéraux (en noir) sur une IRM pondérée T1 d'un sujet sain produite dans notre laboratoire. Les paramètres de localisation utilisés sont *r* = 25 et *r'* = 5. En raison de la proximité de la matière grise (en gris), il existe un centre de divergence du champ GVF entre la courbe initiale et les ventricules, empêchant le modèle GVF de converger vers ces derniers (Fig. 4b). Le modèle LRAC (Fig. 4c) a segmenté tantôt l'interface matière blanche-matière grise, tantôt les ventricules, en fonction de la proximité du contour initial, conduisant également à un résultat incorrect qui montre les limites de l'emploi des seules statistiques locales. L'approche GALAC (Fig. 4d) a empêché la segmentation de la matière grise et fait converger le modèle vers la zone ventriculaire grâce à l'apport complémentaire du champ de FBC. Le tableau 1 donne les valeurs du critère de Jaccard pour une même initialisation sur plusieurs images de la base de données [12] et de l'image IRM. Le critère se base sur une segmentation manuelle de l'objet d'intérêt dans l'image. Il confirme les résultats visuels observés. Pour ces images, le temps de convergence moyen sur un ordinateur Intel Core i7 à 3,6 GHz pour les approches GVF, LRAC et GALAC étaient respectivement de 1, 0 s, 5, 6 s et 7, 1 s.

# 5 Conclusion

Nous avons proposé une méthode de segmentation par contours actifs permettant de combiner avantageusement les approches régionales localisées et les approches basées contour en analysant localement la colinéarité des résultantes intérieures et extérieures du champ basé contour dans un voisinage du modèle. Cette approche permet la convergence du contour actif dans des situations mettant en échec les approches traditionnelles,

du fait par exemple de niveaux de bruit élevés imposant un lissage, ou de la présence de centres de divergences ou d'objets secondaires proches du contour initial empêchant la segmentation. Ce cadre proposé est général et peut s'utiliser avec de nombreux champs de forces basées contours et de forces basées régions. Nous envisageons ainsi, dans de futurs travaux, d'étendre cette méthode aux images multi-composantes, en exploitant des champs de forces adaptés [5].

# Références

[1] M. Kass, A. Witkin, and D. Terzopoulos, “Snakes: Active contour models,” *IJCV*, vol. 1, no. 4, pp. 321–331, 1988.

[2] C. Xu and J. L. Prince, “Generalized gradient vector flow external forces for active contours,” *Signal processing*, vol. 71, no. 2, pp. 131–139, 1998.

[3] B. Li and S. T. Acton, “Active contour external force using vector field convolution for image segmentation,” *Image Processing, IEEE Transactions on*, vol. 16, no. 8, pp. 2096–2106, 2007.

[4] M. Rochery et al. “Étude d’une nouvelle classe de contours actifs pour la détection de routes dans des images de télédétection.,” in *19ème colloque GRETSI sur le traitement du signal et des images*, 2003.

[5] V. Jaouen, P. Gonzalez, S. Stute, D. Guilloteau, S. Chalon, I. Buvat, and C. Tauber, “Variational segmentation of vector-valued images with gradient vector flow,” *Image Processing, IEEE Transactions on*, vol. 23, no. 11, pp. 4773–4785, 2014.

[6] T. F. Chan and L. A Vese, “Active contours without edges,” *Image processing, IEEE transactions on*, vol. 10, no. 2, pp. 266–277, 2001.

[7] C. Li et al., “Implicit active contours driven by local binary fitting energy,” in *CVPR 2007*. IEEE, pp. 1–7.

[8] S. Lankton and A. Tannenbaum, “Localizing region-based active contours,” *Image Processing, IEEE Transactions on*, vol. 17, no. 11, pp. 2029–2039, 2008.

[9] W. Aitfares et al. “Une nouvelle approche des contours actifs basés région utilisant une information locale et globale,” in *23ème colloque GRETSI sur le traitement du signal et des images*, 2011.

[10] C. Tauber, H. Batatia, and A. Ayache, “Quasi-automatic initialization for parametric active contours,” *Pattern Recognition Letters*, vol. 31, no. 1, pp. 83–90, 2010.

[11] C. Xu, A. Yezzi Jr, and J. L Prince, “On the relationship between parametric and geometric active contours,” in *Asilomar SSC Conference*. IEEE, 2000, vol. 1, pp. 483–489.

[12] E. C Larson and D. M Chandler, “Most apparent distortion: full-reference image quality assessment and the role of strategy,” *Journal of Electronic Imaging*, vol. 19, no. 1, 2010.