dimension. En fonction de l'information recherchée et du contrôle de l'orientation des objets dans l'image, on choisira un élément carré ou linéaire.

## 2.2 Tiges de maïs

La figure 4 montre une image mosaïque de tige de maïs reconstruite à partir de 9 images de régions adjacentes pour des coupes d'épaisseur 150 µm. La tige est constituée de deux tissus : les faisceaux conducteurs de sève apparaissant comme des taches blanches de grande taille et les cellules de parenchymes situées entre les faisceaux.

La granulométrie par fermeture en niveaux de gris a été appliquée pour déterminer la taille des cellules de parenchymes. Les cellules étant de forme isotrope, des éléments structurants carrés ont été utilisés. La taille maximum d'analyse a été fixée à 250 µm en explorant les diamètres de cellules à l'aide d'outils interactifs sous ImageJ (rsbweb.nih.gov/ij). Elle correspond à une fermeture de taille 35.

<figure><img src="image_106.png" /><figcaption>**Figure 4 :** image mosaïque de tige de maïs (champs de vue : 15,9 mm x 12,4 mm - Résolution 3,62 µm)
Zoom sur une région de 2,3 x 1,7 mm avec des lignes de longueur 25, 75 et 125 µm.</figcaption></figure>

L'analyse granulométrique a été appliquée sur la région d'intérêt dont le contour est tracé sur la figure 4. La courbe granulométrique est tracée en fonction de la taille du côté des carrés exprimée en µm (figure 5). Les variations de niveaux de gris ont été observées principalement pour des tailles variant entre 25 et 125 µm avec un maximum à 75 µm. Les lignes de dimension 25, 75 et 125 µm tracées dans l'image de la figure 4 montrent la cohérence des valeurs trouvées et des tailles observées pour les cellules.

<figure><img src="image_107.png" /><figcaption>**Figure 5 :** Tige de maïs. Courbe granulométrique par fermeture à l'aide d'éléments structurants carrés</figcaption></figure>
## 2.3 Péricarpe de tomate

La figure 6 montre deux exemples d'images de péricarpe de tomate obtenues à partir de coupes d'épaisseur de 250 µm. L'épiderme est situé en haut de l'image et on observe des faisceaux vasculaires au centre du péricarpe. Les cellules sont de taille et de forme variable en fonction de la position : petites et rondes près de l'épiderme et plus allongées dans la deuxième moitié du péricarpe.

<figure><img src="image_108.png" /><figcaption>Figure 6 : exemples d'images de péricarpe de tomate et leur région d'intérêt.</figcaption></figure>

L'allongement des cellules perpendiculairement à l'épiderme a été mis en évidence en utilisant des éléments structurant linéaires verticaux et horizontaux (figure 7). La taille maximum de fermeture a été fixée à 75, correspondant à une longueur de 1060 µm, de manière à analyser les cellules de tomate les plus longues.

<figure><img src="image_109.png" /><figcaption>Figure 7 : Courbes granulométriques extraites pour les images de tomate de la figure 6. Gauche : élément linéaire vertical. Droite : élément linéaire horizontal.</figcaption></figure>

Les différences de longueur de cellules perpendiculairement à l'épiderme sont mises en évidence en utilisant un élément linéaire vertical. Dans le cas de la première image, on observe les variations de niveaux de gris majoritairement pour des tailles inférieures à 400 µm alors que dans la deuxième image, on observe des variations jusqu'à 900 µm.

Cette analyse est rendue possible en contrôlant le positionnement de l'épiderme dans l'image lors de l'acquisition et en quantifiant l'allongement des cellules par analyse granulométrique.
## Conclusion et perspectives

L'analyse granulométrique en niveaux de gris d'images de tissus végétaux acquises à l'échelle macroscopique permet d'extraire des informations sur la taille des cellules. L'analyse est dite globale par opposition aux approches quantifiant la taille et la forme de chaque cellule individualisée.

La fermeture étant comparable à un tamisage, les courbes granulométriques s'interprètent comme des distributions de taille. La mesure est basée sur des variations de niveaux de gris et dépend à la fois de la taille des cellules et du contraste entre parois et cellules. En ce sens, la méthode est classée parmi les méthodes d'analyse de texture d'images. Elle ne garantit pas *a priori* une relation de proportionnalité directe entre la variation de niveaux de gris et la quantité réelle de cellules d'une taille donnée. La mesure est proche d'une distribution de surface dans le cas où le contraste entre cellule et paroi est homogène dans les images.
L'intérêt majeur de la méthode est de pouvoir analyser et comparer des collections d'images de tissus végétaux sur la base de la taille des cellules. L'échelle macroscopique présente l'avantage d'observer des régions représentatives des tissus de manière rapide. L'analyse statistique peut être réalisée par analyse multidimensionnelle des courbes granulométriques (Chaïb et al., 2007). Des calculs de *taille moyenne en niveaux de gris* à partir des courbes sont également envisageables.

## Bibliographie

* Bharati M.H., Jay Liu J., MacGregor J.F. (2004) Image texture analysis: methods and comparisons. Chemometr Intell Lab 72: 57-71

* Chaib J., Devaux M.-F., Grotte M.G., Robini K., Causse M., Lahaye M., Marty I. (2007) Genetic and physiologic relationship among physical, sensory, and morphological attributes of texture in tomato fruit. J Exp Bot 58: 1915-1925

* Cheniclet C., Rong W.Y., Causse M., Frangne N., Bolling L., Carde J.-P., Renaudin J.-P. (2005) Cell expansion and endoreduplication show a large genetic variability in pericarp and contribute strongly to tomato fruit growth. Plant Physiol 139: 1984-1994

* Devaux M.-F., Bouchet B., Legland D., Guillon F., Lahaye M. (2008) Macro-vision and grey level granulometry for quantification of tomato pericarp structure. Postharvest Biol Technol 47: 199-209

* Harada T., Kurahashi W., Yanai M., Wakasa Y., Satoh T. (2005) Involvement of cell proliferation and cell enlargement in increasing the fruit size of Malus species, Sci Hortic Amsterdam 105: 447-456

* Haralick R.M. (1979) Statistical and structural approaches to texture, Proceedings IEEE 67: 786-804

* Papineau P., Sire A., Devaux M.-F., Bansard S. (2008) Système de prise d'image macroscopique. Journées de la mesure et de la métrologie, Biarritz, 6-9 octobre 2008

* Serra J. (1982) Image Analysis and Mathematical Morphology, London: Academic Press.

* Soille P. (2003) Morphological Image Analysis: Principles and Applications. Berlin: Springer-Verlag
# 1. Matériels et méthodes

## 1.1 Dispositif expérimental

Le dispositif expérimental (figure 1) comporte une cuve transparente, un spot pour l'éclairage (40W, couleur jaune) et un appareil photo numérique (CANON EOS350D, Auchan) pour la prise de vue. Le spot produit une lumière permettant de contraster les grains blancs dans le lactosérum (fond opaque jaunâtre). Dans le dispositif, les grains sont préalablement calibrés à des tailles connues. Ils ont été fabriqués lors d'une précédente coagulation, triés à l'aide de tamis de 1, 2, 3 et 4 mm, puis stabilisés par du formol avant d'être stockés. Mêmes s'ils sont tamisés, ces grains ne sont pas pour autant tous de forme identique. Le contenu de la cuve est agité à l'aide d'un barreau magnétique pour simuler le mouvement des grains dans les cuves industrielles.

Nous effectuons plusieurs mélanges lactosérum/grains pour disposer de différentes concentrations voisines des conditions fromagères (20 %, 30 %, 40 %).

Les préparations ne contiennent que de grains de taille unique (1 à 2, 2 à 3 et 3 à 4mm).

<figure><img src="image_110.png" /><figcaption>**Figure 1 :** Dispositif expérimental utilisé pour traiter l'image acquise</figcaption></figure>

## 1.2 Prises de vues

Pour un même échantillon, les images sont prises pendant l'agitation des grains à intervalle régulier de 10s (réglage manuel : temps de pause 1/200s, ouverture 5,6), pendant 3 minutes seulement pour éviter la dégradation des grains. Au total 19 images sont donc acquises pour un même échantillon. La largeur des images est de 3 456 pixels et la hauteur de 2 304 pixels. Les images d'origine sont en couleur codée sur 24 bits. Seule une région de 512 × 512 pixels est extraite de chaque image puis convertie en image monochrome dont les niveaux de gris sont codés sur 8 bits.

Le champ de vue dans les images d'origine est d'environ 8 cm de haut × 12cm de large et celui de la région 512 × 512 de 1,8 cm × 1,8 cm.
## 1.3 Algorithme de traitement

Nous avons réalisé les traitements à l'aide du logiciel **DefNouv** développé en C++ au laboratoire. Les bibliothèques de fonctions spécifiques (ligne de partage des eaux, ...) ont été réalisées par nos soins dans l'optique de créer un code portable occupant un minimum d'espace mémoire destiné à l'origine à être embarqué dans une caméra intelligente. Les traitements comportent six étapes décrites ci-dessous et illustrées sur une image de départ correspondant à des grains de taille de 2 à 3 mm représentant 20 % du mélange grains/lactosérum.

### Image initiale (exemple)

Grains de 2 à 3 mm, mélange à 20 % de grains

<figure><img src="image_111.png" /></figure>

### 1ère étape

Estimation d'une image des défauts (rayures sur la paroi de la cuve et fond non uniforme dû à la diffusion de la lumière dans le milieu opaque) en 2 étapes. La 1ère étape est nécessaire pour corriger les défauts de stabilité de notre dispositif de prise de vue.

- Recadrage spatial de chaque image par rapport à la première image lue en déterminant le maximum de l'inter-corrélation avec la première image sur une zone contenant au moins un défaut convenablement orienté spatialement.

- Calcul de l'image moyenne de la série des 19 images recadrées. Le calcul d'une image sans grain est rendu possible par le mouvement aléatoire des grains. Un simple blanc réalisé à partir de lactosérum sans grain n'a pas été réalisé pour rester au plus proche des conditions opératoires réelles.

<figure><img src="image_112.png" /></figure>
## 2ème étape

Uniformisation du fond et atténuation des défauts pour chaque image en lui retranchant une combinaison linéaire de l'image moyenne sur toute la série (image obtenue à l'étape 1). Les coefficients optimaux sont obtenus par minimisation de l'erreur quadratique moyenne entre l'image traitée et la combinaison linéaire de l'image moyenne : Im Corr. = Im Dép. - (a Im moy. + b). a et b sont obtenus analytiquement en annulant le gradient de l'erreur quadratique. Une formule littérale permet donc d'obtenir directement les valeurs de a et b, sans recourir à un quelconque algorithme (cf. annexe).

<figure><img src="image_113.png" /></figure>

<figure><img src="image_114.png" /></figure>

## 3ème étape

Application d'un filtre médian de taille 8 pour atténuer le bruit tout en préservant les contours.

Uniformisation de l'histogramme des niveaux de gris par la méthode d'égalisation d'histogramme pour améliorer le confort visuel.

## 4ème étape

Segmentation des images (après inversion) à l'aide de l'algorithme de ligne de partage des eaux (LPE) en négligeant tous les minima locaux dont la hauteur est strictement inférieure à un seuil de 20 sur l'échelle des 256 niveaux.

L'image obtenue est une image binaire où les frontières sont représentées par des 1 et les régions par des 0. L'image représentée est le résultat d'un opérateur 'OU' logique entre l'image de départ et l'image segmentée.

Chaque région est supposée contenir 1 grain.

<figure><img src="image_115.png" /></figure>
<figure><img src="image_116.png" /></figure>

## 5ème étape

Détermination d'une 1ère approximation de la taille de chaque grain par seuillage adaptatif région par région. L'algorithme utilisé est un algorithme de relaxation probabiliste (Hummel R.A. and Zucker S.W., 1983 ; Kittler J. and Illingworth J., 1986).

La taille des grains est estimée en calculant le diamètre équivalent, et la proportion par le pourcentage de surface.

## 6ème et dernière étape

<figure><img src="image_117.png" /></figure>

Suppression des grains trop peu contrastés. La netteté des grains est estimée par la moyenne de la norme du gradient au niveau des contours de chaque grain trouvé. Les grains trop peu contrastés sont éliminés par comparaison du gradient avec un seuil fixé à 15.

Pour comparaison, l'image initiale est placée à proximité de l'image traitée.

<caption>**Figures 2 :** *description des 6 étapes de l'algorithme utilisé*</caption>

À l'heure actuelle, tous les paramètres de réglage, à chacune des 6 étapes, sont choisis heuristiquement de façon à réaliser un bon compromis entre résultats obtenus et temps de calcul. À l'étape 1 par exemple, plus la taille de la fenêtre utilisée dans le calcul est grande, meilleur est le recalage (car les détails sont plus nombreux) mais dans ce cas, le temps de calcul est élevé. Le paramètre le plus délicat à déterminer pour arriver à cette qualité de résultat est probablement le seuil de l'algorithme LPE à l'étape 4.
## 2. Résultats

Nous présentons sur les **figures 3** des exemples de résultats obtenus pour les 3 tailles de grains.

Les résultats traités en termes de proportions de grains par rapport au caillé (en %) et de taille de grains (en mm) sont reportés dans la **figure 4**.

Nous avons testé deux proportions (20 et 40 % de grains dans la partie liquide) avec à chaque fois 3 tailles de grains (1 et 2 mm, 2 et 3 mm, 3 et 4 mm).

Les pourcentages de grains calculés ont tendance à être sous-estimés de 11 % pour le mélange à 40 % (quelle que soit la taille des grains). Pour le mélange à 20 %, l'erreur sur la proportion est de 4 % sauf avec les tailles 3 et 4 mm où elle est de 8,3 % (soit une erreur relative importante de 40 %).

Au niveau des tailles, les histogrammes présentés dans les figures 4 montrent une dispersion assez grande mais la moyenne correspond bien aux tailles cibles. Les histogrammes sont d'autant plus étalés que la taille standard des grains est élevée.

Du fait de l'anisotropie des grains de caillé, la solution proposée ici apporte une véritable amélioration par rapport à l'article publié en 2006 (Guillemin et al.,) car elle donne une dimension supplémentaire et donc une estimation plus précise du volume des grains.

On pourrait poursuivre dans cette voie en imaginant une prise de vue stéréoscopique de la scène à l'aide de 2 caméras juxtaposées afin accéder enfin à la 3ème dimension et par conséquent, au volume réel de chaque grain.

La solution proposée révèlera tout son intérêt pour les fromagers quand une solution plus compacte sera mise en œuvre : de petites caméras embarquant toute la puissance de calcul nécessaire au traitement des images existent déjà. Au niveau industriel, il faut savoir que positionner la caméra pour avoir une bonne prise de vue ne sera pas toujours facile.
<figure><img src="image_118.png" /><figcaption>**Figure 3a :** exemples d'images traitées et d'origine pour des tailles de grains de 1 à 2 mm</figcaption></figure>
<figure><img src="image_119.png" /><figcaption>**Figure 3b :** exemples d'images traitées et d'origine pour des tailles de grains de 2 à 3 mm</figcaption></figure>
<figure><img src="image_120.png" /><figcaption>**Figure 3c** : exemples d'images traitées et d'origine pour des tailles de grains de 3 à 4 mm</figcaption></figure>
<table><thead><tr><th rowspan="2"></th><th colspan="2">Proportion de grains<br>par rapport au<br>lactosérum (%)</th><th colspan="2">Taille des grains (mm)</th></tr><tr><th>Attendue</th><th>Mesurée</th><th>Attendue<br>/<br>Moyenne<br>calculée</th><th>Mesurée (diamètre équivalent)</th></tr></thead><tbody><tr><td rowspan="2">grains<br>de<br>1 à 2mm</td><td>20</td><td>24,0</td><td>1 à 2<br>/<br>1,96</td><td>Histogramme des diamètres équivalents (mm)</td></tr><tr><td>40</td><td>28,2</td><td>1 à 2<br>/<br>1,69</td><td>Histogramme des diamètres équivalents (mm)</td></tr><tr><td>grains<br>de<br>2 à 3mm</td><td>20</td><td>16,8</td><td>2 à 3<br>/<br>2,41</td><td>Histogramme des diamètres équivalents (mm)</td></tr></tbody></table>
<table><caption>Figure 4 : résultats obtenus à 20 et 40 % de grains pour les tailles (1 à 2 mm ; 2 à 3 mm et 3 à 4 mm)</caption><tr><td></td><td>40</td><td>29,7</td><td>2 à 3<br/>/<br/>2,33</td><td>Histogramme des diamètres équivalents (mm)</td></tr><tr><td rowspan="2">grains<br/>de<br/>3 à 4mm</td><td>20</td><td>11,7</td><td>3 à 4<br/>/<br/>3,02</td><td>Histogramme des diamètres équivalents (mm)</td></tr><tr><td>40</td><td>28,7</td><td>3 à 4<br/>/<br/>3,49</td><td>Histogramme des diamètres équivalents (mm)</td></tr></table>

Conclusion

Les résultats obtenus peuvent paraître insuffisants dans une optique de suivi et surtout de contrôle de procédé : les écarts observés entre les proportions de grains mesurées et attendues sont parfois grands (de 3 à 12 %). En effet on ne s'attend pas à trouver, dans les résultats de la classification pour une classe donnée, des grains des autres classes. À la lecture des résultats visuels obtenus, l'algorithme utilisé, s'il peut être amélioré, n'est pourtant pas la principale cause de cette contre performance. Celle-ci s'explique par les deux faits suivants :

- il est difficile de sélectionner des grains de taille strictement comprise entre deux valeurs (du fait de l'hétérogénéité de forme des grains et aussi parce que des grains se désagrègent lorsqu'ils sont brassés) dans une proportion précise (car les grains classifiés sont humides lorsque les mélanges sont préparés) ;
- le mécanisme utilisé pour brasser le mélange est à améliorer (si possible) car dans aucune des images les grains ne sont uniformément répartis.

Les prises de vue sont à améliorer, elles ne reflètent peut être pas suffisamment le contenu de la cuve. On voit bien sur les **figures 3** que l'algorithme détecte correctement les objets qui se trouvent sur l'image d'origine. Il semble que ce qui est observé visuellement ne reflète pas correctement la globalité du phénomène, on sous estime vraisemblablement la quantité de grains, ceux ci restent en profondeur, ce que confirment les résultats.

Par ailleurs, de par sa conception, l'algorithme ainsi développé sera facile à mettre en œuvre en temps réel dans un logiciel d'acquisition.

## Bibliographie

Guillemin H., Trelea I.C., Picque D., Perret B., Cattenoz T., Corrieu G. (2006) An optical method to monitor casein particle size distribution in whey, *Lait* 86, 359-372

Hummel R.A. and Zucker S.W. (1983) "On the foundations of relaxation labeling processes," *IEEE Pattern Analysis and Machine Intelligence*, 5, (3), 267-287

Johnston K. A. J. Luckman M. S, Lilley H. G. and Smale B. M. (1998) Effect of Various Cutting and Stirring Conditions on Curd Particle Size and Losses of Fat to the Whey during Cheddar Cheese Manufacture in Ost Vats, *International Dairy Journal* 8, 281-288

Kittler J. and Illingworth J. (1986) Relaxation labelling algorithms-a review, *Image and Vision Computing*, .Nov.3, (4), 206-216

Perret B., Picque D., Cattenoz T., Corrieu G. (2002) Procédé de contrôle de l'égouttage des grains de caillé et dispositif pour sa mise en oeuvre, *French Patent n° FR2822953*

Whitehead H.R. and Harkness L. (1954) The influence of variations in cheese-making procedure on the expulsion of moisture from cheddar cheese curd, *Aust. J. Dairy Technol.* 9, 103-107
# Annexe

## Soient :

x l'image en cours de traitement.

Moy l'image moyenne.

N la taille des images (supposées carrées).

i, j les indices des lignes, respectivement des colonnes dans les images (x[i][j] représente par exemple le niveau gris dans l'image x au pixel de coordonnées (i, j)).

On cherche à minimiser l'erreur quadratique moyenne suivante :

$$ \xi = \sum_i \sum_j (x[i][j] - (a.moy[i][j] + b))^2 \\ \text{(la double somme porte sur tous les pixels de l'image)} $$

Les paramètres a et b qui minimisent $\xi$ sont ceux pour lequel le gradient $\text{grad}_{a,b}(\xi) = 0$, autrement dit ceux qui annulent les dérivées partielles de $\xi$ :

$$ \begin{aligned} 0 &= \frac{\partial \xi}{\partial a} \\ &= -2 \sum_i \sum_j \text{moy}[i][j] (x[i][j] - a \cdot \text{moy}[i][j] - b) \\ &= -2 (\sum_i \sum_j \text{moy}[i][j] \cdot x[i][j] - a \cdot \sum_i \sum_j \text{moy}^2[i][j] - b \cdot \sum_i \sum_j \text{moy}[i][j]) \end{aligned} $$

$$ \begin{aligned} 0 &= \frac{\partial \xi}{\partial b} \\ &= -2 \sum_i \sum_j (x[i][j] - a \cdot \text{moy}[i][j] - b) \\ &= 2(\sum_i \sum_j x[i][j] - a \cdot \sum_i \sum_j \text{moy}[i][j] - bN^2) \end{aligned} $$

## Notons :

$$ \sigma_1 = \sum_i \sum_j x[i][j] $$

$$ \sigma_2 = \sum_i \sum_j \text{moy}[i][j] $$

$$ \sigma_{22} = \sum_i \sum_j \text{moy}^2[i][j] $$

$$ \sigma_{12} = \sum_i \sum_j (x[i][j] \cdot \text{moy}[i][j]) $$

$\sigma_1$, $\sigma_2$, $\sigma_{22}$ et $\sigma_{12}$ sont des constantes.

Nous obtenons un système de 2 équations à 2 inconnues :

$$ 0 = \sigma_{12} - a \cdot \sigma_{22} - b \cdot \sigma_2 $$

$$ 0 = \sigma_1 - a \cdot \sigma_2 - b \cdot N^2 $$

## Soit :

$$ a = \frac{(\sigma_{12} - \sigma_1 \cdot \sigma_2 / N^2)}{(\sigma_{22} - \sigma_2^2 / N^2)} $$

$$ b = \frac{(\sigma_1 - a \cdot \sigma_2)}{N^2} $$
# Recalage d'images multimodales

## Approche méthodologique et application aux images de muscles bovins acquises par auto fluorescence et par résonance magnétique nucléaire

Frédéric Peyrin<fnref n="1" />, Jean-Marie Bonny<fnref n="1" />

**Résumé** : Un banc d'imagerie dans l'ultraviolet et le visible a été développé pour séparer, à l'échelle macroscopique, les différentes composantes structurales du muscle. Les images obtenues avec ce banc doivent être comparées à celles acquises avec la méthode de référence, l'imagerie par résonance magnétique nucléaire. Les images issues de ces deux modalités ne sont pas superposables directement en raison de leur format d'acquisition et des déformations spatiales inhérentes aux biais instrumentaux. Nous avons donc développé une approche méthodologique pour mettre en correspondance les images obtenues par auto fluorescence par rapport à celles obtenues par résonance magnétique nucléaire.

**Mots clés** : viande, IRM, auto fluorescence, image, recalage, multi-modalité, MATLAB.

## Introduction

La tendreté de la viande est une qualité sensorielle importante pour le consommateur. Elle est dépendante en partie de la teneur des principaux constituants que sont les fibres musculaires, les tissus lipidiques et le tissu conjonctif composé principalement de collagène. Il existe une grande variabilité du taux de collagène présent dans la viande selon différents facteurs comme le type de muscle, l'espèce, la race ou l'âge de l'animal. L'objectif de la filière de transformation de produits carnés est de trier et d'orienter automatiquement les muscles vers une destination de viande à griller pour les plus pauvres en collagène ou vers des procédés technologiques pour les plus riches en collagène.

Les études menées au laboratoire (Abouelkaram et al., 2006) ont permis de caractériser les propriétés physiques et sensorielles des composants de la viande, d'évaluer leur quantité relative et leur distribution spatiale grâce à un système d'imagerie multi-spectrale. Pour cette occasion, un banc utilisant la propriété d'auto-fluorescence des différents constituants du muscle bovin *biceps femoris* a été développé : il optimise les images des échantillons selon leur signature spectrale spécifique dans l'ultraviolet et le visible. Notre projet est de comparer ce banc à la technique de référence qu'est l'imagerie par résonance magnétique nucléaire (IRM).

Cependant, pour comparer ces images entre elles, un des points essentiels concerne leur prétraitement par fusion. En effet, la fusion d'images en multi-modalité (Jégou et al., 2004) est indispensable pour mettre en correspondance spatialement les images acquises par les techniques différentes que sont l'imagerie en auto-fluorescence et l'IRM.

La mise en correspondance d'image est le processus d'alignement de deux ou de plusieurs images de la même scène par transformation géométrique afin de comparer ou de combiner leurs informations respectives (Jegou et Bonmartin, 2004). Cette technique est généralement

<figure><img src="image_121.png" /></figure>

<figure><img src="image_122.png" /></figure>

<footnote n="1">¹ UR370 Qualité des Produits Animaux - INRA - F-63122 Saint Genès Champanelle</footnote>
utilisée comme une étape préliminaire avant d'autres applications de traitement d'image.
Suite à cette mise en correspondance, nous pourrons comparer les détails dans les images
pour voir si tel composant de la viande est identifiable à la fois dans les deux modalités.

Dans la suite de l'article, nous présentons successivement la nature des images à mettre en
correspondance, la méthode de recalage choisie pour ces images, la méthode de calcul des
paramètres, et enfin les résultats obtenus.

# 1. Acquisition des images

Les images en fluorescence acquises avec une caméra numérique SONY XCD-SX900UV ont une résolution de 8 bits en niveaux de gris et une taille de 1280 x 960 pixels. Les images RMN acquises avec le système BRUKER<fnref n="2" /> de l'équipe STIM<fnref n="3" /> ont une meilleure résolution en niveaux de gris (16 bits) et une plus faible résolution spatiale (320 x 320 pixels). Pour chacune des deux modalités, trois contrastes sont enregistrés.

Les images en fluorescence de muscles bovins mettent en évidence le gras (figure 1a), le
collagène (figure 1b) et l'ensemble des tissus (figure 1c) grâce à la sélection des couples de
longueur d'onde d'excitation et d'émission correspondants à l'auto-fluorescence de ces
composés (respectivement 320-405 nm, 380-440 nm et sans filtres).

<figure><img src="image_123.png" /><figcaption>**Figure 1 :** image de l'échantillon 5ST1 (semitendinosus de l'animal 5) en auto-fluorescence mettant en évidence (a) le gras ; (b) le collagène ; (c) l'ensemble des tissus.</figcaption></figure>

Les images RMN des mêmes muscles bovins mettent en évidence le gras uniquement (figure 2a), le réseau conjonctif constitué de gras et de collagène (figure 2b) et l'eau exsudée entre les faisceaux de fibres musculaires (figure 2c). Ces images ont été obtenues à l'aide de différentes méthodes d'acquisition (ou séquences) qui produisent un contraste particulier. Pour chacun des échantillons étudiés, ces 6 possibilités correspondent à l'acquisition d'autant d'images qui seront ultérieurement traitées pour servir à la construction d'une combinaison linéaire optimale permettant de maximiser le contraste entre les différents tissus d'intérêt.

<footnote n="2">² BIOSPEC 4.7T + console AVANCE 200 + gradient d'imagerie BGA-12 + sonde volumétrique « birdcage »</footnote>

<footnote n="3">³ Structures Tissulaires et Interactions Moléculaires</footnote>
<figure><img src="image_124.png" /><figcaption>**Figure 2** : images RMN de l'échantillon 5ST1 mettant en évidence différentes composantes musculaires :</figcaption></figure>

(a) le gras intramusculaire à l'aide d'une séquence annulant le signal de l'eau ;

(b) le réseau conjonctif à l'aide d'une séquence sensible aux variations locales de champ magnétique ;

(c) l'eau exsudée entre les faisceaux de fibres (pixels clairs) à l'aide d'une séquence sensible aux différences de mobilité des protons.

## 2. Méthode de recalage d'images utilisée

Une image appelée l'image de base ou de référence est considérée comme la référence à laquelle seront comparées toutes les autres images appelées images d'entrée. L'objectif de la mise en correspondance d'image est d'aligner l'image d'entrée avec l'image de base en appliquant une transformation spatiale à l'image d'entrée. Deux étapes critiques interviennent dans la qualité du résultat :

- le choix de la transformation géométrique,

- la mesure de l'alignement des images.

### 2.1 Choix des modèles de transformation

Pour notre application, les images acquises selon les deux modalités sont enregistrées grâce à des systèmes instrumentaux de principes très différents dont les biais, les formats de sauvegarde et les résolutions spatiales et spectrales sont très différents. Les différences entre l'image d'entrée et l'image de sortie peuvent être dues à un effet du relief ou à d'autres changements de perspective quand l'image de la même scène est prise depuis différents points de vue. Les distorsions des lentilles des objectifs et des autres capteurs ou les différences entre plusieurs types de capteurs peuvent aussi causer une distorsion (figure 3).

<figure><img src="image_125.png" /><figcaption>**Figure 3** : principe de l'imagerie multi spectrale par fluorescence
(Novales et al., 1996).</figcaption></figure>
Le type de recalage est dit monomodal si deux images de la même modalité, mais de contraste différent, sont recalées ensemble. Lorsque deux images de modalités différentes sont recalées, il s'agit alors de recalage de type multimodal. Nous avons appliqué différents modèles de déformation suivant les types rencontrés.

### 2.1.a Pas de transformation inter-contraste pour les images en auto-fluorescence

Pour les images en auto-fluorescence, le changement de couples de longueurs d'ondes entre l'acquisition de deux contrastes est réalisé par rotation des filtres dans un barillet. Du fait même du principe d'acquisition, il n'y a pas de déformations. Le recalage d'images entre les différents contrastes en auto-fluorescence n'est donc pas nécessaire.

### 2.1.b Transformation inter-contraste rigide pour les images RMN

Pour les images RMN, l'échantillon restant immobile entre l'acquisition de deux contrastes différents, il n'y a pas de déformations locales. Par contre, nous avons observé entre les différents contrastes RMN des déformations globales qui sont certainement liées aux réglages instrumentaux. Pour les recaler entre eux, nous avons donc appliqué à ces contrastes une transformation rigide de type « affine ». Nous avons ainsi corrigé les déformations induites par les différents modes d'acquisition par IRM.

### 2.1.c Transformation intermodale élastique pour les images RMN par rapport aux images en auto-fluorescence

Nous avons constaté que l'échantillon, même s'il est maintenu dans un portoir n'est plus exactement dans la même configuration après manipulation pour transfert entre le banc RMN et le banc d'imagerie par auto-fluorescence. Nous avons donc appliqué une transformation élastique basée sur l'algorithme dit de « moyenne pondérée localement » (LWM) pour passer d'une modalité à l'autre grâce à des déformations locales. Le sujet d'étude étant l'imagerie en auto fluorescence et les images RMN ayant une résolution spatiale inférieure, nous avons choisi de déformer la modalité RMN.

### 2.2 Mesure de similarité entre les images

Parmi les techniques de mesure de similarité entre deux images, on en distingue deux grandes catégories : celles qui utilisent des points de repère et celles qui exploitent l'image dans sa totalité (méthodes dites iconiques). Nous utilisons pour notre application la technique de recalage des images basée sur des points de contrôle choisis par l'utilisateur. Cette technique possède de nombreuses applications et permet de tirer partie de l'information complémentaire apportée par plusieurs images obtenues dans une même ou plusieurs modalités d'imagerie. Une cartographie des emplacements caractéristiques visibles dans les deux images est obtenue par pointage de points de contrôle avec la souris. Dans notre application, nous utilisons des repères intrinsèques caractéristiques liés à la morphologie anatomique de la coupe de viande observée. La clé du procédé de mise en correspondance de l'image réside ensuite dans la détermination des paramètres de la transformation spatiale nécessaire pour aligner les images. La réalisation d'un recalage d'images utilisant une cartographie par points de contrôle nécessite de développer une méthode commune aux différents types de modèles présentés et dont nous décrivons les étapes. Cette méthode est commune aux différents modèles présentés.

## 3. Implémentation MATLAB

Dans le but d'une plus grande clarté, nous avons choisi de présenter la méthode de calcul pour une seule paire d'images. Nous avons choisi un contraste dans chacune des deux modalités
pour la coupe de muscle bovin de l'échantillon 5ST1 : pour l'image en auto fluorescence, le contraste correspond au collagène (figure 1b) et pour l'image image par IRM à mettre en correspondance, le contraste correspond au tissu conjonctif (figure 2b).

La boîte à outils « traitement d'images » (Image Processing Toolbox™) de MATLAB met à disposition un outil de pointage afin de déterminer les paramètres de la transformation requis et d'aligner une image par rapport à une autre. Cette boîte à outils propose un outil interactif, le « Control Point Selection Tool », utile pour sélectionner des paires de points de contrôle en correspondance dans deux images. Ces points de contrôle sont des repères, des détails particuliers, communs aux deux images. Une cartographie spatiale peut alors être déduite du maillage donné par la position de ces points de contrôle et le recalage devient possible par calcul de déformations globales ou locales.

La figure 4 montre le principe de cette méthode de recalage d'images.

<figure><img src="image_126.png" /><figcaption>Figure 4 : méthode de recalage d'images dans l'environnement MATLAB</figcaption></figure>
## 3.1 Lecture et mise à l'échelle des images

Cette image n'est pas corrigée *a priori* et elle inclut des distorsions liées au principe d'acquisition. La première partie du script importe les deux images dans l'espace de travail de MATLAB et les met à la même taille en utilisant :

```
Image_base=imread('base_multimod.tif');
Image_input=imread('input_multimod.tif');
taille= size(Image_base);
Image_input= imresize(Image_input,taille)
```

Pour redimensionner une image, nous utilisons la fonction `imresize` en lui spécifiant le facteur de grossissement `taille`. Ce facteur est un vecteur contenant le nombre de lignes et de colonnes de l'image de sortie. Nous avons fait coïncider ces valeurs avec celles de l'image de référence. Ainsi, les images ont toutes la même taille.

L'interpolation utilisée estime la valeur d'une image à une position située entre les pixels de l'image. Quand `imresize` agrandit l'image, ce qui est notre cas, l'image de sortie de cette fonction contient plus de pixels que l'image originale. La fonction `imresize` utilise l'interpolation pour déterminer les valeurs des pixels additionnels.

Les méthodes d'interpolation déterminent la valeur du pixel interpolé en trouvant le point dans l'image d'entrée qui correspond à un pixel dans l'image de sortie et en calculant alors la valeur du pixel de sortie en procédant à une moyenne pondérée des pixels voisins de ce point. La pondération est basée sur la distance séparant chaque pixel du point.

Par défaut, `imresize` utilise l'interpolation bi-cubique pour déterminer les valeurs des pixels dans l'image de sortie, mais d'autres méthodes d'interpolation peuvent être spécifiées.

## 3.2 Choix et sauvegarde des points de contrôle

La fonction `cpselect` propose de voir les deux images, respectivement d'entrée et de base dans lesquelles l'opérateur doit pointer les points de contrôle avec la souris.

```
 image_points,ortho_points] = cpselect(Image_input,Image_base,'Wait',true)
```

Il faut spécifier l'option « wait » : `cpselect` bloque la ligne de commande MATLAB jusqu'à ce que les points de contrôle soient sélectionnés et que ce jeu de points de contrôle retourne les positions dans l'image d'entrée et dans l'image de base.

La figure 5 montre cet outil qu'est le « Control Point Selection Tool » en cours d'utilisation.
<figure><img src="image_127.png" /><figcaption>**Figure 5 :** copie d'écran lors de l'utilisation de l'outil de sélection des points de contrôle. Les images d'entrée et de base sont respectivement à gauche et à droite, les images « zoomées » (en haut) représentent les vues agrandies à partir des cadres bleus des images d'origine (en bas).</figcaption></figure>

Le tableau des « input points » et des « base points » est ensuite sauvegardé dans un fichier
TXT afin d'être exploité ultérieurement. La **figure 6** représente les maillages obtenus à partir
des coordonnées spatiales de 200 points de contrôle pour les images d'entrée et de base.

<figure><img src="image_128.png" /><figcaption>**Figure 6 :** maillage de la zone d'intérêt grâce à 200 paires de points de contrôle (a) dans l'image d'entrée et (b) dans l'image de base.</figcaption></figure>
### 3.3 Choix du type de transformation

Dans cette étape, les points de contrôle sont passés à la fonction `cp2tform` qui détermine alors les paramètres de la transformation nécessaire pour aligner l'image. La fonction `cp2tform` est une fonction d'ajustement de données qui détermine la transformation basée sur une relation géométrique entre les points de contrôle. Cette fonction renvoie les paramètres dans une structure de transformation géométrique t_concord appelée structure TFORM.

$$ t_concord = cp2tform(image_points, ortho_points, Deformation) $$

Il faut spécifier le type de transformation souhaité. La fonction `cp2tform` peut déduire les paramètres pour 6 types de transformation (figure 7). Il faut choisir quelle transformation corrigerait le type de distorsion dominante dans l'image d'entrée. En effet, certaines images peuvent contenir plusieurs types de distorsion.

<table><caption>Figure 7 : nombre minimum de paires de points requis en fonction du type de transformation.</caption><thead><tr><td>Type de transformation</td><td>Nombre minimum de paires de points requis</td></tr></thead><tbody><tr><td>'linear conformal'</td><td>2</td></tr><tr><td>'affine'</td><td>3</td></tr><tr><td>'projective'</td><td>4</td></tr><tr><td>'polynomial' (d'ordre 2, 3, ou 4)</td><td>Resp. 6, 10, 15</td></tr><tr><td>'piecewise linear'</td><td>4</td></tr><tr><td>'lwm'</td><td>6</td></tr></tbody></table>

Les quatre premières transformations, « linear conformal », « affine », « projective », et « polynomial » sont des transformations globales. Pour ces transformations, une seule expression mathématique est appliquée à une image entière. Les deux dernières transformations, « piecewise linear » et « lwm » (local weighted mean), sont des transformations locales. Pour ces transformations, différentes expressions mathématiques s'appliquent à différentes régions d'une image. Le choix du type de transformation affecte le nombre de paires de points de contrôle à sélectionner.

Comme indiqué dans le chapitre 2, nous avons utilisé la transformation « affine » pour les corrections inter-contrastes des images RMN et la transformation « lwm » pour le recalage intermodal entre les images en autofluorescence et les images RMN.

### 3.4 Transformation de l'image d'entrée

L'étape finale de la mise en correspondance d'image consiste à transformer l'image d'entrée pour l'aligner avec l'image de base en utilisant la fonction `imtransform` pour effectuer la transformation, en lui passant l'image d'entrée `Image_input` et la structure `t_concord` qui définit la transformation. La fonction `imtransform` retourne l'image transformée Ir :

$$ Ir = imtransform (Image_input, t_concord, 'XData', [1 info.Width], 'YData', [1 info.Height]) $$

Cette nouvelle image est sauvegardée au format TIF sans compression.
## 4. Résultat

En ce qui concerne la visualisation, nous avons utilisé l'une des approches principales qui consiste à calculer une nouvelle image contenant à la fois l'image de référence et l'image recalée et à représenter leur superposition selon un codage couleur. Dans notre cas, l'image RMN est représentée en bleu et l'image par auto-fluorescence en vert. La figure 8 représente la région d'intérêt choisie (701 x 651 pixels). Cette image fusionnée en multi-modalité permet une première validation visuelle. Elle montre qu'après transformation, les images obtenues en IRM et en auto fluorescence sont parfaitement superposées.

<figure><img src="image_129.png" /><figcaption>**Figure 8 :** représentation en fausses couleurs de la région d'intérêt, ajustement et recalage de l'image RMN en bleu par rapport à l'image par auto-fluorescence en vert.</figcaption></figure>

(a) avant recalage ; (b) après recalage.

## Conclusion

Avec la méthode que nous avons développée, nous pouvons mettre en correspondance des images issues de différentes techniques d'acquisition. Nous avons superposé 6 contrastes issus de 2 modalités différentes. Nous avons automatisé le procédé en décrivant toutes les étapes dans un script MATLAB (annexe). Celui-ci à l'avantage de rendre possible le traitement d'un grand nombre d'images. Il est facilement utilisable par un utilisateur novice qui voudrait mettre en œuvre rapidement cette technique pour son application. L'utilisation de transformations rigides ou élastiques prend en compte de façon réaliste les phénomènes rencontrés comme certains bais instrumentaux ou comme la déformation des échantillons lors de leur manipulation. Les images mises en correspondance grâce à ces transformations peuvent être maintenant utilisées dans la construction et l'ajustement d'un modèle mathématique paramétrique explicatif des propriétés de la viande.

Une validation plus rigoureuse pourrait être effectuée selon d'autres techniques comme l'information mutuelle résultante des images traitées, ou bien encore par mesure de distances à partir des tableaux des coordonnées des points de contrôle.
Cette méthode de recalage peut également trouver d'autres applications : dans le domaine de l'histologie, par exemple, il s'agit de réunir des données issues de plusieurs de coupes sériées proches mais différentes. Grâce cette méthode de recalage, nous pouvons mettre en correspondance les coupes histologiques servant au marquage immunologique avec les coupes utilisées en micro-spectroscopie infrarouge (IR). Nous pouvons ainsi cartographier précisément les cellules d'intérêt, leurs types métabolique et contractile et recueillir ensuite spécifiquement leurs spectres IR afin d'étudier leurs caractéristiques chimiques.

Bibliographie

Abouelkaram S., Chauvet S., El Jabri M., Strydom P., Bertrand D., Damez J.L. (2006) Muscle study with multispectral image analysis in 52nd International Congress of Meat Science and technology (ICoMST), 669-670

Jégou C., Bonmartin A. (2004) Fusion d'images en multimodalité in Médecine nucléaire - Imagerie fonctionnelle et métabolique, 28 (11): 553-560

Novales B., Bertrand D., Devaux M.F., Robert P., Sire A. (1996) Multispectral fluorescence imaging for the identification of food products in Journal of the Science of Food and Agriculture, 71 (3): 376-382
# Annexe : script MATLAB (multimod_CDT.m)

Pour procéder au même type de recalage sur un nombre important d'images, nous avons automatisé le procédé en décrivant les différentes étapes dans un script MATLAB. Celui-ci ouvre l'outil de sélection des points de contrôle avec une image d'entrée à modifier et une image de base servant de référence. Le script utilise les points de contrôle sélectionnés par l'opérateur pour créer une structure TFORM et passer à la fois cette structure et l'image d'entrée à la fonction `imtransform` dont la sortie donne l'image déformée et mise en correspondance.

Le script MATLAB suivant, accompagné de deux images de test, permet de mettre en œuvre immédiatement la méthode décrite dans cet article :

```matlab
%% DEFORMATION D'IMAGES MULTIMODALES
% PROJET IMAGES MULTIMODALES
% FRÉDÉRIC PEYRIN
% 2009-01-16 : VERSION 1
```

```matlab
%% INITIALISATION
```

```matlab
clear all;
close all;

% date et heure
RefTemp=datestr(now,30);
```

```matlab
%% CHARGEMENT DES IMAGES
```

```matlab
% chargement de l'image de base
Image_base=imread('base_multimod.tif');
```

<figure><img src="image_130.png" /></figure>

```matlab
% chargement de l'image à modifier
Image_input=imread('input_multimod.tif');
```

<figure><img src="image_131.png" /></figure>

```matlab
%mise à la même taille des 2 images
taille= size(Image_base);
Image_input= imresize(Image_input,taille);
```

```matlab
%% CHOIX DES PARAMETRES DE TRAITEMENT D'IMAGES
```

```matlab
R = input(strcat('Quel type de déformation voulez-vous ? 
',... 
'déformations globales (toute l''image est déformée de la même façon) 
',... 
' 1 - linear conformal 
',... 
' 2 - affine (DEFAUT) 
',... 
' 3 - projective 
',... 
' 4 - polynomial (ORDER=3) 
',... 
'déformations locales (l''image est déformée de façon hétérogène) 
',... 
'...
```
' 5 - piecewise linear \n',...  
' 6 - local weighted mean (lwm) \n',...  
' \n',...  
' fermer la fenêtre "Controle point selection" après avoir sélectionné la dernière paire de points \n','s');

switch R
case '1'
    Deformation='linear conformal';
case '2'
    Deformation='affine';
case '3'
    Deformation='projective';
case '4'
    Deformation='polynomial';
case '5'
    Deformation='piecewise linear';
case '6'
    Deformation='lwm';
otherwise
    Deformation='affine';

end

## %% MISE EN CORRESPONDANCE DES IMAGES

% sélection des paires de points dans chacune des 2 images (voir help cpselect)

[image_points,ortho_points] = cpselect(Image_input,Image_base,'Wait',true);

% calcul de la déformation (voir help cp2tform)

t_concord = cp2tform(image_points,ortho_points,Deformation);

% transformation (voir help imtransform)

info = imfinfo('base_multimod.tif');

Ir = imtransform(Image_input,t_concord,'XData',[1 info.Width),'YData',[1 info.Height]);

## %% SAUVEGARDE DES RESULTATS

% Sauvegarde de l'image déformée

imwrite(Ir, [RefTemp,'_test_image_déformée.tif'], 'tif', 'compression', 'none');

figure (1)

imagesc(Ir);

colormap (gray)

% Sauvegarde du tableau des « input points »

fichier_result=[RefTemp,'_test_input_points.txt'];

fid1 = fopen(fichier_result,'wt');

fprintf(fid1,'Nom_fichier	 x_image	 y_image
');

for nn=1: size(image_points)

fprintf(fid1, '%s	 %f	 %f
', 'test', image_points(nn,1), image_points(nn,2));

end

fclose(fid1);

% Sauvegarde du tableau des « base points »

fichier_result=[RefTemp,'_test_base_points.txt'];

fid1 = fopen(fichier_result,'wt');

fprintf(fid1,'Nom_fichier	 x_ortho	 y_ortho
');

for nn=1: size(ortho_points)

fprintf(fid1, '%s	 %f	 %f
', 'test',ortho_points(nn,1),ortho_points(nn,2));

end

fclose(fid1);
Le Cahier des Techniques
de l'Inra

<figure><img src="image_132.png" /></figure>

Des développements
méthodologiques
en imagerie à l'Inra

<figure><img src="image_133.png" /></figure>

Délégation au Partenariat avec les Entreprises
Institut National de la Recherche Agronomique - 147 rue de l'Université - F-75338 Paris Cedex 07

Index des auteurs

<table><thead><tr><td>Nom</td><td>Prénom</td><td>page</td></tr></thead><tbody><tr><td>Axelos</td><td>Monique</td><td>45</td></tr><tr><td>Ben Moussa</td><td>Abdlatif</td><td>35</td></tr><tr><td>Bielicki</td><td>Guy</td><td>69</td></tr><tr><td>Bonny</td><td>Jean-Marie</td><td>35, 115</td></tr><tr><td>Boulard</td><td>Céline</td><td>63</td></tr><tr><td>Cathala</td><td>Bernard</td><td>81</td></tr><tr><td>Cattenoz</td><td>Thomas</td><td>101</td></tr><tr><td>Delisée</td><td>Christine</td><td>17, 51</td></tr><tr><td>Della Valle</td><td>Guy</td><td>51</td></tr><tr><td>Devaux</td><td>Marie-Françoise</td><td>7, 93</td></tr><tr><td>Gaillard</td><td>Cédric</td><td>81</td></tr><tr><td>Guillemin</td><td>Hervé</td><td>101</td></tr><tr><td>Hubert</td><td>Chiron</td><td>51</td></tr><tr><td>Jolivet</td><td>Pascale</td><td>63</td></tr><tr><td>Keller</td><td>Cécile</td><td>69</td></tr><tr><td>Le Bon</td><td>Christel</td><td>63</td></tr><tr><td>Legland</td><td>David</td><td>7, 17, 17, 23</td></tr><tr><td>Lux</td><td>Jérôme</td><td>17, 17, 23</td></tr><tr><td>Malvestio</td><td>Jérôme</td><td>17, 23</td></tr><tr><td>Marchal</td><td>Patrice</td><td>23</td></tr><tr><td>Novales</td><td>Bruno</td><td>45</td></tr><tr><td>Papineau</td><td>Patrice</td><td>45, 93</td></tr><tr><td>Perret</td><td>Bruno</td><td>101</td></tr><tr><td>Peyrin</td><td>Frédéric</td><td>115</td></tr><tr><td>Pietri</td><td>Éric</td><td>75</td></tr><tr><td>Réguerre</td><td>Anne-Laure</td><td>51</td></tr><tr><td>Reling</td><td>Patrice</td><td>75</td></tr><tr><td>Shehzad</td><td>Aamir</td><td>51</td></tr><tr><td>Sire</td><td>Alain</td><td>45, 93</td></tr><tr><td>Traore</td><td>Amidou</td><td>69</td></tr></tbody></table>
<figure><img src="image_134.png" /></figure>

Numéro spécial

Année 2009

Des développements méthodologiques en imagerie à l'Inra

## Sommaire

<table><tr><td>Chapitre I</td><td>p. 05</td></tr><tr><td>Préparation et mise sous contraintes de l'échantillon</td><td></td></tr><tr><td>Chapitre II</td><td>p. 43</td></tr><tr><td>Mise au point de protocoles d'acquisition</td><td></td></tr><tr><td>Chapitre III</td><td>p. 91</td></tr><tr><td>Analyse d'images</td><td></td></tr></table>

<figure><img src="image_135.png" /></figure>