<figure><img src="image_1.png" /></figure>

# Approches Deep Learning sur Données Simulées pour la Tomographie Industrielle rapide

Romain Vo<fnref n="1" />,<fnref n="2" />, Julie Escoda<fnref n="1" />, Caroline Vienne<fnref n="1" />, Étienne Decencière<fnref n="2" />

## Résumé

Dans ce travail nous proposons une méthodologie pour l'apprentissage d'un réseau de neurones pour le post-traitement et la réduction d'artefacts de tomographie par rayons X en configuration éparse. L'acquisition d'une base de données conséquente pouvant être longue et coûteuse, nous nous appuyons sur l'utilisation du logiciel de simulation multi-physique CIVA [1] afin de générer une base de données simulées. Nous nous plaçons dans une configuration restreinte où aucune acquisition réelle en configuration dense n'est disponible. Nous évaluons et proposons des méthodes d'adaptation de domaine afin que le réseau entraîné, généralise sur des échantillons réels. Les résultats préliminaires montrent que la méthode optimisée sur données simulées est capable de grandement réduire les artefacts de reconstruction sur données réelles. L'ajustement non-supervisé du réseau sur échantillons réels permet d'atteindre une qualité de reconstruction encore supérieure.

## 1. Introduction

La tomographie par rayons X (X-Ray CT) est une technologie de plus en plus utilisée dans de nombreux domaines industriels pour sa capacité unique à contrôler à la fois l'intégrité et la conformité dimensionnelle des pièces et à visualiser sa structure interne. C'est un outil qui permet d'obtenir une reconstruction volumique précise et hautement résolue d'échantillons de géométrie et complexité variées. Cependant, les temps d'acquisition, importants, constituent un frein au déploiement de cette technique pour les essais non destructifs ainsi que pour le contrôle en ligne. En effet la reconstruction précise à l'aide de l'approche analytique rapide de rétroprojection filtrée (FDK) [2] nécessite un nombre de projections radiographiques important. La réduction du nombre de projections, couplée au développement d'algorithmes de reconstruction plus performants, constitue l'un des principaux enjeux associés à cette technologie.

De manière classique, les algorithmes itératifs permettent de se placer en dessous du critère d'échantillonnage de

Shannon et d'obtenir des reconstructions de bonne qualité à partir d'un nombre de vue réduit, mais au prix d'un temps de calcul élevé [3]. Plus récemment les méthodes par apprentissage profond (Deep learning), après avoir été largement déployées dans le domaine de la vision par ordinateur, ont démontré leur potentiel pour la reconstruction tomographique dans le domaine médical ainsi que la reconstruction éparse, à partir de peu de vues [4]. L'approche classique consiste à calculer une première estimation de la reconstruction à l'aide d'une méthode rapide (FDK) puis de post-traiter cette reconstruction à l'aide d'un réseau convolutif entraîné pour la réduction d'artefacts [5]. Contrairement aux méthodes itératives par apprentissage, cette approche possède l'avantage d'être rapide et propose un bon compromis de performance en terme de temps de calcul et de reconstruction.

Néanmoins, l'entraînement de ces méthodes nécessite une base de données conséquente, c'est-à-dire l'accès à des paires de reconstructions basse-qualité / haute-qualité afin de pouvoir superviser l'entraînement. Dans une situation ou l'accès à ces données est restreint, nous proposons de tirer parti d'un outil de simulation fidèle afin de générer une quantité de données suffisante pour l'apprentissage. Avec une qualité d'image simulée suffisamment proche de la réalité, la méthode doit pouvoir généraliser sur données réelles. On pourra aussi s'aider de méthode d'optimisation non-supervisée ou semi-supervisée afin d'adapter le réseau à la distribution de données réelles, on parle d'adaptation de domaine. Les approches pour l'adaptation de domaine sont multiples [6]: apprentissage contrastif, adaptation de domaine par apprentissage adverse, optimisation basée sur la cohérence (consistency-based training) ou supervision à l'aide de tâche « prétexte ».

Dans cet article nous nous intéressons donc à la problématique d'apprentissage sur données simulées et la généralisation sur données réelles

* Nous proposons une méthodologie de génération de données à partir de CIVA et observons dans un premier temps, une réduction conséquente des d'artefacts de reconstruction sans adaptation de domaine.

<footnote n="1">¹Université Paris-Saclay, CEA, List, F-91190, Palaiseau, France;</footnote>

<footnote n="2">²Mines Paris, PSL University, Centre for mathematical morphology (CMM), 77300 Fontainebleau, France</footnote>

<footnote>*corresponding author, E-mail: romain.vo@cea.fr</footnote>
* Dans un second temps, nous évaluons le potentiel d'une approche semi-supervisée basée sur l'autoencoding de reconstruction éparse [7].

* Nous proposons une seconde méthodologie, différente des approches standard, basée sur la construction d'un réseau itératif. Nous utilisons ses propriétés de convergence vers un point fixe afin de construire une fonction de coût non-supervisée.

Ces approches sont testées sur la tomographie réelle d'une structure en treillis (lattice) pyramidale en aluminium issue d'un procédé de fabrication additive.

## 2. Contexte

### 2.1. Problème inverse

La tomographie par rayons X (RX) en configuration éparse (sparse-view CT) peut être considéré comme un problème inverse mal-posé, qui consiste à retrouver l'objet $f^\dagger \in \mathbb{R}^n$ à partir de mesures radiographiques $b \in \mathbb{R}^m$ telles que :

$$b = Af^\dagger + \epsilon, \quad m \ll n. \quad (1)$$

En tomographie RX on considère $A \in \mathbb{R}^{m \times n}$ la matrice système modélisant la transformée de Radon et incorporant la géométrie d'acquisition utilisée. Le bruit de mesure est modélisé par une variable aléatoire $\epsilon$.

L'approche rapide analytique consiste à calculer une estimation discrète du pseudo-inverse de la transformée de Radon :

$$\hat{f}(x) = \frac{1}{2d} \sum_{k}^{d} b_{\theta_k} * h(t)|_{t=x \cos \theta_k + y \sin \theta_k}, \quad (2)$$

$b_{\theta_k} \in \mathbb{R}^p$, avec $p$ le nombre de pixels sur un détecteur, correspond à la mesure radiographique d'angle $\theta_k$, $h$ est un filtre de rampe. Cette approche est limitée en configuration éparse et source de nombreux artefacts de reconstruction.

## 3. Méthodologie

### 3.1. Post-traitement

L'approche par post-traitement est une approche image-à-image. Un réseau convolutif $D_\phi$ prend en entrée une image de qualité inférieure $\tilde{f}$, et est entraîné à estimer une version améliorée $\hat{f}$ en essayant de minimiser la distance $\mathcal{L}$ entre $\hat{f}$ et une vérité terrain $f^\dagger$ (reconstruction dense). On considère un jeu de données $D_s$ contenant un ensemble de paires $(\tilde{f}_i, f_i^\dagger)$ de reconstructions éparses/denses :

$$\mathcal{L} = \frac{1}{|D_s|} \sum_{(\tilde{f}_i, f_i^\dagger) \in D_s} \frac{1}{n} \|D_\phi(\tilde{f}_i) - f_i^\dagger\|_2^2. \quad (3)$$

On considère aussi un autre type d'approche pour le post-traitement, où on impose à l'estimation $\hat{f}$ d'être un point-fixe de $D_\phi$. Ce type de réseau est entraîné de manière « itérative » en considérant $D_\phi = D_\phi^{(q)} = D'_\phi \circ \dots \circ D'_\phi$,

comme la composition $q$ fois d'un réseau de base $D'_\phi$ [8], on cherche alors à minimiser la distance entre $D_\phi^{(q)}(\tilde{f})$ et $f^\dagger$.

### 3.2. Adaptation de domaine

#### 3.2.1. Auto-encoding

On considère $D_\phi$ représenté par une architecture auto-encodeur. L'idée est d'adapter les paramètres de l'encodeur $enc[D_\phi]$ à la distribution d'acquisitions réelles $D_{real}$. On utilise une tâche d'auto-encoding avec un décodeur spécialisé $dec[D_\xi]$ paramétré par des variables $\xi$ :

$$\mathcal{L}_{ssl-ae} = \frac{1}{|D_{real}|} \sum_{\tilde{f}_i \in D_{real}} \frac{1}{n} \|\mathrm{dec}[D_\xi] \circ \mathrm{enc}[D_\phi](\tilde{f}_i) - \tilde{f}_i\|_2^2 \quad (4)$$

#### 3.2.2. Minimisation du résidu de point fixe

Considérant une méthode de post-traitement construite à partir d'un réseau « point-fixe » $D_\phi^{(q)}$, on suppose que pour $q$ suffisamment grand et une image d'entrée $\tilde{f}$ on observe $D_\phi^{(q)}(\tilde{f}) \approx D_\phi^{(q-1)}(\tilde{f})$. L'idée est d'utiliser cette information pour construire une fonction de coût non-supervisée telle que :

$$\mathcal{L}_{ssl-fp} = \frac{1}{|D_{real}|} \sum_{\tilde{f}_i \in D_{real}} \frac{1}{n} \|D_\phi^{(q)}(\tilde{f}_i) - D_\phi^{(q-1)}(\tilde{f}_i)\|_2^2. \quad (5)$$

## 4. Expériences

### 4.1. Génération de données

<figure><img src="image_2.png" /><figcaption>Figure 1 : Modèle CAO de la pièce (gauche) et vue</figcaption></figure>

3D de la scène de simulation CIVA (droite).

Dans un premier temps, on s'intéresse à la génération d'acquisitions tomographiques denses à l'aide d'un modèle CAO de la pièce ainsi que du logiciel CIVA (Fig.1). Il s'agit du modèle d'une structure en treillis pyramidale en Aluminium d'environ 3 cm de hauteur.

La maille simulée est la même que celle de la pièce réelle inspectée expérimentalement mais la CAO est plus petite et représente seulement la première moitié de la pièce fabriquée (Fig.2).

On considère une géométrie d'acquisition conique, avec une distance source-objet de 198 mm et une distance objet-détecteur de 363 mm. On simule un détecteur de 1024x1024 pixels et de taille 204.8x204.8mm, avec scintillateur en Iodure de Césium (CsI) et un filtre antérieur de 0.75mm
<figure><img src="image_3.png" /><figcaption>Figure 2 : A gauche la radiographie réelle, à droite la radiographie CIVA à partir du modèle CAO. Les 2 objets sont représentés à la même échelle.</figcaption></figure>

d'Aluminium. On choisit un tube à rayons X avec une tension de 150 kV et une intensité de 0.14 mA ainsi qu'un filtre de 0.6mm de Cuivre.

Ces paramètres sont constants à travers les simulations, une variation est appliquée sur les niveaux de bruits ainsi que le flou de la source afin de générer des reconstructions de différentes qualités. Les radiographies sont obtenues selon une trajectoire circulaire complète de 900 positions. Un

<figure><img src="image_4.png" /><figcaption>Figure 3 : Reconstructions FDK à partir de radiographies simulées, à gauche [50/900] vues, à droite [900/900].</figcaption></figure>

exemple de tomographies éparse et complète sont présentées Fig.3.

## 4.2. Entraîvements de la méthode

A partir du jeu de données simulées $D_s$ et du jeu de données réelles $D_{real}$, pour lequel seules les reconstructions éparse sont disponibles, on évalue 3 modes d'optimisation :

1. Apprentissage naïf : $D_\phi$ est entraîné sur $D_s$ sans adaptation de domaine, on minimise $\mathcal{L}$.

2. Apprentissage semi-supervisé [autoencoding], on minimise $\mathcal{L} + \lambda \mathcal{L}_{ssl-ae}$.

3. Apprentissage semi-supervisé [fixedpoint], on minimise $\mathcal{L} + \lambda \mathcal{L}_{ssl-fp}$.

Pour chaque entraînement on considère un batch de 16 patch de 256x256 pixels. On optimise avec Adam [9] pendant 500 époques, avec un learning rate de $10^{-4}$ et un decay cosinus. Durant l'entraînement des modes semi-supervisés, les batch sont constitués d'une moitié d'échantillons venant de $D_s$ et d'une autre moitié échantillonnée depuis $D_{real}$.

<figure><img src="image_5.png" /><figcaption>Figure 4 : Résultats qualitatifs sur échantillons réels. (a) Reconstruction éparse [50/900], (b) Post-traitement sans adaptation de domaine, (c) Post-traitement après adaptation de domaine avec [autoencoding], (d) Post-traitement après adaptation de domaine par [fixedpoint], (e) Reconstruction dense.</figcaption></figure>

# 5. Résultats

Dans cette section nous comparons les résultats quantitatifs et qualitatifs des trois modes d'entraînements proposés (Fig. 4).

Quantitativement, l'approche naïve avec entraînement simplement supervisé permet d'atteindre des performances de débruitage très correctes avec une augmentation du PSNR de 7.2 dB. Qualitativement certaines zones de l'image restent floues et des artefacts de reconstructions persistent. Les approches semi-supervisées Fig.4-(c) et (d) permettent d'améliorer la qualité de reconstruction, avec un pic de performance quantitative et qualitative pour la méthode du point fixe (Fig.4-(d)).

# 6. Conclusion

Dans ce travail nous avons présenté une méthodologie d'apprentissage semi-supervisé permettant d'améliorer la qualité en reconstruction comparé à une supervision simple. La méthode est simple et rajoute peu de complexité durant la phase d'entraînement. Nous avons testé une configuration où des échantillons réels sont disponibles pendant la phase d'entraînement mais il est aussi facile d'adapter la méthode pour ajuster les paramètres d'un réseau pendant la phase d'inférence.

# Remerciements

Le modèle CAO de la structure pyramidale ainsi que la pièce réelle sont la courtoisie de Guilhem Roux du CEA/DRT/LITEN/DTNM.
References

[1] M. Costin, H. Banjak, C. Vienne, D. Tisseur, R. Guillamet, et R. Fernandez, « CIVA CT, an advanced simulation platform for NDT », *E-J. Nondestruct. Test.*, vol. 21, n° 02, févr. 2016.

[2] L. A. Feldkamp, L. C. Davis, et J. W. Kress, « Practical cone-beam algorithm », *J. Opt. Soc. Am. A*, vol. 1, n° 6, p. 612, juin 1984, doi: 10.1364/JOSAA.1.000612.

[3] M. Beister, D. Kolditz, et W. A. Kalender, « Iterative reconstruction methods in X-ray CT », *Phys. Med.*, vol. 28, n° 2, p. 94-108, avr. 2012, doi: 10.1016/j.ejmp.2012.01.003.

[4] J. Leuschner et al., « Quantitative Comparison of Deep Learning-Based Image Reconstruction Methods for Low-Dose and Sparse-Angle CT Applications », *J. Imaging*, vol. 7, n° 3, Art. n° 3, mars 2021, doi: 10.3390/jimaging7030044.

[5] Y. S. Han, J. Yoo, et J. C. Ye, « Deep Residual Learning for Compressed Sensing CT Reconstruction via Persistent Homology Analysis », *ArXiv*161106391 *Cs*, nov. 2016, Consulté le: 7 octobre 2021. [En ligne]. Disponible sur: http://arxiv.org/abs/1611.06391

[6] X. Liu et al., « Deep Unsupervised Domain Adaptation: A Review of Recent Advances and Perspectives », arXiv, 15 août 2022. doi: 10.48550/arXiv.2208.07422.

[7] Z. Murez, S. Kolouri, D. Kriegman, R. Ramamoorthi, et K. Kim, « Image to Image Translation for Domain Adaptation », in *2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition*, juin 2018, p. 4500-4509. doi: 10.1109/CVPR.2018.00473.

[8] S. Li et G. Wang, « Low-Dose CT Image Denoising Using Parallel-Clone Networks », *ArXiv*200506724 *Cs Eess*, mai 2020, Consulté le: 2 novembre 2021. [En ligne]. Disponible sur: http://arxiv.org/abs/2005.06724

[9] D. P. Kingma et J. Ba, « Adam: A Method for Stochastic Optimization », arXiv, 29 janvier 2017. doi: 10.48550/arXiv.1412.6980.