Brevet FR3115385A1 — publié le 20220422

Procédé de traitement d'image radiologique, mis en œuvre par ordinateur, comprenant les étapes de: - détection (1) de la présence d'anomalies représentatives de pathologies dans une image au format numérique caractérisée par l'intensité de chacun de ses pixels; - estimation (2) d'une carte d'influence d'anomalie représentative du degré d'influence de chaque pixel de l'image, pour chaque anomalie détectée; - normalisation (3) des cartes d'influence d'anomalie en cartes normalisées d'influence d'anomalie ; - fusion (4) des cartes normalisées d'influence d'anomalie des anomalies détectées en une carte d'influence fusionnée ; - traitement (5) d'amélioration de l'image , par pondération des intensités des pixels de l'image par la valeur correspondante de la carte d'influence fusionnée . Figure pour l’abrégé : Fig 1. Procédé de traitement d'image radiologique L’invention porte sur un procédé de traitement d'image radiologique, et s’inscrit dans le domaine des dispositifs médicaux pour l’exploitation d’images obtenues par imagerie à rayons X, et plus précisément dans le domaine du traitement d’image et de l’apprentissage automatique pour l’assistance au diagnostic d’examens radiologiques. Pour établir un diagnostic à partir d’un examen radiologique, les radiologues appliquent différents post-traitements (optimisation du contraste, fenêtrage, rehaussement de contours, …) aux images afin de mettre en évidence certaines anomalies indiquant la présence d’une ou plusieurs pathologies. Ces post-traitements nécessitent un paramétrage, établis par défaut ou fournis par l’utilisateur, ou sont automatiques et reposent sur des mesures réalisées sur l’image entière ou sur une région d’intérêt, d'acronyme ROI pour "Region Of Interest" en langue anglaise, définie par l’utilisateur. Ces posttraitements requièrent souvent une intervention humaine pour les paramétrer ou pour définir une ROI. Aussi, la définition des paramètres ou d’une ROI peut demander du temps et peut s’avérer difficile si les anomalies concernées sont peu visibles avant d’appliquer ces traitements. Le temps de diagnostic peut dont se voir augmenté. Lorsque ces mesures sont réalisées sur l’image entière, les résultats obtenus peuvent ne pas être optimaux pour la visualisation d’anomalies localisées sur des régions particulières de l’image. Alternativement, des systèmes à base d’algorithmes d’apprentissage automatique ont été récemment utilisés pour une assistance au diagnostic, d'acronyme CAD pour "Computer-Aided Diagnosis" en langue anglaise à partir d’examens radiologiques. Néanmoins, la plupart d’entre eux sont encore en phase expérimentale et leurs résultats sont difficilement interprétables. L’étude de l’examen par un radiologue est donc nécessaire pour établir un diagnostic. De nombreux post-traitements existent pour améliorer la qualité des images radiologiques, notamment pour améliorer le contraste. Beaucoup d’entre eux sont basés sur l’égalisation d’histogramme d'acronyme HE pour "Histogram Equalization" en langue anglaise, comme divulgué dans le document "Computer vision: algorithms and applications", Springer Science & Business Media, de Szeliski, Richard, 2010, au paragraphe 3.1.4. Dans cette approche, les intensités des pixels sont modifiées pour obtenir la distribution d’intensités la plus homogène possible sur l’ensemble des pixels de l’image. L’algorithme HE ne précise aucun paramétrage mais ne parvient pas à améliorer les contrastes de toutes les régions de l’image. Pour surmonter ce problème, de nombreuses variantes existent, notamment une égalisation d'histogramme adaptative à contraste limité d'intensités d'acronyme CLAHE pour "Contrast Limited Adaptative Histogram Equalization" en langue anglaise, comme décrit dans le document "Adaptive histogram equalization and its variations", Computer vision, graphics, and image processing 39 (3): 355–368, de Pizer, Stephen M, E Philip Amburn, John D Austin, Robert Cromartie, Ari Geselowitz, Trey Greer, Bart ter Haar Romeny, John B Zimmerman, et Karel Zuiderveld. 1987, et dans le document "Modified Contrast Limited Adaptive Histogram Equalization Based on Local Contrast Enhancement for Mammogram Images" Mobile Communication and Power Engineering, édité par Vinu V Das et Yogesh Chaba, 296:397‑403, Communications in Computer and Information Science, Berlin, Heidelberg: Springer Berlin Heidelberg, https://doi.org/10.1007/978-3-642-35864-7_60, de Mohan, Shelda, et M. Ravishankar, 2013. Ces variantes doivent être paramétrées, et certains travaux proposent des méthodes de paramétrage automatique. Dans la méthode "Automatic x-ray image contrast enhancement based on parameter auto-optimization", Journal of Applied Clinical Medical Physics 18 (6): 218‑23, https://doi.org/10.1002/acm2, 2017, la solution de Pizer est couplée avec un filtre passe-haut et leur paramètres sont optimisés afin de maximiser l’entropie de l’image traitée. Le document "Improved Lung Nodule Visualization on Chest Radiographs Using Digital Filtering and Contrast Enhancement" 5 (12): 4 de Kwan, Benjamin Y M, et Hon Keung Kwan, 2011, propose d’utiliser HE après un autre traitement ou de simplement appliquer HE sur une ROI définie par l’utilisateur. Les methodes de Pizer et de Mohan proposent des améliorations de HE (Histogram Equalization) pour surmonter le problème mentionné auparavant. Cependant, ces méthodes doivent être paramétrées, soit avec des paramètres par défaut qui peuvent être inadéquats pour chaque image, soit de façon manuelle par le radiologue. La méthode de Kwan propose l’application de HE après un filtre passe-haut, les limitations de HE restent donc présentes. Alternativement, il propose le calcul de HE sur une ROI, mais ceci requiert la définition de la ROI par un utilisateur. Cette tâche demande donc l’intervention du radiologue et peut parfois s’avérer compliquée si le radiologue n’as pas d’a priori sur la localisation des anomalies à visualiser. Le document "Automatic x-ray image contrast enhancement based on parameter auto-optimization". Journal of Applied Clinical Medical Physics 18 (6): 218‑23, de Qiu, Jianfeng, H. Harold Li, Tiezhi Zhang, Fangfang Ma, et Deshan Yang, 2017, propose une variante de la méthode de Pizer en la couplant à un filtre passe-haut. Il décrit également une stratégie de paramétrage automatique dans laquelle les paramètres sont optimisés à fin de maximiser l’entropie de l’image traitée. Il existe d’autres méthodes pour améliorer le contraste, comme celle introduite dans le document "Contrast Enhancement of Medical X-Ray Image Using Morphological Operators with Optimal Structuring Element ", ArXiv:1905.08545 [Cs, Eess], http://arxiv.org/abs/1905.08545, 2019, de Kushol, Rafsanjany, Md Nishat Raihan, Md Sirajus Salekin, et A. B. M. Ashikur Rahman. Ce document propose également une stratégie pour effectuer un paramétrage automatique. Dans les approches de Kushol et Qiu tous les pixels de l’image ont la même influence dans le calcul de la grandeur permettant d’optimiser les paramètres. Le résultat ainsi obtenu peut ne pas être optimal pour certaines régions de l’image qui, comme dans le cas de HE, aurait une distribution sensiblement différente à celle de l’image entière. De récents travaux proposent de faire de l’assistance au diagnostic, en se basant pour la plupart sur de réseaux de neurones, plus concrètement sur des réseaux faisant de la classification d’images. De tels exemples sont décrits dans le document "Abnormality Detection and Localization in Chest X-Rays Using Deep Convolutional Neural Networks", ArXiv:1705.09850 [Cs] , 2017, http://arxiv.org/abs/1705.09850, de Islam, Mohammad Tariqul, Md Abdul Aowal, Ahmed Tahseen Minhaz, et Khalid Ashraf, et dans le document "CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning", ArXiv:1711.05225 [Cs, Stat] , http://arxiv.org/abs/1711.05225, 2017, de Rajpurkar, Pranav, Jeremy Irvin, Kaylie Zhu, Brandon Yang, Hershel Mehta, Tony Duan, Daisy Ding, et al. Les méthodes de Islam ou de Rajpurkar ne permettent pas d'améliorer la visibilité d’anomalies sur des images radiologiques mais elles estiment la présence d’une pathologie. Ces technologies sont encore en phase expérimentale et nécessitent l’intervention d’un radiologue pour confirmer le diagnostic. Plusieurs estimations du degré d’influence de chaque pixel ou région de l’image dans les résultats obtenus ont été proposées obtenus à partir de réseaux pour la classification d’images. Cela est le cas dans le document "Grad-cam: Visual explanations from deep networks via gradient-based localization", Proceedings of the IEEE international conference on computer vision, 618–626, 2017, de Selvaraju, Ramprasaath R, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, et Dhruv Batra, dans le document "Layer-Wise Relevance Propagation for Deep Neural Network Architectures", Information Science and Applications (ICISA) 2016, édité par Kuinam J. Kim et Nikolai Joukov, 376:913‑22, Lecture Notes in Electrical Engineering, Singapore: Springer Singapore. https://doi.org/10.1007/978-981-10-0557-2_87, de Binder, Alexander, Sebastian Bach, Gregoire Montavon, Klaus-Robert Müller, et Wojciech Samek, dans le document "Learning Deep Features for Discriminative Localization", 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2921‑29, Las Vegas, NV, USA: IEEE. https://doi.org/10.1109/CVPR.2016.319, de Zhou, Bolei, Aditya Khosla, Agata Lapedriza, Aude Oliva, et Antonio Torralba, et du document "Visualizing and Understanding Convolutional Networks" ArXiv:1311.2901 [Cs], novembre. http://arxiv.org/abs/1311.2901, 2016, de Zeiler, Matthew D., et Rob Fergus. Un but de l'invention est de pallier les problèmes précédemment cités, et notamment d'améliorer les post-traitements des images numériques pour mieux mettre en évidences les anomalies détectées, faciliter le travail du radiologue et réduire le temps de diagnostic. Aussi, il est proposé, selon un aspect de l'invention, un pProcédé de traitement d'image radiologique, mis en œuvre par ordinateur, comprenant les étapes de: - détection de la présence d'anomalies représentatives de pathologies dans une image au format numérique caractérisée par l'intensité de chacun de ses pixels; - estimation d'une carte d'influence d'anomalie représentative du degré d'influence de chaque pixel de l'image, pour chaque anomalie détectée; - normalisation des cartes d'influence d'anomalie en cartes normalisées d'influence d'anomalie ; - fusion des cartes normalisées d'influence d'anomalie des anomalies détectées en une carte d'influence fusionnée ; - traitement 5 d'amélioration de l'image , par pondération des intensités des pixels de l'image par la valeur correspondante de la carte d'influence fusionnée . Le procédé de l'invention permet de mettre en évidences les anomalies détectées, de faciliter le travail du radiologue et de réduire le temps de diagnostic. Selon un mode de mise en œuvre, l'étape de détection utilise un réseau de neurones convolutif ayant entrainé pour une détection d'anomalies représentatives de pathologies sur des examens radiologiques. Cet entrainement (ou optimisation ou apprentissage) du réseau de neurones lui permet de produire pour chaque anomalie k une probabilité p k de présence à partir de l’image d’entrée, lorsque que cette probabilité est supérieure à un seuil π donné, par exemple π=0.5, on considère que l’anomalie a été détectée. Dans un mode de mise en œuvre, la normalisation de chaque carte d'influence d'anomalie utilise la transformation affine suivante : dans laquelle: est la carte normalisée de la carte d'influence d'anomalie . Une telle normalisation permet de s’assurer que toutes les cartes normalisées sont dans la même plage de valeurs (entre 0 et 1 dans ce cas). Cette procédure permet d’équilibrer les influences des différentes cartes lors de l’étape de fusion (une carte comprenant de valeurs entre 0 et 100 aurait beaucoup plus d’influence qu’une carte comprenant de valeurs entre 0 et 1). Selon un mode de mise en œuvre, la fusion utilise une moyenne des cartes normalisées d'influence d'anomalie pondérée par la probabilité p k de présence de chaque anomalie en utilisant la relation suivante: dans laquelle représente le nombre d’anomalies détectées; et p k représente la probabilité p k de présence de chaque anomalie, calculée par le réseau de neurones convolutif. Une telle fusion présente l'avantage d’avoir une unique carte pour pondérer les intensités des pixels de l’image. Dans un mode de mise en œuvre, le traitement utilise une égalisation d'histogramme d'intensités, avec pondération de la contribution de chaque pixel, en utilisant la relation suivante: dans laquelle: représente le niveau de l’histogramme pour l’intensité ; et représente t la fonction indicatrice : ; représente l'intensité du pixel (x, y). Un tel traitement présente l'avantage d’améliorer le contraste de l’image, particulièrement celui des zones de l’image présentant des anomalies ayant été détectées car l’influence des pixels correspondants dans le calcul de l’histogramme est accrue. Selon un mode de mise en œuvre, le traitement utilise une optimisation des paramètres de CLAHE et d'un filtre passe-haut en maximisant l'entropie de l'image traitée, définie par la relation suivante: dans laquelle: représente l'entropie de l’image traitée représente l’ensemble des niveaux d’intensité de l’image numérique; et représente la probabilité qu’un pixel de l’image numérique ait l’intensité : Cette optimisation est décrite dans le document "Automatic x-ray image contrast enhancement based on parameter auto-optimization", Journal of Applied Clinical Medical Physics de Qiu, Jianfeng, H. Harold Li, Tiezhi Zhang, Fangfang Ma, et Deshan Yang. 2017. Un tel traitement améliore le contraste de l’image, particulièrement celui des zones de l’image présentant des anomalies ayant été détectées par l’influence des pixels correspondants dans le calcul de l’entropie de l’image traitée. Selon un autre aspect de l'invention, il est également proposé un produit programme d'ordinateur comprenant des instructions de code de programme enregistrés sur un support lisible par un ordinateur, pour mettre en œuvre des étapes du procédé selon l'une des revendications précédentes, lorsque ledit programme est exécuté sur un ordinateur. L'invention sera mieux comprise à l'étude de quelques modes de réalisation décrits à titre d'exemples nullement limitatifs et illustrés par le dessin annexé sur lequel: illustre schématiquement un procédé de traitement d'image radiologique, mis en œuvre par ordinateur, selon un aspect de l'invention; Sur la est illustré, selon un aspect de l'invention, un procédé de traitement d'image radiologique, mis en œuvre par ordinateur, comprenant les étapes de: - détection 1 de la présence d'anomalies représentatives de pathologies dans une image au format numérique caractérisée par l'intensité de chacun de ses pixels; - estimation 2 d'une carte d'influence d'anomalie représentative du degré d'influence de chaque pixel de l'image, pour chaque anomalie détectée; - normalisation 3 des cartes d'influence d'anomalie en cartes normalisées d'influence d'anomalie ; - fusion 4 des cartes normalisées d'influence d'anomalie des anomalies détectées en une carte d'influence fusionnée ; - traitement 5 d'amélioration de l'image , par pondération des intensités des pixels de l'image par la valeur correspondante de la carte d'influence fusionnée . Un procédé selon l'invention permet un traitement automatique d’images radiologiques qui améliore la visibilité des régions sur lesquelles la présence d’une anomalie est détectée. Cette invention facilite donc le diagnostic de pathologies à partir d’examens radiologiques sans intervention d’un radiologue ou d’un autre utilisateur, et fournit une image sur laquelle la visibilité d’éventuelles anomalies est améliorée, facilitant l’étude par un radiologue. Pour ce faire, les traitements existants sont modifiés pour augmenter l’influence des zones de l’image sur lesquelles une anomalie a été détectée. Ainsi, les traitements seront plus efficaces sur ces régions, facilitant la mise en évidence des anomalies détectées. Cela est notamment obtenu en pondérant les intensités des pixels de l'image par la valeur correspondante de la carte d'influence fusionnée . L'étape de détection 1 peut utiliser un réseau de neurones convolutif ayant été entrainé pour la détection d'anomalies représentatives de pathologies sur des examens radiologiques. L’utilisation d’une détection différente est possible tant qu’il existe une estimation d’influence de pixels compatible. L’implémentation d’un tel réseau de neurones et son entrainement ou apprentissage sont amplement décrits dans la littérature. Ce type de réseaux produit pour chaque anomalie une probabilité de présence à partir de l’image d’entrée, lorsque que cette probabilité est supérieure à un seuil donné, valant par exemple , on considère que l’anomalie a été détectée. En notant l’ensemble des anomalies détectées : Ce type de réseaux requiert souvent que l’image d’entrée ait une résolution et un nombre de canaux précis (un pour une image en échelle de gris, trois pour une image RGB). Si l’image d’entrée est d’une résolution différente l’image peut être redimensionnée à la résolution demandée et le nombre des canaux adaptés. Par exemple (Rajpurkar et al. 2017) utilisent l’architecture de réseau DenseNet-121 (Huang et al. 2017) qui prend en entrée des images de taille 224x224 à trois canaux. Dans ce cas les images radiologiques, d’une résolution arbitraire et à un seul canal, sont redimensionnées à 224x224 et converties en trois canaux, en répétant la même valeur pour chaque canal. L'étape d'estimation d'influence 2 peut être implémentée selon des estimations de l’état de l’art, par exemple, tel que proposé dans le document "Grad-cam: Visual explanations from deep networks via gradient-based localization" Proceedings of the IEEE international conference on computer vision, 618–626, 2017, de Selvaraju, Ramprasaath R, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, et Dhruv Batra, compatible avec une multitude d’architectures différentes, qui produit une carte d’une résolution égale à la résolution de la sortie d’une couche de convolution choisi dans l’architecture du réseau de détection. La carte d'influence doit alors être redimensionnée, par exemple par interpolation bilinéaire, à la résolution originale de l’image. On note , la carte d'influence correspondant à l’anomalie détectée . Par exemple, lorsque l'estimation d'influence 2 de Selvaraju, Ramprasaath R, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, et Dhruv Batra, est appliquée à la dernière couche de convolution de la détection de Rajpurkar, Pranav, Jeremy Irvin, Kaylie Zhu, Brandon Yang, Hershel Mehta, Tony Duan, Daisy Ding, la résolution de sortie est de 7x7. La carte d'influence est alors redimensionnée à la taille de l’image originale. Toute autre estimation d’influence 2 compatible avec la méthode de détection choisie peut être valable. Concernant l'étape de normalisation 3 de chaque carte d'influence d'anomalie , une possibilité d’implémentation est l’application d’une transformation affine pour que toutes les valeurs soient comprises entre 0 et 1 : dans laquelle est la carte normalisée de la carte d'influence d'anomalie . Les cartes d'influence d'anomalie peuvent être normalisées de façon différente. Une solution d’implémentation pour l'étape de fusion 4 des cartes cartes normalisées d'influence d'anomalie de chaque anomalie k détectée est de faire la moyenne des cartes pondérée par la probabilité de présence de chaque anomalie k : dans laquelle représente le nombre d’anomalies détectées; et p k représente la probabilité p k de présence de chaque anomalie calculée par le réseau de neurones convolutif. En variante, les cartes peuvent être fusionnées de façon différente. L'étape de traitement peut utiliser une égalisation d'histogramme d'intensités, avec pondération de la contribution de chaque pixel, en utilisant la relation suivante: dans laquelle: représente le niveau de l’histogramme pour l’intensité ; et représente t la fonction indicatrice : ; représente l'intensité du pixel (x, y). En variante, l'étape de traitement peut utiliser une optimisation des paramètres de CLAHE et d'un filtre passe-haut en maximisant l'entropie de l'image traitée, définie par la relation suivante: dans laquelle: représente l'entropie de l’image traitée représente l’ensemble des niveaux d’intensité de l’image numérique; et représente la probabilité qu’un pixel de l’image numérique ait l’intensité : Le traitement 5 peut également s'appliquer différemment aux méthodes de traitements précédemment citées ainsi qu'à d'autres méthodes de traitement connues. La présente invention peut être implémenté sur un produit programme d'ordinateur comprenant du code informatique exécutable par ordinateur, stocké sur un support lisible par ordinateur et adapté pour mettre en œuvre le procédé tel que précédemment décrit. L'invention peut être implémentée sur un ordinateur local ou sur une plateforme distribuée en réseau. Procédé de traitement d'image radiologique, mis en œuvre par ordinateur, comprenant les étapes de: - détection (1) de la présence d'anomalies représentatives de pathologies dans une image au format numérique caractérisée par l'intensité de chacun de ses pixels; - estimation (2) d'une carte d'influence d'anomalie représentative du degré d'influence de chaque pixel de l'image, pour chaque anomalie détectée; - normalisation (3) des cartes d'influence d'anomalie en cartes normalisées d'influence d'anomalie ; - fusion (4) des cartes normalisées d'influence d'anomalie des anomalies détectées en une carte d'influence fusionnée ; - traitement (5) d'amélioration de l'image , par pondération des intensités des pixels de l'image par la valeur correspondante de la carte d'influence fusionnée . Procédé selon la revendication 1, dans lequel la normalisation (3) de chaque carte d'influence d'anomalie utilise la transformation affine suivante : dans laquelle: est la carte normalisée de la carte d'influence d'anomalie . Procédé selon l'une des revendications précédentes, dans lequel l'étape de détection (1) utilise un réseau de neurones convolutif ayant été entraîné pour une détection d'anomalies représentatives de pathologies sur des examens radiologiques. Procédé selon la revendication 3, dans lequel la fusion (4) utilise une moyenne des cartes normalisées d'influence d'anomalie pondérée par la probabilité p k de présence de chaque anomalie en utilisant la relation suivante: dans laquelle représente le nombre d’anomalies détectées; et p k représente la probabilité p k de présence de chaque anomalie calculée par le réseau de neurones convolutif. Procédé selon l'une des revendications 1 à 4, dans lequel le traitement (5) utilise une égalisation d'histogramme d'intensités, avec pondération de la contribution de chaque pixel, en utilisant la relation suivante: dans laquelle: représente le niveau de l’histogramme pour l’intensité ; et représente t la fonction indicatrice : ; représente l'intensité du pixel (x, y). Procédé selon l'une des revendications 1 à 4, dans lequel le traitement (5) utilise une optimisation des paramètres de CLAHE et d'un filtre passe-haut en maximisant l'entropie de l'image traitée, définie par la relation suivante: dans laquelle: représente l'entropie de l’image traitée représente l’ensemble des niveaux d’intensité de l’image numérique; et représente la probabilité qu’un pixel de l’image numérique ait l’intensité : Produit programme d'ordinateur comprenant des instructions de code de programme enregistrés sur un support lisible par un ordinateur, pour mettre en œuvre des étapes du procédé selon l'une des revendications précédentes, lorsque ledit programme est exécuté sur un ordinateur.