Brevet FR3146529A1 — publié le 20240913

SYSTÈME ET PROCÉDÉ COMBINÉ DE SÉLECTION, D’ANNOTATION ET D’ENTRAÎNEMENT VIA UN MODÈLE D’APPRENTISSAGE AUTOMATIQUE PARTAGÉ L’invention concerne un système combiné de sélection et d’annotation de données d’entraînement d’un modèle d’apprentissage automatique, comprenant le modèle (12) et deux bases (14, 16) de données comprenant respectivement des données non-annotées ou annotées, caractérisé en ce que le modèle est configuré pour sélectionner un ensemble de données (20) non-annotées les plus utiles à annoter, annoter automatiquement les données (20) non-annotées les plus utiles, recevoir au moins une correction et/ou une validation d’annotation des données par un oracle (18) pour fournir des données (24) validées stockées dans la deuxième base (16) de données, et être réentraîné pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive par les données validées de la deuxième base (16) de données. Figure pour l’abrégé : figure 1 SYSTÈME ET PROCÉDÉ COMBINÉ DE SÉLECTION, D’ANNOTATION ET D’ENTRAÎNEMENT VIA UN MODÈLE D’APPRENTISSAGE AUTOMATIQUE PARTAGÉ Domaine technique de l’invention L’invention concerne un système combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique, d’annotation de données d’entraînement du modèle, d’entraînement du modèle d’apprentissage et de prédiction à partir du modèle, un procédé et un produit programme d’ordinateur associé. L’invention est notamment destinée à l’annotation de données liées à la segmentation d’images médicales, par exemple provenant d’imagerie par résonance magnétique (IRM) ou d’une tomodensitométrie (TDM) pour l’identification d’organes sur chacune des images de coupe obtenues par l’IRM ou la TDM afin de recréer une modélisation 3D de l’organe à partir de ces segmentations, entre autres applications. Arrière-plan technologique La segmentation d’images est une technique permettant d’associer à chaque pixel ou voxel d’une image 2D ou 3D un label représentatif de l’objet, de la texture ou de l’état, etc. correspondant audit pixel ou voxel. La segmentation d’image est notamment utilisée dans un contexte médical pour déterminer les organes, les tissus, les fluides, etc. visibles sur une image 2D ou 3D. Une telle image est par exemple obtenue par IRM et permet de former un modèle 3D de l’organe visé et par exemple de son environnement et de la tumeur à opérer. Cette création d’un modèle 3D nécessite la segmentation des images obtenues par l’IRM. La segmentation des images peut se baser sur l’usage d’un modèle d’apprentissage automatique permettant une segmentation automatique ou semi-automatique des images, respectivement sans ou avec l’aide d’un utilisateur permettant d’apporter des corrections. Le modèle d’apprentissage automatique agit comme un prédicteur qui, en recevant comme entrée une image à segmenter, fournit une image segmentée en sortie. L’utilisation d’un modèle d’apprentissage automatique nécessite un entraînement préalable du modèle en utilisant un grand nombre de données annotées, c’est-à-dire des images dans lesquelles les différentes classes de segmentation ont été déterminées et annotées/labellisées. Ces données annotées sont regroupées dans un jeu de données ( dataset en anglais) dédié à l’entraînement, la validation et le test du modèle implémenté. La disponibilité des données annotées est une condition essentielle pour l’entraînement supervisé des systèmes d'apprentissage automatique, qui se définissent par leur capacité à apprendre à partir de ces données annotées pour faire des prédictions ou prendre des décisions. Au cœur d'un système d'apprentissage automatique se trouve le prédicteur, qui est formé par un modèle d’apprentissage automatique représentant ce qui a été appris par le système grâce aux données annotées. Les performances et les capacités de généralisation de l'apprentissage automatique supervisé dépendent intrinsèquement de la taille et de la composition de l'ensemble de données d'apprentissage annotées. Cependant, l'annotation des données est généralement coûteuse : elle nécessite souvent une expertise particulière dans le domaine cible, ainsi qu'une attention particulière aux détails et des entrées précises de la part de l'annotateur. C'est particulièrement vrai dans le domaine de l'imagerie médicale, qui nécessite des connaissances médicales approfondies et présente souvent des difficultés d'interprétation. Cette nécessité d’intervention d’un expert complexifie l'augmentation de la taille de l'ensemble des données : l'annotation de grandes quantités de données nécessite une main-d'œuvre spécialisée et un temps considérable. Des solutions ont été proposées pour simplifier la tâche d’annotation de différentes manières. En particulier, des solutions pour atténuer le problème de l'annotation des données ont été par exemple l'apprentissage semi-supervisé, faiblement supervisé ( weakly supervised en anglais), auto-supervisé et non supervisé, l'apprentissage à zéro coup ( zero-shot learning en anglais) et à coup unique ( one-shot learning en anglais), l'apprentissage par transfert ( transfer learning en anglais) et l'apprentissage multitâche ( multitask learning en anglais). Ils permettent de limiter ou de supprimer complètement le besoin d'annotation humaine. Toutefois, leur applicabilité est limitée : ils sont sensibles aux erreurs, ce qui les rend moins adaptés aux problèmes complexes, critiques pour la sécurité et à forte variabilité, typiquement comme les problèmes liés aux applications cliniques et médicales. Ces solutions offrent moins de contrôle sur la qualité des résultats, nécessitent généralement des algorithmes plus complexes et un réglage plus fin, et peuvent aboutir à des modèles moins précis et moins interprétables que l'apprentissage supervisé. L'apprentissage supervisé offre généralement un moyen plus simple d'obtenir de meilleures performances lorsque l'on dispose de suffisamment de données annotées, et reste donc pertinent et utilisé par de nombreuses approches actuelles. Ainsi, l'annotation de données par un expert humain reste utile et la recherche d’une solution pour accélérer le processus d'annotation est pertinente. L’expert humain joue ainsi le rôle d’oracle pour le système d’apprentissage automatique. Le paradigme de base de l'apprentissage automatique comporte trois phases principales : une phase d’annotation des données, une phase d'entraînement du modèle d’apprentissage automatique prédicteur, et une phase d’évaluation. Le système peut ensuite revenir à la phase d’annotation de données si nécessaire. Dans les systèmes les plus simples, la phase d’annotation de données peut utiliser un système d’annotation classique tel que 3D Slicer, qui nécessite beaucoup d’efforts et de temps pour un oracle humain. Dans les systèmes plus avancés, cette phase peut être améliorée en utilisant la sélection des données non annotées les plus utiles par apprentissage actif ( Active Learning en anglais). Cette solution permet de réduire le nombre de données à annoter tout en permettant d’obtenir des données annotées pertinentes pour l’entraînement du modèle d’apprentissage automatique. Des solutions proposent de remplacer le système d’annotation classique par un prédicteur d’annotation dédié. Le prédicteur d'annotation suggère une annotation que l'expert peut valider ou corriger. Cela soulève la question de l'entraînement de ce prédicteur d'annotation. Les systèmes existants entraînent le prédicteur d'annotation une fois qu'une quantité suffisante de données a été annotée par le système d'annotation classique. Ils sont sous-optimaux, car le prédicteur d'annotation ne s'améliore pas au fur et à mesure que les données sont annotées. Les inventeurs ont donc cherché une solution pour simplifier la tâche d’annotation pour l’oracle en améliorant les systèmes existants. Objectifs de l’invention L’invention vise à fournir un système, un procédé et un produit programme d’ordinateur de sélection de données d’entraînement d’un modèle d’apprentissage automatique, d’annotation de données d’entraînement du modèle, d’entraînement du modèle et de prédiction à partir du modèle. L’invention vise également à fournir, dans au moins un mode de réalisation, un système permettant d’utiliser un modèle d’apprentissage partagé pour réaliser la sélection de données d’entraînement, et assister un oracle à l’annotation de données d’entraînement, tout en permettant le déploiement du modèle partagé en tant que prédicteur à tout moment. L’invention vise également à fournir, dans au moins un mode de réalisation, un système, un procédé et un produit programme d’ordinateur permettant la segmentation d’image, la détection et reconnaissance d'objets, et/ou la classification d'image, plus généralement de tout type de tâche lié au traitement d'image, médical ou non, ou à la vision par ordinateur, incluant, mais non limité à la classification, la catégorisation, la segmentation, la segmentation sémantique, la segmentation d'instances, la détection d'objets, la localisation. Pour ce faire, l’invention concerne un système combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, comprenant : le modèle pré-entraîné avec des données initiales annotées d’entraînement, une première base de données comprenant un ensemble de données non-annotées, une deuxième base de données configurée pour le stockage de données annotées, caractérisé en ce que le modèle est configuré pour : sélectionner, parmi l’ensemble des données non-annotées de la première base de données, un ensemble de données non-annotées les plus utiles à annoter via une méthode d’apprentissage actif, annoter automatiquement les données non-annotées les plus utiles pour fournir des données automatiquement annotées, recevoir, via une interface d’annotation interactive du système associée au modèle d’apprentissage automatique, au moins une correction et/ou une validation d’annotation des données automatiquement annotées par un oracle pour fournir des données validées, lesdites données validées étant stockées dans la deuxième base de données, être réentraîné pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive par les données validées de la deuxième base de données. Un système combiné selon l’invention permet donc de gérer différentes fonctions autour d’un modèle d’apprentissage partagé de sorte à ce que le modèle d’apprentissage bénéficie de cette interaction entre les différentes fonctions. En particulier, le système permet d’une part de sélectionner les données d’entraînement en déterminant quelles données non annotées sont les plus utiles pour l’entraînement grâce à l’apprentissage actif mis en œuvre par le modèle d’apprentissage automatique. Cela permet de réduire le nombre de données à annoter par un oracle et de permettre un ajout continu de nouvelles données à annoter en priorisant les données non annotées qui contribuent le plus à améliorer les performances du système au prochain cycle d’entraînement. Le système permet également de fournir une solution permettant d’assister un oracle humain à l’annotation interactive de ces données les plus utiles en utilisant ce même modèle d’apprentissage automatique afin de simplifier l’annotation des données. L’annotation est ainsi contrôlée et guidée par le modèle d’apprentissage automatique. Plus le modèle est efficace, moins le nombre d'interactions requises par l’oracle est important pour l’annotation des données, en particulier car le nombre de corrections nécessaire par l’oracle réduit. Enfin, les données annotées sont elles-mêmes utilisées pour le réentraînement du modèle, en particulier pour l’assistance au tri des données non-annotées les plus utiles à annoter, et pour l’assistance à l’oracle pour l’annotation des données non annotées. Le modèle d’apprentissage automatique est plus connu sous le nom de modèle de Machine Learning en anglais. Le temps passé à annoter les données est ainsi réduit pour l’oracle, tout en conservant le contrôle de l’annotation. Le réentraînement désigne de façon large plusieurs solutions permettant d’entraîner le modèle avec l’ensemble des données annotées comprenant les données annotées déjà utilisées pour l’entraînement et les données validées, qui peut consister en : un réentraînement complet, un réglage fin ( fine tuning en anglais) ou un apprentissage continu ( continual learning en anglais). Ce réentraînement est réalisé de façon automatique ou par un expert humain compétent pour agir sur le modèle d’apprentissage automatique. La fusion de ces fonctions permet d’une part de limiter les ressources nécessaires pour l’annotation, et d’autre part d’améliorer les performances globales du système d’annotation, en combinant les canaux d’apprentissage et d’annotation dans un seul système combiné par l’usage conjoint de l’apprentissage actif par le modèle d’apprentissage automatique et de l’annotation interactive utilisant le même modèle d’apprentissage automatique comme assistant d’annotation. L’utilisation d’un modèle d’apprentissage automatique partagé permet donc également de faciliter la gestion du modèle et de réduire les interventions et délais techniques et logistiques, en particulier en combinant la phase d’annotation et la phase entraînement du modèle d’apprentissage automatique. Cette approche permet également de faciliter le déploiement du modèle d’apprentissage automatique pour sa fonction de prédiction automatique d’annotations pour les données non-annotées lorsque le modèle d’apprentissage automatique est suffisamment entraîné, en particulier lorsque le jeu de données ayant été annotées par l’oracle est de taille suffisamment importante. Le pré-entraînement permet en outre de s’approcher rapidement d’un système déployable qui joue son rôle de prédicteur lors de l’annotation interactive assistant l’oracle, tout en permettant le réentraînement avec les nouvelles données annotées. En outre, le pré-entraînement ne nécessite qu’un nombre minimal de données initiales d’entraînement annotées car l’oracle corrige les premières prédictions et le modèle s’améliore rapidement. Des données initiales annotées sont également conservées comme données de test pour suivre la progression du réentraînement. Ainsi, le système permet une interaction forte et croisée entre l’annotation et la prédiction : la sélection des données à annoter est réalisée dans l’objectif de parvenir à une meilleure prédiction du modèle d’apprentissage automatique et la prédiction par le modèle d’apprentissage permet l’assistance à la génération des annotations des données non-annotées. La méthode d’apprentissage actif sélectionne les données sur des critères spécifiques qui peuvent être internes à la donnée, externes à la donnée (métadonnées), dépendant des données déjà annotées, et/ou de la complexité d’annotation, etc. La méthode d’annotation interactive est par exemple dérivée de méthodes de l’art antérieur, par exemple une méthode dérivées des méthodes décrites dans une des publications suivantes : Amrehn, M., Gaube, S., Unberath, M., Schebesch, F., Horz, T., Strumia, M., Steidl, S., Kowarschik, M., Maier, A., 2017. UI-Net: Interactive Artificial Neural Networks for Iterative Image Segmentation Based on a User Model, in: Eurographics Workshop on Visual Computing for Biology and Medicine, The Eurographics Association. Zhou, T., Li, L., Bredell, G., Li, J., Konukoglu, E., 2021. Quality-aware memory network for interactive volumetric image segmentation, in: MICCAI. Liao, X., Li, W., Xu, Q., Wang, X., Jin, B., Zhang, X., Zhang, Y., Wang, Y., 2020. Iteratively-refined interactive 3d medical image segmentation with multi-agent reinforcement learning. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 9391–9399. Avantageusement et selon l’invention, la sélection de l’ensemble de données non-annotées les plus utiles à annoter est réalisée via le modèle d’apprentissage automatique en utilisant un ou plusieurs des critères de sélection suivants : une ou plusieurs propriétés internes de la donnée, une ou plusieurs propriétés externes de la donnée, l’incertitude de prédiction par le modèle d’apprentissage automatique, la représentativité des données annotées et des données non-annotées, un critère de difficulté d’annotation des données. Avantageusement et selon l’invention, le système est configuré pour l’annotation de nouvelles données non-annotées pour au moins une des applications suivantes : segmentation de nouvelles images non segmentées ou partiellement segmentées, détection et reconnaissance d’objets dans des nouvelles images, classification de nouvelles images, catégorisation de nouvelles images. Selon cet aspect de l’invention, le système est déployé pour sa tâche finale et permet l’annotation de nouvelles données n’ayant pas servi à l’entraînement, c’est-à-dire n’ayant pas servi au pré-entraînement ou au réentraînement. Selon d’autres variantes de l’invention, le système est utilisé dans d’autres applications, en particulier tout type de tâche liée au traitement d'image, médical ou non, ou à la vision par ordinateur, incluant, mais non limitée à la classification, la catégorisation, la segmentation, la segmentation sémantique, la segmentation d'instances, la détection d'objets, la localisation, etc. L’invention concerne également un procédé de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, ledit modèle étant pré-entraîné avec des données initiales annotées d’entraînement, comprenant : une étape de sélection par le modèle d’apprentissage automatique et parmi l’ensemble des données non-annotées, d’un ensemble de données non-annotées les plus utiles à annoter via une méthode d’apprentissage actif, une étape d’annotation automatique par le modèle d’apprentissage automatique des données non-annotées les plus utiles pour fournir des données automatiquement annotées, une étape de réception d’au moins une validation et/ou une correction d’annotation des données automatiquement annotées par un oracle pour fournir des données validées, une étape d’entraînement du modèle d’apprentissage automatique pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive par les données validées Avantageusement, le procédé combiné selon l’invention est configuré pour être mis en œuvre par un système combiné selon l’invention. Avantageusement, le système combiné selon l’invention est configuré pour mettre en œuvre le procédé combiné selon l’invention. Avantageusement et selon l’invention, le procédé comprend une étape de prédiction automatique d’une annotation de nouvelles données non-annotées. L’invention concerne également un produit programme d’ordinateur programme d’ordinateur combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, ledit produit programme d’ordinateur comprenant des instructions de code de programme pour l’exécution, lorsque ledit produit programme d’ordinateur est exécuté sur un ordinateur, des étapes du procédé combiné selon l’invention. L’invention concerne également un système combiné, un procédé combiné et un produit programme d’ordinateur combiné caractérisés en combinaison par tout ou partie des caractéristiques mentionnées ci-dessus ou ci-après. Liste des figures D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante donnée à titre uniquement non limitatif et qui se réfère aux figures annexées dans lesquelles : est une vue schématique d’un système combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle selon un mode de réalisation de l’invention. est une vue schématique d’un procédé combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle selon un mode de réalisation de l’invention. Description détaillée d’un mode de réalisation de l’invention Sur les figures, les échelles et les proportions ne sont pas strictement respectées et ce, à des fins d’illustration et de clarté. En outre, les éléments identiques, similaires ou analogues sont désignés par les mêmes références dans toutes les figures. Dans les figures, le modèle d’apprentissage automatique est représenté avec un symbole représentant un réseau neuronal à des fins illustratives mais d’autres types de modèle d’apprentissage automatique peuvent être utilisés. La représente schématiquement un système 10 combiné de sélection de données d’entraînement d’un modèle 12 d’apprentissage automatique et d’annotation de données d’entraînement du modèle 12 d’apprentissage automatique selon un mode de réalisation de l’invention. Le système 10 comprend le modèle 12 d’apprentissage automatique et deux bases de données permettant la gestion de données non-annotées et de données annotées, en particulier une première base 14 de données comprenant un ensemble de données non-annotées et une deuxième base 16 de données comprenant un ensemble de données annotées. Le modèle 12 d’apprentissage automatique est pré-entraîné avec des données initiales annotées d’entraînement. Des données initiales de test sont également prévues pour tester la performance du système après le pré-entraînement et chaque entraînement futur. En particulier, le système a été testé sur quatre jeux de données : segmentation IRM du bassin féminin sur un jeu de données créé par le demandeur comprenant quatre-vingt-dix-sept séries d’IRM représentant trois mille soixante-six coupes au total ; segmentation de type « CT » ( computed tomography en anglais) du foie et du pancréas sur les jeux de données « Medical Segmentation Decathlon », décrits dans la publication « Simpson, A.L., Antonelli, M., Bakas, S., Bilello, M., Farahani, K., Ginneken, B.V., Kopp-Schneider, A., Landman, B.A., Litjens, G.J., Menze, B.H., Ronneberger, O., Summers, R.M., Bilic, P., Christ, P.F., Do, R.K., Gollub, M.J., Golia-Pernicka, J., Heckers, S., Jarnagin, W.R., McHugo, M., Napel, S., Vorontsov, E., Maier-Hein, L., & Cardoso, M.J. (2019). A large annotated medical image dataset for the development and evaluation of segmentation algorithms. ArXiv, abs/1902.09063. » : « Liver tumors , Tumeurs du foie » et « Pancreas tumors , Tumeurs du pancréas » ; segmentation IRM du rein sur le jeu de données AMOS, décrit dans la publication : Yuanfeng, Ji & Bai, Haotian & Yang, Jie & Ge, Chongjian & Zhu, Ye & Zhang, Ruimao & Li, Zhen & Zhang, Lingyan & Ma, Wanling & Wan, Xiang & Luo, Ping. (2022). AMOS: A Large-Scale Abdominal Multi-Organ Benchmark for Versatile Medical Image Segmentation. 10.48550/arXiv.2206.08023. Le modèle peut être pré-entraîné sur respectivement 12 % (quinze volumes de données sur quatre-vingt-dix-sept), 11 % (quinze volumes de données sur cent trente et un), 12 % (trente-trois volumes sur deux cent quatre-vingt-deux) et 3,3 % (quarante volumes sur mille trois cents) de toutes les données pour pouvoir produire efficacement des annotations de qualité pour le reste des données en utilisant le système. Le modèle 12 d’apprentissage automatique est par exemple un réseau neuronal, par exemple une architecture de réseau neuronal encodeur-décodeur existante, par exemple un encodeur ResNet34 décrit dans la publication « He, K., Zhang, X., Ren, S., Sun, J., 2016. Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778. » et un décodeur générique. Le système 10, lorsqu’il est déployé, est en mesure de prédire automatiquement une annotation des données non-annotées, en permettant une correction ou vérification par un oracle 18, qui est un utilisateur humain suffisamment compétent pour cette correction ou vérification, autrement dit un expert humain. La correction ou vérification par l’oracle est en particulier importante dans le contexte médical où l’annotation des données non-annotées présente un enjeu pour une intervention future thérapeutique ou chirurgical, par exemple pour une segmentation d’images médicale destinées à la génération de modèles 3D d’organes pour l’assistance à la chirurgie par réalité augmentée. Suite au pré-entraînement, le modèle 12 d’apprentissage automatique nécessite un réentraînement pour l’amélioration de ses performances. Cet entraînement nécessite des données qui doivent être annotées par l’oracle 18 humain. La première base 14 de données peut comprendre un nombre important de données non-annotées. Les données non-annotées sont triées pour obtenir un ensemble 20 de données non-annotées les plus utiles permettant ainsi de réduire le temps nécessaire à l’oracle 18 humain pour générer des données annotées d’entraînement. Le modèle 12 d’apprentissage comprend ainsi comme entrées l’ensemble des données non-annotées les plus utiles et des interactions provenant de l’oracle 18 humain pour l’annotation des données non-annotées. En particulier, l’oracle 18 humain a accès à une boucle 22 d’interaction utilisateur reliée par le modèle 12 d’apprentissage automatique. La boucle 22 d’interaction reçoit des données annotées automatiquement par le modèle 12 d’apprentissage automatique. La boucle 22 d’interaction utilisateur permet de prendre en compte une correction et/ou validation de l’oracle 18 humain de ces données annotées, via une interface utilisateur de la boucle 22 d’interaction. Le modèle 12 d’apprentissage automatique prend en compte les éventuelles corrections et propose une nouvelle annotation automatique en conséquence. L’utilisation du modèle 12 d’apprentissage automatique comme assistant d’annotation est une méthode pouvant être appelée méthode d’annotation interactive (ou interactive annotation en anglais). Un système de modèle d’apprentissage automatique comprenant une telle boucle d’interaction pour la prise en compte des annotations est par exemple décrit dans la publication des inventeurs de la présente demande : Mikhailov, I., Chauveau, B., Bourdel, N., Bartoli, A. (2022). A Deep Learning-Based Interactive Medical Image Segmentation Framework. In: Wu, S., Shabestari, B., Xing, L. (eds) Applications of Medical Artificial Intelligence. AMAI 2022. Lecture Notes in Computer Science, vol 13540. Springer, Cham. Une fois l’annotation validée par l’oracle 18 humain, le modèle 12 d’apprentissage automatique fournit en sortie des données 24 validées, qui sont stockées dans la deuxième base 16 de données. Les nouvelles données annotées ajoutées dans la deuxième base 16 de données permettent ainsi un réentraînement du modèle 12 d’apprentissage automatique. Outre ses fonctions d’annotation automatique, le modèle 12 d’apprentissage automatique est lui-même configuré pour fournir en sortie les données 20 les plus utiles à annoter qui seront utilisées en entrée pour être annotées. Cette méthode est appelée méthode d’apprentissage actif ou active learning en anglais. Une méthode d’apprentissage actif pouvant être utilisée est par exemple une méthode basée sur la sélection de données basée sur l'incertitude par le biais du calcul de l'entropie. Cette méthode se base en particulier sur le principe qu’une prédiction présentant une entropie élevée liée à une prédiction incertaine est représentative d’une donnée informative et utile pour l’entraînement du modèle. La représente schématiquement un procédé 100 combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle selon un mode de réalisation de l’invention. Le procédé 100 représente une itération de sélection de données et d’annotation de données pouvant être mise en œuvre par un système tel que décrit en référence avec la . En pratique, le procédé peut être mis en œuvre de façon itérative pour l’annotation des données non-annotées, jusqu’à son arrêt ou lorsque l’ensemble des données non-annotées sont annotées. Chaque itération se termine par un réentraînement du modèle d’apprentissage automatique à partir d’un jeu d’entraînement comprenant les nouvelles données annotées. L’arrêt des itérations peut notamment s’effectuer lorsque les tests effectués avec les données de test donnent un taux d’erreur inférieur à un certain seuil, ou bien lorsqu’un expert humain, par exemple l’oracle, considère que les performances de l’annotation par le modèle d’apprentissage automatique sont suffisantes. Le procédé 100 comprend une étape 104 de sélection par le modèle d’apprentissage automatique et parmi l’ensemble des données 102 non-annotées, d’un ensemble 20 de données non-annotées les plus utiles via une méthode d’apprentissage actif. Les données 200 considérées comme moins utiles sont ignorées et ne sont pas annotées à cette itération. La détermination des données 20 les plus utiles est réalisée par inférence à partir du modèle d’apprentissage automatique et se base sur des critères d’utilité qui peuvent être : liées aux propriétés internes de la donnée, par exemple le type de donnée ou la qualité de la donnée ou une valeur intrinsèque de la donnée (valeur d’un champ, valeur d’un pixel ou d’une zone de pixel, etc.) ; liées aux propriétés externes de la donnée, de type métadonnée, par exemple l’origine de la donnée, etc. ; liées à l’incertitude de prédiction, car les données pour lesquelles le prédicteur donne des résultats avec l’incertitude la plus grande indiquent généralement que ces données sont les plus informatives ; liées à la représentativité, la sélection de données à caractéristique unique étant plus informative ; ou des critères personnalisés, par exemple une combinaison de ces critères ou d’autres critères. Le procédé 100 comprend ensuite une étape 106 d’annotation interactive, comprenant notamment une étape d’annotation automatique par le modèle d’apprentissage automatique des données 20 non-annotées les plus utiles pour fournir des données automatiquement annotées, et une étape de réception d’au moins une validation et/ou une correction d’annotation des données automatiquement annotées par un oracle pour fournir des données 24 validées, qui sont des données annotées et dont l’annotation a été validée par l’oracle humain. Le procédé comprend enfin une étape 108 d’entraînement du modèle d’apprentissage automatique pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive par les données 24 validées. Le modèle d’apprentissage automatique est ainsi amélioré pour l’itération suivante, et le modèle est ainsi réentraîné à chaque itération. Le nombre de données annotées ayant servi à l’entraînement est ainsi augmenté à chaque itération, en garantissant que les données les plus utiles sont annotées pour optimiser le temps d’annotation par l’oracle et augmenter les performances du modèle d’apprentissage automatique. En outre, la sélection de données maximise l’impact de chaque annotation sur les performances du modèle d’apprentissage automatique, ce qui permet une amélioration rapide des performances du modèle d’apprentissage automatique. Le système et le procédé peuvent en particulier être utilisés pour la segmentation d’images médicales. Dans ce contexte, les critères de sélection des données les plus utiles peuvent par exemple être : liées aux propriétés internes de la donnée, par exemple le type d’image ou la qualité de l’image ; liées aux propriétés externes de la donnée, de type métadonnée, par exemple une sélection selon l’âge ou le sexe du patient dont proviennent les données, la source de la donnée, etc. ; liées à l’incertitude de prédiction par une inférence du modèle d’apprentissage automatique sur toutes les données non-annotées ; liées à la représentativité, par exemple les images dont une caractéristique est à une position éloignée de la moyenne ; ou des critères personnalisés, par exemple une pré-sélection de données considérées comme les plus difficiles à annoter par un oracle humain. L’invention peut également être utilisée dans d’autres contextes que la segmentation d’image, en particulier la détection et reconnaissance d'objets, et/ou la classification d'image, plus généralement tout type de tâche liée au traitement d'image, médical ou non, ou à la vision par ordinateur, incluant, mais non limitée à la classification, la catégorisation, la segmentation, la segmentation sémantique, la segmentation d'instances, la détection d'objets, la localisation. Système combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, comprenant : le modèle (12) pré-entraîné avec des données initiales annotées d’entraînement, une première base (14) de données comprenant un ensemble de données non-annotées, une deuxième base (16) de données configurée pour le stockage de données annotées, caractérisé en ce que le modèle est configuré pour : sélectionner, parmi l’ensemble des données non-annotées de la première base de données, un ensemble de données (20) non-annotées les plus utiles à annoter via une méthode d’apprentissage actif, annoter automatiquement les données (20) non-annotées les plus utiles pour fournir des données automatiquement annotées, recevoir, via une interface (22) d’annotation interactive du système associée au modèle d’apprentissage automatique, au moins une correction et/ou une validation d’annotation des données automatiquement annotées par un oracle (18) pour fournir des données (24) validées, lesdites données (24) validées étant stockées dans la deuxième base (16) de données, être réentraîné pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive par les données validées de la deuxième base (16) de données. Système combiné selon la revendication 1, caractérisé en ce que la sélection de l’ensemble de données (20) non-annotées les plus utiles à annoter est réalisée via le modèle d’apprentissage automatique en utilisant un ou plusieurs des critères de sélection suivants : un ou plusieurs propriétés internes de la donnée, un ou plusieurs propriétés externes de la donnée, l’incertitude de prédiction par le modèle d’apprentissage automatique, la représentativité des données annotées et des données non-annotées, un critère de difficulté d’annotation des données. Système combiné selon l’une des revendications 1 ou 2, caractérisé en ce qu’il est configuré pour l’annotation de nouvelles données non-annotées pour au moins une des applications suivantes : segmentation de nouvelles images non segmentées ou partiellement segmentées, détection et reconnaissance d’objets dans des nouvelles images, classification de nouvelles images, catégorisation de nouvelles images. Procédé de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, ledit modèle étant pré-entraîné avec des données initiales annotées d’entraînement, comprenant : une étape (104) de sélection par le modèle d’apprentissage automatique et parmi l’ensemble des données non-annotées, d’un ensemble de données non-annotées les plus utiles à annoter via une méthode d’apprentissage actif, une étape d’annotation automatique par le modèle d’apprentissage automatique des données (20) non-annotées les plus utiles pour fournir des données automatiquement annotées, une étape de réception d’au moins une validation et/ou une correction d’annotation des données automatiquement annotées par un oracle pour fournir des données validées, une étape (108) d’entraînement du modèle d’apprentissage automatique pour la sélection des données non-annotées les plus utiles et pour l’annotation interactive par les données validées. Procédé selon la revendication 4, caractérisé en ce qu’il comprend une étape de prédiction automatique d’une annotation de nouvelles données non-annotées. Procédé selon l’une des revendication 4 ou 5, caractérisé en ce que la sélection de l’ensemble de données non-annotées les plus utiles à annoter est réalisée via le modèle d’apprentissage automatique en utilisant un ou plusieurs des critères de sélection suivants : un ou plusieurs propriétés internes de la donnée, un ou plusieurs propriétés externes de la donnée, l’incertitude de prédiction par le modèle d’apprentissage automatique, la représentativité des données annotées et des données non-annotées, un critère de difficulté d’annotation des données. Produit programme d’ordinateur combiné de sélection de données d’entraînement d’un modèle d’apprentissage automatique et d’annotation de données d’entraînement du modèle, ledit produit programme d’ordinateur comprenant des instructions de code de programme pour l’exécution, lorsque ledit produit programme d’ordinateur est exécuté sur un ordinateur, des étapes du procédé combiné selon l’une des revendications 4 à 6.