Brevet FR3149112A1 — publié le 20241129

PROCEDE POUR TESTER UN MODELE D’APPRENTISSAGE MACHINE A PARTIR D’UNE ANALYSE D’UNE VALEUR DE LA PREDICTION D’UNE CLASSE Procédé pour tester un modèle d’apprentissage machine comportant : acquisition d’un premier modèle d’apprentissage machine (ML 1 ) ; acquisition (ACQ 1 ) d’un ensemble de données (DS 1 ) décrivant un ensemble d’objets numériques ({OB p }), chaque objet numérique (OB i ) comportant un ensemble de descripteurs ({F ik }) ; ladite représentation graphique affichant un symbole activable ; Activation (ACT 1 ) dudit symbole et génération d’un test du premier modèle (ML 1 ), ledit test comportant : extraction d’un sous-ensemble d’objets numériques ({OB p ’}) dont la valeur de la prédiction de la première classe (CL 1 ) répond à la même condition que la valeur de la prédiction de la première classe (CL 1 ) du premier objet (OB i ) ; génération d’un indicateur d’anomalie (IND 2 ). FIG.1 PROCEDE POUR TESTER UN MODELE D’APPRENTISSAGE MACHINE A PARTIR D’UNE ANALYSE D’UNE VALEUR DE LA PREDICTION D’UNE CLASSE Domaine de l’invention Le domaine de l’invention se rapporte au domaine des procédés et systèmes de test d’un modèle d’apprentissage machine. En particulier, le domaine de l’invention se rapporte aux solutions permettant à des utilisateurs d’interagir sur des variables d’un ensemble de données exploitées par le modèle d’apprentissage machine. Enfin, le domaine se rapporte aux solutions techniques permettant de détecter automatiquement des anomalies d’un modèle d’apprentissage machine, de notifier ces détections interactivement et actionner cette détection pour créer des tests adéquats. État de la technique Les procédés de tests des modèles d’apprentissage machine pour classifier des objets numériques sont difficiles à mettre en œuvre notamment du fait de l’effet « boite noire » qui ne permet pas de restituer des liens de causes à effets entre d’une part les paramètres du modèle et d’autre part les descripteurs des objets numériques à classer par le modèle et la classification attribuée par le modèle. Il existe un besoin de définir des tests permettant de déboguer un modèle d’apprentissage machine. Selon un premier aspect, l’invention concerne un procédé mis en œuvre par ordinateur pour tester un modèle d’apprentissage machine comportant : Acquisition d’un premier ensemble de données décrivant un ensemble d’objets numériques, chaque objet numérique comportant un ensemble de descripteurs et leurs valeurs associées ; Génération d’une première représentation graphique comportant un élément de navigation pour basculer d’un affichage d’un objet numérique à un affichage d’un autre objet numérique, chaque affichage d’un objet numérique comportant au moins une désignation dudit objet numérique, un ensemble de descripteurs dudit objet numérique et les valeurs associées desdits descripteurs, Ladite représentation graphique affichant au moins une valeur d’une donnée de sortie d’un premier modèle, ladite valeur de sortie étant affectée audit objet numérique, ledit premier modèle d’apprentissage machine traitant en entrée un vecteur d’entrée comportant un ensemble de descripteurs d’un objet numérique et produisant en sortie une donnée issue d’une étape de classification ou de régression ; ladite représentation graphique affichant en outre au moins un second symbole activable, ledit second symbole étant généré à proximité d’un affichage de la valeur de la donnée de sortie lorsqu’au moins une condition sur la valeur de la donnée de sortie est réalisée ; Activation dudit second symbole et génération d’une action et/ou un test du premier modèle, ladite action et/ou ledit test comportant : extraction d’un sous-ensemble d’objets numériques dont la valeur de la donnée de sortie du premier modèle appliqué aux descripteurs desdits objets numériques répond à la même condition que la valeur de la donnée de sortie du premier modèle appliqué aux données d’entrée décrivant le premier objet ; génération d’un indicateur d’anomalie selon le nombre d’objets numériques extraits. Un avantage de l’invention est de permettre d’explorer des situations similaires à un cas révélant possiblement une anomalie du modèle afin d’identifier des erreurs du modèle. Selon un mode de réalisation, la valeur des données de sorties est le résultat d’une régression. Un avantage est de permettre d’adapter l’invention à des types de modèle d’apprentissage machine ne limitant pas à des classifier. En effet, dans son cas le plus général, il est comparé des résultats que ce soient des probabilités d’être dans une classe, le label de la classe ou le résultat d’une régression. Un avantage est d’être indépendant du modèle de régression puisque seuls les résultats sont comparés. Selon un mode de réalisation, les données de sorties sont le résultat d’une prédiction d’un classifieur, ladite prédiction comportant une probabilité associée à une classe donnée affectée à un objet numérique et ladite classe affectée. Un avantage est de permettre de comparer des résultats que ce soient la valeur d’un label d’une classe ou la valeur de la probabilité calculée. Selon un mode de réalisation, la condition comprend la validation d’une première condition et d’une seconde condition, ladite première condition comprenant le résultat d’une comparaison de la valeur de la prédiction d’une première classe par le premier modèle affectée à l’objet numérique affiché avec une valeur de référence, ladite première condition étant réalisée lorsque la valeur de prédiction est supérieure à la valeur de référence ; ladite seconde condition comprenant une affectation erronée de la première classe à l’objet numérique affiché, la classe exacte dudit premier objet étant obtenue à partir d’une valeur d’un label associé audit objet numérique et transmise au sein des premières données. Un avantage est de permettre de détecter des erreurs liées à un excès de confiance du modèle, problème plus connue dans le domaine de l’apprentissage machine selon la terminologie anglosaxonne : « overconfidence ». L’avantage de l’invention est de permettre de détecter cette anomalie du modèle liée à son apprentissage à partir d’un cas d’exemple. Le second symbole généré permet d’attirer l’attention d’un utilisateur qui peut alors vérifier si cette anomalie est ou n’est pas structurelle au modèle. Selon un mode de réalisation, la valeur de référence définit un premier seuil de la première condition, ledit premier seuil pouvant être par exemple un seuil absolu prédéfini. Le seuil absolu peut par exemple définir une valeur à dépasser ou à de pas dépasser selon les cas. Selon un autre cas, le premier seuil peut être un seuil relatif. Il peut correspondre à un seuil relatif définissant un écart entre la prédiction ayant la probabilité maximale et la prédiction ayant la seconde probabilité la plus grande. Autrement dit, l’écart peut être défini entre une valeur de probabilité d’être dans la première classe ayant la plus grande valeur et une autre valeur de prédiction d’une autre classe. Un avantage est de permettre de configurer un niveau de détection de signaux anormaux afin d’investiguer davantage. Par exemple, si le modèle a déjà été bien éprouvé, il peut être intéressant d’augmenter ou de diminuer les seuils. Toutefois, si le modèle a été récemment entraîné, il peut être intéressant d’adapter les seuils afin d’améliorer ce dernier. Selon un mode de réalisation, la condition comprend la validation d’une troisième condition, ladite troisième condition comprenant le résultat d’une comparaison de la valeur de la prédiction de la première classe la plus importante avec au moins une autre valeur de prédiction d’une autre classe par le premier modèle, ladite troisième condition étant réalisée lorsque la valeur de la différence des deux prédictions est inférieure à un second seuil prédéfini. Un avantage est d’identifier des modes de fonctionnement du modèle à partir d’exemples qui peuvent indiquer des axes de renforcements de l’apprentissage à conduire sur le premier modèle. En effet, lorsque le premier modèle a des difficultés à discriminer entre deux classes pour certains objets numériques, il peut être intéressant de renforcer l’apprentissage sur ces cas d’objets numériques. Selon un mode de réalisation, la condition comprend la validation d’une quatrième condition, ladite quatrième condition comprenant le résultat d’une comparaison de la valeur produite par le premier modèle et affectée à l’objet numérique affiché avec au moins une seconde valeur produite par le premier modèle affectée au même objet numérique affiché après l’exécution d’au moins une seconde fois du premier modèle pour classifier ledit objet numérique. Un avantage est de mesurer la robustesse du premier modèle par l’exécution deux fois de suite du premier modèle sur un même objet numérique. Si les résultats produits sont différents, cela indique que le modèle est possiblement instable. L’intérêt de l’invention est de vérifier cette instabilité auprès d’un plus grand nombre de cas afin d’investiguer davantage. Selon un mode de réalisation, l’indicateur d’anomalie quantifie une reproductibilité d’un résultat produit par le premier modèle pour un objet numérique donné au sein d’une pluralité de résultats produits par le premier modèle d’un sous-ensemble extrait d’objets numériques, l’extraction étant réalisée selon l’une des conditions sur la valeur du résultat produit par le premier modèle. Selon un mode de réalisation, le procédé comprend la génération de la première représentation graphique permettant de naviguer au sein des objets numériques du sous-ensemble d’objets numériques extraits selon l’une des conditions. Un avantage est d’explorer une sous-population d’objets numériques susceptibles de révéler une anomalie du premier modèle. Selon un mode de réalisation, le procédé comprend un enregistrement dans une mémoire des objets numériques du sous-ensemble d’objets numériques. Un avantage est de permettre de traiter les résultats dans un second temps et de permettre de réaliser des tests choisis en mutualisant ces derniers au regard des données enregistrées. Selon un mode de réalisation, le procédé comprend, consécutivement à l’activation dudit second symbole, la génération d’une fenêtre graphique comportant une désignation d’un ensemble de tests activables en fonction des conditions validées. Un avantage est de permettre de représenter une fenêtre comprenant différents choix pour l’utilisateur selon s’il souhaite activer certains tests ou certaines actions. Selon un mode de réalisation, un descripteur peut être de type : descripteur catégorique et/ou ; descripteur textuel et/ou ; descripteur numérique. Selon un mode de réalisation, les données d’entrée comprennent une valeur de label correspondant à la véritable valeur de la première classe assignée à l’objet numérique affiché. Selon un mode de réalisation, l’indicateur d’anomalie est généré dans une seconde interface utilisateur. Selon un autre aspect, l’invention concerne un système comportant au moins un premier serveur de données pour la mise en œuvre d’un service mettant en œuvre le premier modèle d’apprentissage machine pour la classification d’un ensemble d’objets numériques, un second serveur de données de test comportant une interface de données pour exécuter les étapes du procédé de l’invention. Brève description des figures D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui suit, en référence aux figures annexées qui illustrent : : les principales étapes d’un mode de réalisation de l’invention ; : un exemple de représentation de l’exécution d’un modèle d’apprentissage machine ; : un exemple de représentation graphique générée par le procédé de l’invention permettant de tester le modèle d’apprentissage machine lorsqu’un symbole est généré à proximité d’un descripteur ; : un exemple de représentation graphique générée par le procédé de l’invention permettant de tester le modèle d’apprentissage machine lorsqu’un symbole est généré à proximité d’une prédiction ; : un exemple de représentation graphique comportant une génération d’une fenêtre comportant une pluralité de tests du modèle d’apprentissage machine selon un mode de réalisation de l’invention lorsqu’un symbole est généré à proximité d’un descripteur ; : un exemple de représentation graphique comportant une génération d’une fenêtre comportant une pluralité de tests du modèle d’apprentissage machine selon un mode de réalisation de l’invention lorsqu’un symbole est généré à proximité d’une prédiction ; : un exemple de système de l’invention selon un mode de réalisation. Description de l’invention Définitions Dans la suite de la description : On appelle « objet numérique », un objet à classer par un modèle d’apprentissage machine et comportant une pluralité de descripteur. Un objet numérique peut être un document numérique, une demande de prêt prenant la forme d’une requête renseignée ou d’un container de données décrivant une entité numérique, ou encore une demande d’accès à un logement, une demande auprès d’une organisation. On note également plus communément dans le domaine de l’apprentissage machine, un objet : un exemple ; On appelle « {OB p } », un ensemble d’objets numériques à classifier ou classifiés. Il peut s’agir de l’ensemble des objets numériques présent dans l’ensemble de données reçu DS 1 ou d’une partie seulement vérifiant certaines conditions. Il s’agit donc d’un ensemble d’exemples. Cet ensemble de données peut également être appelé un jeu de données ou encore dans la terminologie anglo-saxonne un “dataset” ; On appelle « {OB p ’} », un ensemble d’objets numériques extraits par le procédé de l’invention de l’ensemble {OB p }. On appelle un tel sous-ensemble extrait de l’ensemble d’objets numériques dans le domaine de l’apprentissage machine un “data slice” ; On appelle « OBi », un objet numérique donné de l’ensemble {OB p }, notamment l’objet numérique affiché par l’interface à partir de laquelle sont effectués les calculs des différentes conditions, des actions et des tests. On appelle cet objet numérique un i ème exemple ; D’une manière générale la notation « {…} » désigne un ensemble d’éléments ; On appelle « {F ik } », un ensemble de descripteurs numériques de l’objet OBi, on connaît également plus communément dans le domaine de l’apprentissage machine ces descripteurs sous le nom anglo-saxon de “features” ; On appelle « F i1 », le premier descripteur numérique de l’objet OBi ; On appelle « {F p1 } », un ensemble des premiers descripteurs numériques d’un ensemble d’objets numériques {OB p }, On appelle « DS 1 », un ensemble de données reçues comprenant notamment des données de descripteurs d’objets numériques ainsi que la zone de l’interface IHM1 représentant les valeurs de ces descripteurs. Acquisition des données et du premier modèle La représente un exemple d’un mode de réalisation de l’invention. Dans ce mode de réalisation, le procédé de l’invention comprend différentes étapes. Le procédé de l’invention peut être exécuté sur une machine dans laquelle est déjà présent le modèle d’apprentissage machine ML 1 et dans ce cas les données reçues sont enregistrées dans cette première machine, c’est-à-dire le premier serveur SERV 1 dans la . Selon un autre mode de réalisation, le procédé de l’invention peut être exécuté sur un autre serveur SERV 2 , qui représente le serveur de test ou le serveur de débogage. Dans le cadre de l’invention, lorsque le procédé est réalisé sur le serveur SERV 1 dans lequel le modèle ML 1 est déjà présent et est déjà exécuté, le procédé peut comprendre une étape visant à télécharger un composant logiciel sur le serveur SERV 1 afin de réaliser les instructions visant à exécuter le modèle pour réaliser les tests selon le procédé de l’invention. Ce composant logiciel peut être par exemple un serveur virtuel exécuté sur le serveur SERV 1 . Le serveur SERV 2 peut donc être un serveur physiquement différent du premier serveur SERV 1 ou un serveur virtuel exécuté dans la machine définissant le second serveur SERV 2 . Le serveur SERV 2 peut recevoir les données DS 1 et le modèle ML 1 de manière à dupliquer l’ensemble des données pour réaliser des tests ou ajustements et pour générer une interface IHM 1 pour un utilisateur souhaitant visualiser les tests générés par le procédé de l’invention. L’étape d’acquisition des données DS1 est notée ACQ1 sur la . Selon un exemple, une première étape consiste à recevoir des données DS 1 depuis un PC d’un utilisateur. Cette étape peut correspondre également à une acquisition de données, étape également appelée “upload” dans la terminologie anglo-saxonne lorsqu'elle est réalisée depuis une autre machine. Les données reçues DS 1 correspondent à des données exploitées par un algorithme d’apprentissage machine. Cet algorithme est appelé dans la suite de la description premier modèle d’apprentissage machine ou premier modèle ML 1 . Selon un exemple, l’invention comprend également la réception du premier modèle d’apprentissage machine ML 1 afin qu’il soit exécuté EXE 1 sur le serveur SERV 2 . Selon un autre exemple, le modèle est exécuté EXE 1 sur le serveur SERV 1 ou plus généralement sur la machine dans laquelle le modèle ML 1 est déjà installé. En d’autres termes, l’invention s’applique aussi bien à un modèle paramétré sur une machine ou à un modèle reçu que l’on paramètre sur une machine tierce. Lorsque les données DS 1 et le modèle ML 1 sont reçus par un second serveur SERV 2 , ils peuvent être émis conjointement dans une même réception ou de manière successive dans deux réceptions séparées. Le procédé est avantageusement mis en œuvre au moyen d’un serveur de données, tel qu’un serveur SERV 2 présent sur la . Les données émises et le modèle ML 1 sont par exemple, précédemment à leur transmission au serveur SERV 2 , stockés et/ou exécutés sur un autre serveur tel que le serveur SERV 1 de la . L’échange de données entre les deux serveurs peut être par exemple réalisé au moyen d’une API. Selon un exemple de réalisation, le serveur SERV 2 et le serveur SERV 1 communiquent essentiellement des instructions pour exécuter le modèle sur le serveur SERV 1 et des résultats produits par le modèle exécuté sur le serveur SERV 1 vers le serveur SERV 2 pour les affiché sur un PC utilisateur. Les données reçues et le premier modèle ML 1 reçu sont préférentiellement enregistrés dans une mémoire avant de générer des tests sur ledit premier modèle ML 1 . Caractérisation du premier ensemble de données reçues L’invention permet de configurer l’interface de communication, le calculateur, la mémoire et les programmes d’ordinateur du serveur SERV 1 ou SERV 2 pour recevoir un ensemble de données définissant notamment des descripteurs d’objets numériques. Les données peuvent comprendre des libellés de descripteurs, des valeurs de descripteurs, des formats d’encodage des valeurs des descripteurs et les types de descripteurs. Les descripteurs sont plus communément appelés dans la littérature anglo-saxonne des « features ». Ces descripteurs définissent avantageusement des composantes d’un vecteur d’entrée traité par le premier modèle d’apprentissage machine ML 1 . On définit un objet numérique décrit par le premier ensemble de données DS 1 comme un objet dont une valeur peut lui être affectée consécutivement à un calcul par le premier modèle ML 1 . L’objet numérique peut être par exemple un document numérique, une demande de prêt ou de crédit, un dossier de candidature, une page WEB, une prédiction météorologique, etc. Ces exemples ne sont pas exhaustifs. L’invention se rapporte à tout type d’objet numérique susceptible d’être classifié par le premier modèle ML 1 ou susceptible d’être associé à une valeur calculée par premier modèle ML 1 selon une régression. Un vecteur d’entrée comportant des composantes définies par des descripteurs Fik d’un objet numérique est traité par le premier modèle ML 1 pour produire une valeur de sortie. Les données DS 1 peuvent comprendre des données d'entraînement du modèle ou encore des données d’exploitation n’ayant pas servi à l'entraînement du premier modèle. Caractérisation du premier modèle ML1 L’invention comporte également des moyens pour exécuter un premier modèle d’apprentissage machine ML 1 . Le premier modèle d’apprentissage peut être défini par exemple par une fonction mathématique comportant des coefficients entraînés. L’invention se rapporte à tout type de modèle d’apprentissage machine. Il peut par exemple s’agit d’un modèle de réseau de neurones convolutif appelé également CNN, d’un modèle de réseau de neurones récurrents appelé également RNN, un réseau de mémoire à long et court terme également appelé LSTM, un modèle de type perceptrons multicouches appelé MLP ou encore tout autre type de modèle d’apprentissage machine tel qu’une régression linéaire ou un arbre de décision, ou encore une fonction apprenante de type polynomiale ou encore tout autre règle de décision se basant sur un système expert. L’invention se rapporte à tout type de codage du modèle et tout type de langage encodant le modèle. Selon un cas d’exemple, un premier modèle est encodé en Python, marque déposée. Selon un mode de réalisation, le premier modèle ML 1 peut comprendre des paramètres ou des coefficients déjà entraînés. Le premier modèle ML 1 peut comprendre également des métadonnées telles que des données permettant d’instancier ou de paramétrer le modèle de sorte qu’il s’intègre avec d’autres composants- ou encore des données descriptives, telles que des noms de variables ou de classes ou encore des tailles de matrices ou de vecteurs. Selon un exemple de réalisation, les métadonnées comprennent un tag indiquant si le modèle permet de réaliser une classification ou s’il permet de réaliser une régression. Le tag peut être une donnée codée et transmise avec le premier modèle ML 1 . En outre, les métadonnées comprennent des labels de classification et le nom des descripteurs, et le cas échéant un identifiant des descripteurs. Le cas échéant, l’étape de transmission des données DS 1 et/ou du modèle ML 1 est réalisée entre deux machines. Toutefois, l’invention se rapporte à toute architecture distribuée dans laquelle les données sont sauvegardées au sein d’une pluralité de machines telle que dans le nuage, plus connu sous la terminologie de “cloud”. Ainsi, dans la présente description, lorsqu’il est évoqué le terme “serveur”, il peut être entendu la machine de l’utilisateur, le cloud ou encore tout système permettant d'exécuter le service ou d’exécuter les étapes précédentes ou ultérieures lorsque les données sont transmises à d’un système à l’autre. Génération de la représentation graphique Le procédé de l’invention comprend une étape visant à générer une GEN 1 représentation graphique IHM 1 permettant de tester et de déboguer le premier modèle ML 1 . L’interface est notée IHM 1 et est représentée aux figures 3, , , . L’interface IHM 1 représente pour chaque objet numérique OBi ses principaux descripteurs et leur valeur. La représente par exemple six descripteurs notés F i1 , F i2 , F i3 , F i4 , F i5 et F i6 . En outre, l’interface IHM 1 permet avantageusement de naviguer au travers d’exemples extraits des données DS 1 . Pour chaque descripteur Fik, une valeur est associée V ik . La représente un exemple de réalisation dans lequel les valeurs associées aux descripteurs sont notées V i1 , V i2 , V i3 , V i4 , V i5 et V i6 . L’interface IHM 1 générée grâce au procédé de l’invention comprend une zone notée DS i dans laquelle la désignation des descripteurs et leur valeur pour exemple d’objet numérique OB i sont affichées. Dans le cas de la , ces données sont affichées sous la désignation de l’objet numérique OB i et des éléments de navigations 15. D’autres agencements sont possibles selon d’autres modes de réalisation. Ainsi, un avantage de la représentation graphique IHM 1 est de proposer une navigation au travers différents exemples d’objets numériques OBi en activant ACT 1 l’un des symboles 15 pour passer à l’objet numérique suivant ou revenir à l’objet numérique précédent. Cette navigation est particulièrement intéressante pour visualiser en un coup d’œil l’ensemble des valeurs des descripteurs d’un objet numérique et le résultat de la classification affectée à l’objet numérique. L’utilisateur peut parcourir les différentes pages associées à chaque objet afin d’investiguer des erreurs de prédictions et comparer certaines classifications opérées entre différents objets selon les valeurs des descripteurs. Un autre avantage est de sélectionner des objets numériques d’intérêts pour lesquels des calculs de prédictions semblent erronés par exemple. L’interface IHM 1 générée grâce au procédé de l’invention comprend une zone notée R i dans laquelle le résultat du premier modèle ML 1 est affiché. Dans le cas de la , le résultat est une classe, dans cet exemple la première classe CL 1 et le résultat de la prédiction notée 14 calculée par le premier modèle ML 1 . Dans le cas d’exemple de la , la prédiction de classification de l’objet numérique OB i dans la classe CL 1 est de 54%, et la prédiction de classification de l’objet numérique OB i dans la classe CL 2 est de 46%. En conséquence, le premier modèle affecte la première classe CL 1 à l’objet numérique OB i . Selon un autre mode de réalisation, la valeur réelle du label, notée 17 sur la , peut être affichée à côté du résultat calculé par le modèle. Cette valeur réelle du label est également appelée “Ground truth” dans la terminologie anglo-saxonne se rapportant au domaine technique de l’apprentissage machine. Ce cas de figure est représenté à la dans laquelle la vraie valeur est indiquée à l’emplacement 17 : V-CL 2 . Il s’agit ici de la classe CL 2 . L’invention tire un profit de l’exploitation des données DS 1 qui peuvent comprendre les données labellisées des objets numériques comportant les réelles valeurs de prédiction. Selon un mode de réalisation, l’interface IHM 1 comporte également une troisième zone notée 12 comportant les indicateurs de contributions. Un titre EX i est indiqué pour désigner cette troisième zone 12 à l’utilisateur dans laquelle est affichée la contribution de chaque descripteur au calcul de la classification effectuée par le premier modèle ML 1 . Cette troisième zone 12 représente la valeur de contribution de chaque descripteur F ik ayant contribué à établir la prédiction de la classe affectée à l’objet numérique OB i . Dans le cas de , quatre descripteurs F i1 , F i2 , F i3 et F i4 sont représentés, car ce sont les quatre descripteurs qui ont contribué au calcul de la prédiction de la classe CL 1 . Dans cet exemple, le descripteur F i1 a contribué pour 24% dans le calcul de la prédiction de la classe C 1 . Le calcul de la contribution de chaque descripteur peut être effectué par différentes méthodes. Il existe par exemple une méthode dénommée SHAP désignant dans la littérature anglo saxonne « Shapley Additive exPlanations » notamment décrite dans une publication dénommée « A unified Approcha to interpreting Model Predictions de Scott Lundberg et Su-In Lee. Cette méthode permet le calcul d’une contribution de chaque descripteur au calcul d’une prédiction par le modèle. Selon un exemple de réalisation, une pluralité d’exécutions du modèle ML 1 permet de calculer ces valeurs de contributions. Un calculateur et une mémoire sont utilisés pour réaliser les opérations. Génération d’un premier symbole 13, S1 L’invention permet de générer un premier symbole activable, noté 13 sur la et suivantes. Le premier symbole 13 est généré sous certaines conditions. Une condition consiste à calculer la proportion absolue ou relative de contribution de chaque descripteur à la prédiction de la classe allouée à l’objet numérique OBi. Dans le cas d’une proportion absolue, on compare la valeur de la contribution à un seuil donné, par exemple un seuil de 22%. Dans notre cas, seul le descripteur F i1 dépasse ce seuil. Selon cette première condition, un symbole 13 activable est généré à proximité du descripteur dans la fenêtre 10. Dans le cas d’une proportion relative, on compare si l’écart entre la plus grande valeur de contribution d’un descripteur, ici le descripteur F i1 , et la seconde plus grande valeur de contribution, ici le descripteur F i2 , dépasse un seuil prédéfini, par exemple 5%. Dans le cas de la , l’écart de contribution entre le descripteur F i1 et F i2 est de 6% et est donc supérieur à 5%. Selon un exemple de réalisation, une double condition est vérifiée avec une condition de valeur absolue et une condition de valeur relative. Selon un mode de réalisation, seule une condition est requise. La génération d’un symbole 13 est donc générée dans notre cas d’exemple à proximité du descripteur F i1 dans la zone 10. L’activation ACT 1 du symbole 13 permet selon un mode de réalisation la génération et l’ouverture d’une fenêtre permettant à l’utilisateur de sélectionner un test ou une action à réaliser. Dans la suite de la description les tests sont notés T 1 , T 2 , T 3 , etc. et les actions A 1 , A 2 , etc. La présente invention se rapporte à l’ensemble des modes de réalisation permettant l’exécution de chaque test individuellement et/ou de chaque action individuellement. L’étape visant à exécuter les tests ou les actions est notée GEN2 sur la . Test T1 pour identifier une corrélation Selon un premier mode de réalisation, un premier test est proposé. Son exécution est notée GEN 2 sur la . Ce test est noté T 1 . Le test T 1 vise à générer un indicateur d’anomalie IND 1 de la valeur produite par le modèle, par exemple de la prédiction 14 dans le cas d’exemple de la classification de l’objet OB i . Le test T 1 comprend un calcul visant à comparer au sein d’un sous-ensemble de données si une sélection de premiers descripteurs {F p1 } d’un sous-ensemble d’objets numériques {OB p ’} contribue également à la prédiction de la classe CL 1 . En d’autres termes, le premier test T 1 correspond au calcul de la corrélation entre la valeur de la classe CL 1 et celle du premier descripteur Fp 1 au sein des données {OB p }. L’invention s’applique à chaque descripteur. UN intérêt de l’invention est de générer un symbole sous certaines conditions permettant d’attirer l’attention d’un utilisateur afin d’explorer plus en détail la corrélation de la valeur d’un descripteur avec la valeur d’une classe. A cet effet, une gamme de valeurs peut être définie autour d’une valeur du premier descripteur F i1 du premier objet numérique OB i . C’est à dire que si la valeur du descripteur F i1 est de 64, l’invention permet de sélectionner d’autres premiers descripteurs ayant une valeur comprise entre 62 et 66. Un écart-type vis-à-vis d’une valeur de référence définie par la valeur du premier descripteur F i1 de l’objet OB i , dans cet exemple 64, peut être utilisé afin de retenir les valeurs sensiblement proches de la valeur du premier descripteur F i1 . La gamme de valeurs du premier descripteur sélectionnée peut être définie par une plage autour de la valeur du premier descripteur F i1 de l’objet OB i . A cette fin, le procédé de l’invention comprend la sélection d’un sous-ensemble d’objets numériques {OB p ’} dont les valeurs du premier descripteur [F p1 } sont identiques ou proches selon la gamme déterminée que celles du premier objet numérique OB i analysé et affiché. Une fois cette sélection du sous-ensemble d’objets numériques {OB p ’} réalisée, le procédé de l’invention comprend un calcul de la proportion d’objets numériques {OB p ’} ayant le même résultat que le premier objet OB i , lorsqu’il s’agit d’une classification, il s’agit de la classe CL 1 . Un ratio seuil d’objets numériques OB i ayant la même classification peut être défini, par exemple 90%. C’est-à-dire que si 90% des objets numériques sélectionnés ont la même classification que le premier objet numérique OB i , alors une corrélation est identifiée entre le premier descripteur F p1 et la première classe CL 1 . Un utilisateur peut alors qualifier cette corrélation comme normale et fidèle à la représentation d’un système réel ou anormal, c’est à dire non conforme au fonctionnement d’un système réel. Dans le cas d’une forte corrélation, l’indicateur d’anomalie IND 1 généré relève cette corrélation qui peut être exploitée ensuite par un utilisateur. En effet, si l’indicateur d’anomalie reflète une corrélation dans le premier modèle ML 1 alors qu’il n’existe pas de corrélation dans le monde réel, l’utilisateur peut corriger cette erreur en indiquant au modèle le fait qu’il n’y a pas de corrélation. En revanche, si le ratio seuil est inférieur à un seuil donné, par exemple 0,5, la valeur de la contribution du premier descripteur F i1 à la classification de l’objet numérique OB i dans la classe CL 1 est une valeur singulière, donc non homogène aux autres résultats produits par le premier modèle ML 1 avec d’autres objets numériques {OB p ’}. On peut conclure à l’absence de corrélation entre le premier descripteur F p1 et la première classe CL 1 . Toutefois, l’invention permet éventuellement à un utilisateur de vérifier qu’une anomalie est présente du fait de cette singularité. Selon un cas d’exemple, les résultats sont enregistrés afin de permettre dans un second temps à un utilisateur d’explorer et d’investiguer les raisons causant une corrélation anormale ou une aberration de la valeur de contribution de cette prédiction de la classe de l’objet OB i . Cette caractérisation du ratio permet de refléter une probabilité de corrélation entre le premier descripteur F p1 et la première classe CL 1 . Action A 1 pour sélectionner des exemples similaires Selon un autre mode de réalisation, le procédé de l’invention comprend la génération d’une fenêtre consécutivement à l’activation dudit symbole 13. La génération d’une fenêtre graphique 19 représentée à la comporte une première action activable A 1 . La première action A 1 comporte une extraction d’un sous-ensemble d’objets numériques {OB p } dont le premier descripteur a une valeur identique ou proche de celle du premier descripteur de l’objet numérique analysé et affiché OB i . On entend par une valeur proche, par exemple une valeur comprise dans une gamme prédéfinie autour de la valeur du descripteur F i1 . Le procédé permet alors de générer une représentation graphique permettant de naviguer au sein des objets numériques {OB p } du sous-ensemble d’objets numériques {OB p }. En d’autres termes, l’action A 1 permet d’explorer un sous-ensemble d’objets numériques avec un outil de navigation tel que l’outil 15 permettant le passage d’un objet numérique à un autre. La première action A 1 comporte une extraction d’un sous-ensemble d’objets numériques {OB p } dont le premier descripteur a une valeur identique ou proche de celle du premier descripteur de l’objet numérique analysé et affiché OB i . La notion de "proche" peut être définie par une gamme de valeurs autour de la valeur du descripteur F i1 de l’objet OB i . Selon d’autres modes de réalisation, des conditions supplémentaires sur le premier descripteur F i1 ou sur des valeurs d’autres descripteurs {F pk } peuvent être vérifiées pour sélectionner le sous-ensemble d’objets numérique {OB p }. Selon un exemple, les contributions de ces derniers à la classification ou encore la valeur de classe affectée aux objets numériques {OB p } peuvent être prises en compte pour analyser les corrélations entre le premier descripteur et une classe donnée. L’extraction du sous-ensemble d’objets numérique {OB p } permet de les afficher. La première interface peut alors être configurée pour permettre une navigation dans la population d’objets numériques extraits. Cela permet de faciliter les opérations de débogage du premier modèle ML 1 . Action A 2 pour enregistrer des exemples similaires Une seconde action A 2 peut être proposée dans une fenêtre générée et affichée au sein de l’interface consécutivement à l’activation du symbole 13. La seconde action A 2 proposée vise à enregistrer pour une analyse ultérieure des exemples similaires à l’objet numérique OB i affiché. A cet effet, une extraction d’un sous-ensemble d’objets numériques peut être réalisée avec les mêmes critères que l’extraction permettant de générer la première action A 1 . Un intérêt est de permettre à un utilisateur de parcourir des échantillons et lorsqu’une anomalie semble être détectée d’enregistrer une sélection d’exemples similaires dans l’objectif de l’explorer ultérieurement. Test T 2 pour régénérer un test de classification sur un exemple pour évaluer la robustesse du modèle Selon un mode de réalisation, l’activation du symbole 13 permet de générer une première fenêtre graphique 19 comportant la désignation d’un second test T 2 actionnable du premier modèle ML 1 . Son exécution est notée GEN 2 sur la . Le lancement du second test T 2 comprend une duplication de l’objet numérique OB i affiché sur l’interface graphique IHM 1 . Un nouvel objet numérique OB i ’ est généré avec les mêmes valeurs de descripteur {F ik ’} que les descripteurs de l’objet numérique OB i . Selon un exemple, le test T 2 comprend la modification de la valeur du premier descripteur F i1 et une réexécution une ou plusieurs fois du premier modèle ML 1 . Un intérêt est de vérifier par exemple que de petites variations autour d’une valeur du premier descripteur F i1 du premier objet numérique OB i ne changent pas totalement la classification du résultat. A titre d’exemple, si le descripteur est un âge d’un individu et l’objet numérique est une demande de prêt, il peut être intéressant d’observer des effets de bords d’un système tel qu’un prêt systématiquement refusé à 50 ans et accordé pour des âges de 48, 49 ans. Le procédé de l’invention permet d’explorer les revers d’un modèle d’apprentissage ayant par exemple appris avec des données biaisées. Un intérêt est de mesurer si la robustesse du modèle selon la variance du premier descripteur F i1 et sa capacité à produire des valeurs cohérentes lors de la réexécution d’une ou plusieurs fois du premier modèle ML 1 . La nouvelle valeur calculée par le modèle ML 1 peut alors être affichée, par exemple, la nouvelle prédiction peut être affichée. Un indicateur d’anomalie IND 1 permet alors de restituer une indication de la robustesse de l’algorithme vis-à-vis de variations d’une valeur d’un descripteur. L’invention permet de réexécuter le modèle ML 1 et de vérifier la modification de la probabilité d’être dans la même classe CL 1 . On rappelle ici que l’invention se rapporte à tout type de modèle d’apprentissage machine que ce soit pour classifier ou pour effectuer une régression. La présente description se rapporte au cas d’une classification, toutefois l’invention décrite dans ces exemples peut être adaptée pour l’appliquer au cas d’une régression. Test T 3 pour régénérer un test de classification sur une pluralité de cas pour évaluer la robustesse du modèle Selon un mode de réalisation, l’activation du symbole 13 permet de générer une première fenêtre graphique 19 comportant la désignation d’un troisième test T 3 actionnable du premier modèle ML 1 . Son exécution est notée GEN 2 sur la . Le lancement du troisième test T 3 comprend une pluralité de duplications de l’objet numérique OB i affiché sur l’interface graphique IHM 1 . Une pluralité d’objets numériques {OB i ’} est générée avec les mêmes valeurs de descripteur {F ik ’} que les descripteurs de l’objet numérique OB i excepté pour le premier descripteur F i1 dont la valeur est modifiée autour de la valeur du premier descripteur F i1 de l’objet numérique OB i dans une gamme déterminée de valeurs possibles. Un intérêt est de générer de nombreux objets numériques {OB i ’} ayant une valeur du premier descripteur variant légèrement autour de la valeur de l’objet numérique OB i affiché. Selon un mode de réalisation, autant de symboles 13 sont affichés dans la fenêtre DS i de l’interface IHM 1 à proximité des descripteurs dont la valeur de contribution répond aux critères permettant de générer un symbole. Second symbole 16 Dans la suite de la description, il est détaillé un autre mode de réalisation de l’invention dans lequel un symbole 16 est généré dans la zone 11 des résultats du modèle, zone notée Ri. Dans ce mode de réalisation, le procédé de l’invention permet de générer des conditions vis-à-vis des calculs de prédiction de classe du modèle ML 1 et de vérifier ces conditions pour générer un second symbole 16. L’activation du symbole 16 permet selon un mode de réalisation la génération et l’ouverture d’une fenêtre permettant à l’utilisateur de sélectionner un test ou une action à réaliser. Dans la suite de la description les tests sont notés T 4 , T 5 , etc. et les actions A 3 , A 4 , A 5 , etc. La présente invention se rapporte à l’ensemble des modes de réalisation permettant l’exécution de chaque test individuellement et/ou de chaque action individuellement. Selon un autre mode de réalisation représenté à la , l’invention permet de générer un symbole 16 à proximité du résultat produit par le premier modèle ML 1 . Le résultat peut être une prédiction calculée par le modèle afin de classifier l’objet numérique OB i ou encore une valeur ou des valeurs issues d’une opération de régression du premier modèle ML 1 . Le symbole 16 est avantageusement activable afin de générer une seconde fenêtre 18 permettant d’afficher la désignation d’une ou plusieurs test(s) et/ou d’une ou plusieurs action(s) selon les modes de réalisation de l’invention. La seconde fenêtre 18 est représentée à la . Symbole 16, S3 en cas d’excès de confiance Selon un second mode de réalisation, le second symbole 16, également noté S 3 dans ce cas d’exemple, s’affiche automatiquement lorsque différentes conditions sont réalisées. Une première condition C 1 est réalisée lorsque le résultat est faux ou non conforme vis-à-vis d’une valeur attendue et connue. Cette valeur connue peut être par exemple celle d’un label d’un objet numérique annoté par une personne ou le résultat d’un test effectué préalablement à la réception des données par le second serveur SERV 2 . Dans ce contexte, il est possible de connaître si une prédiction calculée par le premier modèle ML 1 est vraie ou fausse puisque la vraie valeur est connue. Une seconde condition C 2 se produit lorsque la valeur de la prédiction de la mauvaise classe est supérieure à un premier seuil SL 1 . Dans ce cas d’exemple, la condition d’affichage du second symbole S 3 est une double condition {C 1 , C 2 }, avec : C 1 : La valeur de la prédiction de la classe ou la valeur de la classe affectée à l’objet numérique est fausse ; C 2 : La valeur de la prédiction est supérieure à un seuil donné, par exemple de 80%. Selon différents exemples de réalisation, la valeur du premier seuil SL 1 peut être une valeur absolue comme selon l’exemple cité ci-dessus ou encore, il peut être relatif, c’est-à-dire défini par rapport à une autre prédiction d’un autre descripteur dudit objet numérique OB i ou encore d’une valeur de prédiction d’un cas réel. Selon cet exemple, lorsque ces deux conditions C 1 , C 2 sont remplies, un second symbole 16 est généré et affiché à proximité du résultat du premier modèle ML 1 , notamment dans le cas d’exemple de la figure dans la zone Ri. Dans ce cas, un test ou des actions sont proposés de manière à aider un utilisateur à investiguer, explorer et déboguer une anomalie. Un avantage de la génération de ce symbole est d’alerter un utilisateur rapidement sur une anomalie probable du premier modèle ML 1 grâce à un élément graphique agencé à proximité du résultat. Le symbole est généré pour signifier qu’une erreur de classification est présente et pour qualifier l’erreur. Ici l’erreur n’est probablement pas liée à une étape de discrimination entre différentes valeurs de prédictions proches, mais plutôt sur le calcul d’une prédiction qui est manifestement erronée. Quatrième test T4 : mesure de l’excès de confiance du modèle en cas de mauvaise prédiction La fenêtre 18 qui est générée permet à un utilisateur de sélectionner un quatrième test T 4 . La génération GEN 2 du quatrième test T 4 permet de sélectionner un sous-ensemble d’objets numériques {OB p } similaires à l’objet numérique OB i et de vérifier si les conditions C 1 et C 2 sont répétées dans un certain nombre de cas d’objets numériques {OB p }. Selon un autre cas, le test T 4 est appliqué à tous les objets numériques {OB p } de l’ensemble de données DS 1 . Selon autre exemple, une extraction d’un certain nombre d’objets numériques ayant uniquement l’une des deux conditions est réalisée, l’autre condition étant vérifiée ensuite sur l’échantillon extrait d’objets numériques. Si la valeur de prédiction d’une classe affectée à un objet numérique testé est fausse alors l’objet numérique testé répond à la condition C 1 également. On rappelle que cette dernière valeur de classe affectée est comparée à la vraie valeur connue de la classe de l’objet. Si la valeur de prédiction d’une classe affectée à un objet numérique testé de l’ensemble extrait est considérée comme supérieure au premier seuil SL 1 alors l’objet numérique répond à la condition C 2 également. Si le nombre de cas d’objets testés répondant à la condition C 1 et à la condition C 2 dépasse un seuil prédéfini ou dépasse un quota sur l’ensemble de données testé alors le premier modèle ML 1 peut comprendre une corrélation parasite, dénommée dans la terminologie anglo-saxonne « spurious correlation ». Une corrélation parasite peut être vérifiée : entre un descripteur donné et une classe du classifieur donnée, la classe étant « fausse » et ayant la plus forte probabilité, c’est-à-dire non conforme à une valeur connue de la classe de l’objet numérique ou ; entre un descripteur donné et une classe du classifieur donnée, la classe étant « vraie » et n’ayant pas la plus forte probabilité. On rappelle que la « vraie » valeur de la classe d’un objet numérique peut être obtenue à partir des données d’entrées DS 1 , par exemple à partir de valeurs de labels des classes de chaque objet numérique. Ces labels peuvent être indiqués par un utilisateur. L’utilisateur peut alors considérer cette corrélation comme un type d’erreur. On entend par des objets numériques « similaires », des objets numériques qui comportent au moins une propriété commune avec le premier objet numérique OBi affiché. Ces propriétés communes peuvent comporter : une valeur d’un descripteur donnée ; des descripteurs dont les valeurs sont proches de l’objet numérique OB i et ayant une affectation d’une classification erronée comme celle de l’objet numérique OB i ; des valeurs de probabilités de la classe affectée aux objets proches entre elles ; des valeurs de probabilités de la classe affectée aux objets proches entre elles et une classification fausse ; etc. Par « valeurs proches », on entend qu’au moins une valeur d’un descripteur d’un autre objet numérique OB p est identique à celle de l’objet numérique OB I ou encore qu’un certain nombre de valeurs d’une pluralité de descripteurs {OB p } sont proches de celles de l’objet numérique OB i ou encore qu’un pourcentage de similitude du résultat de l’exécution du premier modèle ML 1 soit atteint entre un ou plusieurs objets numériques OB p ou {OB p } et l’objet numérique OB i . Si la valeur de la prédiction qui est anormalement élevée de l’objet numérique OB i est une valeur singulière parmi l’ensemble des données décrivant les autres objets numériques, alors le procédé de l’invention peut relever un second type d’erreur. Cette erreur ne reflète pas de corrélation parasite dans le premier modèle, toutefois, ce second type d’erreur permet d’investiguer sur les données et les valeurs de l’objet numérique OB i affiché en cours d’analyse par un utilisateur. Cette caractérisation des erreurs du premier modèle ML 1 permet de refléter une corrélation parasite entre la valeur de prédiction de la première classe CL 1 de l’objet numérique et une autre donnée du modèle telle qu’un descripteur. L’invention permet donc de générer une alerte visuelle localisée sur l’interface qui reflète une qualification de la corrélation. Le lancement du test T 4 permet d’investiguer et d’identifier une erreur éventuelle du modèle et potentiellement de discriminer le type d’erreur que le modèle ML 1 a généré. Action A3 : enregistrement des données relatives à l’objet numérique OB i Selon un autre mode de réalisation, la fenêtre 18 comprend également une désignation d’une action A 3 activable. L’activation de l’action A 3 permet d’enregistrer les données de l’objet numérique OB i affiché pour conduire une exploration ultérieure. Selon un mode de réalisation, un panier numérique permet d’enregistrer une pluralité d’objets numériques {OB p } pour lesquels une anomalie a été détectée, telle que celle qui a engendré la génération du second symbole 16. Dans ce cas d’exemple, il s’agit des objets numériques {OB p } pour lesquelles les conditions C 1 et C 2 sont vérifiées. Une mémoire peut être configurée pour stocker cesdits objets numériques {OB p } afin d’investiguer la typologie d’erreur dans un second temps. Selon un mode de réalisation, l’invention permet de réaliser une analyse comparative de tous les objets numériques {OB p } pour lesquels un second symbole 16 a été généré. Symbole S4 en cas de prédiction non discriminante ou de cas aux limites Selon un second mode de réalisation, le second symbole 16, également noté S 4 dans ce cas d’exemple, s’affiche automatiquement lorsque différentes conditions sont réalisées. Une troisième condition C 3 est réalisée lorsque le résultat de la plus grande valeur de prédiction d’une classe n’est pas suffisamment discriminant vis-à-vis d’au moins une autre valeur de prédiction d’une autre classe. Par exemple lorsque seulement deux classes sont possibles, un résultat d’une première classe CL 1 de 51% et un résultat d’une seconde classe de 49% peuvent conduire à générer une erreur d’affectation de la classe à l’objet numérique OB i . Dans un autre exemple de trois classes en sortie du classifier, une répartition de classe suivante : CL 1 à 45%, CL 2 à 43% et CL 3 à 12% permet de discriminer la classe CL 3 , en revanche la détermination de la classe affectée à l’objet numérique OB i peut être erronée du fait des valeurs proches des classes CL 1 et CL 2 . Dans ce cas d’exemple, l’unique condition C 3 peut suffire à générer un second symbole 16, ici dénommée S 4 pour le différencier du symbole S 3 . Selon un mode de réalisation, chaque symbole 16 est généré dans la fenêtre de résultat Ri. Selon un exemple, chaque symbole 16 est généré à proximité de la valeur de prédiction pour laquelle une investigation devrait être conduite dans une opération ultérieure de débogage. Selon la nature des conditions réalisées, l’apparence du symbole peut être adaptée afin que l’utilisateur puisse reconnaître quel type de débogage il devra mener. La troisième condition C 3 peut être définie par un second seuil SL 2 d’écart entre les deux plus grandes prédictions calculées par le modèle ML 1 . Lorsque l’écart entre les deux plus grandes prédictions est inférieur à un seuil donné alors le second symbole 16, S 4 peut être généré. Un exemple de valeur de seuil peut être de 10% d’écart entre les deux valeurs de prédictions considérées. Selon un mode amélioré, lorsqu’une pluralité de classes est susceptible d’être affectée à un objet numérique OB i , un calcul d’une pluralité d’écarts entre les différentes prédictions peut être réalisée. Par exemple, un écart entre les trois plus grandes valeurs de prédictions de classe peut permettre de définir une condition supplémentaire. Un avantage de la génération de ce second symbole est d’alerter un utilisateur rapidement sur une anomalie probable du premier modèle ML 1 grâce à un élément graphique agencé à proximité du résultat. Le symbole est généré pour signifier qu’une erreur de classification peut être liée à cette proximité de classification. Notamment, si la valeur de la prédiction est correcte dans le cas de l’objet numérique OBi, l’invention permet de générer un second symbole pour attirer l’attention à un utilisateur qu’autres cas similaires présents dans les données sont susceptibles de générer une mauvaise prédiction du fait de valeurs proches des prédictions de différentes classes. Cinquième test T5 : quantification du nombre de cas aux limites La fenêtre 18 qui est générée permet à un utilisateur de sélectionner un cinquième test T 5 . Son exécution est notée GEN 2 sur la . Le cinquième test T 5 permet de sélectionner un sous-ensemble d’objets numériques {OB p } similaires à l’objet numérique OB i et de vérifier si la condition C 3 est répétée dans un certain nombre de cas d’objets numériques {OB p }. Selon un autre cas, le test T 5 est appliqué à tous les objets numériques {OB p } de l’ensemble de données DS 1 . On entend par des objets numériques « similaires », des objets numériques qui comportent au moins une propriété commune avec le premier objet numérique OB i affiché. Ces propriétés communes peuvent comporter : une valeur d’un descripteur donné ; des descripteurs dont les valeurs sont proches de l’objet numérique OB i ; des valeurs de probabilités de la classe affectée aux objets proches entre elles ; des valeurs de probabilités de la classe affectée aux objets proches entre elles et une classification fausse ; etc. Si la valeur de prédiction d’une classe affectée à un objet numérique testé est considérée comme proche d’une autre valeur de probabilité d’une autre classe calculée par le premier modèle ML 1 alors l’objet répond à la condition C 3 également. Si le nombre de cas d’objets testés répondant à la condition C 3 dépasse un seuil prédéfini ou dépasse un quota sur l’ensemble de données alors le premier modèle ML 1 peut comprendre un premier type d’erreur, appelé erreur d’incohérence. Selon un mode de réalisation, l’invention permet d’identifier et de sélectionner des cas qui comprennent en plus des descripteurs dont les valeurs sont proches de l’objet numérique OB i . Par « valeurs proches », on entend qu’au moins une valeur d’un descripteur d’un autre objet numérique OB p est identique à celle de l’objet numérique OB I ou encore qu’un certain nombre de valeurs d’une pluralité de descripteurs {OB p } est proche de celles de l’objet numérique OB i ou encore qu’un pourcentage de similitude soit atteint entre un ou plusieurs objets numériques OB p ou {OB p } et l’objet numérique OB i . Si la valeur de la prédiction de l’objet OB i est singulière dans l’ensemble de données, c’est-à-dire que pas ou peu d’autres objets numériques remplissent la condition C 3 , alors un second type d’erreur peut être relevé. Cette erreur n’est pas une erreur d’incohérence du modèle ML1 qui est déclenché si un certain nombre d’autres objets remplissent al condition C 3 . L’indicateur d’anomalie IND 2 peut indiquer ce cas sans qu’il reflète pour autant une anomalie. Au contraire, si plusieurs autres objets numériques sont similaires, c’est-à-dire qu’il persiste une ambiguïté pour discriminer entre deux classes pour chaque objet retenu, alors l’invention permet de relever un premier type d’erreur du modèle ML 1 qui est catégorisé comme une incohérence du modèle ML 1 . Toutefois, l’invention peut comprendre une étape de validation de l’erreur par un utilisateur ou un acquittement de l’indicateur si après vérification du modèle ML 1 aucune erreur n’est constatée. Ce premier et ce second type d’erreurs permettent d’investiguer sur les données et les valeurs de l’objet numérique OB i affiché en cours d’analyse par un utilisateur. Cette caractérisation des erreurs du premier modèle ML 1 permet de refléter un problème lors de l’exécution du modèle et une incohérence potentielle de ce dernier. L’invention permet donc de générer une alerte visuelle localisée sur l’interface qui reflète une qualification de l’erreur du premier modèle ML 1 à déterminer. Le lancement du test T 5 permet de discriminer le type d’erreur que le modèle ML 1 a généré lorsqu’il persiste une ambiguïté pour discriminer une classe affectée à un objet numérique OB i . Action A4 : enregistrement des données relatives à l’objet numérique OB i Selon un autre mode de réalisation, la fenêtre 18 comprend également une désignation d’une action A 4 activable. L’activation de l’action A 4 permet d’enregistrer les données de l’objet numérique OB i affiché pour conduire une exploration ultérieure. Selon un mode de réalisation, un panier numérique permet d’enregistrer une pluralité d’objets numériques {OB p } pour lesquels une anomalie a été détectée, telle que celle qui a engendré la génération du second symbole 16, S 4 . Dans ce cas d’exemple, il s’agit des objets numériques {OB p } pour lesquels la condition C 3 est vérifiée. Une mémoire peut être configurée pour stocker ces dits objets numériques {OB p } afin d’investiguer la typologie d’erreur dans un second temps. Selon un mode de réalisation, l’invention permet de réaliser une analyse comparative de tous les objets numériques {OB p } pour lesquels un second symbole 16 a été généré. Symbole S5 robustesse à des prédictions sensibles à des phénomènes stochastiques Selon un second mode de réalisation, le second symbole 16, également notée S 5 dans ce cas d’exemple, s’affiche automatiquement lorsque différentes conditions sont réalisées. Une quatrième condition C 4 est réalisée lorsque le résultat d’une prédiction d’une classe d’un même objet numérique OB i varie entre différentes exécutions de la classification effectuée par le premier modèle ML 1 . Cette quatrième condition C 4 implique l’exécution d’une pluralité de fois de l’algorithme de classification d’un même objet numérique OB i . Au minimum l’exécution du modèle est lancée deux fois avec les mêmes données d’entrée. Le résultat de l’exécution du premier modèle ML 1 permet de tester la robustesse du premier modèle ML1 et sa capacité à re-générer un résultat similaire ou proche du premier résultat généré et affiché de l’objet numérique OB i . La variance peut être calculée selon le nombre d’exécutions du modèle ML 1 et un écart type de valeur acceptable peut être défini. Dans son expression la plus simple, la quatrième condition C 4 correspond à évaluer si deux exécutions différentes du modèle ML1 sur un même objet numérique produisent un même résultat. Toutefois, la notion de « même résultat » peut être précisée, selon un exemple, avec une tolérance et une gamme de valeurs dans laquelle on considère que le résultat est identique. Cela peut être notamment intéressant lorsque l’on compare des probabilités d’être dans une classe et non pas la valeur de la classe affectée uniquement. Dans ce dernier cas, l’invention permet d’apprécier et donc de calculer l’écart entre deux probabilités d’être dans une classe pour un même objet numérique OB i . Par exemple, lorsque l’écart de prédictions dépasse un seuil de 10%, alors le second symbole 16, S 5 peut être généré quand bien même le résultat de la classe est le même. L’invention peut donc s’appliquer dans ce cas au résultat produit en tant que valeur de la classe ou au résultat produit en tant que probabilité calculée par le modèle ML 1 . Dans ce cas d’exemple, l’unique condition C 4 peut suffire à générer un second symbole 16, ici dénommée S 4 pour le différencier des symboles S 3 et S 4 . Selon un mode de réalisation. Selon un exemple, chaque symbole 16 est généré à proximité de la valeur de prédiction pour laquelle une investigation devrait être conduite dans une opération ultérieure de débogage. Selon la nature des conditions réalisées, l’apparence du symbole peut être adaptée afin que l’utilisateur puisse reconnaître quel type de débogage il devra mener. Ici un symbole S 4 distinctif visuellement peut permettre à l’utilisateur de comprendre qu’un problème de stabilité de prédiction est relevé. La quatrième condition C 4 peut être définie par un troisième seuil SL 3 d’écart entre les prédictions calculées par le modèle ML 1 relativement à un même objet numérique OB i . Selon un mode amélioré, lorsqu’une pluralité de prédictions liées à une pluralité de classes est susceptible de varier fortement d’une exécution à une autre, une pluralité de second symbole S 4 peut être générée à proximité de chaque prédiction en question. Un avantage de la génération de ce second symbole 16, S 4 est d’alerter un utilisateur rapidement sur une anomalie probable du premier modèle ML 1 grâce à un élément graphique agencé à proximité du résultat. Le symbole 16, S 4 est généré pour signifier qu’une erreur de stabilité du calcul d’une prédiction est peut-être présente. Notamment, si la valeur de la prédiction conduit à produire des erreurs de classification, une cinquième condition C 5 peut être examinée par exemple, si d’une exécution à l’autre du premier modèle ML 1 , un objet est tantôt classé dans une première classe CL 1 et tantôt classé dans une seconde classe CL 2 . La condition C 5 correspond à une erreur de classification. Sixième test T6 : quantification du nombre de cas susceptibles aux effets stochastiques La fenêtre 18 qui est générée permet à un utilisateur de sélectionner un sixième test T 6 . Son exécution est notée GEN 2 sur la . Le sixième test T 6 permet de sélectionner un sous-ensemble d’objets numériques {OB p } similaires à l’objet numérique OB i et de vérifier si la condition C 4 ou si le couple de conditions C 4 et C 5 est ou sont répétée(s) dans un certain nombre de cas d’objets numériques {OB p }. Selon un autre cas, le test T 6 est appliqué à tous les objets numériques {OB p } de l’ensemble de données DS 1 . Selon autre exemple, une extraction d’un certain nombre d’objets numériques ayant uniquement la condition C 5 est réalisée, l’autre condition C 4 étant vérifiée ensuite sur l’échantillon extrait d’objets numériques. On entend par des objets numériques « similaires », des objets numériques qui comportent une propriété commune avec le premier objet numérique OBi. Cette propriété commune peut être la valeur d’un descripteur ou une gamme de valeurs d’un descripteur ou encore une même condition C 4 et/ou C 5 . L’invention permet donc d’identifier et de sélectionner des cas qui comprennent des descripteurs dont les valeurs sont proches de l’objet numérique OB i . Cela permet de limiter le nombre de cas testés lorsque l’ensemble DS 1 est important. Par « valeurs proches », on entend qu’au moins une valeur d’un descripteur d’un autre objet numérique OB p est identique à celle de l’objet numérique OB I ou encore qu’un certain nombre de valeurs d’une pluralité de descripteurs {OB p } est proche de celles de l’objet numérique OB i ou encore qu’un pourcentage de similitude soit atteint entre un ou plusieurs objets numériques OB p ou {OB p } et l’objet numérique OB i . Si le nombre d’objets numériques testés pour lesquels la ou les réexécution(s) du test avec le même objet numérique considéré conduit(s) à des résultats différents dépasse un seuil prédéfini ou dépasse un quota sur l’ensemble de données testées alors le premier modèle ML 1 peut comprendre un premier type d’erreur, appelé erreur stochastique. Si la valeur de la prédiction de l’objet OB i est singulière dans l’ensemble de données, c’est-à-dire que pas ou peu d’autres objets numériques remplissent la quatrième condition C 4 , alors un second type d’erreur peut potentielle être relevé par l’utilisateur. Au contraire, si plusieurs autres objets numériques ont une sensibilité à un phénomène stochastique, c’est-à-dire qu’il persiste pour chacun d’eux une variance importante entre des prédictions d’une même classe pour un même objet, alors l’invention permet de relever un premier type d’erreur du modèle ML 1 . Identiquement, avec la cinquième condition C 5 réalisée, il est possible de tester un sous-ensemble de données dont on sait que la prédiction est fausse. On peut donc investiguer sur une population sélectionnée plus faible si un phénomène stochastique est la cause des erreurs de classification. Ce premier et ce second type d’erreurs permettent d’investiguer sur les données et les valeurs de l’objet numérique OB i affiché en cours d’analyse par un utilisateur. Cette caractérisation des erreurs du premier modèle ML 1 permet de refléter la présence d’un problème de stabilité du modèle ML 1 . L’invention permet donc de générer une alerte visuelle localisée sur l’interface qui reflète une qualification de l’erreur du premier modèle ML 1 à déterminer. Le lancement du sixième test T 6 permet de discriminer le type d’erreur que le modèle ML 1 a généré lorsque le calcul d’au moins une prédiction est susceptible aux effets stochastiques. Action A5 : enregistrement des données relatives à l’objet numérique OB i Selon un autre mode de réalisation, la fenêtre 18 comprend également une désignation d’une action A 5 activable. L’activation de l’action A 5 permet d’enregistrer les données de l’objet numérique OB i affiché pour conduire une exploration ultérieure. Selon un mode de réalisation, un panier numérique permet d’enregistrer une pluralité d’objets numériques {OB p } pour lesquels une anomalie a été détectée, telle que celle qui a engendré la génération du second symbole 16, S 5 . Dans ce cas d’exemple, il s’agit des objets numériques {OB p } pour lesquels la condition C 4 est au moins vérifiée et possiblement la condition C 5 . Une mémoire peut être configurée pour stocker cesdits objets numériques {OB p } afin d’investiguer la typologie d’erreur dans un second temps. Selon un mode de réalisation, l’invention permet de réaliser une analyse comparative de tous les objets numériques {OB p } pour lesquels un second symbole 16, S 5 a été généré. Le procédé de l’invention peut être mis en œuvre par un serveur SERV 2 piloté depuis un ordinateur PC 1 . Les différents équipements sont préférentiellement raccordés à un réseau de données NET 1 tel que le réseau internet. Toutefois, l’invention s’applique également à un réseau privé tel qu’un réseau intranet. Le système de l’invention permet donc de mettre en œuvre le ou les procédés de l’invention à partir d’une interface utilisateur produite par une carte graphique et affichée grâce à un afficheur. Selon un mode de réalisation, lorsque l’intégralité des conditions est calculée et que les symboles 13 et 16 sont produits pour chaque objet, les données et le modèle ML 1 peuvent être transmis à un autre serveur d’exploitation pour mettre en œuvre les opérations de débogage. Procédé mis en œuvre par ordinateur pour tester un modèle d’apprentissage machine comportant : acquisition (ACQ 1 ) d’un premier ensemble de données (DS 1 ) décrivant un ensemble d’objets numériques ({OB p }), chaque objet numérique (OB i ) comportant un ensemble de descripteurs ({F ik }) et leurs valeurs associées ; génération (GEN 1 ) d’une première représentation graphique (IHM 1 ) comportant un élément de navigation (15) pour basculer d’un affichage d’un objet numérique (OB i ) à un affichage d’un autre objet numérique (OB i-1 , OB i+1 ), chaque affichage d’un objet numérique (OB i ) comportant au moins une désignation dudit objet numérique (OB i ), un ensemble de descripteurs ({F ik }) dudit objet numérique (OB i ) et les valeurs associées desdits descripteurs ({V ik }), ladite représentation graphique (IHM 1 ) affichant au moins une valeur d’une donnée de sortie (REG 1 , CL 1 ) d’un premier modèle (ML 1 ), ladite valeur de sortie étant affectée audit objet numérique (OB i ), ledit premier modèle d’apprentissage machine (ML 1 ) traitant en entrée un vecteur d’entrée comportant un ensemble de descripteurs d’un objet numérique (OB i ) et produisant en sortie une donnée issue d’une étape de classification ou de régression ; ladite représentation graphique (IHM 1 ) affichant en outre au moins un second symbole (16) activable, ledit second symbole (16) étant généré à proximité d’un affichage de la valeur de la donnée de sortie (REG 1 , CL 1 ) lorsqu’au moins une condition (C 1 , C 2 , C 3 , C 4 , C 5 ) sur la valeur de la donnée de sortie (REG 1 , CL 1 ) est réalisée ; Activation (ACT 1 ) dudit second symbole (16) et génération d’une action et/ou un test (T 4 , T 5 , T 6 ) du premier modèle (ML 1 ), ladite action et/ou ledit test (T 4 , T 5 , T 6 ) comportant : extraction d’un sous-ensemble d’objets numériques ({OB p ’}) dont la valeur de la donnée de sortie du premier modèle (ML 1 ) appliqué aux descripteurs desdits objets numériques ({OB p }) répond à la même condition que la valeur de la donnée de sortie (CL 1 , REG 1 ) du premier modèle (ML 1 ) appliqué aux données d’entrée décrivant le premier objet (OB i ) ; génération d’un indicateur d’anomalie (IND 2 ) selon le nombre d’objets numériques extraits. Procédé selon la revendication 1 caractérisé en ce que la valeur des données de sorties est le résultat d’une régression. Procédé selon la revendication 1 caractérisé en ce que les données de sorties sont : le résultat d’une prédiction d’un classifieur, ladite prédiction comportant une probabilité associée à une classe donnée affectée à un objet numérique et ladite classe affectée. Procédé selon la revendication 3 caractérisé en ce que la condition comprend la validation d’une première condition et d’une seconde condition (C 2 ), ladite première condition (C 1 ) comprenant le résultat d’une comparaison de la valeur de la prédiction d’une première classe (CL 1 ) par le premier modèle (ML 1 ) affectée à l’objet numérique affiché (OB i ) avec une valeur de référence (V REF ), ladite première condition (C 1 ) étant réalisée lorsque la valeur de prédiction est supérieure à la valeur de référence (V REF ) ; ladite seconde condition (C 2 ) comprenant une affectation erronée de la première classe (CL 1 ) à l’objet numérique affiché (OB i ), la classe exacte dudit premier objet étant obtenue à partir d’une valeur d’un label associé audit objet numérique et transmise au sein des premières données (DS 1 ). Procédé selon la revendication 4 caractérisé en ce que la valeur de référence (V REF ) définit un premier seuil (SL 1 ) de la première condition (C 1 ), ledit premier seuil (SL 1 ) étant soit seuil absolu prédéfini, soit un seuil relatif définissant un écart entre la prédiction ayant la probabilité maximale et la prédiction ayant la seconde probabilité la plus grande. Procédé selon la revendication 3 caractérisé en ce que la condition comprend la validation d’une troisième condition (C 3 ), ladite troisième condition (C 3 ) comprenant le résultat d’une comparaison de la valeur de la prédiction de la première classe la plus importante (CL 1 ) avec au moins une autre valeur de prédiction d’une autre classe par le premier modèle (ML 1 ), ladite troisième condition (C 3 ) étant réalisée lorsque la valeur de la différence des deux prédictions est inférieure à un second seuil prédéfini (SL 2 ). Procédé selon la revendication 3 caractérisé en ce que la condition comprend la validation d’une quatrième condition (C 4 ), ladite quatrième condition (C 4 ) comprenant le résultat d’une comparaison de la valeur produite par le premier modèle (ML 1 ) et affectée à l’objet numérique (OB i ) affiché avec au moins une seconde valeur produite par le premier modèle (ML 1 ) affectée au même objet numérique (OB i ) affiché après l’exécution d’au moins une seconde fois du premier modèle (ML 1 ) pour classifier ledit objet numérique (OB i ). Procédé selon la revendication 1 caractérisé en ce que l’indicateur d’anomalie (IND 2 ) quantifie une reproductibilité d’un résultat produit par le premier modèle (ML 1 ) pour un objet numérique (OBi) donné au sein d’une pluralité de résultats produits par le premier modèle (ML 1 ) d’un sous-ensemble extrait d’objets numériques, l’extraction étant réalisée selon l’une des conditions sur la valeur du résultat produit par le premier modèle (ML 1 ). Procédé selon l’une quelconque des revendications précédentes caractérisé en ce qu’il comprend : Génération de la première représentation graphique (IHM 1 ) permettant de naviguer au sein des objets numériques (OBi) du sous-ensemble d’objets numériques ({OB p ’}) extraits selon l’une des conditions (C 1 , C 2 , C 3 , C 4 , C 5 ). Procédé selon l’une quelconque des revendications précédentes caractérisé en ce qu’il comprend : Enregistrement dans une mémoire des objets numériques (OB i ) du sous-ensemble d’objets numériques ({OB p ’}). Procédé selon l’une quelconque des revendications précédentes caractérisé en ce qu’il comprend : consécutivement à l’activation dudit second symbole (16) la génération d’une fenêtre graphique (14) comportant une désignation d’un ensemble de tests activables (T 4 , T 5 , T 6 ) en fonction des conditions validées (C 1 , C 2 , C 3 , C 4 , C 5 ). Procédé selon l’une quelconque des revendications précédentes caractérisé en ce qu’un descripteur peut être de type : descripteur catégorique et/ou ; descripteur textuel et/ou ; descripteur numérique. Procédé selon l’une quelconque des revendications précédentes caractérisé en ce que les données d’entrée comprennent une valeur de label correspondant à la véritable valeur de la première classe (CL 1 ) assignée à l’objet numérique affiché (OB i ). Procédé selon l’une quelconque des revendications précédentes caractérisé en ce que l’indicateur d’anomalie est généré dans une seconde interface utilisateur. Système comportant au moins un premier serveur de données (SERV 1 ) pour la mise en œuvre d’un service mettant en œuvre le premier modèle d’apprentissage machine (ML 1 ) pour la classification d’un ensemble d’objets numériques, un second serveur de données (SERV 2 ) de test comportant une interface de données pour exécuter les étapes du procédé de l’une quelconque des revendications 1 à 14.