Brevet FR3105862A1 — publié le 20210702

L’invention porte sur procédé de sélection d’un modèle d’apprentissage défini notamment par des paramètres et des hyperparamètres parmi une pluralité de modèle d’apprentissage, mis en œuvre par une ressource de calcul de type ordinateur. Figure à publier avec l’abrégé : FIGURE 1 PROCEDE ET SYSTEME DE SELECTION D’UN MODELE D’APPRENTISSAGE AU SEIN D’UNE PLURALITE DE MODELES D’APPRENTISSAGE L’invention concerne le domaine de l’analyse des données, et plus particulièrement la sélection d’un modèle au sein d’une pluralité de modèles, pouvant être utilisés notamment par la suite pour des phases de modélisation ou d’exploitation avancées des données. L’invention concerne un procédé de sélection d’un modèle au sein d’une pluralité de modèles ainsi qu’un système de sélection d’un modèle au sein d’une pluralité de modèles. L’invention se rapporte également à un module de sélection d’un modèle au sein d’une pluralité de modèles Avec l’expansion des activités liées au Big Data, le métier de Data Scientist s’est développé de façon importante ces dernières années. Ce métier, qui a pour objet de tirer profit des grandes quantités de données disponibles dans les sociétés et les grandes organisations, s’appuie sur des techniques statistiques et des outils informatiques variés, mais reste aujourd’hui largement « artisanal ». Chaque organisation et chaque jeu de données posent des problèmes spécifiques auxquels les Data Scientists tentent de répondre par des solutions « sur mesure ». Cet état de choses est notamment dû à la très grande hétérogénéité des données disponibles, à leur caractère souvent incomplet ainsi qu’aux erreurs et incohérences contenues dans presque tous les jeux de données de taille significative. Afin de prendre en compte ces aspects, les Data Scientists, avant de rentrer dans des phases de modélisation et d’exploitation avancée des données, doivent d’abord passer par une phase de prétraitement et d’analyse préliminaire de ces dernières (nettoyage, analyse exploratoire), mais éggalement par la sélection d’un modèle représentant le plus fidèlement les données. Cette étape nécessite de faire appel à l’expérience du Data Scientist afin d’élire le meilleur modèle, et présente donc un biais de par sa subjectivité et de par son manque de fiabilité. Par ailleurs , ces tâches s’avèrent extrêmement lourdes et chronophages. Ainsi, comme le souligne l’étude menée par Forbes en 2016 et relayée dans l’article de G. PRESS, le Data Scientist passe 80% de son temps dans ce processus de prétraitement et d’analyse des données et 20% seulement dans l’algorithmique pure. La phase de sélection d’un modèle, représentent une part considérable du travail des Data Scientists, qui reposent aujourd’hui essentiellement sur la mise en œuvre non automatisée et/ou systématisée de différents outils, et sans cadre fédérateur pour une comparaison aisée et pertinente des résultats obtenus sur un jeu de données suite à l’application de différentes techniques d’analyse, le plus souvent faisant appel à des estimations et des prévisions. En 2011, les travaux de S. KANDEL et al. ont donné lieu au développement de l’outil Wrangler, puis à la création de la société Trifacta qui développe un outil de prétraitement performant [KANDEL, 2011]. Néanmoins, cet outil permet uniquement de faciliter les traitements de type textuels (utilisation d’expressions régulières par exemple) ; exploiter les données issues des bases de données (éclatements, regroupements de colonnes, etc.) ; analyser syntaxiquement les messages. Il est d’ailleurs comparé et évalué en termes de temps par rapport aux mêmes traitements effectués par Excel. De fait, il s’agit là uniquement d’un outil permettant de prétraiter des données brutes mais qui n’est aucunement capable d’effectuer des statistiques sur les données traitées. Précisément pour cette raison, les auteurs concluent dans leurs perspectives l’intérêt d’inclure d’autres techniques d’analyse, dont des techniques statistiques. Le programme open source OpenRefine, développé par Google est notamment décrit par R. Verborgh et M. De Wilde [VERBORGH, 2013]. Cependant, il s’agit d’un outil permettant de traiter des données désordonnées, dans le but de les nettoyer et de les convertir d’un format à un autre. Dans ce cas également, l’outil ne réalise aucune analyse statistique des données injectées. Le langage R permet de réaliser des calculs statistiques et également de développer des applications de Machine Learning. Il intègre de nombreux modules qui permettent au Data Scientist de réaliser facilement ce type de traitements ainsi que des prétraitements sur les données. Il permet ainsi : la manipulation des données, via de nombreuses bibliothèques de manipulation de données ; la visualisation de données, technique implémentée dans l’outil ggplot2 par exemple présenté par W. HADLEY [HADLEY, 2016]. Celui-ci permet de construire un ensemble d’objets géométriques » (« geoms ») à partir d’un jeu de données restreint. Cependant, il n'existe pas d’interface simple d’utilisation autre que le langage de programmation lui-même, rapide et accessible permettant à n’importe quel utilisateur maîtrisant ou non le langage informatique. Comme le langage R, le langage Python est très répandu dans le monde scientifique et dispose de librairies dédiées à l’analyse de données, notamment : Pandas , qui facilite la manipulation de données, par le biais de structures de données adaptées et d’opérations de nettoyage, de formatage ou d’autres prétraitements [MCKINNEY, 2011] ; Scikit-learn (parfois abrégé sklearn), qui fournit différents algorithmes de classification, régression et partitionnement (en anglais, clustering) pour l’analyse statistique [PEDREGOSA, 2011]. En outre, plusieurs conférences illustrent l’importance de la recherche actuelle dans le domaine du Data Analytics et mettent en évidence les défis restant à relever : La conférence VLDB (Very Large Data Bases), qui est un forum international pour les chercheurs, fournisseurs, développeurs et utilisations de bases de données. Cette conférence couvre notamment les problèmes liés à la gestion d’un grand volume de données. La conférence annuelle SIGMOD (Special Interest Group on Management of Data) dédiée au partage de connaissances liées aux bases de données, au cours de laquelle sont organisées diverses sessions d’échanges, tant sur des thèmes de recherche que sur des thèmes industriels. Y sont également présentés des tutoriels, des démonstrations et des ateliers ciblés. Toutefois, selon les valeurs à traiter, les algorithmes ne se comportent pas de la même manière et cela influe sur le résultat qu’ils retournent. Lorsque plusieurs méthodes d’estimation sont a priori pertinentes, il n’est donc pas garanti qu’elles fournissent le même résultat. De ce point de vue, il paraitrait utile de disposer de méthodes ou d’outils permettant de sélectionner le meilleur modèle lorsque les algorithmes sont les plus performants. Il est donc nécessaire de développer des procédés et des systèmes moins chronophage que ceux existant, plus simple d’utilisation et automatisé et/ou systématisé, pouvant supporter une grande quantité de données ainsi que des données hétérogènes. Il est par ailleurs nécessaire de développer des procédé et système capable de sélectionner des modèles avec une fiabilité et une performance élevée, et dont les algorithmes sont les plus performants. La conclusion globale est le constat du manque d’outils capables de réaliser les tâches de prétraitement et d’analyse de manière automatisée/systématisée. En effet, les outils de l’art antérieur se limitent à des prétraitements très basiques des données (formatage, ajouts de colonnes, etc.), sans se préoccuper de l’analyse qui en découle, rendant leur utilisation chronophage. En outre, il apparait ainsi utile de disposer d’un outil permettant lors de l’analyse le modèle le plus pertinent selon la nature du jeu de données, les méthodes d’analyses, et réduisant le risque d’interprétation erronée du comportement du jeu de données. En effet, il existe un risque qu’un même jeu de données puisse être interprété différemment par plusieurs techniques, qui fournissent alors des résultats divergents, lorsque son degré de complexité d’analyse augmente. Cette complexité d’analyse peut être due : à la volumétrie du jeu de données ; aux échantillons issus d’une même population pouvant être aléatoires ou manquants ; à des erreurs ou des incohérences contenues, au x méthodes d’analyse utilisées. Il devient alors indispensable de pouvoir juger de la pertinence des résultats fournis par les techniques d’analyses suite à leur application sur le jeu de données. Or, aucune solution existante ne permet de s’assurer directement de la qualité et de la fiabilité d’un modèle, sans faire appel à l’expertise d’un Data Scientist et permettant de comparer directement, et simultanément, les résultats des jeux de données selon plusieurs techniques d’analyse. De même, actuellement, il n’existe pas de solution proposant automatiquement à l’utilisateur la méthode implémentée la plus à-même d’interpréter le jeu de données et de corréler les variables. Il incombe donc à l’utilisateur d’analyser l’ensemble des résultats fournis par les différentes méthodes pour en tirer des conclusions et choisir le modème lui semblant le plus correspondre au jeu de données étudié. Enfin, les solutions de l’état de l’art sont peu accessibles, en s’inscrivant dans une logique « boîte noire ». Elles s’adressent prioritairement à des experts en Data Science, que ce soit : pour la réalisation de l’ensemble des étapes de prétraitement, ou pour l’interprétation/la compréhension des résultats obtenus suite aux tests de corrélation. Les outils n’expliquent donc pas à l’utilisateur pourquoi la corrélation entre une méthode d’analyse et un jeu de données a réussi ou échoué. Par ailleurs, certains outils nécessitent de connaître/maîtriser la programmation et les langages informatiques pour être manipulés. [Problème technique] L’invention a donc pour but de remédier aux inconvénients de l’art antérieur. En particulier, l’invention a pour but de proposer un procédé de sélection d’un modèle, ledit procédé étant rapide et simple à mettre en œuvre, avec un nombre réduit d’étapes, permettant de maitriser la fiabilité, la performance et la pertinence du modèle sélectionné tout en étant simple d’utilisation. En outre, un tel procédé est automatisé et systématisé permettant un gain de temps. Ledit procédé est également accessible pour n’importe quel utilisateur tout en étant apte à supporter une grande quantité de données dont lesdites données peuvent être hétérogènes. L’invention a en outre pour but de proposer un système de sélection d’un modèle, ledit système étant simple et rapide d’utilisation. En outre, le système selon l’invention est accessible et capable de traiter un volume important de données. Le système selon l’invention permet également de maîtriser la fiabilité, la performance et la pertinence du modèle sélectionné. [Brève description de l’invention] A cet effet, l’invention porte sur un procédé de sélection d’un modèle d’apprentissage défini notamment par des paramètres et des hyperparamètres parmi une pluralité de modèle d’apprentissage, mis en œuvre par une ressource de calcul de type ordinateur, ladite ressource de calcul comprenant un module de sélection de modèle et un référentiel de modèle comportant une pluralité de séries d’instructions chacune correspondant à un modèle d’apprentissage et chacune comportant des valeurs des hyperparamètres, ledit procédé comprenant : une étape d’évaluation de la performance de la prédiction de chaque modèle d’apprentissage, par des indicateurs de performance de la prédiction, une étape d’évaluation de classification, par un classifieur, permettant de fournir pour chaque modèle d’apprentissage une valeur de Vrais positifs, Faux positif, Faux négatifs et/ Vrais négatifs, une étape de sélection d’un modèle dont la valeur de performance et la valeur de classification sont supérieures à des premières valeurs seuils prédéterminées, une étape de variation des valeurs des hyperparamètres, à partir d’indicateurs d’optimisation des hyperparamètres, et une étape sélection d’un modèle lorsque les valeurs de performance de la prédiction et la valeur de classification sont supérieures à des secondes valeurs seuils prédéterminées et la valeur des hyperparamètres supérieure à une valeur seuil prédéfinie. Dit autrement, l’invention porte sur un procédé de sélection d’un modèle défini notamment par des paramètres et des hyperparamètres, mis en œuvre par une ressource de calcul de type ordinateur, ledit procédé comprenant une pluralité de modèles, des valeurs des hyperparamètres, lesdites valeurs étant prédéfinies avant un processus d’apprentissage, des valeurs des paramètres, lesdites valeurs étant calculées pendant l’apprentissage, par un module de sélection de modèle, ledit procédé comprenant : une étape d’évaluation de la performance de la prédiction de chaque modèle de la pluralité de modèle, par des indicateurs de performance de la prédiction une étape d’évaluation de classification, par un classifieur, permettant de fournir une étape de sélection d’un modèle dont la valeur de performance et la valeur de classification sont supérieures à des premières valeurs seuils prédéterminées, une étape de variation des valeurs des hyperparamètres, à partir d’indicateur d’optimisation des hyperparamètres, et une étape sélection d’un modèle lorsque les valeurs de performance de la prédiction et la valeur de classification sont supérieures à des secondes valeurs seuils prédéterminées et la valeur des hyperparamètres supérieure à une valeur seuil prédéfinie. Selon d’autres caractéristiques optionnelles du procédé : Il comprend une étape d’optimisation des hyperparamètres lorsque la valeur des hyperparamètres est inférieure à la valeur seuil prédéfinie comprenant : - gridsearch, ou - Random search, ou - algorithme d’optimisation bayésienne. il comprend une étape de comparaison simultanée des résultats d’analyse des différents modèles. il comprend en outre une étape d’élection du meilleur algorithme et sa soumission à l’utilisateur. il comprend en outre une étape de vérification il comprend en outre une étape d’évaluation du classifieur il comprend une étape de génération de modèle pour le problème étudié, lesdits modèles étant des modèles de prédiction estimés il comprend la mise en œuvre d’un Algorithme bayésien comprenant : - Une étape d’optimisation de l’espace de recherche comprenant la caractérisation de chaque donnée de l’espace de recherche par des valeurs, - Une étape d’association à chaque donnée de l’espace de recherche optimisé d’une valeur d’optimum en fonction d’une fonction d’acquisition, - Une étape de détermination d’une donnée optimale pour laquelle la fonction d’acquisition est maximisée, - Le calcul d’une nouvelle donnée à partir de la donnée optimale et de la fonction d’acquisition, - Une étape d’implémentation de l’espace de recherche optimisée comprenant la nouvelle donnée calculée, - La sélection des valeurs optimisées des valeurs de paramètres associées à chaque fonction de transformation en fonction des données optimisées lorsque l’espace de recherche est implémenté L’invention porte en outre sur un système de sélection d’un modèle défini notamment par des paramètres et des hyperparamètres, mis en œuvre par une ressource de calcul de type ordinateur, ledit système comprenant une pluralité de modèles, des valeurs des hyperparamètres, lesdites valeurs étant prédéfinies avant un processus d’apprentissage, des valeurs des paramètres, lesdites valeurs étant calculées pendant l’apprentissage, ledit système comprenant un module de sélection de modèle configuré pour : - Evaluer la performance de la prédiction de chaque modèle de la pluralité de modèle, par des indicateurs de performance de la prédiction - Evaluer la classification, par un classifieur, permettant de fournir - Sélectionner un modèle dont la valeur de performance et la valeur de classification sont supérieures à des premières valeurs seuils prédéterminées, - Varier des valeurs des hyperparamètres, à partir d’indicateur d’optimisation des hyperparamètres, - Sélectionner d’un modèle lorsque les valeurs de performance de la prédiction et la valeur de classification sont supérieures à des secondes valeurs seuils prédéterminées et la valeur des hyperparamètres supérieure à une valeur seuil prédéfinie. L’invention porte en outre sur un module de sélection d’un modèle défini notamment par des paramètres et des hyperparamètres, mis en œuvre par une ressource de calcul de type ordinateur, ledit module comprenant une pluralité de modèles, des valeurs des hyperparamètres, lesdites valeurs étant prédéfinies avant un processus d’apprentissage, des valeurs des paramètres, lesdites valeurs étant calculées pendant l’apprentissage, ledit module de sélection de modèle étant configuré pour : - Evaluer la performance de la prédiction de chaque modèle de la pluralité de modèle, par des indicateurs de performance de la prédiction - Evaluer la classification, par un classifieur, permettant de fournir - Sélectionner un modèle dont la valeur de performance et la valeur de classification sont supérieures à des premières valeurs seuils prédéterminées, - Varier des valeurs des hyperparamètres, à partir d’indicateur d’optimisation des hyperparamètres, - Sélectionner d’un modèle lorsque les valeurs de performance de la prédiction et la valeur de classification sont supérieures à des secondes valeurs seuils prédéterminées et la valeur des hyperparamètres supérieure à une valeur seuil prédéfinie L’invention porte en outre sur un programme de sélection de modèle , faisant exécuter le procédé selon l’invention. L’invention porte en outre sur s upport d’enregistrement sur lequel est enregistré le programme de sélection de variable selon l’invention. D’autres avantages et caractéristiques de l’invention apparaitront à la lecture de la description suivante donnée à titre d’exemple illustratif et non limitatif, en référence aux Figures annexées : représente un schéma d’un mode de réalisation du procédé selon l’invention. représente un schéma d’un mode de réalisation du procédé selon l’invention. représente un schéma d’un mode de réalisation d’une étape du procédé selon l’invention. [Définition de l’invention] Le terme « « modèle » ou « règle » ou « algorithme » » au sens de l’invention correspond à une suite finie d'opérations ou d'instructions permettant de calculer une valeur par l’intermédiaire d’un classement ou d’un partitionnement des données au sein de groupes préalablement définis Y et d’attribuer un score ou de hiérarchiser une ou plusieurs données au sein d’un classement. La mise en œuvre de cette suite finie d'opérations permet par exemple d’attribuer une étiquette Y à une observation décrite par un ensemble de caractéristiques ou paramètres X grâce par exemple à la mise en œuvre d’une fonction f susceptible, de reproduire Y ayant observé X. Y = f (X) + e où e symbolise le bruit ou erreur de mesure. On entend par « traiter », « calculer », « déterminer », « afficher », « extraire » « comparer » ou plus largement « opération exécutable » au sens de l’invention, une action effectuée par un dispositif ou un processeur sauf si le contexte indique autrement. À cet égard, les opérations se rapportent à des actions et/ou des processus d’un système de traitement de données, par exemple un système informatique ou un dispositif informatique électronique, qui manipule et transforme les données représentées en tant que quantités physiques (électroniques) dans les mémoires du système informatique ou d'autres dispositifs de stockage, de transmission ou d'affichage de l'information. Ces opérations peuvent se baser sur des applications ou des logiciels. On entend par « seuil prédéterminé » au sens de l’invention une valeur maximale de paramètre associée à chaque ressource permettant un bon fonctionnement de ladite ressource. Par exemple, cela correspond aux limites maximales acceptables de consommations de ressources pour une infrastructure informatique hébergeant une ou plusieurs briques applicatives. Ces limites peuvent être réelles ou hypothétiques et correspondent généralement à un niveau d’utilisation au-delà duquel des dysfonctionnements peuvent survenir et ayant pour conséquence un arrêt de la ressource, de l’infrastructure informatique ou bien à tout le moins des baisses de qualités de service. Par « règles d’exécution » on entend au sens de l’invention des paramètres prédéterminés d’exécution d’un plan d’ordonnancement dont le respect permet une exécution répondant aux besoins de l’administrateur SI. Ces règles peuvent notamment inclure des ordres d’enchainement à respecter, des horaires à respecter, ou des seuils de consommation en ressources à respecter, des fonctions prédéterminées à utiliser. Par « variable » on entend au sens de l’invention une caractéristique d'une unité statistique que l'on observe et pour laquelle une valeur numérique ou une catégorie d'une classification peut être attribuée. Par « techniques de sélection » on entend au sens de l’invention une suite finie d'opérations ou d'instructions permettant de calculer une valeur par l’intermédiaire de tests statistiques de type ANOVE, Test de l’information mutuelle entre deux variables aléatoires, Test du Chi², Tests de régression (e.g. régression linéaire, information mutuelle), SVM, ou élimination récursive, et permettant d’aboutir à un ensemble comprenant des variables pertinentes, notamment les meilleures variables ou les variables les plus pertientes. Procédé (100) de sélection d’un modèle d’apprentissage défini notamment par des paramètres et des hyperparamètres parmi une pluralité de modèle d’apprentissage, mis en œuvre par une ressource de calcul de type ordinateur, ladite ressource de calcul comprenant un module de sélection de modèle et un référentiel de modèle comportant une pluralité de séries d’instructions chacune correspondant à un modèle d’apprentissage et chacune comportant des valeurs des hyperparamètres, ledit procédé comprenant : - une étape d’évaluation (110) de la performance de la prédiction de chaque modèle d’apprentissage, par des indicateurs de performance de la prédiction, - une étape d’évaluation (120) de classification, par un classifieur, permettant de fournir pour chaque modèle d’apprentissage une valeur de Vrais positifs, Faux positif, Faux négatifs et/ Vrais négatifs, - une étape de sélection (130) d’un modèle dont la valeur de performance et la valeur de classification sont supérieures à des premières valeurs seuils prédéterminées, - une étape de variation (140) des valeurs des hyperparamètres, à partir d’indicateurs d’optimisation des hyperparamètres, - une étape sélection (150) d’un modèle lorsque les valeurs de performance de la prédiction et la valeur de classification sont supérieures à des secondes valeurs seuils prédéterminées et la valeur des hyperparamètres supérieure à une valeur seuil prédéfinie. Procédé (100) de sélection d’un modèle défini notamment par des paramètres et des hyperparamètres, mis en œuvre par une ressource de calcul de type ordinateur, ledit procédé comprenant une pluralité de modèles, des valeurs des hyperparamètres, lesdites valeurs étant prédéfinies avant un processus d’apprentissage, des valeurs des paramètres, lesdites valeurs étant calculées pendant l’apprentissage, par un module de sélection de modèle, ledit procédé comprenant : - une étape d’évaluation (210) de la performance de la prédiction de chaque modèle de la pluralité de modèle, par des indicateurs de performance de la prédiction - une étape d’évaluation de classification, par un classifieur, permettant de fournir pour chaque modèle d’apprentissage une valeur de Vrais positifs, Faux positif, Faux négatifs et/ Vrais négatifs, - une étape de sélection d’un modèle dont la valeur de performance et la valeur de classification sont supérieures à des premières valeurs seuils prédéterminées, - une étape de variation des valeurs des hyperparamètres, à partir d’indicateur d’optimisation des hyperparamètres, - une étape sélection d’un modèle lorsque les valeurs de performance de la prédiction et la valeur de classification sont supérieures à des secondes valeurs seuils prédéterminées et la valeur des hyperparamètres supérieure à une valeur seuil prédéfinie. Procédé selon l’une des revendications précédentes caractérisé en ce qu’il comprend une étape d’optimisation des hyperparamètres lorsque la valeur des hyperparamètres est inférieure à la valeur seuil prédéfinie comprenant : - gridsearch, ou - Random search, ou - algorithme d’optimisation bayésienne. Procédé selon l’une des revendications précédentes caractérisé en ce qu’il comprend une étape de comparaison (230) simultanée de résultats d’analyse des différents modèles. Procédé selon l’une des revendications précédentes caractérisé en ce qu’il comprend en outre une étape d’élection d’un meilleur algorithme et sa soumission à un utilisateur. Procédé selon l’une des revendications précédentes caractérisé en ce qu’il comprend en outre une étape de vérification (220). Procédé selon l’une des revendications précédentes caractérisé en ce qu’il comprend en outre une étape d’évaluation du classifieur. Procédé selon l’une des revendications précédentes caractérisé en ce qu’il comprend une étape de génération (200) de modèles pour un problème étudié, lesdits modèles étant des modèles de prédiction estimés. Procédé selon l’une des revendications précédentes caractérisé en ce qu’il comprend la mise en œuvre d’un Algorithme bayésien comprenant : - une étape (300) de définition d’un espace de recherche - Une étape (310) d’optimisation de l’espace de recherche comprenant la caractérisation de chaque donnée de l’espace de recherche par des valeurs, - Une étape (320) d’association à chaque donnée de l’espace de recherche optimisé d’une valeur d’optimum en fonction d’une fonction d’acquisition, - Une étape (330) de détermination d’une donnée optimale pour laquelle la fonction d’acquisition est maximisée, - Le calcul (340) d’une nouvelle donnée à partir de la donnée optimale et de la fonction d’acquisition, - Une étape (350) d’implémentation de l’espace de recherche optimisée comprenant la nouvelle donnée calculée, - La sélection (360)des valeurs optimisées des valeurs de paramètres associées à chaque fonction de transformation en fonction des données optimisées lorsque l’espace de recherche est implémenté. Système de sélection d’un modèle défini notamment par des paramètres et des hyperparamètres, mis en œuvre par une ressource de calcul de type ordinateur, ledit système comprenant une pluralité de modèles, des valeurs des hyperparamètres, lesdites valeurs étant prédéfinies avant un processus d’apprentissage, des valeurs des paramètres, lesdites valeurs étant calculées pendant l’apprentissage, ledit système comprenant un module de sélection de modèle configuré pour : - Evaluer la performance de la prédiction de chaque modèle de la pluralité de modèle, par des indicateurs de performance de la prédiction - Evaluer la classification, par un classifieur, permettant de fournir pour chaque modèle d’apprentissage une valeur de Vrais positifs, Faux positif, Faux négatifs et/ Vrais négatifs - Sélectionner un modèle dont la valeur de performance et la valeur de classification sont supérieures à des premières valeurs seuils prédéterminées, - Varier des valeurs des hyperparamètres, à partir d’indicateur d’optimisation des hyperparamètres, - Sélectionner d’un modèle lorsque les valeurs de performance de la prédiction et la valeur de classification sont supérieures à des secondes valeurs seuils prédéterminées et la valeur des hyperparamètres supérieure à une valeur seuil prédéfinie.