Brevet FR3153171A1 — publié le 20250321

Procédé d’évaluation d’une borne de performance maximale atteignable par un algorithme de classification supervisée sur une base de données d’apprentissage Le procédé (100) consiste à définir (105) une métrique (D), définir (115) une fonction de poids (W), définir (125) un nombre maximum de plus proches voisins (Kmax), calculer (130) un risque fini ( ) pour un classifieur de la famille des K plus proches voisins, pour différentes valeurs d’un entier K entre 1 et Kmax, le classifieur étant entrainé sur un ensemble d’échantillons d’apprentissage de la base d’apprentissage et testé sur l’ensemble d’échantillons de test de la base d’apprentissage, identifier (140) le risque fini minimal ( ) sur l’ensemble des risques finis calculés, déterminer (160) un risque asymptotique ( ) à partir du risque fini minimal, et quantifier (170) le risque bayésien ( ), en tant que borne de performance maximale, à partir du risque asymptotique ( .) Figure pour l'abrégé : Figure 1 Procédé d’évaluation d’une borne de performance maximale atteignable par un algorithme de classification supervisée sur une base de données d’apprentissage La présente invention se situe dans le domaine des algorithmes de classification supervisée, ou classifieurs dans le présent document. Un classifieur est capable de reconnaitre automatiquement des motifs dans un échantillon, comme par exemple reconnaitre automatiquement des objets dans une images. Cette image peut être une image dans le domaine optique, une image dans le domaine infra-rouge, une image radar (Radar à synthèse d'ouverture - SAR pour « Synthetic Aperture Radar » en anglais), une image sonar (Sonar à synthèse d'ouverture - SAS pour « Synthetic Aperture Sonar » en anglais), etc. Les objets à reconnaître dans l’image ne sont pas spécifiques et Il peut s’agir de véhicules, de bâtiments, de zones de terrain, etc. La classification supervisée consiste, à partir d'un ensemble d’échantillons dont les classes sont connues, à identifier la classe la plus probable d’un nouvel échantillon dont la classe est inconnue. Cet ensemble d’échantillons dont les classes sont connues est appelé base d'apprentissage, car il est utilisé par l’algorithme de classification pour apprendre à classifier de nouveaux échantillons. Formellement, la base d’apprentissage est constituée des 2-uplets {Xn,Cl} avec n entier entre 1 et N et l entier entre 1 et L, où N est le nombre total d’échantillons et L le nombre total de classes différentes. Un 2-uplets {Xn,Cl} associe par conséquent un échantillon avec sa classe vraie. Il s’agit d’un échantillon labellisé ou échantillon d’apprentissage. Le but de l’entrainement est alors d’optimiser les paramètres du classifieur pour qu’il retrouve la classe vraie Cl de chaque échantillon d’apprentissage Xn de la base d’apprentissage. Un classifieur convenablement entraîné (c’est-à-dire dont les paramètres ont été optimisés) permet ensuite d’identifier la classe dont relève un nouvel échantillon. Formellement, le classifieur une fois entrainé détermine la classe Cl la plus probable parmi les L classes possibles pour un nouvel échantillon Ym. La base d’apprentissage comporte également un ensemble d’échantillons de test (ou d’évaluation). Les échantillons de test sont utilisés, à la suite de l’entrainement, pour évaluer les performances du classifieur entrainé. Cet ensemble de test est indépendant de l’ensemble d’apprentissage. Formellement, l’ensemble de test est constituée des 2-uplets {Xq,Cl} avec q entier entre 1 et Q et l entier entre 1 et L, où Q est le nombre total d’échantillons de test et L le nombre total de classes différentes. Un 2-uplets {Xq,Cl} associe par conséquent un échantillon de test avec sa classe vraie. Il s’agit d’une image labellisée de test. Il s’agit d’un échantillon labellisé ou échantillon de test. Le but de l’évaluation est de vérifier le niveau de performance atteint par le classifieur entrainé sur l’ensemble d’apprentissage. Le taux d'erreur, mesuré sur les résultats de classification des échantillons de test, s’exprime simplement comme le rapport entre le nombre d’échantillons de test qui ont été correctement classifiés et le nombre total d’échantillons de test utilisés pour l’évaluation. Cette mesure de performance permet d’évaluer les capacités de généralisation de l’entrainement et est supposée être représentative du comportement du classifieur en conditions opérationnelles sur de nouveaux échantillons. Cette mesure de la performance de classification est donc un indicateur de confiance dans la fiabilité des décisions prises par un classifieur. Il serait alors intéressant de quantifier la performance de classification maximale théorique qu’il n’est pas possible de dépasser pour tout classifieur entraîné et testé sur une base d’apprentissage donnée. De la sorte, la mesure de performance d’un classifieur particulier pourrait prendre une signification absolue. Jusqu’à présent ce problème est largement ignoré. Généralement, la base d’apprentissage est considérée comme idéale : les échantillons de l’ensemble de test sont supposés être séparables et conformes à ceux de l’ensemble d’apprentissage. Une telle base d’apprentissage idéale permet d’atteindre un niveau de performance élevé. Un taux de bonne classification de 100% ou très proche est ainsi considéré comme étant la performance de classification maximale atteignable. Dans le cas d’une base d’apprentissage qui ne permet pas d’atteindre ce niveau de performance, un grand nombre de classifieurs, de nature différentes, sont entrainés sur cette base d’apprentissage. La performance de classification obtenue par le classifieur le plus performant est alors considérée comme la borne de performance maximale atteignable… jusqu’à ce que la performance de classification d’un autre classifieur la surpasse. A la suite de l’entrainement de nombreux classifieurs différents, si aucun d’entre eux ne permet d’atteindre un niveau satisfaisant de performance de classification, il est alors possible de conclure que les échantillons de la base d’apprentissage ne le permettent probablement pas, mais sans certitude absolue sur cette conclusion. L’évaluation d’un nouveau classifieur se fait donc par comparaison avec les performances d’un ensemble d’autres classifieurs entrainés et testés sur la même base d’apprentissage. Mais, il n’est pas toujours possible, après le constat d’une mauvaise performance de classification, de savoir si cette dernière est le fait de l’algorithme lui-même ou des échantillons de la base d’apprentissage. Par exemple, il est souvent très difficile de déduire du comportement des autres classifieurs si les capacités de généralisation du nouveau classifieur sont limitées ou si cela résulte d’un manque de fidélité des échantillons de test vis-à-vis des échantillons d’apprentissage. De plus, le nouveau classifieur peut être inadapté en raison d’une capacité de discrimination interclasses ou de caractérisations interclasses inadéquates et un ensemble d’échantillons peut présenter des erreurs de labellisation ou une mauvaise séparabilité entre classes. Le but de la présente invention est donc de répondre à ce problème, en proposant notamment un procédé permettant de placer une borne supérieure et une borne inférieure sur la valeur du niveau de performance maximum théorique. Pour cela l’invention a pour objet un procédé… Procédé (100), mis en œuvre par ordinateur, d’évaluation d’une borne de performance maximale atteignable par un algorithme de classification supervisée entrainé sur une base de données d’apprentissage prédéfinie, ladite base de données d’apprentissage comportant un ensemble d’échantillons d’apprentissage et un ensemble d’échantillons de test, le procédé étant caractérisé en ce qu’il consiste à : - définir une métrique ; - définir une fonction de poids ; - définir un nombre maximum de plus proches voisins ; - calculer un risque fini pour un classifieur de la famille des K plus proches voisins - KNN, pour différentes valeurs d’un entier K entre 1 et Kmax, le classifieur étant entrainé sur l’ensemble d’échantillons d’apprentissage et testé sur l’ensemble d’échantillons de test ; - identifier le risque fini minimal sur l’ensemble des risques finis calculés ; - déterminer un risque asymptotique à partir du risque fini minimal ; et, - quantifier le risque bayésien, en tant que borne de performance maximale, à partir du risque asymptotique. Suivant des modes particuliers de réalisation, le procédé comporte une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles : - les échantillons de la base de données d’apprentissage sont des images labellisées et dans lequel l’algorithme de classification supervisée est un algorithme de reconnaissance d’objets dans une image ; - les échantillons de la base de données d’apprentissage sont des signaux radar labellisées et dans lequel l’algorithme de classification supervisée est un algorithme de reconnaissance de forme d’onde dans un signal radar ; - définir une métrique consiste à sélectionner une ou plusieurs métriques dans une liste de métriques prédéfinie, l’étape de calcul d’un risque fini étant itérée sur chaque métrique sélectionnée et identifier le risque fini minimal s’effectue sur l’ensemble des risques finis calculés pour tous les K et pour toutes les métriques sélectionnées ; - définir une fonction de poids consiste à sélectionner une ou plusieurs fonctions de poids dans un catalogue de fonctions prédéfini, l’étape de calcul d’un risque fini étant itérée sur chaque fonction de poids sélectionnée et identifier le risque fini minimal s’effectue sur l’ensemble des risques finis calculés pour tous les K et pour toutes les fonctions de poids sélectionnées et éventuellement pour toutes les métriques sélectionnées ; - le procédé comporte une étape de calcul d’un biais, et déterminer un risque asymptotique consiste à ajouter le biais calculé au risque fini minimal ; - quantifier le risque bayésien consiste à encadrer le risque bayésien selon la relation : où est le risque asymptotique ; - le classifieur de la famille des K plus proches voisins - KNN est un classifier KNN, un classifieur VKNN, ou un classifieur WKNN. L’invention concerne aussi un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur couplé à une base de données d’apprentissage comportant un ensemble d’échantillons d’apprentissage et un ensemble d’échantillons de test, mettent en œuvre un procédé d’évaluation d’une borne de performance maximale atteignable par un algorithme de classification supervisée tel que défini ci-dessus. L’invention concerne aussi un procédé d’évaluation d’un traitement appliqué à une base de données d’apprentissage consistant à : - appliquer un procédé d’évaluation d’une borne de performance maximale tel que défini ci-dessus sur un ensemble d’échantillons d’apprentissage et un ensemble d’échantillons de test de la base de donnée d’entrainement pour déterminer une première borne de performance maximale atteignable ; - traiter les échantillons de l’ensemble d’échantillons d’apprentissage de la base de données pour obtenir un ensemble d’échantillons d’apprentissage traités et éventuellement traiter les échantillons de l’ensemble d’échantillons de test de la base de données pour obtenir un ensemble d’échantillons de test traités ; - appliquer le procédé d’évaluation d’une borne de performance maximale sur l’ensemble d’échantillons d’apprentissage traités et un ensemble d’échantillons de test traités pour déterminer une seconde borne de performance maximale atteignable ; et - comparer les première et seconde bornes entre elles pour évaluer une efficacité du traitement. L’invention et ses avantages seront mieux compris à la lecture de la description détaillée qui va suivre d’un mode de réalisation particulier, donné uniquement à titre d’exemple non limitatif, cette description étant faite en se référant aux dessins annexés sur lesquels : FIG. 1 La FIG. 1 est une représentation sous forme de blocs d’un mode de réalisation préféré d’un procédé d’évaluation d’une borne de performance maximale atteignable par un algorithme de classification supervisée sur une base de données d’apprentissage selon l’invention ; FIG. 2 La FIG. 2 est une représentation sous forme de blocs d’un mode de réalisation d’un procédé d’évaluation d’un prétraitement des données de la base de données d’apprentissage mettant en œuvre le procédé de la FIG. 1 ; et, FIG. 3 La FIG. 3 est une représentation sous forme de blocs d’un mode de réalisation d’un procédé d’évaluation d’une procédure d’enrichissement d’une base de données d’apprentissage mettant en œuvre le procédé de la FIG. 1 . Généralités Pour une problématique de classification supervisée particulière, il est nécessaire de disposer d’une métrique d’évaluation de la qualité des ensembles d’apprentissage et de test de la base d’apprentissage, qui sont utilisés pour l’entrainement d’un classifieur et l’évaluation du classifieur entrainé. L’invention se propose pour cela d’estimer le risque bayésien. En classification supervisée, le risque correspond à la probabilité qu'a un classifieur de prédire une mauvaise classe pour un échantillon, conditionnellement à la distribution conjointe des échantillons et des classes. Un classifieur bayésien associe à chaque échantillon, la classe qui est donnée par le maximum a postériori. Par exemple, dans une configuration de classification à deux classes, si les densités de probabilité et d’appartenance aux classes et sont connues, le problème de classification se réécrit alors en un test de décision, qui peut être résolu de manière optimale par un test d’hypothèses sur le rapport de vraisemblance de la distribution des données (test « uniformément plus puissant »). Ce test s’écrit : lorsque l’on fait l’hypothèse que l’échantillon X appartient à la classe numéro 1 ; et lorsque l’on fait l’hypothèse que l’échantillon X appartient à la classe numéro 2, expressions dans lesquelles représente la densité de probabilité d’appartenance de l’échantillon X à la classe , et un seuil de décision fixé (pouvant d’ailleurs être différent pour chaque hypothèse). Ces deux équations peuvent s’écrire de manière compacte : Ce test de décision est un test optimal ou test uniformément le plus puissant - UMP (selon l’anglais « Uniformly Most Powerful »). Le classifieur bayésien est le classifieur optimal vis à vis de la probabilité d'erreur. Le risque obtenu avec le classifieur bayésien, ou risque bayésien, est le plus petit risque qu'il soit possible d'obtenir étant donnée la distribution statistique des échantillons. Le risque bayésien constitue par conséquent une limite inférieure du taux d’erreur. Dit autrement, le classifieur bayésien donne la borne supérieure des performances qu’il n’est pas possible de dépasser pour tout classifieur opérant sur une base d’apprentissage donnée. Par exemple, un risque bayésien élevé indique probablement une non-conformité ou une défaut d’adéquation entre les données d’apprentissage et les données de test. Cependant, le classifieur bayésien ne peut généralement pas être mis en œuvre car il nécessite de connaître la distribution statistique des données, c’est-à-dire les densités pour toutes les classes. Or, sauf situation très particulière, cette distribution ne peut pas être connue. Par conséquent, au lieu d’être calculé, le risque bayésien doit être estimé. Le risque bayésien peut être estimé via l’utilisation de classifieurs présentant la propriété d’être « asymptotiquement consistants au sens de Bayes », c’est-à-dire dont le risque peut être rendu arbitrairement proche du risque bayésien lorsque le nombre d’échantillons d’apprentissage N tend vers l’infini d’une part et lorsque les hyperparamètres du modèle sur lequel s’appuie le classifieur sont convenablement choisis d’autre part. En particulier, les classifieurs non paramétriques de la famille des K plus proches voisins – KNN («K Nearest Neighbours » en anglais), possèdent cette propriété de consistance bayésienne. Ils présentes l’avantage que leur mise en œuvre ne nécessite aucune hypothèse quant à la distribution des échantillons d’apprentissage. En plus de leur facilité d’implémentation, plusieurs approches permettent d’estimer le risque bayésien à partir du taux observé de mauvaise classification d’un jeu de données par un algorithme KNN. Le classifieur KNN consiste à mesurer une distance entre un échantillon de l’ensemble de test dont on cherche la classe et les K échantillons de l’ensemble d’apprentissage les plus proches vis-à-vis de cette distance (appelées échantillons « voisins »). Ceci permet de réécrire le test de décision du classifieur bayésien en estimant les densités des différentes classes par la densité des données d’apprentissage de la classe correspondante contenue dans un volume autour de la donnée de test considérée. Par exemple, dans le cas d’une classification à deux classes, le test se réécrit : où représente le ième voisin de de la classe , est le nombre d’échantillons dans la classe numéro i et un volume autour de . La version standard du classifieur KNN consiste à attribuer à l’échantillon de test la classe du k ième échantillon d’apprentissage le plus proche (le classifieur 1NN par exemple consiste à attribuer directement la classe de l’échantillon d’apprentissage le plus proche de l’échantillon de test). Le classifieur vote entre les k plus proches voisins - VKNN (« Voting K-Nearest Neighbors »), qui par abus de langage est souvent appelé KNN, consiste à attribuer à l’échantillon de test la classe la plus représentée parmi celle des K échantillons d’apprentissage voisins. Le classifieur pondération des K plus proches voisins - WKNN (« Weighted K-Nearest Neighbors ») est similaire au classifieur VKNN, mais une pondération est appliquée sur le nombre d’échantillons d’apprentissage voisins associés à chaque classe parmi les K plus proches voisins afin de limiter l’influence des voisins les plus éloignés de l’échantillon de test dans la décision de classification. La mise en œuvre du classifieur WKNN nécessite de choisir trois hyper-paramètres : - une distance D entre voisins : la distance Euclidienne est souvent utilisée, mais peut ne pas être adaptée en fonction du type d’images étudiées ; la distance de Mahalanobis ou des distances présentant diverses propriétés d’invariance peuvent être avantageusement utilisées. - une fonction noyau W : cette fonction détermine la pondération appliquée sur les calculs de distances. Dans sa version la plus standard, le noyau est uniforme et le classifieur WKNN s’identifie alors au classifieur VKNN. Les fonctions noyaux les plus couramment utilisées sont des noyaux Gaussien ou Cosinus. - le nombre de voisins K : ce nombre est préférablement impair. Une faible valeur de K entraînera une grande sensibilité de la classification aux bruits de mesure, tandis qu’une grande valeur de K réduira l’influence du bruit mais induira des frontières entre classes moins distinctes. En fonction de la fonction noyau utilisée, l’influence de K peut être fortement réduite. Dans le cas « asymptotique » (c’est-à-dire lorsque le nombre d’échantillons d’apprentissage et donc de voisins potentiels tend vers l’infini), la probabilité a postériori d’appartenance à une classe donnée des échantillons de test tend vers la probabilité théorique d’appartenance à cette classe, et diverses formulations permettent de relier le risque bayésien au risque asymptotique obtenu avec l’algorithme KNN, comme par exemple, l’inégalité de Cover & Hart : dans laquelle est le nombre de classe, est le risque bayésien et le risque asymptotique mesurée avec un classifieur KNN. Cette inégalité permet de vérifier que le risque bayésien est toujours supérieur à la moitié du risque asymptotique : Cette relation permet, dans le cas asymptotique, de déterminer un minorant du risque bayésien à partir du calcul du taux d’erreur obtenu avec un algorithme KNN. En pratique, le nombre d’échantillons de la base d’apprentissage est toujours fini et le résultat précédent devient biaisé. On a la relation : dans laquelle est le risque « fini » mesuré avec un algorithme KNN et un nombre fini d’échantillons d’apprentissage) et est un terme de biais. L’évaluation du terme est nécessaire pour minorer le risque bayésien. Plusieurs techniques permettant d’évaluer ce terme biais sont décrites dans la littérature, notamment dans l’article Snapp R. et al., « Estimating the bayes risk from sample data », in Advances in Neural Information Processing Systems, pages 232-238, 1996. Modes de réalisation La FIG. 1 représente, sous la forme de blocs, un procédé d’évaluation d’une base de données d’apprentissage. Ce procédé est mis en œuvre par un ordinateur, qui est connecté à la base de donnée d’apprentissage. De manière générique, un ordinateur comporte des moyens de calcul, tels qu’un processeur, et des moyens de mémorisation, tels qu’une mémoire. La mémoire stocke notamment les instructions de programmes d’ordinateurs, en particulier celles d’un programme dont l’exécution permet la mise en œuvre du procédé selon l’invention. Dans l’application spécifique envisagée comme exemple, la base de données d’apprentissage 10 comporte des échantillons utilisés pour entrainer un classifieur. La base de données d’apprentissage 10 comporte ainsi un ensemble d’échantillons d’apprentissage 12 et un ensemble d’échantillons de test 14. L’ensemble d’apprentissage comporte N échantillons et l’ensemble de test comporte Q échantillons. Toutes les échantillons de la base de données d’apprentissage sont labélisés, c’est-à-dire qu’à chaque échantillon d’apprentissage Xn (n entier entre 1 et N) est associée une classe vraie Ci (i entier entre 1 et L, L étant le nombre de classes) et qu’à chaque échantillon de test Xq (q entier entre 1 et Q) est associée à une classe vraie Ci (i entier entre 1 et L). Le procédé 100 de prédiction admet en entrée les échantillons de la base de données d’apprentissage et renvoie en sortie la borne maximale théorique de performance de classification des échantillon de l’ensemble de test à partir de l’ensemble d’apprentissage, cette borne étant indépendante de tout procédé de classification et de la distribution statistiques des échantillons des ensembles d’apprentissage et de test. Dans une étape 105, un utilisateur définit la métrique D à utiliser en tant que premier hyper-paramètre du modèle. Cette métrique D permet de définir une distance entre deux échantillons. Elle doit respecter les propriétés d’une distance à savoir la symétrie, la séparation et vérifier l’inégalité triangulaire. Le choix de cette métrique a un fort impact sur la qualité de l’estimation du risque bayésien. Elle doit donc être choisie de manière judicieuse par l’utilisateur en fonction de la nature des images contenues dans la base de données d’apprentissage. Dans une étape 110, toutes les paires d’échantillons qu’il est possible de créer en associant un échantillon d’apprentissage Xn et un échantillon de test Xq sur la base de données d’apprentissage 10 sont créées. PxQ paires sont par conséquent créées. Puis, pour chaque paire d’échantillons, la distance Dn,q entre les deux échantillons Xn et Xq est calculée et stockées en mémoire. Dans l’étape 115, un utilisateur définit un catalogue de fonction noyau, chaque fonction noyau constituant un second hyper-paramètre du modèle. Ce catalogue contient une pluralité de fonctions noyaux W, comme par exemple une fonction uniforme, une fonction rectangulaire, une fonction gaussienne, une fonction inverse, une fonction cosinus, une fonction d’Epanechnikov. La pluralité de fonctions noyaux comporte T fonctions noyaux W. Ce catalogue est avantageusement le plus fourni possible. L’utilisateur peut l’enrichir de nouvelles fonctions. Dans l’étape 120, chaque fonction noyau F de la pluralité de fonctions noyaux du catalogue est appliquée sur l’ensemble des distances Dn,q calculées à l’étape 110. Dans l’étape 125, le nombre maximal de voisins Kmax pour la recherche du meilleur classifieur est défini par l’utilisateur. Ce nombre peut être choisi par défaut comme le nombre total N d’échantillons dans l’ensemble d’apprentissage. Dans l’étape 130, pour chaque fonction noyau W utilisée et pour chaque valeur d’un entier K (troisième hyper-paramètre) entre 1 et Kmax, le risque fini est calculé avec le classifieur WKNN. Dans l’étape 140, les hyper-paramètres {D0,W0,K0} qui sont associés au risque fini minimal sont identifiés. Dans une étape 150, un biais asymptotique est calculé à partir des distances Dn,q pondérées par la fonction de pondération W0 qui a été identifiée comme optimale à l’étape 140. Dans l’étape 160, le risque asymptotique est calculé à partir du risque fini minimal et du biais asymptotique obtenus avec les hyper-paramètres optimaux {D0,W0,K0} selon la relation. Dans l’étape 170, le risque asymptotique est utilisé pour estimer le risque bayésien , en tant que borne théorique de performance des classifieurs entrainés sur l’ensemble d’apprentissage et testés sur l’ensemble de test. Cette estimation s’exprime par exemple par un encadrement de la valeur du risque bayésien : Comme indiqué précédemment, aucun autre classifieur en mode supervisé ne peut atteindre un taux d’erreur plus faible que celui du classifieur bayésien sur une base de données d’apprentissage fixée. Un risque bayésien faible correspond donc à un problème de classification facile, pour lequel il est théoriquement possible de mettre en œuvre des modèles donnant d’excellentes performances. Inversement, un risque bayésien élevé correspond à un problème de classification difficile pour lequel aucun classifieur ne pourra avoir de performances significativement meilleures qu’un classifieur naïf, par exemple celui qui prédit les classes de manière aléatoire suivant la loi donnée par les probabilités a priori. Le fait que le risque bayésien donne une borne supérieure des performances théoriquement atteignables pour n’importe quel algorithme de classification en mode supervisé peut être notamment appliqué aux situations pratiques suivantes : - la mise en œuvre du procédé 100 permet de qualifier quantitativement une base de données d’apprentissage. Un risque bayésien élevé indique alors probablement une non-conformité entre les échantillons d’apprentissage et les échantillons de test, et peut ainsi invalider une base de données d’apprentissage. Le procédé 100 peut ainsi s’avérer très utile pour qualifier la fidélité d’un jeu d’échantillons synthétiques utilisé en apprentissage. - la mise en œuvre du procédé 100 permet d’évaluer la séparabilité entre classes. Il permet par exemple de déterminer le risque bayésien en ne sélectionnant que des échantillons de la base de données d’apprentissage appartenant à deux classes distinctes. Une valeur du risque bayésien proche de 0,5 (donc équivalent au risque d’un tirage aléatoire binomiale) indique que ces deux classes ne sont pas séparables et n’en forment en réalité qu’une seule. Cela peut conduire à une redéfinition de l’ensemble des classes ou à chercher à enrichir la base de données avec des échantillons permettant de mieux séparer ces deux classes. - la mise en œuvre du procédé 100 permet d’évaluer un prétraitement appliqué au données de la base de données d’apprentissage. Ainsi, par exemple, comme illustré par le procédé 200 de la FIG. 2 , dans une étape 210 un prétraitement est appliqué sur chaque échantillon de l’ensemble d’apprentissage 12 de la base de données 10 pour obtenir autant d’échantillons prétraités rassemblés dans un ensemble d’apprentissage prétraité 212. De manière similaire, dans une étape 220, le même prétraitement est appliqué sur chaque échantillon de l’ensemble de test 14 pour obtenir autant d’échantillons prétraités rassemblés dans un ensemble de test prétraité 214. Les ensembles d’apprentissage et de test prétraités 212 et 214 forment une base de données d’apprentissage prétraitée. Dans l’étape 240, le procédé 100 est appliquée sur la base de données d’apprentissage 10 initiale de manière à obtenir une première borne de performance B 1 sur la base de données initiale. Dans l’étape 250, le procédé 100 est appliquée sur l’ensemble d’apprentissage prétraité et sur l’ensemble des de test prétraité de manière à obtenir une seconde borne de performance B 2 sur la base de données d’apprentissage prétraitée. Enfin, dans une étape 260, les première et seconde bornes de performance sont comparées pour quantifier la qualité du prétraitement appliqué sur les échantillons. Le niveau d’augmentation du risque bayésien constitue un indicateur de la capacité du prétraitement à préserver la charge informationnelle d’échantillons de la base de données qui permet la classification. Une baisse du risque bayésien constitue quant à elle un indicateur de la bonne capacité de débruitage des échantillons induits par ce prétraitement. La mise en œuvre du procédé 100 permet d’évaluer la sélection d’un jeu d’attributs : on estime le risque bayésien sur des échantillons brutes d’une part et sur une sélection d’attributs extraits des échantillons brutes d’autre part. Le niveau d’augmentation du risque bayésien constitue un indicateur du pouvoir discriminants des attributs sélectionnés. Une faible augmentation permet ainsi de conclure que les attributs sélectionnés sont pertinents pour la classification. La mise en œuvre du procédé 100 permet d’évaluer l’efficacité d’un procédé d’augmentation de données. Par exemple, comme illustré sur le procédé 300 de la FIG. 3 , dans une étape 310 un procédé d’augmentation est appliqué sur l’ensemble des échantillons d’apprentissage pour obtenir un ensemble d’apprentissage augmenté 312. Dans l’étape 340, le procédé 100 est appliquée sur l’ensemble des échantillons d’apprentissage 12 et sur l’ensemble des échantillons de test 14 de manière à obtenir une première borne de performance B 1 pour qualifier la base de données 10 initiales. Dans l’étape 350, le procédé 100 est appliquée sur l’ensemble d’apprentissage augmenté 312 et sur l’ensemble de test 14 de manière à obtenir une seconde de performance borne B 2 pour qualifier la base de données augmentée constituée des ensemble d’apprentissage augmenté et de l’ensemble de test. Enfin, dans une étape 360, les première et seconde bornes de performance sont comparées pour quantifier l’effet du procédé d’augmentation. Le niveau de diminution du risque bayésien constitue un indicateur de la capacité du procédé d’augmentation des données à augmenter la charge informationnelle des données qui permet la classification. La mise en œuvre du procédé 100 permet de qualifier un algorithme en entraînant ledit algorithme avec l’ensemble d’apprentissage et en mesurant le risque de l’algorithme entrainé sur l’ensemble de test. La comparaison entre le risque mesuré et le risque bayésien estimé par la mise en œuvre du procédé 100 permet de quantifier l’efficacité de l’algorithme entrainé. Applications spécifiques Dans une première application, les échantillons sont des images. La classification supervisée en traitement d’images consiste à attribuer des labels de classe aux éléments d’une image à l’aide d’un algorithme pré-entraîné sur une base de données d’apprentissage constitué d’éléments labélisés au préalable. La reconnaissance d’objet en traitement d’images est utilisée dans de nombreux domaines. Dans le domaine optique, elle concerne la reconnaissance de forme ou de véhicule dans des applications civiles ou militaire, l’identification de visages dans des applications de surveillance, la classification de galaxies dans les applications astrophysiques… Toutes ces applications ont en commun le format des données d’entrée. Il s’agit d’une image, c’est-à-dire d’une matrice de pixels, chaque pixel étant associé à un niveau d’intensité pour des images en niveau de gris ou à un triplet de valeurs d’intensité pour une image en couleur, ou d’une séquence d’images dans le cas du traitement de vidéos. Un exemple de mise en œuvre de l’invention pour la reconnaissance de cibles en imagerie SAR est explicité ci-après. Les principes présentés sont généralisables à tous types d’images. La reconnaissance automatique de cibles – ATD (« Automatic Target Recognition ») en imagerie SAR consiste à identifier, à partir d’une base de données d’apprentissage, des cibles fixes préalablement détectées sur une image SAR. Pour évaluer la performance d’un algorithme ATR, il est nécessaire d’utiliser un ensemble d’apprentissage constitué d’images de cibles dont les classes sont connues. Ces images sont utilisées pour entraîner l’algorithme de classification. L’ensemble de test est lui aussi composé d’images dont les classes sont connues. Il est totalement disjoint de l’ensemble d’apprentissage, les images qu’il contient n’ayant pas été utilisées durant la phase d’entraînement. Cela permet de mesurer la performance de l’algorithme de classification une fois celui-ci entrainé sur l’ensemble d’apprentissage. La base de données MSTAR (« Moving and Stationary Target Acquisition and Recognition » ou acquisition et reconnaissance de cibles mobiles et stationnaires) sert de référence pour comparer les différents systèmes de traitement SAR et est largement utilisée par la communauté scientifique dans la littérature ouverte. La base de données MSTAR est une base de données publique d'images SAR collectées par le Sandia National Laboratory (SNL) et le Wright Patterson Air Force Laboratory. Les images de cette base de données ont été acquises en bande X (10 GHz) et sont d’une résolution de l’ordre de 30 cm. La base de données est constituée d’images de 10 véhicules différents : 2S1, BMP2, BRDM2, BTR70, BTR60, D7, T62, T72, ZIL131 et ZSU234. Tous les véhicules ont été imagés à des orientations variant entre 0° et 360° par rapport à l’axe de visée du radar et à des angles de sites de 15° et de 17°. Pour l’évaluation d’un algorithme de classification supervisée, la base de données est séparée de la manière suivante : les images à 15° d’angle d’incidence constituent l’ensemble d’apprentissage (elles sont réparties en 10 classes pour un total de 5376 images) ; Les images à 17° d’angle d’incidence constituent l’ensemble de test (elles sont réparties dans les même 10 classes pour un total 6059 images). Le procédé 100 a été utilisée sur cette base de données afin d’évaluer le risque bayésien minimal atteignable par tout algorithme de classification supervisée pour les ensembles d’apprentissage et de test définis ci-dessus. Un grand nombre d’hyperparamètres D, W et K ont été utilisés pour l’évaluation du risque fini. Après sélection du meilleur jeu d’hyperparamètres et correction du biais asymptotique, la valeur du risque bayésien obtenue est de 3,67%. Cela signifie que la performance du classifieur bayésien est au maximum de 96,33%. On en déduit qu’aucun algorithme de classification supervisée ne pourra faire mieux que ce taux de bonne classification. Le procédé 200 a été testé afin d’évaluer la pertinence d’un prétraitement sur les ensembles d’apprentissage et de test précédemment utilisées. Ce prétraitement consiste à calculer le module de la transformée de Fourier bidimensionnelle de chaque image de l’ensemble d’apprentissage et de l’ensemble de test. Ce prétraitement appliqué sur une image brute permet d’obtenir une représentation invariante en translation de chaque cible, ce qui permet de s’affranchir d’un traitement de recentrage de la cible. Les images de la base de données MSTAR présentant des cibles parfaitement centrées, la mise en œuvre du procédé 200 permet d’évaluer la baisse de performance induite par ce prétraitement. Après sélection des hyperparamètres optimaux et correction du biais asymptotique, le risque bayésien obtenu est de 5,54%. Ce résultat correspond à une performance du classifieur bayésien au maximum de 4,46%. CE résultat doit être comparé aux 3,67% sans prétraitement. L’invention permet donc de conclure que le prétraitement consistant à calculer le module de transformée de Fourier 2D est pertinent car il permet d’obtenir une invariance en translation très utile sur des images non centrées au prix d’une très faible dégradation du taux maximal de bonne classification atteignable. Dans une seconde application, les échantillons sont des signaux radar et la problématique de classification est l’identification des formes d’onde radar en guerre électronique. Le signal radar est un signal bruts IQ, c’est-à-dire une série temporelle complexe. La base de données à évaluer est constituée de formes d’ondes synthétiques qui ont été générées à partir d’une description théorique mais réaliste de formes d’ondes de 43 émetteurs. Elle contient 5600 exemples appartenant de manière équirépartie à 43 classes différentes. Les signaux sont échantillonnés sur 20ms et différents niveaux de bruit aléatoire sont ajoutés sur chaque exemple afin d’obtenir les niveaux de rapport signal sur bruit - SNR (signal on noise ratio ») suivants : 5dB, 10dB, 15dB, 20dB et +∞. L’ensemble d’apprentissage est constitué de 80% des signaux de chaque classe pour chaque SNR. Les 20% restants pour chaque classe et pour chaque SNR constituent l’ensemble de test. Le procédé 100 a été mis en œuvre directement sur les signaux brutes IQ. Le tableau suivant synthétise les résultats obtenus en terme de borne supérieure pour la performance bayésienne de bonne reconnaissance des formes d‘onde pour chaque SNR : SNR (dB) 5 10 15 20 +∞ Performance bayesienne ≤94,9% ≤98,7% ≤100% ≤100% ≤100% Le procédé selon l’invention a été mis en œuvre après extraction d’attributs sur les signaux bruts IQ. L’extraction d’attributs consiste à représenter chaque impulsion du signal radar par une liste de mots de description d’impulsion - PDW (« Pulse Descriptor Words »). Cette liste comporte par exemple trois mots: le temps d’arrivée, la largeur d’impulsion et la fréquence de l’impulsion considérée. Le signal est ainsi représenté sous une forme matricielle. Cette représentation permet de réduire de manière très importante le volume mémoire des ensemble d’apprentissage et de test mais est très sensible au bruit. Le tableau suivant synthétise les résultats obtenus pour la performance bayésienne dans cette configuration pour chaque SNR : SNR (dB) 5 10 15 20 +∞ Performance bayesienne ≤92% ≤97% ≤100% ≤100% ≤100% On observe que l’extraction d’attributs cause une baisse de la performance bayésienne (c’est-à-dire une augmentation du risque bayésien). Ceci est dû au fait que cette représentation réduite des données supprime de l’information contenue dans les données brutes. Néanmoins, la baisse de performance est limitée (3% pour une SNR de 5dB). On en conclut donc que les attributs sélectionnés sont très pertinents pour caractériser une forme d’onde de la base de données et ceci de manière indépendante de l’algorithme de classification utilisée. Avantages L’invention consiste à estimer, à partir d’un ensemble d’apprentissage et d’un ensemble de test, le risque bayésien qui leur est associé, c’est-à-dire la borne de performance maximale pour tout algorithme de classification entrainé et testé sur ces jeux de données. Le risque bayésien ne pouvant être calculé directement, l’invention contourne cette difficulté en estimant le risque bayésien sans mise en œuvre du classifieur bayésien, mais par un prolongement asymptotique du calcul du risque de classifieurs non-paramétriques ayant la propriété de « consistance bayésienne », c’est-à-dire dont le risque tend, sous certaines conditions, vers le risque bayésien. Parmi les algorithmes de classification non-paramétriques, les classifieurs du type K plus proches voisins - KNN (« K-Nearest Neighbors ») sont consistants au sens bayésien. L’invention permet donc, avec le calcul de cette borne de performance maximale, de positionner la performance de tout algorithme de classification entrainé sur ces jeux de données d’apprentissage et de test. L’invention permet d’évaluer la performance d’un algorithme de classification sur une base de données d’apprentissage non plus par rapport à une performance théorique de 100% mais par rapport à la borne de performance maximale atteignable. L’invention permet également de constater divers défauts dans les échantillons de la base de données d’entrainement, tels qu’une mauvaise séparabilité des classes, une mauvaise labellisation des échantillons, etc. L’invention permet aussi de qualifier les traitements effectués sur les échantillons de la base de données d’apprentissage, par mesure du niveau de variation de la borne de performance maximale entre les données initiales et celles obtenues après traitement. Procédé (100), mis en œuvre par ordinateur, d’évaluation d’une borne de performance maximale atteignable par un algorithme de classification supervisée entrainé sur une base de données d’apprentissage prédéfinie, ladite base de données d’apprentissage comportant un ensemble d’échantillons d’apprentissage et un ensemble d’échantillons de test, le procédé étant caractérisé en ce qu’il consiste à : - définir (105) une métrique (D) ; - définir (115) une fonction de poids (W) ; - définir (125) un nombre maximum de plus proches voisins (Kmax) ; - calculer (130) un risque fini ( ) pour un classifieur de la famille des K plus proches voisins - KNN, pour différentes valeurs d’un entier K entre 1 et Kmax, le classifieur étant entrainé sur l’ensemble d’échantillons d’apprentissage et testé sur l’ensemble d’échantillons de test ; - identifier (140) le risque fini minimal ( ) sur l’ensemble des risques finis calculés ; - déterminer (160) un risque asymptotique ( ) à partir du risque fini minimal ; et, - quantifier (170) le risque bayésien , en tant que borne de performance maximale, à partir du risque asymptotique . Procédé selon la revendication 1, dans lequel les échantillons de la base de données d’apprentissage sont des images labellisées et dans lequel l’algorithme de classification supervisée est un algorithme de reconnaissance d’objets dans une image. Procédé selon la revendication 1, dans lequel les échantillons de la base de données d’apprentissage sont des signaux radar labellisées et dans lequel l’algorithme de classification supervisée est un algorithme de reconnaissance de forme d’onde dans un signal radar. Procédé selon l’une quelconque des revendications 1 à 3, dans lequel définir une métrique consiste à sélectionner une ou plusieurs métriques dans une liste de métriques prédéfinie, l’étape de calcul d’un risque fini étant itérée sur chaque métrique sélectionnée et identifier le risque fini minimal s’effectue sur l’ensemble des risques finis calculés pour tous les K et pour toutes les métriques sélectionnées. Procédé selon l’une quelconque des revendications 1 à 4, dans lequel définir une fonction de poids consiste à sélectionner une ou plusieurs fonctions de poids dans un catalogue de fonctions prédéfini, l’étape de calcul d’un risque fini étant itérée sur chaque fonction de poids sélectionnée et identifier le risque fini minimal s’effectue sur l’ensemble des risques finis calculés pour tous les K et pour toutes les fonctions de poids sélectionnées et éventuellement pour toutes les métriques sélectionnées. Procédé selon l’une quelconque des revendications 1 à 5, comportant une étape de calcul d’un biais, et déterminer un risque asymptotique ( ) consiste à ajouter le biais calculé au risque fini minimal ( ). Procédé selon l’une quelconque des revendications 1 à 6, dans lequel quantifier le risque bayésien consiste à encadrer le risque bayésien selon la relation : où est le risque asymptotique. Procédé selon l’une quelconque des revendications 1 à 7, dans lequel la classifieur de la famille des K plus proches voisins - KNN est un classifier KNN, un classifieur VKNN, ou un classifieur WKNN. Programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur couplé à une base de données d’apprentissage comportant un ensemble d’échantillons d’apprentissage et un ensemble d’échantillons de test, mettent en œuvre un procédé d’évaluation d’une borne de performance maximale atteignable par un algorithme de classification supervisée selon l’une quelconque des revendications précédentes. Procédé (200, 300) d’évaluation d’un traitement appliqué à une base de données d’apprentissage consistant à : - appliquer un procédé d’évaluation d’une borne de performance maximale selon l’une quelconque des revendications précédentes sur un ensemble d’échantillons d’apprentissage et un ensemble d’échantillons de test de la base de donnée d’entrainement pour déterminer une première borne de performance maximale atteignable ; - traiter les échantillons de l’ensemble d’échantillons d’apprentissage de la base de données pour obtenir un ensemble d’échantillons d’apprentissage traités et éventuellement traiter les échantillons de l’ensemble d’échantillons de test de la base de données pour obtenir un ensemble d’échantillons de test traités ; - appliquer le procédé d’évaluation d’une borne de performance maximale sur l’ensemble d’échantillons d’apprentissage traités et un ensemble d’échantillons de test traités pour déterminer une seconde borne de performance maximale atteignable ; et ; - comparer les première et seconde bornes entre elles pour évaluer une efficacité du traitement.