FR 3110240 A1 20211119 FR 2004935 A 20200518 Procédé d’évaluation d’un système de prédiction de la caractérisation de défauts d’un élément de garnissage et dispositifs associés L’invention concerne un procédé d’évaluation d’un système de prédiction de la caractérisation de défauts sur un élément de garnissage (30) de véhicule, le procédé comportant une étape de: - réception d’une image d’un élément de garnissage (30), - réception d’une matrice de référence associant à des zones géographiques de référence de l’élément de garnissage (30), la présence d’un défaut dans la zone géographique et une sévérité du défaut détecté, - application du système à l’image reçue pour obtenir une matrice de prédiction associant à des zones géographiques prédites de l’élément de garnissage (30), la présence d’un défaut prédit dans la zone géographique et une sévérité du défaut prédit, - calcul d’une matrice de confusion à l’aide des deux matrices, et - détermination d’un indice de qualité du système en fonction de chaque matrice de confusion. Figure pour l'abrégé : figure 2 Procédé d’évaluation d’un système de prédiction de la caractérisation de défauts d’un élément de garnissage et dispositifs associés La présente invention concerne un procédé d’évaluation d’un système de prédiction de la caractérisation de défauts sur un élément de garnissage de véhicule. La présente invention se rapporte également à un calculateur propre à mettre en œuvre ledit procédé. La présente invention concerne également un produit programme d’ordinateur et un support lisible d’informations associés. Dans le processus de production actuel d’éléments de garnissage, des défauts, tels que des plis, des déchirures ou autre, sont susceptibles de se former dans la couche de matériau textile, notamment lorsque la couche est revêtue sur un corps de l’élément de garnissage. Certains défauts peuvent dégrader le confort et/ou l’aspect d’un élément de garnissage au point de le rendre inutilisable de façon satisfaisante dans l’habitacle d’un véhicule et entraînent ainsi la mise au rebut ou une reprise de finition de l’élément de garnissage. D’autres défauts, du fait de leur faible importance ou de leur emplacement, sont acceptables et ne nécessitent pas de retravailler l’élément de garnissage pour être utilisé. Il est donc souhaitable d’inspecter les éléments de garnissage à l’issue de leur réalisation afin de déterminer si ces éléments présentent une qualité suffisante pour être utilisés dans un véhicule. Pour contrôler la présence de tels défauts, il est connu de positionner un opérateur humain en fin de chaîne de production pour effectuer une telle tâche. Toutefois, cela présente plusieurs inconvénients. D’abord, en pratique, l'opérateur humain a tendance à manquer certains défauts, notamment sous l’effet de la fatigue. Ensuite, comme un siège est produit assez rapidement, l’opérateur n’est pas capable d’analyser un siège pour détecter la présence éventuelle de défauts avant la fabrication du suivant. Par conséquent, il n’est pas possible d’analyser tous les sièges sans ralentir la production. Un tel facteur humain n’est pas impliqué lorsqu’une technique numérique est utilisée. Néanmoins, en pratique, une telle technique ne donne pas entièrement satisfaction notamment parce que la détection des défauts n’est pas optimale (détection de faux défauts en particulier). Il existe un besoin pour un procédé permettant de sélectionner un système de prédiction de la caractérisation de défauts sur un élément de garnissage qui présente une meilleure précision. A cet effet, la description décrit un procédé d’évaluation d’un système de prédiction de la caractérisation de défauts sur un élément de garnissage de véhicule, le procédé étant mis en œuvre par ordinateur, le procédé comportant une première étape de réception d’une image d’un élément de garnissage, une deuxième étape de réception d’une matrice de référence, la matrice de référence associant à des zones géographiques de l’élément de garnissage, dites zones de référence, la présence d’un défaut dans la zone géographique et une sévérité du défaut détecté. Le procédé d’évaluation comporte également une étape d’application du système de prédiction à l’image reçue lors de la première étape de réception pour obtenir une matrice de prédiction, la matrice de prédiction associant à des zones géographiques de l’élément de garnissage, dites zones prédites, la présence d’un défaut prédit dans la zone géographique et une sévérité du défaut prédit, une étape de calcul d’au moins une matrice de confusion à l’aide de la matrice de prédiction et de la matrice de référence, chaque matrice de confusion comportant une diagonale principale et des diagonales secondaires, et une étape de détermination d’un indice de qualité du système de prédiction en fonction des coefficients d’un ensemble de diagonales respectif de chaque matrice de confusion, l’ensemble de diagonales regroupant au moins une diagonale parmi la diagonale principale et les diagonales secondaires. Selon des modes de réalisation particuliers, le procédé d’évaluation présente une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou selon toutes les combinaisons techniquement possibles : - l’ensemble de diagonales consiste en la diagonale principale et les deux diagonales secondaires adjacentes à la diagonale principale. - pour chaque matrice de confusion, l’indice de qualité est obtenu à partir de la valeur du rapport entre la somme pondérée des coefficients de l’ensemble de diagonale et la somme pondérée de l’ensemble des coefficients. - les coefficients de pondération dépendent de la sévérité des défauts détectés. - lors de l’étape de calcul, une matrice de confusion calculée est relative à au moins l’un parmi la présence des défauts et la sévérité des défauts. - lors de l’étape de calcul, une matrice de confusion calculée est une matrice de confusion relative à la localisation des défauts. - il est défini des zones pour l’élément de garnissage, les zones prédites étant les zones de l’élément de garnissage. La présente description propose également un calculateur propre à évaluer un système de prédiction de la caractérisation de défauts sur un élément de garnissage de véhicule, le calculateur étant propre à recevoir une image d’un élément de garnissage et à recevoir une matrice de référence, la matrice de référence associant à des zones géographiques de l’élément de garnissage, dites zones de référence, la présence d’un défaut dans la zone géographique et une sévérité du défaut détecté. Le calculateur étant également propre à appliquer le système de prédiction à l’image reçue pour obtenir une matrice de prédiction, la matrice de prédiction associant à des zones géographiques de l’élément de garnissage, dites zones prédites, la présence d’un défaut prédit dans la zone géographique et une sévérité du défaut prédit, propre à calculer au moins une matrice de confusion à l’aide de la matrice de prédiction et de la matrice de référence, chaque matrice de confusion comportant une diagonale principale et des diagonales secondaires, et propre à déterminer un indice de qualité du système de prédiction en fonction des coefficients d’un ensemble de diagonales respectif de chaque matrice de confusion, l’ensemble de diagonales regroupant au moins une diagonale parmi la diagonale principale et les diagonales secondaires. La présente description décrit aussi un produit programme d’ordinateur comportant un support lisible d’informations, sur lequel est mémorisé un programme d’ordinateur comprenant des instructions de programme, le programme d’ordinateur étant chargeable sur une unité de traitement de données et mettant en œuvre des étapes d’un procédé tel que précédemment décrit lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement des données. La présente description propose également un support lisible d’informations comportant des instructions de programme formant un programme d’ordinateur, le programme d’ordinateur étant chargeable sur une unité de traitement de données et mettant en œuvre des étapes d’un procédé tel que précédemment décrit lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement de données. Des caractéristiques et avantages de l’invention apparaîtront à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels : - la est une vue schématique d’un exemple de calculateur permettant la mise en œuvre d’un procédé d’évaluation d’un système de prédiction de la caractérisation de défauts sur un élément de garnissage de véhicule, - la est un ordinogramme d’un exemple de mise en œuvre d’un procédé d’évaluation d’un système de prédiction de la caractérisation de défauts sur un élément de garnissage de véhicule, - la est une vue schématique d’un exemple de siège, - la est une autre vue schématique d’un premier exemple de matrice de confusion, et - la est une autre vue schématique d’un premier exemple de matrice de confusion. Un calculateur 10 et un produit programme d’ordinateur 12 sont représentés à la figure 1. L’interaction du produit programme d’ordinateur 12 avec le calculateur 10 permet de mettre en œuvre un procédé d’évaluation d’un système de prédiction SP de la caractérisation de défauts sur un élément de garnissage de véhicule. Le procédé d’évaluation est ainsi un procédé mis en œuvre par ordinateur. Plus généralement, le calculateur 10 est un calculateur électronique propre à manipuler et/ou transformer des données représentées comme des quantités électroniques ou physiques dans des registres du calculateur et/ou des mémoires en d’autres données similaires correspondant à des données physiques dans des mémoires, des registres ou d’autres types de dispositifs d’affichage, de transmission ou de mémorisation. Il est à noter que, dans la présente description, l’expression « propre à » signifie indifféremment « adapté pour », « adapté à » ou « configuré pour ». Le calculateur 10 comporte un processeur 14 comprenant une unité de traitement de données 16, des mémoires 18 et un lecteur 20 de support d’informations. Le calculateur 10 comprend, en variante et en supplément, un clavier 22 et une unité d’affichage 24. Le produit programme d’ordinateur 12 comporte un support lisible d’informations. Un support lisible d’informations est un support lisible par le calculateur 10, usuellement par le lecteur 20. Le support lisible d’informations est un médium adapté à mémoriser des instructions électroniques et capable d’être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible d’informations est une disquette ou disque souple (de la dénomination anglaise de « floppy disk »), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, une mémoire EPROM, une mémoire EEPROM, une carte magnétique ou une carte optique. Sur le support lisible d’informations est mémorisé un programme d’ordinateur comprenant des instructions de programme. Le programme d’ordinateur est chargeable sur l’unité de traitement de données 16 et est adapté pour entraîner la mise en œuvre du procédé d’évaluation. Le fonctionnement du calculateur 10 en interaction avec le produit programme d’ordinateur 12 est maintenant décrit en référence à la figure 2 qui représente un ordinogramme d’un exemple de mise en œuvre d’un procédé d’évaluation d’un système de prédiction SP de la caractérisation de défauts sur un élément de garnissage de véhicule. Par définition, un élément de garnissage comprend un corps et une couche de matériau textile revêtant au moins en partie le corps et formant au moins une partie de la surface externe et visible de l’élément de garnissage. Comme visible sur la , Un tel élément de garnissage est un siège 30 de véhicule automobile comportant un dossier 32 et une assise 36. Le procédé peut également s’appliquer à d’autres types d’éléments de garnissage, tels que des banquettes, des panneaux de porte, des accoudoirs, ou autre. Par couche de matériau textile, il est entendu tout type de matériau comprenant des fibres textiles, tel qu’un tissu ou un non-tissé. Par extension, le procédé s’applique également aux couches de revêtement présentant un comportement similaire aux couches de matériau textile, telles que des couches de type « peaux », par exemple des couches de cuir ou similicuir ou autre. L’assise 36 comprend un corps 40 et une couche 42 en matériau textile revêtant au moins en partie le corps 40 et formant au moins une partie de la surface externe et visible de l’assise 36. Similairement, le dossier 32 comprend un corps 38 et une couche 46 de matériau textile revêtant au moins en partie le corps 46 et formant au moins une partie de la surface externe et visible du dossier 32. Par définition, il est entendu par « zones » toutes les différentes parties d’un siège. Plus précisément, dans le cas de la , sont des zones du siège 30 : le corps 40 de l’assise 36, la couche 42 de l’assise 36, le corps 38 du dossier 32 et la couche 46 du dossier 32. Le système de prédiction SP est un système propre à prédire la caractérisation de défauts, c’est-à-dire d’une part leur localisation et d’autre part leur sévérité. La sévérité d’un défaut définit l’importance d’un défaut sur la couche de matériau textile, que cela soit en raison de sa visibilité, de son aspect et/ou de ses dimensions. Ainsi, un défaut sévère est un défaut visible détectable à l’œil nu par un observateur de l’élément de garnissage 30. Un tel défaut est par exemple un pli ou une déchirure dans la couche de matériau textile. Par « deuxième défaut plus sévère que le premier défaut », on entend que le deuxième défaut est plus important que le premier défaut, par exemple parce qu’il se remarque plus que le premier défaut par un observateur de l’élément de garnissage 30, par exemple du fait d’une de ses dimensions ou de son amplitude. Un tel défaut plus sévère est par exemple une succession de plis occupant une zone importante de la surface externe ou une déchirure dans la couche de matériau textile ou autre. Une note est attribuée au(x) défaut(s) présent(s) dans chaque image stockée, la note étant représentative de la sévérité du défaut dans la couche de matériau textile. En d’autres termes, plus le défaut dans une image stockée est sévère, plus la note attribuée à ce défaut est haute. Par exemple, une image dans laquelle la couche de matériau textile ne présente sensiblement pas de défaut se voit attribuer une note de 0, un premier défaut se voit attribuer une note de 1 et un deuxième défaut plus sévère que le premier défaut se voit attribuer la note de 2. A titre d’alternative, les défauts sont quantifiés selon une échelle d’importance des défauts, par exemple de 1 à 9. Selon un autre exemple, le système de prédiction SP est propre à trouver la localisation du défaut et la nature du défaut avec éventuellement sa sévérité. En l’espèce, la nature du défaut est, par exemple, un pli, une déchirure ou une tache. Dans chacun des cas, le système de prédiction SP est implémenté sous forme d’un algorithme, notamment un algorithme de classification de défauts, l’algorithme appliquant une fonction à une image de l’élément de garnissage 30 à inspecter pour obtenir les prédictions précitées. Par exemple, l’algorithme utilisé est un réseau de neurones convolutif ou convolutionnel. Un tel algorithme est souvent désigné sous l’abréviation CNN qui renvoie à la terminologie anglaise de « Convolutional Neural Network ». L’algorithme est obtenu par une technique d’apprentissage supervisé. En variante ou en complément, l’algorithme comporte l’application d’une première technique pour obtenir la localisation prédite et l’application d’une deuxième technique (généralement distincte de la première technique) pour obtenir la sévérité et/ou la nature prédites des défauts. Le procédé d’évaluation vise à estimer la qualité des prédictions du système de prédiction SP à l’aide d’une référence, ici une référence annotée par un superviseur. Le procédé d’évaluation vise ainsi à évaluer les prédictions du système de prédiction SP, c’est-à-dire à être capable d’évaluer la précision du système de prédiction SP. Un tel procédé permet ainsi de sélectionner un système de prédiction SP de la caractérisation de défauts sur un élément de garnissage 30 qui présente une meilleure précision. Le procédé d’évaluation comporte une première étape de réception E50, une deuxième étape de réception E52, une étape d’application E54, une étape de calcul E56, une étape de modification E58 et une étape d’estimation E60. Lors de la première étape de réception E50, le calculateur 10 reçoit une image de siège 30. L’image du siège 30 provient, par exemple, d’une caméra positionnée devant le siège 30 à étudier. En complément ou en variante, l’image provient d’une caméra positionnée sur un coté du siège 30 et/ou une caméra positionnée à l’arrière du siège 30. Lors de la deuxième étape de réception E52, le calculateur 10 reçoit également une matrice de référence MR. La matrice de référence MR associe à des zones géographiques du siège 30 la présence d’un (ou de plusieurs) défaut dans la zone géographique et une sévérité du défaut détecté. De ce fait, il apparaît que la matrice de référence MR désigne au sens large toute représentation d’une association entre plusieurs zones géographiques du siège 30 la présence d’un défaut dans la zone géographique et une sévérité du défaut détecté. Par exemple, en variante, la matrice de référence MR est fournie par une liste de défaut, avec leur localisation et leur sévérité. Cela permet d’éviter d’avoir à indiquer que pour toutes les autres zones géographiques du siège 30, aucun défaut n’est détecté. Cette remarque est valable pour toutes les matrices qui sont décrites dans la présente description. Les zones géographiques du siège 30 de la matrice de référence MR sont dénommées zones de référence ZR dans la suite. Dans le cas présent, les zones de référence ZR sont les zones du siège 30. La matrice de référence MR est une matrice de référence au sens où sa précision est au moins aussi bonne que la matrice de prédiction MP. Par exemple, la matrice de référence MR est obtenue par une annotation manuelle d’un expert de l’image reçue à la première étape de réception E50. Selon une variante, la matrice de référence MR est obtenue par un système de prédiction déjà validé, c’est-à-dire par application sur l’image reçue à la première étape de réception E50 d’un système de prédiction ayant une précision satisfaisante. Dans chacun des cas, il sera considéré que la matrice de référence MR correspond à la réalité et constitue la vérité absolue. Lors de l’étape d’application E54, le calculateur 10 applique le système de prédiction SP à corriger à l’image reçue lors de la première étape de réception E50 pour obtenir une matrice de prédiction MP. La matrice de prédiction MP associe à des zones géographiques du siège 30 la présence d’un défaut dans la zone géographique et une sévérité du défaut détecté. Les zones géographiques du siège 30 de la matrice de prédiction MP sont dénommées zones prédites ZP dans la suite. Comme pour le cas des zones de référence ZR, les zones prédites ZP sont ici les zones du siège 30. Lors de l’étape de calcul E56, il est calculé au moins une matrice de confusion MC à l’aide des matrices de prédiction MP et de matrice de référence MR. De manière générale, la matrice de confusion MC est une matrice dont l’élément de la ligne l et de la colonne c est le nombre d’élément d’une classe prédite l qui ont été estimée comme appartenant à la classe réelle de la colonne c. Plus spécifiquement, dans le présent procédé, la matrice de confusion MC est une matrice de comparaison de données issues de la matrice de référence MR et de données issues de la matrice de prédiction MP. Dans l’exemple décrit, l’étape de calcul E56 comporte le calcul d’une première matrice de confusion MC1 et d’une deuxième matrice de confusion MC2. La première matrice de confusion MC1 est relative à au moins l’un parmi la présence des défauts et la sévérité des défauts. Un exemple de première matrice de confusion MC1 est présenté à la . Dans cet exemple, le degré de sévérité est repéré par un entier compris entre 1 et 8. Dans cette même figure, il apparaît que la première matrice de confusion MC1 comporte une diagonale principale DP et des diagonales secondaires DS. Dans la présente demande, il est entendu par diagonale secondaire DS une ligne parallèle à la diagonale principale DP. La deuxième matrice de confusion MC2 est relative à la localisation des défauts. Un exemple de deuxième matrice de confusion MC2 est présenté à la . Dans cet exemple, les zones du siège 30 sont référencées de A à G, le signe de référence NF désignant une zone non identifiée. Lors de l’étape de détermination E58, il est déterminé un indice de qualité IQ du système de prédiction SP. L’indice de qualité IQ est déterminé en fonction des coefficients d’un ensemble de diagonales E respectif de chaque matrice de confusion MC. Chaque ensemble de diagonales E regroupe au moins une diagonale parmi la diagonale principale DP et les diagonales secondaires DS. Dans chacun des exemples décrits, l’ensemble de diagonales E regroupe la diagonale principale DP et éventuellement des diagonales secondaires DS adjacentes à la diagonale principale ou même des diagonales secondaires DS adjacentes à ces diagonales secondaires immédiatement adjacentes à la diagonale principale. En outre, le fait d’utiliser de telles diagonales secondaires aura pour effet, dans le cas de la sévérité exprimée sous forme d’une échelle (de 1 à 8 par exemple pour des critères visuels) de considérer comme valable une prédiction 5 + ou – 1 comme prédiction pour une référence de 5. La différence entre deux niveaux de l’échelle peut être suffisamment faible pour que l’on puisse considérer cette prédiction comme valide. Plus spécifiquement, il est défini un premier ensemble de diagonales E1 pour la première matrice de confusion MC1 et un deuxième ensemble de diagonales E2 pour la deuxième matrice de confusion MC2. Selon l’exemple proposé, l’indice de qualité IQ est obtenu à partir de la valeur d’un premier rapport R1 et de la valeur d’un deuxième rapport R2. Le premier rapport R1 est le rapport entre la somme des coefficients du premier ensemble de diagonales E1 de la première matrice de confusion MC1 et la somme de l’ensemble des coefficients de la première matrice de confusion MC1. Le premier ensemble de diagonales E1 comporte la diagonale principale DP et les deux diagonales secondaires DS1 et DS2 adjacentes à la diagonale principale DP. Les deux diagonales secondaires DS1 et DS2 sont les diagonales immédiatement voisines de la diagonale principale DP. Le deuxième rapport R2 est le rapport entre la somme des coefficients du deuxième ensemble de diagonales E2 de la deuxième matrice de confusion MC2 et la somme de l’ensemble des coefficients du deuxième ensemble de diagonales E2 de la deuxième matrice de confusion MC2. De manière générale pour le premier rapport R1 comme pour le deuxième rapport R2, il est utilisé deux sommes pondérées par des coefficients de pondération. La somme simple précédente est un exemple particulier de somme pondérée dans lequel chaque coefficient de pondération présente la même valeur. Selon un autre mode de réalisation, les coefficients de pondération dépendent de la sévérité des défauts détectés pour conférer plus de poids aux défauts les plus sévères. Le deuxième ensemble de diagonales E2 comporte uniquement la diagonale principale DP. Dans l’exemple proposé, l’indice de qualité IQ est une somme pondérée des deux rapports R1 et R2. La pondération est, par exemple, un poids 1/3 – 2/3. Lors de l’étape d’estimation E60, le calculateur 10 estime si le système de prédiction SP doit être entraîné à nouveau ou non sur la base de l’indice de qualité IQ. Par exemple, l’indice de qualité IQ est comparé à un seuil prédéfini, fixé par exemple par un superviseur, et si l’indice de qualité IQ est plus grand que le seuil, le système de prédiction SP n’est pas à entraîner à nouveau. Au contraire, si l’indice de qualité IQ est plus petit que le seuil, le système de prédiction SP doit être réentraîné. Un tel procédé peut ainsi être conçu comme un procédé utilisant un indicateur de performance pour améliorer le système de prédiction SP. Un indicateur de performance est souvent désigné par l’abréviation « KPI » qui renvoie à la dénomination anglaise de « Key Indicator Performance » signifiant littéralement en français « indicateur clé de performance ». L’indicateur proposé est particulièrement efficace dans la mesure où il attribue plus de poids aux défauts sévères, qui sont les plus importants à détecter puisqu’il suppose une intervention au contraire des défauts mineurs. Il est à noter qu’un même effet d’amélioration du système de prédiction SP est obtenu si une seule matrice de confusion MC1 ou MC2 est employée au lieu de deux matrices de confusion MC1 et MC2. L’indicateur de qualité est alors un seul des rapports R1 ou R2. Procédé d’évaluation d’un système de prédiction (SP) de la caractérisation de défauts sur un élément de garnissage (30) de véhicule, le procédé étant mis en œuvre par ordinateur, le procédé comportant : - une première étape de réception d’une image d’un élément de garnissage (30), - une deuxième étape de réception d’une matrice de référence (MR), la matrice de référence (MR) associant à des zones géographiques de l’élément de garnissage (30), dites zones de référence (ZR), la présence d’un défaut dans la zone géographique et une sévérité du défaut détecté, - une étape d’application du système de prédiction (SP) à l’image reçue lors de la première étape de réception pour obtenir une matrice de prédiction (MP), la matrice de prédiction (MP) associant à des zones géographiques de l’élément de garnissage (30), dites zones prédites (ZP), la présence d’un défaut prédit dans la zone géographique et une sévérité du défaut prédit, - une étape de calcul d’au moins une matrice de confusion (MC, MC1, MC2) à l’aide de la matrice de prédiction (MP) et de la matrice de référence (MR), chaque matrice de confusion (MC, MC1, MC2) comportant une diagonale principale (DP) et des diagonales secondaires (DS, DS1, DS2), et - une étape de détermination d’un indice de qualité (IQ) du système de prédiction (SP) en fonction des coefficients d’un ensemble de diagonales (E, E1, E2) respectif de chaque matrice de confusion (MC1, MC2), l’ensemble de diagonales (E, E1, E2) regroupant au moins une diagonale parmi la diagonale principale (DP) et les diagonales secondaires (DS, DS1, DS2). Procédé d’évaluation d’un système de prédiction selon la revendication 1, dans lequel l’ensemble de diagonales (E, E1) consiste en la diagonale principale (DP) et les deux diagonales secondaires (DS1, DS2) adjacentes à la diagonale principale (DP). Procédé d’évaluation d’un système de prédiction selon la revendication 1 ou 2, dans lequel, pour chaque matrice de confusion (MC, MC1, MC2), l’indice de qualité (IQ) est obtenu à partir de la valeur du rapport entre la somme pondérée des coefficients de l’ensemble de diagonale (E, E1, E2) et la somme pondérée de l’ensemble des coefficients, Procédé d’évaluation d’un système de prédiction selon la revendication 3, dans lequel les coefficients de pondération dépendent de la sévérité des défauts détectés. Procédé d’évaluation d’un système de prédiction selon l’une quelconque des revendications 1 à 4, dans lequel, lors de l’étape de calcul, une matrice de confusion (MC1) calculée est relative à au moins l’un parmi la présence des défauts et la sévérité des défauts. Procédé d’évaluation d’un système de prédiction selon l’une quelconque des revendications 1 à 5, dans lequel, lors de l’étape de calcul, une matrice de confusion (MC2) calculée est une matrice de confusion relative à la localisation des défauts. Procédé d’évaluation d’un système de prédiction selon l’une quelconque des revendications 1 à 6, dans lequel il est défini des zones pour l’élément de garnissage (30), les zones prédites (ZP) étant les zones de l’élément de garnissage (30). Calculateur (10) propre à évaluer un système de prédiction (SP) de la caractérisation de défauts sur un élément de garnissage (30) de véhicule, le calculateur (10) étant propre à : - recevoir une image d’un élément de garnissage (30), - recevoir une matrice de référence (MR), la matrice de référence (MR) associant à des zones géographiques de l’élément de garnissage (30), dites zones de référence (ZR), la présence d’un défaut dans la zone géographique et une sévérité du défaut détecté, - appliquer le système de prédiction (SP) à l’image reçue pour obtenir une matrice de prédiction (MP), la matrice de prédiction (MP) associant à des zones géographiques de l’élément de garnissage (30), dites zones prédites (ZP), la présence d’un défaut prédit dans la zone géographique et une sévérité du défaut prédit, - calculer au moins une matrice de confusion (MC, MC1, MC2) à l’aide de la matrice de prédiction (MP) et de la matrice de référence (MR), chaque matrice de confusion (MC, MC1, MC2) comportant une diagonale principale (DP) et des diagonales secondaires (DS, DS1, DS2), et - déterminer un indice de qualité (IQ) du système de prédiction (SP) en fonction des coefficients d’un ensemble de diagonales (E, E1, E2) respectif de chaque matrice de confusion (MC, MC1, MC2), l’ensemble de diagonales (E, E1, E2) regroupant au moins une diagonale parmi la diagonale principale (DP) et les diagonales secondaires (DS, DS1, DS2). Produit programme d’ordinateur comprenant des instructions de programme enregistrées sur un support lisible d’informations, pour mettre en œuvre des étapes d’un procédé selon l’une quelconque des revendications 1 à 7 lorsque le programme d’ordinateur est mis en œuvre sur l’unité de traitement des données (16).