FR 3097961 A1 20210101 FR 2006107 A 20200611 Description Titre de l'invention : Procédé et dispositif d'évaluation et de sélection de métriques de comparaison de signal Domaine de l'invention [0001] La présente invention se rapporte à un procédé d'évaluation d'un modèle de si- mulation. L'invention se rapporte également à un dispositif correspondant ainsi qu'un programme d'ordinateur et à un support de mémoire approprié pour la mise en oeuvre du procédé. Etat de la technique [0002] La technique de programmation utilise des modèles pour automatiser les activités de test et générer des artifices de test dans le procédé de tests regroupés sous la dénomination de « tests fondés sur des modèles » (model based testing, MBT). [0003] On connaît, par exemple, la génération de cas de test de modèles qui décrivent le comportement de consigne du système à tester. [0004] Les systèmes intégrés (embedded systems) utilisent des signaux d'entrée appropriés de capteurs et stimulent leur environnement par des signaux de sortie adressés à des actionneurs les plus différents. Au cours de la vérification et des phases de développement préalables d'un tel système, on simule ainsi une boucle de régulation de ce modèle (simulation numérique du fonctionnement d'un contrôleur (model in the loop, MiL), du programme (simulation numérique du programme (software in the loop Sil), et du processeur (simulation numérique du processeur (processeur loop PiL) ou l'ensemble des circuits (hardware in the loop, HiL) en commun avec un modèle de l'environnement. Dans la technique automobile, les simulateurs correspondant à ce principe pour vérifier les appareils de commandes électroniques, suivant la phase de test et l'objet du test sont connus sous les dénominations de composants, modules ou états de contrôle d'intégration. [0005] Le document DE10303489A1 démit un tel procédé de test de programme d'une unité de commande d'un véhicule. Selon ce procédé, on simule au moins partiellement par un système de test, un trajet de régulation commandé par l'unité de commande en générant des signaux de sortie de l'unité de commande et en transmettant ces signaux de sortie de l'unité de commande à un premier composant de circuit par une première liaison et les signaux de second composant de circuits, comme signaux d'entrée à l'unité de commande par une seconde liaison ; les signaux de sortie sont fournis comme premières valeurs de commande au programme et en plus ils sont transmis par une interface de communication, rapportée en temps réel au chemin de régulation pour le système de test. 2 [0006] De telles simulations sont développées dans de nombreux domaines de la technique et s'utilisent, par exemple, pour vérifier le bon fonctionnement de systèmes intégrés dans des outils électroniques, des appareils de commande de moteur, pour des systèmes d'entraînement, de direction et de freinage, voire même des véhicules automobiles dans les premières phases de leur développement. Néanmoins les résultats des modèles de simulation selon l'état de la technique ne sont utilisés que de façon très limitée pour prendre les décisions de conformité, à cause de la confiance très limitée dans leur fiabilité. [0007] Exposé et avantages de l'invention [0008] La présente invention a pour objet un procédé d'évaluation d'un modèle de si- mulation, notamment d'au moins un robot partiellement automatique ou d'un véhicule, ce procédé étant caractérisé en cc que pour des cas d'essai sélectionnés, on calcule un premier indice de rendement dans le modèle de simulation et pour les mêmes cas de test, dans un environnement réel de tests, on détermine un second indice de rendement et pour chacun des cas de test on détermine la différence entre le premier indice de rendement et le second indice de rendement et on détermine une métrique de signal, et pour chaque métrique de signal on examine une relation d'alternance entre la différence et la métrique de signal respective et on sélectionne la métrique de signal qui présente la relation d'alternance la plus étroite pour la différence. [0009] L'invention repose sur la considération que la qualité des modèles de simulation est un élément décisif pour un travail de prévision correct des résultats de test que l'on peut obtenir. Dans le domaine de la technique MBT, une partie de la discipline concerne la validation avec pour mission de comparer des mesures réelles à des résultats de simulation. Pour cela, on utilise différentes métriques, différentes mesures et autres comparateurs qui combinent entre eux des signaux et qui seront appelés ci-après, de manière résumée « les métriques de signal SM ». Des exemples de telles métriques de signal sont des métriques qui comparent les dimensions, le déphasage et les corrélations. Certaines métriques de signal sont définies par des normes telles que, par exemple, la norme ISO 18571. [0010] Pour la vérification, on examine, de façon caractéristique, un système à tester (system under test SUT) à l'aide d'une requête, de spécifications ou d'un nombre caractéristique de rendement, appelé ci-après, de manière globale « indice de rendement clef » (key performance index, KPI). Il faut veiller à ce que les requêtes boolénnes ou les spécifications puissent être transformées en des mesures quantitatives en ce que l'on utilise des formalismes tels qu'un signal en logique temporelle (signal temporal logic, TL). Un indice KPI peut s'exploiter selon une réalisation physique ou une simulation. [0011] La différence entre les indices KPI et les métriques de signal est représentée à la figure I. Le signal Si mesuré dans un environnement de tests, réel et le signal S2 3 fourni par une simulation sont analogues. C'est pourquoi la métrique de signal concernée est faible mais l'indice de rendement KPI des deux signaux est au-dessus d'un seuil prédéfini 10 qui sépare les valeurs avantageuses 11 et les valeurs désavantageuses 12 des indices. L'indice de rendement KPI est ainsi à exploiter dans cc cas comme défavorable 12. Le décalage absolu portant la référence 13 ne provient pas d'un défaut de signal de la métrique de signal, mais de l'indice de rendement KPI. [0012] Les autres indications reposent sur les éléments présentés ci-après. [0013] Une métrique de signal est une mesure de la similitude entre deux signaux et compare, de manière caractéristique un signal d'une expérience réelle à un signal de simulation. La signature est la suivante SM:S X S ->R, dans laquelle S est la quantité de base des signaux possibles. [0014] Un indice KPI est une métrique définie d'une manière compréhensible par l'homme et qui peut s'exploiter par le calcul, indiquant la qualité d'un rendement de système (représenté par un signal) : [0015] Une requête à un signal (s) fondé sur un seuil (t) pour un indice KPI est définie comme suit (Req(s) :=KPI(s) B. [0016] Les métriques de signal et les indices KPI ont ainsi des signatures différentes. Dc façon correspondante, les métriques de signal et les indices KPI traitent des contenus différents. Comme le montre la figure 1, la métrique de signal peut être faible entre le signal réel (S1) et le signal de sortie simulé (52) mais les deux signaux (Si, S2) peuvent ne pas répondre à des requêtes systématiques et ainsi avoir un petit indice KPI ou un indice KPI négatif. [0017] Le procédé proposé tient en outre compte du fait qu'il n'est pas clair quelle métrique de signal parmi les métriques nombreuses doit être utilisée pour valider un modèle de simulation à l'aide de mesures. Cela se fait surtout à cause des requêtes et des indicateurs de rendement de l'ensemble de la destination SUT pour la validation qui ne sont pas encore fixées. Le procédé décrit rencontre ce problème et résout, par le choix de la métrique de signal, chaque fois celle la mieux adaptée en se fondant sur un certain indice KPI. [0018] La distinction entre l'indice KPI et la requête résout le problème selon lequel souvent les humains ne peuvent émettre un seuil significatif. La fixation d'un seuil peut naturellement nécessiter de l'expérience accumulée au cours d'essais et trouver un compromis approprié. La séparation entre l'indice KPI et les requêtes permet de décaler la décision concernant un seuil acceptable. [0019] Il existe également des cas dans lesquels on a une relation triviale entre un indice KPI et une métrique de signal. Cela est le cas si l'indice KPI contient un signal de référence et que celui-ci est défini par une métrique de signal. Dans ce cas il n'est intéressant que de manière limitée, d'utiliser le procédé proposé car le résultat est sans intérêt. [0020] La solution selon l'invention prévoit, de préférence, en résumé, un critère motivant mathématique pour la sélection des métriques de signal. Présentation des dessins [0021] Les exemples de réalisation de l'invention sont représentés dans les dessins et seront détaillés ci-après, sans la traduction des indications littérales anelosaxonnes courant dans ce domaine technique et qui n'ont pas de traduction. [0022] Ainsi : [0023] [fie.11 visualisation de la différence entre une métrique de signal et un indice KPI, [0024] [fie.21 ordinogramme du procédé représentatif pour différentes formes de réalisation d'algorithmes, [0025] [fig.3] cas avec un comportement différent entre AKPI ET SM pour la relation d'alternance résultante, [0026] [fig.4] cas avec un comportement différent entre AKPI ET SM pour la relation d'alternance résultante, [0027] [fig.5] cas avec un comportement différent entre AKPI ET SM pour la relation d'alternance résultante, [0028] [fig.6] cas avec un comportement différent entre AKPI ET SM pour la relation d'alternance résultante, [0029] [fig.7] cas avec un comportement différent entre AKPI ET SM pour la relation d'alternance résultante, [0030] [fig.8] exemple d'illustration des calculs du procédé (figure 2) selon une forme de réalisation possible selon laquelle le signal simulé S est retenu et on ne fait varier que les signaux de mesure, [0031] [fig.9] exemple d'illustration des calculs du procédé (figure 2) selon une forme de réalisation possible selon laquelle le signal simulé S est retenu et on ne fait varier que les signaux de mesure, [0032] [Fig. 10) schéma d'un poste de travail selon un second mode de réalisation de l' invention. [0033] Description de modes de réalisation de l'invention [0034] Un calcul selon l'invention est explicité à la figure 2 et correspond à l'idée de base de calculer, pour des cas de tests sélectionnés 21, 29 par la variation des signaux de sortie, d'une part, à partir de la simulation 22 et de l'observation 23, de différentes mesures réelles, d'une part des valeurs variables AKPI et d'autre part, des métriques variables de signal 26. La solution de l'invention prévoit de calculer en outre la relation d'alternance 27 entre les valeurs calculées pour AKPI et les métriques de signal. La métrique de signal qui présente la relation d'alternance la plus étroite avec AKPI sera sélectionnée 28. Les valeurs AKPI caractérisent la différence 25 de l'indice de rendement 24 calculé dans le modèle de simulation 22 et celui du test réel d'environnement 23. [0035] Une variation des résultats de simulation s'obtient en faisant varier quelques Pa- ramètres de simulation, par exemple, les grandeurs d'entrée. La variation des mesures s'obtient par la répétition des expériences ou par des essais multiples dans des conditions différentes, le cas échéant avec différents paramètres. [0036] Comme déjà indiqué, une métrique de signal SMK forme deux signaux d'une valeur réelle (SM : S X S -> R) et contrairement à cela, un indice KPI forme un signal -et en option les entrées SUT X d'origine - pour une valeur réelle (KPI S -> R). Les fonctions SM et KPI ont des signatures différentes et on calcule ainsi la relation d'alternance entre AKPI CATCH : S X S-> R) et SM. [0037] La définition usuelle de la corrélation ne convient toutefois pas car, contrairement au cas idéal représenté à la figure 3, il est possible que malgré des signaux de simulation différents et des mesures différentes, AKPI ou SM est constant. Dans ce cas, la variance Var(AKPI) ou Var(SM) est égale à zéro de sorte que le coefficient de corrélation correspondant est indéfini. Tenant compte de tels cas, comme ceux représentés aux figures 4 à 7, et aux instabilités numériques, la corrélation modifiée est considérée comme convenant : [0038] Equation 1 : [0039] Cort'tA V a) Opnteur OU exclusif 100401 11 convient de remarquer que l'équation 1 peut également utiliser d'autres fonctions comme, par exemple, la covariance avec les modifications décrites. [0041] Ce procédé 20 peut être appliqué sous la forme d'un programme ou d'un circuit ou sous une forme mixte d'un programme et d'un circuit, par exemple, il est implémenté dans un appareil de commande comme celui représenté schématiquement à la figure 2. [0042] Il convient de souligner que l'invention porte en outre sur les éléments suivants : [0043] - les métriques de signal 26 concernent au moins l'intensité du signal, le déphasage ou la corrélation [0044] - selon le procédé on sélectionne les cas de test 21 comme procédé aléatoire, quanti- fication d'insécurité ou procédé de tests fondé sur une recherche [0045] - on fait varier le premier indice de rendement 24 en modifiant les paramètres du module de simulation 6 [0046] - on fait varier le second indice de rendement 24 en répétant les cas de tests 21 [0047] - si à la fois la différence 25 et aussi la métrique de signal (26) sont constantes, on définit la relation d'alternance (27) comme étant égale à l'unité, si au contraire, la différence (25) ou la métrique de signal (26) est constante, on définit la relation d'alternance (27) comme étant égale à zéro et dans les autres cas on définit la relation d'alternance (27) par la mesure de la concordance de la différence (25) et de la métrique de signal (26) [0048] - selon le procédé la mesure de concordance est un coefficient de corrélation [0049] - selon le procédé, en fonction de la métrique de signal 26 choisie, on a une amé- lioration automatique des défauts reconnus par la métrique de signal (26) d'un système modélisé par le modèle de simulation (22) [0050] L'invention a pour objet un programme d'ordinateur conçu pour exécuter le procédé tel que défini ci-dessus, enregistrer sur un support de mémoire lisible par une machine comportant un dispositif conçu pour exécuter ce procédé. 7 REVENDICATIONS[Revendication 1] Procédé (20) d'évaluation d'un modèle de simulation (22), notamment d'au moins un robot partiellement automatique ou d'un véhicule, caractérisé en ce que pour des cas d'essai (21) sélectionnés, on calcule un premier indice de rendement (24) dans le modèle de simulation (22) et pour les mêmes cas de test (21), dans un environnement réel dc tests (23), on détermine un second indice de rendement (24) pour chacun des cas dc test (21), on détermine la différence (25) entre le premier indice de rendement (24) et le second indice dc rendement (24) et on détermine une métrique de signal (26), et pour chaque métrique de signal (26) on examine une relation d'alternance (27) entre la différence (25) et la métrique de signal (26) respective et on sélectionne (28) la métrique de signal (26) qui présente la relation d'alternance (27) la plus étroite pour la différence (25). [Revendication 2] Procédé (20) selon la revendication 1, caractérisé en ce que les métriques de signal (26) concernent au moins l'un des points suivants : intensité du signal, déphasage ou corrélation. [Revendication 3] Procédé (20) selon la revendication 1 ou 2, caractérisé en ce qu'on sé- lectionne les cas de test (21) selon l'un des procédés (20) suivants : procédé aléatoire, quantification de l'insécurité ou procédé de tests fondé sur une recherche. [Revendication 4] Procédé (20) selon l'une des revendications 1 à 3, caractérisé en ce qu'on fait varier le premier indice de rendement (24) en modifiant les paramètres du modèle de simulation (22). [Revendication 5] Procédé (20) selon l'une des revendications 1 à 4, caractérisé en ce qu'on fait varier le second indice de rendement (24) en répétant les cas de test (21). [Revendication 6] Procédé (20) selon l'une des revendications 1 à 5, caractérisé en ce que si à la fois la différence (25) et aussi la métrique de signal (26) sont constantes, on définit la relation d'alternance (27) comme étant égale à l'unité, si au contraire, la différence (25) ou la métrique de signal (26) est constante, on définit la relation d'alternance (27) comme étant égale à zéro et dans les autres cas on définit la relation d'alternance (27) par la mesure de la concordance de la différence (25) et de la métrique de signal (26). [Revendication 7] Procédé (20) selon la revendication 6, caractérisé en ce que la mesure de concordance est un coefficient de corrélation. 8 [Revendication 8] Procédé (20) selon l'une des revendications 1 à 7, caractérisé en ce qu'en fonction de la métrique de signal (26) choisie, on a une amélioration automatique des défauts reconnus par la métrique de signal (26) d'un système modélisé par le modèle de simulation (22). Programme d'ordinateur conçu pour exécuter le procédé (20) selon l'une des revendications 1 à 8, enregistré sur un support de mémoire lisible par une machine comportant un dispositif conçu pour exécuter le procédé (20) selon l'une des revendications 1 à 8. [Revendication 9]