FR 2974204 A1 20121019 FR 1153163 A 20110412 L'invention se rapporte à un procédé d'évaluation d'un programme de traitement d'images destiné à traiter au moins une série d'images d'une séquence. Il existe de nombreux programmes mis en oeuvre par ordinateur qui sont aptes à traiter des images captées notamment, par des caméras de surveillance. Le traitement permet de déterminer si la séquence formée par la série d'images montre un événement qui s'est déroulé normalement ou au contraire anormalement. Dans ce cas, le traitement de cette séquence par un de ces programmes permet d'avertir un opérateur de la détection d'une anomalie. Ainsi, dans le cadre d'image issues de vidéosurveillance, l'anomalie peut être sous la forme d'une bousculade ou d'une intrusion d'une ou de plusieurs personnes. Il est donc important de s'assurer de la fiabilité de chaque programme afin d'avoir une alerte envoyée au bon moment et non trop tard par rapport à l'événement. Il existe donc un besoin d'évaluer simplement et efficacement la performance et la fiabilité de chaque programme. Un but de la présente invention est donc de répondre à ce besoin en fournissant un procédé d'évaluation d'un programme de traitement 20 d'images. A cet effet, selon un premier aspect, la présente invention a pour objet un procédé d'évaluation d'un programme de traitement d'images destiné à traiter au moins une série d'images d'une séquence, ledit procédé d'évaluation comportant les étapes suivantes : 25 A- on détermine sur chaque série d'images de la séquence des données de référence ; B- on met en oeuvre le programme de traitement d'images sur chaque image de la série ; Cl- on recueille les données générées issues du programme de 30 traitement ; C2- on apparie spatialement et temporellement les données générées et les données de référence au moyen d'une ou de plusieurs fonctions d'appariement ; D - on détermine des données métriques grâce à une ou plusieurs 35 fonctions métriques utilisant les données générées et les données de référence appariées à l'étape C2 ; E- on normalise chaque donnée métrique de sorte que la donnée métrique normalisée soit comprise entre 0 et 1 ; F- on détermine au moins une métadonnée en isolant ou en combinant les données métriques normalisées sur lesquelles on applique une fonction corrective dépendant d'une erreur temporelle, d'une erreur spatiale et d'une erreur de durée ; G- on pondère chaque métadonnée par un coefficient correctif ; H- on obtient une donnée d'évaluation du programme de traitement en isolant une métadonnée pondérée choisie ou en sommant des métadonnées pondérées ; au moins une des étapes étant mise en oeuvre par un ordinateur. Le procédé d'évaluation de l'invention permet de manière simple et fiable d'évaluer un programme de traitement d'images d'une séquence en quantifiant le résultat quantifié par ledit programme. En outre, le procédé de l'invention prend avantageusement en compte toute erreur entre la référence et le résultat retourné par le programme de traitement d'images et toute complexité de ou des événements présents sur les images. La présente invention permet également l'intégration, l'automatisation, la flexibilité et la paramétrisation d'un système complet permettant à un utilisateur débutant de qualifier en absolu et en relatif les performances d'un programme de traitement en maîtrisant la qualité de l'évaluation. Selon d'autres caractéristiques de l'invention, le procédé de l'invention comporte l'une ou plusieurs des caractéristiques optionnelles suivantes considérées seules ou selon toutes les combinaisons possibles : - au cours de l'étape A, une partie des données de référence sont dérivées semi-automatiquement des données générées à l'étape Cl, notamment par recoupement; - au cours de l'étape A, les données de référence comprennent des données temporelles, notamment le début de la séquence et la durée de la séquence, des données spatiales et/ou des données quantitatives d'entité(s) physique(s) ; - au cours de l'étape A, pour chaque série d'images, on détermine un temps initial de la séquence et une période temporelle où chaque image issue de ladite séquence est destinée à être traitée par le programme de traitement d'images ; - au cours de l'étape A, on délimite sur chaque image à traiter une ou plusieurs zones virtuelles et/ou une ou plusieurs lignes virtuelles ; - les données métriques normalisées comprennent des données de détection temporelle et/ou spatiale, des données de décalage temporel et/ou spatial, des données de durée détectée et/ou des données de mesure d'une grandeur physique ; - à l'étape A, on détermine sur chaque série d'images des données de référence destinées à quantifier le niveau de complexité des images traitées en combinant des données issues d'une mesure directe sur chaque image et des données de référence choisies ou issues des résultats d'une ou de plusieurs évaluations antérieures ; - au cours de l'étape F, on détermine une ou plusieurs métadonnées en combinant les données métriques normalisées corrigées par une fonction corrective et une métadonnée issue des données de référence destinées à quantifier le niveau de complexité des images traitées ; - au cours de l'étape A, pour chaque série et pour chaque donnée de référence, on détermine un intervalle de tolérance ; - une séquence comporte un ou plusieurs événements ponctuels et/ou un ou plusieurs flux d'entités physiques à mesurer ; - pour chaque donnée métrique normalisée issue de série(s) d'images d'un ou de plusieurs événements ponctuels, on détermine : * un nombre total de détection à réaliser VT comme étant : L' _ TP- ,.' *une précision P comme étant : TP-F * une sensibilité S comme étant : Te 5 Où TP est le nombre total de détection du ou des événements réalisée par le programme de traitement d'images pour lequel la différence entre la donnée générée spatiale et/ou temporelle et la donnée de référence correspondante est comprise dans un intervalle de tolérance, FP est le nombre total de détection du ou des événements 35 réalisée par ledit programme de traitement d'images pour lequel la différence entre une donnée générée temporelle et/ou spatiale et la donnée de référence correspondante n'est pas comprise dans un intervalle de tolérance, et FN est le nombre total de non détection du ou des événements réalisée par ledit programme de traitement d'images pour lequel la différence entre une donnée générée temporelle et/ou spatiale et la donnée de référence correspondante n'est pas comprise dans un intervalle de tolérance, * un nombre de fausse détection du ou des événements FA comme étant : Où A est la durée de la séquence ; et/ou * une moyenne harmonique FS de la sensibilité et de la précision comme étant : Y : 5) _ P+ 15 - au cours de l'étape F et pour une ou plusieurs séries d'images d'un ou de plusieurs événements ponctuels, on définit une métadonnée de bonne détection du ou desdits événements par une fonction corrective : - 0 si tbou si tc 20 - S*(t-b)/ (a-b) sib _f - (X-f)/ (2x(e-f)) sie Ainsi, grâce au procédé de l'invention, on obtient une donnée d'évaluation pour chaque programme qui prend en compte un écart prédéterminé entre la donnée de référence attendue et la donnée retournée par ledit programme. Par conséquent, le procédé de l'invention permet d'évaluer la fiabilité d'un programme de manière simple et précise. La donnée d'évaluation de chaque programme peut également être comparée aux données d'évaluation d'autres programmes évaluées par le procédé de l'invention. Ainsi, le procédé de l'invention ne dépend pas avantageusement du programme évalué. Le procédé de l'invention comporte avantageusement au moins une étape mise en oeuvre par ordinateur. Ainsi, l'étape A, B, Cl, C2, Cd, E et/ou F peuvent être mis en oeuvre par ordinateur et les résultats issus de ces étapes peuvent être enregistrés dans la mémoire dudit ordinateur ou sur un serveur. Une séquence peut montrer la réalisation d'un ou de plusieurs événements de nature identique ou différente. En particulier, la séquence peut comporter un ou plusieurs événements ponctuels et/ou un ou plusieurs flux d'entités physiques à mesurer. Une entité physique peut être un objet, un animal ou encore une personne. Ainsi, à titre d'exemple, l'événement peut être une intrusion d'une 25 personne sur une voie de chemin de fer et/ou un flux anormal de personne dans un escalator. La série d'images de la séquence est capturée par un moyen de capture tel qu'une caméra de surveillance. Le moyen de capture peut être configuré pour enregistrer ladite série voire une pluralité de séries capturées. 30 Au cours de l'étape A, on détermine sur chaque série d'images de la séquence des données de référence. Les données de référence peuvent être déterminées par l'opérateur en fonction de l'évaluation souhaitée du programme de traitement d'images. Dans certains cas, une partie des données de référence sont 35 dérivées semi-automatiquement des données générées à l'étape Cl. On entend par « dérivé semi-automatiquement » le processus suivant: les données générées issues potentiellement de programmes de traitement différents sont automatiquement agglomérées par concaténation et intersection. Les données de références sont déduites de ces concaténations par une vérification manuelle d'un opérateur. Ainsi, de manière avantageuse, il est possible d'obtenir de manière sensiblement deux fois plus rapide des données de référence approximées. Les données de référence peuvent ainsi comprendre des données temporelles, notamment le début de la séquence et la durée de la séquence, des données spatiales et/ou des données quantitatives d'entité(s) physique(s). Ceci permet une combinaison de l'ensemble de données de différente nature au sein d'une fonction qui quantifie la qualité de traitement. Ainsi, de manière avantageuse, il est possible de quantifier de manière précise et rigoureuse les performances pour discriminer plusieurs programmes d'ordinateur ou pour suivre les améliorations de l'un d'entre eux. Une donnée spatiale peut intégrer un espace en 2 D ou en 1 D. Ainsi, au cours de l'étape A, on peut délimiter sur chaque image à traiter une ou plusieurs zones virtuelles et/ou une ou plusieurs lignes virtuelles. L'intégration de la ou des zones virtuelles et/ou de la ou des lignes virtuelles dans des données spatiales permet de délimiter un espace en fonction du type d'événement à détecter dans la séquence. Ainsi, une donnée quantitative peut être le nombre de personnes traversant une voie dans une zone virtuelle 2D ou le flux de personne dans un escalator qui est représentée par une ligne virtuelle. Une donnée quantitative peut être un nombre ou un flux d'entités physiques, telles que des objets, animaux ou personnes, par exemple. Au cours de l'étape A, pour chaque série d'images, on peut déterminer un temps initial de la séquence et une période temporelle où chaque image issue de ladite séquence est destinée à être traitée par le programme de traitement d'images. A titre d'exemple, la période temporelle peut être en seconde, en minute, en heure ou en jour. Le temps initial de la séquence peut correspondre à la première image captée par le moyen de capture ou bien la première image de la séquence sur laquelle le début de l'événement est détecté. A l'étape A, on peut déterminer sur chaque série d'images des données de référence destinées à quantifier le niveau de complexité des images traitées en combinant des données issues d'une mesure directe sur chaque image et des données de référence choisies ou issues des résultats d'une ou de plusieurs évaluations antérieures. Ainsi, il est possible de manière avantageuse d'utiliser le niveau de difficulté pour pondérer l'évaluation finale et les évaluations antérieures et pour calculer ledit niveau de difficulté. Il est également possible de mieux maîtriser ledit niveau de difficulté et donc de calibrer de manière plus fiable l'évaluation. A cet effet, la séquence choisie peut comporter des difficultés particulières consistant en une ou plusieurs variations ou conditions lumineuses. A titre d'exemple, on peut citer l'autogain d'une caméra enregistrant une série d'images, l'ombre d'un nuage, un ou plusieurs phares d'un véhicule mobile tel qu'un train, un faible contraste, la présence d'ombres dus à un important ensoleillement, le moment de la journée ou de la nuit, les conditions météorologiques comme le brouillard, la pluie ou encore le vent. Par ailleurs, l'acquisition des images peut être rendue difficile à cause notamment d'une densité importante d'objets, d'animaux ou de personnes sur la scène de l'événement, d'occlusion par des objets ou des animaux des moyens de capture d'images. Le procédé de l'invention permet de prendre en compte les difficultés liées à l'acquisition des images. Au cours de l'étape A, pour chaque série et pour chaque donnée de référence, on peut déterminer un intervalle de tolérance. L'intervalle de tolérance peut être propre à chaque donnée de référence. L'intervalle de tolérance permet de prendre en compte tout décalage entre l'événement et le traitement réalisé par le programme de traitement qui est acceptable pour l'opérateur. Autrement dit, la présence d'un intervalle de tolérance assure qu'un événement se déroulant de manière anormal est détecté par le programme même si cette détection n'est pas réalisée de manière aussi optimale qu'en situation de référence. Au cours de l'étape B, on met en oeuvre le programme de traitement d'images sur chaque image de la série afin d'obtenir des données qui sont ensuite recueillies au cours de l'étape Cl. Les données générées sont des données de même nature que celles des données de référence si bien qu'il est possible de réaliser une comparaison entre une donnée générée et une donnée de référence correspondante. Au cours de l'étape C2, on apparie spatialement et temporellement les données générées au cours de l'étape B et les données de référence obtenues au cours de l'étape A au moyen d'une ou de plusieurs fonctions d'appariement. A titre d'exemple de méthode d'appariement employée dans le cadre de l'invention, on peut implémenter une fonction d'appariement basée sur la génération d'arbres d'hypothèses. Suivant cette fonction, lorsque plusieurs appariements sont possibles, des arbres sont construits en indiquant toutes les possibilités d'appariement . Selon le diagramme représenté à la figure 1, une donnée générée 1, 2 et 3 est contenue dans l'intervalle de tolérance temporelle contenant la donnée de référence correspondante respectivement 11, 12 et 13 La référence 10 indique l'échelle de temps. Ainsi, comme indiqué sur la figure 2, on construit des arbres 100 et 101 indiquant les possibilités d'appariement. Dans l'arbre 100, chaque feuille terminale 110 à 113 correspond à une hypothèse complète d'appariement. Chaque arbre 100, 101 est défini de manière à ce qu'aucune donnée générée 1 à 3 n'ait de recouvrement spatio- temporel avec une donnée d'un autre arbre. Une possibilité est visible au niveau de chaque feuille de l'arbre. A chaque feuille 110 à 116 est attribuée un score d'appariement obtenu en utilisant une ou plusieurs fonctions métriques qui peuvent être utilisées dans le procédé de l'invention. Les différentes hypothèses d'appariement du graphique correspondent aux différents chemins possibles entre la racine 120 et 121 et les feuilles terminales 110 à 113. Le score global de chaque hypothèse correspond à la combinaison des scores des feuilles 110 à 116 et du chemin associé. Le score d'appariement optimal de l'arbre 100 et 101 correspond à la valeur maximale des différents scores de chaque hypothèse. Dans le cas d'un événement composé de deux ou de plusieurs événements élémentaires, l'appariement est réalisé si les événements élémentaires de début et de fin peuvent être appariés temporellement. Concernant l'appariement spatial, la zone 2D et/ou 1 D de référence et la zone 2D et/ou 1 D de la donnée générée peuvent être appariées temporellement si les zones 2D et/ou 1 D de la donnée générée est dans un intervalle prédéterminé. Au cas où la zone 2D et/ou 1 D n'existe pa au moment de la détection, alors il est possible de prendre la zone 2D et/ou 1 D la plus proche de celle de référence. Au cours de l'étape D, on détermine des données métriques grâce 35 à une ou plusieurs fonctions métriques utilisant les données générées et les données de référence appariées et obtenues à l'issue de l'étape C2. Les données métriques normalisées peuvent comprendre des données de détection temporelle et/ou spatiale, des données de décalage temporel et/ou spatial, des données de durée détectée et/ou des données de mesure d'une grandeur physique. Ceci permet la combinaison de l'ensemble de données de différente nature au sein d'une fonction qui quantifie la qualité de traitement. Ainsi, de manière avantageuse, il est possible de quantifier de manière précise et rigoureuse les performances pour discriminer plusieurs programmes d'ordinateur ou pour suivre les améliorations de l'un d'entre eux. Au cours de l'étape E, on normalise chaque donnée métrique obtenue à l'issue de l'étape D de sorte que la donnée métrique normalisée soit comprise entre 0 et 1. Dans le cas d'un ou de plusieurs événements ponctuels, comme une intrusion de personne, et pour chaque donnée métrique normalisée 15 obtenue à l'issue de l'étape E issue de série(s) d'images, on peut déterminer. - un nombre total de détection à réaliser VT comme étant : TP+ - une précision P comme étant : T TF- FP' 20 - une sensibilité S comme étant : TF' # FA Où TP est le nombre total de détection du ou des événements réalisée par le programme de traitement d'images pour lequel la différence 25 entre la donnée générée spatiale et/ou temporelle et la donnée de référence correspondante est comprise dans un intervalle de tolérance, FP est le nombre total de détection du ou des événements réalisée par ledit programme de traitement d'images pour lequel la différence entre une donnée générée temporelle et/ou spatiale et la donnée de référence 30 correspondante n'est pas comprise dans un intervalle de tolérance, et FN est le nombre total de non détection du ou des événements réalisée par ledit programme de traitement d'images pour lequel la différence entre une donnée générée temporelle et/ou spatiale et la donnée de référence correspondante n'est pas comprise dans un intervalle de tolérance, - un nombre de fausse détection du ou des événements FA comme étant : FA = Où A est la durée de la séquence, le nombre de fausse détection FA permettant d'estimer le taux de fausse alarme par jour ce qui peut se révéler particulièrement important dans certaines applications ; et/ou - une moyenne harmonique FS de la sensibilité et de la précision comme étant : 2^ *.5 S 3 = P+S La précision P, la sensibilité S et/ou la moyen harmonique FS peuvent être normées pour être comprises entre 0 et 1. On peut définir, dans l'étape E, une métadonnée intermédiaire globale correspondant à la somme sur la totalité des événements ponctuels de métadonnées intermédiaires issues de la somme des métadonnées pondérées de mauvaise détection et des métadonnées de bonne détection d'un événement. On peut normaliser la métadonnée intermédiaire S globale comme 20 étant : a - 3 Où Si est une métadonnée correspondant à la métadonnée intermédiaire pondérée pour un événement i, 25 Bmin est la valeur minimale de la métadonnée intermédiaire globale, et Bmax est la valeur maximale de la métadonnée intermédiaire globale. La normalisation de la métadonnée S permet des évaluations de 30 nature différente. Au cours de l'étape F, on peut déterminer au moins une métadonnée en isolant ou en combinant les données métriques normalisées sur lesquelles on applique une fonction corrective dépendant d'une erreur temporelle, d'une erreur spatiale et d'une erreur de durée. FF On peut déterminer une ou plusieurs métadonnées en combinant les données métriques normalisées corrigées par une fonction corrective et une métadonnée issue des données de référence destinées à quantifier le niveau de complexité des images traitées. Au cours de l'étape F et pour une ou plusieurs séries d'images d'un ou de plusieurs événements ponctuels, on peut définir une métadonnée de bonne détection du ou desdits événements par une fonction corrective : - 0 si tbou si tc - S*(t-b)/ (a-b) sib _f - (X-f)/ (2x(e-f)) sie Suite à l'étape H, on peut normaliser la donnée d'évaluation. La normalisation de la métadonnée S permet des évaluations de nature différente. La donnée d'évaluation pour une ou plusieurs séries d'images d'un ou de plusieurs événements ponctuels peut être obtenue en sommant la métadonnée intermédiaire globale normalisée, la précision et la sensibilité, ces dernières étant affectées d'un coefficient correcteur de sorte à obtenir une donnée d'évaluation comprise entre 0 et 1. Le procédé de l'invention peut comporter une étape supplémentaire I dans laquelle une grandeur d'évaluation globale de la séquence est obtenue en sommant la grandeur d'évaluation pour la ou les séries d'images d'un ou de plusieurs événements ponctuels et la grandeur d'évaluation pour la ou les séries d'images d'un ou de plusieurs flux d'entités physiques, lesdites grandeurs étant pondérée par des coefficients. Les coefficients peuvent dépendre des contraintes et des objectifs opérationnels de l'application du programme de traitement d'images visé, notamment de vidéo intelligente.20 Exemples Pour les exemples ci-après, on met en oeuvre le procédé de l'invention. Au cours de l'étape A : détermination des données de 5 références Les données de référence vont être comparées avec les données générées par chaque programme d'ordinateur. Dans le cadre des deux exemples cités, on distingue trois types de données: 10 - Données temporelles : l'heure de début et la durée d'un événement, - Données spatiales: un espace englobant spatial en 2D pour la localisation des intrus, notamment des personnes, - Données quantitatives: un flux tel qu'un nombre de personnes traversant une ligne virtuelle. 15 Ces types de données peuvent être cumulés selon les séquences à évaluer. Exemple d'une intrusion dans un domaine ferroviaire Au cours de l'étape A: préparation d'un ensemble de séquences 20 On détermine dans cet exemple la détection d'une intrusion dans des zones. L'intrusion correspond à un événement où un intrus est détecté dans un espace délimité ce qui doit entraîner une alarme. L'intrus peut être une personne, un animal ou un objet. 25 Comme dans l'exemple illustré à la figure 3, on définit deux zones spatiales 200 et 201 dans laquelle le programme de traitement d'images, une fois mis en oeuvre, doit détecté au moins un intrus, qui est ici sous la forme d'une personne 203, 204. Une caractérisation de chaque séquence peut être donnée ci-30 dessous à partir de la définition des événements élémentaires composant ladite séquence : - Entrée-Brèche : on considère l'entrée comme le moment où l'on voit pour la première fois un pied de la personne 203, 204 dans la zone 200, 201 en franchissant la frontière de celle-ci. A l'instant précédent, la 35 personne 203, 204 était déjà présente mais pas encore dans la zone 200, 201. - Sortie-Brèche : on considère la sortie comme le moment où pour la première fois, la personne 203, 204 a les deux pieds hors de la zone 200, 201. A l'instant précédent, la personne 203, 204 avait encore un pied dans la zone 200, 201. - Apparition-Brèche : on considère l'apparition comme le moment où pour la première fois on voit une personne 203, 204 ou au moins une partie de son corps, dans la zone 200, 201 alors que, précédemment, la personne 203, 204 n'était pas présente dans la scène. - Disparition-Brèche : on considère la disparition comme le moment où pour la première fois on constate que la personne 203, 204 n'est plus dans la zone 200, 201. Par exemple pour une personne montant dans un train, c'est le premier instant où la personne a complètement disparue. Dans le cas d'une personne cachée par un objet mobile, tel qu'un train, la disparition correspond au moment où cet objet ne masque plus la zone où la personne était précédemment située. Un espace englobant 206, 207 est dessiné autour de l'intrus, ici une personne 203, 204, participant à l'événement. Un espace englobant correspond à une zone virtuelle en 2D. Ledit espace permet de calculer la bonne localisation de l'intrus, et 20 ainsi de vérifier la validité de l'événement. Si plusieurs intrus 203, 204 entrent ou sortent simultanément, un événement et un espace englobant 206 et 207 sont créés pour chaque personne 203 et 204 respectivement. L'espace englobant 206 et 207 est déterminé quelques temps 25 avant le déroulement de l'événement et après l'achèvement de l'événement. Ceci permet d'autoriser un décalage temporel entre le moment de référence et le moment de détection générant une donnée. A la sortie ou disparition d'une zone 200, 201, chaque intrus 203 et 204 conserve le même identifiant qu'à son entrée. 30 Il existe des cas complexifiant l'acquisition des données par le programme de traitement d'images. Ainsi, dans le cas d'une mauvaise qualité vidéo, l'entrée d'un intrus difficilement visible à l'oeil de l'utilisateur est détectée à partir du moment où cet intrus devient détectable par l'utilisateur. 35 Dans le cas d'une zone dont une ligne virtuelle indique la frontière et est située sur un bord des images de la séquence, on peut considérer le début de l'événement comme le moment où l'on voit pour la première ou la dernière fois une partie de l'intrus qui franchit ladite frontière de la zone. De même, si un intrus est caché par un objet ou par un être vivant masqué lors d'un changement d'état, tel qu'une apparition, l'espace englobant correspondant est estimé et approximé de sorte à sensiblement correspondre à la forme dudit intrus supposée entière. A titre d'exemple, si un intrus est coupé en deux derrière un poteau, un seul espace englobant est déterminé. Etape B : Mise en peuvre du programme de traitement d'images sur chaque image de la série formant une séquence. Etape Cl : on recueille les données générées issues du programme de traitement, notamment dans une base de données dédiées Etape C2 : Appariement des données générées et des données de référence Comme représenté sur la figure 4, l'appariement temporel est réalisé si le temps de la détection de l'événement E(RA), désigné dans ladite figure par la référence 301, se trouve dans l'intervalle de tolérance [E(VT)-b ; E(VT)+c]: où E(VT), désigné ici par la référence 307, représente la détection de l'événement de référence et b et c sont des constantes. Les données E(VT)-b et E(VT)+c sont désignées ici respectivement par les références 303 et 305. Pour un événement composé de deux événements élémentaires, l'appariement est réalisé si les deux évènements élémentaires de début et de fin peuvent être appariés temporellement. Comme représenté sur la figure 5, pour l'appariement spatial, on compare les espaces englobants de la référence et ceux de la détection qui se trouvent au même instant E(RA) 301. L'appariement spatial se fait en calculant la distance entre l'espace englobant de la donnée de référence VT, désignée par la référence 401, et l'espace englobant détecté RA, désigné par la référence 403. L'appariement spatial correspond à la partie hachurée 405 Si cette distance est supérieure à un certain seuil, l'appariement est réalisé. Etapes D et E : détermination et normalisation de données métriques grâce à une ou plusieurs fonctions métriques utilisant les données générées et les données de référence appariées à l'étape C2 . Ainsi, pour chaque donnée métrique normalisée issue de la série d'images de l'événement du présent exemple, on détermine : - un nombre total de détection à réaliser VT comme étant : ' _''P+F - une précision P comme étant : Tp TP+FP - une sensibilité S comme étant : 5= r i r Où TP est le nombre total de détection de l'événement réalisé par le programme de traitement d'images pour lequel la différence entre la 10 donnée générée spatiale et/ou temporelle et la donnée de référence correspondante est comprise dans un intervalle de tolérance, FP est le nombre total de détection de l'événement réalisé par ledit programme de traitement d'images pour lequel la différence entre une donnée générée temporelle et/ou spatiale et la donnée de référence 15 correspondante n'est pas comprise dans un intervalle de tolérance, et FN est le nombre total de non détection de l'événement réalisé par ledit programme de traitement d'images pour lequel la différence entre une donnée générée temporelle et/ou spatiale et la donnée de référence correspondante n'est pas comprise dans un intervalle de tolérance, 20 - un nombre de fausse détection du ou des événements FA comme étant : F FA = - Où A est la durée de la séquence ; et/ou - une moyenne harmonique FS de la sensibilité et de la précision 25 comme étant : F5 _ e+5 Etape F : Détermination d'une ou de plusieurs métadonnées à l'aide d'une fonction métrique Détermination d'une fonction métrique corrective pour une 30 bonne détection La métadonnée de bonne détection dépend de la précision de localisation temporelle, comme l'anticipation et le délai, la précision de durée de l'événement et la localisation spatiale.5 On définit un événement de la vérité terrain, annoté au temps TvT , et un événement des résultats détecté à TRA. On définit alors la variable t comme étant : t = (TRA - TVT). Une valeur de t négative correspond à une anticipation et une 5 valeur de t positive à un délai. La fonction métrique corrective est définie par - 0 si tbou si tc - S*(t-b)/ (a-b) sib Le coefficient a est typiquement sensiblement égal à 0,5. Détermination de la fonction métrique corrective pour une bonne détection sans distinction des événements élémentaires Dans le cas où des appariements élémentaires d'événements différents de type apparition et disparition, la grandeur S peut être corrigée à l'aide d'un paramètre BonusFauxType, compris entre 0 et 100. L'utilisation d'un tel paramètre permet d'adapter la fonction métrique corrective. Ainsi, on obtenir une grandeur S' suivant la formule suivante 100 Détermination de la fonction métrique pour une fausse détection Une fausse détection correspond à une détection alors qu'aucune 15 intrusion n'a eu lieu. Une telle détection est alors pénalisée par le procédé de l'invention. Suivant le type de fausse détection, deux fonctions métriques correctives différentes sont définies : une première pour une fausse détection réelle et une deuxième pour une fausse détection de type "echo". 20 La fonction métrique corrective dépend typiquement de la criticité de la zone. On entend ici par « criticité » un risque caractérisé par une gravité de l'événement et une probabilité de l'événement. Ledit risque est typiquement défini par le produit de ladite gravité et de ladite probabilité. Les fonctions métriques de la fausse détection réelle et de la 25 détection de type echo sont deux constantes. Typiquement, la valeur de la constante pour une fausse détection réelle est sensiblement égale à la moitié de la valeur de la constante de la fausse détection echo. Dans le cadre de l'exemple, pour la zone A, la fonction métrique pour la fausse détection réelle est sensiblement égale à -50 et celle de la 30 fausse détection écho est sensiblement égale à -25. Pour la zone B, la fonction métrique pour la fausse détection réelle est sensiblement égale à -100 et celle de la fausse détection écho est sensiblement égale à -50. Détermination de la fonction métrique pour une fausse 35 mauvaise détection Les événements non détectés peuvent être pénalisés par le procédé de l'invention grâce à une fonction métrique, notamment sous la forme d'un coefficient. Ledit coefficient peut dépendre de la criticité de la zone. Dans le cadre de l'exemple, pour la zone A, ledit coefficient est sensiblement égal à -100 et celui pour la zone B égale à sensiblement à -500. Détermination de la donnée métrique ScoreEvt La donnée métrique ScoreEvt est déterminée à partir de la donnée ScoreEvtSeq; qui est réalisée sur l'ensemble des séquences. La donnée ScoreEvtSeq; peut être calculée sur chaque séquence comme la somme des grandeurs correctives pour une bonne détection, pour une mauvaise détection et pour une fausse mauvaise détection sur cette séquence. Le nombre de détections à réaliser, désigné par VT, est la borne maximale possible sur cette séquence. Si le programme de traitement d'images a détecté correctement sans retard temporel et sans décalage spatial, alors la donnée ScoreEvtSeq; est sensiblement égale à 100*VT. Dans le cas contraire la donnée ScoreEvtSeq; est définie par la formule suivante : .3 c oo ' eE tS e,lf + Y ~ Lt ,.,. rte + } ` s N Où BonusVP correspond à la donnée métrique corrigée pour une bonne détection issue MalusFP correspond à la donnée métrique corrigée pour une fausse détection MalusFN correspond à la donnée métrique corrigée pour une non 25 détection. Le ScoreEvt sur toutes les séquences correspond à la somme des donées métriques ScoreEvtSeq;: cne? zt° _ S :reE 'Se;, t=1 30 Etape E :Normalisation de chaque donnée métrique On calcule la borne minimale de la donnée métrique ScoreEvt tolérée avec la grandeur corrective associée à une mauvaise détection sous la forme d'une donnée MalusFN et dépendant de la criticité, à savoir, comme défini plus haut, un risque caractérisé par la gravité de l'événement et la probabilité d'occurrence, m. f On calcule la borne maximale de la donnée métrique ScoreEvt tolérée: La donnée métrique ScoreEvt normalisée est ainsi définie par : - E rzr r.n -1t't7d vEt vi La donnée métrique ScoreEvt peut être inférieure à Bmin dans le cas où le programme détecte de nombreuses fausses détections. Dans ce cas, 15 la donnée métrique ScoreEvt est amenée à zéro. Etapes F, G et H : détermination de la donnée d'evaluation ScoreGlobal Brèche dont chaque métadonnée est pondéré par un coefficient correctif. Le Scoreglobal est déterminé par la formule suivante: 20 c rira a y . ScoreEvtNorm + . Préci.si 3a + . e n. i s là Typiquement, les coefficients correctifs 6, y etc sont déterminés = t.?,i = O,2 _ 25 par: 25 30 Exemple d'anomalies à détecter pour un escalator Au cours de l'étape A : préparation d'un ensemble de séquences Escalator : détection d'un arrêt ou d'un démarrage Dès que l'escalator s'arrête ou redémarre, un événement 5 correspondant est créé. Cet événement a une durée d'une seule image et est considéré comme la référence temporelle. Dès lors que le changement entre l'arrêt et le fonctionnement de l'escalator est visible, ledit changement est référencé comme ci-dessus. - Il existe des cas complexifiant l'acquisition de données. Ainsi, la zone 10 de l'escalator peut devenir complètement invisible, soit parce que la zone est masquée ou saturée, soit qu'il existe un reflet, puis la zone peut redevenir visible et l'état de l'escalator a changé. La mise en référence est réalisée par l'utilisateur quand la zone de l'escalator redevient visible et que l'on constate un changement. 15 Escalator : détection d'un flux anormal Comme représenté sur les figures 6 à 8, une ligne virtuelle 501a et 501 b est tracée sur chaque escalator de chaque image. - La mise en référence est réalisée sensiblement toutes les secondes en comptant le nombre de personnes depuis la dernière mise en référence 20 dont la tête ou une autre partie du corps déterminée a franchi ladite ligne virtuelle. - De manière plus précise, la figure 6 montre la première image de référence, à savoir la première référencée dans la séquence. - La figure 7 montre une deuxième image de référence dans laquelle deux 25 personnes 503a ont franchi la ligne virtuelle 501 a et une personne 503b a franchi la ligne virtuelle 503b. - La figure 8 montre une autre image de référence dans laquelle deux personnes 503a ont franchi la ligne 501a, trois personnes 503b ont franchi la ligne 503b. 30 Dans le cadre du présent exemple, leflux est sensiblement de 30 images.s-l. On peut alors calculer un débit par minute en procédant à une moyenne sur les 10 dernières secondes. Il existe certains cas qui complexifient l'acquisition de données. Lesdites personnes se déplaçant en contre-sens par rapport au sens de l'escalator ne sont pas comptabilisées. Seules les personnes dans le même sens de marche que celui de l'escalator sont comptabilisées. Dans le cas d'un escalator dans le sens de la montée, les personnes étant de dos, si l'une d'elle a les cheveux de la même couleur qu'un objet devant elle, tel qu'un manteau, il existe un risque de confondre la tête de la personne et l'objet. Si une occlusion ou un reflet empêche de mesurer le nombre de personnes, le nombre total de détection à réaliser est égale à-1. Etape B : Mise en peuvre du programme de traitement d'images sur chaque image de la série formant une séquence. Etape Cl : on recueille les données générées issues du programme de traitement, notamment dans une base de données dédiées. Etape C2: Appariement des données générées et des données de référence L'appariement des données dans le cadre de la détermination d'un flux de personnes sur un escalator se fait à chaque instant t, entre la référence et la détection. La mesure n'est pas réalisée à chaque image, mais toutes les secondes, puis moyennée sur les 10 dernières secondes. En revanche, la mesure détectée générant une donnée est enregistrée pour chaque image de la séquence. La comparaison n'est faite que sur les images traitées. Etapes D et E : détermination et normalisation de données métriques grâce à une ou plusieurs fonctions métriques utilisant les données générées et les données de référence appariées à l'étape C2 . Ces étapes sont sensiblement identiques aux étapes D et E de l'exemple précédent. Etape F : Détermination d'une ou de plusieurs métadonnées à l'aide d'une fonction métrique Détermination d'une fonction métrique BonusVP corrective pour une bonne détection Comme pour l'exemple précédent, la métadonnée de bonne détection dépend du décalage temporel. Ainsi, on définit un événement annoté au temps TvT , et un 35 événement détecté à TRA. On définit également la variable t par la formule suivante: t = (TRA - TVT). La fonction métrique bonusVP est alors définie par : - 0 si tbou si tc - S(t-b)/ (a - b) sib Pour la donnée métrique ScoreFluxbiais, la courbe est définie par: - 0 si (Biais' f - (IBiaisl - f) / (2 x (e - f)) si e Ainsi, les coefficients d, e et f sont respectivement sensiblement égaux à 2, 5 et 10. Les coeffiscients i, j et k sont respectivement sensiblement égaux à 2, 5 et 20. La métadonnée ScoreFluxNormalisée est alors déterminée parl'équation 15 suivante : 2 Etape H : Détermination de la donnée d'évaluation ScoreGlobal pour l'escalator La métadonné ScoreGlobal pour l'escalator est déterminée en faisant la 20 moyenne des métadonnées ScoreEvtNorm et ScoreFluxNorm : ScoreEvtNorm 4- Score luNNorm Sept°eCÈ5c75 La métadonnée ScoreFluxNorm est déterminée comme indiqué dans le paragraphe précédent. La métadonnée ScoreEvtNorm est déterminée selon le procédé de 25 l'invention de la même manière que la méthadonnée ScoreEvt déterminée à l'exemple précédente, ladite méthadonnée étant également normalisée. REVENDICATIONS1. Procédé d'évaluation d'un programme de traitement d'images destiné à traiter au moins une série d'images d'une séquence, ledit procédé d'évaluation comportant les étapes suivantes : A- on détermine sur chaque série d'images de la séquence des données de référence ; B- on met en oeuvre le programme de traitement d'images sur chaque image de la série ; Cl- on recueille les données générées issues du programme de 10 traitement ; C2- on apparie spatialement et temporellement les données générées et les données de référence au moyen d'une ou de plusieurs fonctions d'appariement ; D - on détermine des données métriques grâce à une ou plusieurs 15 fonctions métriques utilisant les données générées et les données de référence appariées à l'étape C2 ; E- on normalise chaque donnée métrique de sorte que la donnée métrique normalisée soit comprise entre 0 et 1 ; F- on détermine au moins une métadonnée en isolant ou en 20 combinant les données métriques normalisées sur lesquelles on applique une fonction corrective dépendant d'une erreur temporelle, d'une erreur spatiale et d'une erreur de durée ; G- on pondère chaque métadonnée par un coefficient correctif ; H- on obtient une donnée d'évaluation du programme de traitement 25 en isolant une métadonnée pondérée choisie ou en sommant des métadonnées pondérées ; au moins une des étapes étant mise en oeuvre par un ordinateur. 2. Procédé selon la revendication précédente, dans lequel au cours de l'étape A, les données de référence comprennent des données temporelles, 30 notamment le début de la séquence et la durée de la séquence, des données spatiales et/ou des données quantitatives d'entité(s) physique(s). 3. Procédé selon l'une quelconque des revendications précédentes, dans lequel, au cours de l'étape A, pour chaque série d'images, on détermine un temps initial de la séquence et une période temporelle où 35 chaque image issue de ladite séquence est destinée à être traitée par le programme de traitement d'images. 4. Procédé selon l'une quelconque des revendications précédentes, dans lequel, au cours de l'étape A, on délimite sur chaque image à traiter une ou plusieurs zones virtuelles et/ou une ou plusieurs lignes virtuelles. 5. Procédé selon l'une quelconque des revendications précédentes, dans lequel les données métriques normalisées comprennent des données de détection temporelle et/ou spatiale, des données de décalage temporel et/ou spatial, des données de durée détectée et/ou des données de mesure d'une grandeur physique. 6. Procédé selon l'une quelconque des revendications précédentes, dans lequel, à l'étape A, on détermine sur chaque série d'images des données de référence destinées à quantifier le niveau de complexité des images traitées en combinant des données issues d'une mesure directe sur chaque image et des données de référence choisies ou issues des résultats d'une ou de plusieurs évaluations antérieures. 7. Procédé selon l'une quelconque des revendications précédentes, dans lequel, au cours de l'étape A, une partie des données de référence sont dérivées semi-automatiquement des données générées à l'étape Cl, notamment par recoupement. 8. Procédé selon la revendication précédente, dans lequel au cours de l'étape F, on détermine une ou plusieurs métadonnées en combinant les données métriques normalisées corrigées par une fonction corrective et une métadonnée issue des données de référence destinées à quantifier le niveau de complexité des images traitées. 9. Procédé selon l'une quelconque des revendications précédentes, dans lequel, au cours de l'étape A, pour chaque série et pour chaque donnée de référence, on détermine un intervalle de tolérance. 10. Procédé selon l'une quelconque des revendications précédentes, dans lequel une séquence comporte un ou plusieurs événements ponctuels et/ou un ou plusieurs flux d'entités physiques à mesurer. 11. Procédé selon la revendication 9 et 10, dans lequel pour chaque donnée métrique normalisée issue de série(s) d'images d'un ou de plusieurs événements ponctuels, on détermine : - un nombre total de détection à réaliser VT comme étant : YT = rPs+ ~,. - une précision P comme étant : Où TP est le nombre total de détection du ou des événements réalisée par le programme de traitement d'images pour lequel la différence entre la donnée générée spatiale et/ou temporelle et la donnée de référence correspondante est comprise dans un intervalle de tolérance, FP est le nombre total de détection du ou des événements réalisée par ledit programme de traitement d'images pour lequel la différence entre une donnée générée temporelle et/ou spatiale et la donnée de référence correspondante n'est pas comprise dans un intervalle de tolérance, et FN est le nombre total de non détection du ou des événements réalisée par ledit programme de traitement d'images pour lequel la différence entre une donnée générée temporelle et/ou spatiale et la donnée de référence correspondante n'est pas comprise dans un intervalle de tolérance, - un nombre de fausse détection du ou des événements FA comme étant : FA = Où A est la durée de la séquence ; et/ou - une moyenne harmonique FS de la sensibilité et de la précision comme étant : S 3 = + 5 12. Procédé selon la revendication 10 ou 11, dans lequel, au cours de l'étape F et pour une ou plusieurs séries d'images d'un ou de plusieurs événements ponctuels, on définit une métadonnée de bonne détection du ou desdits événements par une fonction corrective : - 0 si tbou si tc 30 - S*(t-b)/ (a-b) sib 13. Procédé selon l'une quelconque des revendications 10 à 12, dans lequel, au cours de l'étape F et pour une ou plusieurs séries d'images d'un ou de plusieurs événements ponctuels, on détermine une métadonnée de 10 mauvaise détection en sommant les grandeurs FP et FN pondérées chacune par un coefficient pour chaque événement ponctuels. 14. Procédé selon l'une quelconque des revendications 12 et 13, dans lequel on définit, dans l'étape E, une métadonnée intermédiaire globale correspondant à la somme sur la totalité des événements ponctuels de 15 métadonnées intermédiaires issues de la somme des métadonnées pondérées de mauvaise détection et des métadonnées de bonne détection d'un événement. 15. Procédé selon la revendication précédente, dans lequel on normalise la métadonnée intermédiaire S globale comme étant : é::_er _ h,m '1,5 Où Si est une métadonnée correspondant à la métadonnée intermédiaire pondérée pour un événement i, Bmin est la valeur minimale de la métadonnée intermédiaire globale, 25 et Bmax est la valeur maximale de la métadonnée intermédiaire globale. 16. Procédé selon les revendications 11 et 15, dans lequel la donnée d'évaluation pour une ou plusieurs séries d'images d'un ou de 30 plusieurs événements ponctuels est obtenue en sommant la métadonnée intermédiaire globale normalisée, la précision et la sensibilité, ces dernières étant affectées d'un coefficient correcteur de sorte à obtenir une donnée d'évaluation comprise entre 0 et 1 . 20 17. Procédé selon la revendication 9 et 10, dans lequel pour chaque donnée métrique normalisées issus de série(s) d'images d'un ou de plusieurs flux d'entités physiques à mesurer, on détermine : - une moyenne M des erreurs entre les données générées DG; et 5 les données de référence DR; comme étant : M G J-D t) - une dispersion d des erreurs entre DG; et DR; comme étant - une corrélation de mesure comme étant : r;, = Où x;, y; sont des données générées et xm, ym sont des moyennes 15 des données générées correspondantes. 18. Procédé selon la revendication précédente, dans lequel, au cours de l'étape F et pour une ou plusieurs séries d'images d'un ou de plusieurs flux d'entités physiques, on définit une métadonnée de bonne détection du ou desdits flux d'entités physiques par une fonction corrective : 20 - 0 si Xf - (X-f)/ (2x(e-f)) sie 19. Procédé selon la revendication précédente, dans lequel la donnée d'évaluation pour une ou plusieurs séries d'images d'un ou de plusieurs flux d'entités physiques est obtenue en sommant la métadonnée 30 issue de la donnée métrique M et la métadonnée issus de la métrique d, les métadonnées étant associées à des coefficients correcteurs de sorte à obtenir une donnée d'évaluation comprise entre 0 et 1. 10 20. Procédé selon l'une quelconque des revendications précédentes, dans lequel suite à l'étape H, on normalise la donnée d'évaluation. 21. Procédé selon les revendications 16, 19 et 20, comportant une étape I dans laquelle une grandeur d'évaluation globale de la séquence est obtenue en sommant la grandeur d'évaluation pour la ou les séries d'images d'un ou de plusieurs événements ponctuels et la grandeur d'évaluation pour la ou les séries d'images d'un ou de plusieurs flux d'entités physiques, lesdites grandeurs étant pondérée par des coefficients. 22. Produit de programme d'ordinateur destiné à être mis en oeuvre par un ordinateur de sorte à mettre en application le procédé d'évaluation selon l'une quelconque des revendications précédentes, une fois que ledit produit est mis en oeuvre par l'ordinateur.