Brevet FR2777728A1 — publié le 19991022

La présente invention concerne un procédé de détection et de correction de défauts impulsifs apparaissant sur une image à traiter d'une séquence vidéo numérique et un équipement pour la mise en oeuvre de ce procédé. Le domaine d'application d'un tel procédé concerne particulièrement le retraitement et la restauration de films cinématographiques ou de vidéos ayant t subis une dégradation du support (rayures, poussières, défaut local de la magnétisation,...). De telles opérations peuvent être réalisées manuellement par un opérateur analysant chaque image pour détecter les défauts et ensuite traiter les défauts identifiés. Il s'agit d'un travail fastidieux. L'avantage du recours à l'opérateur humain est toutefois de permettre la discrimination des défauts effectifs et des faux défauts correspondant à d'autres apparitions transitoires ayant seulement l'apparence de défauts. Les solutions visant à automatiser l'identification des défauts et le retraitement de ces défauts ne permettent pas toujours une discrimination satisfaisante. Elles aboutissent ainsi à l'omission de vrais défauts, et, plus grave, à l'assimilation à des défauts de certains éléments normaux de l'image. Cette dernière situation conduit à supprimer certains détails signifiants de l'image, ce qui est difficilement acceptable. A titre d'exemple, la présence de poussières sur la pellicule va obscurcir le trajet des rayons et se manifestera par une zone sombre sur l'écran qui va remplacer la partie de la scène filmée. Si cet événement a eu lieu sur le négatif ou si la couche colorée a été endommagée, cette zone sera blanche. De même, les documents vidéo enregistrés sur bande présentent des pertes de signal temporaires se traduisant par des zones orientées horizontalement contenant un signal arbitraire. Une variété importante de formes et de densités se rencontre expérimentalement. Parmi les solutions connues dans l'état de la technique, on mentionnera le brevet européen EP636299 qui décrit un procédé de détection et d'élimination d'erreurs dépassant un contraste spécifique dans des signaux vidéo numériques. L'état de l'art des techniques de détection repose sur un test effectué localement, pixel à pixel. Il consiste à comparer le niveau de gris de l'image courante à celui de la référence dans l'image précédente, et dans l'image suivante, ces deux images étant soumises à une compensation préalable de mouvement, au moyen de méthodes connues. Si ces deux comparaisons donnent simultanément une différence élevée, le pixel est réputé faire partie d'une zone erronée, en se basant sur le fait que les pixels d'une séquence normale suivent des trajectoires temporelles plus ou moins longues, d'une apparition à une disparition, mais avec une durée supérieure à une image. Cette méthode présente l'inconvénient de nécessiter une adéquation parfaite entre le mouvement dans la scène et le modèle de mouvement censé être identifié. Ainsi, un mouvement trop rapide, ou avec une composante de rotation forte ou une variation d'échelle locale forte (expansion ou contraction) posera de sérieux problèmes à la plupart des estimateurs de mouvement de translation. Cette identification erronée conduira à supposer que le pixel courant n'a pas de réfèrent, ni dans l'image précédente, ni dans la suivante. L'invention vise à améliorer la discrimination des défauts réels et vise donc à prolonger les méthodes connues de détection d'événements impulsifs, par un traitement a posteriori, destiné à vérifier cette absence de relation, même dans le cas d'une connaissance nulle du mouvement. A cet effet, l'invention concerne dans son acception la plus générale un procédé de détection et de correction de défauts impulsifs apparaissant sur une image à traiter d'une séquence vidéo numérique, comportant les étapes suivantes - détermination pour une image in de zones Zn,i corrélées à des événements graphiques susceptibles de correspondre à des défauts - détermination pour chacune des Zn,i d'au moins une zone d'analyse Z'i ; - calcul, pour chacune des i zones Zon, i d'une fonction de levée de doute Fi par comparaison du.descripteur de la zone Zn,i avec les descripteurs des zones d'analyse Z' correspondantes - modification des données graphiques corrélées aux zones Zn,i pour lesquelles la fonction Fi est vraie caractérisé en ce que la fonction de levée de doute est un test d'appariement entre des caractéristiques extraites des pixels de la zone Zn,i et caractéristiques extraites des pixels des zones d'analyse Z'i. La modification des données graphiques a pour objet la correction du défaut confirmé par la fonction Fi par des solutions de traitement d'image connues. De préférence, on détermine pour les zones Zn,i et les zones Z'; des descripteurs invariants des permutations spatiales. On désigne dans le présent brevet par "zone d'analyse" des zones dérivant de façon déterminée de la zone corrélée à un défaut potentiel. Ces zones d'analyse appartiennent à une ou plusieurs images différentes de l'image In faisant l'objet du traitement. il peut s'agir de la même image In, après correction inconditionnelle de tous les défauts potentiels repérés, avant l'application de la fonction de levée de doute. Il peut également s'agir de zones homologues appartenant aux images antérieure 1n-i et postérieure 1n+1 à l'image In. On entendra par "zones homologues" au sens du présent brevet, à une zone d'une première image, une zone d'une deuxième image dont la dimension et/ou la position résulte de l'application d'une relation prédéterminée, constante ou fonction de certains paramètres déterminables par analyse d'une zone élargie de l'image, tel qu'un vecteur de mouvement global ou local. Est considérée comme homologue d'une zone Zn de l'image In une zone Zon11 de l'image 1n+1 précédente ou suivante, résultant de l'application d'une opération de - dilatation - détermination d'une boîte englobant - déplacement (compensation de déplacement) - changement d'échelle- combinaison de tout ou partie de ces opérations. Une approximation efficace du procédé consiste à découper l'image en blocs et à traiter de façon globale l'ensemble des pixels détectés dans un bloc de la grille. Dans le cadre de cette approximation, les zones homologues peuvent avoir une forme fixée a priori, comme par exemple un ensemble de blocs obtenu par les transformations évoquées précédemment, à partir du bloc considéré Zn. Selon un mode de mise en oeuvre préféré, lesdits descripteurs sont constitués par un histogramme de caractéristiques représentatives des pixels des zones d'image. Selon une première variante, lesdits descripteurs sont constitués par un histogramme de la distribution de luminance. Selon une deuxième variante, lesdits descripteurs sont constitués par un histogramme de la distribution de couleur. Selon une troisième variante, les descripteurs sont constitués par un histogramme des critères texturaux. Avantageusement, le test d'appariement consiste à comparer le descripteur de la zone Zn i de l'image In avec le descripteur des zones d'analyse Zi à déterminer le degré de concordance, la fonction de levée de doute étant vraie lorsque le degré de concordance est faible pour les zones d'analyse Z'i. Selon une quatrième variante, les descripteurs sont constitués par une mesure de la quantité de contours présentes à la frontière des zones Zn,i. Pour cette quatrième variante, il est avantageux que le test d'appariement soit une comparaison d'une mesure de la quantité de contours présente à la frontière des zones Zn,i et d'une mesure de la quantité de contours présente à la frontière des zones Z'i, la fonction de levée de doute étant vraie lorsque le degré de concordance entre ces deux mesures est fort pour les zones d'analyse Zi'. Selon un premier mode de mise en oeuvre, les zones d'analyse Z'i sont des zones homologues Znil,1 appartenant aux images antérieure 1n-i et postérieure 1n+1 et dérivant de la zone Z,1. De préférence, les zones Zn+1,1 homologues aux zones Zn,i sont des zones dont la localisation dans les images In#1 du centre de la zone sont identiques aux coordonnées du centre de la zone Zn,1 dans l'images In, et dont les dimensions sont supérieures aux dimensions de la zone Zn,i. Selon un deuxième mode de mise en oeuvre, les zones d'analyse Z'i sont des zones frontalières Zf,i des zones Zn, i de l'image ''n correspondant à l'image In après correction inconditionnelle des événements graphiques susceptibles de correspondre à des défauts dans la zone Zn,i. Selon ce deuxième mode de mise en oeuvre, on applique une première fois la correction des défauts potentiels, et on compare les descripteurs des images avant et après application de cette première correction pour déterminer une fonction de levée d'erreur Fi pour chacune des zones corrélée à des défauts potentiels, et ne corriger effectivement que les défauts confirmés par le procédé selon l'invention. L'invention concerne également un dispositif de traitement d'images numériques comportant des moyens de mémorisation de l'image 'n, des moyens de signalisation de zones Zi susceptibles de contenir des défauts, des moyens de calcul pour analyser des zones d'analyse Z'i associées aux zones Zn,i et pour déterminer, pour chacune des i zones Zn,i une fonction de levée de doute Fi par comparaison du descripteur de la zone Zn,i avec les descripteurs des zones Z'i correspondantes consistant en un test d'appariement entre les pixels de la zone Zn,i et les pixels des zones d'analyse Z'; et des moyens pour modifier les données graphiques dans la zone Zn i lorsque la fonction Fi est vraie. L'invention concerne également un dispositif de traitement d'images numériques pour la mise en oeuvre d'un procédé selon les descriptions précédentes caractérisé en ce qu'il comporte des moyens de mémorisation de trois images consécutives 1n-i In et Tn+i, des moyens de signalisation de zones Z; susceptibles de contenir des défauts, des moyens de calcul pour analyser des zones Zn+l,1 correspondant aux zones homologues aux zones Zn,i sur les images 1n11 et pour déterminer, pour chacune des i zones Zn,i d'une fonction de levée de doute Fi par comparaison du descripteur de la zone Zn,1 avec les descripteurs des zones Zn+l,1 correspondantes consistant en un test d'appariement entre les pixels de la zone Zn,1 et les pixels de deux zones Zn+l,1 des images In~ consécutives et des moyens pour modifier les données graphiques dans la zone Zn,i lorsque la fonction Fi est vraie. L'invention sera mieux comprise à la lecture de la description qui suit, se rapportant à un exemple non limitatif de mise en oeuvre de l'invention. Le procédé comporte une première étape de détermination d'une fenêtre autour de trois images consécutives, ainsi que d'une carte des hypothèses de détection qu'il va falloir confirmer. L'idée générale consiste à éviter de prendre une décision trop locale, mais de vérifier qu'un appariement entre tous les pixels de la tache hypothétique et un voisinage temporel et/ou spatial appartenant à l'image précédente et/ou suivante, autour de la localisation est possible. il suffit de trouver un appariement avec une zone précédente ou une zone de l'image suivante pour lever l'hypothèse de détection. De façon générale, la méthode consiste à mesurer un certain nombre de caractéristiques sur les pixels de la tache, tels que la distribution de luminance ou de couleur. Le nombre de caractéristiques détectables est très grand et s'étend par exemple aussi à des critères texturaux. Une zone est caractérisée par un histogramme, éventuellement multidimensionnel de ces caractéristiques. Cette méthode aura l'intérêt d'être invariante par toute permutation spatiale des caractéristiques, et donc indépendante d'une mauvaise estimation de mouvement. On va ensuite chercher à placer cet histogramme dans ceux, obtenus de la même façon dans l'image précédente, et dans l'image suivante. La comparaison s'effectue, après normalisation optionnelle par l'effectif de l'histogramme initial, en comparant l'effectif de chaque case de l'histogramme, avec la case correspondante dans les images précédente et suivante. Tout dépassement conduit à une pénalité. Chaque effectif d'une case de l'histogramme initial peut faire l'objet d'un facteur multiplicatif, avant la comparaison. Le dépassement d'une pénalité globale va conduire à classer la tache dans la catégorie non appariée. Si elle est non appariée vers le futur et vers le passé, elle est confirmée dans son statut de zone impulsive. On peut se contenter de calculer les histogrammes sur la base d'une grille superposée à l'image. Cette approximation conduit à regrouper toutes les zones présentes dans un bloc de la grille sous la forme d'une super zone, qui n'est pas nécessairement connexe. Les zones d'analyse seront alors obtenues simplement sous la forme d'une zone rectangulaire de plusieurs blocs, après application d'une relation géométrique au bloc de la grille, éventuellement déterminée par le mouvement estimé dans la séquence d'images. Le calcul de l'histogramme de la zone d'analyse se fait alors par sommation , éventuellement pondérée, des histogrammes présents dans tous les blocs concernés. Ce calcul peut être vu comme une convolution indépendante de chaque case de l'histogramme par un noyau de filtrage spatial passe bas. Cette sommation peut elle même être accélérée dans le cas d'une pondération uniforme, en modifiant la sommation correspondant à une fenêtre voisine, si les fenêtres partagent des pixels. Toutes les techniques de filtrage passe bas spatial peuvent être appliquées. Pour la fraction de la tache présente dans un élément de la grille, le calcul du test d'inclusion peut se mener de façon implicite en comptant le nombre de pixels qui n'entrent pas dans l'histogramme cible. Cela évite donc de comparer des zones nulles. D'autres implémentations sont possibles, sous une forme matérielle ou logicielle. Les résultats semblent montrer une très forte diminution des fausses alarmes de grande surface, alors que les petites zones faussement détectées sont plus délicates à infirmer. Ces résultats sont dépendants de la méthode de normalisation de l'histogramme et de la fonction de comparaison . il est souhaitable de limiter l'usage du procédé à la détection des défauts de grande surface. Une variation du procédé consiste à comparer cette fois ci non plus les statistiques des pixels des images initiales, mais des statistiques obtenues sur les variations spatiales des images, aux frontières des zones incriminées, avant et après correction. La première correction s'obtient par exemple par interpolation compensée par le mouvement entre les images précédente et suivante. Cette réparation peut introduire des nouvelles variations locales dans l'image reconstituée. Chaque augmentation des variations locales (contours) de l'image, va contribuer à un vote en faveur du rejet de confirmation de la tache. Cette comparaison est basée sur le principe que l'opération de correction ne doit pas introduire de nouvelles discontinuités dans l'image, qui n'y étaient pas présentes à l'origine, mais au contraire en faire décroître le nombre. il n'est pas calculé ici l'histogramme de l'image, mais celui des variations de cette image, afin de mesurer l'apparition de nouveaux contours à la frontière de la modification. On va utiliser la connaissance de la carte de détection initiale des erreurs, afin de ne comptabiliser les contours que dans le voisinage immédiat des frontières d'une détection initiale. Dans le cas d'une implémentation par grille, ces histogrammes peuvent être calcules pour chaque bloc de la grille indépendamment. Cette variation peut être appliquée conjointement avec les méthodes précédentes, par pondérations des votes, ou opérations logiques ou non linéaires, sur les résultats des votes . Dans le cas d'une implémentation sur une grille, la décision interviendra sur chaque case indépendamment. REVENDICATIONS 1 - Procédé de détection et de correction de défauts impulsifs apparaissant sur une image à traiter d'une séquence vidéo numérique, comportant les étapes suivantes - détermination pour une image In de zones Zon,1 corrélées à des événements graphiques susceptibles de correspondre à des défauts - détermination pour chacune des Zn,1 d'au moins une zone d'analyse Z'i ; - calcul, pour chacune des i zones Zon,1 d'une fonction de levée de doute Fi par comparaison du descripteur de la zone Zn,1 avec les descripteurs des zones d'analyse Z' correspondantes - modification des données graphiques corrélées aux zones Zn,1 pour lesquelles la fonction Fi est vraie caractérisé en ce que la fonction de levée de doute est un test d'appariement entre les pixels de la zone Zn,1 et les pixels des zones d'analyse Z'1. 2 - Procédé de détection et de correction de défauts impulsifs selon la revendication 1 caractérisé en ce que l'on détermine pour les zones Zn,1 et les zones d'analyse Z'i des descripteurs invariants des permutations spatiales. 3 - Procédé de détection et de correction de défauts impulsifs selon la revendication 2 caractérisé en ce que lesdits descripteurs sont constitués par un histogramme de caractéristiques représentatives des pixels des zones d'image. 4 - Procédé de détection et de correction de défauts impulsifs selon la revendication 3 caractérisé en ce que lesdits descripteurs sont constitués par un histogramme de la distribution de luminance. 5 - Procédé de détection et de correction de défauts impulsifs selon la revendication 3 ou 4 caractérisé en ce que lesdits descripteurs sont constitués par un histogramme de la distribution de couleur ou de la distribution jointe couleur/luminance. 6 - Procédé de détection et de correction de défauts impulsifs selon la revendication 3 caractérisé en ce que lesdits descripteurs sont constitués par un histogramme de critères texturaux, éventuellement colorés. 7 - Procédé de détection et de correction de défauts impulsifs selon l'une quelconque des revendications 4 à 6 caractérisé en ce que le test d'appariement consiste à comparer le descripteur de la zone Zn,1 de l'image In avec le descripteur des zones d'analyse Z'i à déterminer le degré de concordance, la fonction de levée de doute étant vraie lorsque le degré de concordance est faible pour les zones homologues Z'1. 8 - Procédé de détection et de correction de défauts impulsifs selon la revendication 2 caractérisé en ce que lesdits descripteurs sont constitués par une mesure de la quantité de contours dans la zone frontière de la zone Zn, 1. 9 - Procédé de détection et de correction de défauts impulsifs selon la revendication 8 caractérisé en ce que le test d'appariement consiste à comparer le descripteur de la zone Zn,1 de l'image In avec le descripteur des zones d'analyse Z'i à déterminer le degré de concordance, la fonction de levée de doute étant vraie lorsque le degré de concordance est forte pour les zones homologues Z'i. 10 - Procédé de détection et de correction de défauts impulsifs selon l'une quelconque des revendications précédentes caractérisé en ce que les zones d'analyse Z'; sont des zones homologues Zrl+l i appartenant aux images antérieure Ion l et postérieure 1n+1 et dérivant de la zone Zn,i. ll - Procédé de détection et de correction de défauts impulsifs selon la revendication précédente caractérisé en ce que les zones Zn#1,i homologues aux zones Zn,1 sont des zones dont la localisation dans les images In+ du centre de la zone sont identiques aux coordonnées du centre de la zone Zn,i dans l'images In, et dont les dimensions sont supérieures aux dimensions de la zone Zn,i. 12 - Procédé de détection et de correction de défauts impulsifs selon l'une quelconque des revendications 1 et 6 caractérisé en ce que les zones d'analyse Z'i sont des zones frontalières Zf,1 déterminées sur le bord des zones Zn i de l'image ''n correspondant à l'image In après correction inconditionnelle des événements graphiques susceptibles de correspondre à des défauts dans la zones Zn,i. 13 - Dispositif de traitement d'images numériques pour la mise en oeuvre d'un procédé selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte des moyens de mémorisation de l'image In, des moyens de signalisation de zones Zi susceptibles de contenir des défauts, des moyens de calcul pour analyser des zones d'analyse Z'i associées aux zones Zn,i et pour déterminer, pour chacune des i zones Zn,i une fonction de levée de doute Fi par comparaison du descripteur de la zone Zn i avec les descripteurs des zones Zi' correspondantes consistant en un test d'appariement entre les pixels de la zone Zn,i et les pixels des zones d'analyse Zi' et des moyens pour modifier les données graphiques dans la zone Zn i lorsque la fonction Fi est vraie. 14 - Dispositif de traitement d'images numériques pour la mise en oeuvre d'un procédé selon la revendication 1 caractérisé en ce qu'il comporte des moyens de mémorisation de trois images consécutives In-1, In et 1n+1' des moyens de signalisation de zones Zi susceptibles de contenir des défauts, des moyens de calcul pour analyser des zones Zn+l, i correspondant aux zones homologues aux zones Zn,i sur les images In#1 et pour déterminer, pour chacune des i zones Zn,i d'une fonction de levée de doute Fi par comparaison du descripteur de la zone Zn,1 avec les descripteurs des zones Zn#1,i i correspondantes consistant en un test d'appariement entre les pixels de la zone Zn,î et les pixels de deux zones Znll, i des images In#1 consécutives et des moyens pour modifier les données graphiques dans la zone Zn,i lorsque la fonction Fi est vraie. 15 - Dispositif de traitement d'images numériques pour la mise en oeuvre d'un procédé selon la revendication ll caractérisé en ce qu'il comporte des moyens de signalisation de zones Zi susceptibles de contenir des défauts, des moyens de calcul d'une image In' dérivant de l'image In par la correction inconditionnelle des défauts potentiels de l'image In des moyens de mémorisation de l'image In et de l'image I 'n des moyens de calcul pour analyser des zones Z'i correspondant aux bords des zones d'analyse sur l'image 1,n et pour déterminer, pour chacune des i zones Zn,i une fonction de levée de doute Fi par comparaison du descripteur de la zone Zn i avec les descripteurs des zones Z'i correspondantes, consistant en un test d'appariement entre les pixels de la zone Zn,i et les pixels de la zone Z',1 des images I' n et des moyens pour modifier les données graphiques dans la zone Zn,i lorsque la fonction Fi est vraie.