Brevet FR2768891A1 — publié le 19990326

L'invention concerne un procédé et un dispositif d'interpolation temporelle d'images à compensation de mouvement exploité dans le traitement de séquences d'images de télévision. Il est plus particulièrement adapté aux estimateurs de mouvement de type PELrecursif, c'est à dire basé sur le calcul du mouvement au niveau d'un pixel et non d'un bloc d'image. La possibilité de calculer le mouvement au niveau des pixels a permis d'accroître considérablement la qualité des systèmes d'interpolation. Cependant, le mouvement ne peut pas être mesuré en tous points de l'image: lorsque plusieurs objets se déplacent différemment dans une scène, par exemple mouvement d'un premier plan par rapport & un arrière plan, des pixels apparaissent ou disparaissent d'une image à l'autre, ce qui rend impossible la mesure de leur déplacement. La présence de ces zones perturbe l'estimateur de mouvement et les défauts résultant sont particulièrement gênants. Ces zones nécessitent un traitement particulier pour supprimer ou du moins masquer les défauts. Il est connu, pour être décrit dans le brevet français n 8904256, un procédé d'interpolation à compensation de mouvement avec solution de repli. Le procédé détecte les vecteurs mouvement défectueux par l'intermédiaire d'un opérateur local de type variance. Ensuite le champ de vecteurs mouvement est modifié en forçant à la valeur nulle les vecteurs défectueux. L'interpolation & compensation de mouvement est ensuite appliquée avec ce nouveau champ de vecteurs mouvement. Il est également connu du brevet français n 9104164 un procédé d'étiquetage des pixels les classant en pixels normaux, apparaissants, disparaissants, occluants, pour un traitement particulier en fonction de leur étiquetage. L'interpolation est basée sur la projection temporelle du champ de vecteurs mouvement et adaptée & cette classification des pixels. Si le premier procédé est simple de mise en oeuvre, la qualité d'image obtenue n'est pas toujours satisfaisante. Le deuxième procédé est beaucoup plus complexe et nécessite l'estimation des champs de mouvement des images d'entrée. L'amélioration obtenue par un tel procédé n'est pas à la mesure de la complexité imposée. La présente invention a pour but de remédier aux inconvénients précités. Elle a pour objet un procédé d'interpolation temporelle à compensation de mouvement d'une image j située entre une image n- l et une image n réalisant une estimation de mouvement entre l'image n-1 et l'image n pour fournir un champ de vecteurs mouvement V(n-l, n), une interpolation de l'image j en fonction de ce champ de vecteurs mouvement, caractérisé en ce qu'il détecte des vecteurs mouvement défectueux et en ce qu'il réalise un filtrage passe-bas sur des zones de l'image interpolée correspondant à ces vecteurs défectueux. Elle a également pour objet un dispositif pour la mise en oeuvre du procédé précédemment décrit, comprenant un estimateur de mouvement recevant une image n-1 et une image n pour le calcul d'un champ de vecteurs mouvement V(n-1, n), un circuit d'interpolation calculant à partir de ces deux images n-1 et n et du champ de vecteurs mouvement une image interpolée Y(j), caractérisé en ce qu'il comporte également un circuit de détection de vecteurs mouvement défectueux recevant le champ de vecteurs mouvement et un circuit de filtrage passe-bas pour un filtrage de l'image interpolée en fonction des informations transmises par le circuit de détection. L'invention sera bien comprise et ses avantages et autres caractéristiques ressortiront mieux lors de la description suivante, donnée à titre d'exemple et en référence aux figures annexées, o: - la figure 1 représente un schéma du dispositif selon l'invention; - la figure 2 représente les opérations morphologiques réalisées sur l'image de marquage des points à vecteurs défectueux. Grace & l'invention, les zones o l'interpolation à compensation de mouvement est défectueuse sont traitées de manière satisfaisante. La mise en oeuvre du procédé est simple. Elle donne des résultats plus performants que ceux connus de l'art antérieur de complexité équivalente. Pour un traitement comparable, la qualité d'image en est améliorée. La figure 1 représente un dispositif pour la mise en oeuvre du procédé selon l'invention. Les deux entrées du dispositif sont reliées en parallèle à un estimateur de mouvement 1 et à un circuit d'interpolation 2. La sortie de l'estimateur de mouvement 1 est reliée en parallèle à l'entrée d'un circuit de détection de défauts 3, à une troisième entrée du circuit d'interpolation 2 et à une première entrée d'un filtre passe-bas 4. La sortie du circuit d'interpolation 2 est reliée à une deuxième entrée du filtre passe-bas 4. Le circuit de détection de défauts 3 est relié à une troisième entrée du filtre passe-bas 4. La sortie de ce filtre est la sortie du dispositif. Les informations de luminance codées en numérique Yn-1 pour l'image précédente n-l et Yn pour l'image courante n sont présentées simultanément sur la première entrée et la deuxième entrée du dispositif. Une estimation de mouvement est effectuée entre ces deux images. Cette estimation de mouvement peut être du type PEL récursif. Est alors affecté au niveau de chaque pixel un vecteur mouvement, créant ainsi un champ de vecteurs mouvement V(n-1, n) pour l'image à interpoler j, située entre les images n-l et n. Ce champ de vecteurs est transmis, entre autres, vers la troisième entrée du circuit d'interpolation 2. Ce circuit reçoit sur ses deux premières entrées les informations Yn-l et Yn. A partir des informations de mouvement provenant du champ de vecteurs mouvement V(n-1, n) et sans tenir compte d'une éventuelle défectuosité des vecteurs mouvement, définie plus loin, une image de luminance interpolée Y(j) est calculée et transmise au filtre passe-bas 4. Le champ de vecteurs est également transmis à un circuit de détection de défauts 3. La fonction de ce circuit est de détecter les vecteurs mouvement défectueux. Cette détection utilise une mesure d'incohérence spatiale des composantes horizontales et verticales du champ de vecteurs. Cette mesure peut être réalisée par un calcul de variance sur chaque composante de chaque vecteur du champ de vecteurs courant (indice temporel t). Dans un exemple de réalisation, le calcul, pour un pixel donné, est effectué sur une fenêtre de 5 x 5 pixels centrée autour de ce pixel. L'équation mathématique de ce calcul de variance est alors donnée par les équations suivantes: k=2 1=2 moy_x(i,j, t) = 1 vx(i + kj + l,t) k=-2 1=-2 k=2 1=2 moyvy(i, j, t)= _ à vy(i +kj+lt) k=-2 1=-2 var vx(zjt)1 k=2 1=2 k v_t(i, j,)-= 2-5 Y, 2 (vx(i + kj + l,t)-moyvx(i,j, t))2 25 k=-21=-2 k=2 1=2 varvy(i,j,t) = 21I ' (vy(i + k,j + l,t) - moyvy(i,j,t))2 k=-2 1=-2 v(i, j, t) représente le vecteur mouvement affecté au pixel de la colonne i et de la ligne j pour l'image t, vx(i, j, t) et vy(i, j, t) sont les composantes horizontales et verticales du vecteur mouvement v(i, j, t). moy_v(i, J, t) est la valeur moyenne de v sur la fenêtre centrée autour du pixel i, j pour l'image t. Les résultats varvx(i, j, t) et var vy(i, j, t) sont ensuite comparés à un seuil. Si l'une des 2 variances dépasse le seuil, le vecteur est alors marqué défectueux. Ce seuil est par exemple pris égal à 10. On obtient donc une image binaire du champ de vecteurs traité dans laquelle le niveau binaire "1" désigne les vecteurs défectueux et le niveau "0" les vecteurs non défectueux. Cette image binaire est ensuite traitée par un filtre de morphologie mathématique pour éliminer les marquages isolés et dilater les zones de vecteurs défectueux. Ce traitement, décrit ci-après, est également effectué par le circuit de détection d'erreurs 3. Les figures 2a, 2b, 2c représentent les actions des différentes opérations sur les pixels d'une image. Un premier traitement est un filtrage de type érosion à partir d'un élément structurant glissant parcourant l'image binaire précédemment obtenue. Cet élément structurant est une fenêtre ou un bloc d'image de dimensions déterminées, dans notre exemple un bloc de dimensions 3 x 3 pixels. Si, pour un pixel de l'image marqué à "1", au moins 4 pixels voisins appartenant à l'élément structurant sont marqués à "1", alors ce marquage ("1") est conservé, sinon il est mis à "0". La figure 2a représente un exemple d'une portion d'image binaire obtenue après traitement du champ de vecteurs. Les astérisques présents dans les cases symbolisant les pixels correspondent aux vecteurs marqués défectueux par seuillage de la variance. La figure 2b représente l'image binaire obtenue après érosion par un élément structurant de dimension 3 x 3 pixels. Les astérisques barrés d'une croix correspondent aux pixels dont le marquage est supprimé après l'opération morphologique d'érosion. Ils correspondent & la valeur "0", les astérisques restants correspondant & la valeur ll 1 I Le deuxième traitement, effectué sur cette nouvelle image, est un filtrage de type dilatation. L'élément structurant utilisé est par exemple un bloc de dimension 3 x 3 pixels. Si pour un pixel marqué "0", au moins 1 pixel voisin appartenant & l'élément structurant est marqué & "1", alors le marquage de ce pixel est forcé à "2". La figure 2c représente l'image ternaire obtenue après dilatation effectuée sur l'image érodée. L'élément structurant est de dimension 3 x 3 pixels. Les astérisques entourés d'un cercle apparaissant en bordure des astérisques non barrés de l'image précédente correspondent aux pixels obtenus après dilatation et donc à la valeur de marquage "2". Le masque ternaire ainsi obtenu, disponible en sortie du circuit de détection de défauts, est transmis au filtre passe-bas 4. Comme indiqué précédemment, l'image interpolée est transmise sur une deuxième entrée du filtre passe-bas 4 qui reçoit également, sur une première entrée, le champ de vecteurs mouvement et sur une troisième entrée le masque ternaire. Le filtrage passe-bas est effectué sur les zones défectueuses de la manière suivante: - si le pixel courant est marqué "0", aucun filtrage n'est appliqué sur le pixel correspondant de l'image interpolée reçue en entrée; - si le pixel courant est marqué "1", un filtrage passe-bas est appliqué sur ce pixel sur une zone de dimension 5 x 5 pixels autour du pixel défectueux correspondant de l'image reçue; - si le pixel courant est marqué "2", un filtrage passe-bas est appliqué sur une zone de dimension 3 x 3 pixels autour du pixel défectueux correspondant de l'image reçue. Les dimensions des fenêtres de filtrage sont données & titre d'exemple. Le filtrage passe-bas moins sévère appliqué en périphérie des zones défectueuses (pixels marqués "2") permet une transition douce entre les zones de pixels défectueux et le reste de l'image. Ce filtrage peut être adapté à la valeur de la variance associée au vecteur, mesurant sa cohérence spatiale locale. Cette quantité est alors exploitée pour déterminer les coefficients du filtre passe-bas modifiant ainsi sa réponse en fonction de la confiance accordée au vecteur courant. Le filtrage peut être appliqué sur les valeurs de chrominance, en plus des valeurs de luminance. Le circuit d'interpolation calcule alors les images de chrominance interpolées sur lesquelles sont réalisés ces filtrages. Les domaines d'application de l'invention concernent par exemple la conversion de fréquence, le changement de standard ou toute application mettant en oeuvre une interpolation temporelle d'image à partir de la compensation de mouvement. REVENDICATION8 1. Procédé d'interpolation temporelle à compensation de mouvement d'une image j située entre une image n-1 et une image n réalisant une estimation de mouvement (1) entre l'image n-1 et l'image n pour fournir un champ de vecteurs mouvement V(n-l, n), une interpolation de l'image j (2) en fonction de ce champ de vecteurs mouvement, caractérisé en ce qu'il détecte (3) des vecteurs mouvement défectueux et en ce qu'il réalise un filtrage passe-bas (4) sur des zones de l'image interpolée correspondant à ces vecteurs défectueux. 2. Procédé selon la revendication 1, caractérisé en ce que les vecteurs mouvement défectueux sont déterminés en fonction d'une information de variance mesurant l'incohérence spatiale locale des vecteurs mouvement. 3. Procédé selon la revendication 2, caractérisé en ce que le filtrage est adapté à la valeur de la variance. 4. Procédé selon l'une des revendications précédentes, caractérisé en ce que la détection de vecteurs mouvement défectueux est suivie des opérations morphologiques d'érosion et de dilatation. 5. Procédé selon la revendication 4, caractérisé en ce que les éléments structurant utilisés pour les opérations morphologiques sont des fenêtres de dimension 3 x 3 pixels. 6. Procédé selon la revendication 4 ou 5, caractérisé en ce que la fenêtre de filtrage exploitée pour le filtrage passe-bas est de dimension inférieure pour les pixels marqués après l'opération de dilatation, à celle utilisée pour les pixels dont le marquage est obtenu après l'opération d'érosion. 7. Procédé selon la revendication 6, caractérisé en ce que la dimension de la fenêtre de filtrage pour les pixels obtenus après érosion est de 5 x 5 pixels et celle pour les pixels obtenus après dilatation est de 3 x 3 pixels. 8. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que l'interpolation et le filtrage sont appliqués sur les images de chrominance. 9. Dispositif pour la mise en oeuvre du procédé selon la revendication 1 comprenant un estimateur de mouvement (1) recevant une image n-1 et une image n pour le calcul d'un champ de vecteurs mouvement V(n-1, n), un circuit d'interpolation (2) calculant à partir de ces deux images n-1 et n et du champ de vecteurs mouvement une image interpolée Y(j), caractérisé en ce qu'il comporte également un circuit de détection de vecteurs mouvement défectueux (3) recevant le champ de vecteurs mouvement et un circuit de filtrage passe-bas (4) pour un filtrage de l'image interpolée en fonction des informations transmises par le circuit de détection (3). 10. Dispositif selon la revendication 9, caractérisé en ce que le circuit de détection (3) détecte les vecteurs mouvement défectueux en fonction d'une information de variance. 11. Dispositif selon la revendication 9 ou 10, caractérisé en ce que le circuit de détection de vecteurs défectueux (3) fournit une image binaire identifiant les pixels relatifs aux vecteurs mouvement défectueux et en ce qu'il réalise des opérations morphologiques d'érosion et de dilatation sur cette image pour fournir une image ternaire au filtre passe-bas (4). 12. Dispositif selon la revendication 9, 10 ou 11, caractérisé en ce que le filtrage passe-bas de l'image interpolée est effectué sur une fenêtre de filtrage de dimensions plus réduites pour les pixels marqués après l'opération de dilatation que pour les pixels dont le marquage est obtenu après l'opération d'érosion. 13. Dispositif selon la revendication 10, caractérisé en ce que le circuit de filtrage (4) détermine les coefficients du filtre passe-bas en fonction de la variance mesurant l'incohérence spatiale locale des vecteurs mouvements 14. Dispositif selon la revendication 9, caractérisé en ce que le circuit d'interpolation (2) réalise l'interpolation des images de chrominance et en ce que le circuit de filtrage filtre ces images de chrominance interpolées.