Brevet FR2944664A1 — publié le 20101022

Domaine de l'invention L'invention concerne un dispositif et une méthode de traitement d'images. Arrière-plan technologique L'invention concerne plus particulièrement le domaine de la compensation de mouvement liée à l'interpolation de vidéos. On utilise les algorithmes d'estimation/compensation de mouvement pour générer des séquences vidéo dont la fréquence trame est le double de celle de la fréquence de la vidéo d'entrée. Le principe est de générer des trames intermédiaires entre les trames sources, dans lesquelles on interpole les objets dans la direction de leurs mouvements. Un problème survient quand la source au lieu d'être une source de type vidéo (ayant une fréquence trame de typiquement 50Hz) est une source de type film (ou 2-2 pull-down dans le cas du PAL) pour laquelle chaque trame est dupliquée. Dans ce cas, si l'on utilise les algorithmes d'estimation/compensation de mouvement habituels, on obtient un résultat peu probant. Lorsque l'on a des vidéos dont certaines zones sont de type film (zones dupliquées temporellement) et d'autres de type vidéo, une solution est de détecter si la source est de type film et dans un tel cas d'appliquer un algorithme différent pour cette source de l'algorithme appliqué pour la source vidéo. La demande de brevet EP1592250 décrit un dispositif dans lequel on détecte des données en mode film dans des données en mode vidéo de manière à appliquer des traitements d'images adaptés à chaque type de format et notamment une compensation de mouvement adaptée à chaque type de données. Cependant, une telle solution a pour inconvénient de faire deux traitements différents, l'un pour le mode film et l'autre pour le mode vidéo et d'autre part est dépendante du détecteur de zones films et donc de sa fiabilité. Un but de l'invention présentée est de proposer une solution adaptative qui fonctionne par principe dans toutes les zones de la source qu'elles soient de type vidéo ou de type film et qui soit commune aux deux types de zones. Résumé de l'invention A cet effet, l'invention propose un dispositif de traitement d'images recevant en entrée un signal vidéo comprenant au moins deux zones, au moins une première zone ayant son contenu rafraichit chaque image et au moins une seconde zone ayant son contenu rafraichit toutes les deux images. Selon l'invention le dispositif comprend : a. Un estimateur de mouvement destiné à effectuer une première estimation de mouvement de la vidéo entre deux images consécutives ; et une seconde estimation de mouvement de la vidéo en n'utilisant qu'une image sur deux, b. Un premier interpolateur destiné à interpoler les images compensées en mouvement suite à la première estimation de mouvement c. Un second interpolateur destiné à interpoler les images compensées en mouvement suite à la seconde estimation de mouvement, d. Un multiplexeur destiné à sélectionner alternativement une trame en sortie du premier interpolateur et une trame en sortie du second interpolateur. 25 30 Préférentiellement, la première zone est issue d'une vidéo rafraichie toutes les 20ms et la second zone est issue d'une vidéo rafraichie toutes les 40ms. Préférentiellement, le dispositif comprend des moyens d'affichage desdites images en sortie du multiplexeur. L'invention concerne également un procédé de traitement d'image dans un dispositif recevant en entrée un signal vidéo, l'image comprenant au moins deux zones, au moins une première zone ayant son contenu rafraichit chaque image et au moins une seconde zone ayant son contenu rafraichit toutes les deux images. Selon l'invention, le procédé comprend les étapes suivantes: a. une première estimation de mouvement de la vidéo entre deux images consécutives ; b. une seconde estimation de mouvement de la vidéo en n'utilisant qu'une image sur deux, c. Une première interpolation destinée à interpoler les images compensées en mouvement suite à la première estimation de mouvement d. Une seconde interpolation destinée à interpoler les images compensées en mouvement suite à la seconde estimation de mouvement, e. Un multiplexage destiné à sélectionner alternativement une trame en sortie du premier interpolateur et une trame en sortie du second interpolateur. 30 Description détaillée des figures L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en 25 oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles : la figure 1 représente l'interpolation de trame d'une source de type vidéo selon l'art antérieur, la figure 2 représente l'interpolation de trame d'une source de type film selon l'art antérieur, la figure 3 représente une image source comprenant à la fois des données en mode vidéo et des données en mode film, la figure 4 représente un mode préféré de réalisation d'un dispositif selon l'invention, la figure 5 représente une mise en oeuvre de l'invention sur une source de type vidéo, la figure 6 représente une mise en oeuvre de l'invention sur une source de type film selon une première phase, la figure 7 représente une mise en oeuvre de l'invention sur une source de type film selon la seconde phase possible, la figure 8 représente un exemple de vue d'une image source ayant subit un traitement par un dispositif selon l'invention. Description détaillée de l'invention Les modules représentés sont des unités 30 fonctionnelles, qui peuvent ou non correspondre à des unités physiquement distinguables. Par exemple, ces modules ou certains d'entre eux peuvent être regroupés dans un unique composant, ou constituer des fonctionnalités d'un même logiciel. A contrario, certains 10 15 20 25 modules peuvent être éventuellement composés d'entités physiques séparées. Dans les explications qui suivent, on considèrera 5 que les sources sont de type progressif. L'invention s'applique également à des sources vidéo de type entrelacé. L'invention est décrite de manière préférentielle pour une source de type vidéo ayant une fréquence image 10 de 50Hz et une source de type film ayant une fréquence image de 25Hz. La figure 1 représente un exemple d'interpolation d'une source de type vidéo. Le principe de l'estimation/compensation de mouvement est de créer des 15 images intermédiaires (images interpolées) entre les images sources en interpolant les objets en mouvement pour les placer aux bonnes positions. La figure 1 en montre le principe. On a fait figurer sur les images interpolées des ballons gris pour montrer les positions 20 du ballon dans les images sources servant à l'interpolation bien qu'elles n'apparaissent pas réellement dans la trame interpolée. Les images sont interpolées entre les instants 0 et 25 20ms pour obtenir, à partir d'une source dont la fréquence image est de 50hz, une image dont la fréquence image est de 100Hz. Ainsi les images aux instants t+10ms, t+30ms,..., t+10 + n20ms, sont interpolées et obtenues après compensation 30 de mouvement entre les images à l'instant t et t+20ms. Dans ce cas, on observe un mouvement continu du ballon. Appliquons maintenant le même principe à une vidéo de type film (comportant des images répétées), comme illustré en figure 2. Dans ce cas, le résultat n'est pas satisfaisant. On a une séquence dans le mouvement du ballon de type 3-1-3-1-3-1 (3 trames identiques suivies d'une trame différente suivie de 3 trames identiques, etc...) qui est très gênante lorsqu'on visualise la séquence sur un moniteur. La figure 3 illustre deux images exemples (l'une sur la première ligne et une seconde sur la seconde ligne) dont le contenu contient à la fois des blocs en mode film et des blocs en mode vidéo. Par exemple, les blocs repérés par des lettres en minuscules (a, b, a', b', c') sont des sources de type film et les blocs repérés par des lettres en majuscules (A, B, C, D) sont des sources de type vidéo. On constate donc que le contenu d'un bloc de type film change tous les 40ms et que le contenu des blocs de type vidéo change tous les 20ms. L'image représentée sur la première ligne représente une première image selon une première phase et l'image représentée sue la seconde ligne représente une seconde image selon une seconde phase. La figure 4 représente un mode préféré de réalisation d'un dispositif 1 selon l'invention. Le dispositif 1 reçoit en entrée un signal vidéo 50Hz comprenant à la fois des données en mode film et des données en mode vidéo, tel que celui illustré en figure 3 par exemple. Le signal d'entrée est transmis à la fois à un premier estimateur de mouvement 2 et à un module de conversion 4, ce dernier effectuant une conversion du signal 50Hz en un signal 25Hz, en prenant une trame sur deux du signal à 50Hz. Le signal de sortie du module de conversion 4 est ensuite transmis à un second estimateur de mouvement 5. Ce dernier effectue une estimation de mouvement sur le signal à 25Hz, tandis que le premier estimateur de mouvement 2 effectue une compensation de mouvement sur le signal à 50Hz. L'estimateur de mouvement 2 produit en sortie des vecteurs de mouvement ainsi que le signal vidéo à 50Hz tel que reçu en entrée du dispositif 1. L'estimateur de mouvement 5 produit en sortie des vecteurs de mouvement ainsi que le signal vidéo à 25Hz reçu en entrée. Les estimateurs de mouvement 2 et 5 sont des 10 estimateurs de mouvement classiques bien connus de l'homme du métier. Le signal de sortie 50Hz ainsi que les vecteurs de mouvement issus du premier estimateur de mouvement 2 sont transmis à un premier interpolateur 3. 15 Le signal de sortie 25Hz ainsi que les vecteurs de mouvement issus du second estimateur de mouvement 5 sont transmis à un second interpolateur 6.Les interpolateurs 3 et 6 fonctionnent comme des interpolateurs classiques bien connus de l'homme du métier. 20 Les signaux en sortie des interpolateurs 3 et 6 sont illustrés en figure 5, respectivement sur la second ligne et la troisième ligne de schémas lorsque la source en entrée du dispositif 1 est de type vidéo, c'est-à-dire pour les zones repérées A, B, C et D sur la figure 3. 25 Les signaux en sortie des interpolateurs 3 et 6 sont illustrés en figure 6, respectivement sur la second ligne et la troisième ligne de schémas lorsque la source en entrée du dispositif 1 est de type film selon une première phase, c'est-à-dire pour les zones repérées a et 30 b sur la figure 3. Les signaux en sortie des interpolateurs 3 et 6 sont illustrés en figure 7, respectivement sur la second ligne et la troisième ligne de schémas lorsque la source en entrée du dispositif 1 est de type film selon une seconde phase, c'est-à-dire les zones repérées c, d et e sur la figure 3. Un multiplexeur 8 reçoit en entrée les signaux issus 5 des interpolateurs 3 et 6. Un ordonnanceur 7 contrôle le multiplexeur 8. L'ordonnanceur 7 contrôle le multiplexeur 8 de sorte que la sortie du multiplexeur 8 soit alternativement la sortie de l'interpolateur 3 et la sortie de 10 l'interpolateur 6. On obtient ainsi en sortie du multiplexeur 8 les signaux représentés en figure 5, 6 et 7 sur la dernière ligne de ces schémas. L'ordonnanceur 7 transmet un signal au multiplexeur 8. Lorsque ce signal vaut � 0 � la sortie du multiplexeur 8 est égale à la 15 sortie de l'interpolateur 3 et lorsque ce signal vaut � 1 �, la sortie du multiplexeur 8 est égale à la sortie de l'interpolateur 6. Ainsi pour les zones repérées A, B, C et D, on obtient un signal comme indiqué en figure 5 dernière 20 ligne et pour les zones repérées comme a, b on obtient un signal comme repéré en figure 6 dernière ligne et pour les zones repérées comme c, d, et e, on obtient un signal comme repéré en figure 7. Ainsi, on obtient en sortie du dispositif 1, un 25 signal de type 2-2-2-2 (deux images identiques entre elles suivies de deux autres images identiques entre elles suivies de deux images identiques entre elles...) pour les images de type film alors que dans le cas de l'interpolation classique comme représenté en figure 2 on 30 obtenait un signal de type 3-1-3-1-3-1 (trois images identiques entre elles suivies d'une image différente suivi de trois images identiques entre elles...). Ceci permet avantageusement de réduire les effets de type saccade (communément appelé � judder � en anglais) dans les zones de type film a,b,c,d et e et une compensation de mouvement correcte dans les zones de type vidéo A, B, C, D. Des moyens d'affichage 9 contrôlent l'affichage le 5 signal vidéo à 100Hz sur un écran. La figure 8 représente visuellement une image en 10 entrée et en interpolation. séquence vidéo partir de trois réalisé à 25Hz, sortie du multiplexeur 8 après L'image d'entrée fait partie d'une d'images à 50Hz. L'image est formée à contenus différents, d'un premier film (p1 d'un second film (p2 réalisé à 25Hz et d'une vidéo à 50Hz. Les images sont donc doublées pour les deux films de manière à avoir une image 50Hz. Suite 15 au traitement en sortie du dispositif 1, on obtient une image interpolée à 100Hz. Selon une variante, les deux estimateurs de mouvement 2 et 5 peuvent être un seul estimateur de 20 mouvement effectuant en parallèle les deux estimations de mouvement. Selon une autre variante (pouvant être combinée avec la variante ci-dessus), on peut améliorer l'invention en remplaçant les zones de l'image où les vecteurs de 25 mouvement sont forts, c'est-à-dire dans les parties correspondant à un signal de type vidéo, par les mêmes zones de la trame source correspondante, afin de diminuer les artéfacts. Revendications1. Dispositif (1) de traitement d'images recevant en entrée un signal vidéo comprenant au moins deux 5 zones, au moins une première zone (A, B, C, D) ayant son contenu rafraichi chaque image (vidéo) et au moins une seconde zone (a, b, c, d, e) ayant son contenu rafraichi toutes les deux images (film) caractérisé en ce qu'il comprend : a. Un estimateur de mouvement (2, 5) destiné à effectuer une première estimation de mouvement (2) de ladite vidéo entre deux images consécutives ; et une seconde estimation de mouvement (5) de ladite vidéo en n'utilisant qu'une image sur deux, b. Un premier interpolateur (3) destiné à interpoler les images compensées en mouvement suite à ladite première estimation de mouvement c. Un second interpolateur (6) destiné à 20 interpoler les images compensées en mouvement suite à ladite seconde estimation de mouvement, d. Un multiplexeur (8) destiné à sélectionner alternativement une trame en sortie du premier interpolateur et une trame en sortie du second 25 interpolateur. 2. Dispositif selon la revendication 1 caractérisé en ce que ladite première zone (A, B, C, D) est issue d'une vidéo rafraichie toutes les 20ms et que ladite second zone (a, b, c, d, e) est issue d'une vidéo 30 rafraichit toutes les 40ms. 3. Dispositif selon l'une des revendications précédentes caractérisé en ce qu'il comprend des moyens d'affichage (9) desdites images en sortie dudit multiplexeur (8). 10 15 4. Procédé de traitement d'image dans un dispositif recevant en entrée un signal vidéo, ladite image comprenant au moins deux zones, au moins une première zone ayant son contenu rafraichi chaque image (vidéo) et au moins une seconde zone ayant son contenu rafraichi toutes les deux images (film), le procédé étant caractérisé en ce qu'il comprend les étapes suivantes: a. une première estimation de mouvement de ladite vidéo entre deux images consécutives ; b. une seconde estimation de mouvement de ladite vidéo en n'utilisant qu'une image sur deux, c. Une première interpolation destinée à interpoler les images compensées en mouvement suite à ladite première estimation de mouvement d. Une seconde interpolation destinée à interpoler les images compensées en mouvement suite à ladite seconde estimation de mouvement, e. Un multiplexage destiné à sélectionner alternativement une trame en sortie du premier interpolateur et une trame en sortie du second interpolateur.