Brevet FR2717027A1 — publié le 19950908

Procédé de conversion de format de séquences d'images présentes dans un premier réseau de points d'image, en un second réseau de points d'image Pour l'enregistrement, la transmission et la reproduction de séquences d'images, il existe une multiplicité de formats d'images (réseaux de points d'image), qui sont la plupart du temps incompatibles entre eux. En fonction de l'utilisation, la réception s'effectue avec un rapport de format différent ainsi qu'avec une résolution locale et une résolution latérale différentes. En outre, l'exploration par balayage s'effectue par exemple soit selon le procédé à sauts de 1o lignes, soit progressivement ligne par ligne. Des différences correspondantes existent lors de la reproduction. Un problème central est l'incompatibilité de format dans la combinaison du "monde de la télévision" avec le "monde de l'ordinateur". Cependant, avec l'arrivée d'applications multimédia, il s'avère nécessaire d'éliminer cette incompatibilité et de réaliser une conversion de format d'images du "interlaced TV' (c'est-à-dire format de télévision à entrelacement) possédant une fréquence de trame de 50 Hertz ou de 60 Hertz, en les formats pour ordinateur (mode progressif avec des fréquences de traitement d'images comprises entre 60 et 100 Hertz). Dans le cas des cartes d'ordinateurs actuellement vendus, on ne tient cependant pas encore compte de ce problème. Au contraire, les deux trames d'une image complète sont enregistrées dans une mémoire d'images et sont lues séquentiellement à partir de ces dernières. Dans des zones de repos, ce procédé est parfait, mais dans le cas d'un déplacement, il apparaît cependant, en direction du décalage temporel des deux trames, des artéfacts gênants (distorsion en forme de peigne de bords verticaux ou de contours doubles dans le cas d'un déplacement horizontal, brouillage d'un objet mobile et du fond dans le cas d'un déplacement vertical, brouillage de textures à fines structures dans tous les 2 2717027 déplacements). Pour la représentation de haute qualité de signaux vidéo sur un terminal d'ordinateur, ce procédé n'est pas acceptable. Une autre solution très simple consiste à compléter les lignes manquantes de chaque trame au moyen d'une interpolation verticale. De ce fait, on évite d'une manière générale les artéfacts mentionnés précédemment, mais il apparaît une perte de résolution verticale, c'est-à-dire que les images sont floues dans toutes les zones, dans la direction verticale. De même, la combinaison des deux procédés au moyen d'une segmentation d'un objet mobile ne fournit aucun résultat satisfaisant, étant donné que l'impression de flou reste conservée pour des objets mobiles. io Dans la littérature, il existe des propositions de solutions pour ce problème de "deinterlacing", c'est-à-dire de suppression de l'entrelacement. Dans des procédés relativement simples, on utilise un filtrage linéaire ou non linéaire (de la médiane) pour une interpolation temporelle locale [1,2, se référer à la fin de la description], une autre méthode basée sur une interpolation, en fonction de la direction, moyennant l'utilisation d'une information de bord [3, se référer à la fin de la description], on obtient les meilleurs résultats avec des procédés à compensation de déplacement [4, se référer à la fin de la description]. Le déplacement des objets intervenant dans la scène est estimé et une interpolation est réalisée en tenant compte des vecteurs de déplacement déterminés. Mais ces procédés requièrent un nombre extraordinairement élevé de calculs et sont par conséquent coûteux à réaliser du point de vue matériel. Comparativement à l'estimation du déplacement pour le codage d'images mobiles, les vecteurs doivent en effet non seulement être déterminés bloc par bloc, mais au lieu de cela, individuellement pour chaque point d'image. En outre, des tests de fiabilité doivent être exécutés de manière que les vecteurs décrivent également le déplacement effectif d'une manière aussi précise que possible. Le problème à la base de l'invention consiste à indiquer un procédé selon lequel des séquences d'image d'un premier réseau de points d'image peuvent être converties en un second réseau de points d'image, par exemple des séquences d'image "interlaced" (entrelacées) dans un format progressif "deinterlacing" (c'est-à-dire suppression de l'entrelacement). L'application principale serait la reproduction de signaux vidéo sur des écrans d'ordinateurs dans des terminaux multimédia. Ce procédé devrait être aussi simple que possible de manière que, d'une part, on puisse obtenir une qualité d'image aussi bonne que 3 2717027 possible et que, d'autre part, on puisse également avoir une réalisation matérielle bon marché. Le problème est résolu à l'aide d'un procédé pour la conversion de format d'une séquence d'images présentes dans un premier réseau de points d'image en un second réseau de points d'image, caractérisé par le fait que - les valeurs de luminosité de points d'image dans le second réseau de points d'image sont formées par interpolation à partir des points d'image du premier réseau de points d'images, de la manière suivante a) on sélectionne des points sur des droites du premier réseau de points d'image, qui sont voisines du point d'image devant être formé, ces points étant déterminés o par des droites d'interpolation pivotées les unes par rapport aux autres et passant par le point d'image devant être formé, b) on détermine les variations de la valeur de luminosité à partir de ces points, en direction du point d'image devant être formé, en déterminant la variation de luminosité tout d'abord dans la direction de la droite verticale d'interpolation, puis en continuant dans les deux sens de rotation jusqu'à ce que l'on obtienne que la variation de la valeur de luminosité dans la direction d'une droite d'interpolation est minimale par rapport aux variations de valeurs de luminosité dans la direction des droites d'interpolation voisines, c) dans la direction du minimum de la variation de la valeur de luminosité, on exécute l'interpolation uniquement lorsque la variation de la valeur de luminosité de cette interpolation est inférieure à un seuil pouvant être prédéterminé, et sinon l'interpolation est exécutée dans une direction verticale d'interpolation pour le point d'image devant être produit. Cependant, le procédé peut être également utilisé pour la télévision avec une qualité améliorée de l'image, c'est-à-dire en tant qu'étape intercalaire pour accroître la fréquence de récurrence d'images pour obtenir ce qu'on appelle le "téléviseur sans papillottements" ou bien directement pour la reproduction selon un format progressif. Dans le procédé selon l'invention, on part du procédé qui est expliqué dans [3]. Dans ce document, on décrit une interpolation qui dépend de la direction, à l'intérieur des objets mobiles. Cependant, dans ce document, on utilise l'information de bord pour déterminer la direction d'interpolation, alors que conformément à l'invention, on utilise un critère d'homogénéité. Le procédé selon l'invention est basé sur l'observation suivante. La 4 2717027 plupart des objets présents dans une scène possède une certaine homogénéité du point de vue luminosité dans un voisinage local. Cela signifie, sur la base de la forme et de la structure des objets, que l'on peut trouver une direction dans laquelle la variation de la valeur de luminosité est minimale. Cela signifie que, dans cette direction considérée, également le pourcentage de fréquences locales élevées est minimum. Une interpolation dans cette direction ne peut par conséquent conduire qu'à une altération minimale de la résolution de l'image devant être produite. Non seulement le procédé selon l'invention permet de produire des o points d'image selon une représentation progressive au centre de deux lignes voisines du format de lignes intermédiaires, mais également on peut utiliser ce procédé pour produire des points d'image quelconques d'un réseau de points d'image, par exemple selon une représentation progressive, à partir des points d'image dans un premier réseau de points d'image, par exemple dans le format de lignes intermédiaires. De ce fait, il est possible de produire également des parties d'image dans des fenêtres ayant une taille variable, c'est-à-dire de réaliser un cadrage d'échelle des images, c'est-à-dire de les agrandir ou de les réduire. Il est en outre possible d'exécuter des agrandissements de parties de l'image. Selon une autre caractéristique de l'invention, I'examen des variations de la valeur de luminosité s'effectue dans le sens de rotation, dans lequel la variation de la valeur de luminosité diminue. Selon une autre caractéristique de l'invention, on détermine les valeurs de luminosité des points situés sur la ligne du premier réseau de points d'image, lorsque ce ne sont pas des points d'image, par interpolation des valeurs de luminosité des points d'image voisins sur la ligne commune. Selon une autre caractéristique de l'invention, la recherche minimale est exécutée dans une fenêtre 7 x 2 autour du point devant être déterminé. D'autres caractéristiques et avantages de la présente invention ressortiront de la description donnée ci-après, prise en référence aux dessins annexés, sur lesquels: - la figure 1 est une représentation de principe qui indique combien de points d'image manquants dans la représentation progressive peuvent être produits à partir d'une trame au moyen d'une interpolation qui dépend de la direction; 2717027 -la figure 2 est une représentation de laquelle on peut tirer la combinaison de la suppression d'entrelacement avec une conversion de réseau; et - la figure 3 illustre le procédé pour déterminer la direction d'interpolation dans le cas de la conversion de réseau. Sur la figure 1 on reconnaît une partie d'une trame, et on a représenté d'une manière générale deux lignes Z1 et Z2 de points d'image BP dans le format à lignes intermédiaires. Les points d'image BP dans le format à lignes intermédiaires sont désignés par des lettres majuscules. A partir de ces points d'image BP dans le format des lignes intermédiaires, on peut produire alors des points d'image BPN, qui sont situés sur la figure 1 au centre entre les lignes Zl et Z2. Les points d'image BPN devant être reproduits sont également situés sur une droite qui est désignée par ZN. Pour produire les points d'image BPN, c'est-à-dire déterminer leur valeur de luminosité, on étudie l'environnement du point d'image devant être s15 produit, désigné par X sur la figure 1. Sur la figure 1, on part d'une fenêtre ayant la taille de 7 x 2 points d'image dans la trame. On procède tout d'abord précisément comme cela est décrit dans [3]. On trace des droites d'interpolation RL qui passent par le point d'image X devant être produit, et ce dans des positions réciproquement pivotées d'angles pouvant être prédéterminés. Ces droites d'interpolation RL passent par le point X devant être produit et, sur la figure 1, par des points d'image BP des lignes Z1 et Z2 dans la trame. Par exemple, on obtient, dans la direction verticale une droite d'interpolation, qui est désignée par RL1, et des droites d'interpolation voisines désignées par RL2 et RL3. Pour chaque droite d'interpolation RL, on fixe alors la variation de la valeur de luminosité entre les points d'image BP, qui est commune à cette droite. On part de la droite verticale d'interpolation RL1 et on fixe quelle variation de la valeur de luminosité existe entre les points D et L. Ensuite, on fixe par exemple la variation de la valeur de luminosité entre les points d'image C et K, qui sont fixés par la droite d'interpolation RL2. Si la variation de la valeur de luminosité entre les points C et K est plus importante qu'entre les points D et L, on détermine la variation de la valeur de luminosité entre les points d'image E et M. Si cette variation est inférieure à la variation existant entre les points D et L, on poursuit avec la droite d'interpolation RL5 et on fixe quelle variation de la valeur de luminosité est établie entre les points d'image F et N. En supposant que cette 6 2717027 variation de la valeur de luminosité est supérieure à celle qui existe entre les points d'image E et M, alors un minimum de la variation de la valeur de luminosité a été établi et la direction, qui est fixée par la droite d'interpolation RL3, est utilisée pour l'interpolation de la valeur de luminosité du point d'image X. Par conséquent, à partir des valeurs de luminosité du point d'image E et du point d'image M, on détermine selon le procédé connu quelle valeur de luminosité doit posséder le point d'image X devant être produit. Par conséquent, selon ce procédé, à partir de la droite verticale RL1 on recherche, dans les deux sens de rotation, un minimum de la variation de la o valeur de luminosité, et lorsque l'on a trouvé un tel minimum, la droite correspondante d'interpolation, c'est-à-dire les points d'image situés sur cette droite, est sélectionnée et la valeur de luminosité du point d'image devant être produit X est obtenue par interpolation à partir des valeurs de luminosité de ces points d'image. Si alors on a trouvé de cette manière un candidat pour une direction d'interpolation, on recherche ensuite si cette direction représente également une homogénéité suffisamment élevée de la luminosité. C'est le cas lorsque le minimum de la variation de la valeur de luminosité est inférieur à seuil pouvant être prédéterminé, alors que sinon la direction verticale d'interpolation est préférée. L'interpolation peut être réalisée au moyen d'une simple formation de la valeur moyenne, mais on peut également utiliser des filtres transversaux symétriques plus complexes. La recherche ainsi décrite pour la direction d'interpolation fournit nettement moins d'artéfacts que la simple recherche du minimum. La raison en est qu'on ne tient compte de points voisins plus éloignés que lorsque la différence absolue des variations de la valeur de luminosité diminue en permanence avec l'angle de rotation par rapport à la verticale. Dans [3], on fixe au contraire le minimum des variations de la valeur de luminosité dans toutes les directions, pour, par exemple, trois ou sept droites d'interpolation, et on effectue l'interpolation à partir de ce minimum. Sur la figure 1, les points d'image BPN de la ligne devant être formée ZN sont situés au centre entre les lignes Z1, Z2 d'une trame. Cependant, avec le procédé selon l'invention il est également possible de produire un point d'image de telle sorte que des parties de l'image peuvent être agrandies ou réduites. Par 7 2717027 conséquent, une conversion de réseau est possible pour le cadrage d'échelle local de séquences d'images et d'images individuelles. Le procédé fournit par conséquent un autre réseau de points d'image, en sorte que par exemple la conversion système entrelacé - système progressif peut être associée à une conversion du réseau de points d'image. Cette modification du réseau de points d'image peut être tirée, en principe, par exemple de la figure 2. Ici à nouveau, on a représenté deux lignes Z1 et Z2 dans le format de trame, et maintenant des lignes ZN1 à ZN4 avec les points d'image BPN devant être formés, dans un réseau modifié de points d'image. La première ligne ZN1 est située à l'intérieur de la ligne Z1, les différents points d'image BPN devant être produits étant décalés par rapport aux points d'image BP dans le format de trame. Entre les lignes Z1 et Z3 dans le format de trame, on insère d'autres lignes de points d'image BPN, devant être produites à savoir ZN2 et ZN3, et finalement, encore une autre ligne ZN4 de points d'image BPN devant être produits est située de l'autre côté de la droite Z2. Sur la figure 3, on peut voir, quant au principe, de quelle manière les différents points d'image BPN peuvent être obtenus dans la conversion du réseau de points d'image à partir du format de trame. On a représenté dans le format de trame deux lignes Z1 et Z2 de points d'image BP, entre lesquelles doit être produite une nouvelle ligne ZN de points d'image BPN. Le point d'image X, qui doit être maintenant produit, n'est alors plus situé au centre entre les lignes Z1 et Z2. Il est également décalé dans la direction de la verticale passant par deux points d'image BP des deux lignes Z1, Z2. Conformément au procédé selon l'invention, on peut cependant produire ce point d'image X. A nouveau, et comme cela a déjà été expliqué, on trace sous un angle a, pouvant être prédéterminé, des droites d'interpolation passant par le point d'image X. Ces droites d'interpolation sont désignées par LN1, LN2 et LN3. Les droites LN rencontrent les lignes Z1, Z2 dans le format de trame, mais pas au niveau des points d'image BP présents en cet endroit. Les points d'intersection des droites LN avec les lignes Z1, Z2 sont désignés par A, B, C sur la ligne Z1 et par F, E, D sur la ligne Z2. Pour déterminer alors la valeur de luminosité du point d'image X devant être produit, il faut tout d'abord déterminer la valeur de luminosité des points A, B, C et F, E, D, étant donné que ces points ne sont pas situés au niveau des points d'image BP. Ensuite, on peut fixer, conformément au procédé déjà expliqué, le minimum des variations de la valeur de luminosité sur les droites 8 2717027 d'interpolation LN, et après détermination de la direction avec la variation minimale de la valeur de luminosité, on peut produire par interpolation la valeur de luminosité du point d'image X. La détermination des valeurs de luminosité des points d'image A, B, C s'effectue par interpolation entre des points d'image voisins BP de la ligne Z1, sur laquelle sont également situés les points A, B, C. II en va de même pour les points F, E, D. Ensuite, on fixe, de la manière indiquée plus haut, le minimum des variations de la valeur de luminosité et on détermine, à partir de là, par interpolation, la valeur de luminosité du point d'image X devant être produit. Pour l'explication, sur la figure 3 on a inséré un réseau de coordonnées R-KO. On a: dx = distance horizontale de deux points d'image BP, dy = distance verticale de deux points d'image BP, xo,yo = coordonnées du point d'image X devant être interpolé, ca = angle d'inclinaison de la direction d'interpolation, x1 = point d'intersection de la droite d'interpolation LN2 avec la ligne supérieure Z1, x2 = point d'intersection de la ligne d'interpolation LN2 avec la ligne inférieure Z2, k (0,0) = valeur de luminosité du point d'image BPOO, k (0,1) = valeur de luminosité du point d'image BPO1, k (1,0) ou X (1,1) = valeurs de luminosité des points d'image BP10 et BP11. Lorsque l'on part de ces grandeurs et qu'on détermine par exemple tout d'abord les valeurs de luminosité des points B et E sur les lignes Z1 et Z2, ceci peut s'effectuer conformément aux formules suivantes: ;B = (1 x0') M(0,0) +xO'X(0,1) kE = (1-x0') (1,0) + x0'X(1,1) avec x0' = xo V dx, c'est-à-dire qu'une normalisation est effectuée de xo à dx. De cette manière, on peut déterminer les valeurs de luminosité I des points A à F. Si les valeurs de luminosité des points A à F sont connues, on peut choisir, pour les différentes droites d'interpolation LN, la droite dont la variation de la valeur de luminosité est un minimum. A cet effet, on effectue l'étude suivante: DO = IkB -XEI D-1= IXA-XDI D1 = Ilc -kFI 9 2717027 D représente les variations de la valeur de luminosité, dont on recherche le minimum. Si par exemple Do est un minimum, on choisit la droite d'interpolation LN1. Dans le cas o D_1 ou D1 est minimal, on reherche de nouvelles directions d'interpolation avec un écart plus important par rapport à la verticale. Si la variation de la valeur de luminosité dans la nouvelle direction est plus importante que précédemment, on sélectionne la droite d'interpolation précédente, sinon, on répète l'étape indiquée plus haut avec un écart plus important à partir de la droite. On répète ces étapes jusqu'à ce que l'on trouve un minimum pour la variation de la valeur de luminosité. Mais dans la pratique, il suffit d'interrompre les itérations au io bout au maximum de trois ou quatre étapes. On suppose que la droite d'interpolation LN2 est celle pour laquelle la variation de la valeur de luminosité entre les points A et D est un minimum par rapport aux droites d'interpolation voisines, et on sélectionne alors cette direction et on effectue l'interpolation et ce conformément à la formule suivante: s (x0',Y0') = (1-YO')XA + YO'XD YO avec y0' =.. dy Le procédé décrit permet par conséquent de produire, à partir d'un réseau prédéterminé de points d'image, un autre réseau quelconque de points d'image, sans qu'il soit nécessaire de mettre en oeuvre une grande dépense du point de vue matériel. 2717027 Liste des références [1] P Haavisto,J. Juhola, et Y. Neuvo: "Motion adaptive scan rate up-conversion". Multidimensional System and Signal Processing, Vol. 3, N 2, pp. 113-130, Mai 1992 [2] M. Weston et D.M. Ackroyd. Fixed, adaptative and motion compensated interpolation of interlaced TV pictures. International Broadcasting Convention 1988, IEE Conference Publication N 293, pp. 220-223, Septembre 1988. [3] T. Doyle et M. Looymans: "Progressive scan conersion using edge information". o Proc. 1989 HDTV-Workschop, Turin. [4] M. Ernst: "Motion compensed vidéo processing for studio application". Conf. "Les Assises des Jeunes Chercheurs", Tokyo, 8-12 Juin 1992. il 2717027 REVENDICATIONS 1. Procédé pour la conversion de format de séquences d'images présentes dans un premier réseau de points d'image en un second réseau de points d'image, caractérisé par le fait que - les valeurs de luminosité de points d'image (BPN) dans le second réseau de points d'image sont formées par interpolation à partir des points d'image (BP) du premier réseau de points d'images, de la manière suivante a) on sélectionne des points sur des lignes (Z) du premier réseau de points d'image, qui sont voisines du point d'image (X) devant être formé, ces points étant déterminés par des droites d'interpolation (LN) pivotées les unes par rapport aux autres et passant par le point d'image devant être formé (X), b) on détermine les variations de la valeur de luminosité à partir de ces points, en direction du point d'image devant être formé, en déterminant la variation de luminosité tout d'abord dans la direction de la droite verticale d'interpolation (LNA), puis en continuant dans les deux sens de rotation jusqu'à ce que l'on obtienne que la variation de la valeur de luminosité dans la direction d'une droite d'interpolation est minimale par rapport aux variations de valeurs de luminosité dans la direction des droites d'interpolation voisines, c) dans la direction du minimum de la variation de la valeur de luminosité, on exécute l'interpolation uniquement lorsque la variation de la valeur de luminosité de cette interpolation est inférieure à un seuil pouvant être prédéterminé, et sinon l'interpolation est exécutée dans une direction verticale d'interpolation pour le point d'image devant être produit. 2. Procédé suivant la revendication 1, selon lequel l'examen des variations de la valeur de luminosité s'effectue dans le sens de rotation, dans lequel la variation de la valeur de luminosité diminue. 3. Procédé suivant l'une des revendications 1 ou 2, caractérisé par le 12 2717027 fait qu'on détermine les valeurs de luminosité des points situés sur la ligne du premier réseau de points d'image, lorsque ce ne sont pas des points d'image, par interpolation des valeurs de luminosité des points d'image voisins sur la ligne commune.5 4. Procédé suivant l'une des revendications 2 à 3, caractérisé par le fait la recherche minimale est exécutée dans une fenêtre 7 x 2 autour du point devant être déterminé.