Brevet FR2672407A1 — publié le 19920807

DISPOSITIF DE CODAGE POUR DES IMAGES EN MOUVEMENT La présente invention concerne un dispositif de codage pour des images en mouvement qui code des signaux d'images en mouvement au moyen d'un traitement numérique, et elle concerne plus particulièrement un dispositif de codage d'images en mouvement du type à cadence d'images variable qui commande de façon appropriée la cadence d'images conformément à la quantité de données d'images qui sont produites et codées. Dans des cas dans lesquels on transmet des signaux d'images en mouvement, il est nécessaire de réduire autant que possible la quantité de données qui est transmise, au moyen d'un codage. On appelle ceci une compression de largeur de bande, et dans ce type de dispositif de codage d'images en mouvement, la quantité d'information codée qui est produite varie en fonction de l'importance du mou- vement des images considérées, ce qui fait qu'on connaît un procédé dans lequel, conformément à la quantité d'information codée qui est produite, on effectue une commande appropriée de la cadence d'images (suppression de certaines images), et une commande de la taille de pas de quantification des signaux d'images, et on commande ainsi la résolution temporelle et la résolution spatiale.Par exemple, la première publication de demande de brevet du Japon n0 SHO 63-102482 décrit un procédé dans lequel on commande la cadence d'images sur la base de la quantité d'information qui est accumulée dans une mémoire tampon d'émission. Dans l'art antérieur décrit ci-dessus, on commande de seulement la cadence images conformément à la quantité d'information qui est accumulée dans la mémoire tampon d'émission, indépendamment de la commande de la taille de pas de quantification, et on ne peut pas effectuer une commande idéale des résolutions temporelle et spatiale, ce qui fait qu'il apparaît un problème consistant en ce que l'amélioration de la qualité d'image est limitée. Un but de l'invention est donc de procurer un dispositif de codage d'images en mouvement qui minimise ia dégradation de la qualité d'image, en liant de façan appropriée et en#ectuaiit;une coimuande de cadence d'images et une cob mande de taille de pas de quantification, et en outre de procurer un dispositif de codage d'images en mouvement qui permet la sélection préférentielle externe de la commande de cadence d'images ou de la commande de pas de quantification. pour atteindre le but ci-dessus, le dispositif de l'invention comporte : des moyens de détection de mouvement qui sont destinés à détecter le mouvement d'images en mouvements appliqués en entrée; des moyens de commande de taille de pas qui sont destinés à déterminer une largeur de pas de quantification, en se référant à un nombre total d'images sautées qui a été fixé au moment de l'émission d'une image immédiatement précédente; des premiers moyens de calcul de nombre d'images sautées, qui sont destinés à fixer une valeur d'un premier nombre d'images sautées de façon que la valeur du premier nombre d'images sautées soit d'autant plus faible que le mouvement qui est détecté par les moyens de détection de mouvement au moment où une image est émise, est grand; des seconds moyens de calcul de nombre d'images sautées qui sont destinés à fixer une valeur d'un second nombre d'images sautées, de façon que la valeur du second nombre d'images sautées soit d'autant plus faible que la taille de pas qui est fixée par les moyens de commande de taille de pas au moment où une image est émise est faible; des troisièmes moyens de calcul de nombre d'images sautées qui sont destinés à présenter en sortie le nombre le plus faible entre une somme d'un nombre minimal d'images sautées déterminé indépendamment, du premier nombre d'imaghes sautées et du second nombre d'images sautées, d'une part, et un nombre maximal d'images sautées déterminé indépendamment à titre de nombre total d'images sautées, d'autre part; et des moyens de décision de saut d'image qui sont destinés à commander l'émission de façon qu'un nombre d'images correspondant au nombre total d'images sautées après qu'une image a été émise, ne soient pas émises. Le premier nombre d'images sautées représente le mouvement de l'image (variation temporelle), et le second nombre d'images sautées représente la variation spatiale de l'image, ce qui fait qu'il est possible d'effectuer une détermination composite du nombre d'images émises, en déterminant un nombre total d'images sautées à partir de la somme des nombres précités; et en outre, en donnant la possibilité de fixer de façon variable et externe le second nombre d'images sautées, il devient possible de fixer la cadence d'images d'une manière qui convient mieux aux images transmises, et donc d'améliorer la qualité d'image; Dans l'invention, l'opération consistant à abandonner des images au moment de l'émission (saut d'images) est effectuée conformément aux degrés respectifs de mouvement sur l'écran, c'est-à-dire à la variation temporelle, et conformément à la variation spatiale sur l'écran, de façon qu'il devienne possible d'effectuer un codage qui limite la dégradation de la qualité d'image conformément à la qualité de l'écran, et il est en outre possible de sélectionner de façon extérieure le type de variation, à savoir la variation temporelle ou la variation spatiale, auquel on donne priorité dans le codage, ce qui a pour effet de réduire encore davantage la dégradation qui résulte du codage. D'autres caractéristiques et avantages de l'invention seront mieux compris à la lecture de la description qui va suivre d'un mode de réalisation, donné à titre d'exemple non limitatif. La suite de la description se réfère aux dessins annexés dans lesquels La figure 1 est un schéma synoptique montrant un mode de réalisation préféré d'un dispositif de codage d'images en mouvement conforme à l'invention. La figure 2 est un schéma montrant un exemple de structure de la partie de commande de cadence d'images. La figure 3 est un diagramme séquentiel montrant un exemple de fonctionnement du mode de réalisation préféré de la figure 1. La figure 4 est un schéma explicatif de l'opération de saut d'images d'écran. La figure 4 montre 30 images, définies par des signaux d'images, d'un système de télévision de type général, qui sont disposées dans la direction d'un axe de temps; une image correspond à l'information contenue sur un écran, et trente "écrans" sont présentés en un intervalle d'une seconde. Cependant, dans des systèmes de transmission d'images en mouvement dans lesquels la quantité de données que l'on peut transmettre est limitée, on transmet 15 images par seconde (saut de 1 image), 10 images par seconde (saut de 2 images), 7,5 images par seconde (saut de 3 images), 6 images par seconde (saut de 4 images), ou autre. La figure 1 montre un mode de réalisation préféré de l'invention; on l'utilise dans des systèmes de transmission dans lesquels la quantité de données qui est transmise est limitée comme indiquée ci-dessus. Le dispositif de codage d'images en mouvement du mode de réalisation préféré présent utilise un codage par intervalle d'image employant une transformation orthogonale et une compensation de mouvement au moyen de vecteurs de mouvement. Un signal de télévision 1 est converti en un signal d'image numérique au moyen d'un convertisseur analogique/numérique 100, et il est enregistré dans une mémoire d'image 110.Comme on l'expliquera ci-après, le signal d'image régénéré de l'image précédente, qui est décodé de façon locale, est enregistré dans une mémoire d'image à retard variable 210, ce signal d'image est transmis par un filtre de boucle 200, et il est appliqué à l'entrée d'un soustracteur 120 qui calcule la différence entre ce signal et l'image présente, et ce signal de différence est appliqué à l'entrée d'un dispose tif de transformation orthogonale 130. Le procédé général de transformation orthogonale est actuellement la trans for- mation en cosinus discrète, dans laquelle l'écran correspondant à une image est divisé en un certain nombre de blocs et une transformation en cosinus est accomplie sur les données d'image de chaque bloc (comprenant par exemple 8 x 8 pixels).Le signal de transformation qui résulte de la transformation orthogonale est quantifié en niveaux discrets, de façon linéaire ou non linéaire, dans un quantificateur 140, et il est codé en un code de longueur variable conformément à la fréquence de génération, au moyen d'un codeur à longueur variable 150, après quoi le signal est appliqué au dispositif d'assemblage d'image 160. Dans le dispositif d'assemblage d'image 160, les données d'images codées et des données supplémentaires (vecteur de mouvement 3, mode de codage 4), sont utilisées pour assembler une image pour l'émission, cette image est accumulée dans une mémoire tampon d'émission 170, et elle est transmise au circuit d'émission sous la forme des données d'émission 2. Le dispositif présent comprend une boucle de décodage locale. En d'autres termes, le signal de sortie du quantificateur 140 est décodé pour donner un signal d'image régénéré, par le quantificateur inverse 240 et le dispositif de transformation orthogonale inverse 230, et les données obtenues sont additionnées par l'additionneur 220 aux données de l'image précédente, et le résultat est enregistré dans la mémoire d'image à retard variable 210.Le détecteur de vecteur de mouvement 300, qui est nécessaire pour la compensation du mouvement, détecte le mouvement au moyen d'un traitement de comparaison de configuration entre les données d'entrée de l'image présente et les données d'entrée de l'image précédente, et le résultat de ce traitement est appliqué au dispositif de décision de vecteur de mouvement/dispositif de décision de mode de codage 310, qùi génère des données de vecteur de mouvement 3 et des données de mode de codage 4, à titre de données supplémentaires. Un dispositif de commande de caractéristiques temporelles de codage 500 reçoit en entrée le mode de codage 4 et un signal de début de codage d'image (FSEN) 5, et il génère et émet un signal de commande de mémoire d'image 6, un signal de commande de détection de vecteur de mouvement 7, un signal de commande de mémoire à retard variable 8, un signal de début de codage d'image (FSS) 9 et un signal de synchronisation de codage par bloc (MBS) 10.Un dispositif de commande de taille de pas 600 détermine la largeur de l'intervalle discret (que l'on appelle taille de pas) dans le quantificateur 140, et il reçoit à titre de signaux d'entrée le signal de synchronisation de codage par bloc 10, le nombre total d'images sautées ST, la quantité d'information accumulée dans le tampon B, la valeur de fixation de cadence d'émission P, qui est un signal fixé de façon externe, la valeur de fixation du nombre minimal d'images sautées Smin, et la valeur limite de la quantité d'information accumulée dans le tampon, BL, et il fournit en sortie la taille de pas Qs.Le fonctionnement de tous les éléments ci-dessus est le même que dans le dispositif classique; cependant, le dispositif de commande de cadence d'images 700 commande la cadence d'image du traitement d'image de l'ensemble du dispositif, en commandant le dispositif de commande de caractéristiques temporelles de codage 500, qui est un élément spécifique de l'invention. Le dispositif de commande de cadence d'images 700 reçoit en entrée les valeurs de fixation du nombre minimal et du nombre maximal d'images sautées, Smin et Smax, qui sont des signaux fixés de façon externe, la valeur limite de la quantité d'information du tampon, BL, et le signal d'horloge d'image (FST) 18, et en outre les données de mouvement 3, la quantité d'information accumulée dans le tampon B, le signal de début de codage d'image 9, le signal de synchra- nisation de codage par bloc 10 et la taille de pas Qs sont appliqués en entrée sous la forme de signaux internes.Sur la base de ces signaux d'entrée, et en employant un procédé prédéterminé, le dispositif de commande de cadence d'images 700 génère le signal de début de codage d'image 5, et il sélectionne et commande les images qui doivent être traitées par l'ensemble du dispositif de codage d'images en mouvement. La figure 2 montre un exemple concret de la structure du dispositif de commande de cadence d'images 700 de la figure 1; en premier lieu, le signal d'horloge d'image 18 est compté dans le compteur de T 710 qui produit un numéro d'image T; Si le signal d'horloge d'image 18 est un signal ayant une fréquence de 30 Hz, le numéro d'image T aura des valeurs cycliques allant de 1 à 30. Cette valeur est comparée dans le dispositif de décision 720 avec un numéro d'image de codage effectif Teff. Lorsque le résultat de la comparaison du dispositif de décision 720 montre une discordance, l'image qui correspond au numéro d'image T est sautée, et un signal de concordance 22 n'est émis vers le dispositif de décision 730, concernant la quantité d'information accumulée dans le tampon, que lorsque le dispositif de décision 720 trouve une condition de concordance.Le dispositif de décision 730 compare la quantité d'information accumulée dans le tampon, B, et la valeur limite du tampon, BL, et dans le cas où B est inférieure à BL, c'està-dire dans le cas où la quantité d'information accumulée B de la mémoire tampon d'émission 170 est inférieure à la valeur limite BL qui est fournie de l'extérieur, le signal de début de codage 5 est activé, et il est émis vers le dispositif de commande de caractéristiques temporelles de codage 500 de la figure 1, et le traitement de codage commence. Au contraire, dans le cas où B est supérieure ou égale à BL t le signal 23 est émis, et sous l'effet de ce signal le calculateur de Teff 740 ajoute une valeur 1 à Teff, et il applique le résultat au dispositif de décision 720.Par cette opération, lorsqu'une valeur de 1 est ajoutée au numéro d'image T du compteur de T 710, la comparaison qu'effectue le dispositif de décision 720 indique la concordance. De cette manière, lorsque la quantité d'infor- mation accumulée B de la mémoire tampon d'émission 170 tombe au-dessous de la valeur limite BL, le codage et l'émission sont effectués. En outre, la détermination du numéro d'image de codage effectif Teff, qui est accomplie au moyen du calculateur de Teff 740 au moment de l'application d'un nombre total d'images sautées ST, est effectuée conformément à la formule suivante Teff = Teff (valeur dans l'état précédent) + ST + 1 (1) On va maintenant expliquer le procédé de détermination du nombre total d'images sautées ST. Cette détermination est effectuée en synchronisme avec le signal de synchronisation de codage par bloc 10, au moment de l'application du signal de début de codage d'image 9. En premier lieu, le vecteur de mouvement 3 est appliqué au calculateur de SM 750, et ce dernier calcule le nombre d'images sautées imposé par la compensation du mouvement, SM. Concrètement, on effectue une recherche portant sur la présence ou l'absence de compensation de mouvement par blocs, qui sont les unités élémentaires de division pour la transformation orthogonale, on compte un nombre de blocs de compensation de mouvement pour chaque image, et on détermine des nombres d'images sautées SM conformément à ces nombres de blocs, comme l'indique le Tableau 1.Le tableau montre que lorsque le mouvement est important, le nombre d'images sautées SM est égal à 0, tandis que lorsque le mouvement diminue, SM devient plus élevé. TABLEAU 1 Nombre de blocs de compensation de mouvement SM 0 - 6 3 7 - 12 2 13 - 25 1 plus de 26 0 Ensuite, la taille de pas de quantification Qs' est appliquée au calculateur de Ss 760, et ce dernier calcule le nombre d'images sautées qui est imposé par la taille de pas de quantification, Ss. Dans ce but, la taille de pas de quantification moyenne de l'image d'écran précédente est calculée à partir de la valeur Qs appliquée en entrée, et comme le montre le Tableau 2, plus cette valeur est élevée, plus le nombre d'images sautées S5 devient élevé. TABLEAU 2 Taille de pas de quantification de l'image d'écran précédente 2 - 10 0 12 - 18 1 20 - 26 2 28 - 34 3 36 - 50 4 52 - 58 5 60 - 62 6 TABLEAU 3 Taille de pas de quantification de l'image d'écran précédente Priorité à la Intermédiaire Priorité à résolution la résolution temporelle spatiale 2 - 6 0 0 0 8 - 10 0 0 1 12 - 14 0 1 1 16 - 18 1 1 2 20 - 22 1 2 2 24 - 26 2 2 3 28 - 30 2 3 3 32 - 34 3 3 4 36 - 38 3 4 4 40 - 42 4 4 4 44 - 46 4 4 4 48 - 50 4 4 5 52 ~ 54 4 5 5 56 - 58 5 5 6 60 - 62 5 6 6 Le Tableau 3 montre un exemple différent de nombre d'images sautées Ss; la taille de pas de quantification est divisée en 15 pas et des nombres d'images sautées sont déterminés pour chaque pas.On peut sélectionner un cas dans lequel on a donné priorité à la résolution temporelle (colonne "priorité à la résolution temporelle" du Tableau 3), un cas dans lequel on a donné priorité à la résolution spatiale (colonne "priorité à la résolution spatiale" du Tableau 3 ; les nombres d'images sautées ont des valeurs plus élevées que dans le cas de la priorité temporelle),ou un cas intermédiaire (colonne "intermédiaire" du Tableau 3), et il est possible de permettre à un utilisateur d'indiquer cette sélection de façon externe. De la même manière que ci-dessus, on calcule le nombre d'images sautées SM à partir du degré de compensation de mouvement, et on calcule le nombre d'images sautées S5 à partir du degré de quantification. Le calculateur de ST 770 calcule de la manière suivante un nombre total d'images sautées ST, à partir de ces valeurs et de la valeur de fixation du nombre minimal d'images sautées Smin et de la valeur de fixation du nombre maximal d'images sautées Smax, qui sont des signaux fixés de façon externe. En premier lieu, on effectue le calcul ST = S5 + SM + Smin (2) et si ST > Smax, on présente en sortie ST = Smax, tandis T que si ST La figure 3 est un diagramme séquentiel qui montre le fonctionnement d'ensemble du mode de réalisation préféré présent. Dans l'état initial, pour l'image initiale, on a T = 1 et ST = 0, et le numéro d'image effective Teff est déterminé au moyen de la formule (1). En outre, la valeur de fixation du nombre minimal d'images sautées Smin est fixée à 1, et jusqu'à ce que T = 8, la quantité d'information accumulée B de la mémoire tampon d'émission 170 ne dépasse pas la valeur limite du tampon BL (B Lorsque la valeur de T est égale à 2, on a T # Teff, ce qui fait que le signal de début 5 n'est pas émis, et l'image considérée est sautée et n'est pas émise (ceci est indiqué par S sur la figure 3). En outre, les valeurs des nombres d'images sautées SM et Ss ne sont pas actualisées, et par conséquent, comme il ressort clairement des formules (1) et (2), l'actualisation du nombre d'images sautées ST et du numéro d'image effective Teff n'est pas effectuée. Lorsque la valeur de T est égale à 3, on a T = Teff, le signal de début 5 est émis, et l'écran correspondant à l'image numéro 3 est émis.Si on suppose que lesignal de sortie du calculateur SM 750 et celui du calculateur de Ss 760 sont des nombres d'images sautées ayant la valeur 5M = su = 1, alors conformément au vecteur de mouve S ment 3 qui est détecté à ce moment, et conformément à la valeur de taille de pas de quantification Qs, le calculateur de ST 770 présente en sortie une valeur de ST = 3, et par conséquent la valeur du numéro d'image effective Teff que fournit le calculateur de Teff 740 est égale à 7.Par conséquent, après ceci, les images correspondant à T = 4-6 sont sautées, et l'image ayant le numéro T = 7 est ensuite appliquée à l'entrée de la mémoire tampon d'émission 170 cependant, l'opération d'émission n'est pas effectuée à la suite, du fait qu'ici la quantité d'information accumulée B de la mémoire tampon 170 dépasse la valeur limite BL. Lorsque ceci se produit, l'actualisation des valeurs des nombres d'images sautées S# et et Sus, et par conséquent du nombre d'images sautées ST, est effectuée; cependant, après ceci, jusqu'à ce que la mémoire tampon 170 soit vidée et que l'on ait B t BL, l'émission et l'actualisation des valeurs de nombres d'images sautées ne sont pas effectuées, et à partir du point auquel la valeur de T est égale à 8, seul le numéro d'image effective Teff est augmenté par incréments de 1, au moyen du signal 23 qui provient du dispositif de décision de quantité d'information accumulée dans le tampon, 730. Ensuite, après que B est devenu inférieur à BL (sur la figure 3, à partir du point auquel la valeur de T est égale à 11), l'émission recommence. Il va de soi que de nombreuses modifications peuvent être apportées au dispositif décrit et représenté, sans sortir du cadre de l'invention. REVENDICATIONS 1. Dispositif de codage d'images en mouvement dans lequel, après avoir converti en un signal numérique chaque image d'un signal d'images en mouvement qui est appliqué en entrée, on effectue une transformation orthogonale et une quantification sur chacun des blocs en lesquels un écran est divisé, et on émet des données numériques qui ont été quantifiées, sous la forme d'un code à longueur variable, par l'intermédiaire d'un tampon d'émission (170), caractérisé en ce qu'il comprend : des moyens de détection de mouvement (300, 310) destinés à détecter le mouvement d'images en mouvement qui sont appliquées en entrée; des moyens de commande de taille de pas (600) qui sont destinés à déterminer une largeur de pas de quantification, par référence à un nombre total d'images sautées entre des images consécutives émises, qui a été fixé au moment de l'émission d'image immédiatement précédente; des moyens de calcul d'un premier nombre d'images sautées (750) qui sont destinés à fixer une valeur d'un premier nombre d'images sautées, de façon que la valeur dû premier nombre d'images sautées soit d'autant plus faible que le mouvement détecté par les moyens de détection de mouvement (300, 310) au moment où une image est émise, est grand; des moyens de calcul d'un second nombre d'images sautées (760) qui sont destinés à fixer une valeur d'un second nombre d'images sautées, de façon que la valeur de ce second nombre d'images sautées soit d'autant plus faible que la taille de pas qui est fixée par les moyens de commande de taille de pas (600) au moment où une image est émise, est faible; des moyens de calcul d'un troisième nombre d'images sautées (770) qui sont destinés à fournir en sortie le nombre le plus faible entre une somme d'un nombre minimal d'images sautées qui est déterminé indépendamment, du premier nombre d'images sautées et du second nombre d'images sautées, d'une part, et un nombre maximal d'images sautées, déter miné indépendamment, à titre de nombre total d'images sautées, d'autre part; et des moyens de décision de saut d'images (700) qui sont destinés à commander l'émission de façon qu'un nombre d'images correspondant au nombre total d'images sautées ne soient pas émises, après qu'une image a été émise. 2. Dispositif de codage d'images en mouvement selon la revendication 1, caractérisé en ce que les moyens de décision de saut d'images (700) font intervenir une quantité d'information accumulée dans le tampon d'émission (170) et une valeur limite de tampon qui est déterminée à l'avance comme étant une limite supérieure de la quantité d'information accumulée; et lorsqu'il a été déterminé qu'une image doit être émise, si la quantité d'information accumulée dépasse la valeur limite du tampon, une image qui est appliquée en entrée immédiatement après la fin de la condition de dépassement de la valeur limite, est émise à la place de l'image qui devait être émise. 3. Dispositif de codage d'images en mouvement selon l'une quelconque des revendications 1 ou 2, caractérisé en ce qu'on a la possiblité de faire varier de façon externe le second nombre d'images sautées, qui est présenté en sortie des moyens de calcul du second nombre d'images sautées (760), sous la dépendance de chaque taille de pas.