Brevet FR2724083A1 — publié le 19960301

Procédé d'estimation du mouvement bidirectionnel et dispositif correspondant La présente invention concerne un procédé d'estimation du mouvement bidirectionnel et un dispositif correspondant dans un système codeur- décodeur ("codec") vidéo d'images en mouvement ayant un faible débit binaire, et notamment un procédé d'estimation du mouvement et un dispositif correspondant pour compenser un domaine constant en utilisant uniquement des vecteurs mouvement, en effectuant une estimation du mouvement bidirectionnel dans des unités d'objets filtrés. Dans la société informatisée actuelle, on observe une tendance croissante à l'échange et au traitement de quantités de plus en plus grandes d'informations. En conséquence, pour utiliser plus efficacement les bandes de fréquences de transmission existantes, la compression des données à transmettre est essentielle. Plus précisément, en ce qui concerne les signaux vidéo, qui nécessitent de très grandes capacités de mémoire, la compression des données permet la mémorisation, la détection et la transmission efficaces de ces grandes quantités d'informations. C'est pourquoi de nombreux procédés de compression de données vidéo ont été élaborés. Les procédés de compression des données vidéo (procédés de codage) peuvent être classés comme étant à pertes ou sans pertes selon le degré de perte d'informations qui en résulte lors-qu'ils sont employés. Ces procédés peuvent en outre être classés en procédés de codage intra-image individuelle, dans lesquels le chevauchement spatial présent dans une image fixe est éliminé, et procédés de codage inter-images individuelles, dans lequel le chevauchement temporel présent dans une image en mouvement est éliminé. D'autre part, il est possible d'adopter une autre sorte de classification pour la compression des données vidéo, c'est-à-dire selon que le procédé employé est un procédé de codage de la "première génération" ou de la "deuxième génération". Dans un procédé de codage de la première génération, les pertes d'informations sont faibles et des normes internationales sont en cours d'établissement. Les procédés de codage de la première génération comprennent le 2 2724083 codage spatial (par exemple, la modulation par impulsions codées, la modulation différentielle par impulsions codées, ou modulation delta), le codage par trans- formée (par exemple, les codages Karhunen-Loeve, Fourier, Harr, Hadamard, sinus et cosinus), les procédés de codage hybrides, qui combinent des procédés de codage spatial et à transformée, et les procédés de codage à compensation du mouvement, qui sont utilisés pour les images en mouvement. Dans les procédés de codage de la deuxième génération, des caractéristiques spécifiques des images sont utilisées conjointement avec le système visuel humain lui-même. Les procédés de codage de la deuxième génération comprennent le codage à pyramide, le codage prédictif non- stationnaire anisotrope, les procédés de codage orientés vers la texture des contours et le codage basé sur la décomposition directionnelle. Parmi les procédés de codage énumérés ci-dessus, le procédé de codage à compensation du mouvement est utilisé pour les procédés de télévision à haute définition (TVHD ou HDTV) et les procédés normalisés du MPEG (Moving Picture Experts Group = Groupe d'experts des images animées). Les procédés d'estimation du mouvement utilisés dans le codage à compensation du mouvement comprennent un algorithme récursif à éléments d'image et un algorithme à corrélation de blocs et, bien que l'algorithme récursif à éléments d'image soit plus précis, l'algorithme à corrélation de blocs est largement utilisé pour les procédés de codage d'images animées du fait du traitement en temps réel et de la simplification des circuits qu'il permet. Lorsque l'on utilise l'algorithme à corrélation de blocs, l'image à compresser est divisée en blocs ayant une taille constante, par exemple 16x16 ou 8x8 éléments d'image et, ensuite, un vecteur mouvement est obtenu pour chaque bloc en utilisant une erreur absolue minimale. L'algorithme à corrélation de blocs (décrit dans les brevets américains n 5,151,784, 5,060,064 et 4, 864,394) est utilisé dans les normes MPEG-1 et MPEG-2. De plus, il a été proposé un procédé dans lequel une coordonnée spatiale est convertie en une coordonnée fréquentielle en utilisant un coefficient de transformée rapide de Fourier (FFT, de "fast Fourier transform") et, ensuite, le mouvement est estimé en utilisant la répartition de pic des données de fréquence (voir "Motion Detection Using 3-D FFT Spectrum" (Détection du mouvement utilisant un spectre FFT à trois dimensions), par Arica Kojima, Norihoko Sakurai et Junichi Kishikami dans '93 ICASSP, avril 1993). D'une manière analogue, un pro- cédé d'estimation du mouvement utilisant une méthode a transformée d'ondelettes (WT, de "wavelet transform") a également été proposée (voir "Motion Estimation with Wavelet Transform and the Application to Motion-compensated Interpolation" 3 2724083 (Estimation du mouvement avec la transformée d'ondelettes et application à l'interpolation avec compensation du mouvement), par C.K. Cheong, K. Aizawa, T. Saito et M. Atori dans '93 ICASSP, avril 1993). Tous ces procédés ont un avantage qui consiste en ce qu'ils peuvent estimer le mouvement avec une précision relative pour la plupart des séquences vidéo. Cependant, avec le procédé à corrélation de blocs, il n'est pas possible d'obtenir des vecteurs mouvement si des objets à mouvement contrastant sont contenus dans un bloc donné. Par ailleurs, les procédés à transformée de Fourier et à ondelettes nécessitent un temps de traitement excessif et une transformation excessivement complexe des coordonnées spatiales. En outre, puisque la variation structurale d'un objet en mouvement dans une image n'est pas prise en considération, le mouvement basé sur l'objet ne peut pas être estimé avec précision. Du fait des inconvénients des procédés mentionnés ci-dessus, ils ne peuvent pas être adoptés pour la compression des signaux vidéo numériques dans les systèmes de transmission d'images animées de la deuxième génération tels que le visiophone, les systèmes de vidéoconférence ni les autres types de télécommunications audio-vidéo utilisant un réseau numérique à intégration de services (RNIS). Par conséquent, pour résoudre les problèmes indiqués ci-dessus, la présente invention a pour but de fournir un procédé d'estimation du mouvement pour compenser un domaine constant uniquement par des vecteurs mouvement en filtrant les objets en mouvement dans un domaine donné d'un type arbitraire et en effectuant une prédiction du mouvement bidirectionnel dans l'unité d'objets filtrés, dans un système à codage et décodage ("codec") d'images animées à faible débit binaire. L'invention a en outre pour but de fournir un dispositif qui convient le mieux pour mettre en oeuvre le procédé d'estimation du mouvement. Pour atteindre le premier but, le procédé d'estimation du mouvement dans un système à codage et décodage d'images en mouvement à faible débit binaire selon la présente invention comprend les étapes consistant à: (a) estimer le mouvement d'un objet ayant le même mouvement dans le domaine o le mouvement est produit dans un bloc prédéterminé dans une image individuelle et filtrer les informations de mouvement représentant la direction dans laquelle l'objet considéré dans l'image individuelle courante s'est déplacé et des informations de forme de l'objet; (b) filtrer des informations de mouvement représentant la direction dans laquelle l'objet doit être déplacé dans l'image individuelle suivante et 4 2724083 des informations d'indice de l'objet en utilisant les informations de forme de l'objet considéré dans l'image individuelle courante fournies par l'étape (a); et (c) transmettre sélectivement les informations et les informations de forme obtenues dans l'étape (a) ou les informations de mouvement et d'indice obtenues dans l'étape (b) selon les modes d'estimation du mouvement des images individuelles établies précédemment. Pour atteindre le deuxième but, le dispositif d'estimation du mouvement bidirectionnel dans un système à faible débit binaire selon l'invention comprend: des moyens d'estimation du mouvement en arrière pour estimer le mouvement d'un objet ayant le même mouvement dans le domaine o le mouvement est produit dans un bloc prédéterminé d'une image individuelle, et filtrer les informations de mouvement représentant la direction dans laquelle l'objet considéré dans l'image individuelle courante s'est déplacé, et des informations de forme de l'objet; des moyens d'estimation du mouvement en avant pour filtrer les informations de mouvement représentant la direction dans laquelle l'objet doit être déplacé dans la prochaine image individuelle, et indexer les informations sur l'objet en utilisant les informations de forme de l'objet considéré dans l'image individuelle courante au moyen des moyens d'estimation du mouvement en arrière; et des moyens de sélection de mode et de données pour transmettre sélectivement les informations et les informations de forme fournies par les moyens d'estimation du mouvement en arrière ou les informations de mouvement et d'indice fournis par les moyens d'estimation du mouvement en avant selon le mode d'estimation du mouvement des images individuelles précédentes. Les buts et avantages de la présente invention mentionnés plus haut apparaîtront mieux à la lecture de la description détaillée d'un mode de réalisation préféré de celle-ci donnée ci-après en relation avec les dessins annexés, dans lesquels: - la figure I est un schéma synoptique d'un dispositif d'estimation du mouvement bidirectionnel selon un mode de réalisation de la présente invention; - la figure 2 représente l'agencement de l'image individuelle illustrant la relation entre la prédiction du mouvement en avant et la prédiction du mouvement en arrière adoptée pour la présente invention - la figure 3 illustre la direction d'estimation du mouvement d'un objet dans l'image individuelle courante (N), l'image individuelle précédente (N-l) et l'image individuelle suivante (N+l); et 2724083 - les figures 4A et 4B illustrent le procédé de recherche de la distance de déplacement de la composante à la frontière de l'objet précédemment considéré dans la prédiction du mouvement en avant jusqu'à l'image individuelle suivante. Sur la figure 1, le dispositif d'estimation du mouvement bidirectionnel selon un mode de réalisation de la présente invention comprend une mémoire d'image individuelle 20 pour mémoriser des séquences vidéo d'entrée 10 pour chaque image individuelle, un estimateur de mouvement en avant 40 et un estimateur de mouvement en arrière 30 pour estimer les mouvements en avant et en arrière indépendamment par rapport aux séquences vidéo 10 mémorisées dans la mémoire d'image individuelle 20, un sélecteur de mode et de données 50 pour déterminer si l'image individuelle courante sélectionne un mode d'estimation en avant ou un mode d'estimation en arrière recevant le résultat d'estimation du mouvement de l'estimateur de mouvement en avant 40 et de l'estimateur de mouvement en arrière 30, et pour fournir sélectivement les données correspondantes selon le mode d'estimation du mouvement de l'image individuelle courante, et une mémoire tampon de transmission 60 pour transmettre les données issues du sélecteur de mode et de données 50 à un débit constant. L'estimateur de mouvement en avant 40 est constitué par un estimateur de mouvement 41, un deuxième filtre de vecteurs mouvement 42 et un indexeur d'informations de forme 43. L'estimateur de mouvement en arrière 30 est constitué par un soustracteur 31, un filtre de composantes du mouvement 32, un filtre d'objets à mouvement identique 33, un premier filtre de vecteurs mouvement 34, un filtre d'informations de forme 35, un compensateur de mouvement 36 et une mémoire de reproduction 37. La figure 2 représente un agencement d'images individuelles illustrant la relation entre la prédiction du mouvement en avant et la prédiction du mouvement en arrière adoptée dans la présente invention o, parmi des séquences vidéo consécutives, seule la première image individuelle est transmise à un étage récepteur comme intra-image individuelle I, et après cela, le mouvement des images individuelles consécutives impaires est estimé par le mode d'estimation en arrière PB et le mouvement des images individuelles consécutives paires est estimé par le mode d'estimation du mouvement en avant PF. La figure 3 illustre un exemple d'estimation du mouvement en avant et du mouvement en arrière effectuée pour un objet sélectionné (c'est-à-dire un objet distinct ayant un mouvement donné). Pour commencer, sur la base d'un objet filtré dans la N-ième image individuelle (image courante), la distance de mouvement de 6 2724083 l'objet est estimée à partir de la (N-l)-ième image individuelle (image précédente), ce qui est appelé "estimation du mouvement en arrière". En ce qui concerne la (N+l)-ième image individuelle (image suivante), on cherche jusqu'o l'objet de la N-ième image individuelle s'est déplacé, ce qui est appelé "estimation du mouvement en avant". Les figures 4A et 4B illustrent le processus de recherche du vecteur mouvement par estimation du mouvement basé sur l'objet en utilisant les composantes à la frontière (informations de forme) de l'objet considéré dans l'image courante ou dans un très petit bloc. En utilisant les composantes à la frontière de l'objet selectionné dans la N-ième image individuelle, le domaine ayant la valeur absolue la plus faible des erreurs est sélectionné en cherchant dans un domaine prédéterminéde la (N+1)-ième image individuelle dans des unités d'éléments d'image ou des très petits blocs, en sélectionnant par ce moyen la distance de mouvement comme vecteur mouvement de l'objet, ce qui est indiqué par une grande flèche sur la figure 4B. Ensuite, le fonctionnement de la présente invention est décrit ci-après en relation avec les figures 1 à 4B. Sur la base de l'agencement de la séquence vidéo, la prédiction en avant et la prédiction en avant sont alternées pour effectuer une estimation du mouvement qui est décrite en relation avec la figure 1. Le principe de la présente invention est d'utiliser les informations de forme de l'objet considéré pour estimer le mouvement en arrière et le mouvement en avant et ne transmettre que les données sélectionnées par un sélecteur de mode donné parmi les résultats de l'estimation du mouvement arrière et du mouvement avant. Le procédé de prédiction du mouvement arrière est décrit ci-après en premier. Des séquences vidéo numérisées 10 sont introduites et mémorisées séquentiellement dans une mémoire d'image individuelle en unités d'image individuelle. Le soustracteur 31 calcule une composante de différence entre les données d'image individuelle courante mémorisées dans la mémoire d'image individulle 20 et les données de sortie de la mémoire de reproduction 37, qui mé- morise des images reproduites localement pour la référence de l'étage émetteur, en utilisant les informations de forme et les informations de mouvement de l'image individuelle précédemment transmise. Le filtre de composante de mouvement 32 filtre une composante de mouvement interimages individuelles à partir de la 7 2724083 composante de différence issue du soustracteur 3 1, et ne mémorise que les parties d'image dans lesquelles le mouvement est sensible. Le filtre d'objets à mouvement identique 33 trie les composantes ayant un mouvement dans la même direction parmi ces parties de l'image dans lesquelles le mouvement est sensible, indexe ces objets selon leur taille unitaire, et mémorise séquentiellement les objets respectivement indexés. Le premier filtre de vecteurs mouvement 34 estime la direction dans laquelle l'objet courant (N-ième image individuelle) s'est déplacé par rapport à une image précédemment reproduite mémorisée dans la mémoire de reproduction 37, sur la base des objets ayant le même mouvement qui sont mémorisés respectivement dans le filtre d'objets à mouvement identiques 33. La partie de l'image ayant l'erreur absolue moyenne la plus faible MAE (de "mean absolute error") de la valeur de l'élément d'image reproduit et la valeur de l'élément d'image correspondant constituant l'objet est alors sélectionnée comme vecteur mouvement. Il en résulte que le vecteur mouvement sélectionné en cherchant dans un domaine défini est mémorisé dans le premier filtre de vecteurs mouvement, et les composantes à la frontière (informations de forme) de l'objet sont mémorisées dans un filtre d'informations de forme 35. Les informations de forme et de mouvement ainsi obtenues sont fournies au sélecteur de mode et de données 50. Ensuite, on décrit ci-après le procédé de prédiction du vecteur mouvement. Pour commencer, les données vidéo de l'image individuelle courante mémorisées dans la mémoire d'image individuelle 20, les données vidéo de l'image individuelle précédente mémorisées dans la mémoire de reproduction 37, les informations de forme des objets indexés respectifs mémorisées dans le filtre d'informations de forme 35 et utilisées pour prédire le mouvement en arrière, et les données de la partie dans laquelle le mouvement est sensible mémorisées dans le filtre de composantes de mouvement 32, sont fournies à l'estimateur de mouvement 41. L'estimateur de mouvement 41 estime le mouvement de l'objet en utilisant les informations de forme de l'objet obtenues à partir de l'image individuelle précédente et des informations de domaine des composantes de mouvement de l'image individuelle courante. Ensuite, le deuxième filtre de vecteurs mouvement 42 cherche le vecteur mouvement en indiquant o l'image reproduite ayant les informations de forme correspondantes s'est déplacés en n'utilisant que les informations obtenues à partie de l'image individuelle précédente, comme cela est représenté sur la figure 4. La valeur moyenne moyenne de l'erreur absolue est alors utilisée comme base pour l'estimation du mouvement. s 2724083 Le vecteur mouvement ainsi obtenu est mémorisé dans le deuxième filtre de vecteurs mouvement 42. L'indice des informations de forme utilisées dans l'estimation du mouvement est reçu du filtre d'informations de forme 35 et, ensuite, seules cette information d'indice et ces informations de mouvement sont transmises au sélecteur de mode et de données 50 par l'intermédiaire de l'indexeur d'informations de forme 43. Le sélecteur de mode et de données 50 détermine si les données de prédiction en arrière ou les données de prédiction en avant sont sélectionnées selon le mode de prédiction du mouvement de l'image individuelle courante et selon l'agencement d'images individuelles représenté sur la figure 2, de manière que le côté récepteur puisse reproduire l'image individuelle courante simplement en utilisant les indices d'informations de forme de l'image individuelle précédente. Dans le cas de composantes de mouvement différentes entre l'image individuelle courante et l'image individuelle précédente, une compensation dans le domaine dans lequel les informations de mouvement ne sont pas filtrées peut être effectuée en établissant un mode intra-image individuelle distinct pour transmettre les informations de domaine. En résumé, avec la prédiction du mouvement en arrière, les informations de forme et les informations de mouvement (vecteur mouvement) d'un objet à mouvement identique sont transmises. Avec la prédiction du mouvement en avant, le mouvement est estimé en utilisant les informations de forme de l'objet précédemment transmis, et seules les informations de mouvement sont ensuite transmises, en réduisant ainsi les données par les informations de forme, ce qui a pour résultat une réduction considérable de la quantité d'informations utilisée dans la compression des données. La présente invention peut être largement adoptée pour les systèmes de télécommunications vidéo tels que les réseaux téléphoniques commutés publics, les réseaux informatiques locaux, ou "réseaux locaux", et les réseaux sans fils. Plus précisément, puisque la présente invention peut être adoptée pour la transmission d'images animées dans un système de télécommunications mobiles, ses domaines d'applications couvrent une large gamme d'applications, y compris la prochaine génération de télécommunications internationales normalisées. Comme cela a été décrit plus haut, le procédé d'estimation du mouvement bidirectionnel et le dispositif correspondant selon la présente invention, dans le cas d'un mouvement à faible débit binaire, peut trouver le vecteur mouvement précis par rapport à l'algorithme de corrélation existant et décrit le 9 2724083 mouvement entre images individuelles avec moins d'informations. Par conséquent, un nombre nettement moins grand de données est utilisé pour la transmission des images compressées, et la qualité de l'image reconstruite est améliorée. En outre, puisque les informations de mouvement sont filtrées et compensées dans des unités d'objets en mouvement, l'effet "de blocs" de l'image n'est que légèrement visible. En particulier, dans le cas d'un grand objet ayant peu de mouvement, par exemple dans des images de visiophone numérique, le temps de compression peut être réduit. 2724083 Revendications 1. Procédé d'estimation du mouvement dans un système codeur- décodeur ("codec"), caractérisé en ce qu'il comprend les étapes consistant à: (a) estimer le mouvement d'un objet ayant le même mouvement dans le domaine dans lequel le mouvement est produit, dans un bloc prédéterminé dans une image individuelle, et filtrer les informations de mouvement représentant la direction dans laquelle l'objet considéré dans l'image individuelle courante s'est déplacé, et des informations de forme de l'objet; (b) filtrer les informations de mouvement représentant la direction dans laquelle l'objet doit être déplacé dans l'image individuelle suivante et des informations d'indices de l'objet en utilisant les informations de forme de l'objet considéré dans l'image individuelle courante obtenues dans l'étape (a); et (c) transmettre sélectivement les informations et les informations de forme obtenues dans ladite étape (a) ou les informations et les informations d'indices obtenues dans ladite étape (b), selon des modes d'estimation du mouvement des images individuelles précédemment établies. 2. Procédé d'estimation du mouvement bidirectionnel selon la revendication 1, caractérisé en ce que, dans ladite étape (c), parmi les séquences vidéo consécutives, seule la première image individuelle est transmise à un étage récepteur comme intra-image individuelle et, après cela, les images individuelles impaires estiment le mouvement par l'intermédiaire d'un mode de prédiction en arrière, et les images individuelles paires estiment le mouvement par l'intermédiaire d'un mode de prédiction en avant. 3. Dispositif d'estimation de mouvement bidirectionnel dans un système codeur-décodeur ("codec") de transmission d'images animées à faible débit binaire, caractérisé en ce que qu'il comprend: - des moyens d'estimation (30) du mouvement en arrière pour estimer le mouvement d'un objet ayant le même mouvement dans le domaine o le mouvement est produit dans un bloc prédéterminé dans une image individuelle, et filtrer (32-35) des informations de mouvement représentant la direction dans laquelle ledit objet considéré dans l'image individuelle courante s'est déplacé, et des informations de forme dudit objet; l 2724083 - des moyens d'estimation (40) du mouvement en avant pour filtrer (42) des informations de mouvement représentant la direction dans laquelle ledit objet doit être déplacé dans l'image individuelle suivante et des informations d'indices dudit objet en utilisant lesdites informations de forme dudit objet considéré dans l'image individuelle courante au moyen desdits moyens d'estimation du mouvement arrière; et - des moyens de sélection (50) de mode et de données pour transmettre sélectivement les informations et les informations de forme issues desdits moyens d'estimation (30) du mouvement en arrière et lesdites informations de mouvement et informations d'indices issues desdits moyens d'estimation (40) du mouvement en avant, selon des modes d'estimation du mouvement d'images individuelles précédemment établies. 4. Dispositif d'estimation du mouvement bidirectionnel selon la revendication 3, caractérisé en ce que, dans lesdits moyens de sélection (50) de mode et de données, parmi les séquences vidéo consécutives, seule la première image individuelle est transmise à un étage récepteur comme intra-image individuelle, et, après cela, les images individuelles impaires estiment le mouvement par l'intermédiaire d'un mode de prédiction en arrière, et les images individuelles paires estiment le mouvement par l'intermédiaire d'une mode de prédiction en avant.