Brevet FR2633477A1 — publié le 19891229

263347?7 Procédé de régulation de débit de données d'assistance à la reconstruction d'images électro- niques animées sous-échantillonnées. Une image de télévision est définie par un certain nombre de paramètres qui représentent l'analyse spatiale et temporelle de cette image (en particulier le nombre d'images par seconde, le nombre de lignes par images et le nombre de points par ligne). La bande passante nécessaire pour trans- mettre une image de TVHD peut atteindre des valeurs de l'ordre de 100 MHz. Ainsi, pour transmettre ces images sur des canaux à bande passante réduite (par exemple des canaux satellite ayant une bande de l'ordre de la dizaine de Megahertz) est-il néces- saire d'appliquer à ces images des techniques de ré- duction de bande passante. I1 est possible de réduire la bande pas- sante du signal à transmettre en utilisant des tech- niques adaptatives de filtrage de l'image haute dé- finition. Cette image haute définition filtrée a alors une bande passante de base réduite et peut être ré-échantillonnée à des fréquences plus basses pour la transmission. Les filtrages étant choisis à l'émetteur de façon adaptative, des données d'assistance sont transmises au décodeur afin que celui-ci reconnaisse le traitement choisi au codeur. Ces données d'assistance consistent donc en un indicateur du traitement choisi mais peuvent également comprendre des vecteurs de mouvement lorsque de la compensation de mouvement est utili- sée. Le débit des données d'assistance dans le canal de transmission est limité à 1 Mbit/s environ. La grande quantité d'information que re- présente ces données nécessite l'utilisation de techniques de réduction de débit. 2 2633477 Il existe une méthode de codage de données d'assistance décrite dans la demande de brevet fran- çaise conjointe de même date de dépôt aux noms des mêmes déposants, et concernant un "procédé de codage des données d'assistance à la reconstruction d'images é lectroniques animées sous-échantillon- nées". Une caractéristique du codage des données d'assistance par cette méthode utilisant le codage hiérachique est de présenter un débit variable, alors que le débit du canal est fixe. La régulation de débit des données sortant du codeur de DA (don- nées d'Assistance) s'avère donc indispendable. Aucune méthode n'a semble-t-il été propo- sée à ce jour. L'invention a pour objet de fournir une solution à ce problème. Plus précisément, l'invention concerne un procédé de régulation du débit de données, notamment des données d'assistance à la reconstruction d'une image é lectronique appartenant à une séquence d'images, notamment en TVHD, à partir d'un signal d'image comprimé, le processus de compression du signal d'image consistant à segmenter l'image en blocs sen- siblement homogènes de tailles variables dont tous les points peuvent être définis collectivement, les tailles possibles étant classables depuis une taille minimale de blocs élémentaires, en niveaux de seg- mentation, chaque niveau correspondant au regroupe- ment de quatre blocs adjacents de niveau inférieur, ledit processus de compression comprenant une étape de sélection, pour chaque bloc élémentaire d'image, d'un traitement optimal parmi plusieurs traitements de compression concurrents réalisés en parallèle, les traitements comprenant notamment d'une part au moins un traitement à faible consomma- tion de débit, du type d'un simple filtrage d'image, et d'autre part au moins un traitement à forte *3 2633477 consommation de débit, du type d'une compression par compensation de mouvement consistant à associer un vecteur mouvement à chaque bloc pour la reconstruc- tion'de la projection du bloc courant dans l'image suivante dans la séquence, procédé caractérisé en ce qu'on force le choix de traitement obligatoirement parmi l'un des traitements à faible consommation de débit, lors de ladite étape de sélection d'un traitement optimal, lorsque le débit desdites données d'assistance ap- proche ou dépasse le débit autorisé par unité de transmission. De façon avantageuse, ladite unité de transmission est constituée par chaque image de la- dite séquence d'image. Selon un premier aspect de l'invention, le forçage du choix de traitement optimal consiste à imposer le choix d'un traitement à faible consomma- tion de débit pour tous les blocs de l'unité de transmission courante, lorsqu'on obtient un dépasse- ment du débit autorisé pour l'unité de transmission précédente. Selon un second aspect de l'invention, le forçage du choix de traitement optimal consiste en une modification du critère de choix de traitement dans le but de faire varier le seuil d'indifférence de traitement permettant de préserver sélectivement le choix du traitement à forte consommation de débit pour les images pour lesquelles ledit traitement est le plus optimal. Dans le cas o ledit choix de traitement optimal est effectué sur un critère de.minimisation des distorsions psychovisuelles induites dans l'image reconstruite, cette seconde méthode de for- çage consiste à augmenter, diminuer respectivement, artificiellement la valeur des distorsions induites par ledit traitement à forte consommation de débit. La première et la seconde méthodes de for- çage ne sont pas exclusives l'une de l'autre. 4 2633477 D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture suivante de la description d'un mode de réalisation préférentiel de l'invention, donné à titre illustratif et non limi- tatif, et des dessins annexés dans lesquels: À la figure 1 représente les en- trée/sorties d'un module de régulation suivant l'invention. la figure 2 illustre un mode de traite- ment de régulation sélectif, é tagé en fonction du débit courant des données d'assistance selon l'invention; la figure 3 est un schéma synoptique il- lustrant les entrées/sortie d'un module de modifica- tion de la mesure de distorsion sur voie à compensa- tion de mouvement, selon l'invention; la figure 4 est un schéma synoptique il- lustrant l'augmentation/diminution artificielles du critére de choix de traitement (valeurs des distor- sions induites par le traitement de compression par compensation de mouvement) la figure 5 est un schéma synoptique il- lustrant le principe de régulation brutale de débit, selon l'invention, par commutation forcée vers un traitement de filtrage à faible consommation de dé- bit. la figure 6 est un schéma général repré- sentant les deux chaînes de traitement à trois voies et quatre voies respectivement, à partir desquelles sont effectués la mesure de débit et le forçage du choix de traitement selon l'invention. La solution décrite ci-après se rapporte spécifiquement au codage d'une image TVHD pour la transmission dans un canal HD-MAC. La solution retenue est de choisir en chaque zone d'image quatre types de sous-échantil- lonnage possibles. Le sous échantillonnage optimal est choisi au codeur et les points sous échantillon- nés correspondants sont transmis au décodeur. Celui- 2633477 ci reçoit en plus les données d'assistance qui lui permettent de reconstruire au mieux l'image HD (haute définition). Quatre traitements de sous échantillonnage sont possibles: 3 traitements de filtrage linéaire, dont: - 1 filtrage pour les mouvements nuls (voie 1) ; - 1 filtrage pour les mouvements d'amplitude moyenne (voie 2); -1 filtrage pour les mouvements d'amplitude élevée (voie3). Le quatrième traitement est un traitement utilisant de la compensation de mouvement (voie 4). La méthode de codage des données d'assistance s'applique sur un système à quatre voies dont une à compensation de mouvement. Cette méthode consiste en un codage hiérarchique imbriqué qui segmente l'image de choix de traitement en blocs et surblocs homogènes de même choix de traitement, et de tailles variables. Les vecteurs de mouvement ne sont transmis que pour les blocs qui sont traités en voie à compensation de mouvement. L'inconvénient d'une telle méthode est que le débit résultant est variable. En particulier il augmente de manière importante lorsque le nombre de vecteurs à transmettre s'accroît fortement (c'est à dire lorsque la voie utilisant la compensation de mouvement est choisie). Le procédé selon l'invention permet de ré- guler le débit des données d'assistance. Cette régu- lation intervient sous deux formes: - une régulation brutale 11 assurant pour chaque image un débit inférieur au débit du canal: il s'agit de coder l'image en ce cas par un système n'utilisant que des voies à faible consommation de débit (les 3 voies de filtrage linéaire). - une régulation fine 12: si à l'image n le débit de la DA est supérieur à un seuil, 6 2533477 l'amplitude des erreurs permettant le choix du trai- tement sur les blocs élémentaires est multiplié par un coefficient supérieur, pour la voie utilisant la compensation de mouvement uniquement, pour l'image n+l. Ces deux possibilités figurent sur la fi- gure 6: - comme la possibilité de commuter 11 sur les données d'assistance d'un système 3 voies 62 lorsque le débit 13 des données d'assistance pour le système 4 voies 61 est trop fort par rapport au dé- bit maximum autorisé (10). - comme une contre réaction 12 intervenant à partir de la comparaison 10 au débit maximal auto- risé. Pour information sur les modules de choix de traitement 63, filtrage des blocs isolés 64 et des blocs indifférents 65, et filtrage temporels 66, on pourra se référer à la demande de brevet fran- çaise nx 8802650 déposée le 2 Mars 88 aux noms des mêmes déposants. Le procédé de cette demande de brevet décrit un traitement de souséchantillonnage utilisé pour chaque élément d'image consistant à retenir un trai- tement optimal choisi parmi plusieurs traitements disponibles testés en parallèle, l'efficacité de chaque traitement étant mesurée par un critère de distorsion du signal traité par rapport au signal source, procédé caractérisé en ce que, - on détermine, au sein de l'image ou de blocs de l'image, des éléments d'images susceptibles d'accepter indifféremment au moins deux traitements distincts de sous-échantillonnage; - on choisit d'associer à chacun desdits éléments d'images à traitements indifférents, celui desdits traitements indifférents permettant une réduction optimale de débit des données d'assistance. 7 2633477 De façon avantageuse, ladite étape de sélection des éléments d'images à traitements indifférents suivant cete invention antérieure, consiste à rechercher pour chaque élément d'image si il existe un ensemble de traitements, parmi les traitements disponibles, tels que chacun des traitements appartenant audit ensemble de traitements indifférents satisfait à la fois à une condition de distorsion minimale par rap- port aux autres traitements disponibles non indiffé- rents, et à une condition d'écart de distorsion seuillé avec chacun des autres traitements indiffé- rents. Suivant cette invention antérieure, il est également possible de réaliser sur l'image une opération de filtrage d'élimination d'éléments d'image isolés, ledit filtrage consistant à balayer l'image sous- échantillonnée avec une fenêtre mobile de filtrage de taille n x n éléments d'images, et de préférence 3 x 3 éléments d'images, et à modifier le traitement de sous-échantillonnage associé à au moins un élé- ment d'image central pour chaque position sur l'image de la fenêtre mobile, au cas o le traite- ment associé audit élément d'image central est dif- férent d'un traitement majoritaire et/ou d'un trai- tement moyen associé aux autres éléments d'images à l'intérieur de ladite fenêtre. De façon avantageuse, ladite opération de filtrage d'élimination des blocs isolés est effectuée avant l'opération de forçage du choix de traitement, pour les blocs à traitements indifférents. Le calcul du débit utilisé dans la pré- sente invention est basé sur le codage hiérachique imbriqué 67 décrit dans la demande de brevet fran- çaise conjointe citée en préambule. Cette demande de brevet parallèle décrit un procédé de codage des données d'assistance à la reconstruction d'une image électronique appartenant à une séquence d'images, notamment en TVHD, à partir d'un signal d'image comprimé, 8 2633477 le processus de compression du signal d'image consistant à segmenter l'image en blocs sen- siblement homogènes de tailles variables ixi dont tous les-points peuvent être définis collectivement, les tailles possibles étant classables en niveaux de segmentation, depuis une taille minimale de blocs élémentaires, chaque niveau correspondant au regrou- pement de quatre blocs adjacents de niveau infé- rieur, ledit processus de compression comprenant une étape de sélection, pour chaque bloc élémentaire d'image, d'un traitement optimal parmi plusieurs traitements de compression concurrents réalisés en parallèle, les traitements comprenant notamment d'une part au moins un traitement de filtrage d'image, et d'autre part au moins un traitement de compression par compensation de mouvement, procédé caractérisé en ce que lesdites données d'assistance comprennent essentiellement, pour chaque bloc, d'une part une information de choix de traitement associée à une information de segmentation du bloc, et d'autre part, en cas de choix du traitement de compression par compensation de mouvement pour le bloc courant, une information de vecteur mouvement représentative dudit bloc asso- ciée à une information de segmentation du bloc, en ce qu'on réalise dans une première phase un codage hiérarchique croissant, sur au moins deux niveaux de segmentation, pour l'information de choix de traitement, et dans une seconde phase, en cas de choix du traitement à compensation de mouve- ment pour un bloc non élémentaire identifié en pre- mière phase, un codage hiérarchique croissant, sur au moins deux niveaux de segmentation, pour l'information de mouvement, et en ce qu'on génère lesdites données d'assistance sous commande de moyens de séquencement calés sur une procédure prédéterminée de balayage de l'image, en génèrant sélectivement des informations 9 2633477 de segmentation seulement pour les blocs non élémen- taires, et en générant sélectivement des informa- tions de choix de vecteur mouvement seulement lors de l'occurrence d'un bloc à traitement optimal par compensation de mouvement. Selon cette demande de brevet parallèle, lesdites données d'assistance sont avantageusement générées sous forme d'une phrase de longueur va- riable émise pour chaque surbloc du niveau maximal de segmentation, chaque phrase comprenant au moins l'un des mots suivants: - un premier mot identifiant la segmenta- tion de choix de traitement dans ledit surbloc; - au moins un second mot identifiant ledit traitement associé à chaque bloc ixi homogène de ni- veau maximal; - - un troisième mot identifiant la segmen- tation de mouvement dans ledit surbloc; - au moins un quatrième mot identifiant le vecteur mouvement à chaque bloc ixi de niveau maxi- mal à traitement par compensation de mouvement et à vecteur mouvement homogène. Dans la présente invention, le codage 67 des DA pour le 3 voies 62 est identique à celui du 4 voies 61 et peut être effectué par les mêmes modules en forçant la valeur de l'erreur pour la voie 4 à une valeur arbitrairement élevée dans le module de choix 63. Le formatage des données d'assitances pour le 3 voies consiste avantageusement à transmettre 2 bits indiquant le traitement choisi entre 3 pour chacun des blocs é lémentaires. Le débit résultant est de 25.920 bits (car il y a 12.960 blocs élémen- taires dans l'image) et est toujours inférieur au débit du canal (autour de 30 000 bits/image). Le fait que la DA soit transmise pour 4 voies ou 3 voies est indiqué au décodeur au début de chaque image préférentiellement sous forme d'un bit. Ce bit positionné à "1" indique que le traitement 2633477 est normal (traitement 4 voies), et à "0" qu'il y a eu régulation (forçage en 3 voies). La transmission de cette information est indispensable car le forma- tage des données DA est différent dans les deux cas. Le module de comparaison au débit maximum autorisé schématisé en figures 1 et 2 est le module central de la régulation. Celle ci se fait avantageusement en images, c'est à dire que pour chaque image le débit des données d'assistance reste inférieur à celui du canal. Le débit 13 de l'image n est fourni par le module de codage de la DA 4 voies. Le débit maximum autorisé pour la DA est de 33.360 bits par image. - si le débit 13 est supérieur à 33360 bits (S1), la DA du 3 voies est transmise et pour l'image n + 1, le coefficient multiplicatif sur la voie 4, C, est multiplié par 1,1 (41). - si le débit 13 est compris entre 30 Kbits (S2) et 33,360 Kbits (S1) la DA 4 voies est transmise et le coefficient est multiplié par 1,1 (41). si le débit 13 est compris entre 25 Kbits (S3) et 30 Kbits (S2) le DA 4 voies est trans- mise et le coefficient C reste constant. - si le débit 13 est inférieur à 25 Kbits (S3), la DA 4 voies est transmise et le coefficient est divisé par 1,05 (42). Il reste cependant supé- rieur à 1. Les seuils (Si, S2, S3) (33360, 30000, 25000) peuvent être toutes autres valeurs, avanta- geusement codables sur 16 bits. Le mode de réalisation illustré en figures 2 et 4 consiste à générer notamment des informations dO, dl, d2 représentatives de la situation du débit courant 13 des données d'assistance par rapport aux seuils Sl, S2, S3. l 2633477 Les bits dl et d2 servent de valeurs de sélection dans un circuit 43 de choix de l'une des voies 44, 45, 46 de multiplication 41, absence de traitement spécifique, et division 42 respective- ment, du coefficient c de modification artificielle des distorsions induites sur la voie 4. En effet, dans le module de choix 63, sont calculées les erreurs sur les voies 1, 2, 3 et 4 qui permettent de faire le choix du traitement optimal: en l'absence de forçage, celui-ci est le traitement induisant la plus faible distorsion dans l'image re- construite. L'erreur sur la voie 4 (appelé distorsion d4) est systématiquement multiplié 30 par C, et fournit une distorsion modifiée d4m. La valeur de C peut être modifiée d'image à image. Les données résultant du codage 3 voies et 4 voies sont stockées dans 2 mémoires 51, 52. 20. Les mémoires de DA 3 voies 51 et 4 voies 52 sont avantageusement des FIFO dimensionnées à 64 Kbits. L'adresse de remplissage 54 de la mémoire 4 voies 52 à la fin de l'image donne le débit obtenu 54 et donc l'indication 56 de commutation 57 entre le 3 voies et le 4 voies, par comparaison 55 au dé- bit maximum autorisé. 12 2633477 REVENDICATIONS 1) Procédé de régulation du débit de don- nées, notamment des données d'assistance à la re- construction d'une image électronique appartenant à une séquence d'images, notamment en TVHD, à partir d'un signal d'image comprimé, le processus de compression du signal d'image consistant à segmenter l'image en blocs sen- siblement homogènes de tailles variables dont tous les points peuvent être définis collectivement, les tailles possibles étant classables depuis une taille minimale de blocs élémentaires, en niveaux de seg- mentation, chaque niveau correspondant au regroupe- ment de quatre blocs adjacents de niveau inférieur, ledit processus de compression comprenant une étape de sélection, pour chaque bloc élémentaire d'image, d'un traitement optimal parmi plusieurs traitements de compression concurrents réalisés en parallèle, les traitements comprenant notamment d'une part au moins un traitement à faible consomma- tion de débit, du type d'un simple filtrage d'image, et d'autre part au moins un traitement à forte consommation de débit, du type d'une compression par compensation de mouvement consistant à associer un vecteur mouvement à chaque bloc pour la reconstruc- tion de la projection du bloc courant dans l'image suivante dans la séquence, procédé caractérisé en ce qu'on force le choix de traitement obligatoirement parmi l'un des traitements à faible consommation de débit, lors de ladite étape de sélection d'un traitement optimal, lorsque le débit desdites données d'assistance ap- proche ou dépasse le débit autorisé par unité de transmission. 2) Procédé selon la revendication 1, ca- ractérisé en ce que ladite unité de transmission est *13 2633477 constituée par chaque image de ladite séquence d'image. 3) Procédé selon la revendication 1, ca- ractérisé en ce que ledit forçage du choix de trai- tement optimal consiste à imposer le choix d'un traitement à faible consommation de débit pour tous les blocs de l'unité de transmission courante, lorsqu'on obtient un dépassement du débit autorisé pour l'unité de transmission précédente. 4) Procédé selon la revendication 1, ca- ractérisé en ce que ledit forçage du choix de trai- tement optimal consiste en une modification du cri- tère de choix de traitement dans le but de faire va- rier le seuil d'indifférence de traitement permet- tant de préserver sélectivement le choix du traite- ment à forte consommation de débit pour les images pour lesquelles ledit traitement est le plus opti- mal. ) Procédé selon la revendication 4, dans le cas o ledit choix du traitement optimal est ef- fectué sur un critère de minimisation des distor- sions psychovisuelles induites dans l'image recons- truite, caractérisé en ce que ledit forçage consiste à augmenter, diminuer respectivement, artificielle- ment la valeur des distorsions induites par ledit traitement à forte consommation de débit. 6) Procédé selon la revendication 4 ou 5, caractérisé en ce qu'on effectue sélectivement la- dite modification du critère de choix de traitement selon un taux choisi parmi au moins deux taux de mo- dification distincts, en utilisant un taux de modi- fication d'autant plus fort que le débit courant est élevé.