Brevet FR2584255A1 — publié le 19870102

L'invention concerne un procédé de transmission et de reproduction de scènes vidéo, en particulier de scènes de vues aériennes, avec une fréquence d'image réduite et avec déplacement relatif de la scène par rapport au capteur de prise de vue, du genre o des images intermédiaires produites du côté reproduction par interpolation et/ou extrapolation adaptée(s) à l'image sur la base de deux images transmises, sont insérées dans la succession d'images transmise, et les positions de point d'image de même objet dans ces deux Images transmises à associer pour l'interpolation et/ou l'extrapola- tion sont déterminées dans chacune des deux images transmises pour au moins deux points d'objet situés à des coordonnées différentes dans le sens vertical et dans le sens horizontal, à partir de la coordination déterminée de manière connue des positions de point d'objet d'image connue. Les images intermédlaires sont obtenues à partir de deux Images de référence enregistrées à des instants différents (par exemple à un Intervalle de 1 seconde), dont l'informa- tion d'image se recouvre en partie. Dans le cas général d' un déplacement d'image dans le sens des y et des x, une image Intermédiaire K à Intercaler dans la cadence d'Images pré- sente par rapport à l'information de l'image de référence correspondante quatre zones. Dans la zone de chevauchement des deux Images de référence O et N, on dispose aussi bien de l'information provenant de l'image de référence O que de celle provenant de l'image de référence N. Deux autres zones contiennent chacune une Information qui n'existe que dans 1' une des deux Images de référence (image O ou image N). Dans d'autres zones, il n'y a pas d'Information d'image de réfé- rence correspondante. C'est en fonction de ces données que sont constituées les Images Intermédlalres. Dans la zone de recouvrement, Il est possible d'interpoler entre les valeurs de gris provenant des Images O et N. Par pondération des valeurs de gris en fonction de l'intervalle de temps entre l'image Intermédiaire à restituer et les Images de référence, il se produit ainsi une transition graduelle de l'image O à l'image N qui corres- pond à un fondu enchaîné adapté au mouvement. Les zones dont l'information d'image ne doit être associée qu'à une seule des deux images de référence sont mises en place à partir de l'image de référence correspondante directement, c'est- à-dire sans pondération en fonction de l'intervalle de temps (extrapolation), voir DE-OS 34 08 061. Comme alternative à l'interpolation, l'extrapolation peut également être étendue à la zone de recouvrement. Aux zones sans information d' image de référence correspondante 11 est attribué une valeur de gris prédéfinie, par exemple gris moyen. Lorsque les conditions d'éclairage lors de la prise de vue des deux images de référence sont différentes, la lumi- nosité du fond (c'est-à-dire la valeur moyenne de la réparti- tion des valeurs de gris) peut être différente dans la zone d'extrapolation des images intermédiaires et dans la zone d' Interpolation, ou bien dans des parties de ces zones. Cette différence nuit à la qualité de reproduction des Images in- termédlaires produites et se manifeste à la vue de façon dé- savantageuse aux transitions entre les deux zones sous la forme d'un changement brutal de valeur de gris. L'invention a pour but d'affaiblir nettement les con- trastes brusques au bord des zones dans lesquelles il n'y a qu'une Information d'Image de référence. Ce résultat est obtenu par l'invention grâce au fait qu'avant la restitution des images intermédiaires pour des coupes d'image limitées qui représentent l'entourage d'au moins l'une des positions de point d'image, de même objet et associées, de deux Images représentées, il est procédé à la détermination des valeurs de luminosité moyennes de ces coupes d'image, ces valeurs de luminosité sont soustraites ou divisées et, en fonction des différences ou quotients ainsi formés, la valeur de luminosité est corrigée propor- tionnellement dans la zone d'extrapolation des Images in- termédlaires. Le procédé selon l'invention élargit le procédé connu d'interpolation d'image intermédlalre de telle sorte que les zones d'extrapolation et la zone d'interpolation sont harmo- nisées en ce qui concerne la répartition moyenne de leur lu- minosité sur l'image, de façon que les contrastes brusques décrits plus haut sont nettement affaiblis et n'ont donc plus d'effet gênant pour l'observateur. Les caractéristiques et avantages de l'invention res- sortiront d'ailleurs de la description qui va suivre, à titre d'exemple, en référence au dessin annexé dans lequel: la figure 1 montre le principe de la restitution d' Images intermédiaires; la figure 2 est une représentation d'une image intermé- diaire restituée à partir de deux images de référence; la figure 3 montre en tableau synoptique le déroulement de la restitution d'image intermédiaire adaptée à la lumi- nosité. La figure i montre la disposition dans le temps de deux Images transmises (image 0 et image N) et d'une image inter- médlaire (Image K) restituée du côté reproduction, avec les positions de point d'image AO, AN et B0, BN de même objet, déterminées par mesure, ainsi qu'avec l'association de points d'image CK, C0 et CK, CN, déterminée à partir de la précé- dente suivant un modèle linéaire. Le rapport de dépendance de la position du point d'image d'un point objet à l'égard d'un point objet à l'égard du temps, c'est-à-dire de son chevauchement d'image à Image est fixé par les lois de la géométrie de reproduction. En simpliflant, on peut, comme à la figure 1, donner approxima- tivement à cette courbe un tracé linéaire. Lorsqu'on connat la subordination des positions pour-un couple de points ob- jets dans deux images de référence, par exemple les positions (points d'image) AO, Bo dans l'image O et AN, BN dans l'image N selon la figure 1, on peut déterminer d'après le théorème des rayons, à partir du rapport entre les intervalles de point d'image, les rapports de coordination pour le reste du champ d'image, par exemple pour les points d'image CO, CN. Le rapport de coordination entre les points d'image de même objet C et CN ayant respectivement pour coordonnées x'CO. Y'Co' et x'cNy' CNt d'une part, et le point d'image corres- pondant CK ayant les coordonnées x'K 'K dans une image K, d'autre part, est caractérisé par une droite de coordination entre les images O et N, spécifique pour ce point, et peut être déterminé de façon connue (DE-OS 30 18 329) à partir des relations de coordonnées. A la figure 2 sont représentées les images de référence O et N transmises qui sont décalées l'une par rapport à 1' autre dans le temps et en ce qui concerne leurs coordonnées de lieu x et y. On a représenté de plus par une ligne en traits interrompus qui la limite une Image Intermédialre K à restituer. Comme le montre la figure, la zone de recouvre- ment qui est pourvue d'un quadrillage contient des informa- tions provenant des deux Images de référence O et N. Dans les zones hachurées, il n'y a pas de recouvrement. Pour ces zones, on dispose d'informations provenant respectivement de chacune des deux Images de référence transmises O et N, à savoir dans la zone à hachure Inclinée vers la droite, de 1' Image O et, dans la zone à hachure Inclinée vers la gauche, de la figure N. Alors que, dans la zone de recouvrement, les points d'image peuvent être déterminés pendant la restitution par Interpolation, les représentations des points d'image sont déterminées dans la zone hors recouvrement par extrapo- lation en utilisant les Informations existantes provenant de l'une des Images de référence. Pour les zones dans lesquelles Il n'y a pas d'lnformations, sont prédéfinles des valeurs, par exemple une valeur de gris moyen. De ce qui précède il ressort que s'il y a des variations notables de la valeur de luminosité moyenne entre des Images de référence successives, une transition continue entre les valeurs de luminosité d'une Image et de l'image suivante est assurée uniquement dans la zone de recouvrement o Il y a Interpolation. Dans les zones d'extrapolation, on ne dispose que des Informations venant de l'une des images de référence successives. Il se produit donc des variations brusques de luminosité à la transition. entre la zone d'interpolation et les zones d'extrapolation contiguës. De telles variations brusques de la valeur de gris sont perçues vlsue]lement de façon défavorable. Ces contrastes très marqués dans les valeurs de gris sont largement compensés grâce au procédé qui va être décrit. Ce procédé exploite les luminosités moyennes qui résultent d' une formation de la moyenne des luminosités des zones d'image correspondantes des deux Images de référence. Des techniques de détermination de chevauchement qui peuvent fournir 1l'in- terpolation d'image intermédiaire les points d'appui et va- leurs de décalage nécessaires et travaillent suivant le procédé de corrélation de surface fournissent des valeurs de luminosité moyenne de zones d'image correspondantes dans les deux images de référence. Le procédé représente un perfectionnement de l'inter- polation de point d'image intermédiaire pondérée, grâce auquel des différences d'éclairage des images de référence utilisées ne se manifestent plus ou ne se manifestent q.u'à peine par des contrastes aux bords de jonction entre les zones d'interpolation et les zones d'extrapolation. Dans le détail, l'opération s'effectue de la façon sui- vante. Dans les Images de références O et N sont sélectionnées suivant le contenu de l'image un nombre n de coupes corres- pondantes désignées dans ce qui suit sous le nom de paires de coupes. La grandeur de ces coupes d'image est variable (par exemple 20 x 20 points d'image). Comme centre de ces paires de coupes il est avantageusement choisi les paires de points d'Image correspondantes déjà connues, provenant de l'utilisation de la technique de détermination de décalage de l'image et nécessaires à la restitution des images In- termédlaires. Une telle coupe est représentée à la figure 2 en traits interrompus autour du point d'image A. Par rapport à l'image de référence O, cette coupe d'image à les coordonnées cen- trales A = (XoA o YoA) et, par rapport à l'image de référence N, les coordonnées centrales AN = (XNA, YNA). Dans cette fi- gure 2 sont portés d'autres points d'image B, C et D aux- quels sont associées des paires de coupe d'image correspon- dantes. Pour déterminer la correspondance entre l'image de ré- férence O et l'image de référence N d'o procède la fixation des centres des paires de coupe, il faut effectuer l'opé- ration Indiquée au bloc 12 dans le schéma-bloc représenté à la figure 3. Pour chacune des coupes d'image prises dans l' image de référence O et dans l'image de référence N on forme une valeur moyenne des luminosités respectives Pol et lNi (figure 3, bloc 14), et, à partir de ces valeurs moyennes correspondantes, on forme les différences, (figure 3, bloc 16). Di =uNi -uoi! Les différences ainsi obtenues entrent avec les coordonnées d'image qui leur correspondent respectivement Ao, Bo, Co, Do... et AN, BN, CN DN... dans un système d'équa- tion de préférence linéaire dont la résolution fournit les paramètres al...an pour la fonction de correction de lumino- sité (2) (bloc 18). D (= Xo Yo) a1XoYo + a2x0 + a3yo + a4 (2) o n correspond au nombre des coupes d'image correspondantes. Suivant une autre façon de procéder, on peut choisir comme grandeurs de référence les coordonnées d'image de 1' Image de référence O (xo, yO) associées aux valeurs moyennes, ou celles de l'image de référence N (XN yN) et les Intro- duire en conséquence dans le système d'équations comme pour l'exemple (2). La valeur de gris d'un point d'Image Intermé- dialre dans les zones d'extrapolation à déterminer peut être calculée suivant les équations d'interpolation (3) et (4) élargies (bloc 20). IK( ) = Io(xo, yO) + g( )(KN) D (xo, yo) (3) IK(N) = IN (xN' YN) + g(N)(K, N) g'D (Xo, yO) (4) avec, par exemple: g( )(K,N) K (5) g(N)(K,N) K N (6) N (O) (N) Les facteurs de pondération dans le temps g() et g(N) déterminent le fondu enchaîné de la correction de valeur de gris depuis l'image de référence O jusqu'à l'image de ré- férence N. Les équations (5) et (6) correspondent au cas particulier du fondu enchaîné linéaire dans le temps. Dans ce qui précède, le procédé a été décrit en prenant comme base la détermination des valeurs de luminosité parsous- traction des luminosités moyennes. On peut également prendre comme base la division des luminosités moyennes, sans 1a- quelle on utilise alors les équations ci-après. Vi = pNi / l oi(7) Vi (xO, yO) = a1xOYO + a2Xo a3yo + a4 (8) IK (o) g (O) V(xo' yo) 1 (xo, y o) IK (N) = g (N) 1 I ( (10) V(xo y) 'N XN, yN Signification des signes Dol - Valeur moyenne de luminosité dans 1' image de référence O, concernant point d'appui i DNi - Valeur moyenne de luminosité dans l'image de référence N, concernant point d'appui JuDI - Différence entre valeurs moyennes corres- pondantes concernant point d'appui i vDi - Quotient des valeurs moyennes correspon- dantes JuD (x, y0O) - Fonction des différences de luminosité PD (xO, YO) Fonction des quotients de luminosité a1 2 a2 a3... an - Coefficients xO, yO - Coordonnées de point d'image pour Image o XNW YN - Coordonnées de point d'image pour image N N - Nombre des images d'une scène d'Images de référence K - Position d'image intermémdlalre (O (O) - Valeur de gris d'un point d'lmage dans K la position K d'image intermédiaire pour le cas o 1l n'y a qu'un seul rapport de point d'image avec l'image de référence O (zone d'extrapola- tion) IK(N) - Valeur de gris d'un point d'image dans la position K d'Image intermédiaire pour le cas o Il n'y a qu'un seul rapport de gC)(K, N) 9(N)(K,N) point d'image à l'image de référence N (zone d'extrapolation) - Facteur de pondération dans le temps corres- pondant à la position d'image Intermédiaire K par rapport à l'image de référence O - Facteur de pondération dans le temps corres- pondant à la position d'image Intermédiaire K par rapport à l'image de référence N. REVENDICATIONS 1. Procédé de reproduction de scènes vidéo, en parti- culier de scènes de vues aériennes, avec une fréquence d' image réduite et avec déplacement relatif de la scène par rapport au capteur de prise de vues, dans lequel des Images intermédiaires produites du côté reproduction par interpola- tion et/ou extrapolation adaptée(s) à l'image sur la base de deux Images transmises sont insérées dans la succession d'images transmises, et les positions de point d'image de même objet dans ces deux Images transmises, qui sont à as- socier pour l'interpolation et/ou l'extrapolation sont dé- terminées dans chacune des deux images transmises pour au moins deux points d'objet situés à des coordonnées diffé- rentes dans le sens vertical et dans le sens horizontal, à partir de la coordination déterminée de manière connue, des positions de point d'objet d'image, caractérisé en ce qu' avant la restitution des images intermédiaires pour des cou- pes d'lmage limitées qui représentent l'entourage d'au moins l'une des positions de point d'image de même objet et asso- ciées de deux images représentées, 11 est procédé à la dé- termination des valeurs de luminosité moyennes de ces coupes d'image, ces valeurs de luminosité sont soustraites ou di- visées et, en fonction des différences ou quotients ainsi formés, la valeur de luminosité est corrigée proportionnel- lement dans la zone d'extrapolation des images intermédiaires. 2. Procédé selon la revendicationl 1, caractérisé en ce que sont mises à la base de l'extrapolation les luminosités moyennes de coupes d'image représentatives d'au moins quatre positions de point d'image. 3. Procédé selon la revendication 1 ou 2, caractérisé en ce que, pour les coupes d'Image prises sur les limites, on prend pour base des positions de point d'image qui sont à la base de la restitution des images intermédiaires. 4. Procédé selon la revendication 1, caractérisé en ce qu'à partir d'au moins deux différences ou quotients Il est formé une fonction exprimant leurs rapports de surface. 5. Procédé selon la revendication 4, caractérisé en ce que des différences ou quotients des valeurs de luminosité pour d'autres positions de point d'image sont calculés à partir de cette fonction en prenant comme variables les coordonnées de ces autres positions de point d'image. 6. Procédé selon la revendication 4, caractérisé en ce que la fonction est un polynome du premier degré des coor- données de l'une des images transmises.