Brevet FR2515910A2 — publié le 19830506

FR 2515910 A2 19830506 FR 8218071 A 19821028 L'invention concerne un procédé pour transmettre et repro- duire des scènes vidéo,en particulier des scènes de vues aé- riennes,avec une fréquence réduite de récurrence des images. L'invention concerne un procédé pour transmettre et re- produire des scènes vidéo,notamment des scènes de vues aérien- nes,avec une fréquence réduite de récurrence des images dans le cas du déplacement relatif de la scène enregistrée par rap- port au capteur de prise de vues,selon lequel on introduit dans la suite des images transmises,des images intercalaires produites du côté reproduction par interpolation et/ou extra- polation adaptée à la formation de l'image,en prenant pour ba- se deux images respectives transmises et on détermine les po- sitions de points images,correspondant à un même objet et de- vant être respectivement associées pour l'interpolation ou V extrapolation,des deux images transmises,à partir de l'asso- ciation,déterminée comme étant connue,des positions des points images pour au moins deux points objets,possédant des coordon- nées horizontales et verticales différentes dans chacune des deux images transmises,selon le brevet principal No 81 08972, et constitue un perfectionnement et d'une autre forme de mise en oeuvre du procédé selon ce brevet principal. La qualité de reproduction des images intercalaires,insé- rées dans la suite des images transmises selon le procédé dé- crit dans le brevet principal,dépend notamment de la précision de la représentation discrète des images,de la précision du modèle de formation d'images pour la production des images in- tercalaires et de la précision des opérations de calcul Selon le montant admissible pour les frais de réalisation,on obtient différentes limites qui ont pour conséquence un aplatissement de fortes transitions des valeurs de gris (limitation du con- traste des détails) et des variations aléatoires des valeurs de gris au niveau des bords de l'image (instabilité des bords) et peuvent ainsi altérer la capacité d'identification et par conséquent la possibilité d'exploitation de détails des images. La présente invention a pour but de développer plus encore le procédé selon le brevet principal du point de vue de perfec- tionnements dans la capacité d'exploitation de détails des ima- ges,sans que la dépense doive en être sensiblement accrue. Ce problème est résolu conformément à l'invention grâce au fait que la première de deux images transmises est respective- ment représentée sous la forme d'une image fixe pendant une certaine durée et qu'à la suite de cette représentation sous la forme d'une image fixe intervient une reproduction d'images intercalaires,qui sont produites à partir de l'image fixe con- sidérée et d'une image transmise ultérieurement,au moyen de l' interpolation et/ou de l'extrapolation adaptée à la formation de l'image. Selon un mode de mise en oeuvre approprié, on peut choi- sir la durée de la représentation sous la forme d'une image fixe d'une manière relative par rapport à la durée de la re- présentation des images mobiles. Ci-après on va décrire tout d'abord le procédé selon le brevet principal en se référant aux dessins. A titre d'exemple on a décrit ci-dessous et illustré schématiquement aux dessins annexés un mode d'exécution du procédé selon l'invention. la figure 1 représente la disposition géométrique pour l' enregistrmeent d'une scène de vue aérienne, prise à la hauteur H au-dessus du sol, dans le cas o l'appareil de prise de vues (caméra vidéo) est dirigé obliquement vers l'avant (les axes x et x' sont perpendiculaires au plan du dessin; la figure 2 représente le plan d'enregistrement des ima- ges de l'appareil de prise de vues ainsi que la trajectoire de deux points du plan objet lors du déplacement de l'appareil de prise de vues suivant la direction de vol conformément à la figure 1; la figure 3 représente la disposition dans le temps de deux images transmises (image O et image N) et d'une image intercalaire (image n) interpolée du côté reproduction, avec les positions de points images A 0, AN et B 0, BN déterminées par la mesure et correspondant à un même objet, ainsi que l' association des points images C N C O et Cn' CN déterminée selon un modèle linéaire à partir desdites positions des points images. Dans le cas de la disposition géométrique de la figu- re 1, on a représenté des droites, qui sont parallèles à l'axe y au niveau de la scène (plan objet), dans le plan de prise de vues (figure 2) conformément à la perspective de formation d'images sous la forme de droites obliques par rapport à l'axe y' Ces droites représententsimultanément le lieu géométrique des positions des points images pour un point objet (ici: la trajectoire parcourue sur l'image) lors du déplacement de l'appareil de prise de vues suivant la direction de vol (voir figure 1). La dépendance de la position du point image d'un point objet en fonction du temps, c'est-à-dire son décalage d'une image à l'autre, est déterminée par les lois de la géométrie des points conjugués Pour simplifier, comme cela est représenté sur la figure 3, on peut la représenter de façon approchée par une forme linéaire Lorsque l'on connaît l'association des positions pour un couple de points objets dans deux images de référence, par exemple pour les posi- tions (points images) A, B O dans l'image 0 et AN, BN dans l'image N sur la figure 3, on peut déterminer les associa- tions pour le reste du champ d'image, par exemple pour les points images Co, C N à partir du rapport des distances du point objet conformément à la loi de propagation du rayonnement L'association entre les points images C O et CN relatifs à un même objet et possédant les coordonnées x C 0, Y 5 et x 5 N, YCN' et le point image correspondant Cn ayant pour coordonnées x 5 n, 5 Yn dans une image N est carac- térisée par une droite d'association, spécifique pour ce point, entre les images O et N et peut être déterminée à par- tir des relations linéaires entre les coordonnées x 5 et Y Cn Yo= h 1 Y 5 + h 2 ' ( 1) O n x C = gx x' + 92 ( 2) et y =N h 3 yn + h 4, ( 3) x CN g 3 XC + g 4 ( 4) Les coefficients h 1 à h 4 et gl à g sont obtenus à partir des associations mesurées des points images Ao, AN et Bo O BN, hi (i= 1,2,3,4) étant constants pour chaque n (c'est-à-dire à l'intérieur de chaque image) et gi étant constant pour chaque y'Cn (c'est-à-dire à l'intérieur de chaque ligne d'image) (voir ci-après) L'algorithme repré- senté par les équations permet un traitement séquentiel du point de vue des lignes et du point de vue des images au sens du signal vidéo devant être délivré et est par consé- quent particulièrement approprié pour la mise en oeuvre technique du procédé A partir des valeurs de gris SCO et SCN poour les points images CO O et CN possédant les coordonnées x 5 O, Y'CO et x CN, YCN déterminées à partir des relations ( 1) -à ( 4), on obtient la valeur de gris S Cn, devant être régénérée, pour le point image Cn par interpolation conformément à la relation: i Sc = l(N-n) SC + N S ( 5)Nl -n N 2 O ou bien par extrapolation conformément à la relation: SC S ( 6 a)ou S = SC ( 6) C C C n O N O N ( 6) - On utilise l'extrapolation dans des parties d'image dans lesquelles une ou plusieurs des valeurs des coordonnées déterminées à partir des relations ( 1) à ( 4), sont situées à l'extérieur de la plage de valeurs: b CO N 2,( a 2 _ _ CO CN ( 8) c'est-à-dire à l'extérieur du plan de prise de vues possé- dant la largeur a et la hauteur b conformément à la figure 2. Une extrapolation effectuée à la place de l'inter- polation peut être appropriée dans d'autres cas, par exemple lorsque l'association entre les images de référence ne peut être déterminée de façon transitoire que de manière impré- cise ou bien lorsque la superposition des informations des images est relativement faible. Des déplacements d'objets dans la scène n'apparais- sent pas dans une succession d'images (ou d'images partielles) régénérée par extrapolation, tandis que dans le cas de l'in- terpolation elles sont caractérisées en général par une dimi- nution et une augmentation progressives de l'intensité lumi- neuse Ce cas, lors duquel on ne prend pas des points images correspondant à un même objet pour l'interpolation, correspond dans ses effets à un fondu enchaîné entre les positions de l'objet mobile dans des images de référence successives. Les conditions sont analogues dans le cas de pertur- bations de canal Des variations de la valeur de gris provo- quées par des parasites dans une image de référence, augmen- tent progressivement dans la suite d'images interpolées, c'est-à-dire à l'intérieur de N périodes d'images, et dis- paraissent ensuite à nouveau de façon correspondante. L'association, nécessaire pour le procédé, des points de référence A 0, AN et B 0, BN peut être déterminée notamment au moyen d'une méthode de corrélation d'images ou bien à partir des données de mesure à bord connues du côté réception Afin d'accroître la sécurité de décision, la mesure de l'association pour d'autres points images et une sélection ultérieure selon des critères prédéterminés (comme par exemple des critères de fiabilité ou de majorité) est possible Si l'on mesure des associations de points de réfé- rence en particulier pour la zone d'un objet mobile à l'inté- rieur d'une scène, on peut également déterminer, dans de telles zones, des points images relatifs à un même objet pour l'interpolation et l'on peut reproduire par conséquent ces points objets directement, et non pas avec la diminution et l'augmentation décrites plus haut de l'intensité lumineuse. Ci-après on va définir les coefficients hi et gi (i= 1,2,3,4) utilisés dans les équations ( 1) à ( 4) La décomposition choisiedes équations fournit des avantages pour l'exécution des opérations de calcul dans un dispositif technique d'appareillage N hlN-n 11 -n 12 2 = N-n 1 N(i-ii) * 1 h 3 = N-n - - (N-n) 12 h = N-n 4 N-nil ( 9 a) ( 9 b) ( 9 c) ( 9 d) - 1 k 1 1Y Co g 1 = 1 k 1 Y 5 n k 2 (y C YC O_ N g 2 = 1 k 1 Y 5 n 1 k 1 y' 1 CN g 3 = 1 k 1 Y 5 n k 2 (yc -Y 5 n) 2 N Cn g 4 = 1 k Y' 1 Cn n Les grandeurs hi et gi possèdent des dénominateurs qui sont identiques Les valeurs de hi doivent être déter- minées une fois pour chaque période verticale (durée d'une image) et les valeurs pour gi doivent être déterminées une fois pour chaque période horizontale (durée d'une ligne) du signal de télévision Conformément à l'équation ( 1) ou ( 3), gi dépend de hi. On utilise les grandeurs auxiliaires suivantes: Y AN-YB 1 = 1 N N y -Y B. AO B O (lila) (lib) 12 = B -YB ( 1 1) N O (l Oa) (l Ob) (l Oc) ( 10 d) et d A-d B = +XAB ( 12 a) AYANB BYN BN AN k 2 = d A ( 1-k 1 Y'A) + k 1 x ( 12 b) avec I d A =;N X A ( 12 c) y' A x BN BO _O N 2 d d B = y y ( 12 d) N B O Les valeurs pour 11, 12, k 1, k 2 doivent être détermi- nées une fois toutes les N périodes verticales Les valeurs nécessaires des coordonnées sont connues par la mesure de l'association des positions des points images, relatifs à un même objet, A O (x A O o, y 0) et AN (X 2 N, YAN) et B O (x 0, y 0) et BN (XBN, YBN) Le procédé décrit est en principe également valable lorsque les associations des points images à l'intérieur de la séquence temporelle sont décrites par les relations exactes de la géométrie des points conjugués, au lieu de l'être par le modèle linéaire plus favorable du point de vue du coût. A titre de supplément ou de variante de l'interpola- tion ou de l'extrapolation décrites du décalage d'une image à la suivante pour l'ensemble de l'image, on peut réaliser une interpolation ou une extrapolation correspondantes pour des zones prédéterminées d'image, par exemple pour des objets se déplaçant par rapport au fond de l'image et pour lesquels il faut établir de façon particulière les points de coordonnées correspondants, ou bien d'une manière géné- rale pour l'accroissement de la précision de la reproduction et/ou la mise en évidence de parties individuelles d'images. En principe on peut également utiliser le procédé pour d'autres applications avec déplacement relatif entre l'appa- reil de prise-de vues et la scène. Selon le nombre des images intercalées introduites, la reproduction peut être réalisée avec la vitesse initiale,avec une compression du temps ou avec une dilatation du temps. La qualité de reproduction des images intercalaires, in- sérées dans la suite des images transmises selon le procédé décrit dans le brevet principal, dépend notamment de la pré- cision de la représentation discrète des images, de la préci- sion du modèle de formation d'images pour la production des images intercalaires et de la précision des opérations de cal- cul Selon la dépense de réalisation, on obtient différentes limites qui ont pour conséquence un aplatissement de fortes transitions des valeurs de gris (limitation du contraste des détails) et des variations aléatoires des valeurs de gris au niveau des bords de l'image (instabilité des bords) et peuvent altérer la capacité d'identification et par conséquent la pos- sibilité d'exploitation de détails des images. On peut améliorer la capacité d'exploitation de détails des images sans un accroissement important de la dépense, par le fait qu'on représente respectivement la première de deux images transmises pendant une certaine durée sous la forme d' une image fixe et qu'à la suite de cette représentation sous la forme d'une image fixe intervient une représentation d'ima- ges intercalaires, qui sont produites à partir de l'image fixe considérée et d'une image transmise ultérieurement, par l'in- terpolation et/ou l'extrapolation adaptée à la formation de l'image. Sous le terme "image fixe", il faut comprendre une repro- duction d'une image sans variation des éléments de l'image La représentation sous la forme d'une image fixe s'effectue de façon typique par répétition de la reproduction de l'image transmise considérée avec une fréquence de répétition d'image usuelle pour l'appareil de reproduction. Pendant la reproduction spous la forme d'une image fixe, qui intervient pendant une durée prédéterminée, l'image est exempte de limitations qui affectent la précision de reproduc- tiïe des images intercalaires régénérées par interpolation et/ou extrapolation Un observateur de l'image peut par consé- quent utiliser respectivement la phase de l'image fixe pour se concentrer sur des détails de l'image (par exemple les dé- tails d'une cible) La représentation ultérieure des images mobiles sert dans ce cas à amener l'observateur, dans une lar- ge mesure sans fatigue, à l'observation de l'image suivante' transmise et de lui permettre en outre de déceler d'éventuels déplacements de l'objet par rapport au fond de l'image L'ob- servateur peut alors ne pas perdre de vue les zones de l'image, qui l'intéressent, et se concentrer à nouveau immédiatement sur les détails intéressants dans l'image fixe suivante Con- trairement à cela, dans le cas d'une suite d'images fixes se succédant sans transition, une certaine durée minimale de re- cherche est en général nécessaire pour retrouver dans l'image suivante la zone intéressante correspondante,-notamment dans le cas d'un déplacement relativement important d'une image à la suivante Par suite de la possibilité d'obtention d'une information particulière sur les détails dans la phase de 1 ' image fixe, les limitations, apparaissant par suite de la ré- génération d'images, de la précision de reproduction dans la phase de l'image mobile sont nettement moins importantes que dans le cas d'une représentation exclusive d'images mobiles. Dans le cas de l'utilisation du procédé en temps réel, la phase de l'image mobile est reproduite avec une compres- sion du temps, étant donné que le temps disponible pour la représentation de la transition d'une image à la suivante est plus bref que la durée de la période de la suite d'images transmise et par conséquent inférieur à l'intervalle de temps correspondant entre les images lors de l'enregistrement Par exemple dans le cas d'une suite transmise d'images possédant une période d'une durée de quatre secondes (correspondant à une fréquence de récurrence de 0,25 image par seconde), et dans le cas du choix d'une phase de l'image fixe de 3 secondes, la phase de l'image mobile est égale non pas à 4 secondes (intervalle de temps entre les images lors de l'enregistrement), mais seulement à 1 seconde. Dans le cas d'une compression plus importante du temps pendant la phase de l'image mobile, il peut être approprié de prévoir, au lieu d'une variation avec une vitesse constante, une variation avec une vitesse d'abord progressivement crois- sante, puis progressivement décroissante Par rapport à la mise en oeuvre et l'arrêt brusques, intervenant dans le cas d'une vitesse constante, du déplacement de l'image lors de la transition de l'image fixe existant jusqu'alors à l'image fixe suivante, il apparaît, dans le cas de l'augmentation ou de la réduction progressive de la vitesse, des accélérations ou des ralentissements plus faibles, qui fournissent un effet avan- tageux du point de vue subjectif lors de l'observation de l' image La vitesse peut varier en fonction du temps par exemple selon une fonction en forme de triangle, selon une fonction d' angle (par exemple sinus; cosinus) ou selon une fonction ex- ponentielle ou même selon une approximation à l'aide de poly- nomes. La durée et/ou l'instant de la représentation sous forme d'une image fixe peuvent être conçus variables Il est ainsi possible de réaliser le dispositif de reproduction de telle manière que l'observateur puisse insérer au choix des suites d'images fixes d'une durée appropriée dans la représentation des images mobiles, par exemple lorsque l'observateur d'une suite régénérée d'images mobiles tombe sur des zones d'image, dans lesquelles il pourrait identifier des détails de façon plus précise La commutation peut alors être réalisée à la main Mais il est également possible d'avoir une commutation automatique, par exemple en fonction d'éléments prédéterminés d'image ou en fonction du temps Dans le cas d'un chevauche- ment suffisant du contenu d'images successives, il est possi- ble d'étendre à volonté la phase de l'image fixe également sur la durée de la période de la suite d'images transmise, auquel cas on ne prend pas en compte chacune des images, mais on travaille, moyennant une suppression d'images individuelles (par exemple d'une image sur deux), avec un intervalle supé- rieur, d'une image à l'autre. Le rapport de la durée de la phase de l'image fixe à la durée de la phase de l'image mobile peut être choisi différem- ment pour différentes zones de l'image En particulier, par exemple l'insertion d'une représentation sous la forme d'une il image fixe peut être limitée à une zone au centre de l'image, alors que les autres parties de l'image subsistent par exem- ple en permanence dans la représentation sous la forme d'ima- ges mobiles. Des dispositions supplémentaires connues pour améliorer la reproduction de l'image, notamment des opérations de fil- trage numérique, dans lesquelles des limitations du point de vue de la technique de réalisation dans la phase de l'image mobile peuvent conduire à des limitations analogues au cas se présentant lors de la régénération des images selon le brevet principal, peuvent êtreiavantageusement utilisées dans la phase de l'image fixe. En cas de besoin, il est possible de représenter l'en- semble de la scène en un intervalle de temps plus court ou plus long, contrairement au fonctionnement en temps réel En particulier, par exemple au moyen d'un allongement de l'ensem- ble de la durée de représentation, proportionnel à la repré- sentation introduite sous la forme d'une image fixe, on peut aboutir à ce que dans la représentation sous la forme d'images mobiles, le déplacement de la scène soit reproduit avec la vitesse du fonctionnement en temps réel, c'est-à-dire sans compression de temps. REVENDI CAT IONS 1 Procédé pour réaliser la transmission et la reproduc- tion de scènes vidéo, notamment de scènes de vues aériennes, avec une fréquence réduite de récurrence des images dans le cas du déplacement relatif de la scène enregistrée par rap- port au capteur de prise de vues, selon lequel on introduit dans la suite des images transmise, des images intercalaires produites du côté reproduction par interpolation et/ou extra- polation adaptée à la formation de l'image, en-prenant pour base deux images respectivement transmises, et on détermine les positions des points images, qui sont relatives à un même objet et doivent être associées pour l'interpolation ou 1 ' extrapolation, des deux images transmises à partir de l'asso- ciation, déterminée comme étant connue, des positions des points images pour au moins deux points objets, possédant des coordonnées horizontales et verticales différentes, dans cha- cune des deux images transmises, selon le brevet principal, caractérisé en ce que la première de deux images transmises est représentée respectivement-pendant une certaine durée sous la forme d'une image fixe et qu'à cette représentation sous la forme d'une image fixe succède une représentation d'images intercalaires, qui sont produites à partir de l'image fixe considérée et d'une image transmise ultérieurement, au moyen de l'interpolation et/ou de l'extrapolation adaptée à la for- mation de l'image. 2 Procédé selon la revendication 1, caractérisé en ce que la durée de la reproduction sous la forme d'une image fixe est variable. 3. Procédé suivant l'une des revendications 1 ou 2, ca- ractérisé en ce que des zones partielles de l'image sont respectivement reproduites sous la forme d'une image fixe.