Brevet FR2918744A1 — publié le 20090116

PROCEDE ET SYSTEME POUR L'ACQUISITION ET LE TRAITEMENT D'IMAGES STEREOSCOPIQUES A FAIBLE COEFFICIENT STEREOSCOPIQUE ET TRES HAUTE RESOLUTION La présente invention est relative à l'acquisition et au traitement d'images stéréoscopiques. PRESENTATION DU DOMAINE TECHNIQUE La mise à disposition auprès du grand public d'images multirésolution principalement satellitaires, via Google Earth, a eu immédiatement un large retentissement auprès du grand public. Aujourd'hui, c'est encore l'image mufti-résolution qui reste le produit de base. A l'horizon de la décennie, sans prendre trop de risques, on peut miser sur la distribution massive du 3D. L'intérêt stratégique du 3D THR (Très Haute Résolution - résolution largement inférieure au mètre) est évident. La communauté des utilisateurs de l'image partage l'opinion selon laquelle son importance s'accroît avec la résolution. La conception d'un instrument THR doit donc tout particulièrement prendre en compte l'acquisition massive du 3D. Cette contrainte d'acquisition massive de couples stéréoscopiques conduit au choix d'une stéréoscopie dite native car ne nécessitant pas de manoeuvre pour acquérir séparément les deux images du couple. Un nouveau concept d'instrument 3D est proposé. Il est dénommé B101ogical Native Image Camera with Stereoscopy . BIONICS est inspiré du fonctionnement de l'oeil. Il apparaît comme une évidence que la sélection naturelle au cours de centaines de millions d'années a patiemment amélioré cet outil de la vision pour en faire un instrument d'une très grande efficacité. Or, l'acquisition d'informations 3D par l'oeil est très différente de celle réalisée par les capteurs spatiaux ou aéroportés actuels. La vision binoculaire fonctionne le plus souvent sous très faibles coefficients 2 stéréoscopiques et ceci à l'inverse du fonctionnement des caméras stéréoscopiques existantes. Sur la figure 1 est présentée une impression en noir et blanc d'un anaglyphe de la prison Saint Michel de Toulouse, de résolution 25 cm, avec un coefficient stéréoscopique de 0,04 (simulations PELICAN 2004, interpolation en géométrie épipolaire réalisée par Magelium, 30' d'intervalle de temps entre l'acquisition des deux images du couple). Sur ces simulations, la vision stéréoscopique est perturbée par l'ombre qui bouge significativement entre les deux prises de vue. Ces artefacts ne seront pas présents dans le cas satellitaire d'acquisition quasi-simultanée. Une telle configuration correspond à une vision humaine d'un objet situé à 1,50 mètre. La vision en relief est parfaitement confortable. La vision stéréoscopique satellitaire THR se prête particulièrement mal à des configurations de prises de vue urbaines en b/h importants (où b est la distance entre les détecteurs, et h la hauteur au sol) car le fond des rues n'est tout simplement pas visible et le différentiel de surface, caché entre les images du couple, est proportionnel au b/h. Ces défauts sont largement réduits en vision stéréoscopique sous faibles différences angulaires. Cette forte ressemblance entre images du couple permet une plus grande automatisation dans la réalisation des MNE (Modèle Numérique d'Elévation). Sur les figures 2a et 2b sont représentées (également en noir et blanc) d'une part la carte de disparités (quasiment proportionnelle au relief et sursol) calculée avec le logiciel de corrélation fine MARC (Multi Resolution Algorithm to Refine Correlation) et d'autre part une régularisation de cette carte par approximation planaire des zones images segmentées en régions radiométriquement homogènes. Sur cette dernière image apparaissent des détails sur les toits qui sont proches de la résolution (25 cm). L'invention propose quant à elle une acquisition et un traitement qui, pour des couples acquis sous faibles coefficients stéréoscopiques (inférieurs à 0,08 (typiquement 0,04)), permet de s'affranchir des 3 microvibrations du satellite ou de l'aéronef sur lequel les moyens d'acquisition d'images sont montés. Notamment, l'invention propose un concept instrumental stéréoscopique compact reprenant en fait certaines caractéristiques de la vision biologique - à l'exception de la simultanéité - et permettant la production massive de couples stéréoscopiques natifs. GENERALITES THEORIQUES Dans ce qui suit, on fait abstraction des effets faiblement dépendants du temps, comme les irrégularités du plan focal, car il est possible par étalonnage de mesurer ces phénomènes. Seules les perturbations dynamiques seront examinées. Le problème peut alors se résumer au premier ordre près, d'une manière synthétique, par l'équation valable pour tout couple de points homologues : (1) disparité (1, p) _ 1 _ z + perturbation 0, p) (yh)(p) OP) L'objectif est de restituer l'altitude z au point (I, p) (ligne, colonne) à partir de la carte de disparité. Celle-ci est calculée en présence de microvibrations. Cet effet est représenté ici par le terme perturbation. Dans l'expression précédente, (b/h)(p) est une fonction stéréoscopique dépendant uniquement du dépointage. Cette fonction est indépendante du temps (numéro de ligne). Elle ne dépend que du numéro de point le long de la ligne (nous n'avons pas pris en compte les irrégularités de l'orbite à l'horizon des quelques secondes correspondant à l'intervalle de temps séparant les acquisitions entre les barrettes de deux points homologues). Cette fonction b/h, lentement variable le long de la ligne, se réduit au nadir et, en terre plane, au simple coefficient stéréoscopique : base divisée par altitude. L'erreur de mesure de la disparité obtenue par corrélation se décompose en deux termes (cf. Comparaison fine d'images - Thèse 2004 - CMLA - J. Delon). Le premier prend en compte l'erreur de corrélation relative à un couple images sans bruit. Le second tient compte du bruit image. La précision sur z se résume alors à trois contributeurs : (2) dz = 6corre! + ab,n'Image + perturbation (2) b/h b/h b/h J. Delon a démontré que le premier terme ne dépendait pas de la valeur de b/h. Ce résultat est contre-intuitif puisque ce coefficient apparaît en dénominateur et suggère des b/h forts. Il s'explique cependant par le fait que l'accroissement du b/h s'accompagne d'une dégradation de la précision de restitution de la disparité, explicable par l'augmentation de la différence géométrique entre les fenêtres de corrélation relatives aux points homologues. In fine les deux phénomènes se compensent. 3. Delon a également démontré que, pour des niveaux de bruit images typiques (SNR= 100) et des b/h faibles sans excès (typiquement 0,04), le second terme reste inférieur au précédent. Une autre constatation tirée de la vision est relative à l'insensibilité de la vision stéréoscopique au mouvement de la tête alors que la carte de disparités entre images d'un couple stéréoscopique, elle, est polluée par les effets des microvibrations du satellite. Le troisième terme d'erreur, relatif aux perturbations induites par les microvibrations, apparaît comme d'autant plus fort que le b/h est faible. L'absence de sensibilité au mouvement en vision provient en fait de la simultanéité de prise des deux vues, propre à la vision binoculaire. La convergence sur l'objet observé à partir d'une même plateforme - la tête - élimine complètement l'effet du mouvement. Un tel système ne peut malheureusement être réalisé à partir d'un satellite (seulement à partir de deux). En effet, à 800 Km d'altitude, et pour une vitesse de satellite de 8 Km/s, il faudrait une plateforme de 32 Km pour obtenir un b/h de 0,04. La faible différence angulaire entre les prises de vue autorise l'insertion de deux barrettes dans un même plan focal, permettant ainsi l'acquisition directe du couple stéréoscopique et simplifiant significativement le design de l'instrument. Les b/h faibles permettent l'acquisition quasi-simultanée par les barrettes (différentiel temporel d'acquisition entre deux points homologues de quelques secondes). Il est possible de démontrer que la partie basse fréquence, assimilable à 5 une rampe locale, a une influence indépendante du b/h sur le troisième terme de l'équation (2). Néanmoins l'évaluation de celui-ci reste nécessaire pour remonter à l'altitude z (b/h faible ou pas) car les formules précédentes, sans données exogènes ou introduction d'hypothèses restrictives sur le choix des points homologues, montrent qu'il est impossible de faire cette séparation entre les deux sources : relief et microvibrations. PRESENTATION GENERALE DE L'INVENTION L'invention propose quant à elle un procédé d'acquisition et de traitement d'images stéréoscopiques d'une résolution inférieure au mètre sous coefficient stéréoscopique inférieur à 0,08 au moyen de dispositifs d'acquisition à balayage embarqué sur un satellite ou un aéronef, caractérisé en ce que, le dispositif d'acquisition comportant au moins trois capteurs dans un même plan focal : - on acquiert trois images au moyen desdits capteurs ; - on calcule à partir de ces trois images au moins deux cartes de disparités ; - on traite ces cartes de disparités pour déterminer, pour chaque point au sol, l'altitude de celui-ci et/ou les composantes de microvibrations du satellite ou aéronef sur lequel le dispositif d'acquisition est embarqué ; - on détermine, en fonction du résultat de ce traitement, des anaglyphes ou des images du sol dépourvues de composantes dues aux microvibrations. Elle propose également un système d'acquisition d'images 30 stéréoscopiques, ainsi qu'un système de traitement pour mettre en oeuvre le procédé précité. 6 Elle propose en outre un système d'acquisition et de traitement, caractérisé en ce qu'il comporte ce système d'acquisition embarqué sur un satellite ou aéronef, et un système de traitement au sol qui reçoit les images acquises, ledit système de traitement étant le système de traitement précité. PRESENTATION DES FIGURES D'autres caractéristiques et avantages de l'invention ressortiront encore de la description qui suit, laquelle est purement illustrative et non limitative, et doit être lue en regard des dessins annexés sur lesquels : - les figures 1, 2a et 2b représentent respectivement une impression en noir et blanc d'un anaglyphe de la prison Saint Michel à Toulouse, la carte de disparités calculée pour cet anaglyphe et la régularisation de cette carte de disparités par lissage planaire des régions homogènes ; - la figure 3 est une représentation schématique d'un système d'acquisition et de traitement selon un mode de réalisation possible de l'invention. DESCRIPTION D'UN OU PLUSIEURS MODES DE MISE EN îUVRE 20 OU DE REALISATION Configuration instrumentale Un instrument d'acquisition par balayage I, embarqué sur un satellite ou sur un aéronef S se déplaçant par rapport à la terre T, est illustré sur la figure 3. Il comporte une barrette 1 disposée au nadir et 25 deux autres barrettes 2 et 3 placées de part et d'autre de la barrette centrale 1, par exemple pratiquement symétriquement de chaque côté de celle-ci. L'optique de l'instrument d'acquisition I est représentée ici schématiquement par une lentille 4. Les trois barrettes 1 à 3 sont 30 disposées dans le plan focal de l'instrument d'acquisition. 7 Deux des barrettes (par exemple celles (2 et 3) de chaque côté de la barrette centrale 1) peuvent être des barrettes panchromatiques, tandis que la troisième barrette peut être constituée par une barrette couleur ou une autre barrette panchromatique ; cette troisième barrette peut par exemple présenter une résolution inférieure à celle des deux autres barrettes. Un calculateur 5 disposé par exemple au sol et recevant les images acquises par chacune des trois barrettes déterminent à partir de celles-ci au moins deux cartes de disparités. De cette façon, on dispose pour chaque point d'image de deux équations, lesquelles correspondent à l'équation (1) exprimée pour chacune des paires de points homologues correspondant au point image considéré. Dans ces équations, le terme de perturbation est considéré à deux instants différents, séparés dans le temps d'un écart temporel constant, égal à b/v, où v est la vitesse du satellite. Par soustraction entre les deux équations et traitement du type à transformée de Fourier et inversion, le calculateur détermine le terme de perturbation. Une fois le terme de perturbation déterminé, le calculateur détermine l'altitude z et/ou retraite les images 2D pour y supprimer le bruit dû aux microvibrations. On notera ici que pour que l'équation obtenue par soustraction des deux équations (1) et transformée de Fourier soit inversible, il est nécessaire que la barrette centrale ne soit pas située à l'exact milieu des deux barrettes latérales : par exemple, l'une des barrettes latérales est à 5100 pixels de la barrette centrale, tandis que l'autre est à 5000 pixels. De façon plus générale, les nombres de pixels entre la barrette centrale et les barrettes latérales sont choisis pour que leur PPCM (Plus Petit Commun Multiple) soit plus grand que le plus grand d'entre eux. 8 Optimisation de la chaîne image La réalisation d'un système THR compact de restitution de MNE fin nécessite deux ou trois barrettes panchromatiques produisant deux ou trois images. Le dimensionnement de SPOTS a largement sensibilisé le CNES à l'importance de l'échantillonnage dans la course à la résolution. Cette redondance de l'information et la connaissance fine des microvibrations comme sous-produit de la carte de disparités conduisent naturellement à proposer le design d'un satellite THR stéréoscopique dans le cadre d'une approche globale de la chaîne image prenant en compte à la fois les contraintes de résolution, de SNR (Signal to Noise Ratio), de stabilité de plateforme et de stéréoscopie. Le point clef est alors d'exprimer ces images échantillonnées irrégulièrement en les fusionnant dans une grille unique régulière et restaurée radiométriquement. La restitution fine des microvibrations présente un intérêt supplémentaire dans le cas de système d'acquisition par détecteur TDI (Time Delay Integration) et/ou acquisition avec fort ralenti. En effet, cette information précieuse peut permettre, si nécessaire, de maîtriser plus finement la réponse impulsionnelle locale et peut ainsi apporter une amélioration directe de la résolution par déconvolution locale (AC). Pour une méthode possible pour fusionner 2 ou 3 images panchromatiques, on pourra avantageusement se référer aux travaux réalisés par A. Almansa (cf. HDR Sur quelque problèmes mathématiques en analyse d'images et vision stéréoscopique , A. Almansa 2005 Paris 5). On notera que les traitements proposés peuvent être en particulier validés par deux théorèmes relatifs à l'échantillonnage irrégulier. D'une part le théorème de Kadek indique que, dans le cas 1D (notre cas, car rigidité de la barrette), un déplacement aléatoire d'amplitude 0.25 pixel ne change pas la propriété de Shannon et que d'autre part, dans le cas de simples translations locales entre voisinages de points homologues, l'entrelacement par filtres de Latry-Roddier est 9 justifié (filtres déjà utilisés pour restaurer le mode QI de SPOT1-4). Or, le cas ici considéré est en partie encadré par ces deux résultats : les disparités entre points homologues ne sont pas aléatoires mais ne sont pas - non plus - toujours localement régulières. Exemples de mise en oeuvre Trois configurations instrumentales avec traitement au sol associé sont proposées : deux améliorent le SNR, la dernière améliore simultanément la résolution et le SNR. Un premier cas est celui de deux barrettes panchromatiques (la troisième est une barrette couleur) phasées, chacune étant proche de l'échantillonnage critique de Shannon. La redondance introduite par le couple panchromatique est utilisée pour augmenter le SNR. L'amélioration peut atteindre un gain de Le traitement sol correspondant consiste à registrer les deux images grâce à la carte de disparités et à calculer ensuite la moyenne du couple d'images ainsi trouvées. Un second cas est celui de deux barrettes panchromatiques qui acquièrent deux images sous-échantillonnées. La troisième barrette est, là encore, une barrette couleur. L'accroissement de la résolution s'inspire alors du SUPERMODE de SPOTS. L'objectif est de calculer un second tronçon à partir d'un échantillonnage relativement irrégulier entre les deux images. Cette irrégularité de l'échantillonnage n'autorise cependant pas la restitution systématique du second tronçon, et la résolution s'améliorera dans un rapport pouvant aller jusqu'à h . De plus, cette amélioration de la résolution sera payée en partie par une diminution du SNR apportée par le traitement d'interpolation lui même. Une troisième configuration est composée de trois barrettes panchromatiques. L'objectif est alors de palier à l'irrégularité des décalages de la solution précédente par une densification de l'échantillonnage dans un rapport 3/2 par rapport à l'échantillonnage critique. Ce facteur de suréchantillonnage permet d'assurer plus 10 efficacement la restitution du second tronçon, et ainsi de se rapprocher d'un gain de \ri en résolution et de ,/3/2 en SNR (AC). Ces configurations peuvent être appliquées à toutes les résolutions, cependant le cas ci-dessous des PLEIADES qui fait référence permet une bonne illustration. Dans l'exemple qui suit est examiné le dimensionnement très simplifié d'un instrument de type PLEIADES réalisant la stéréoscopie native par BIONICS. Trois configurations de barrettes panchromatiques sont comparées: trois barrettes TDI identiques à celles utilisées pour PLEIADES, deux barrettes TDI SUPERMODE, deux barrettes TDI réalisant la même résolution. En plus de la stéréoscopie native est imposée l'amélioration de la résolution dans un rapport -fi (passage de 0.7m à 0.5m) dans les trois cas. L'altitude reste la même. La comparaison se place à QI constante, c'est-à-dire que le produit de la FTM à la fréquence de Shannon par le SNR reste égal à celui de PLEIADES à 70 cm. Le ralenti reste égal à 1 et seul le nombre d'étage de TDI est ajusté. On notera qu'il ne s'agit pas ici d'un cas réaliste puisque l'asymétrie du plan focal de PLEIADES et sa dimension suivant la trace ne permet pas de telles configurations. Il s'agit d'une simple illustration. La configuration instrumentale proposée permet l'utilisation de TDI dans certaines limites de dépointage en tangage. Cette contrainte provient de l'impossibilité de réaliser d'une manière optimale le guidage à la fois pour les deux barrettes externes, la barrette nadir servant alors de référence de guidage. L'effet pour un b/h de 0.04 et un tangage de 30 induit un bougé d'un centième de pixel par étage TDI. L'exemple de PLEIADES, 15 étages de TDI et 10 points de FTM à la fréquence de Shannon pour une barrette au nadir, se traduit par 9,7 point de FTM à la même fréquence pour les barrettes externes. Cet effet est négligeable si l'on reste dans le cas de dépointages en tangage raisonnables. er cas Dans le cas de 3 barrettes, la contrainte QI est divisé par \/3/2 pour tenir compte du traitement de fusion au sol de l'image pour améliorer dans un rapport la résolution (AC). Résultat - instrument optique identique au PLEIADES nominal, - débit augmenté dans un rapport 3 pour un même taux de compression, - 20 étages TDI, - vitesse de lecture de chaque barrette identique à PLEIADES, -restitution fine des microvibrations grâce à la troisième barrette, -fusion au sol par traitement pour obtenir la résolution (contrainte de guidage identique à une barrette unique). 2eme cas Implantation de deux TDI SUPERMODEs. Contrainte QI divisée par N/i pour tenir compte de la fusion des images SUPERMODE. Résultat - instrument optique identique au PLEIADES nominal, - débit multiplié par 4, vitesse de lecture pour chacune des 2 barrettes TDI de chaque SUPERMODE identique au PLEIADES nominal, 16 étages TDI, contrainte de guidage relative à un SUPERMODE, entrelacement des SUPERMODEs au sol. 3ème cas Implantation de deux TDI simples sans changer le diamètre de la pupille pour rester avec les mêmes hypothèses que précédemment. Contrainte QI divisée par pour tenir compte de la fusion des images. Résultat 11 - multiplication de la focale par f , - multiplication de la taille du plan focal par, - débit multiplié par 4, - vitesse de lecture de chaque barrette deux fois plus rapide, 5 - 44 étages de TDI. De ces trois cas il ressort que la configuration avec 3 barrettes décontraint particulièrement l'utilisation des TDI. REVENDICATIONS 1. Procédé d'acquisition et de traitement d'images stéréoscopiques d'une résolution inférieure au mètre sous coefficient stéréoscopique inférieur à 0,08 au moyen d'un dispositif d'acquisition à balayage embarqué sur un satellite ou un aéronef, caractérisé en ce que, le dispositif d'acquisition comportant au moins trois capteurs dans un même plan focal : - on acquiert trois images au moyen desdits capteurs ; - on calcule à partir de ces trois images au moins deux cartes de disparités ; - on traite ces cartes de disparités pour déterminer, pour chaque point au sol, l'altitude de celui-ci et/ou les composantes de microvibrations du satellite ou aéronef sur lequel le dispositif d'acquisition est embarqué ; - on détermine, en fonction du résultat de ce traitement, des anaglyphes ou des images du sol dépourvues de composantes dues aux microvibrations. 2. Procédé selon la revendication 1, caractérisé en ce que les cartes de disparités sont soustraites et en ce qu'on traite la carte différentielle ainsi obtenue pour en déduire, par traitement du type à transformée de Fourier et inversion, les composantes des cartes de disparités qui correspondent aux microvibrations du satellite ou de l'aéronef. 3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que deux des capteurs sont de type panchromatique, le troisième étant un capteur d'acquisition d'image couleurs. 4. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce que l'un des capteurs présente une résolution plus faible que les deux autres. 5. Procédé selon l'une des revendications précédentes, caractérisé en ce que l'un des capteurs est disposé en étant situé de façon 14 légèrement décalée par rapport au milieu des deux autres, les nombres de pixels entre ce capteur central et les capteurs latéraux étant choisis pour que leur plus petit commun multiple soit plus grand que le plus grand d'entre eux. 6. Procédé selon l'une des revendications précédentes, caractérisé en ce que l'on fusionne des images sur lesquelles les composantes de microvibrations ont été supprimées. 7. Procédé selon l'une des revendications précédentes, caractérisé en ce que les capteurs sont des barrettes ou des matrices TDI. 8. Dispositif d'acquisition à balayage, apte à être embarqué sur un satellite ou un aéronef, ledit dispositif permettant l'acquisition d'images stéréoscopiques d'une résolution inférieure au mètre sous coefficient stéréoscopique inférieur à 0,008, caractérisé en ce qu'il comporte au mois trois capteurs dans un même plan focal. 9. Système de traitement d'images stéréoscopiques d'une résolution inférieure au mètre sous coefficient stéréoscopique inférieur à 0,008, ces images étant acquises au moyens d'un dispositif d'acquisition à balayage embarqué sur un satellite ou un aéronef, caractérisé en ce que, le dispositif d'acquisition étant du type selon la revendication 8, ledit système comporte des moyens de traitement pour : - calculer à partir des images acquises par ces capteurs au moins deux cartes de disparités ; et -traiter ces cartes de disparités pour déterminer, pour chaque point au sol, l'altitude de celui-ci et/ou les composantes de microvibrations du satellite ou aéronef sur lequel le dispositif d'acquisition est embarqué ; - déterminer, en fonction du résultat de ce traitement, des anaglyphes ou des images du sol dépourvues de composantes dues aux microvibrations. 15 10. Système d'acquisition et de traitement, caractérisé en ce qu'il comporte un dispositif d'acquisition selon la revendication 8 embarqué sur un satellite ou aéronef et un système de traitement au sol qui reçoit les images acquises, ledit système de traitement étant un système selon la revendication 9.