Brevet FR3064784A1 — publié le 20181005

Procédé et dispositif d'acquisition et de restitution d'images numériques avec une dynamique étendue La présente invention concerne un procédé d'acquisition d'images numériques avec une dynamique étendue. Elle concerne également un dispositif associé, un procédé et un dispositif de restitution d'images numériques associés. Elle se situe dans le domaine du traitement d'images à large gamme dynamique, connu sous le nom de « High Dynamic Range » ou HDR en anglais. Dans certaines applications, la dynamique d'acquisition d'images numériques classiques n'est pas suffisante pour une représentation suffisamment précise des données physiques représentées. En effet, une image numérique est obtenue classiquement par un dispositif d'acquisition d'images muni de capteurs composés de milliers de pixels, chaque pixel étant apte à transformer des photons reçus pendant un temps d'intégration en un signal électrique, ledit signal électrique étant transformé en une valeur numérique d'échantillon d'image. Les valeurs numériques dans la gamme dynamique de représentation sont représentatives donc de la quantité de lumière reçue et intégrée par les pixels. De faibles valeurs numériques correspondent à une faible quantité de photons, donc de lumière, en d'autres termes à des zones sombres, alors que des valeurs élevées correspondent à des zones claires. En plus du signal utile de l'image, plusieurs bruits viennent « polluer » cette image. Lorsque le signal utile est faible, le bruit devient significatif et le signal utile peut être noyé dans le bruit. Le SNR (de l'anglais : Signal to Noise Ratio) correspond au ratio du niveau de signal utile sur le niveau de bruit. Il existe des techniques de traitement de plusieurs images numériques permettant d'obtenir une image numérique dont la dynamique est augmentée, mais de telles techniques nécessitent en général une puissance calculatoire importante. De telles techniques de traitement d'images ne sont pas applicables dans certaines applications, par exemple dans la capture d'images embarquée sur des dispositifs mobiles autonomes ayant une puissance de calcul limitée, par exemple des drones ou des véhicules conçus pour se déplacer sur la surface d'astres, également appelés « rovers » en anglais. En particulier, un problème se pose dans le cas d'applications spatiales, dans le cadre de l'acquisition d'images par des robots autonomes, équipés de systèmes de communication. Dans de telles applications, la puissance calculatoire embarquée est faible, et la bande passante de communication disponible pour transmettre des données à un système récepteur situé à distance peut être faible également. 3064784 2 Il serait donc utile de mettre au point un procédé permettant l'acquisition d'images numériques avec une dynamique étendue, et un bon rapport signal-à-bruit dans l'étendue de la gamme de représentation et ne nécessitant que de faibles moyens calculatoires. A cet effet, l'invention propose un procédé d'acquisition d'images numériques mis 5 en oeuvre dans un système comportant un dispositif d'acquisition d'images numériques, ledit dispositif d'acquisition d'images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d'intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d'échantillon d'image numérique. Le procédé comporte les étapes suivantes : 10 -détermination d'une pluralité de temps d'intégration différents, -et pour chacun des temps d'intégration déterminés, obtention d'une image numérique initiale acquise avec ledit temps d'intégration, chaque image numérique initiale ayant un niveau de signal correspondant, -pour chaque image numérique initiale, application d'une fonction d'écrêtage avec 15 un seuil d'écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l'éclairement, pour obtenir une image numérique traitée, et -combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d'images numériques traités, l'image finale ayant un niveau de signal linéaire par 20 morceaux en fonction de l'éclairement. Avantageusement, le procédé d'acquisition d'images numériques de l'invention est simple et nécessite peu de ressources calculatoires, et permet d'obtenir une image numérique finale de grande dynamique. Le procédé d'acquisition d'images numériques selon l'invention peut présenter 25 une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement acceptables. L'étape d'écrêtage, consiste à comparer, pour chaque image numérique acquise, la valeur de chaque échantillon à la valeur de seuil d'écrêtage prédéterminée, et lorsque ladite valeur d'échantillon est supérieure à la valeur de seuil d'écrêtage, à remplacer 30 ladite valeur d'échantillon par ladite valeur de seuil d'écrêtage. Pour chacune des images acquises, une même valeur de seuil d'écrêtage est appliquée. L'étape de détermination des temps d'intégration comporte une détermination d'un temps d'intégration minimal et/ou d'un temps d'intégration maximal, et le calcul des autres 35 temps d'intégration en fonction du temps d'intégration maximal et d'un nombre d'images à traiter. 3064784 3 L'étape de détermination de temps d'intégration comporte la détermination des temps d'intégration en fonction d'un objectif de qualité de l'image numérique finale et d'un nombre d'images à traiter. 5 L'objectif de qualité de l'image numérique est un objectif de rapport signal à bruit minimum et la détermination des temps d'intégration met en oeuvre le rapport signal à bruit minimum, le nombre d'images traitées et un niveau de saturation d'un capteur. Selon un autre aspect, l'invention concerne un programme d'ordinateur comportant des instructions logicielles qui, lorsqu'elles sont mises en oeuvre par un 10 dispositif programmable, mettent en oeuvre un procédé d'acquisition d'images numériques tel que brièvement décrit ci-dessus. Selon un autre aspect, l'invention concerne un support d'enregistrement d'informations adapté à stocker un programme d'ordinateur comportant des instructions logicielles qui, lorsqu'elles sont mises en oeuvre par un dispositif programmable, mettent 15 en oeuvre un procédé d'acquisition d'images numériques tel que brièvement décrit ci- dessus. Selon un autre aspect, l'invention concerne un dispositif d'acquisition d'images numériques mis en oeuvre dans un système comportant un dispositif d'acquisition d'images numériques, ledit dispositif d'acquisition d'images numériques étant muni de 20 capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d'intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d'échantillon d'image numérique. Le dispositif d'acquisition d'images numériques comporte un dispositif programmable comportant au moins un processeur adapté à mettre en oeuvre des calculs, comportant : 25 -un module de détermination d'une pluralité de temps d'intégration différents, -un module de commande d'acquisition d'une image numérique initiale correspondante pour chacun des temps d'intégration déterminés, chaque image numérique initiale ayant un niveau de signal correspondant, -pour chaque image numérique acquise, un module d'application d'une fonction 30 d'écrêtage avec un seuil d'écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l'éclairement, pour obtenir une image numérique traitée, -un module combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d'images numériques traités, l'image finale ayant un niveau de signal linéaire par 35 morceaux en fonction de l'éclairement. 3064784 4 Selon un autre aspect, l'invention concerne un procédé de restitution d'images numériques à partir d'une image numérique finale de gamme dynamique étendue obtenue par un procédé d'acquisition tel que brièvement décrit ci-dessus. Le procédé de restitution comporte des étapes de : 5 -obtention d'une pluralité de temps d'intégration différents et de seuils d'écrêtage utilisés pour obtenir l'image numérique finale de dynamique étendue, correspondant à un nombre N d'images numériques initiales ; -calcul de N seuils finaux à partir des temps d'intégration et des seuils d'écrêtage ; -obtention d'au moins une image restituée ayant un niveau de signal linéaire avec 10 l'éclairement à partir de l'image numérique finale et des seuils finaux calculés. Le procédé restitution d'images numériques selon l'invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement acceptables. L'étape d'obtention d'au moins une image restituée comporte le calcul d'une seule 15 image ayant un niveau de signal linéaire. L'étape d'obtention d'au moins une image restituée comporte le calcul de N images restituées correspondant aux N images numériques initiales. Selon un autre aspect, l'invention concerne un programme d'ordinateur comportant des instructions logicielles qui, lorsqu'elles sont mises en oeuvre par un 20 dispositif programmable, mettent en oeuvre un procédé de restitution d'images numériques tel que brièvement décrit ci-dessus. Selon un autre aspect, l'invention concerne un support d'enregistrement d'informations adapté à stocker un programme d'ordinateur comportant des instructions logicielles qui, lorsqu'elles sont mises en oeuvre par un dispositif programmable, mettent 25 en oeuvre un procédé de restitution d'images numériques tel que brièvement décrit ci- dessus. Selon un autre aspect, l'invention concerne un dispositif de restitution d'images numériques à partir d'une image numérique finale de gamme dynamique étendue obtenue par dispositif d'acquisition tel que brièvement décrit ci-dessus. Le dispositif 30 comporte un dispositif programmable comportant au moins un processeur adapté à mettre en oeuvre des modules de : -obtention d'une pluralité de temps d'intégration différents et de seuils d'écrêtage utilisés pour obtenir l'image numérique finale de dynamique étendue, correspondant à un nombre N d'images numériques initiales ; 35 -calcul de N seuils finaux à partir des temps d'intégration et des seuils d'écrêtage ; 3064784 5 -obtention au moins une image restituée ayant un niveau de signal linéaire avec l'éclairement à partir de l'image numérique finale et des seuils finaux calculés. D'autres caractéristiques et avantages de l'invention ressortiront de la description 5 qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles : -la figure 1 est un schéma représentant les blocs fonctionnels d'un dispositif programmable apte à mettre en oeuvre l'invention ; -la figure 2 est un synoptique des principales étapes d'un procédé d'acquisition 10 d'images de dynamique étendue selon un mode de réalisation de l'invention ; -la figure 3 illustre les niveaux de signal correspondant à des images acquises en fonction de la quantité de lumière intégrée par les capteurs du dispositif d'acquisition d'images, avec des temps d'intégration différents ; -la figure 4 illustre schématiquement le niveau de signal E de l'image finale ; 15 -la figure 5 est un synoptique des principales étapes de restitution de signaux d'images acquis à partir d'une image numérique avec une dynamique étendue selon un mode de réalisation de l'invention. La figure 1 illustre schématiquement un système 1 d'acquisition/restitution 20 d'images numériques apte à mettre en oeuvre le procédé d'acquisition d'images numériques avec une dynamique étendue selon l'invention. Le système 1 comprend un système d'acquisition d'images 2, qui peut par exemple être embarqué à bord d'une plateforme mobile autonome, par exemple un robot. Le système d'acquisition d'images 2 comprend un dispositif d'acquisition d'images 25 4, muni de capteurs, chaque capteur étant apte à transformer des photons reçus pendant un temps d'intégration en un signal électrique, ledit signal électrique étant transformé en une valeur numérique d'échantillon d'image numérique. De préférence, des capteurs à sortie numérique de type CMOS sont utilisés. Le dispositif d'acquisition d'images 4 est connecté à un dispositif programmable 6, 30 apte à mettre en oeuvre le procédé d'acquisition d'images selon l'invention, et notamment à commander l'acquisition d'images par le dispositif d'acquisition d'images 4. Dans un mode de mise en oeuvre, le dispositif programmable 6 est réalisé sous forme de composants logiques programmables, tel qu'un FPGA (de l'anglais Field-Programmable Gate Array), ou encore sous forme de circuits intégrés dédiés, de type 35 ASIC (de l'anglais Application-Specific Integrated Circuit). 3064784 6 Le dispositif programmable 6 est connecté à un dispositif de stockage de type mémoire permettant de stocker des images numériques. Le système d'acquisition d'images 2 comporte, de manière optionnelle, un module de communication 8 apte à communiquer à distance avec un système de restitution 10, 5 comportant également un module de communication 12, selon un protocole de communication dédié. Par exemple, une communication par satellite est mise en oeuvre. Ainsi, le système d'acquisition d'images 2 est apte à transmettre des données numériques, en particulier des images numériques, au système de restitution 10. Dans un mode de réalisation, le système de restitution 10 est un dispositif 10 programmable apte à mettre en oeuvre l'invention, est par exemple un ordinateur. Il comprend une unité centrale de traitement 16, ou CPU, apte à exécuter des instructions de programme informatique lorsque le dispositif programmable est mis sous tension. Le dispositif programmable comporte également des moyens de stockage d'informations 16, par exemple des registres ou des mémoires, aptes à stocker des instructions de code 15 exécutable permettant la mise en oeuvre de programmes comportant des instructions de code aptes à mettre en oeuvre le procédé selon l'invention. En option, le dispositif programmable 10 comprend un écran 18 et un moyen 20 de saisie des commandes d'un opérateur, par exemple un clavier, optionnellement un moyen supplémentaire de pointage 22, tel une souris, permettant de sélectionner des éléments 20 graphiques affichés sur l'écran 18. Les divers blocs fonctionnels 12 à 22 du dispositif programmable 10 décrits ci-dessus sont connectés via un bus de communication 24. La figure 2 est un synoptique des principales étapes d'un procédé d'acquisition d'images numériques avec une dynamique étendue selon un mode de réalisation de 25 l'invention. Lors d'une première étape 30, on détermine un nombre N d'acquisitions d'images numériques IM, à effectuer par le dispositif d'acquisition d'images 2, et un temps d'intégration T, associée à chaque acquisition d'image IM,. Le nombre N est un nombre entier strictement supérieur à 1. 30 Dans un mode de réalisation, le nombre N est prédéterminé, par exemple fourni par un opérateur et mémorisé, ainsi que les temps d'intégration associés. En variante, N est déterminé en fonction des capacités de stockage dans le système d'acquisition d'images 2. Par exemple, N=4 acquisitions d'images effectuées avec quatre temps 35 d'intégration Tl, 12, 13 et 14. Dans un mode de réalisation, T1=1ms, T2=2ms, T3=3ms, T4=4ms. 3064784 7 Dans un mode de réalisation, le temps d'intégration 14, est le plus long, et les autres temps d'intégration sont fixés par une règle de calcul par rapport à 14, par exemple : T1 =1 X T4 T2 =1 X T4 ; T3 -3xT4. 4 2 4 Bien sûr, ce mode de réalisation est donné à titre d'exemple. 5 Il est possible d'appliquer d'autres règles de calcul en fonction du temps d'intégration le plus long et/ou en fonction du temps d'intégration le plus court. Par exemple, un incrément temporel constant est appliqué au temps d'intégration le plus court. Selon une variante, on détermine séparément chaque temps d'intégration T. 10 Selon une autre variante, le nombre N et les temps d'intégration T, sont calculés en fonction de conditions environnementales de capture ou d'un objectif de qualité fixé, par exemple en termes de rapport signal à bruit minimum à obtenir. De préférence, les temps d'intégration sont choisis de manière à ce que la quantité de mouvement dans la scène observée entre le temps d'intégration le plus court Ti et le 15 temps d'intégration le plus long TN soit négligeables. Tel est par exemple le cas si le dispositif de capture d'images est fixe et si la luminosité de la scène observée est stable pendant toute la durée des prises d'images, que les acquisitions d'images soient effectuées en série par un seul capteur ou en parallèle par plusieurs capteurs. 20 L'étape 30 est suivie d'une étape 32 d'acquisition de chaque image numérique IM, en réglant le temps d'intégration des capteurs du dispositif d'acquisition d'images au temps d'intégration T, préalablement déterminé. Une image numérique est formée d'une matrice bidimensionnelle d'échantillons d'image, chaque échantillon d'image ayant une valeur numérique associée appelée signal 25 (correspondant à la somme du signal utile et des bruits). Le signal utile correspond à une valeur de radiométrie. Dans une gamme dynamique de représentation, la valeur de radiométrie est représentative de l'éclairement, ou en d'autres termes de la quantité de lumière, reçue et intégrée par le ou les capteurs associé audit échantillon. Les faibles valeurs de radiométrie correspondent aux zones sombres, et les fortes 30 valeurs de radiométrie aux zones éclairées. Par exemple, chaque valeur numérique d'échantillon d'image est représentée sur P bits, P étant par exemple compris entre 8 et 10, la gamme dynamique de représentation correspondante étant la gamme des valeurs entières entre 0 et 2P-1. 3064784 8 En variante, une image numérique est composée de plusieurs telles matrices bidimensionnelles d'échantillons d'images, chaque matrice correspondant à une couleur, par exemple rouge, vert, bleu. Le temps d'intégration le plus court, Tl, permet d'acquérir une image numérique 5 ayant une bonne représentation des zones claires. Le temps d'intégration le plus long TN permet d'acquérir une image numérique ayant une bonne représentation des zones sombres. Pour chaque image numérique initiale IM,, l'étape 32 est suivie d'une étape 34 d'écrêtage, permettant d'utiliser le capteur correspondant dans sa zone linéaire. La zone 10 linéaire du capteur est la zone dans laquelle le niveau de signal utile est proportionnel au nombre de photons. L'étape 34 met en oeuvre une fonction d'écrêtage appliquée à chaque image initiale IM,, et consistant à remplacer toutes les valeurs du signal de IM, supérieures ou égales à un seuil d'écrêtage Seuil _i par la valeur Seuil i: 15 Si /M, (k,1)> Seuil _i , IM (k,l) = Seuil _i (Eq 1) Sinon, IM(k,1)=1Mi(k,l) pour ISkL,11C, L, C étant les dimensions respectives, en nombre de lignes et nombre de colonnes, de la matrice d'image IM,. A l'issue de l'étape 34 on obtient, pour chaque indice i, une image numérique IM',, 20 appelée image traitée. Dans un mode de réalisation, le seuil d'écrêtage est constant et égal à une valeur de seuil Sat prédéterminée pour toutes les images numériques acquises. On choisira par exemple comme valeur de seuil Sat, la valeur jusqu'à laquelle le signal est linéaire en fonction de la quantité de photons reçue par le pixel. 25 De préférence, cette valeur Sat est proche de la saturation du capteur, de manière à utiliser quasiment la totalité de la zone linéaire du capteur. Avantageusement, ce mode de réalisation comporte des opérations calculatoires simples, facilement réalisables par un FPGA. En pratique, seules les valeurs de IM,(k,l) supérieures au seuil d'écrêtage Seuil _i sont modifiées. 30 La figure 3 illustre schématiquement le niveau de signal de chaque image après l'étape d'écrêtage 34 en fonction de la quantité de lumière intégrée par le ou les capteurs du dispositif d'acquisition d'images, pour un ensemble de quatre temps d'intégration Tl, T2, 13, 14 avec 11 REVENDICATIONS1.- Procédé d'acquisition d'images numériques mis en oeuvre dans un système comportant un dispositif d'acquisition d'images numériques, ledit dispositif d'acquisition d'images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d'intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d'échantillon d'image numérique, caractérisé en ce qu'il comporte les étapes suivantes : -détermination (30) d'une pluralité de temps d'intégration (T1, T2, T3, T4) différents, -et pour chacun des temps d'intégration (T1, T2, T3, T4) déterminés, obtention (32) d'une image numérique initiale acquise avec ledit temps d'intégration, chaque image numérique initiale ayant un niveau de signal correspondant, -pour chaque image numérique initiale, application (34) d'une fonction d'écrêtage avec un seuil d'écrêtage associé (Seuil 1, Seuil 2, Seuil 3, Seuil 4) pour obtenir un niveau de signal (Si , S2, S3, S4) linéaire en fonction de l'éclairement, pour obtenir une image numérique traitée, et -combinaison (36) des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d'images numériques traités, l'image finale ayant un niveau de signal (E) linéaire par morceaux en fonction de l'éclairement. 2.- Procédé d'acquisition d'images numériques selon la revendication 1, caractérisé en ce que l'étape d'écrêtage (34), consiste à comparer, pour chaque image numérique acquise, la valeur de chaque échantillon à la valeur de seuil d'écrêtage (Seuil 1, Seuil 2, Seuil 3, Seuil 4), et lorsque ladite valeur d'échantillon est supérieure à la valeur de seuil d'écrêtage (Seuil 1, Seuil 2, Seuil 3, Seuil 4), à remplacer ladite valeur d'échantillon par ladite valeur de seuil d'écrêtage. 3.- Procédé d'acquisition d'images numériques selon la revendication 2, caractérisé en ce que pour chacune des images acquises, une même valeur de seuil d'écrêtage est appliquée. 4.- Procédé d'acquisition d'images numériques selon l'une des revendications 1 à 3, caractérisé en ce que l'étape de détermination (30) des temps d'intégration comporte une détermination d'un temps d'intégration minimal et/ou d'un temps d'intégration 3064784 16 maximal, et le calcul des autres temps d'intégration en fonction du temps d'intégration maximal et d'un nombre d'images à traiter. 5.- Procédé d'acquisition d'images numériques selon l'une des revendications 1 à 5 3, caractérisé en ce que l'étape de détermination de temps d'intégration comporte la détermination des temps d'intégration en fonction d'un objectif de qualité de l'image numérique finale et d'un nombre d'images à traiter. 6.- Dispositif d'acquisition d'images numériques mis en oeuvre dans un système 10 comportant un dispositif d'acquisition d'images numériques, ledit dispositif d'acquisition d'images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d'intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d'échantillon d'image numérique, caractérisé en ce qu'il comporte un dispositif programmable comportant au moins un 15 processeur adapté à mettre en oeuvre des calculs, comportant : -un module de détermination d'une pluralité de temps d'intégration différents, -un module de commande d'acquisition d'une image numérique initiale correspondante pour chacun des temps d'intégration déterminés, chaque image numérique initiale ayant un niveau de signal correspondant, 20 -pour chaque image numérique acquise, un module d'application d'une fonction d'écrêtage avec un seuil d'écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l'éclairement, pour obtenir une image numérique traitée, -un module combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des 25 signaux d'images numériques traités, l'image finale ayant un niveau de signal linéaire par morceaux en fonction de l'éclairement. 7.- Procédé de restitution d'images numériques à partir d'une image numérique finale de gamme dynamique étendue obtenue par une procédé d'acquisition conforme à 30 l'une des revendications 1 à 5, caractérisé en ce qu'il comporte des étapes de : -obtention (42) d'une pluralité de temps d'intégration différents et de seuils d'écrêtage utilisés pour obtenir l'image numérique finale de dynamique étendue, correspondant à un nombre N d'images numériques initiales ; -calcul (44) de N seuils finaux (El, -,E4) à partir des temps d'intégration et des 35 seuils d'écrêtage ; 3064784 17 -obtention (46, 48) d'au moins une image restituée ayant un niveau de signal linéaire avec l'éclairement à partir de l'image numérique finale et des seuils finaux calculés. 5 8.- Procédé de restitution d'images numériques selon la revendication 7, caractérisé en ce que l'étape d'obtention d'au moins une image restituée (46) comporte le calcul d'une seule image de gamme dynamique étendue ayant un niveau de signal linéaire. 10 9.- Procédé de restitution d'images numériques selon la revendication 7, caractérisé en ce que l'étape d'obtention d'au moins une image restituée (48) comporte le calcul de N images restituées correspondant aux N images numériques initiales. 10.- Dispositif de restitution d'images numériques à partir d'une image numérique 15 finale de gamme dynamique étendue obtenue par dispositif d'acquisition conforme à la revendication 6, caractérisé en ce qu'il comporte un dispositif programmable comportant au moins un processeur adapté à mettre en oeuvre des modules de : -obtention d'une pluralité de temps d'intégration différents et de seuils d'écrêtage utilisés pour obtenir l'image numérique finale de dynamique étendue, correspondant à un 20 nombre N d'images numériques initiales ; -calcul de N seuils finaux à partir des temps d'intégration et des seuils d'écrêtage ; -obtention au moins une image restituée ayant un niveau de signal linéaire avec l'éclairement à partir de l'image numérique finale et des seuils finaux calculés.