Brevet FR3005543A1 — publié le 20141114

PROCEDE DE COMPENSATION DE SCINTILLEMENT UTILISANT DEUX IMAGES Domaine technique de l'invention L'invention est relative aux capteurs d'image matriciels, notamment aux capteurs 5 fonctionnant selon le principe de l'obturateur roulant électronique pouvant être sensibles à des phénomènes de scintillement. Arrière-plan de l'invention Certaines sources lumineuses pouvant éclairer une scène, alimentées par le secteur, produisent une puissance lumineuse qui varie de manière sinusoïdale selon le carré de la 10 tension du secteur. Ainsi, ces sources lumineuses scintillent à une fréquence double de celle du secteur. Les lampes halogènes et les ampoules à incandescence sont des exemples. Habituellement, la luminosité des scènes éclairées par de telles sources est faible, et la photographie nécessite des temps d'exposition relativement longs, dépassant la période 15 du scintillement. Dans ces conditions, les images saisies avec un capteur à obturateur roulant électronique révèlent peu d'artéfacts visuels. Pour éviter tout artefact dans ces conditions, certains capteurs sont programmés pour que le temps d'exposition soit un multiple de la période de scintillement. La figure 1 illustre une situation de forte luminosité sous un éclairage par une source 20 scintillante, nécessitant un temps d'exposition inférieur à la période de scintillement. Une situation similaire se produit lorsque le capteur est très sensible. La puissance lumineuse P est illustrée à la partie supérieure de la figure par une sinusoïde de période Tf Dans un capteur matriciel à obturateur roulant, l'effet d'obturateur roulant est obtenu 25 par le fait que les pixels de la matrice sont exploités une rangée après l'autre. Ainsi, l'intervalle d'exposition de chaque rangée est décalé par rapport à l'intervalle d'exposition de la rangée précédente, d'une durée Tr égale à la période de balayage de la matrice, ou période de trame, divisée par le nombre de rangées de la matrice. La figure 1 illustre un exemple de succession d'intervalles d'exposition pour quatre 30 rangées consécutives R1 à R4. Les intervalles sont de même durée et décalés l'un par rapport à l'autre d'une durée Tr. Dans chaque intervalle, on intègre une partie différente d'une alternance de la sinusoïde représentant la puissance lumineuse. Il en résulte que les rangées successives intègrent des niveaux de luminosité différents. La partie inférieure de la figure 1 illustre une portion d'une image rendue dans cette situation pour un aplat gris. L'image rendue, alors qu'elle devrait être uniforme, 5 contient une alternance de bandes sombres et claires dont le nombre est égal au rapport entre la période de trame et la période de scintillement. Certains capteurs d'image à obturateur roulant, comme celui décrit dans le brevet US 8 253 090, sont capables d'effectuer de multiples intégrations (ou expositions) par trame. Ce genre de capteur sert, par exemple, à produire plusieurs versions d'une même 10 image avec des niveaux d'exposition différents, ces versions pouvant ensuite être combinées pour produire une image dite à plage de dynamique élevée ou HDR (« High Dynamic Range »). La figure 2 illustre un exemple de fonctionnement d'un capteur à trois intervalles d'intégration utilisé sous une ambiance de lumière scintillante de puissance élevée. Une 15 même rangée est soumise consécutivement à trois intégrations, la première sur un intervalle de temps court Tia, la deuxième sur un intervalle de temps moyen Tib, par exemple deux fois plus long que l'intervalle Tia, et la troisième sur intervalle de temps long Tic, par exemple quatre fois plus long que l'intervalle Tia. On obtient ainsi trois images, respectivement sombre, moyenne, et claire. Les rangées de valeurs obtenues à 20 la fin des intervalles d'intégration sont combinées pour produire l'image HDR. Les valeurs peuvent être combinées de différentes manières connues, par exemple selon un algorithme destiné à faire ressortir les détails des zones surexposées et sous-exposées. Pour cela, l'algorithme analyse chaque pixel de l'image moyenne, et le remplace par un pixel pondéré de l'image claire ou de l'image sombre, selon que le 25 pixel analysé présente une luminosité inférieure à un seuil d'obscurité ou supérieure à un seuil de clarté. En présence d'une source de lumière scintillante de forte intensité, les intervalles d'intégration peuvent, comme cela est représenté, être plus courts que la période de scintillement. Dans ce cas, on retrouve une situation équivalente à celle de la figure 1, 30 où les intervalles d'intégration pour chaque rangée voient une partie différente d'une alternance de la sinusoïde représentant la puissance lumineuse. L'image résultante comporte également une alternance de bandes claires et sombres. Résumé de l'invention On souhaite ainsi compenser l'effet du scintillement sur un capteur à obturateur roulant dans des conditions de forte intensité lumineuse, y compris sur des capteurs servant à produire des images HDR. On tend à satisfaire ce besoin en prévoyant un procédé de compensation de scintillement pour des images prises par un capteur d'image fonctionnant en mode obturateur roulant, comprenant les étapes consistant à saisir une première image ; saisir une deuxième image séparée dans le temps de la première image d'un nombre entier ou nul de périodes de scintillement, plus une demi-période de scintillement ; et produire une image compensée à partir d'une moyenne des première et deuxième images. Selon un mode de mise en oeuvre, les première et deuxième images ont le même temps d'exposition. Selon un mode de mise en oeuvre, les première et deuxième images ont des temps d'exposition différents ; la séparation temporelle entre les première et deuxième images est définie entre les centres des intervalles d'exposition des images ; et l'image associée au temps d'exposition le plus court est pondérée par le rapport entre le temps d'exposition le plus long et le temps d'exposition le plus court. Selon un mode de mise en oeuvre, on utilise un capteur d'image à multiples intervalles d'intégration pour saisir les première et deuxième images dans deux intervalles 20 d'intégration successifs du capteur. Description sommaire des dessins Des modes de réalisation seront exposés dans la description suivante, faite à titre non limitatif en relation avec les figures jointes parmi lesquelles : - la figure 1, précédemment décrite, illustre une capture d'image en mode 25 obturateur roulant avec une source lumineuse scintillante de puissance élevée, et l'effet visuel résultant ; - la figure 2, précédemment décrite, illustre une capture d'image dans les mêmes conditions, à l'aide d'un capteur à multiples intervalles d'intégration ; - la figure 3 illustre une technique de compensation de scintillement applicable à 30 une image simple ; et - la figure 4 illustre une technique de compensation de scintillement applicable à une image HDR. Description d'un mode de réalisation préféré de l'invention La figure 3 illustre, comme les figures 1 et 2, une situation de scène éclairée à forte puissance par une source de lumière scintillante. La puissance lumineuse P est illustrée par une sinusoïde de période Tf. La puissance lumineuse moyenne est telle qu'un capteur d'image nécessite, pour photographier la scène, un temps d'exposition Tia inférieur à la période de scintillement. Le capteur d'image est du type à obturateur roulant électronique. Ainsi, chaque rangée du capteur est soumise à un intervalle d'intégration de durée Tia, mais décalé par rapport à l'intervalle d'intégration de la rangée précédente. On a représenté l'intervalle d'intégration Tia d'une seule rangée. (La durée de l'intervalle d'intégration, normalement la même pour toutes les rangées du capteur, est également le temps d'exposition de l'image.) Pour compenser l'effet du scintillement, la même rangée est soumise à un nouvel intervalle d'intégration Tib, de même durée ici que l'intervalle Tia, mais décalé d'une demi-période de scintillement, Tf/2, par rapport à l'intervalle Tia. En intégrant ainsi la sinusoïde, sur deux intervalles de même longueur écartés d'une demi-période, on obtient l'intégrale de la composante continue de la sinusoïde sur une durée Tia+Tib, qui est une valeur constante quelle que soit la position de la paire d'intervalles le long de la sinusoïde. La figure 3 illustre deux exemples de positions de la paire d'intervalles d'intégration. Les deux résultats d'intégration obtenus à la fin des intervalles Tia et Tib, respectivement, sont moyennés pour produire une rangée de valeurs compensées Rcl, 25 où l'effet du scintillement est entièrement annulé. La demi-période de scintillement Tf/2 vaut 5 ms pour une fréquence secteur de 50 Hz (produisant une variation de puissance à 100 Hz), ou 4,17 ms pour une fréquence secteur de 60 Hz. Cette durée est généralement inférieure à la période de trame du capteur, de sorte que le capteur serait dans ce cas conçu pour pouvoir saisir deux images 30 par trame. De tels capteurs existent - il s'agit des capteurs à multiples intervalles d'intégration utilisés pour produire des images HDR (figure 2). Un tel capteur est normalement commandé pour utiliser deux intervalles d'intégration quasi-contigus de durées différentes. Pour mettre en oeuvre la technique de compensation qui vient d'être décrite, le mode de commande du capteur peut être modifié pour utiliser deux intervalles d'intégration de même durée, écartés de Tf/2. Cette technique de compensation de scintillement ne nécessite toutefois pas un capteur spécifique. Elle peut être mise en oeuvre à l'aide d'un capteur simple commandé pour saisir deux images successives avec le même temps d'exposition. Il suffit que l'écart temporel D entre les deux intervalles d'intégration Tia et Tib, donc entre les expositions des deux images, soit égal à un nombre entier de périodes de scintillement, plus une demi-période de scintillement. En d'autres termes : D = (K+1/2)Tf, où K est un entier pouvant être nul. Bien entendu, pour éviter un effet d'image fantôme du fait qu'on moyenne deux images écartées dans le temps, il est préférable que l'écart soit minimal, et donc que K soit nul, comme à la figure 3. Afin d'annuler l'effet du scintillement dans une image HDR, la technique illustrée à la figure 1 peut être appliquée directement à chacune des multiples images intermédiaires 15 servant à former l'image HDR. Si l'image HDR est basée sur trois images intermédiaires, cela nécessite, dans le cas général, la saisie de deux triplets d'images. Si le capteur n'est pas configuré pour saisir six images par trame, on peut saisir un triplet d'images intermédiaires dans chacune de deux trames successives, écartées dans le temps de (K+1/2)Tf. Bien entendu, cette solution augmente le risque d'obtention 20 d'images fantômes. Si le capteur permet de saisir quatre images par trame, et qu'on souhaite éviter les images fantômes, on peut se contenter d'images HDR basées sur deux images intermédiaires. Les deux couples d'images nécessaires peuvent alors être saisies dans une même trame. 25 Cette solution n'est pas applicable si le capteur permet seulement de saisir le nombre d'images par trame prévu à l'origine pour les images HDR, par exemple trois images. La figure 4 illustre un compromis pour cette situation, entre la qualité de la compensation du scintillement et la qualité des images HDR. Pour produire une image HDR, on peut alors utiliser deux images intermédiaires ayant, respectivement, un temps 30 d'exposition court Tia et un temps d'exposition long Tib. Dans l'exemple représenté, Tib = 4Tia. Afin de compenser les effets du scintillement, les intervalles d'intégration Tia et Tib sont écartés pour chaque rangée, comme à la figure 3, d'une demi-période de scintillement Tf/2. Diverses définitions de l'écart temporel entre deux intervalles de durées différentes ont été explorées par les inventeurs. Les meilleurs résultats ont été obtenus en mesurant 5 l'écart entre les centres des intervalles Tia et Tib, comme cela est représenté. Les rangées de valeurs obtenues après les deux intervalles d'intégration subissent une moyenne pondérée. Plus spécifiquement, les valeurs résultant de l'intervalle court Tia sont multipliées par le rapport Tib/Tia, donc 4 dans le présent exemple, et les valeurs résultant de l'intervalle long Tib sont inaltérées (multipliées par 1). Les valeurs 10 pondérées sont sommées pour produire les valeurs de l'image HDR. La multiplication par 4 est effectuée sans perte de données, c'est-à-dire que l'on augmente le nombre de bits pour représenter les résultats de la multiplication. Cela permet de conserver du détail dans les parties claires de l'image, lesquels détails sont susceptibles d'être perdus dans l'image saisie avec le temps d'exposition long Tib. Le 15 temps d'exposition long pourra être choisi pour révéler les détails des parties sombres de l'image. Un algorithme de rendu HDR basé ainsi sur une simple moyenne pondérée a l'avantage d'être simple et produit une amélioration sensible de la dynamique de l'image. Mais un tel algorithme a notamment un effet compensateur sur le scintillement. En pondérant 20 par 4 (Tib/Tia) l'aire de la sinusoïde au niveau de l'intervalle court Tia, on obtient une valeur approchée d'une intégrale de la sinusoïde sur un intervalle de durée 4Tia, centré sur l'intervalle Tia, c'est-à-dire qu'on approche la situation de la figure 3 où la compensation est parfaite. La précision de cette approximation dépend des durées des intervalles Tia et Tib et de 25 leur position le long de la sinusoïde. Des bandes seront susceptibles d'apparaître sur l'image là où l'approximation est la moins bonne, mais l'approximation reste suffisante pour diminuer de façon sensible l'effet de bandes. La dynamique de l'image peut être améliorée, tout en compensant l'effet de scintillement, dans certains cas d'utilisation de trois intervalles d'intégration. En effet, 30 dans de nombreuses situations, l'image la plus claire est susceptible d'avoir un temps d'exposition supérieur à la période de scintillement. Ce temps d'exposition pourra être forcé à un multiple de la période de scintillement pour annuler l'effet du scintillement. Dans ce cas, on peut appliquer la procédure précédente sur les deux images les plus sombres pour produire une image sombre intermédiaire compensée. Cette image intermédiaire peut ensuite être utilisée avec l'image la plus claire selon une technique de rendu HDR plus sophistiquée offrant de meilleurs résultats qu'une moyenne pondérée. REVENDICATIONS1. Procédé de compensation de scintillement pour des images prises par un capteur d'image fonctionnant en mode obturateur roulant, comprenant les étapes suivantes : - saisir une première image (Tia) ; - saisir une deuxième image (Tib) séparée dans le temps de la première image d'un nombre entier ou nul de périodes de scintillement, plus une demi-période de scintillement (Tf/2) ; et - produire une image compensée (Rcl) à partir d'une moyenne des première et deuxième images. 2. Procédé selon la revendication 1, dans lequel les première et deuxième images ont le même temps d'exposition (Tia, Tib). 3. Procédé selon la revendication 1, dans lequel : - les première et deuxième images ont des temps d'exposition (Tia, Tib) différents, - la séparation temporelle (Tf/2) entre les première et deuxième images est définie entre les centres des intervalles d'exposition des images, et - l'image associée au temps d'exposition le plus court (Tia) est pondérée par le rapport (Tib/Tia) entre le temps d'exposition le plus long et le temps d'exposition le plus court. 4. Procédé selon la revendication 1, utilisant un capteur d'image à multiples intervalles d'intégration pour saisir les première et deuxième images dans deux intervalles d'intégration successifs du capteur.