Brevet FR3123734A1 — publié le 20221209

L’invention se rapporte à un procédé de génération d'un flux vidéo comprenant un ensemble d’images à grande gamme dynamique, dit flux vidéo HDR, à partir d'une pluralité d'images à gamme dynamique standard obtenues par lecture d’au moins deux capteurs d'images ayant chacun une cadence de production d’images, chaque capteur comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler lesdites charges électriques pendant un temps d'exposition à la lumière, procédé caractérisé en ce qu'il comprend une pluralité d’itérations de création d’images grande gamme dynamique comprenant la détermination de temps d’exposition, la lecture de capteurs optiques et la combinaison des données issues de ces capteurs dans un mode de fonctionnement itératif impliquant la gestion de zone mémoire temporaire. Fig. 1 Procédé de traitement de données de pixels, dispositif et programme correspondant Le domaine de l'invention est celui de l'acquisition d'images au moyen de dispositifs de captures tels que des terminaux de communication mobiles, des appareils photos numériques, des caméras, des microscopes, etc. Plus précisément, l'invention concerne une méthode d'acquisition d'images à grande gamme dynamique, ou HDR (pour l'anglais « High Dynamic Range »). Elle trouve des applications notamment, mais non exclusivement, dans le domaine du cinéma, de la vidéo-surveillance, du transport aérien ou routier, du contrôle non-destructif, dans le domaine médical, ou encore dans celui des sciences fondamentales comme la physique, l'astronomie, etc. Art antérieur Les performances de restitution des dispositifs de capture d'images existants sont, pour des raisons économiques principalement, limitées par leur gamme dynamique étroite. En conséquence, lorsqu'une scène à capturer, sous forme d'image fixe ou vidéo, présente de forts contrastes, l'image restituée par le dispositif de capture peut présenter des zones surexposées, dans lesquelles les pixels de l'image sont saturés, correspondant aux zones très lumineuses de la scène, et des zones sombres, avec peu ou pas de détails visibles, correspondant aux zones peu éclairées de la scène. Pour résoudre ce problème et générer, à partir des dispositifs de capture existants, des images à haute gamme dynamique, dites images HDR, une technique classique consiste à combiner plusieurs images traditionnelles, dites LDR (« Low Dynamic Range »), associées à des temps d'exposition différents. La scène à restituer est capturée plusieurs fois, par le même dispositif de capture, avec des temps de pose différents : des temps de pose courts permettent de ne pas saturer les zones de l'image à forte luminosité, et des temps de pose longs permettent de détecter un signal utile dans les zones à faible luminosité. Les différentes images LDR obtenues sont ensuite traitées pour extraire de chacune d'elles les parties les mieux représentées de l'image, et ces différentes parties sont combinées pour construire une image HDR de la scène. Il est généralement admis que cette méthode de génération d'images HDR est coûteuse en temps et en nombre d'expositions à réaliser. Il est donc admis qu'elle ne convient pas non plus à la génération d'une séquence vidéo HDR, en raison de sa nature non « temps réel » : les temps de traitement seraient tels qu’ils ne permettraient pas de restituer une image HDR en temps réel. En outre, il est également admis que lorsque la scène à photographier comprend des éléments mobiles, ces derniers peuvent occuper des positions différentes dans les diverses images LDR capturées, ce qui peut entraîner l'apparition d'artefacts lors de la génération d'images HDR. Ces effets fantômes peuvent être corrigés avant la reconstruction de l'image HDR, mais au prix d'un traitement électronique complexe et coûteux. Un algorithme permettant de supprimer ces artefacts est présenté, par exemple, par Mustapha Bouderbane et al. dans l'article "Ghost artifact removal for real-time HDR video generation", Compas'2016 : Parallelism/Architecture/System, Lorient, France, 5-8 juillet 2016. Cependant, l'évolution des capteurs embarqués sur les appareils de capture d'images leur permet désormais de fonctionner en mode de lecture non destructive, ou NDRO pour « Non Destructive Read Out ». Dans ce mode de fonctionnement, les charges électriques accumulées par les éléments de conversion photoélectrique du capteur peuvent être lues, sans qu'il soit nécessaire de les réinitialiser : il est donc possible, pendant la durée d'exposition du capteur, de faire plusieurs lectures des signaux des pixels, en laissant les charges électriques continuer à s'accumuler, sous l'effet de l'exposition du capteur à la lumière. L'exploitation de ce mode de lecture non destructif, qui permet d'effectuer plusieurs lectures des signaux associés aux pixels du capteur pendant un seul temps d'exposition, offre une solution intéressante, tant au problème du coût en temps des méthodes précédentes de génération d'images HDR, qu'au problème de l'apparition d'artefacts. En effet, il est possible de générer une image à haute dynamique d'une scène à partir de plusieurs images obtenues par plusieurs lectures successives non destructives du capteur pendant le même temps d'exposition. Ainsi, le document de brevet US 7,868,938 propose un nouveau type de dispositif de capture d'images, dans lequel un premier lecteur fonctionne en mode de lecture destructive pour lire les charges accumulées par les éléments de conversion photoélectrique du capteur, en réinitialisant les signaux des pixels après chaque lecture, à la fin d'un temps d'exposition standard, et un second lecteur fonctionne en mode de lecture non destructive pour obtenir plusieurs images NDRO associées à différents temps d'exposition courts, c'est-à-dire plus courts que le temps d'exposition standard. Les différentes images NDRO associées à des temps d'exposition courts sont utilisées pour prédire si certains pixels de l'image obtenue par le premier lecteur seront saturés, en raison d'une surexposition des parties correspondantes de la scène à photographier pendant le temps d'exposition standard. Si tel est le cas, une image HDR est générée dans laquelle les pixels saturés de l'image obtenue par le premier lecteur au temps d'exposition standard sont remplacés par les pixels non saturés correspondants extraits d'une image NDRO associée à un temps d'exposition plus court. Cette solution résout partiellement les problèmes d’exposition, notamment dans le sens ou les pixels surexposés peuvent être remplacés par des pixels moins exposés, et la gamme dynamique de l’image obtenue est un peu étendue. Mais, cette méthode reste trop gourmande en calcul, ne corrige pas les problèmes de sous exposition et surtout nécessite au moins deux lectures : une destructrice et les autres non destructrices. Par ailleurs, le problème de présence d’artefact n’est pas résolu. Pour résoudre notamment les problèmes de sous exposition du document de brevet US 7,868,938, le document FR3062009A1 propose une technique qui permettrait de générer une image à large gamme dynamique moins coûteuse, tant en temps qu'en puissance de calcul et qui présenterait l’avantage d’être adaptative. Dans ce document, il est proposé de réaliser plusieurs lectures non destructrices d’un seul et même capteur, et d’adapter le remplacement des pixels d’une image courante par des pixels d’une image suivante en fonction de critères de qualité. Cette méthode est effectivement plus efficace en termes de largeur de gamme dynamique. En revanche, cette méthode ne permet pas d’effectuer une restitution du flux en temps réel et met tout de même en œuvre des ressources relativement importantes, notamment au niveau des calculs de rapports signal/bruit pour la détermination des temps d’exposition. Par ailleurs, cette méthode nécessite l’utilisation d’un capteur permettant une lecture non destructrice, capteur qui n’est pas largement disponible sur le marché et qui est nettement plus couteux. Par exemple, la méthode mise en œuvre dans le document de brevet FR3062009A1 nécessite l’utilisation d’un capteur NSC1201 de New Imaging Technologies, et est donc réservé à des usages particuliers. L'invention répond à ce besoin en proposant un procédé de génération d'un flux vidéo comprenant un ensemble d’images à grande gamme dynamique, dit flux vidéo HDR, à partir d'une pluralité d'images à gamme dynamique standard obtenues par lecture d’au moins deux capteurs d'images ayant chacun une cadence de production d’images, chaque capteur comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler lesdites charges électriques pendant un temps d'exposition à la lumière,. Selon l'invention, un tel procédé comprend une pluralité d’itérations de création d’images grande gamme dynamique comprenant : une détermination d'au moins trois temps d'exposition de capteurs comprenant : un temps d’exposition court TC, un temps d’exposition long TL et un temps d’exposition intermédiaire TI, tels que TC au moins trois itérations d'une lecture de capteurs, parmi lesdits au moins deux capteurs, délivrant au moins trois images successives, en fonction desdits au moins trois temps d’exposition de capteurs ; un enregistrement, au sein d’au moins trois zones de mémoires dédiées, desdites au moins trois images successives, chaque zone de mémoire étant dédiée à un temps d’exposition de capteur parmi lesdits au moins trois temps d'exposition de capteurs ; une génération d’une image à grande gamme dynamique à partir d'informations extraites desdites au moins trois images successives enregistrées respectivement au sein desdites au moins trois zones de mémoires dédiées ; ajout de ladite image à grande gamme dynamique audit flux vidéo HDR. Ainsi, à l’aide d’un nombre réduit de capteurs il est possible de créer efficacement un flux d’images HDR de grande qualité, et ce en conservant intact la fréquence initiale de production des images des capteurs utilisés. Selon une caractéristique particulière, que ladite détermination desdits au moins trois temps d'exposition de capteurs comprend une détermination du temps d’exposition intermédiaire TI en fonction dudit un temps d’exposition court TC et du temps d’exposition long TL. Ainsi, pour chaque image, il est possible d’affecter rapidement un temps d’exposition satisfaisant pour la production du flux HDR. Selon une caractéristique particulière, le temps d’exposition court est calculé de sorte qu’il produit, lors de la lecture d’un capteur parmi lesdits au moins deux capteurs, une image à gamme dynamique standard dont un pourcentage de pixels saturés en blancs est inférieur à un seuil prédéterminé. Selon une caractéristique particulière, le temps d’exposition long est calculé de sorte qu’il produit, lors de la lecture d’un capteur parmi lesdits au moins deux capteurs, une image à gamme dynamique standard dont un pourcentage de pixels saturés en noir est inférieur à un seuil prédéterminé. Selon une caractéristique particulière le temps d’exposition intermédiaire est obtenu comme la racine carrée du produit du temps d’exposition court et du temps d’exposition long. Selon une caractéristique particulière, le temps d’exposition long est inférieur à la cadence de production d’images d’au moins desdits capteurs parmi lesdits au moins deux capteurs. Ainsi, on assure que la cadence d’image produite reste constante, quel que soit le temps d’exposition. Selon une caractéristique particulière, la génération d’une image à grande gamme dynamique d’une itération courante de création d’une image à grande gamme dynamique est mise en œuvre d’une à partir d'informations extraites d’au moins trois images successives courantes est mise en œuvre parallèlement audites au moins trois itérations d'une lecture de capteurs, parmi lesdits au moins deux capteurs, délivrant au moins trois images successives de l’itération suivante de création d’une image à grande gamme dynamique. Selon une caractéristique particulière, la cadence d’images du flux HDR est au moins égale à la cadence d’images d’au moins un capteur d’images parmi les dits au moins deux capteurs d'images. Selon un exemple de réalisation particulier, l’invention se présente sous la forme d’un dispositif, ou d’un système, de génération d'un flux vidéo comprenant un ensemble d’images à grande gamme dynamique, dit flux vidéo HDR, à partir d'une pluralité d'images à gamme dynamique standard obtenues par lecture d’au moins deux capteurs d'images ayant chacun une cadence de production d’images, chaque capteur comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler lesdites charges électriques pendant un temps d'exposition à la lumière, caractérisé en ce que il comprend une unité de calcul adaptée à la mise en œuvre des étapes du procédé de génération flux vidéo HDR selon le procédé précédemment décrit. Selon une implémentation préférée, les différentes étapes des procédés selon l'invention sont mises en œuvre par un ou plusieurs logiciels ou programmes d'ordinateur, comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un dispositif d’exécution selon l'invention et étant conçu pour commander l'exécution des différentes étapes des procédés, mis en œuvre au niveau d’un terminal de communication, d’un dispositif électronique d’exécution et/ou d’un dispositif de contrôle, dans le cadre d’une répartition des traitements à effectuer et déterminés par un code source scripté et/ou un code compilé. En conséquence, l’invention vise aussi des programmes, susceptibles d’être exécutés par un ordinateur ou par un processeur de données, ces programmes comportant des instructions pour commander l'exécution des étapes des procédés tel que mentionnés ci-dessus. Un programme peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable. L’invention vise aussi un support d'informations lisible par un processeur de données, et comportant des instructions d'un programme tel que mentionné ci-dessus. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un support mobile (carte mémoire) ou un disque dur ou un SSD. D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question. Selon un exemple de réalisation, l'invention est mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, le terme "module" peut correspondre dans ce document aussi bien à un composant logiciel, qu'à un composant matériel ou à un ensemble de composants matériels et logiciels. Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonctions, selon ce qui est décrit ci-dessous pour le module concerné. Un tel composant logiciel est exécuté par un processeur de données d'une entité physique (terminal, serveur, passerelle, set-top-box, routeur, etc.) et est susceptible d'accéder aux ressources matérielles de cette entité physique (mémoires, supports d'enregistrement, bus de communication, cartes électroniques d'entrées/sorties, interfaces utilisateur, etc.). De la même manière, un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en œuvre une fonction ou un ensemble de fonctions, selon ce qui est décrit ci-dessous pour le module concerné. Il peut s'agir d'un composant matériel programmable ou avec processeur intégré pour l'exécution de logiciel, par exemple un circuit intégré, une carte à puce, une carte à mémoire, une carte électronique pour l'exécution d'un micrologiciel (firmware), etc. Chaque composante du système précédemment décrit met bien entendu en œuvre ses propres modules logiciels. Les différents modes de réalisation mentionnés ci-dessus sont combinables entre eux pour la mise en œuvre de l'invention. Présentation des dessins D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un exemple de réalisation préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : la décrit schématiquement le procédé mis en œuvre ; la décrit deux situations de traitement des données de pixels issues des capteurs pour produire un flux HDR de cadence équivalente à la cadence des capteurs SDR ; la illustre une architecture d’un dispositif apte à mettre en œuvre un procédé objet de la divulgation ; la illustre la mise en œuvre en parallèle du procédé objet de la divulgation. Procédé de génération d'un flux vidéo comprenant un ensemble d’images à grande gamme dynamique, dit flux vidéo HDR, à partir d'une pluralité d'images à gamme dynamique standard obtenues par lecture d’au moins deux capteurs d'images ayant chacun une cadence de production d’images, chaque capteur comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler lesdites charges électriques pendant un temps d'exposition à la lumière, procédé caractérisé en ce qu'il comprend une pluralité d’itérations de création d’images grande gamme dynamique comprenant : - une détermination (D1) d'au moins trois temps d'exposition de capteurs comprenant : un temps d’exposition court TC, un temps d’exposition long TL et un temps d’exposition intermédiaire TI, tels que TC - au moins trois itérations d'une lecture (D2) de capteurs, parmi lesdits au moins deux capteurs, délivrant au moins trois images successives (IC, II, IL), en fonction desdits au moins trois temps d’exposition (TC, TI, TL) de capteurs ; - un enregistrement (D3), au sein d’au moins trois zones de mémoires dédiées (ZM#1, ZM#2, ZM#3), desdites au moins trois images successives (IC, II, IL), chaque zone de mémoire étant dédiée à un temps d’exposition de capteur parmi lesdits au moins trois temps d'exposition de capteurs ; - une génération (D4) d’une image à grande gamme dynamique à partir d'informations extraites desdites au moins trois images successives (IC, II, IL) enregistrées respectivement au sein desdites au moins trois zones de mémoires dédiées (ZM#1, ZM#2, ZM#3) ; - ajout (D5) de ladite image à grande gamme dynamique audit flux vidéo HDR. Procédé de génération flux vidéo HDR selon la revendication 1, caractérisé en ce que ladite détermination desdits au moins trois temps d'exposition (TC, TI, TL) de capteurs comprend une détermination du temps d’exposition intermédiaire TI en fonction dudit un temps d’exposition court TC et du temps d’exposition long TL. Procédé de génération flux vidéo HDR selon la revendication 1, caractérisé en ce que le temps d’exposition court (TC) est calculé de sorte qu’il produit, lors de la lecture d’un capteur parmi lesdits au moins deux capteurs, une image à gamme dynamique standard dont un pourcentage de pixels saturés en blancs est inférieur à un seuil prédéterminé. Procédé de génération flux vidéo HDR selon la revendication 1, caractérisé en ce que le temps d’exposition long (TL) est calculé de sorte qu’il produit, lors de la lecture d’un capteur parmi lesdits au moins deux capteurs, une image à gamme dynamique standard dont un pourcentage de pixels saturés en noir est inférieur à un seuil prédéterminé. Procédé de génération flux vidéo HDR selon la revendication 1, caractérisé en ce que le temps d’exposition intermédiaire (TI) est obtenu comme la racine carrée du produit du temps d’exposition court (TC) et du temps d’exposition long (TL). Procédé de génération flux vidéo HDR selon la revendication 1, caractérisé en ce que le temps d’exposition long (TL) est inférieur à la cadence de production d’images d’au moins desdits capteurs parmi lesdits au moins deux capteurs. Procédé de génération flux vidéo HDR selon la revendication 1, caractérisé en ce que la génération d’une image à grande gamme dynamique d’une itération courante de création d’une image à grande gamme dynamique est mise en œuvre d’une à partir d'informations extraites d’au moins trois images successives courantes (IC, II, IL) est mise en œuvre parallèlement audites au moins trois itérations d'une lecture de capteurs, parmi lesdits au moins deux capteurs, délivrant au moins trois images successives (IC, II, IL) de l’itération suivante de création d’une image à grande gamme dynamique. Procédé de génération flux vidéo HDR selon la revendication 1, caractérisé en ce que la cadence d’images du flux HDR est au moins égale à la cadence d’images d’au moins un capteur d’images parmi les dits au moins deux capteurs d'images. Produit programme d'ordinateur comprenant des instructions de code de programme pour la mise en œuvre d'un procédé selon l'une quelconque des revendications 1 à 8, lorsqu'il est exécuté par un processeur. Dispositif de génération d'un flux vidéo comprenant un ensemble d’images à grande gamme dynamique, dit flux vidéo HDR, à partir d'une pluralité d'images à gamme dynamique standard obtenues par lecture d’au moins deux capteurs d'images ayant chacun une cadence de production d’images, chaque capteur comprenant une pluralité de pixels agencés sous forme matricielle, et associés chacun à un élément de conversion photoélectrique permettant de convertir une lumière reçue en charges électriques et d'accumuler lesdites charges électriques pendant un temps d'exposition à la lumière, caractérisé en ce que il comprend une unité de calcul adaptée à la mise en œuvre des étapes du procédé de génération flux vidéo HDR selon l'une quelconque des revendications 1 à 8.