Brevet FR2898234A1 — publié le 20070907

PROCEDE ET DISPOSITIF D'ELABORATION D'IMAGES NON SATUREES PAR UNE CAMERA A TRANSFERT DE CHARGE OU EQUIVALENTE. La présente invention concerne un procédé d'élaboration d'images (I1, I2, Ii) d'un objet, captées pendant des temps d'acquisition (t1, t2, ,., ti) par une caméra à transfert de charge ou équivalente, permettant d'obtenir des images de l'objet sans éblouissement. Par caméra à transfert de charge ou équivalente, il faut entendre une caméra munie d'un capteur ou senseur comprenant une matrice d'acquisition des photons avec possibilité de lire et/ou de décharger chaque pixel ou groupe de pixels en fonction de critères déterminés et ce, notamment au cours de leur chargement en photons. Il peut s'agir notamment d'une caméra à injection de charge (CID), d'une caméra utilisant un capteur CMOS, ou encore d'une caméra dont la matrice d'acquisition est une matrice de photodiodes. Elle concerne également une caméra mettant en œuvre un tel procédé. Elle trouve une application particulièrement importante bien que non exclusive dans le domaine de la conduite et/ou de l'observation en milieu éblouissant, entraînant une impossibilité de détection de tous les objets et/ou mouvements d'un environnement déterminé et ce avec une grande fiabilité. Cette détection fiable est particulièrement cruciale pour surveiller des zones à risque (zones 2 2898234 militaires, banques...) ou encore des zones situées dans un environnement hostile où il est important de conserver une possibilité d'observation en cas d'éblouissement violent qu'il soit naturel ou créé 5 volontairement ou accidentellement. L'invention est également avantageusement appliquée à la circulation automobile de nuit ou en présence d'un soleil violent contrastant avec un environnement plus sombre. io Elle est aussi particulièrement adaptée à l'observation spatiale pour laquelle il existe un très grand contraste entre un objet très lumineux (une étoile) et son environnement immédiat pratiquement non émetteur de photons (le noir de 15 l'espace interstellaire). On connaît déjà des caméras à couplage de charge agencées pour moduler une ou plusieurs sources intenses captées simultanément. Pour limiter l'éblouissement et indépendamment de 20 l'utilisation d'un diaphragme, il est par exemple connu de capter les photons créateurs de l'image et de générer alternativement entre chaque étape de captation, un filtre optique sélectif qui est interposé entre l'objet émetteur de photons et le 25 senseur à couplage de charge. Un tel système, s'il présente certains avantages, présente également des inconvénients. En particulier, il est lourd à mettre en oeuvre compte tenu de son mode de fonctionnement alternatif 30 entraînant de ce fait une vitesse de réaction limitée ainsi que des pertes d'informations. La présente invention vise à proposer un procédé et un dispositif d'élaboration d'images complètes 3 2898234 même en cas de fort éblouissement, répondant mieux que ceux antérieurement connus aux exigences de la pratique, notamment en ce qu'elle propose un procédé et une caméra antiéblouissement simples 5 d'utilisation, présentant un effet exceptionnel car restituant de façon détaillée les parties de l'image suréclairées de façon éblouissante, ce avec un temps de réponse optimisé, et sans perte ou quasiment sans perte d'informations. lo L'intérêt de l'invention ne réside pas seulement dans le temps de réponse, mais aussi dans la qualité de l'image finale. Tous les pixels peuvent être traités par le filtre de manière à obtenir une image la plus harmonieuse possible, y compris donc en 15 traitant des pixels non saturés. Dans un mode de réalisation avantageux de l'invention, est également résolu le problème de la saturation d'un ensemble (la boîte optique) et non seulement celle d'un élément (le ou les pixels). 20 En effet, avec les caméras de l'art antérieur, les phénomènes secondaires comme les réflexions parasites, les éclaboussements de la structure contenant les pixels, l'échauffement éventuel, etc., n'étaient pas traités de façon satisfaisante sans 25 perte d'informations. L'invention permet de résoudre de tels problèmes. Dans ce but, elle propose notamment un procédé d'élaboration d'images (I1, I2, ... Ii) d'un objet, successivement captées pendant des temps 30 d'acquisition (t1, t2, ... ti), par le capteur d'une caméra à transfert de charges ou équivalente, caractérisé en ce que il comporte les étapes suivantes : 4 2898234 avec le même capteur que le capteur d'acquisition et pour chaque image. on identifie pendant le début de l'acquisition de l'image les pixels propres à être saturés avant la 5 fin du temps d'acquisition (ti), dits pixels saturants, on élabore une matrice filtre (Mi) agencée pour ramener la quantité de lumière correspondant aux dits pixels saturants de ladite image en dessous du seuil 10 de saturation Fsat ou d'un autre seuil significatif de la caméra, de façon à obtenir une image visible des parties de l'image correspondante aux dits pixels, et on traite l'image en cours d'acquisition ou l'image consécutive (Ii+l) ou sensiblement consécutive 15 (Ii+k), où k est un entier naturel 0 correspond alors à un décalage vers le bas de 20 l'exemple précédent (flèche 58) soit un noircissement de l'image et K ci-avant en référence à la figure 5. Par contre, si le temps de calcul t'2 (ou t'3) est supérieur à t1_ts, (doubles flèches 65,66), il ne 10 pourra être suffisant pour calculer et élaborer le filtre à temps pour cette première image. C'est seulement pendant la suivante Ii +1 , (où Ii +2) que le pixel saturant pourra alors être rempli selon la pente p (ligne 67)à partir du déchargement du pixel b 15 de cette dernière image (ligne 68), l'image ayant été déchargé après le temps ti. Dans le cas où les calculs se font avec une image de décalage, on a représenté deux cycles sur la figure 9, à savoir un cycle en trait épais 62, 65, 67 20 et le cycle suivant en trait mixte épais 68, 69, 70, le déroulement s'effectuant de façon répétitive et identique en dynamique pour les images suivantes Ii+l, Ii+2, On a représenté sur la figure 10 un exemple de 25 réalisation partiel d'un dispositif selon l'invention (au niveau du pixel), et plus précisément de la commande de l'opacité d'un pixel 71 de la matrice, dit Pixel modulateur, qui peut correspondre à un micro-miroir ou à la cellule d'un écran LCD, avec un 30 capteur type photodiode, pour lequel le circuit 72 comprenant les éléments 73, 74, 75, 76 et 77 est le circuit équivalent à un pixel dudit capteur. 27 2898234 Le circuit 72 comporte une photodiode 73 qui attaque un circuit amplificateur transimpédance 75 (conversion courant/tension) utilisant une résistance 74. Il est connecté à un puits de charge 76 relié 5 d'un côté à un circuit échantilloneur-bloqueur 77 via un contacteur 78 et de l'autre à un double circuit 79 de comparaison qui attaque une porte ET 80 de commande via un circuit driver 81 de l'opacité du pixel. 10 Au début de chaque image (t=0), le puits de charge 76 est vide, et le pixel modulateur 71 est blanc. La photodiode 73 reçoit les photons 82, les convertit en courant, et l'amplificateur transimpédance 75 charge alors le puits, puisque le circuit échantilloneur- 15 bloqueur 77 est ouvert. Si la charge est supérieure à un seuil Fs, et si le temps t est inférieur à ts, alors on considère que la photodiode sera éblouie et le pixel modulateur 71 devient bloquant. 20 A la fin de l'image (t=t1), le circuit échantilloneur-bloqueur 77 se ferme et la charge du puits se vide en étant transférée vers la sortie 83. Avantageusement et comme on l'a vu, l'ensemble calculateur 79, 80 est remplacé par des circuits plus 25 complexes réalisant les fonctions G ou G', tels que décrits dans la présente invention, et ce en mettant en oeuvre des moyens de façon connue en elle-même. Il est également possible, avec un capteur muni d'au moins deux registres de sortie, de prévoir le 30 transfert du contenu du capteur dans un premier registre après un temps déterminé t1 et dans le deuxième registre après un deuxième temps déterminé t2, par exemple correspondant au temps d'acquisition 28 2898234 total de l'image recherchée, ce qui autorise deux sorties vidéo séparées, la deuxième correspondant à l'image filtrée par un filtre par exemple DMD, dont les caractéristiques sont déterminées par calcul 5 comme décrit ci-avant, à partir des informations issues du chargement/déchargement du premier registre. Ce type de capteur est par exemple un capteur à couplage de charge CCD à deux registres, permettant 10 une double lecture des images ( double scan en langage anglosaxon), et dès lors d'obtenir simultanément une identification des pixels saturant par le biais d'un déchargement du premier registre ce qui va permettre de calculer le filtre DMD, et une 15 obtention de l'image filtrée& par le deuxième registre. Bien entendu, si le calcul et l'asservissement du filtre utilisant les informations obtenues par le premier registre sont trop lents, le filtrage optique 20 peut se faire sur une image suivante. Comme il va de soi et comme il résulte également de ce qui précède, la présente invention n'est pas limitée aux modes de réalisation plus particulièrement décrits. Elle en embrasse au 25 contraire toutes les variantes et notamment celles où l'optique interne de la caméra comporte un simple jeu de lentille sans refocalisation vers le capteur, où les limites utilisées sont celles du blooming où les pixels non saturants sont eux-mêmes traités via 30 le filtre ou non, pour améliorer la qualité de l'image, où le calculateur de la matrice filtre est plus complexe. 29 REVENDICATIONS 1. Procédé d'élaboration d'images (I1, I2,... Ii) s d'un objet, successivement captées pendant des temps d'acquisition (tl, t2,... ti), par le capteur (8, 22) d'une caméra (2, 17) à transfert de charges ou équivalente, caractérisé en ce que il comporte les étapes suivantes : 10 avec le même capteur (8, 22) que le capteur d'acquisition et pour chaque image, on identifie pendant le début de l'acquisition de l'image les pixels (a,b,c) propres à être saturés avant la fin du temps d'acquisition (ti), dits pixels saturants, 15 on élabore une matrice filtre (Mi) agencée pour ramener la quantité de lumière correspondant aux dits pixels saturants de ladite image en dessous du seuil de saturation Fsat ou un autre seuil significatif de la caméra de façon à obtenir une image visible des 20 parties de l'image correspondante aux dits pixels, et on traite l'image en cours d'acquisition ou l'image consécutive (Ii+1) ou sensiblement consécutive (Ii+k) où k est un entier naturel 2. Procédé selon la revendication 1, caractérisé en ce que, pour identifier les pixels saturants, on définit dans un repère ayant le temps t en abscisse 30 et le niveau d'énergie F en ordonnée, une droite D [tic), Fo ; ti, Fsat] avec : tio point d'origine d'acquisition d'une image Ii, ti temps d'acquisition de l'image Ii, 30 2898234 Fo limite théorique de passage des premiers photons, et Fsat limite de saturation ou autre seuil significatif, et on retient comme pixels saturants tous les pixels dont la pente de remplissage en photons est supérieure à la pente de la droite D. 3. Procédé selon la revendication 2, caractérisé en ce que, Fs étant le seuil de sensibilité de la caméra corrigé par le filtre, on définit un temps ts par l'intersection de la droite D avec la ligne horizontale Fs et on applique aux dits pixels un algorithme de filtration G = f(t) en fonction du résultat visuel que l'on cherche à atteindre. 4. Procédé selon la revendication 3, caractérisé en ce que on identifie comme pixel saturant tout pixel dont le contenu en photons atteint le seuil de sensibilité avant le temps ts. 5. Procédé selon la revendication 4, caractérisé en ce que on lit le contenu des pixels saturants dès qu'ils atteignent le seuil de sensibilité et on leur applique ensuite ledit algorithme de filtration G = f(t) en leur affectant à chacun une pente respective pour terminer leur remplissage telle que les contenus corrigés des pixels saturants soient répartis entre les valeurs Fs et Fsat. 6. Procédé selon la revendication 4, caractérisé en ce que on décharge le contenu des pixels saturants dès qu'il atteignent le seuil de sensibilité et on applique ensuite aux dits pixels saturants à partir de leur valeur déchargée un algorithme de filtration G' = f(t) en leur affectant à chacun une pente respective de remplissage telle que les contenus 31 2898234 corrigés des pixels saturants soient répartis entre les valeurs FS et Fsat. 7. Procédé selon l'une quelconque des revendications 5 et 6, caractérisé en ce que la 5 répartition entre les valeurs FS et Fsat est dépendante des valeurs des pentes de remplissage des pixels saturants correspondants. 8. Procédé selon l'une quelconque des revendications 3 à 7, caractérisé en ce que 10 l'algorithme de filtration est tel que le temps théorique le plus court d'atteinte du seuil de sensibilité d'un pixel saturant définit le premier niveau de gris avant le blanc et le temps ts définit le dernier niveau de gris avant le noir. 15 9. Procédé selon l'une quelconque des revendications 3 à 8, caractérisé en ce que l'algorithme de filtration (G, G') est réglable et agencé pour agrandir ou réduire la plage de répartition entre FS et Fsat. 20 10. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la matrice filtre est un écran LCD, DMD ou MEMS (9, 20) placé devant le capteur (8, 22) de la caméra dont les cellules sont programmées en ce que, pour appliquer 25 l'algorithme de filtration aux pixels saturants, on programme les cellules de la matrice filtres en conséquence pour obtenir le résultat visuel recherché. 11. Procédé selon l'une quelconque des 30 revendications précédentes, caractérisé en ce que on identifie les pixels saturants au moins deux fois pendant le début de l'acquisition de l'image. 32 2898234 12. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que on modifie le temps ts d'identification des pixels saturants pendant la période d'acquisition. 5 13. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que on compare la valeur d'un signal S(t) fonction des pixels saturants et de leur valeur après filtration à un signal S(t-1) précédent et on ajuste la valeur de 10 l'algorithme de filtration G = f(t) pour rendre la différence S(t) - S(t-l) égale à 0 ou à une valeur déterminée. 14. Procédé selon la revendication 13, caractérisé en ce que on effectue ladite comparaison 15 sur un nombre variable de pixels déterminé de façon aléatoire. 15. Procédé selon l'une des revendications 1 à 12, caractérisé en ce que on corrige le sur remplissage ou le sous remplissage des pixels 20 saturants après une filtration précédente par anticipation en appliquant un facteur correctif K fonction des signaux reçus par la caméra sur chaque pixel i, soit K = f (Sm, Sn), où m est le repère affecté aux pixels i saturants et 25 n est le repère affecté aux pixels correspondants après filtration. 16. Procédé selon l'une quelconque des revendications précédentes, en ce qu'on traite également les pixels non saturants. 30 17. Dispositif d'élaboration d'images (I1, I2r ... Ii) d'un objet, comprenant une caméra (2, 17) à transfert de charge ou équivalente comportant un capteur (8, 22) agencé pour capter lesdites images de 33 2898234 l'objet pendant des temps d'acquisition (ta., t2r.. . ti), caractérisé en ce que le capteur comporte des moyens (23, 24, 25) d'identification pendant le début de l'acquisition de l'image des pixels propres à être 5 saturés avant la fin du temps d'acquisition (tl, t2, ti), dits pixels saturants, des moyens (25, 26, 27, 28) d'élaboration d'une matrice filtre (Mi) agencée pour ramener la quantité de lumière correspondant aux dits pixels saturants en 10 dessous du seuil de saturation Fsat ou autre seuil significatif de la caméra de façon à obtenir une image visible des parties de l'image correspondante aux dits pixels, et des moyens (25, 26, 28, 29) de traitement 15 algorithmique de l'image (Ii) en cours d'acquisition ou de l'image consécutive (Ii+l) ou sensiblement consécutive (Ii+k) avec k entier naturel 18. Dispositif selon la revendication 17, caractérisé en ce que les moyens (25) d'identification comportent des moyens de calcul des pentes de remplissage en photons des pixels 25 saturants, dans un repère ayant le temps t en abscisse et la sensibilité F en ordonnée, des moyens d'élaboration d'une droite D [ti , Fo ; ti, Fsat] avec : tio point d'origine d'acquisition d'une image Ii, 30 ti temps d'acquisition de l'image Ii, Fo limite théorique de passage des premiers photons, Fs seuil de sensibilité corrigé par le filtre et Fsat limite de saturation ou autre seuil significatif, 34 2898234 des moyens de sélection desdits pixels saturants comme étant tous les pixels dont la pente de remplissage en photons est supérieure à la pente de la droite D. 5 19. Dispositif selon l'une quelconque des revendications 17 et 18, caractérisé en ce que, un temps ts étant défini par l'intersection de la droite D avec la ligne horizontale Fs, il comporte des moyens pour appliquer aux dits pixels un algorithme 10 de filtration G = f(t) fonction du résultat visuel que l'on cherche à atteindre. 20. Dispositif selon la revendication 19, caractérisé en ce que les moyens (23, 25) d'identification sont agencés pour identifier comme 15 pixel saturant tout pixel dont le contenu en photons atteint le seuil de sensibilité avant le temps ts. 21. Dispositif selon l'une quelconque des revendications 19 et 20, caractérisé en ce que il comporte des moyens (23, 24, 25) de lecture du 20 contenu des pixels saturants dès qu'ils atteignent le seuil de sensibilité et des moyens d'application dudit algorithme de filtration G = f(t) en leur affectant à chacun une pente respective pour terminer leur remplissage telle que les contenus corrigés des 25 pixels saturants soient répartis entre les valeurs Fs et Fsat 22. Dispositif selon l'une quelconque des revendications 19 et 20, caractérisé en ce que il comporte des moyens (77) de déchargement du contenu 30 des pixels saturants dès qu'il atteignent le seuil de sensibilité et on applique ensuite aux dits pixels saturants à partir de leur valeur déchargée un algorithme de filtration G'=f(t) en leur affectant à 2898234 chacun une pente respective de remplissage telle que les contenus corrigés des pixels saturants soient répartis entre les valeurs Fs et Fsat 23. Dispositif selon l'une quelconque des 5 revendications 17 à 27, caractérisé en ce que la matrice filtre (9, 20) est un écran LCD, DMD ou MEMS placé devant le capteur de la caméra dont les cellules sont programmées selon un algorithme de filtration (G, G') fonction du résultat que l'on 10 cherche à atteindre. 24. Dispositif selon la revendication 23 caractérisée en ce que l'algorithme (G, G') est tel que le temps théorique le plus court d'atteinte au seuil de sensibilité d'un pixel saturant définit le 15 noir et le temps ts définit le dernier niveau de gris avant le blanc.