(57)【要約】      （修正有）【課題】低ダイナミックレンジ画像センサを使用して高ダイナミックレンジ画像を得る装置及び方法を提供する。【解決手段】取得された画像を、画像センサの非線形応答に関して補償する校正の後、露光関数に関して正規化する。露光関数を、制御可能減衰セルアレイを使用して実現した場合、露光関数を調節して、あるセルを経て露光される画素アレイの領域内の飽和画素又は黒画素の数を最小にし、平均画素値の信号対雑音比を最大にし、前記露光関数の空間的平滑さを最大にする。低ダイナミックレンジ表示装置におけるダイナミックレンジ圧縮技術は、平滑化フィルタを、高ダイナミックレンジ画像を得るために使用される露光関数と、平滑化露光関数を用いる。写真フィルムを、空間的に変化する露光関数を使用して露光することによって高ダイナミックレンジ画像を得る方法も、固定露光関数を使用して獲得された画像と同じように処理して電子画像が得られる。【選択図】図１８
2010110004.tif 000002
【特許請求の範囲】
【請求項１】
高ダイナミックレンジ画像化システムにおいて、光検出素子のアレイを具え、シーンの画像をセンシングし、前記光検出素子の各々に衝突する光の強度を表す対応する画素値を供給する画像センサであって、各光検出素子が個々の第１しきい値を有し、前記光検出素子において衝突する光の強度が個々の前記第１しきい値より大きい場合、該画像センサに飽和画素値を供給させるようにし、各光検出素子が個々の第２しきい値を有し、前記光検出素子において衝突する光の強度が個々の前記第２しきい値より大きい場合、該画像センサに黒画素値を供給させるようにし、該画像センサが、前記シーンの画像の光強度の範囲に比べて低いダイナミックレンジを有し、前記光検出素子が、入射光に対する個々の空間的に変化する感光度と、前記個々の感光度を示す対応する感光度値とを有する、画像センサと、前記光検出素子の各々に対応する感高度値を格納する第１メモリと、
前記光検出素子のアレイに結合されて前記画像センサによって供給される前記画素値を受け、前記第１メモリに結合されて前記光検出素子に対応する前記感光度値を受け、前記画素値を前記感光度値の関数によってマッピングして対応する正規化画素値を得る正規化器と、
前記正規化画素値を補間して前記光検出素子のアレイと重なる第２アレイの個々の位置における補間画素値を得る補間器とを具える画像プロセッサとを具える、
ことを特徴とする高ダイナミックレンジ画像化システム。
【請求項２】
請求項１に記載の高ダイナミックレンジ画像化システムにおいて、
前記画像プロセッサの正規化器が、前記画素値を、前記感光度値の関数によって、前記画素値の各々を前記画素値によって表される光の強度を受ける前記光検出素子に対応する感光度値で割ることによってマッピングすることを特徴とする高ダイナミックレンジ画像化システム。
【請求項３】
請求項１に記載の高ダイナミックレンジ画像化システムにおいて、前記画像センサの光検出素子を、垂直方向及び水平方向において延在する、間隔を置いて直交するラインによって規定される第１格子の個々の交点において配置し、前記補間画素値の位置を、垂直方向及び水平方向において延在する、間隔を置いて直交するラインによって規定される第２格子の個々の交点としたことを特徴とする高ダイナミックレンジ画像化システム。
【請求項４】
請求項３に記載の高ダイナミックレンジ画像化システムにおいて、前記画像プロセッサの補間器が、前記第１格子の各々の異なった領域における正規化画素値を別々に補間し、各々の領域が、隣接する領域と重なると共に、前記第１格子の予め決められた数の交点を包含することを特徴とする高ダイナミックレンジ画像化システム。
【請求項５】
請求項３に記載の高ダイナミックレンジ画像化システムにおいて、前記画像センサの光検出素子のアレイが、異なった感光度を有する光検出素子が繰り返し配置された同一のグループを具えることを特徴とする高ダイナミックレンジ画像化システム。
【請求項６】
請求項５に記載の高ダイナミックレンジ画像化システムにおいて、前記光検出素子の繰り返し配置された同一のグループの各々が、異なった感光度を有する４つの隣接する光検出素子から成り、前記第１及び第２格子が同一の寸法を有し、これらの格子を、水平方向において２分の１の格子位置、垂直方向において２分の１の格子位置だけ互いに移動させたことを特徴とする高ダイナミックレンジ画像化システム。
【請求項７】
請求項４に記載の高ダイナミックレンジ画像化システムにおいて、前記画像プロセッサの補間器が、前記第１格子の各々の異なった領域における個々の補間画素値を、飽和画素値又は黒画素値に対応しない前記領域におけるすべての正規化画素値の平均をとることによって得ることを特徴とする高ダイナミックレンジ画像化システム。
【請求項８】
請求項１に記載の高ダイナミックレンジ画像化システムにおいて、前記画像センサが、前記光検出素子の各々において衝突する光に対する個々の応答関数を有し、該システムが、さらに、前記画像センサの個々の応答関数を格納する第２メモリを具え、前記画像プロセッサが、前記第２メモリに結合して前記応答関数を受け、前記画像センサによって供給された画素値を、前記画素値が前記正規化器によって正規化される前に前記個々の応答関数に従って線形応答画素値に変換する較正器をさらに具えることを特徴とする高ダイナミックレンジ画像化システム。
【請求項９】
請求項１に記載の高ダイナミックレンジ画像化システムにおいて、前記画像プロセッサに結合され、前記補間画素値を受けると共に格納する出力画像メモリをさらに具えることを特徴とする高ダイナミックレンジ画像化システム。
【請求項１０】
高ダイナミックレンジ画像化方法において、光検出素子のアレイを具える画像センサを、シーンの画像に、空間的に変化する露出を使用して露出するステップであって、前記画像センサが、前記空間的に変化する露出画像を検出し、前記光検出素子の各々において衝突する光の強度を表す対応する画素値を供給し、前記画像センサが、前記光検出素子の対応するものにおいて衝突する光の強度が第１しきい値レベルより大きい場合、飽和画素値を供給し、前記光検出素子の対応するものにおいて衝突する光の強度が第２しきい値レベルより小さい場合、黒画素値を供給し、前記画像センサが、前記場面の画像の光強度の範囲に比べて低ダイナミックレンジを有する、ステップと、前記画像センサによって供給された画素値を、前記光検出素子の空間的に変化する露出に関して正規化し、対応する正規化画素値を得るステップとを含むことを特徴とする、高ダイナミックレンジの画像化方法。
【請求項１１】
請求項１０に記載の高ダイナミックレンジの画像化方法において、前記画像センサを、空間的に変化する露出を使用して露出するステップが、前記画像センサの個々の１つ以上の光検出素子の前記シーンからの光に対する露出を各々が制御する複数の光透過セルを有するマスクを使用するステップであって、前記光検出素子の各々が、該光検出素子に衝突する光が通過する前記マスクセルの透明度を示す対応する露出値を有する、ステップを含み、前記画像センサによって供給された画素値を正規化するステップが、前記画素値を前記露出値の関数によってマップし、対応する正規化画素値を得るステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項１２】
請求項１１に記載の高ダイナミックレンジの画像化方法において、前記画素値を前記露出値の関数によってマッピングするステップが、前記画素値の各々を、前記画素値によって表される光の強度を受ける前記光検出素子に対応する前記露出値で割るステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項１３】
請求項１０に記載の高ダイナミックレンジの画像化方法において、前記光検出素子に対応する前記露出値を固定し、さらに、前記正規化画素値を補間し、前記光検出素子のアレイに重なる第２アレイの個々の位置における補間画素値を得るステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項１４】
請求項１０に記載の高ダイナミックレンジの画像化方法において、前記補間画素値を補間するステップが、補間フィルタを前記正規化画素値に用いるステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項１５】
請求項１３に記載の高ダイナミックレンジの画像化方法において、前記正規化画素値を補間するステップが、前記光検出素子のアレイの各々の異なった領域における正規化画素値を別々に保管するステップを含み、各領域が、隣接する領域と重なると共に予め決められた数の前記光検出素子位置を包含することを特徴とする高ダイナミックレンジの画像化方法。
【請求項１６】
請求項１５に記載の高ダイナミックレンジの画像化方法において、前記光検出素子のアレイの各々の異なった領域における正規化画素値を別々に補間するステップが、各々、飽和画素値又は黒画素値に対応するものを除く前記領域におけるすべての正規化画素値の平均をとり、前記補間画素値の各々を得るステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項１７】
請求項１０に記載の高ダイナミックレンジの画像化方法において、前記画像センサによって供給された画素値を、前記画素値を正規化するステップの前に、前記画像センサの応答関数に従って較正し、線形応答画素値を得るステップをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項１８】
請求項１３に記載の高ダイナミックレンジの画像化方法において、前記補間画素値を出力画像メモリに格納するステップをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項１９】
請求項１１に記載の高ダイナミックレンジの画像化方法において、前記シーンの画像を前記マスクにおいて投影するステップと、前記マスクを透過した前記シーンの画像を前記光検出素子のアレイにおいて投影するステップとをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項２０】
請求項１９に記載の高ダイナミックレンジの画像化方法において、前記マスクを透過した前記シーンの画像を前記光検出素子のアレイにおいて投影するステップが、前記マスクと光拡散器とを透過した前記シーンの画像を前記光検出素子のアレイにおいて投影するステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項２１】
請求項１１に記載の高ダイナミックレンジの画像化方法において、各々の光検出素子に対応する前記露出値を、個々の露出制御信号を前記マスクに用いることによって変更可能とし、前記画像センサによって得られた前記画素値から、前記画像センサからの飽和画素値及び黒画素値の数を最小にする露出制御信号を計算するステップと、前記計算された露出制御信号を前記マスクに用いるステップと、前記正規化ステップにおいて使用する、前記用いられた露出制御信号に対応する露出値を供給するステップとをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項２２】
請求項２１に記載の高ダイナミックレンジの画像化方法において、前記正規化画素値を出力画像メモリに格納するステップをさらに含むことを特徴とする高ダイナミックレンジ画像化方法。
【請求項２３】
請求項２１に記載の高ダイナミックレンジの画像化方法において、前記用いられた露出制御信号に対応する前記露出値を、平滑化フィルタを前記露出値に用いることによって平滑化し、前記正規化画素値に対応する平滑化露出値を得るステップと、
前記平滑化露出値を前記正規化画素値に、各々の正規化画素値に対応する平滑化露出値を掛けることによって再適用し、モニタ画像画素値を得るステップと、
前記モニタ画像画素値をモニタ画像メモリに格納するステップとをさらに含むことを特徴とする高ダイナミックレンジの画像化方法。
【請求項２４】
請求項２１に記載の高ダイナミックレンジの画像化方法において、前記露出制御信号を計算するステップが、露出制御信号を計算し、前記画像センサによって供給された平均画素値の信号対雑音比を最大にするステップを含むことを特徴とする高ダイナミックレンジ画像化方法。
【請求項２５】
請求項２１に記載の高ダイナミックレンジの画像化方法において、前記露出制御信号を計算するステップが、露出制御信号を計算し、前記対応する露出値の空間的平滑さを最大にするステップを含むことを特徴とする高ダイナミックレンジの画像化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あるシーン（場面）の画像を捕捉する装置及び方法に関し、より詳細には、低ダイナミックレンジの画像センサを使って高ダイナミックレンジの画像を捕捉する装置及び方法に関する。
【背景技術】
【０００２】
あらゆる現実世界のシーンが、仮想的には極めて広いレンジの輝度値を生成する。それとは対照的に既知の画像センシング（検出）デバイスは極めて限定されたダイナミックレンジを持つ。例えば、典型的には、ビデオセンサは８ビット又はそれ以下のグレイレベル又は色情報を生成する。グレイスケール画像の場合には８ビットは僅か２５６個の離散的なグレイレベルを供給するに過ぎず、それは現実の日常シーンの大部分の精密な詳細を捕捉するのには十分でない。
【０００３】
低ダイナミックレンジの画像センサによって高ダイナミックレンジの画像を捕捉するという問題の既知の解決策は、シーンからの光の露出（露光）を変動させながら、各局所的なシーン領域に対し複数の画像測定を行う、というものである。そのような露出変動は、異なる露出で複数の場面の画像を継続的にとって、次いでそれら複数の画像を結合して単一の高ダイナミックレンジの画像にすることにより、典型的に達成される。或る場面を画像化するときにダイナミックレンジを拡大するために、一時的に露出を変動させる技術については、例えば1995年05月30日付のM.Konishi他による米国特許第5,420,635号、1995年10月03日付のA.Morimuraによる米国特許第5,455,621号、1998年09月01日付のE.Ikedaによる米国特許第5,801,773号、1997年06月10日付のK.Takahashi他による米国特許第5,638,118号、1994年05月03日付のY.T.Tsaiによる米国特許第5,309,243号、1995年05月刊行Proceedingsof IST´s 48th Annual Conference, pp. 422-428所載のMann及びPicardによる”Being ‘Undigital’ with Digital Cameras:Extending Dynamic Range by Combining Differently Exposed Pictures”という文献、1997年08月刊行Proceedings of ACMSIGGRAPH, 1997, pp. 369-378所載のDebevec及びMalikによる”Recording  High Dynamic Range Radiance Maps from Photographs”という文献、1999年06月刊行IEEE Conferenceon Computer Visionand Pattern Recognition (CVPR99)所載のT. Misunaga及びS. Nayerによる”Radiometric Self Calibration”という文献に記載がある。しかし露出の一時的な変化の間に複数の画像を取得することに要する技術は、基本的な問題点として、露出の変化の間にシーンの変動が起こり得る。換言すればこれらの技術は、シーンの輝度値が一定の静止場面に対してのみ有用である。更にまた、露出の変化の間には、画像化デバイス及びそのコンポネントの位置及び方向が一定のままでなければならない。最後に、すべての所要の画像を継続的に捕捉するためにはかなり長時間が必要であるから、一時的に露出を変動させる技術は実時間への応用には不適当である。
【０００４】
低ダイナミックレンジの画像センサによって高ダイナミックレンジの画像を捕捉するという問題のもう１つの既知の解決策は、種々の異なる露出を使って複数のシーンの画像を同時に捕捉することである。そのような技術については例えばProceeding softhe IEEE Conference on Intelligent Transportation Systems, 1997所載のYamada他による“Effectiveness of Video Camera Dynamic Range  Expansion for Lame Detection”という文献に開示されている。典型的には２個の光学的に整列したＣＣＤ光感知アレイが使われて１つのシーンの同じ画像が異なる露出で同時に捕捉される。シーンからの光はビームスプリッタにより分割されて、両方のＣＣＤ光感知アレイに向けられる。捕捉された２個の画像はポストプロセッサにより結合されて、１個の高ダイナミックレンジ画像となる。この技術は複雑で高価な光学技術を必要とするので不利であり、２つより多い異なる露出で画像を捕捉することは困難である。
【０００５】
電荷結合画像化デバイスのダイナミックレンジを増す努力が続けられて来た。M.Murakoshiによる特開昭59-217,358号には画像化デバイスの各画素に対し２個以上の電荷結合デバイス（ＣＣＤ）光検出セルの使用が記載されている。１つの画素の各光検出セルはそれぞれ異なる感光度を持つので、シーンからの光に露出されたときに、幾つかのセルは、他のセルに比して飽和に達する時間が長くなる。このやり方で１つの画素のすべての光検出セル内の記憶光生成電荷が結合されると、該画素のダイナミックレンジは効果的に増大する。しかしこのMurakoshi文献は低ダイナミックレンジの画像センサを用いて高ダイナミックレンジの画像を捕捉するという問題の解決を目指すものではない。
【０００６】
J.Ross他による米国特許第4,590,367号は、光学デバイスの感光領域に隣接し、電気的に制御される光変調器を使って、光学デバイスのダイナミックレンジを拡大し、画像化された光学的なシーンから入射する光の明るさを減らして、ダイナミックレンジ又は感光領域を越えないようにする装置を開示する。J.Ross他の文献に記載の光変調器は、個別の制御信号に応じて光の増幅又は減衰の制御をする個別の画素を有する。従って、変調器の各画素から出る光の強さを検出した検出レベルは、輝度レベルを検出器の定格のダイナミックレンジにするために、変調器の各画素の増幅又は減衰を調節するための、制御信号の生成に用いられる。こうして、幅の広い入力光の強さのダイナミックレンジは、１画素ごとに、狭いダイナミックレンジに縮小される。しかしJ.Ross他の文献の装置及び方法は投影された光を使う３次元測定を簡単化するのが目的であって、該文献は高ダイナミックレンジ画像をどのようにして捕捉するかには触れていない。
【０００７】
高ダイナミックレンジ画像を捕捉する既知のシステムのもう１つの問題点は、低ダイナミックレンジのディスプレイを使ってこのような画像を表示することである。ビデオモニター、テレビジョン、コンピュータのディスプレイ等のような市販のディスプレイの大半は低ダイナミックレンジを持つ。それ故に、高ダイナミックレンジ画像が得られた後では、適切な可視情報を保存しながら、低ダイナミックレンジのディスプレイ上に画像を表示するのにマッピングを行う方法を使う必要がある。換言すれば、場面の詳細を保存しながら、捕捉された画像のダイナミックレンジを圧縮しなければならない。
【０００８】
捕捉した画像のダイナミックレンジを圧縮する既知の技法は、トーンカーブ（またはレスポンス曲線）の再生であり、そこでは、適切なトーンカーブを用いて、高いダイナミックレンジのカラースケールを、低いダイナミックレンジのカラースケールへとマッピングする。この種の圧縮の例には、対数スケール変換およびガンマ補正がある。しかしながら、トーンカーブ再生圧縮は、シーンの視覚的な詳細を維持するものではない。
更に技巧的なトーンカーブ再生技術は、画像の色ヒストグラムを積分することによりトーンカーブを生成するヒストグラム等化である。ヒストグラム等化の結果は色空間の画像中の色の更に一様な再分配をもたらすが、しかしこの技術は、極めて明るい（又は極めて暗い）画素のような幾つかの局所領域を持つ画像の詳細を保存することはできず、そのような局所領域は共に、グレイレベルの全レンジに跨がり得る。それ故に、ヒストグラム等化の過程によって、個々の領域の内部の詳細の質が向上することはない。
【０００９】
捕捉された画像のダイナミックレンジを圧縮するもう１つの技術は、1998年のSIGGRAPH 98 Proceedings, pp. 287-298所載のPattanaik他による”A Multiscale Model of Adaptationand Spatial Vision for Realistic Image Display”という文献に開示されている。この技術は画像データを数個の周波数成分画像、例えばラプラスのピラミッド、に分割する。それから各周波数成分が異なるやり方で変調された後に画像が組み立て直される。
この技術の利点は、ヒストグラム等化とは異なり、絶対画素値がさほど寄与しない、という点である。しかしこの技術は周波数成分画像を得るために大量のメモリ及び膨大な計算を必要とする、という不都合がある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従って、相対的に低いダイナミックレンジの画像センサを使って高ダイナミックレンジの画像を捕捉し、また、捕捉した高ダイナミックレンジの画像を、相対的に低いダイナミックレンジのディスプレイ・デバイスによって表示するために、詳細を保存して圧縮する装置及び方法を必要とし、それは上述の従来技術の問題点を克服するものである。
【課題を解決するための手段】
【００１１】
本発明によれば、光検出素子のアレイを持つ画像センサを含む高ダイナミックレンジの画像化システムが提供される。この画像センサはシーンの画像を検出して、その光検出素子の各々に当たる光の強さを表す、対応する画素値を供給する。画像センサは、対応する光検出素子に当たる光の強さが第１のしきい値レベルより大きい場合には、飽和した画素値を供給し、さらに、画像センサは、対応する光検出素子に当たる光の強さが第２のしきい値レベルより小さい場合には、黒の画素値を供給する。この画像センサは、シーンの画像における光の強さのレンジと比べて、相対的に低いダイナミックレンジを有する。
【００１２】
このシステムは、シーンと画像センサとの間に配置したマスクを具える。このマスクは、複数の光を伝達するセルを持ち、その各々が、画像センサの１つ以上の光検出素子の各々の、シーンからの光の露出を制御する。光検出素子の各々は、光検出素子に当たる光が通過するセルの透明度によって定まる対応する露出値を有する。
【００１３】
このシステムは更に、光検出素子に対応する露出値を格納する第１のメモリと画像プロセッサとを有し、この画像プロセッサは、画像センサに結合して、それにより供給される画素値を受信し、さらに、第１のメモリにも結合して、光検出素子に対応する露出値を受信する。画像プロセッサは、画素値を露出値の関数によりマッピングして対応する正規化された画素値を導くための正規化器を持つ。そのようなマッピングの一例としては、各画素値をそれぞれの露出値で除算するものがある。
【００１４】
本発明の第１の典型的実施例によれば、光検出素子に対応する露出値を固定し、画像プロセッサは、正規化された画素値を補間して、光検出素子のアレイと一部分重なり合う第２のアレイのそれぞれの位置における補間された画素値を得るための補間器を更に有する。この補間処理は、飽和した画素値又は黒の画素値に対応する正規化された画素値については省略することができる。画像センサの応答関数が線型でない場合には、システムは画像センサの応答関数を格納するための第２のメモリを有することもでき、画像プロセッサは、第２のメモリに結合して応答関数を受信し、さらに、較正手段を更に有して、応答関数に従って画像センサにより供給される画素値を、該画素値を正規化器が正規化する前に線型化する。
【００１５】
本発明の第２の典型的実施例によれば、マスクの各セルの露出値はそれぞれの露出制御信号をマスクに与えることにより変更することができる。このシステムはマスクコントローラを有し、このマスクコントローラは、画像センサに結合して、画像センサにより供給される画素値を受信し、画像センサの対応する領域からの飽和した画素値及び黒の画素値の数を最少にする露出制御信号を計算してマスクに与え、さらに与えられた露出制御信号に対応する露出値を供給する。次いで正規化器は画像センサからの各画素値を正規化して、シーンの輝度画像を表す正規化された画素値を導き出す。
【００１６】
露出パターンメモリに結合して、その中に格納された露出値を受信する平滑器を備え、さらに、平滑化フィルタを露出値に適用して、正規化された画素値に対応する滑らかな露出値を得ることによって、捕捉された高ダイナミックレンジの画像のダイナミックレンジは圧縮されて、相対的に低ダイナミックレンジのディスプレイ上で表示することができるようになる。更には、画像プロセッサの正規化器に結合する露出再アプリケーターを設けて、正規化された画素値を受信して、それら正規化された画素値の各々に対応する平滑化された露出値を乗算し、それにより、圧縮されたダイナミックレンジを持つが画像の詳細には殆ど喪失のないモニター画像の画素値を導く。
【００１７】
本発明の第１の典型的実施例の１つの代案によれば、マスクは使わずに、画像センサの光検出素子のアレイが、入射光に対する感光度の空間的に変動するパターンと、それぞれの感光度を表す対応する感光度値とを持つようにする。この感光度値は第１のメモリに格納され、画像センサからのそれぞれの画素値と共に正規化器によって使われて、対応する正規化された画素値を導き、また正規化された画素値を補間する補間器を設けて、光検出素子のアレイと一部分重なり合う第２のアレイの位置に補間された画素値を導く。
【００１８】
本発明のもう１つ別の態様によれば高ダイナミックレンジの画像化方法が提供され、該方法は、空間的に変動する露出を用いて、光検出素子のアレイを持つ画像センサにシーンの画像を露出するステップを含む。画像センサは、画像をセンシングして、それぞれの光検出素子に当たる光の強さを表す対応する画素値を供給する。画像センサは、それぞれの光検出素子に当たる光の強さが第１のしきい値レベルより大きい場合には飽和した画素値を供給し、また、画像センサは、それぞれの光検出素子に当たる光の強さが第２のしきい値レベルより小さい場合には、黒の画素値を供給する。この画像センサは、シーンの光学画像における光の強さのレンジと比べて相対的に低いダイナミックレンジを有する。該方法は更に、それぞれの露出値を使って、画像センサにより供給される画素値を正規化するステップも含む。
【００１９】
該方法の１つの態様によれば、空間的に変動する露出を用いて画像センサに露出するステップは、その各々が、それぞれ１個又はそれ以上の光検出素子が場面からの光に露出するのを制御する、複数の光を伝達するセルを持つマスクを使うステップを含む。光検出素子の各々は、光検出素子に当たる光が通過するセルの透明度を表す対応する露出値を持ち、また画像センサの供給する画素値を正規化するステップは、露出値の関数により画素値をマッピングするステップを含む。
【００２０】
該方法のもう１つ別の態様では、光検出素子に対応する露出値は固定され、該方法は更に、正規化された画素値を補間して光検出素子のアレイと一部分重なり合う第２のアレイにおけるそれぞれの位置に補間された画素値を導くことを含む。
【００２１】
更に別の態様では、該方法は、画像センサの応答関数に従って画像センサにより供給される画素値を較正して、該画素値が正規化されるステップの前に該画素値を線型化するステップを含む。
【００２２】
該方法の更にもう１つ別の態様では、光検出素子の各々に対応する露出値を、それぞれの露出制御信号をマスクに与えることにより変更することができる。該方法は、画像センサからの飽和した画素値及び黒の画素値の数を最少にするために、画像センサの供給する画素値から露出制御信号を計算して、その計算された露出制御信号をマスクに与えると同時に与えられた露出制御信号に対応する露出値を、正規化ステップで用いるために供給するステップを更に含む。
【００２３】
さらなる好適例では、この方法は、供給される露出制御信号に対応する露出値に平滑化フィルタを適用して、正規化した画素値に対応する平滑化した露出値を導出するステップを含む。そして、各正規化した画素値に、これに対応する平滑な露出値を乗算することによって、平滑化した露出値を正規化した画素値に再適用して、圧縮したダイナミックレンジを有するが、画像の視覚的細部情報は保持する画像を表現するモニタ画像の画素値を導出する。
【００２４】
本発明のさらに他の要点によれば、フィルムカメラ内の写真フィルムのフレームを、カメラのシャッタと焦平面との間に配置した平面状のマスクを通したシーンの画像に露出させるステップを具えた、高ダイナミックレンジの画像化方法が提供される。このマスクは、各々がフィルムのそれぞれの領域の露出を制御する多数の光透過セルを有する。マスクの各セルが、このセルの透過率を示す関連の露出値を有する。この露出値は露出パターンメモリに記憶する。そして露出したフィルムを処理して、シーンのマスク画像が含まれるようにする。フィルムまたはそのプリント上に含まれるマスク画像を走査して、マスクのセルを通してフィルム上に露出したマスク画像の異なる領域を表現する画素値を得る。画素値で表現されるマスク画像を、露出値で表現されるマスクに合わせて整列して、各画素値がマスクのセルに関連する露出値に対応するようにして、この画素値で表現される領域は、このマスクのセルを通して露出したものである。そしてこれらの画素値を、対応する露出値を用いて正規化して、第１アレイのそれぞれの位置にある正規化した画素値を導出する。
【００２５】
この方法の一つの好適例は、正規化した画素値を補間して、第１アレイに重なった第２アレイの各位置の補間画素値を導出するさらなるステップを含む。この方法の他の好適例はさらに、フィルムの応答関数と、フィルム上に含まれるマスク画像を走査するのに用いた画像センサの応答関数とを組合わせた応答関数に従って、画素値を較正するステップを含む。本発明の特徴及び効果は、以下の図面を参照した実施例の詳細な説明より明らかになる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の好適実施例による画像システムの機能図である。
【図２】図１の画像システムを実現したビデオカメラのハードウエア構成要素のブロック図である。
【図３】図１のシステムの画像プロセッサのデータフロー図である。
【図４Ａ】図１のシステムで用いるパターン化したマスクの平面図である。
【図４Ｂ】図４Ａのマスクパターンを形成ために繰返し配置する、隣接する４つのセルのグループを表わす図である。
【図５Ａ】図１のシステムの結像光学器、マスク及び画像センサ、及び画像を捕捉すべきシーン内の物体を表わす図である。
【図５Ｂ】図４Ａのマスクを通して見た、シーンの物体の像を表わす図である。
【図６】マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して図１のシステムが実行する較正及び正規化を示す図である。
【図７】マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して図１のシステムが実行する較正及び正規化を示す図であり、ここでは画素値のうちの１つがブラック化画素値である。
【図８】マスクの４つの隣接セルを通して検出した４つの隣接画素値に対して図１のシステムが実行する較正及び正規化を示す図であり、ここでは画素値のうちの２つが飽和画素値である。
【図９】図１のシステムが実行する補間を示す図であり、特に、２×２の補間フィルタを、マスク画像の２×２画素の局所領域のすべてに適用して、補間画素値を導出することを示す。
【図１０Ａ】格子の交点に配置した画像センサの感光素子を有し、補間格子に重なった元の画像格子を表わす図である。
【図１０Ｂ】元の画像格子の異なる２画素×２画素領域の各々に適用して、補間格子の各交点における補間画素を導出する補間フィルタを示す図である。
【図１１】図１のシステムの画像プロセッサの動作のフロー図である。
【図１１Ａ】図１１のフロー図の較正ステップ２０８をより詳細に示すフロー図である。
【図１２】本発明の第２の好適実施例による画像システムの機能ブロック図である。
【図１３】図１２の画像システムを実現したビデオカメラのハードウエア構成要素を表わすブロック図である。
【図１４】図１２のシステムの光学要素、マスク、光拡散器、及び感光アレイの配置を表わす図である。
【図１５】図１２のシステムの画像センサの、マスクセルと画素位置との対応を示す図である。
【図１６】図１２のシステムのマスクコントローラの動作を示す図であり、マスクの露出値を適応的に制御する。
【図１７】図１２のシステムのマスクコントローラの動作のフロー図である。
【図１８】図１２のシステムの画像プロセッサのデータフロー図である。
【図１９】図１２のシステムにおける、露出値の平滑化動作、及び平滑化した露出値を捕捉した高ダイナミックレンジの画素値に適用することを示す図である。
【図２０】図１２のシステムが実行する露出値の平滑化動作のフロー図である。
【図２１】図２０の平滑化動作で使用可能な平滑化フィルタの例を表わす図である。
【図２２】本発明の第３の好適実施例による画像システムの機能図である。
【図２３】図２２の画像システムのアライナーの詳細構造を表わす図である。
【図２４】図２２の画像システムのアライナーの動作のフロー図である。
【発明を実施するための形態】
【００２７】
（実施例の詳細な説明）
以下、本発明の実施例について図面を参照して説明する。図１に、本発明の第１好適例による画像化システム１００の機能図を示す。画像化システム１００はマスク１０１を具え、シーン（図示せず）からの入射光が、画像センサ３に当たる前にこのマスクを通過する。画像センサ３は、マスク１０１を透過したシーンの画像をセンシングして、これに対応する画素値を画像プロセッサ４に供給し、画像プロセッサ４は、応答関数メモリ６及び露出パターンメモリ５に結合され、そして高ダイナミックレンジのデータを出力画像メモリ７に供給する。マスク１０１は透明な材料の平板であり、これは入射光の波長に対して無色の特性を有し、かつ入射光２が通過する領域では、固定の透明度の空間的パターンを有する。本明細書で用いる「光」とは、ミリメートル波長領域からガンマ線領域までに広がるスペクトルを有する電磁放射のことを称する。画像センサ３は、光センサ素子（図示せず）のアレイを有する電荷結合素子（ＣＣＤ）画像検出器を具えていることが好ましいが、写真フィルムを含めた他のいずれの種類の画像センサとすることもできる。一般に画像センサ３は、シーンから発する入射光２のレンジに比べて低いダイナミックレンジを有する。応答関数メモリ６に記憶した応答関数データは画像センサ３の入力／出力特性であり、これは前以て測定して、パラメータ形式または他の適切なデータ形式の早見表として応答関数メモリ６に記憶したものである。メモリ５に記憶した露出値は、各画素位置におけるマスクの透明度を示すものであり、画像センサ３が供給する画素毎に対応する露出値が存在する。これらの露出値は前以て測定して、生データまたは符号化データとして露出パターンメモリ５に記憶したものである。画像プロセッサ４は、画像センサ３が供給する画像値、応答関数メモリ６に記憶している応答関数、及び露出パターンメモリ５に記憶している露出値から、高ダイナミックレンジの画像データを導出する。出力画像メモリ７に記憶している高ダイナミックレンジの画像データは、これに対応するシーンの放射輝度（ラジアンス）値に比例する放射輝度値を有する。
【００２８】
図２に、図１のシステムを実現したビデオカメラ２００のハードウエア構成要素を示す。図２のカメラは、画像センシング部４０１を有し、これはシーンの画像をＣＣＤ光センサアレイ１６５の感光面に結像させるレンズ４０２と、画像の全体的な露出を制御する開口部４０３と、前記ＣＣＤ光センサアレイ１６５の近傍に位置するマスク１０１と、ＣＣ
Ｄ出力を調整してノイズを低減する前段増幅器４０４を具えている。前段増幅器４０４は、相関倍化回路、自動利得制御回路、ガンマ補正回路、及びニー（折点）回路のような、通常ビデオカメラに用いるいくつかのアナログ回路を具えている。図２の実施例のカメラは、画像センシング部４０１からの捕捉した画像に対応する信号をディジタル化するアナログ−ディジタル変換器４０６を有する画像処理部４０５も具えている。このディジタル化した画像をフレームメモリ４０７に記憶し、このメモリは図１の出力画像メモリに相当する。高ダイナミックレンジの画像データの演算は処理装置４１１で実行し、この処理装置はフレームメモリ４０７、ＲＯＭ４０９、及びＲＡＭ４１０のデータにアクセスする。ＲＯＭ４０９は、露出値及び応答関数データ、並びに処理装置４１１用の命令を記憶するために用いる。フレームメモリ４０７の高ダイナミックレンジの画像データを演算したものを、ディジタル−アナログ変換器４０８によってアナログ信号に変換し、ディジタル−アナログ変換器４０８はアナログ信号をビデオ出力部４１２に供給する。ビデオ出力部４１２はビデオカメラのみに必要なものであり、これに相当するものは図１にはなく、前記変換したアナログ信号をビデオ信号に変換するビデオエンコーダ４１３を具えている。そしてこのビデオ信号を出力装置４１４に通し、出力装置４１４はビデオ出力４１５を供給する。
【００２９】
図３に、図１の画像プロセッサ４のデータフロー図３０００を示す。この画像プロセッサは、較正器９、正規化器１０、及び補間器１１を具えている。較正器９は応答関数メモリ６に記憶している応答関数データを用いて、画像センサ３によって捕捉した画像データ８を線形応答画像マッピングする。そして正規化器がこの線形応答画像を、シーンの放射強度に比例する画像に変換する。最後に補間器１１が、飽和またはブラック化により演算不能な画素値を補間して、補正した画像データを出力画像メモリに供給する。補間は、飽和あるいはブラック化した画素がなくても、ノイズを低減する方法として用いることができる。図４Ａに、図１のシステムに用いるマスク１０１用のマスクパターンの例を示す。
このマスクの例では、マスク１０１は、異なる透明度（減衰率）を有するセルの２次元アレイである。マスク１０１は、異なる透明度を有する４つのセルの同じグループを反復的に配置したものから構成される。図４Ｂに、４つのセルのグループ１０２、１０３、１０４及び１０５を示し、これらの各々を、図４Ａのパターンのマスク１０１を形成するように配置する。このグループは、最明セル１０２、明セル１０３、暗セル１０４、及び最暗セル１０５を有し、最明セル１０２が４つのセルのうち最も透明度が高く、最暗セル１０５が最も透明度が低い。図４Ａ及び図４Ｂの例では、４つのセルのグループの各々を、マスク１０１の露出パターンを形成するように配置しているが、異なる透明度を有するセルをより少数あるいはより多数有するグループを同様に反復させて、同じ露出パターンあるいは異なる露出パターンを形成することができる。マスクの露出パターンは周期的である必要はなく、透明度の分布がランダムであってもよい。さらにマスク１０１を、非線形の光学応答特性を有する材料から構成することができる。こうした材料は、入射光の強度に対して非線形に変化する透過率（または減衰率）を有する。こうしたマスクは、視覚的細部情報を保存しつつ画像システムの有効ダイナミックレンジを拡大する細部保存性の光学フィルタを提供することができる。
【００３０】
ＣＣＤまたはＣＭＯＳ光センサアレイのような半導体素子の画像センシングデバイスを使用する場合には、フォトリソグラフィー及び薄膜フィルム堆積を用いて、マスクパターンを画像センシングデバイスと同じ基板上に製造することができ、あるいはフォトリソグラフィー及びデバイスそのもののエッチングによってマスクパターンを形成することができる。フィルム式カメラの場合には、シャッタとフィルム板の間にマスクを配置するか、あるいはフィルムそのものにマスクを取り付けることができる。マスクの代わりに、フィルムそのものが空間的に可変の光感度を有するようにすることもできる。チェッカー（碁盤模様）型のマスク１０１は、あらゆる局所領域に４つの異なる露出が生じるようにするものである。これにより、４つの異なる露出によって生成される大きなダイナミックレンジを用いて、あらゆる局所領域を捕捉する。チェッカー型のマスク１０１内のセルの露出値を露出値メモリ５に記憶して、これらの値を画像プロセッサ４が用いる。
【００３１】
図５Ａ及び図５Ｂに、チェッカーパターンのマスク１０１でのシーンの画像の捕捉を示す。図５Ａに示すように、マスク板１０１を画像センシングデバイス１６５の前に置いて、各マスクセルが、画像センシングデバイス１６５のそれぞれの画素（即ち感光素子）の前に位置するように、マスク板１０１を合わせる。シーンからの入射光が画像光学器１４７を通過して、画像センサ３の画像平面上に結像するが、各画素位置ではマスク板１０１によって減衰した光強度を記録する。また図５に、明るい物体１０６及び暗い物体１０７のあるシーンを示す。このため、マスク板１０１を通して画像センシングデバイス１６５によってシーンを捕捉すると、図５Ｂに示すような画像が得られる。なお、明るい物体１０６の領域で、より明るい露出の画素が飽和する場合には、同じ領域で、より暗い露出の画素はまだ、画像センサ３のダイナミックレンジ内の値を有する。同様に、暗い物体１０７の領域で、より暗い露出の画素が暗すぎる場合には、同じ領域では、より明るい露出の画素はまだ、画像センサ３のダイナミックレンジ内の値を有する。
【００３２】
図６に、画像プロセッサ４の較正器９及び正規化器１０で実行する処理の例を示す。この例では、シーンの背景中の領域１１１から、隣接する４つの画素の局所領域１１２を取り出す。シーンの背景が一定の明るさなので、４つの画素１１２の放射輝度値は同一になる。しかし、画像センサ３の応答関数の非線形性、及びマスクの透明度パターンの結果としての、４つの画素位置に対応する露出値の差により、４つの画素の測定値が異なる。図７の中央にある図は、測定した各画素値を、シーンの放射輝度に対して線形の画素値に変換して、この線形化した画素値を正規化するプロセスを示すものである。最初に較正器９が、実線の応答曲線１１３で表わす画像センサ３の応答関数を各測定画素値に適用して、点線１１４で表わす画像センサ３の非線形性を除去する。そして点線１１５で示すように、較正した各画素値を、これに対応する露出値で除算する。その結果を図の１１６で表現し、これは、同じ放射輝度を有する隣接した画素位置の４つの画素値を較正して正規化したものを示す。図６の例で用いた正規化は、対応する露出値で画素値を除算することを含むが、正規化は、露出値の関数による画素値のマッピングのいずれをも含むということに留意すべきである。
【００３３】
図７に、画像プロセッサ４の較正器９及び正規化器１０による処理の他の例を示し、今回は、シーンの暗い領域１１７から取り出した隣接する画素位置１１８についての処理である。図７の例では、これらの画素位置のうちの３つが画像センサ３のダイナミックレンジ内の画素値を有するが、画素位置のうちの１つがブラック化した画素値を有する。これら４つの画素値の較正及び正規化を、図７の中央の図に示す。図の画素値軸では、画素のブラック化しきい値及び画素の飽和しきい値をそれぞれＴｂ及びＴｓで示す。図に示すように、較正及び正規化プロセスは破線１１９で示すように、ブラック化した画素値には正しく適用することができない。こうして較正及び正規化した結果を図の１２０で表わし、これは同じ放射輝度を有する３つの画素値を較正及び正規化したもの、及びブラック化した１つの画素値（文字“ｂ”を付けたもの）を表わし、この画素値には較正及び正規化を正しく適用することができない。
【００３４】
図８に、画像プロセッサ４の較正器９及び正規化器１０による処理の他の例を示し、今回は、シーンの明るい領域１２１から取り出した隣接する画素位置１２２についての処理である。４つの画素位置１２２のうちの２つが、画像センサ３のダイナミックレンジ内の画素値を有するが、他の２つは飽和した画素値を有する。これら４つの画素値の較正及び正規化を、図８の中央の図で示す。ここでも図の画素値軸上に、画素のブラック化しきい値及び画素の飽和しきい値をそれぞれＴｂ及びＴｓで示す。これら２つの飽和した画素値は、破線１２３で示すように正しく較正及び正規化することができない。処理の結果を図の１２４で表わし、この図は、２つの画素位置の同じ放射輝度の画素値を較正及び正規化したもの、及び他の２つの画素位置の飽和した画素値（文字“ｓ”を付けたもの）を示す。
【００３５】
この好適実施例によれば、飽和及びブラック化した画素値を較正器９によってマークして、これにより補間器１１がこうした例外を扱うことができるようにする。
【００３６】
図９に、プロセッサ４の補間器１１が実行する補間プロセスを示す。図の右上には、シーンの領域１２５を表現する１０×１０個の画素のグループ１２６を示し、これはシーンの暗部及び明部の境界を含む。各画素位置１２６の画素値は、図６、７及び８に関連して説明した較正及び正規化プロセスを行ったものであり、飽和した画素はすべて黒色の“×”を付けてあり、ブラック化した画素はすべて白色の“×”を付けてある。補間器は、画像の画素アレイの、すべての異なる２画素×２画素の領域に、２画素×２画素の補間フィルタを適用する。補間フィルタは、領域内の非飽和かつ非ブラック化の画素値の平均を取ることによって、各２画素×２画素領域の中心の補間画素値を計算する。すべての異なる２画素×２画素領域を、４つの異なる透明度のマスクを通して露出するので、一般に、各領域内に少なくとも１つの非飽和かつ非ブラック化の画素値が存在する。図９に示す補間フィルタ１２７の位置では、補間フィルタが包含する２画素×２画素の領域が２つの飽和画素値を含み、これらの画素値は補間プロセスが考慮に入れない。結果として、この領域内の２つの非飽和かつ非ブラック化の画素値の平均値を有する補間画素１２９が、２画素×２画素領域の中心に得られる。あるいはまた、飽和画素及びブラック化画素にそれぞれ所定値を割り当てて、これらを補間演算に含めることができる。
【００３７】
各画素値に、補間結果の品質向上への寄与分に従って重み付けすることが有利である。隣接する４つの画素を異なる露出値によって正規化するので、４つの画素の各々の信号対ノイズ比（ＳＮＲ）は相互に異なる。各画素値にＳＮＲで重み付けすることによって、よりノイズ耐性のある補間を行うことができる。画素値Ｍの応答関数ｆ（Ｍ）が与えられれば、この画素値のＳＮＲはＳＮＲ（Ｍ）＝ｆ（Ｍ）／ｆ´（Ｍ）として計算することができ、ここでｆ´（Ｍ）はｆ（Ｍ）の１次導関数である。
【００３８】
図１０Ａ及び図１０Ｂにさらに、画像プロセッサ４の補間器１１が実行する補間プロセスを示す。図１０Ａに、垂直方向（ｙ方向）及び水平方向（ｘ方向）に伸びる、直交する離間した直線によって規定される元の画像格子１５０を示す。画像センサ３は、元の画像格子１５０の各交点（画素位置）に配置した感光素子１５１のアレイで構成される。画像センサ３は、入射光に露出すると、各感光素子に対応するそれぞれの画素値を供給する。
元の画像格子１５０には補間格子１５２が重なり、これも垂直方向及び水平方向に伸びる直交する離間直線によって規定される。ここで図１０Ｂに示すように、補間フィルタ１５３が、元の画像格子１５０の異なる４つの交差領域の各々を包含して、この補間格子のそれぞれの交点における補間値１５４を導出する。この好適実施例では、補間格子が元の画像格子と同一であり、これらの格子は互いに、水平方向に半グリッド位置分だけ変位し、かつ垂直方向に半グリッド位置分だけ変位している。補間格子が元の画像格子と同一である必要がなく、そして、双線形補間フィルタ、補間フィルタ、双立方補間フィルタ、Ｂ−スプライン補間フィルタ、ガウス補間フィルタ、または当業者に既知の他のいずれの補間フィルタのような、２画素×２画素以外の補間フィルタを用いることができることは当業者にとって明らかである。さらに、感光素子の配置は格子の交点である必要がなく、いずれの形態のアレイとすることもできる。
【００３９】
図１１に、画像プロセッサ４が実行する処理を表わすフロー図３００を示す。まず、ループ２０１のプロセスを画素位置毎に繰り返し、ここでｘ及びｙは画素位置のｘ、ｙ座標であり、ｘＳｉｚｅ及びｙＳｉｚｅは画素アレイのｘ次元及びｙ次元である。ループ２０１は、ステップ２０２、２０３、２０４、２０５、２０６、２０７、２０８及び２０９を含む。ステップ２０２では、画素位置（ｘ，ｙ）の画素値Ｍ（ｘ，ｙ）を評価する。Ｍ（ｘ，ｙ）が小さい所定画素値であるノイズレベルよりも小さければ、ステップ２０３を実行する。Ｍ（ｘ，ｙ）がノイズレベルよりも小さくなければステップ２０５を実行する。
ステップ２０３では、画素位置に対応する露出値Ｅ（ｘ，ｙ）を露出パターンメモリ５から読み込む。Ｅ（ｘ，ｙ）が最高露出値であれば、ステップ２０５を実行する。さもなければステップ２０４を実行する。ステップ２０４では、画素を“ブラック化”画素値を有するものとしてマークして、現在行っているループの反復を終了する。一時メモリの当該画素位置に特定値を書き込むことによって、このマーク付けを行う。ステップ２０５では画素値Ｍ（ｘ，ｙ）を評価する。Ｍ（ｘ，ｙ）が非常に大きい所定画素値である飽和レベルよりも大きければ、ステップ２０６を実行する。Ｍ（ｘ，ｙ）が飽和レベルよりも大きくなければステップ２０８及び２０９を実行する。ステップ２０６では、露出値Ｅ（ｘ，ｙ）をメモリ５から読み込む。Ｅ（ｘ，ｙ）が最低露出値であれば、ステップ２０８及び２０９を実行する。さもなければステップ２０７を実行する。ステップ２０７では、画素を一時メモリ内の“飽和”画素値としてマークして、現在行っているループ２０１の反復を終了する。ステップ２０８では、図６、７及び８に関連して説明した方法でＭ（ｘ，ｙ）を較正する。ステップ２０９では、図６、７及び８に関連して説明したようにＭ（ｘ，ｙ）を正規化して、現在行っているループ２０１の反復を終了する。
【００４０】
図１１Ａに、図１１のフロー図の較正ステップ２０８の詳細フロー図を示す。ステップ３１１では、各画素位置（ｘ，ｙ）における画素値Ｍ（ｘ，ｙ）を、入力Ｍとして供給する。ステップ３１２では、応答関数ｆをＭに適用してｍを得る。上述したように、この応答関数は早見表形式、パラメータ形式、あるいは他の適切な形式とすることができる。応答関数のデータが２５６レベルの早見表形式であるものとすれば、Ｍを正規化して、これら２５６レベルのうちの１つを指示する指標値にディジタル化することができる。そしてこの早見表を用いて、指標値Ｍに対応するｆ（Ｍ）を見つける。ステップ３１３では、Ｍを出力として供給し、これは図１１のフロー図では、ステップ２０９に供給する画素値Ｍ（ｘ，ｙ）である。
【００４１】
図１１に戻って説明すると、すべての画素位置についてループ２０１を完了した後に、ループ２１０の処理を行う。位置（１，１）から位置（ｘＳｉｚｅ−１，ｙＳｉｚｅ−１）までの画素位置毎にループ２１０を繰り返す。ループ２１０では、ステップ２１１、ループ２１２、ステップ２１３、２１４及び２１５を実行する。ステップ２１１では、Ｌ（ｘ，ｙ）及びＮを共に０に初期化する。ここではＬ（ｘ，ｙ）が、出力画像メモリ７内の位置（ｘ，ｙ）における放射輝度値を示し、Ｎが処理した画素数を示す。そして、ループ２１２の処理を（ｉ，ｊ）について繰り返す。ｉ及びｊ共に０から１まで変化する。ループ２１２では、ステップ２１３及び２１４を実行する。ステップ２１３では、画素（ｘ＋ｉ，ｙ＋ｊ）のマーク付けを決定する。画素がマーク付けしてなければ、ステップ２１４を実行する。さもなければ、現在行っているループの反復を終了する。ステップ２１４では、重み値Ｗを、画素値Ｍ（ｘ＋ｉ，ｙ＋ｊ）のＳＮＲとして計算する。そして画素値Ｍ（ｘ＋ｉ，ｙ＋ｊ）にＷを乗じて、この積をＬ（ｘ，ｙ）に加算し、ＷをＮに加算する。
ループ２１２を終了した後に、ステップ２１５を実行する。ステップ２１５では、Ｌ（ｘ，ｙ）をＮで除算し、その後にループを終了する。すべての画素位置についてループ２１０を完了した後に、画像プロセッサ４による処理を完了する。
【００４２】
再び図１に戻って説明すると、本発明の第１の好適実施例による画像システムは、マスク１０１を除去して、空間的に可変のパターンの感光性を有する感光素子（画素）のアレイで構成される画像センサ３を用いることによって変形することができる。これらの感光素子の感光性のパターンを各感度値として、露出パターンの代わりにメモリ５に記憶する。再び図３に戻って説明すると、較正器９が捕捉した画像８の画素値を受けて、応答関数メモリ６内の各応答関数を用いて、これらの画素値を線形化する。そしてこれらの線形化した値を正規化器１０によって、メモリ５に記憶している感光性の値を用いて正規化する。そしてこれらの正規化した画素値を上述した方法で補間して、高ダイナミックレンジの画像画素値を導出する。
【００４３】
図１２に、本発明の第２の好適実施例による画像システムの機能ブロック図４００を示す。第２の好適実施例によるシステムは、可変マスク１２と、マスクコントローラ１３と、画像センサ３と、露出パターンメモリ５と、応答関数メモリ６と、出力画像メモリ７と、画像プロセッサ１４と、モニタ画像メモリ１５とを具えている。図１のシステムと同様に、シーンからの入射光が、画像センサ３の感光面に当たる前に、空間的に可変の透明度パターンを有するマスク１２を通過し、画像センサ３は対応する画素値を画像プロセッサ１４に供給する。また画像プロセッサ１４も、応答関数メモリ６からの関数データ及び露出パターンメモリ５からの露出値を受けて、高ダイナミックレンジの画像データを出力画像メモリ７に供給する。しかし図１のシステムとは異なり、図１２のシステム４００は、露出制御信号を供給することによって変化しうる透明度パターンを有するマスク１２、及び画像センサ３が供給する画素値に応答して露出制御信号を発生してマスク１２に供給するマスクコントローラ１３を採用し、マスクコントローラ１３は露出制御信号に対応する露出値を露出パターンメモリに供給する。これに加えて、画像プロセッサ１４はモニタ画像データを供給して、これをモニタ画像メモリ１５に記憶する。このモニタ画像データは、画像の細部情報を保存しつつ、テレビジョン、ビデオモニタ、あるいはコンピュータディスプレイのような低ダイナミックレンジの装置による表示用に圧縮したダイナミックレンジを有する。マスクコントローラ１３は画像センサ３の出力を受けて、飽和及びブラック化した画素値が最小数になるように、マスク１２の空間的に可変の透明度を調整する。
【００４４】
次に、図１３に、図１２のシステムを実現したビデオカメラのハードウェア構成５００のブロック図を示す。ビデオカメラは、光学式アタッチメント１６１を有し、これは、シーンを可変マスク１２上に結像させる第１のレンズ素子１６２と、可変マスク１２と光拡散器１３１を通過したシーンの画像をＣＣＤ光検出アレイ１６５の感光面上に結像させる第２のレンズ素子１６３とを具えている。光拡散器また、光学式アタッチメント１６１は、透明度パターンが可変の液晶マスク１２にマスク制御信号を供給する、液晶マスクコントローラ１８３を備える。図１３のブロック図５００は、画像処理部１６４を含み、これは、ＣＣＤ光検出アレイ１６５と、ＣＣＤ出力の振幅を調整してノイズを減らす、前段増幅器１６６とを具えている。前段増幅器１６６は、通常ビデオカメラにおいて実現される、例えば相関倍化回路（ノイズ低減回路）、自動利得制御回路、ガンマ補正回路、ニー（折点）回路などのいくつかのアナログ回路を備える。前段増幅器１６６の出力は、画像処理部１６７にあるアナログ・デジタル変換器１６９に供給される。アナログ・デジタル変換器１６９は、取り込んだ画像をデジタル化する。図１２中の画像プロセッサ１４の計算は実際には、ＲＡＭ１７０、ＲＯＭ１７１、フレームメモリ１  １７２、フレームメモリ２  １７３、および、フレームメモリ３  １７４にアクセスする処理ユニット１６８が実行する。図１３のビデオカメラ５００において、液晶マスクコントローラ１８３は、液晶マスク１２に制御電圧を送る。処理ユニット１６８は、液晶マスク１２に供給された制御電圧を計算する。ＲＯＭ１７１は、制御パラメータと共に、処理ユニット１６８の命令を記憶する。ＲＡＭ１７０は、処理中のデータを一時的に記憶する。フレームメモリ１  １７２は、図１２の出力画像メモリ７に相当し、フレームメモリ２  １７３は、図１２の露出パターンメモリ５に相当し、さらにフレームメモリ３  １７４は、図１２のモニタ画像メモリ１５に相当する。デジタル・アナログ変換器１７５は、フレームメモリ１  １７２に格納された高ダイナミックレンジの画像データを、それがビデオ出力部１  １７７に供給される前にアナログ信号に変換し、ビデオ出力部１  １７７では、ビデオ信号プロセッサ１７８が、そのアナログ信号を処理して、その出力を出力ユニット１７９に送り、出力ユニット１７９が、高ダイナミックレンジの画像であるビデオ出力１８１を供給する。
フレームメモリ３  １７４中のモニタ画像データは、デジタル・アナログ変換器１７６によって、アナログ信号に変換される。モニタ画像のアナログ信号は、ビデオ出力部２  １８０に供給されて、ビデオ出力部２  １８０では、ビデオ出力プロセッサ１８１が、そのアナログ信号を処理して、その出力を、出力ユニット１８２に送り、出力ユニット１８２が、モニタ画像であるビデオ出力１８３を供給する。因みに、ビデオ出力部１  １７７とビデオ出力部２  １８０は、ビデオカメラ構成の一部をなしているが、図１２の基本的な画像システム図において、対応する構成要素は存在しない。
【００４５】
図１４は、画像捕捉部６００の模範的な構成図を示しており、これは、本発明の第１実施例および第２実施例において用いることができる。固定パターンまたは液晶マスク１３０および光拡散器１３１を、ＣＣＤ光検出アレイ１６５の画像面に並行するように配置しており、ＣＣＤ光検出アレイ１６５は、カメラ本体１３４に埋め込まれている。マスク１３０および光拡散器１３１は、２つの光学素子１３２と１３３との間に配置している。シーンからの入射光は、第１の光学素子１３２によって、マスク１３０上に合焦される。光は、マスク１３０によって減衰されて、光拡散器１３１を通過し、第２の光学素子１３３によって、ＣＣＤ光検出アレイ１６５の画像面に合焦される。このように、ＣＣＤ光検出アレイ１６５によって測定された光は、マスク１３０とシーンにおいて合焦される。因みに、ＣＣＤ光検出アレイ１６５の画素位置Ｒに入射する光は、その光が通過したマスク１３０の狭い領域Ｑからのみ出射される。マスク１３０の直後に位置する光拡散器１３１は、合焦した光の方向性を取り除いてしまう。あるいは、光拡散器１３１は、マスク１３０の直前に配置してもよいし、また、２つの別個の光拡散器を、ひとつはマスク１３０の直前に、ひとつはマスク１３０の直後に配置してもよい。狭い領域Ｑは、順次、画像形成されているシーンのひとつのポイントＰからのみの光を受光する。本発明の第２実施例において、液晶アレイは、可変性の露出マスクが好適であるが、光電変調器のアレイなど、適当な信号を使って露出パターンを制御する他の装置を利用してもよい。
【００４６】
前述したように、可変マスク１２としては、各露出制御電圧信号を使って個々に制御可能な透明度を有する、液晶セルの２次元アレイが好ましい。図１５に示すように、可変マスク１２の各セルを制御して、イメージセンサ３の光検出素子アレイ１６５の少なくとも１個の画素に光を送るようにする。光検出素子アレイ１６５の各光検出素子は、各画素に対応している。例えば、光検出素子アレイ１６５中の破線の正方形１８３で示す（４×４）の画素領域は、可変マスク１２のマスクセル１８４を通過した光のみを受光する。露出制御信号は、可変マスク１２の各セルにおける透明度（減衰率）を制御するものであり、マスクコントローラ１３が、イメージセンサ３の出力（画素値）を受け、この画素値に従ってマスクのセルに対する露出制御信号を計算して供給する。各セルに対する露出制御信号は、以下の３点、即ち、（１）光検出素子アレイ１６５への対応領域１８３内における飽和画素数あるいはブラック化画素数の最小化、（２）イメージセンサ３の供給する平均画素値における信号とノイズの比率の最大化、（３）マスクセルアレイ１２の露出値の空間における平滑さの度合いの最大化、を満たすように計算される。
【００４７】
次に、図１６に、マスクコントローラ１３の制御下にある、可変マスク１２の露出パターンの展開例を示す。同図において、時間は左から右にシフトするものとする。図１６の最上行の図解１３７は、シーンからの放射輝度を表しており、本例では時間を経ても変化しない。図１６の中央行の図解１３８から１４０は、マスク１２の露出パターンの一時的な変化を示している。図１６の最下行の図解１４１から１４３は、キャプチャーした画像の一時的な変化を表すもので、イメージセンサ３の出力が表わす。初期状態（左列）では、露出パターン１３８が、可変マスク１２の全てのセルに対して同じ透明度（減衰率）で現れる。従って、非常に明るい物体１８５と非常に暗い物体１８６を有するシーン１３７の放射輝度を均一に減衰して、キャプチャーした（非正規化の）初期画像１４１を形成する。しかし、イメージセンサ３のダイナミックレンジは、シーンの輝度範囲に対して狭いので、キャプチャーした初期画像１４１は、放射輝度画像１３７の視覚的な詳細全てを有していない。キャプチャーした初期画像１４１において、暗い物体１８７は、ほぼ完全に黒くなっており、明るい物体１８８は、ほぼ完全に飽和状態となっている。上述した３つの基準を満たすために、マスクコントローラ１３が可変マスク１２の各セルの露出値を調整した後、マスクコントローラ１３が新たに露出制御信号を可変マスク１２に供給することによって、第２の露出パターン１３９が生じる。第２の露出パターン１３９において、明るい物体の領域の露出値は減少し、暗い物体の領域の露出値は増加し、背景領域の露出値はわずかに増加する。露出パターン１３９を使って取り込んだ画像１４２には飽和画素もしくは黒い画素が存在しないが、画像の詳細部分は拡張されている。この様に、マスクコントローラ１３は、継続的に露出値を調整して、平滑さを改善した露出パターン１４０を得る。露出。露出パターン１４０によって得た画像１４３は、露出パターンの平滑さの改善結果として、詳細な改良画像となっている。因みに、露出コントローラ１３による露出パターンを用いるプロセスは、動く物体を伴うシーンなど、一時的にシーンが変化するものに、特に適している。
【００４８】
図１７に、マスクコントローラ１３が実行する処理１７０のフローチャートを示す。処理１７０のフローチャートでは、可変マスク１２のひとつのセルに対する露出制御信号を計算する処理を表しており、この処理は、マスクの各セルに対して繰返し行わねばならない。ステップ２１６において、Ｓ１とＳ２は共に、ゼロに初期設定される。ここで、Ｓ１は、マスクセルからの光を受光する光検出素子アレイの領域内における飽和画素数もしくは黒い画素数を最小化させるという、第１の基準を満たす露出制御値を示している。Ｓ２は、イメージセンサ３の供給する平均画素値の信号とノイズの比率を最大化させるという、第２の基準を満たす露出制御値を示している。ループ２１７の処理は、可変マスク１２のセルを通過した光を受光する光検出素子アレイ１６５の領域内の各画素に対して、繰返し行われる。ここで、Ｑはその領域内の画素数である。ループ２１７は、ステップ２１８からステップ２２２までを含んでいる。ステップ２１８において、画素値Ｍｑを見積もる。画素値Ｍｑが、極めて小さい画素値である所定のノイズレベルよりも小さい場合には、ステップ２１９を実行する。ステップ２１８で画素値Ｍｑがノイズレベルよりも大きい場合には、ステップ２２２を実行する。ステップ２１９において、Ｓ１を１増加し、ループ２１７の現在繰返し行われている処理はここで終了する。ステップ２２０において、Ｍｑを見積もる。画素値Ｍｑが、極めて大きい画素値とである所定の飽和レベルよりも大きい場合には、ステップ２２１を実行する。ステップ２２０で画素値Ｍｑが、飽和レベルよりも小さい場合には、ステップ２２２を実行する。ステップ２２１において、Ｓ１を１減少させ、ループの現在繰返し行われている処理を終了する。ステップ２２２において、量（Ｍｂｅｓｔ−Ｍｑ）を加えて、Ｓ２を更新する。ここで、Ｍｂｅｓｔは、使用しているイメージセンサ３の最適な信号とノイズの比率を有する、所定の画素値である。ループ２１７を終了すると、ステップ２２３と２２４を実行する。ステップ２２３において、ブロック２２３中に示される式を使って、Ｓ３を計算する。この式において、ｇｋはローパスカーネルの重み付け値、Ｅｋは近傍セルの露出値、Ｅは現在処理されているセルの露出値である。この計算によって、ローパスフィルタのタイプが決まるが、通常、これは「アンシャープマスキング」と呼ばれている。ステップ２２４において、現在処理しているセルの露出値Ｅを、Ｓ１、Ｓ２、Ｓ３の重み付け加重により更新する。ここで、重み付けｗ１、ｗ２、ｗ３は画像品質を最適化するために経験的に決められた、所定のバランス要因である。ステップ２２４を終了した後には、現在処理しているセルの処理を完了させる。
【００４９】
次に、図１８に、図１２のシステムにおける画像プロセッサ１４のデータフロー８００を示す。画像プロセッサ１４は、較正器９、正規化器１０、スムーザ１６、および露出再アプリケータ１７を具えている。  図１において既に説明した本発明の第１実施例の画像プロセッサ４のように、較正器９は、応答関数メモリ６に格納されている応答関数データを使用して、イメージセンサ３がキャプチャーした画像の画素値を、線形応答画像に較正する。続いて、正規化器１０は、線形応答画像を、シーンの放射輝度に比例する画像に変換する。因みに、マスクコントローラ１３が可変マスク１２の露出を調整して、飽和画素の画素値と黒い画素の画素値を最小化するため、本発明の第２実施例における画像プロセッサ１４は、正規化器１０の出力の補間を必要としない。
【００５０】
更に、画像プロセッサ１４が、モニタ画像メモリ１５に書き込まれたモニタ画像の画素値を算出する。スムーザ１６が、露出パターンメモリ５からの露出値を平滑化して、モニタ画像の画素値を算出する。続いて、露出再アプリケータ１７が、平滑化した露出値を、正規化器１０が供給する高ダイナミックレンジの画像の画素値に加える。図２０に、モニタ画像の画素値を得るための処理を示す。図１９の左側の列は、図１６の右側の列と同一である。露出制御後にも、キャプチャーした画像１４３には、まだマスクセルの境界によって生じるわずかな非連続性が存在するので、理想的には、表示目的に適さない。故に、スムーザ１６が、露出パターン１４０を平滑化して、可視的な非連続性が存在しない平滑化された露出パターン１４５を得る。この場合は、平滑化された露出パターン１４５を、露出パターン１４０およびキャプチャーした（正規化されていない）画像１４３から既に得ている高ダイナミックレンジ画像１４４に再び加えることによって、モニタ画像１４６を得る。モニタ画像１４６は、キャプチャーした画像１４３あるいは高ダイナミックレンジ画像１４４よりも、表示するのにより適している。これは、モニタ画像１４６には非連続性が存在せず、イメージセンサ３と同じダイナミックレンジを有するためである。
なお、モニタ画像は、連続的処理に対するビデオ出力であってもよい。
【００５１】
図２０は、スムーザ１６と露出再アプリケータ１７の実行する処理９００のフローチャートを示している。平滑化に関し、ループ３０１をＮ回実行する。ここで、Ｎは所定の数を表し、通常、１から５の範囲にある。ループ３０１では、ステップ３０２、ループ３０３、ステップ３０４とステップ３０５が実行される。ステップ３０２では、露出パターンメモリ５における露出パターンデータＥを、同じサイズの別のメモリスペースに複写し、Ｅｓとして参照される。図２０の例では、画像の各画素が対応する露出値と同じ座標となるように、露出パターンは画像と同じ寸法とする。ループ３０３は、ＥとＥｓと同サイズの一時的な露出パターンデータ記憶であるＥｔｅｍｐの各画素位置に対して繰返し行われる。ループ３０３では、ステップ３０４を実行する。ステップ３０４においては、平滑化フィルタｇを、Ｅｓの現在位置（ｘ、ｙ）に適用する。フィルタによる計算は、図２０中のステップ３０４の囲み中に表す。平滑化フィルタｇ（ｕ、ｖ）は、図２１に示すものでもよい。図２１においては、（５×５）（ｋ＝５）のガウスぼかしフィルタが示す。格子５０１中の各数字は、フィルタ位置におけるフィルタ係数を表す。例えば、ｇ（３，３）＝０．１６などがある。図２０に戻ると、ステップ３０４の計算値は、Ｅｔｅｍｐと同位置（ｘ、ｙ）に格納される。ループ３０３の終了後、ステップ３０５が実行される。ステップ３０５において、Ｅｔｅｍｐの平滑化された露出値をＥｓに複写する。ループ３０１をＮ回繰返した後、露出を再び行うために、ループ３０６を実行する。ループ３０６はＥｓの各画素位置に対して繰返し行われる。ループ３０６では、ステップ３０７が行われる。ステップ３０７において、出力画像メモリ７の画素値Ｌ（ｘ、ｙ）と露出値Ｅｓ（ｘ、ｙ）を乗算し、その積を、Ｌｍｏｎｉｔｏｒ（ｘ、ｙ）として、モニタ画像メモリ１５内の同じ画素位置に格納する。ループ３０６が完了すると、露出パターンの平滑化と高ダイナミックレンジ画像に対する平滑化パターンの再露出の処理が終了する。
【００５２】
図２２は、本発明における第３実施例に従って、シーンの高ダイナミックレンジ画像の捕捉を行うシステム１０００の機能図を示している。このシステムは、シーンのマスク化された画像を撮影フィルム上に露出する、撮影フィルムカメラ５０９を備える。前述のとおり、図４に示すような、空間において変化する透明度パターンを有するマスク１０１を、カメラのシャッタ５０４とフィルム５０５の面との間に設けることによって、マスク化された画像を獲得してもよい。あるいは、マスクをフィルムの各フレームに貼りつけてもよいし、あるいはフィルム・エマルジョンが空間的に変化する露出感度パターンを有してもよい。各ケースにおいて、フィルムの各領域に対する露出値は、予め定められており、露出パターンメモリ５に格納されている。マスク化された画像に露出した後、フィルムを処理して、透明度もしくはマスク化された画像を含むプリントを形成する。そして、スキャナ５０７は、マスク化された画像を表す画素値を供給し、マスク化された画像を含むフィルムあるいはプリントを走査する。図１のシステムにおける画像プロセッサと同様に、図３に示すものと同じデータフローを有する画像プロセッサ４に、画素値を供給する。
較正を行う画像プロセッサ４が使用できるように、フィルムまたはスキャナの合成された応答関数は、応答関数メモリ６に格納される。露出パターンメモリ５から直接に露出値を受ける代わりに、図２２のシステム１０００は、露出装置を備える。この露出装置は、スキャナ５０７の出力と露出パターンメモリ５に格納された露出値とを受け、位置合わせ修正の行われた露出における露出値を、正規化を行う画像プロセッサに供給する。画像プロセッサ４は、高ダイナミックレンジ出力画像を、出力画像メモリ７に供給する。通常のフィルムカメラでは、フィルムは、各フレームをシャッター５０４の後ろに位置させて、フレーム毎に移動させていく。このフィルムの動きによって、フィルム５０５の現在露出されているフレームとマスク１０１の間に配置誤差が生じる。このような配置誤差を修正するために、露出装置５０８を使用する。
【００５３】
図２３は、図２２の露出装置５０８のデータフロー１１００を示している。露出装置１１００は、３つの高速フーリエ交換プロセッサ５１２、５１３、５１４、回転検知器５１５、移動検知器５１６、ロータ５１７、およびシフタ５１８を具えている。露出装置５０８によって実行される処理を、図２４のフローチャートに示す。図２４において、ステップ５１９では、画像Ｉ（ｘ、ｙ）のフーリエ交換Ｉ（ｕ、ｖ）が、ＦＦＴ１  ５１２によって計算される。ステップ５２０では、露出パターンＥ（ｘ、ｙ）のフーリエ交換Ｅ（ｕ、ｖ）が、ＦＦＴ２  ５１３によって計算される。ステップ５２１では、Ｉ（ｕ、ｖ）の大きさにおける最高点の位置を検知する。ステップ５２２では、Ｅ（ｕ、ｖ）の大きさにおける最高点の位置を検知する。ステップ５２３では、ブロック５２３に示す誤差関数を利用して、最小二乗法による最適化によって、（２ｘ２）回転マトリックスＭを見積もる。ステップ５２１、５２２、５２３は全て、図２３の回転検知器５１５によって実行する。ステップ５２４では、回転マトリックスＭを利用しながら露出パターンＥ（ｘ、ｙ）を回転することによって、回転された露出パターンＥｒｏｔａｔｅｄ（ｘ、ｙ）を計算する。ステップ５２４は、図２３のロータ５１７が実行する。ステップ５２５では、囲み５２５に示される誤差関数を最小化する移動ベクトルを検索することによって、移動ベクトル（ｓ、ｔ）を見積もる。最後に、ステップ５２６では、移動ベクトル（ｓ、ｔ）を利用しながらＥｒｏｔａｔｅｄ（ｘ，ｙ）を移動して、修正された露出パターンＥｃｏｒｒｅｃｔｅｄ（ｘ，ｙ）を計算する。修正された露出パターンＥｃｏｒｒｅｃｔｅｄ（ｘ，ｙ）は、正規化を行うイメージセンサ４に使用させるために、修正露出パターンメモリ５１９に供給される。
【００５４】
本発明を、特に本発明の具体的な実施例を参照して説明してきたが、本発明の原理と範囲から逸脱することなく、多様な変形と変更が行われてもよいことは、当業者に明らかである。また、本発明の開示された実施例は、単に説明のためのものであって、また、本発明は、特許請求の請求項において述べられた範囲のものである。
【図１】
2010110004.tif 000003
【図２】
2010110004.tif 000004
【図３】
2010110004.tif 000005
【図１０Ａ】
2010110004.tif 000006
【図１０Ｂ】
2010110004.tif 000007
【図１１】
2010110004.tif 000008
【図１１Ａ】
2010110004.tif 000009
【図１２】
2010110004.tif 000010
【図１３】
2010110004.tif 000011
【図１４】
2010110004.tif 000012
【図１７】
2010110004.tif 000013
【図１８】
2010110004.tif 000014
【図２０】
2010110004.tif 000015
【図２１】
2010110004.tif 000016
【図２２】
2010110004.tif 000017
【図２３】
2010110004.tif 000018
【図２４】
2010110004.tif 000019
【図４Ａ】
2010110004.tif 000020
【図４Ｂ】
2010110004.tif 000021
【図５Ａ】
2010110004.tif 000022
【図５Ｂ】
2010110004.tif 000023
【図６】
2010110004.tif 000024
【図７】
2010110004.tif 000025
【図８】
2010110004.tif 000026
【図９】
2010110004.tif 000027
【図１５】
2010110004.tif 000028
【図１６】
2010110004.tif 000029
【図１９】
2010110004.tif 000030
【外国語明細書】
2010110004000001.pdf