(57)【要約】  場面の少なくとも第１の十分な解像度のデジタル画像を捕捉し、より低い解像度を有する、デジタル画像を生成するために、第１の十分な解像度のデジタル画像の画素を組み合わせ、第１の十分な解像度のデジタル画像内の暗領域を識別し、該十分な解像度のデジタル画像内の暗領域を、該より明るい、より低い解像度のデジタル画像からの対応領域で置換し、これにより、拡張されたダイナミック・レンジを有するデジタル画像を提供することを含んで成る拡張されたダイナミック・レンジを有するデジタル画像を生成する方法。
2009545233.tif 000002
【特許請求の範囲】
【請求項１】
拡張されたダイナミック・レンジを有するデジタル画像を生成する方法であって、該方法は、
ａ．  場面の少なくとも第１解像度デジタル画像を捕捉し；
ｂ．  より低い解像度を有する、より明るい第２デジタル画像を生成するために、該第１解像度デジタル画像の画素を組み合わせ；
ｃ．  該第１解像度デジタル画像内の暗領域を識別し；
ｄ．  該第１解像度デジタル画像内の暗領域を、該第２デジタル画像からの対応領域で置換し、これにより、拡張されたダイナミック・レンジを有する第３デジタル画像を提供する
ことを含んで成る。
【請求項２】
第１解像度デジタル画像が捕捉され、メモリー内に記憶され、そして該第２デジタル画像が、該記憶された第１解像度デジタル画像から生成される請求項１に記載の方法。
【請求項３】
少なくとも１つの第１解像度デジタル画像がイメージセンサによって捕捉され、そして該第２デジタル画像が、組み合わされた画素を有する該場面の第２の捕捉から提供される請求項１に記載の方法。
【請求項４】
該画素からの電荷をビニングすることにより、若しくは該画素によって生成された電圧を平均化することにより、若しくは最初に画素値をデジタル数に変換し、次いで該デジタル数を組み合わせることにより、又はこれらの組み合わせにより、画素が組み合わされる請求項３に記載の方法。
【請求項５】
該電圧が、最初に該画素によって生成された電圧までキャパシタを充電し、次いで該電圧を平均化するために該キャパシタを互いに接続することにより平均化され、該キャパシタが、単純平均化を実施するために等しいサイズを有しているか、又は加重平均化を実施するために異なるサイズを有している請求項４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張されたダイナミック・レンジのデジタル画像の生成に関する。
【背景技術】
【０００２】
電子撮像システムは、視覚画像の電子表示を形成するために、電子イメージセンサに依存する。このような電子イメージセンサの例は、電荷結合素子（ＣＣＤ）イメージセンサ、及びアクティブ画素センサ（ＡＰＳ）装置（ＡＰＳ装置は、相補型金属酸化膜半導体プロセスにおいてこれらを製作することができることから、ＣＭＯＳセンサとしばしば呼ばれる）。センサは、個々のピクチャ素子センサ、又は画素の２次元アレイから成る。採用される電子技術、例えばＣＣＤ又はＣＭＯＳとは無関係に、画素は、光電子がその画素に衝突する光の量に対して正比例して蓄積されているバケットとして作用する。光電子は、光と画素との相互作用により形成された電子であり、従って、画素によって検出される信号を表す。熱電子は当該装置の熱条件によって熱電子が形成され、これらの熱電子は、画素によって検知される光とは一般には関係しない。しかし、熱電子は画素内部に光電子と共存することになり、そして光電子とは区別することができない。熱電子は、画素のレスポンスにおける主要な雑音源である。
【０００３】
今日商業的に利用可能なほとんどのセンサの場合、画素の信号対雑音の最大比は、画素の最大ダイナミック・レンジを表す約１００：１である。人間の視覚系は、任意の所与の瞬間においても、約１００：１のダイナミック・レンジで動作するので、人間の視覚系と、センサの画像捕捉能力との間には良好な対応関係がある。しかし、現実の場面はしばしば、１００：１を著しく上回るダイナミック・レンジにわたる視覚情報から成っている。人間の視覚系は絶えずその明るさ感受性を適応させるので、最も視覚的に重要な情報はその１００：１ダイナミック・レンジ能力の範囲内にあり続ける。しかし、大抵の電子イメージセンサはこのようなリアルタイム調節能力を有してはいない。センサに当たる光の量を適切に調整するのは、カメラの露出調節システム次第である。露出調節システムが誤りを犯し、センサのダイナミック・レンジ内で捕捉するために誤った場面部分を選択する場合、結果として生じる画像は、余りにも暗いシャドー、又は余りにも明るいハイライトを有する。重要な場面部分が１００：１よりも大きいダイナミック・レンジにわたる視覚情報から成る場合、重要な場面部分のうちのいくつかが、露出調節システムによる調整とは無関係にクリッピングされることになる。
【０００４】
画素のダイナミック・レンジを１００：１から大きくすることができるならば、捕捉時により多くの場面情報を記録することができ、そして続く画像処理によって、所望のレンダリングを有する画像を適正に形成できるはずである。しかし、センサ製造における現在の産業上の傾向は、画素をより小さくし、そしてセンサをより低廉にすることである。画素サイズが小さければ小さいほど、蓄積することができる総光電子数は少なくなる。蓄積された熱電子の数は、画素のサイズが小さくなってもほぼ同じであり続けるので、その全体的な結果として、画素が小さくなればなるほど、ダイナミック・レンジも小さくなる。
【０００５】
Ikedaに２０００年３月２１日付けで発行された米国特許第６，０４０，８５８号明細書には、電子イメージセンサの限定されたダイナミック・レンジの問題が完全に説明されている。加えて、Ikedaは、種々異なる露出で複数の画像信号を捕捉することによって、電子イメージセンサのダイナミック・レンジを拡張する方法を記述している。これらの複数の信号は、拡張されたダイナミック・レンジを有する画像信号を形成するために、画像信号内の各位置でどの信号がより高い品質を有するかを割り出す閾値を使用することにより、組み合わされる。Ikedaは、これらの閾値を各色に対して割り出す方法を記述することにより、これらの方法を改善する。Ikedaの方法を用いることにより、多くの画像を組み合わせることにより、極めて高いダイナミック・レンジを達成することができる。したし、複数の画像は適切に整列されなければならない。なぜならば、１つの画像捕捉から次の画像捕捉へ位置を変える、運動する場面内被写体は、最終画像内にアーチファクトを導入するからである。
【０００６】
拡張されたダイナミック・レンジを有する画像を生成する別の方法は、低感度フォトサイトが散在している高感度フォトサイトを有する電子イメージセンサを採用することによる（２００５年９月１３日付けで発行された米国特許第６，９４３，８３１号明細書）。高感度フォトサイトと低感度フォトサイトとの間の感度の差は、２つのタイプのフォトサイトに異なるゲインを適用することによって達成される。コンベンショナルな電子イメージセンサ内の最大ゲインは典型的には、満足のいく、そして過度の雑音のない画像をなおも生成しつつ、適用され得る最高のゲインであるように選択される。この最大ゲインは、米国特許第６，９４３，８３１号明細書に記載された装置の場合、高感度フォトサイトに適用され、最大ゲインよりも低いゲインは、低感度フォトサイトに適用される。捕捉後、極めて暗い画像領域内の高感度フォトサイトによって生成された画素値を、同じ領域内の低感度フォトサイトによって生成された画素値の代わりに使用し、そして極めて明るい画像領域内の低感度フォトサイトによって生成された画素値を、同じ領域内の高感度フォトサイトによって生成された画素値の代わりに使用することにより、拡張されたダイナミック・レンジを有する画像を形成する。この方法は、拡張されたダイナミック・レンジ画像を生成するためには１つの画像捕捉しか必要としない。従って、場面内の被写体動作が、高画素値と低画素値とを組み合わせるときに問題を引き起こすことはない。しかし、高感度フォトサイトに適用されるゲインが、コンベンショナルな電子イメージセンサ内で適用されるものと同じゲインであるので、極度に暗い場面領域を拡張されたダイナミック・レンジ内で撮像しようとする場合には、低速シャッタースピードを採用する必要がある。低速シャッタースピードで捕捉された画像は、高速シャッタースピードで捕捉された画像よりも不鮮明である傾向がある。
【０００７】
Nayarに２００５年３月８日付けで発行された米国特許第６，８６４，９１６号明細書には、電子イメージセンサのダイナミック・レンジを拡張する別の方法が記載されている。Nayarの方法は、空間的に変化する透過率を有する光学マスクを利用し、これにより、電子イメージセンサ内の各フォトサイトの有効レスポンスを、各フォトサイト上に衝突する光量に従って強制的に変化させることを含む。Nayarの取り組みに従うと、電子イメージセンサのフォトサイトは、極めて暗い場面部分からの光を検知するときに最高感度になり、また、極めて明るい場面部分からの光を検知するときに最低感度になる。Nayarの取り組みは、人間の眼の明るさ順応特性を模倣している。しかしながら、Nayarの方法はまた、極度に暗い場面部分を拡張されたダイナミック・レンジ内で撮像しようとする場合には、低速のシャッタースピードを、そして現在の画像捕捉・システムのハードウェアを先ず改変することなしには使用することができない複雑で高価な光学マスクを使用することを必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従って、低速シャッタースピードを用いることなしに拡張されたダイナミック・レンジ内で極めて暗い場面領域を撮像する一方、画像量を低減した状態でコンベンショナルな電子イメージセンサを利用することにより拡張されたダイナミック・レンジ画像を生成する必要が存在する。
【課題を解決するための手段】
【０００９】
本発明の目的は、上記問題点の１つ又は２つ以上を克服しつつ、拡張されたダイナミック・レンジを有する、場面のデジタル画像を生成することができる。手短に要約すると、本発明の１つの形態によれば、本発明は、拡張されたダイナミック・レンジを有するデジタル画像を生成する方法であって：
ａ．  場面の少なくとも第１解像度デジタル画像を捕捉し；
ｂ．  より低い解像度を有する、より明るい第２デジタル画像を生成するために、該第１解像度デジタル画像の画素を組み合わせ；
ｃ．  該第１解像度デジタル画像内の暗領域を識別し；
ｄ．  該第１解像度デジタル画像内の暗領域を、該第２デジタル画像からの対応領域で置換し、これにより、拡張されたダイナミック・レンジを有するデジタル画像を提供することを含む、拡張されたダイナミック・レンジを有するデジタル画像を生成する方法を提供する。
【発明の効果】
【００１０】
本発明の利点は、暗い場面領域内のディテールを捕捉するために低速シャッタースピードを用いる必要なしに単一の画像捕捉から、画像処理ソフトウェアに基本的な変化を加えることにより、拡張されたダイナミック・レンジを生成できることである。別の利点は、結果として生じる拡張されたダイナミック・レンジ画像を、最終的なレンダリング及び使用のための一連の標準画像処理に継ぎ目なしに挿入できることができる。
【００１１】
本発明のこれら及びその他の形態、目的、特徴及び利点は、好ましい態様の下記詳細な説明、及び添付の特許請求の範囲を検討し、また添付の図面を参照することによって、より明らかに理解・評価されることになる。
【図面の簡単な説明】
【００１２】
【図１】図１は、コンベンショナルなセンサ、及び本発明の処理方法を採用することができるコンベンショナルなデジタルスチルカメラ・システムを示すブロック・ダイヤグラムである。
【図２Ａ】図２Ａは、場面の単一の第１解像度デジタル画像が捕捉され、拡張されたダイナミック・レンジを有するデジタル画像に変換される、本発明のダイナミック・レンジ拡張器の第１の態様の動作を示すフロー・ダイヤグラムである。
【図２Ｂ】図２Ｂは、場面の２つのデジタル画像が捕捉され、拡張されたダイナミック・レンジを有するデジタル画像を提供するためにこれらの画像が使用される、本発明のダイナミック・レンジ拡張器の第２の態様の動作を示すフロー・ダイヤグラムである。
【図３】図３は、バイエル（Bayer）・カラーフィルタ・アレイを用いて生成されたデジタル画像を示すダイヤグラムである。
【図４】図４は、バイエル・カラーフィルタ・アレイを有する電子イメージセンサを用いて生成されたデジタル画像を示すダイヤグラムである。
【発明を実施するための形態】
【００１３】
デジタル画像は１つ又は２つ以上のデジタル画像チャネルから成っている。各デジタル画像チャネルは、画素の２次元アレイから成っている。各画素値は、画素の幾何的ドメインに対応する電子イメージセンサによって受信された光量に関連する。カラー撮像用途の場合、デジタル画像は、典型的には赤、緑、及び青のデジタル画像チャネルから成ることになる。シアン、マゼンタ、及びイエロー画像チャネルを使用するような他の形態も実施される。モノクロ用途の場合、デジタル画像は１つのデジタル画像チャネルから成る。動画像形成用途の場合、デジタル画像の時系列として考えることができる。当業者には明らかなように、本発明は、例えば上述の用途のうちのいずれかのためのデジタル画像に適用することができる。
【００１４】
本発明では、行と列とによって配列された画素値の２次元アレイとしてデジタル画像チャネル関して説明するが、等しい効果を有するモザイク（非直線状）アレイに本発明を適用できることは当業者には明らかである。やはり当業者には明らかなように、本発明では、元の画素値を処理された画素値で置換することに関して説明するが、処理された画素値を有する新しいデジタル画像を形成し、そして元の画素値を維持することも考える。
【００１５】
電子イメージセンサを採用する撮像装置は当業者に良く知られている。従って、本明細書は、具体的には、本発明による方法の一部を形成する要素、又は本発明による方法とより直接的に協働する要素に向けられることになる。本明細書中に具体的には示されない、又は記述されていない要素は、当業者に知られている要素から選択される。なお、本明細書中に使用される「画像」という用語は、画素値の２次元アレイである。画像は別の画像の２次元サブセットであってよい。本発明を下記構成のように説明すると、本明細書中に具体的には示されていない、記述されていない、又は提案されていない、本発明の実施に有用なソフトウェアは、コンベンショナルなものであり、当業者の技術範囲に含まれる。
【００１６】
本発明の実施において採用される必須要素は、図１における機能ブロック・ダイヤグラムとして示されている。被写体又は場面からの光は、レンズ１上に入射し、レンズ１は、カラーフィルタ・アレイ（ＣＦＡ）を有する電子イメージセンサ３、例えば電荷結合素子（ＣＣＤ）上に写真画像を形成する。なお、他の装置、例えばＣＭＯＳ装置が、電子イメージセンサ３として使用されてよい。レンズ１と電子イメージセンサ３との間に配置された光学ローパス・フィルタ２が、エイリアシングの発生を低減するために画像形成された光を僅かにぼやけさせる。１９７６年７月２０日付けで発行された同一譲受人による米国特許第３，９７１，０６５号明細書においてバイエル（Bayer）によって記載されているように、電子イメージセンサ３の各フォトサイトは典型的には、赤、緑、又は青フィルタを備えている。バイエル・アレイは、緑フィルタがフォトサイト全体にわたって市松模様を成して配置され、これと共に市松模様の間隙を満たすように赤フィルタ及び青フィルタをライン毎に交互に設けて、赤又は青フィルタサイトの２倍の数の緑フィルタサイトを生成する、カラーフィルタ・アレイである。なお、本明細書中に記載された方法は、カラーフィルタの異なる配列、異なるカラーフィルタ数、又は異なるカラーフィルタ集合を有するカラーフィルタ・アレイに容易に、拡大適用することができる。
【００１７】
Ａ／Ｄ変換器４が、電子イメージセンサ３上のフォトサイトからの画像形成済の光に対応する電圧信号を受信し、そして電圧信号に対応する画像信号を生成する。電子イメージセンサ３は多くのタイプのフォトサイト（例えば赤、緑、又は青）を有するがしかし、各画素位置毎に単一の値しか生成しないので、捕捉された状態のデジタル画像は、色に対してスパースサンプリング・デジタル画像である。Ａ／Ｄ変換器４からのデジタル画像出力の画素値は、近隣画素位置に赤、緑、及び青画素値を有するスパースサンプリング・デジタル画像を構成する。次いで、スパースサンプリング・デジタル画像はメモリー１５内に記憶される。各フォトサイトの場所における赤、緑、及び青露光のそれぞれに関して、露光に対する画素値を生成することが望ましい。デジタル画像プロセッサ５は、メモリー１５からのスパースサンプリング・デジタル画像を受信し、画像信号を修正し、そして全ての画素位置に対して赤、緑、及び青値を有するデジタル画像を生成する。なお、デジタル画像プロセッサ５は、プログラミングされたパーソナル・コンピュータ又はマイクロプロセッサであってよい。本発明は、デジタルカメラ、携帯電話機、フィルム又は反射スキャナ、又はデジタル画像を生成する任意の他の装置内で実施することができる。
【００１８】
図１に示されたデジタル画像プロセッサ５は、２つの下位構成部分、すなわちダイナミック・レンジ拡張器６及びＣＦＡ補間器７を含有している。画像信号は、Ａ／Ｄ変換器４からのスパースサンプリング・デジタル画像出力が記憶されているメモリー１５から、ダイナミック・レンジ拡張器６によって受信される。ダイナミック・レンジ拡張器６は、拡張されたダイナミック・レンジを有する新しいデジタル画像を形成するために、スパースサンプリング・デジタル画像を処理する。本発明の場合、画素値が極めて低い第１デジタル画像内の画素値を、第１デジタル画像のより低い解像度バージョンである第２デジタル画像からの処理された画素値で置換することにより、拡張されたダイナミック・レンジ・デジタル画像が第１デジタル画像から形成される。ダイナミック・レンジ拡張器６からの出力は、第１解像度及びより低い第２の解像度の両方の領域を有するスパースサンプリング第３デジタル画像出力である。ダイナミック・レンジ拡張器６は次いで、拡張されたダイナミック・レンジ画像をＣＦＡ補間器７に伝送し、ＣＦＡ補間器７では、色値は、各画素の赤、緑、及び青の色値を提供するために補間される。ＣＦＡ補間器７の目的は、検知された写真画像の各画素位置に対して完全な記述を生成することである。一般に知られた任意のＣＦＡ補間器を使用することができ、１つのＣＦＡ補間器の説明が、Adams他に１９９７年７月２９日付けで発行された米国特許第５，６５２，６２１号明細書に開示されている。
【００１９】
ダイナミック・レンジ拡張器６の動作に関して、次に図２Ａを参照しながらより詳細に説明する。Ａ／Ｄ変換器４からのスパースサンプリング・デジタル画像出力は、拡張されたダイナミック・レンジを有する修正信号を形成することにより、画像信号のダイナミック・レンジを拡張するダイナミック・レンジ拡張器６によって受信される。図２Ａは、単一のスパースサンプリング・デジタル画像出力が電子イメージセンサ３によって捕捉される本発明の第１の好ましい態様におけるダイナミック・レンジ拡張器を示す。スパースサンプリング・デジタル画像出力は、Ａ／Ｄ変換器４からデジタル画像プロセッサ５に伝送される。この第１の好ましい態様の場合、ダイナミック・レンジ拡張器６は画像複写器８、画素コンバイナ９、及び画像コンバイナ１０を含む。画像複写器８は、Ａ／Ｄ変換器４から受信された状態の単一のスパースサンプリング・デジタル画像のコピーを作成し（画素値はここではｉ（ｘ，ｙ）と称され、（ｘ，ｙ）は電子イメージセンサ３を基準とした信号位置の指数を意味する）、そしてメモリー１５内にコピーを記憶する。画像複写器８によって生成されたスパースサンプリング・デジタル画像は、図２Ａに示されているように、ｉ（ｘ，ｙ）及びそのコピーｉ’（ｘ，ｙ）である。画像ｉ’（ｘ，ｙ）は画素コンバイナ９に伝達され、各画素は画素サブアレイに割り当てられる。画素サブアレイは、全て同じタイプであり互いに近接して配置された画素のアレイとして定義される。
【００２０】
図３に示される画素サブアレイは、高さ１行及び幅３列であり、そして赤画素１１，１２，１３から成っている。本発明では、高さ１行及び幅３列であり、しかも同じタイプの３つの画素を含有する画素サブアレイを使用する画素コンバイナ９に関して説明するが、他の寸法の画素サブアレイ、又は異なる量の画素を含有する画素サブアレイ、又は等しい効果を有する種々異なるタイプの画素を含有する画素サブアレイを使用して本発明を適用できることは、当業者には明らかである。画素サブアレイは、サブアレイの画素のうちの１つを中心とし、そして画像内の各画素は１つの画素サブアレイにだけ属する。
【００２１】
図４に示された画像は、図３に示されたサブアレイと同じサイズを有する６つの赤サブアレイを有し、従って、６つの赤中心画素１４を有している。６つの青サブアレイに対応する６つの青中心画素、及び１２個の緑サブアレイに対応する１２個の緑中心画素は、図４では符号を付けられていない。一旦画像ｉ’（ｘ，ｙ）内の全ての画素がサブアレイに割り当てられると、各サブアレイ内の全ての画素が合計され、そして各サブアレイ内の画素は、各サブアレイの結果としての合計値によって置換される。例えば、図３における画素１１，１２，１３の値はそれぞれ、画素１１，１２，１３の値の和によって置換されることになる。サブアレイ内の全ての画素の値が同じ単一の合計値によって置換されるので、上記のような画像ｉ’（ｘ，ｙ）の全てのサブアレイを処理した後に生じる画像は、ｉ（ｘ，ｙ）と同じ数及びタイプの画素を有する低解像度画像である。従って、画素コンバイナ９の出力は、低解像度のスパースサンプリング・デジタル画像ｃ（ｘ，ｙ）である。サブアレイ内の全ての画素の値が同じ単一の合計値によって置換されるので、画像ｃ（ｘ，ｙ）は、ｉ（ｘ，ｙ）よりも高い信号及び相対的に低い雑音を有している。同じ理由から、極めて低い値を有するｉ（ｘ，ｙ）内の画素は、ｃ（ｘ，ｙ）の対応画素内の値を著しく増大させ、そして高い値を有するｉ（ｘ，ｙ）内の画素は、ｃ（ｘ，ｙ）の対応画素に対する値のクリッピングをもたらす。
【００２２】
両画像ｉ（ｘ，ｙ）及びｃ（ｘ，ｙ）は、メモリー１５から画像コンバイナ１０に伝送される。画像コンバイナ１０は、拡張されたダイナミック・レンジ画像ｄ（ｘ，ｙ）：
【００２３】
d(x,y)=f(i(x,y),c(x,y))            (1)
【００２４】
を生成するために、ｉ（ｘ，ｙ）及びｃ（ｘ，ｙ）に組み合わせ関数ｆ（．，．）を適用する。組み合わせ関数ｆ（．，．）は、ｉ（ｘ，ｙ）における対応画素が高い値を有するときには、ｄ（ｘ，ｙ）内の画素の値がｉ（ｘ，ｙ）における対応画素の値にほぼ等しく、また、ｉ（ｘ，ｙ）における対応画素が低い値を有するときには、ｄ（ｘ，ｙ）内の画素の値がｃ（ｘ，ｙ）における対応画素の値にほぼ等しくなるように構成されている。組み合わせ関数ｆ（．，．）は、ｉ（ｘ，ｙ）における対応画素が高くも低くもない値を有するときには、ｉ（ｘ，ｙ）における対応画素の値とｃ（ｘ，ｙ）における対応画素の値との何らかの組み合わせに等しくなるように構成されている。低画素値は画像の暗領域に対応し、そして高画素値は画像の明領域に対応する。組み合わせ関数ｆ（．，．）の本質的な効果は、拡張されたダイナミック・レンジを有するデジタル画像を提供するために、ｉ（ｘ，ｙ）における暗領域をｃ（ｘ，ｙ）からの対応領域で置換することである。暗領域とは、画素の大部分が、最大コード値の５０％未満であるデジタル・コード値を有する場所である。本発明の思想の範囲内で使用することができる多くの組み合わせ関数ｆ（．，．）があることが当業者には明らかであるが、この第１の好ましい態様の一例は：
【００２５】
d(x,y)=(1-ewi(x,y))i(x,y)+(ewi(x,y))c(x,y)   (2)
【００２６】
であり、ここでｗは負の定数である。画像コンバイナ１０の出力である画像ｄ（ｘ，ｙ）は、スパースサンプリングされた拡張されたダイナミック・レンジ画像である。なぜならば、ｉ（ｘ，ｙ）において極めて低い、そして高雑音の画素値をもたらす暗い場面領域が、ｄ（ｘ，ｙ）においてより高い、そして比較的低雑音の画素値をもたらすからである。検知された写真画像の各画素位置毎の色の完全な記述を生成するために、画像ｄ（ｘ，ｙ）は、ＣＦＡ補間器７に伝送される。
【００２７】
本発明の第２の好ましい態様の場合、拡張されたダイナミック・レンジ画像が２つ又は３つ以上の画像から生成される。この第２の態様では、ダイナミック・レンジ拡張器６の動作に関して、図２Ａを参照しながら図２Ｂでより詳細に説明する。図２Ｂを参照すると、イメージセンサ３によって２つの連続するデジタル画像が捕捉され、そしてこれらのデジタル画像はスパースサンプリング・デジタル画像として、Ａ／Ｄ変換器４からメモリー１５に、次いで画像プロセッサ５に伝送される。ダイナミック・レンジ拡張器６は、２つのスパースサンプリング・デジタル画像に対応する画素値をｉ1（ｘ，ｙ）及びｉ2（ｘ，ｙ）として受信する。この事例において、第１のスパースサンプリング・デジタル画像ｉ1（ｘ，ｙ）に対応する画素値の集合は、画像コンバイナ１０に直接的に伝送されるのに対して、第２のスパースサンプリング・デジタル画像ｉ2（ｘ，ｙ）に対応する画素値の集合は、画像コンバイナ９に伝送される。第２のスパースサンプリング・デジタル画像ｉ2（ｘ，ｙ）に対応する画素値の集合から画素コンバイナ９によって、低解像度スパースサンプリング・デジタル画像ｃ（ｘ，ｙ）に対応する画素値の集合が生成される。次いで、画素値ｉ1（ｘ，ｙ）及びｃ（ｘ，ｙ）の２つの集合から画像コンバイナ１０によって、拡張されたダイナミック・レンジのデジタル画像が生成される。
【００２８】
本発明のこの第２の好ましい態様では、組み合わされた画素を有する場面の第２の捕捉からどのように第２デジタル画像が提供されるかを記述する。同じ色の画素からの電荷は、イメージセンサ技術において良く知られているように、組み合わせるか、又はビニングすることができる。２つの画素からの電荷の組み合わせ又はビニングは信号レベルを二倍化する一方、組み合わされた信号のサンプリング及び読み出しと関連する雑音は同じままであり、これにより雑音に対する信号の比を２倍だけ増大させ、このことは、組み合わされた画素の感光度が相応に２倍増大することを意味する。或いは、同じ色の画素における光レベルをデジタル表示又は平均化することもできる。さらに別のアプローチにおいて、先ず画素によって生成された電圧までキャパシタを充電し、次いで電圧を平均化するためにこれらのキャパシタを互いに接続することにより、同じ色の画素内の電荷測定量に対応する電圧を平均化することができ、この場合、これらのキャパシタは、単純平均化を実施するために等しいサイズを有しているか、又は加重平均化を実施するために異なるサイズを有している。２つの画素からの光レベルのデジタル表示を合計する場合、結果として生じる信号は２倍だけ増大するが、しかし、２つの画素を読み出すことから生じる対応雑音レベルは二乗的に組み合わされ、これにより雑音を２の平方根だけ増大させる。組み合わせ画素の結果として生じた、雑音に対する信号の比はこれにより、組み合わされていない信号を２の平方根だけ上回る。同様の分析が電圧又はデジタル平均化にも当てはまる。
【００２９】
本発明では、ダイナミック・レンジ拡張器６がＣＦＡ補間器７の前に動作する方法に関して説明するが、ＣＦＡ補間器７がダイナミック・レンジ拡張器６の前に動作する事例に本発明を適応し得ることは当業者には明らかである。
【００３０】
なお、単一画像捕捉及び二画像捕捉の事例に関して本発明を説明しているが、ビデオ画像捕捉の事例のように、連続画像を使用して、拡張されたダイナミック・レンジ画像を連続して生成するために本発明を用いることもできる。
【符号の説明】
【００３１】
１    レンズ
２    光学ローパス・フィルタ
３    電子イメージセンサ
４    Ａ／Ｄ変換器
５    デジタル画像プロセッサ
６    ダイナミック・レンジ拡張器
７    ＣＦＡ補間器
８    画像複写器
９    画素コンバイナ
１０    画像コンバイナ
１１    第１の赤サブアレイに属する赤画素
１２    第１の赤サブアレイに属する赤画素
１３    第１の赤サブアレイに属する赤画素
１４    中心赤画素
１５    メモリー
【図１】
2009545233.tif 000003
【図２Ａ】
2009545233.tif 000004
【図２Ｂ】
2009545233.tif 000005
【図３】
2009545233.tif 000006
【図４】
2009545233.tif 000007
【国際調査報告】
2009545233.tif 000008
2009545233.tif 000009