(57)【要約】【課題】  有効ダイナミックレンジを改善する。【解決手段】  本発明は、光センサのアレイ、および各マイクロレンズが１つより多い光センサと向かい合っており、選択された光センサが他の光センサより大きな露光を受けるように、各マイクロレンズに当たる光を向かい合った全数以下の光センサ上に集中させるマイクロレンズのアレイを含む画像センサを提供する。【選択図】図５
2004208301.tif 000002
【特許請求の範囲】
【請求項１】
光センサのアレイ、および各マイクロレンズが１つより多い光センサと向かい合っており、選択された光センサが他の光センサより大きな露光を受けるように、各マイクロレンズに当たる光を向かい合った光センサの全数未満に集中させるマイクロレンズのアレイを含む画像センサ。
【請求項２】
以下を含む画像キャプチャシステム：
光センサのアレイ、および各マイクロレンズが１つより多い光センサと向かい合っており、選択された光センサが他の光センサより大きな露光を受けるように、各マイクロレンズに当たる光を向かい合った光センサの全数未満に集中させるマイクロレンズのアレイを含む画像センサ；
シーンからの光を画像センサシステム上へフォーカスする撮影レンズユニット；
光センサが一定時間光を受けることを、制御可能な形で可能にする露光制御システム；および、
光センサから画像情報を抽出し、抽出された画像情報に基づいて画像を形成するプロセッサ。
【請求項３】
シーン画像のキャプチャに光センサのアレイを用いる方法であって、以下のステップを含む：
シーンからの光を、光センサのアレイにフォーカスするステップ；
１つより多い光センサのグループにフォーカスされた光を、各グループの選択された光センサがグループ内の他の光センサより大きな露光を受けるよう、各グループの全数より少ない光センサ上に集中させるステップ；
光センサから画像情報を抽出するステップ；および、
抽出された画像情報を用いて画像を形成するステップ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ソリッドステート画像化システム、特にラチチュード増大システムを備えたソリッドステート画像化システムに関する。
【背景技術】
【０００２】
現在、電荷結合素子（ＣＣＤ）、相補形金属酸化物半導体（ＣＭＯＳ）センサなど、ソリッドステートセンサアレイの様々な形態が、電子画像キャプチャシステムで用いられている。これらのソリッドステートセンサは、光センサのアレイを備えた画像化面を有している。シーンからの光は、光センサのアレイ上にフォーカスされる。各光センサは、積分時間として知られる露光時間内に、光センサに当たる光子数を表す信号を生成する。光センサからの信号は、画像プロセッサにより抽出され、光センサからの信号のコントラスト差が、シーンの画像形成に用いられる。
【０００３】
ソリッドステート撮像装置上の光センサは、積分時間中、光センサに当たる光が所定の照明強度範囲内にある場合、光センサに当たる光量を表す信号を生成することが出来る。この照明強度範囲は、ソリッドステート撮像装置のダイナミックレンジとして知られている。ソリッドステート撮像装置のダイナミックレンジは、下方応答閾値および上方応答閾値により範囲を区切られている。下方応答閾値は、格納情報をセンサから抽出するように設計されたセンサ材料および電子回路の雑音特性に対する固有信号が、露光光の雑音比に対する固有ポアソン信号に近づく露光レベルにより設定される。上方応答閾値は、感光基板、通常、ドープされたシリコンの固有電荷蓄積容量により設定される。この問題を紹介している記述は、非特許文献１で見ることが出来る。
【０００４】
人間の目もまた、照明強度の範囲内にある光を検出可能な光受容器を有している。しかし、ソリッドステート撮像装置のダイナミックレンジは、人間の目のダイナミックレンジよりも小さい。従って、必要とされるものは、より広いダイナミックレンジを有するソリッドステート撮像装置および画像化システムである。
【０００５】
ソリッドステートセンサが人間の目の光受容器のダイナミックレンジを有しない理由の１つは、ほとんどのソリッドステート撮像装置の画像化面の大部分が、個々の光センサ範囲の相互接続用範囲、超過電荷の排出用範囲、および個々の光センサを電気的に隔離する絶縁パターンに特化されているからである。従って、画像化面にフォーカスされた光の大部分は、画像化面の無感光部分に当たることになる。これにより、こうした光からのエネルギーが浪費され、こうしたソリッドステートセンサが、比較的低レベルの照明を受けたシーンの画像をキャプチャする能力を低下させやすいことになる。
【０００６】
ソリッドステートセンサの感度を改良する方法は、１９９３年１２月２２日にイシハラ（Ｉｓｈｉｈａｒａ）により出願された、「樹脂レンズおよび樹脂接触層を備えたソリッドステート画像装置（Ｓｏｌｉｄ−ｓｔａｔｅ  ｉｍａｇｅ  ｄｅｖｉｃｅ  ｗｉｔｈ  ｒｅｓｉｎ  ｌｅｎｓ  ａｎｄ  ｒｅｓｉｎ  ｃｏｎｔａｃｔ  ｌａｙｅｒ）」と題された特許文献１で説明されている。特許文献１では、個々のマイクロレンズは、撮像装置上の個々の光センサに関連している。別個のカメラ撮影レンズは、焦点面にシーンからの光を集中させる。ソリッドステートセンサおよびマイクロレンズは、焦点面に位置決めされている。各マイクロレンズは、撮像装置の一部分に当たる光をマイクロレンズが関連する光センサの近傍に集め、関連する光センサに光を集中させる。これにより、センサアレイが低レベル照明下にあるシーンの画像をキャプチャすることが出来るよう、アレイの有効感度を増加させ、センサの下方応答閾値をシフトさせる。特許文献１の感度増強マイクロレンズは、ＣＣＤおよびＣＭＯＳセンサの感度を高めるのに用いられる。
【０００７】
しかし、上方応答閾値も同等にシフトし、センサアレイの高い照明状態下での区別可能な画像のキャプチャ能力を低下させることになる。従って、特許文献１の感度増強マイクロレンズは、センサのダイナミックレンジをシフトさせはするが、広げることはない。
【０００８】
ソリッドステートセンサのダイナミックレンジを改良する他の方法は、異なるレベルのシーン照明を補うよう、積分時間を調整することである。低照明シーンでは、積分時間が延ばされ、これによって、各光センサ内により多くの荷電が蓄積され、光センサのダイナミックレンジを事実上低レベルへシフトさせることが出来る。より高い照明シーンでは、積分時間は短縮される。これにより、各光センサに蓄積される電荷量が制限され、過剰露光を防止することが出来る。この方法は、光センサの利用可能なダイナミックレンジの効用を最大にする。しかし、この方法は、人間の視覚のダイナミックレンジ内にあり、画像センサのダイナミックレンジ外にある照明状態の範囲のシーンの電子画像をキャプチャする解決法を提供することはない。
【０００９】
ソリッドステート撮像装置の感度を改良する、さらなる他の方法は、荷電蓄積を連結位置の容量に維持する一方で、連結位置に関連する有効な光子キャプチャを増加させるよう、電子的に「連結した」最も近い感光位置を要求することである。この方法は、上方応答カットオフを維持しながら、下方応答閾値を低下させるので、センサにおけるダイナミックレンジの制限された増加を偶然的に提供する。しかし、センサ解像度は大幅に低下する。
【００１０】
さらに、ソリッドステートセンサアレイの制限されたダイナミックレンジを改良する他の試みもなされている。１つの方法は、写真シーンからの光に対する非線形応答を有する画像センサを用いることである。例えば、ベルギー、メッヘレンのフィルファクトリー  エヌヴイ（Ｆｉｌｌ  Ｆａｃｔｏｒｙ  ＮＶ）は、シーンからの光に対する対数応答を備えた、「ＦＵＧＡ  １０００」として知られるソリッドステートセンサを開発している。センサの非線形応答により、拡張ダイナミックレンジにわたる画像情報を取得可能である。こうしたセンサは、多くの有用なアプリケーションを有している。しかし、ある情況下では、非対数の線形応答を有するソリッドステートセンサが好ましい。
【００１１】
関連技術では、１９９４年１月２８日に出願された、フォッサム（Ｆｏｓｓｕｍ）他による、「イントラ画素電荷転送を伴う能動的画素センサ（Ａｃｔｉｖｅ  Ｐｉｘｅｌ  Ｓｅｎｓｏｒ  ｗｉｔｈ  Ｉｎｔｒａ  Ｐｉｘｅｌ  Ｃｈａｒｇｅ  Ｔｒａｎｓｆｅｒ）」と題された特許文献２、および、１９９７年１月２４日に出願された、フォッサム（Ｆｏｓｓｕｍ）他による、「チップ上のＣＭＯＳ能動的画素センサタイプ画像化システム（ＣＭＯＳ  Ａｃｔｉｖｅ  Ｐｉｘｅｌ  Ｓｅｎｓｏｒ  Ｔｙｐｅ  Ｉｍａｇｅ  Ｓｙｓｔｅｍ  ｏｎ  Ａ  Ｃｈｉｐ）」と題された特許文献３は、「チップ上のカメラ（ｃａｍｅｒａ−ｏｎ−ａ−ｃｈｉｐ）」を形成する、単一の相補的金属酸化物半導体（ＣＭＯＳ）基板上の光感受性構造および計算構造の統合について説明している。これらの統合装置は、潜在的に、シーン露光あたりの複数の画像キャプチャおよびディジタル化サイクルを可能にする。これらのサイクル間にキャプチャされた画像は、単一画像を、センサの実際のダイナミックレンジより大きな、見かけのダイナミックレンジで作成するよう、デジタルスペースで潜在的に結合可能である。しかし、上述した目的のための特許文献２、および特許文献３において説明されたＣＭＯＳセンサは、その乏しい固有ダイナミックレンジおよびその固有の高信号対ノイズ比で言及されている。加えて、複数の連続画像をキャプチャする処理は、例えば、シーン内容が急激に変化する問題を生じさせることもあり、そのため、この方法は、静止シーンには適当であるが、高速シャッターを必要とする動きのあるシーンには不適当である。
【００１２】
特許文献４、特許文献５、特許文献６、特許文献７、特許文献８、特許文献９、特許文献１０、および特許文献１１において、メイヤーズ（Ｍｅｙｅｒｓ）は、既知のソリッドステートセンサと組み合わせた主要カメラレンズに代わり、非常にコンパクトなカメラを実現させる、複数の小型レンズのアレイの使用を説明している。ここでは、複数のセンサ活性位置が各小型レンズと関連しており、小型レンズの短くされた焦点長により、主要カメラレンズおよび関連する光学トレインが省略され、非常に小型化されたカメラの構造が可能となっている。しかし、特許文献４から特許文献１１におけるマイクロレンズの使用は、複数のレンズの各々が従来の主要カメラレンズとして使われるので、カメラシステムのダイナミックレンジを改良するものではない。
【００１３】
２０００年７月２０日に、バーガー（Ｂｅｒｇｅｒ）他によって出願された、「レンズレットアレイシステムおよび方法（Ｌｅｎｓｌｅｔ  Ａｒｒａｙ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ）」と題された特許文献１２では、従来のフィルムカメラシステムを、ディジタル画像キャプチャシステムとしての使用に適合させる際に役立つ構造について説明している。特許文献１２のカメラシステムでは、フィルムカメラをより小さなエリアソリッドステートセンサとの使用に適合させるのに適当な、スタックトアレイマグニファイヤー（ＳＡＭ）を形成する、複数の屈折および回折レンズを用いている。ＳＡＭが使用されているのは、通常、フィルムカメラは、実質的にほとんどのソリッドステート撮像装置の画像化面面積より大きな画像化面を有する、写真用フィルムのセグメントに光を集中させるよう適合されているからである。従って、ＳＡＭは、フィルムカメラが電子画像化装置のサイズに合致したソリッドステート撮像装置で画像を形成するよう、フィルムカメラの光学システムにより形成された画像のサイズを調整する。しかし、特許文献１２で説明されるＳＡＭの使用により、撮像装置のダイナミックレンジが高められることはない。
【特許文献１】米国特許第４，６６７，０９２号明細書
【特許文献２】米国特許第５，４７１，５１５号明細書
【特許文献３】米国特許第５，８４１，１２６号明細書
【特許文献４】米国特許第５，６７６，３７１号明細書
【特許文献５】米国特許第５，７５１，４９２号明細書
【特許文献６】米国特許第５，７３１，８９９号明細書
【特許文献７】米国特許第６，１３７，５３５号明細書
【特許文献８】米国特許第６，１４１，０４８号明細書
【特許文献９】米国特許第５，７９６，５２２号明細書
【特許文献１０】米国特許第５，８２２，１２５号明細書
【特許文献１１】米国特許第５，８１２，３２２号明細書
【特許文献１２】米国特許第６，３８１，０７２号明細書
【非特許文献１】アール  ピー  スジャジェウスキ（Ｒ．Ｐ．Ｓｚａｊｅｗｓｋｉ）著「消費画像化装置としての銀のハロゲン化物およびシリコン（Ｓｉｌｖｅｒ  Ｈａｌｉｄｅ  ａｎｄ  Ｓｉｌｉｃｏｎ  ａｓ  Ｃｏｎｓｕｍｅｒ  Ｉｍａｇｅｒｓ）」、ジェイ  イメージ  エスシーアイ  アンド  テク（Ｊ．Ｉｍａｇｅ  Ｓｃｉ  ＆  Ｔｅｃｈ）、第４５巻、３２６ページ（２００１）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
従って、こうしたセンサを用いたソリッドステートセンサおよび画像キャプチャシステムの制限されたダイナミックレンジの問題は、未だ克服されておらず、必要とされるものは、改良された有効なダイナミックレンジを有するソリッドステート画像化システムである。
【課題を解決するための手段】
【００１５】
本発明の１つの態様では、光センサのアレイ、および各マイクロレンズが１つより多い光センサと向かい合っているマイクロレンズのアレイを有し、選択された光センサが他の光センサより大きな露光を受けるように、各マイクロレンズに当たる光を向かい合った全数未満の光センサ上に集中させる画像センサが提供される。
【００１６】
本発明の他の態様では、画像キャプチャシステムが提供される。画像キャプチャシステムは、光センサのアレイ、および各マイクロレンズが１つより多い光センサと向かい合っているマイクロレンズのアレイを含み、選択された光センサが他の光センサより大きな露光を受けるように、各マイクロレンズに当たる光を向かい合った全数未満の光センサ上に集中させる画像センサを有している。撮影レンズユニットは、シーンからの光を画像センサおよび露光制御システム上へフォーカスさせ、露光制御システムは光センサが制御可能な形で一定時間光を受けることを可能にする。プロセッサは、光センサから画像情報を抽出し、抽出された画像情報に基づいて画像を生成する。
【００１７】
本発明の他の態様では、シーン画像のキャプチャに光センサのアレイを用いる方法が提供される。この方法によると、シーンからの光は、光センサのアレイにフォーカスされ、１つより多い光センサグループにフォーカスされた光は、各グループの選択された光センサがグループ内の他の光センサより大きな露光を受けるよう、各グループの全数より少ない光センサ上に集中される。光センサからの画像情報および画像は、抽出された画像情報を用いて生成される。
【発明を実施するための最良の形態】
【００１８】
図１は、ディジタル画像キャプチャ用の画像化システム２０の実施例のブロック図を示している。図１に示されるように、画像化システム２０は、画像センサ２４上に画像を形成するよう、光を方向付ける、撮影レンズユニット２２を含んでいる。
【００１９】
撮影レンズユニット２２は、手動焦点または固定焦点を備えた単一焦点長を有するように簡単でよい。図１に示された例示の実施例では、撮影レンズユニット２２は、レンズドライバ３０により、静止要素または要素２８の組合せに対して、その内部で可動要素または要素２６の組合せが駆動される電動式２ｘズームレンズユニットである。レンズドライバ３０は、レンズ焦点長およびレンズ焦点位置の双方を制御する。ファインダシステム３２は、ユーザ４が画像を構成するのを助けるよう、ユーザ４に対して画像センサ２４によりキャプチャされた画像を提示する。ファインダシステム３２の動作は、以下にさらに詳細に説明する。
【００２０】
撮影レンズユニット２２の焦点設定の決定には、様々な方法が使用可能である。好ましい実施例では、画像センサ２４は、いわゆる「スルーフォーカス（ｔｈｒｏｕｇｈ  ｆｏｃｕｓ）」または「ホールウェイスキャニング（ｗｈｏｌｅ  ｗａｙ  ｓｃａｎｎｉｎｇ）」法を用いた、マルチスポットオートフォーカスの提供に使用される。シーンは、範囲の格子またはスポットの格子に分割され、各画像範囲に対する最適な焦点距離が決定される。各範囲に対する最適な焦点距離は、画像をキャプチャしながら、近焦点距離から無限位置まで、撮影レンズシステム２２を焦点距離位置の範囲を通って移動させることにより決定される。カメラの設計によっては、異なる焦点距離で４〜３２個の画像のキャプチャを必要とする場合もあろう。通常は、８つの異なる距離で画像をキャプチャすると、適切な精度が得られる。
【００２１】
キャプチャされた画像データは、各画像範囲に対する最適な焦点距離を決定するためにその後分析される。この分析は、参照により本願明細書に組み込まれる、１９９５年１２月１１日にクシー（Ｘｉｅ）他により出願され、「電子同期ディジタルカメラのためのフィルタ使用算術演算（Ｆｉｌｔｅｒ  Ｅｍｐｌｏｙｉｎｇ  Ａｒｉｔｈｍｅｔｉｃ  Ｏｐｅｒａｔｉｏｎｓ  ｆｏｒ  ａｎ  Ｅｌｅｃｔｒｏｎｉｃ  Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｄｉｇｉｔａｌ  Ｃａｍｅｒａ）」と題された、共通に譲渡された米国特許第５，８７４，９９４号明細書で説明されているような、１つ以上のフィルタを用いてセンサ信号にフィルタをかけるバンドパスにより開始される。その後、その焦点距離におけるその画像範囲に対する焦点値を決定するために、各画像範囲用バンドパスフィルタ出力の絶対値のピークが検出される。各画像範囲に対する最適な焦点距離は、各画像範囲に対する焦点値が各キャプチャ焦点距離位置に対して決定された後、最大焦点値を提供するキャプチャ焦点距離を選択することにより、または、様々な補間技術を用いて、２つの最大焦点値を提供する２つの測定キャプチャ焦点距離間で中間距離値を見積もることにより、決定可能である。
【００２２】
最終的な高解像度静止画像キャプチャに用いるレンズ焦点距離は、この段階で決定可能となる。好ましい実施例では、目標物（例えば被写体としての人物）に対応した画像範囲が決定される。その後、これらの画像範囲に最良の焦点を提供するよう、焦点位置が設定される。例えば、シーン画像は、複数の下位区画に分割可能である。画像の各下位区画内に含まれる高周波成分を表す焦点評価値は決定可能であり、さらに焦点評価値は、参照により本願明細書に組み込まれる、１９９６年１０月１５日にオマタ（Ｏｍａｔａ）他により出願され、「画像内自動目標物検出方法（Ｍｅｔｈｏｄ  Ｏｆ  Ａｕｔｏｍａｔｉｃ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｉｎ  Ａｎ  Ｉｍａｇｅ）」と題された、共通に譲渡された米国特許第５，８７７，８０９号明細書で説明されているように、目標物距離を判定するために使用可能である。目標物が動いている場合は、参照により本願明細書に組み込まれる、１９９６年１０月２６日にオマタ（Ｏｍａｔａ）他により出願され、「画像内組成変化の検出（Ｄｅｔｅｃｔｉｎｇ  Ｃｏｍｐｏｓｉｔｉｏｎａｌ  Ｃｈａｎｇｅ  ｉｎ  Ｉｍａｇｅ）」と題された、共通に譲渡された米国特許第６，０６７，１１４号明細書で説明されているような、目標物追尾を実行してもよい。代替的実施例では、「ホールウェイスキャニング（ｗｈｏｌｅ  ｗａｙ  ｓｃａｎｎｉｎｇ）」により決定された焦点値は、ラフな焦点位置設定のために用いられ、ラフな焦点位置は、参照により本願明細書に組み込まれる、１９９８年１０月１１日にオマタ（Ｏｍａｔａ）他により出願され、「自動焦点合わせ装置および方法（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓｉｎｇ  Ａｐｐａｒａｔｕｓ  ａｎｄ  Ｍｅｔｈｏｄ）」と題された、共通に譲渡されている米国特許第５，７１５，４８３号明細書で説明されているような、ファイン焦点モードを用いて精緻なものとなる。
【００２３】
一実施例では、画像化システム２０内のオートフォーカスを提供するよう用いられるバンドパスフィルタリングおよび他の計算は、ディジタル信号プロセッサ４０により実行される。この実施例では、画像化システム２０は、レンズ焦点位置を自動的に設定するために、参照により本願明細書に組み込まれる、１９９４年１２月３０日にパルルスキー（Ｐａｒｕｌｓｋｉ）他により出願され、「インターライン画像センサでの高速オートフォーカスを備えた電子カメラ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃａｍｅｒａ  Ｗｉｔｈ  Ｒａｐｉｄ  Ａｕｔｏｆｏｃｕｓ  Ｕｐｏｎ  Ａｎ  Ｉｎｔｅｒｌｉｎｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）」と題された、共通に譲渡された米国特許第５，６６８，５９７号明細書に示されるように、特別に適合された画像センサ２４を用いる。'５９７特許で説明されるように、焦点決定には、センサフォトエレメントの数本のラインのみ（例えば、ラインの４分の１のみ）が使用される。他のラインは、センサ読取処理の間、排除される。これはセンサ読取時間を短縮し、それにより、撮影レンズユニット２２の焦点合わせに要する時間を短縮する。
【００２４】
代替的実施例では、画像化システム２０は、画像の目的物を特定し、さらに目的物への距離に対する適切な撮影レンズユニット２２の焦点位置を選択する、別々の光学的または他のタイプ（例えば、超音波）のレンジファインダー４８を用いている。撮影レンズユニット２２の１つ以上の可動要素２６を動かすよう、レンジファインダー４８が直接に、または、図１に示したようにレンジファインダー４８からの情報を用いてマイクロプロセッサ５０が、レンズドライバ３０を操作する。レンジファインダー４８は、受動的、または能動的、またはこの２つの組合せであってもよい。当業者に知られている、適当な多くの様々なマルチセンサレンジファインダー４８が、使用に適している。例えば、こうしたレンジファインダー４８は、参照により本願明細書に組み込まれる、１９９３年１１月３０日にタバタ（Ｔａｂａｔａ）他により出願され、「露光調整依存自動焦点長を備えたコンパクトカメラ  （Ｃｏｍｐａｃｔ  Ｃａｍｅｒａ  Ｗｉｔｈ  Ａｕｔｏｍａｔｉｃ  Ｆｏｃａｌ  Ｌｅｎｇｔｈ  Ｄｅｐｅｎｄｅｎｔ  Ｅｘｐｏｓｕｒｅ  Ａｄｊｕｓｔｍｅｎｔｓ）」と題された、米国特許第５，４４０，３６９号明細書において開示されている。
【００２５】
フィードバックループは、マイクロプロセッサ５０が正確に撮影レンズユニット２２の焦点位置を設定出来るよう、レンズドライバ３０およびマイクロプロセッサ５０間で確立される。レンジファインダー４８により提供される焦点決定は、シングルスポットタイプまたはマルチスポットタイプが可能である。好ましくは、焦点決定にはマルチスポットが用いられる。マルチスポット焦点決定では、シーンは、範囲格子またはスポット格子に分割され、各スポットに対する最適な焦点距離が決定される。
【００２６】
図２は、画像センサ２４の正面図を示している。図２に示されるように、画像センサ２４は、２次元アレイ内に配置された、離散した多くの光センサ２５を有している。画像センサ２４は、多くの形を取ることが可能である。例えば、画像センサ２４は、従来型電荷結合素子（ＣＣＤ）センサ、相補形金属酸化物半導体（ＣＭＯＳ）画像センサ、電荷注入デバイス（ＣＣＤ）であってもよい。１つの例の実施例では、画像センサ２４は、１２８０×９６０の感光要素、または光センサ２５のアレイを有している。画像センサ２４の光センサ２５は、シーンからの光の光子を電子チャージパケットに変換する。各光センサ２５は、絶縁範囲などの不活性範囲２７で囲まれており、当業者に知られている回路および有用な構造に相互接続されている。画像センサ２４上の各光センサ２５は、本願明細書に於いて初期画像として言及されている、画像センサ２４によりキャプチャされた画像の１つの画素に対応している。
【００２７】
画像センサ２４がカラー画像のキャプチャに用いられる、一実施例では、各光センサ２５も、参照により本願明細書に組み込まれる、１９７５年３月７日にバイエル（Ｂａｙｅｒ）により出願された、「カラー画像化アレイ（Ｃｏｌｏｒ  Ｉｍａｇｉｎｇ  Ａｒｒａｙ）」と題された、共通に譲渡されている米国特許第３，９７１，０６５号明細書に説明されている。バイエル（Ｂａｙｅｒ）カラーフィルタアレイなどのカラーフィルタアレイによりオーバーレイドされている。Ｂａｙｅｒカラーフィルタアレイは、格子状モザイク内に５０％の緑色画素を有し、残りの画素が赤色列および青色列の間を交替するものである。各光センサ２５は、光センサ２５上の照明入射強度に対応するアナログ信号を提供するために、適切に着色された入射光照明に反応する。他の様々なカラーフィルタアレイが使用可能である。画像センサ２４が、グレースケールまたはいわゆる白黒画像のキャプチャに用いられる場合は、カラーフィルタは省略可能である。他の実施例では、カラー画像は、「三重ウェル構造を用いた能動画素セル撮像装置アレイ内のカラー分離（Ｃｏｌｏｒ  Ｓｅｐａｒａｔｉｏｎ  ｉｎ  ａｎ  Ａｃｔｉｖｅ  Ｐｉｘｅｌ  Ｃｅｌｌ  Ｉｍａｇｅｒ  Ａｒｒａｙ  Ｕｓｉｎｇ  ａ  Ｔｒｉｐｌｅ  Ｗｅｌｌ  Ｓｔｒｕｃｔｕｒｅ）」と題された米国特許第５，９６５，８７５号明細書においてアール  ビー  メリル（Ｒ．  Ｂ．  Ｍｅｒｒｉｌｌ）が説明しているように、波長特定カラー露光深度問い合わせによりキャプチャ可能である。
【００２８】
各光センサ２５のアナログ出力は、アナログアンプ（図示せず）により増幅され、さらに画像センサ２４の出力アンプノイズを減少させるよう、アナログ信号プロセッサ３４によりアナログ処理される。アナログ信号プロセッサ３４の出力は、アナログ‐ディジタル（Ａ／Ｄ）変換器３６、例えば、一連のバイエル（Ｂａｙｅｒ）カラーフィルタアレイの１０ビット信号を提供する、１０ビットのＡ／Ｄ変換器などにより、キャプチャディジタル画像信号へ変換される。
【００２９】
ディジタル化された画像信号は、フレームメモリ３８に一時格納され、その後、参照により本願明細書に組み込まれる、「画像圧縮およびディジタル格納を利用する電子スチルカメラ（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｔｉｌｌ  Ｃａｍｅｒａ  Ｕｔｉｌｉｚｉｎｇ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ  ａｎｄ  Ｄｉｇｉｔａｌ  Ｓｔｏｒａｇｅ）」と題された、共通に譲渡された米国特許第５，０１６，１０７号明細書において説明されているような、プログラマブルディジタル信号プロセッサ４０を用いて処理される。
【００３０】
画像処理は、例えば、参照により本願明細書に組み込まれ、共通に譲渡された、１９９３年６月３０日にラ  ロッシェ（Ｌａ  Ｒｏｃｈｅ）他により出願された、「クロミナンス勾配を利用するフルカラー画像の適応性補間用装置および方法（Ａｐｐａｒａｔｕｓ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ａｄａｐｔｉｖｅｌｙ  Ｉｎｔｅｒｐｏｌａｔｉｎｇ  ａ  Ｆｕｌｌ  Ｃｏｌｏｒ  Ｉｍａｇｅ  Ｕｔｉｌｉｚｉｎｇ  Ｃｈｒｏｍｉｎａｎｃｅ  Ｇｒａｄｉｅｎｔｓ）」と題された、米国特許第５，３７３，３２２号明細書、および、１９８６年２月３日にコク（Ｃｏｋ）により出願された、「サンプルされたカラー画像信号内の補間クロミナンス値を生成する信号処理方法および装置（Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｐｒｏｄｕｃｉｎｇ  Ｉｎｔｅｒｐｏｌａｔｅｄ  Ｃｈｒｏｍｉｎａｎｃｅ  Ｖａｌｕｅｓ  ｉｎ  ａ  Ｓａｍｐｌｅｄ  Ｃｏｌｏｒ  Ｉｍａｇｅ  Ｓｉｇｎａｌ）」と題された、米国特許第４，６４２，６７８号明細書に説明されている方法を用いて、カラーフィルタアレイピクセル値からフル解像度カラー初期画像を再構成する補間アルゴリズムを含んでいる。シーン光源に修正を施すホワイトバランスは、それらがニュートラル（すなわち、白またはグレー）な目的物に対して緑色に等しくなるよう赤色信号および青色信号に、修正ファクターを乗算することにより実行される。カラー修正では、カメラのスペクトル感度の修正に３×３マトリクスを用いるのが好ましい。しかし、他のカラー修正スキームを用いることも可能である。トーン修正は、国際電気通信連合（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）規格ＩＴＵ−Ｒ  ＢＴ．７０９で定義される光電子転送特性を提供する、１組のルックアップテーブルを用いる。空間フィルタにより達成される画像シャープニングは、レンズぶれを補い、主観的によりシャープな画像を提供する。輝度信号およびクロミナンス信号は、ＩＴＵ−Ｒ  ＢＴ．７０９で定義された方程式を用いて処理した赤色、緑色、および青色信号から形成される。
【００３１】
ディジタル信号プロセッサ４０は、シーンのアーカイバル画像作成に初期画像を用いる。通常、アーカイバル画像は、格納、再生、および共有に適した高解像度画像である。アーカイバル画像は、ＪＰＥＧ規格を用いて任意に圧縮され、データメモリ４４に格納される。ＪＰＥＧ圧縮規格は、８×８ブロックの輝度およびクロミナンス信号を、空間周波数ドメインに変換するのに、周知の離散コサイン変換を用いる。これらの離散コサイン変換係数は、その後、ＪＰＥＧ圧縮画像データを生成するために、量子化され、およびエントロピコード化される。このＪＰＥＧ圧縮画像データは、日本電子アイティー産業連合（Ｊａｐａｎ  Ｅｌｅｃｔｒｏｎｉｃｓ  ａｎｄ  ＩＴ  Ｉｎｄｕｓｔｒｉｅｓ  Ａｓｓｏｃｉａｔｉｏｎ）ＪＥＩＴＡ  ＣＰ−３４５１によって公表された、「交換可能画像ファイルフォーマット（Ｅｘｉｆ）」バージョン２．１で定義される、いわゆる「Ｅｘｉｆ」画像フォーマットを用いて格納される。Ｅｘｉｆフォーマットアーカイバル画像はまた、メモリカード５２に格納可能である。図１の実施例では、画像化システム２０は、着脱可能なメモリカード５２を保持し、さらにメモリカード５２と通信するメモリカードインタフェース５６を有する、メモリカードスロット５４を有しているのが示されている。Ｅｘｉｆフォーマットアーカイバル画像、およびいかなる他のディジタルデータも、ホストコンピュータインタフェース４６経由で画像化システム２０に接続された、ホストコンピュータ（図示せず）に送信可能である。ホストコンピュータインタフェース４６は、例えば、画像および他のデータを光学信号、無線周波数信号、または他の形式の信号によって、ホストコンピュータまたはネットワーク（図示せず）へ移送可能な形式に変換する、光学、または無線周波数、または他の変換器であってもよい。
【００３２】
ディジタル信号プロセッサ４０はまた、初期画像に基づき、より小さなサイズのディジタル画像を作成する。これらのより小さなサイズの画像を、本願明細書では評価画像と呼ぶ。評価画像は、通常、ファインダディスプレイ３３または外部ディスプレイ４２上の表示用に適合させられた低解像度画像である。ファインダディスプレイ３３および外部ディスプレイ４２は、例えば、カラー液晶ディスプレイ（ＬＣＤ）、有機エレクトロルミネッセントディスプレイ（ＯＥＬＤ）としても知られている有機発光ディスプレイ（ＯＬＥＤ）、または他のタイプのビデオディスプレイを含んでいてもよい。
【００３３】
画像キャプチャ系列では、ディジタル信号プロセッサ４０は、評価画像、アーカイバル画像またはその双方を生成するために、初期画像を用いることが出来る。「画像キャプチャ系列（ｉｍａｇｅ  ｃａｐｔｕｒｅ  ｓｅｑｕｅｎｃｅ）」という用語は、本願明細書にて用いられているように、少なくとも画像構成フェーズ、画像キャプチャフェーズを含み、さらに任意に検証フェーズを含んでいてもよい。
【００３４】
構成フェーズの間、カメラマイクロプロセッサ５０は、画像がキャプチャされたことを示す信号をタイミングジェネレータ６６に送る。一般に、タイミングジェネレータ６６は、図１に示されるように、画像信号のディジタル変換、圧縮、および格納を制御するために、カメラ２０の要素に接続される。画像センサ２４は、タイミングジェネレータ６６からセンサドライバ６８経由で駆動される。マイクロプロセッサ５０、タイミングジェネレータ６６、およびセンサドライバ６８は、共働して、画像センサ２４に、固定または可変の積分時間の間、シーンからの光の形で電荷を集めさせる。積分時間が完了した後、画像信号は、アナログ信号プロセッサ３４に提供され、一般に、上述されたような評価画像に変換される。
【００３５】
初期画像のストリームはこの方法でキャプチャされ、ディジタル信号プロセッサ４０は、初期画像に基づき評価画像のストリームを生成する。評価画像のストリームは、ファインダディスプレイ３３または外部ディスプレイ４２上に提示される。ユーザ４は、評価画像のストリームを見て、評価画像を画像構成に使用する。評価画像は、例えば、参照により本願明細書に組み込まれる、１９９０年３月１５日にククタ（Ｋｕｃｈｔａ）他により出願された、「フル解像度画像および低減解像度画像のマルチフォーマット格納を提供する電子スチルカメラ（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｔｗｉｌｌ  Ｃａｍｅｒａ  Ｐｒｏｖｉｄｉｎｇ  Ｍｕｌｔｉ−Ｆｏｒｍａｔ  Ｓｔｏｒａｇｅ  Ｏｆ  Ｆｕｌｌ  Ａｎｄ  Ｒｅｄｕｃｅｄ  Ｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｅｓ）」と題された、共通に譲渡されている米国特許第５，１６４，８３１号明細書で説明されているような再サンプリング技術を用い、説明されるように作成可能である。評価画像はまた、データメモリ４４に格納可能である。
【００３６】
画像化システム２０は、通常、ユーザ４が図３に示されるシャッターリリース６０を押下すると、キャプチャフェーズに入る。しかし、例えば、タイマ信号またはリモートトリガシステムに応答するなど、他の方法でキャプチャフェーズに入ることも可能である。キャプチャフェーズの間、マイクロプロセッサ５０は、ディジタル信号プロセッサ４０に、初期画像を選択させ、アーカイバル画像を形成するために初期画像を処理させる、キャプチャ信号を送る。検証フェーズの間、対応する評価画像も形成され、その対応する評価画像は、ファインダディスプレイ３３、および／または外部ディスプレイ４２に供給され、一定時間提示される。これにより、ユーザ４は、キャプチャされたアーカイバル画像の外観が受け入れ可能であることを確認することが出来る。
【００３７】
１つの代替的実施例では、画像センサ２４によりキャプチャされる初期画像は、その後、評価画像としての使用のために変更される、アーカイバル画像形式でキャプチャされる。他の代替的実施例では、画像化システム２０は、画像をキャプチャする１つより多いシステムを有している。例えば、図１には、任意の追加画像キャプチャシステム６９が示されている。この追加画像キャプチャシステム６９はアーカイバル画像のキャプチャに使用可能である。追加画像キャプチャシステム６９は、高解像度ディジタル撮像化装置、またはフィルムまたはプレートなどの写真要素を用いて画像を記録する、画像キャプチャシステムを含んでいてもよい。追加画像キャプチャシステム６９が用いられている場合、画像センサ２４によりキャプチャされた画像は、評価画像として使用可能である。
【００３８】
画像化システム２０は、ユーザコントロール５８で制御されるが、そのうちのいくつかは図３においてより詳細に示されている。ユーザコントロール５８は、ユーザ４からの入力を受け、この入力を画像化システム２０の動作においてマイクロプロセッサ５０によって使用可能な形式に変換する能力のある、いかなる形式の変換器または他の装置も含むことが可能である。例えば、ユーザコントロール５０は、タッチスクリーン入力、１ウエイスイッチ、６ウエイスイッチ、６ウエイスイッチ、スタイラスシステム、トラックボールシステム、ジョイスティックシステム、音声認識システム、ジェスチャー認識システム、および他のこうしたシステムを含むことが出来る。図３に示される実施例では、ユーザコントロール５８は、概して上述されたように画像キャプチャを開始する、シャッターリリース６０を含むユーザコントロール５８を含んでいる。２：１光学ズーム機能および２：１ディジタルズーム機能の双方を一緒に制御する、「ワイド」ズームレンズボタン６２および「テレ」ズームレンズボタン６４が設けられている。光学ズームは、撮影レンズユニット２２により提供され、画像センサ２４によりキャプチャされる焦点面画像の視野を変更するように、倍率を調整する。ディジタルズームは、ディジタル信号プロセッサ４０により提供され、フレームメモリ３８内に格納されたキャプチャ画像を切り取り、再サンプルする。ユーザ４が最初に画像化システム２０を作動させると、キャプチャ画像の提供に全センサ光起電セルが使用され、撮影レンズユニット２２が広角位置に設定されるよう、ズームレンズは１：１の位置に設定される。好ましい実施例では、この広角位置は、３５ｍｍフィルムカメラでの４０ｍｍレンズと等価である。これは最大広角位置に対応している。
【００３９】
次に、ユーザ４が「テレ」ズームレンズボタン６４を押下すると、撮影レンズユニット２２をより望遠焦点長に向かって動かすよう、撮影レンズユニット２２は、カメラマイクロプロセッサ５０により、レンズドライバ３０を通して調整される。ユーザ４が、「テレ」ズームレンズボタン６４を押下し続けると、撮影レンズユニット２２は、フル光学２：１ズーム位置へ動くことになる。好ましい実施例では、このフル望遠位置は、３５ｍｍフィルムカメラでの４０ｍｍレンズと等価である。ユーザ４が、「テレ」ズームレンズボタン６４を押下し続けると、撮影レンズユニット２２は、フル光学２：１ズーム位置のままで、さらに、ディジタル信号プロセッサ４０は、画像の中央の範囲を切り取る（任意に再サンプルする）ことにより、ディジタルズームの提供を開始することになる。これにより、カメラの見かけの倍率は増加するが、アーカイバル画像生成時に、センサの外部光起電セルが若干廃棄されるので、シャープさの低減が引き起こされる。しかし、通常、このシャープさの低減は、比較的小さなファインダディスプレイ３３および外部ディスプレイ４２では視認されないだろう。
【００４０】
例えば、図１の画像化システム２０では、キャプチャ画像は、例えばおよそ１．２５メガピクセルに対応する、１２８０×９６０個の光センサを有する高解像度画像センサ２４から引き出される。解像度という用語は、本願明細書では、画像表現に用いる画素数を示すために用いられている。しかし、外部ディスプレイ４２は、例えば、およそ０．０８メガピクセルに対応する、３２０×２４０個の要素を提供する、低解像度を有している。従って、ディスプレイ要素より１６倍多いセンサ要素が存在する。それゆえ、初期画像を、ファインダディスプレイ３３または外部ディスプレイ４２に適合可能な、適切な小画像サイズを有する評価画像へ再サンプリングする必要がある。この再サンプリングは、後にサブサンプリングを伴うローパスフィルタリングを用いることにより、または適切なアンチエイリアシング条件を伴うバイリニア補間技術を用いることにより、実行可能である。代替的に、高解像度画像を比較的低解像度のディスプレイ上への表示に適合させる、当該技術で知られている他の技術も使用可能である。
【００４１】
キャプチャ画像より少ない画素（すなわち、低解像度）を有する評価画像を生成する、キャプチャ画像の再サンプリングは、ディジタル信号プロセッサ４０により実行される。すでに言及したように、信号プロセッサ４０はまた、ディジタルズームを提供可能である。最大の２：１設定では、信号プロセッサ４０は、中央の６４０×４８０センサエリアを用い、この中央エリアを１２８０×９６０個のサンプルにまで補間することにより、アーカイバル画像を提供する。
【００４２】
ディジタル信号プロセッサ４０はまた、ファインダディスプレイ３３または外部ディスプレイ４２で見る場合、評価画像が対応するアーカイバル画像の外観に適合するよう、他の方法で評価画像を修正可能である。これらの修正には、評価画像がファインダディスプレイ３２または外部ディスプレイ４２に提示される場合、評価画像の表示された色が対応するアーカイバル画像内の色に適合して現れるよう、評価画像をカラー較正することが含まれている。これらの、および他の修正は、対応するアーカイバル画像に存在する色、フォーマット、シーン内容、および照明状態の正確な表現をユーザ４に提供するのを補助する。
【００４３】
上述したように、評価画像は対応するアーカイバル画像より低い解像度を有する電子ディスプレイを用いて表示されるので、評価画像をファインダディスプレイ３３または外部ディスプレイ４２を通して見ると、そのアーカイバル画像を印刷したり、またはより高い解像度で表示したりした場合の外観よりシャープに見えることがある。従って、本発明の１つの任意の実施例では、各評価画像は、対応するアーカイバル画像でピンぼけに見える範囲は、外部ディスプレイ４２などの電子ディスプレイで見られた場合にもピンぼけであるように見えるよう、修正されることが出来る。さらに、ディジタルズームが作動している場合、全体の画像はソフトになるが、通常、外部ディスプレイ４２ではこのソフトにされた様子は視認されないだろう。図１の画像化システム２０の例では、アーカイバル画像は最大ディジタルズーム設定で６４０×４８０画素のセンサエリアを用いて提供されるが、外部ディスプレイ４２は、３２０×２４０画素を有するディスプレイであってもよい。従って、通常のリサイズ後には、外部ディスプレイ４２上に表示される評価画像は、適切にシャープに見えることになる。しかし、アーカイバル画像は許容し得るシャープなプリントはなされないだろう。従って、再サンプリング技術は、３２０×２４０画素を有してはいるが、最大ディジタルズーム設定が用いられている場合は、見かけのシャープさを低減させた評価画像の生成に使用可能である。
【００４４】
アーカイバル画像から生成されるプリントまたは他の有形出力の見かけのシャープさも、レンダリングされた画像のサイズの関数であることが理解されるだろう。２００１年１２月２１日にベルツ（Ｂｅｌｚ）他によって出願され、「キャプチャされたアーカイバル画像内のピンぼけを示す確認画像のぶれ部分に対する方法および画像化システム（Ｍｅｔｈｏｄ  ａｎｄ  Ｉｍａｇｉｎｇ  ｓｙｓｔｅｍ  ｆｏｒ  Ｂｌｕｒｒｉｎｇ  Ｐｏｒｔｉｏｎｓ  ｏｆ  ａ  Ｖｅｒｉｆｉｃａｔｉｏｎ  Ｉｍａｇｅ  Ｔｏ  Ｓｈｏｗ  Ｏｕｔ  ｏｆ  Ｆｏｃｕｓ  Ａｒｅａｓ  ｉｎ  ａ  Ｃａｐｔｕｒｅｄ  Ａｒｃｈｉｖａｌ  Ｉｍａｇｅ）」と題された、共通に譲渡された、米国特許出願第１０／０２８，６４４号で説明されているように、画像化システム２０は、出力予想サイズを示す信号を受信する入力（図示せず）を任意に有することが出来、さらに、評価画像の見かけのシャープさを適宜調整し、および／または警告を発することが出来る。
【００４５】
ここで、図４および図５を参照して、画像化システム２０の機能を高めるダイナミックレンジについて説明する。図４および図５に示されるように、画像センサ２４を備えた画像化システム２０はまた、ダイナミックレンジ増強マイクロレンズ７２のアレイ７０を含んでいる。
【００４６】
図４は、本発明に従う画像センサ２４の一実施例の正面図を概略的に示している。図４に示されるように、画像センサ２４は、光センサ２５、および、絶縁範囲、排出範囲および相互接続範囲などの無反応非活性範囲２７を有している。マイクロレンズ７２の投影は、光センサ２５に対応して示されている。
【００４７】
図５に示されるように、各マイクロレンズ７２に当たる、シーンからの光は、画像センサ２４の関連する集中画像エリア７４にフォーカスされる。少なくとも１つの光センサ２５ｂが、各ダイナミックレンジ増強マイクロレンズ７２に関連する各集中画像エリア７４内に位置決めされる。各集中画像エリア７４内の光センサ２５ｂは、増強された露光を受け、それにより集中画像エリア７４内の光センサ２５ｂの有効感度を高める。これにより、シーンの影など暗いシーン要素が画像化可能となる。集中画像エリア７４の外部にある光センサ２５ａは、残余画像エリア７６に配置される。光センサ２５ａは低減された露光を受ける。これは、残余画像エリア７６内の光センサ２５ａに向かって進んで来た光の一部分が、マイクロレンズ７２により、集中画像エリア７４上にフォーカスされるからである。これにより、事実上、残余画像エリア７６内の光センサ２５ａを通る光量がフィルタにかけられ、光センサ２５ａの有効感度を低下させることになる。このようにして、残余画像エリア７６の露光を妨害し、感光エリア２５ａでの露光を抑える一方で、マイクロレンズ７２は、集中画像エリア７４へ光を集中させ、感光エリア２５ｂでの露光を増強させる。
【００４８】
このシステムの動作は、図６Ａ、図６Ｂ、および図６Ｃを参照して説明可能である。図６Ａに示されるように、写真シーンからの光は、シーン輝度の広範囲にわたって広がっている。コンシューマフォトの場合、これらは通常人間が目視可能な輝度である。この範囲は、シーン輝度範囲８０として図６Ａに示されている。しかし、画像センサ２４上の各光センサ２５は、光センサ２５がシーン照明の違いをキャプチャしてシーンのコントラスト画像を記録し得る、実ラチチュード８２を有している。ソリッドステート画像キャプチャ技術固有の制限、およびシーンからの照明に対する光センサ２５の特定の応答により、各光センサ２５の実ラチチュード８２は、上述のように、下方応答閾値８４および上方応答閾値８６により定義される。光センサ２５が下方応答閾値８４より低い光量に露光される場合、光センサ２５は、シーン照明の違いに対して区分可能な形で反応することはない。これは、一部には、画像キャプチャ系列の間に、光センサ２５に格納された荷電量が、画像化装置から送信される信号に関係するようになり得る、誤った電気干渉または他の雑音と区別がつかない程度にまで、低くなり得るからである。この影響は、露光の信号対ノイズ比が、画像センサ２４固有の暗部信号対ノイズ比に適合する場合、実際に起こる。
【００４９】
同様に、要素３０が上方応答閾値８６より高い光量に露光される場合も、光センサ２５はシーン照明の違いに対して区別可能な形で反応することはない。より詳細に上述したように、これは、光センサ２５により上方応答閾値８６を越えて受け取られる光量が、画像センサ２４の感光要素２５の電荷蓄積容量を一杯にするのに十分であるため、追加的な光エネルギーに対し、光センサ２５はもはや有意な追加的応答をなさないからである。このため、こうした光量下に露光されたすべての光センサ２５は、シーン内容の有意な相違を記録しなくなる。
【００５０】
しかし、図６Ａに示されるように、カメラ２０および画像センサ２４は、画像センサ２４の光センサ２５の下方応答閾値８４より低い下方応答閾値９０を有する、所望のラチチュード８８でシーン情報を記録するのが好ましい。この範囲の照明における写真は、シーンからの光を集中させることにより可能となる。この点で、アレイ７０内のマイクロレンズ７２の機能を高める、各ダイナミックレンジは、シーンからの光を少なくとも２つの部分に分解する。シーンからの光が集中する部分は、ダイナミックレンジ増強マイクロレンズ７２のアレイ７０が存在しない場合に集中画像エリア７４内の光センサ２５ｂに当たったであろう光量より大きな光量が、ユニットエリアあたり、選択された積分時間内に、集中画像エリア７４内の各光センサ２５ｂに当たるよう、集中される。
【００５１】
図６Ｂに示されるように、この、集中画像エリア７４内の光センサ２５ｂへの入射光量の増加は、全第１範囲９４が、集中画像エリア７４内の光センサ２５ｂに１つの画像を記録可能にする実光センサラチチュード８２内に存在するよう、シーン露光レベルの第１範囲９４をシフトさせる効果を有している。
【００５２】
図６Ｃに示されるように、マイクロレンズ７２の入射光のうち若干量、例えば、マイクロレンズ７２によりうまくフォーカスされなかった光、または全く別の複数のマイクロレンズ７２の間を通った光などは、集中されない。代わりに、光のこの残余部分は画像センサ２４へと進み、光センサ２５ａまたは残余画像エリア７６上に入射して、残余画像の形成を可能にする。残余画像は、さらに、画像センサ２４での、設計上の、または偶然の光散乱および光反射によっても形成され得る。積分時間内に残余画像エリア７６に当たる光の残余部分は、同一積分時間中、マイクロレンズ７２のアレイ７０がシーンと画像センサ２４との間に挿入されていない場合に、残余画像エリア７６上に入射する。従って、マイクロレンズ７２が、残余画像エリア７６上に入射するシーンからの光を事実上フィルタにかけるので、残余画像エリア７６内の光センサ２５ａが画像生成するのに十分な照明を受けるには、積分時間中に、より多くの光量を利用可能にする必要がある。従って、シーンからの光が第２の露光範囲９６内にあるならば、通常、画像センサ２４から画像を得るのに費やされる積分時間は、画像センサ２４の残余画像エリア７６上に画像を形成するのに十分である。
【００５３】
図６Ｃに示されるように、アレイ７０のマイクロレンズ７２が、第２の露光範囲内の光に露光される場合、画像生成に適当な、すなわち光センサ２５の実ラチチュード８２内での第２の露光は、残余画像エリア７６内の光センサ２５ａ上で形成される。このように、画像センサ２４は、画像センサ２４の光センサ２５の上方応答閾値８６を超え、しかし、所望されるシステムの上方応答閾値９２の下の露光レベルで、区分可能な画像を記録するのに使用され得る。
【００５４】
オーバラップ範囲は、第１の露光範囲９４と第２の露光範囲９６との間と定義することが出来る。システムラチチュード８８を大幅に増加させることが望まれる場合は、このオーバラップ範囲を縮めることが出来る。１つの実施例では、連続システムラチチュード８８にわたる、集中画像エリア７４または残余画像エリア７６のいずれか一方にある光センサ２５から、画像情報をキャプチャする能力は、第１の露光範囲９４および第２の露光範囲９６がオーバラップする、かなりの露光範囲を定義することにより、確実なものとなる。代替的に、第１の露光範囲９４と第２の露光範囲９６との間にかなりの分離が存在する画像化システム２０を供給するのも好ましい。こうしたかなりの分離を有する画像化システム２０は、事実上、太陽光と室内灯といった、著しく異なる画像化条件下で異なる画像をキャプチャするために動作されるものであろう。
【００５５】
本発明の画像センサ２４は、それぞれが１つより多い光センサと向き合った光センサ２４のアレイ、およびマイクロレンズ７２のアレイ７０を含んでいる。各マイクロレンズ７２が、向かい合ったすべての光センサ２５より少ない、マイクロレンズ７２に当たる光の部分にフォーカスするので、光センサ２５ｂは、積分時間内に他の光センサ２５ａより大きな露光を受けることになる。ラチチュード９４を可能にするために、受信マイクロレンズによりフォーカスされた光を受ける光センサ２５ｂの部分、および、ラチチュード９６を可能にするために、事実上フィルタリング光を、受ける他の部分が、上の図６Ａ、図６Ｂ、および図６Ｃに関連して詳細に議論したように、露光スペース内でシフトする画像部分に影響を与えることは理解されるだろう。他の光センサ２５ａに対する、露光増強光センサ２５ｂの比は、露光スペース内の総合的シフトの大きさに関連している。さらに、この割合は、各露光範囲内の解像度および総合的画像構造性能に影響を及ぼすだろう。
【００５６】
一実施例では、光センサ数対マイクロレンズ数の比は、少なくとも１．５対１である。他の実施例では、この比は少なくとも２対１となり得る。さらなる実施例では、この比は、少なくとも５対１、さらには少なくとも９対１にもなり得る。さらに、一実施例では、光センサ数対マイクロレンズ数の比は、１０００対１以下になり得る。他の実施例では、この比は１００対１以下である。さらに他の実施例では、この比は、２０対１以下となり得る。さらには、センサアレイ２４のレイアウトに対する、マイクロレンズアレイ７０の構成およびマイクロレンズ７２の規模は、若干の個々の光センササイト２５の露光が、マイクロレンズ７２によって影響を受けないようになり得る。この実施例では、露光スペースをシフトすることがない光センサ２５の割合が提供され、その結果、ラチチュード８２が保持される。有用な実施例では、露光に際してフォーカスされた光を受けるよう位置決めされた光センサ２５ｂの部分、および、露光に際して残余光を受けるよう位置決めされた他の光センサ２５ｂの部分は、全光センサの少なくとも２５％を構成している。好ましい実施例では、露光に際して、フォーカスされた光を受けるよう位置決めされた光センサの部分、および露光２５ｂ光センサの部分は、全光センサの少なくとも５０％を構成する。一方、他の実施例では、露光時にフォーカスされた光を受けるよう位置決めされた光センサ２５ｂの部分、および、露光時に妨害光を受けるよう位置決めされた他の光センサ２５ｂの部分は、全光センサの少なくとも７５％を構成している。
【００５７】
露光レベルが第２の露光範囲９６内にあり、第１の露光範囲９４と第２の露光範囲９６が少なくとも部分的にオーバラップしている場合、光センサ２５ｂもまた有用な画像化情報を含む場合があることは理解されるものであろう。これらの情況の下では、画像情報は光センサ２５ｂから取得可能である。しかし、露光が第１の露光範囲９４の上方にある場合は、集中画像エリア７４内の光センサ２５ｂは、その後完全に露光され、いかなる区分可能な画像情報も含まないだろう。
【００５８】
さらに、これまでの議論が、人間にとって可視のシーンのキャプチャを意図した画像キャプチャに向けられた特定の実施例に関するものに限定されてきたにもかかわらず、本発明が、人間にとって不可視の拡張シーン輝度範囲およびスペクトル範囲でのキャプチャにも容易に適用可能であり、さらに、ソリッドステート画像センサが、当該技術で知られている、必要画像化特性を有するいかなるソリッドステート画像でも可能であることも、理解されるものであろう。可能ラチチュードの有効な増加は、少なくとも０．１５  ｌｏｇ  Ｅとなり得る。ある実施例では、ラチチュードの有効な増加は、少なくとも０．３  ｌｏｇ  Ｅと０．６  ｌｏｇ  Ｅとの間となり得る。他の実施例では、ラチチュードの有効な増加は、少なくとも０．９  ｌｏｇ  Ｅである。
【００５９】
図７Ａは、画像センサの他の実施例の正面図を概略的に示している。ここでは、感度増強マイクロレンズ１０２のアレイ１００は、光不感度エリア２７に当たり得る光量を低減させるために提供される。アレイ１００には、各マイクロレンズ１０２が、１つの光センサ２５に関連して位置決めされている。このオプション機能は、当該技術では知られており、上述の'０９２号特許においてより詳細に説明されている。この実施例に見られるように、センサ２４は、マイクロレンズ７２のアレイ７０および感度増強マイクロレンズ１０２のアレイ１００の双方を含んでいる。図７Ｂは、図７Ａの実施例の側面図を概略的に示している。図７Ａおよび図７Ｂに示されるように、個々のマイクロレンズ１０２は、個々の光センサ２５に光１０６を集中させることにより、各感光エリア２５の応答を増強させる。しかし、より大きなマイクロレンズ７２は、集中画像エリア７４内の特定の感度増強マイクロレンズ１０２の１つと、関連する光センサ２５ｂに、光１０８を集中させるよう作動し、その一方で、残余画像エリア７６内の他の１つのマイクロレンズ１０２と、それに関連する光センサ２５ａに、残余光が当たるようにし、それによって、画像センサ２４の輝度範囲記録能力を増加させる。従って、この実施例では、ダイナミックレンジはマイクロレンズ７２を用いて増強されるが、光センサ２５の感度はマイクロレンズ１０２により増強される。
【００６０】
上述の実施例では、マイクロレンズアレイ７０は、円形ダイナミックレンジ増強マイクロレンズ７２の、立方最密レンズ形アレイを含むものとして示されている。この配置は、上述の方法により、光の集中をもたらすものである。この実施例では、マイクロレンズ４２は、均一な断面積を有することが可能である。図８Ａは、サポート７８により、この均一立方体最密アレイパターンで配置した、マイクロレンズ７２のダイナミックレンジ増強マイクロレンズアレイ７０を概念的に示している。他のアレイパターンが使用可能なことは理解されるであろう。例えば、図８Ｂは、オフセット正方形最密アレイパターンを有する実施例を示している。図８Ｃに示される他の実施例では、ダイナミックレンジ増強マイクロレンズ７２は、六角最密アレイパターンを有するアレイ７０内に配置されている。アレイ７０はまた、ダイナミックレンジ増強マイクロレンズ７２をランダムな分布を特徴とすることが出来る。ランダム分布を有するアレイの一実施例が、図８Ｄに示されている。図８Ｅに示されるように、さらなる他の実施例では、アレイ７０は筒状または非筒状のダイナミックレンジ増強マイクロレンズ７２のアレイを含むことが出来る。
【００６１】
図９Ａ、図９Ｂ、および図９Ｃに示されるように、マイクロレンズアレイ７０は、異なる光学特性を有する、ダイナミックレンジ増強マイクロレンズ７２を含むことが出来る。図９Ａの実施例には、筒状ダイナミックレンジ増強マイクロレンズ７２のマイクロレンズアレイ７０が示されている。図９Ａに示されるように、マイクロレンズアレイ７０は、やはりマイクロレンズアレイ７０によって提供される第２の組のマイクロレンズ７２ｂより大きな断面積を有する、第１の組のマイクロレンズ７２ａを有している。この実施例では、第１の組のマイクロレンズ７２ａは、露光の間、マイクロレンズ７２ｂより大きな光の部分を集中させる。従って、図９Ｄに示されるように、露光の間、光量が第１の露光範囲８４内にある場合、第１の組のマイクロレンズ７２ａは、第１の組の集中画像エリア７４ａ内の画像センサ２４上にライン画像を形成する。シーンからの光が第２の露光範囲８６内にある場合は、第２の組のマイクロレンズアレイ７２ｂは、第２の組の集中画像エリア７４ｂ内の画像センサ２４上にライン画像を形成する。いずれの組のマイクロレンズ７２ａ、７２ｂによっても集中されない光は、図９Ｄの画像センサ２４の残余画像エリア７６に残余画像（図示せず）を形成することが出来る。同様に、図９Ｂおよび図９Ｃは、それぞれ、シーンからの光が第１の範囲内にある場合、露光を形成するために光を集中させ、この光を集中画像エリア７４ａに向けるマイクロレンズアレイ４０ａを伴った、大きさの異なる組のマイクロレンズ７２ａ、７２ｂを有する、マイクロレンズアレイ４０の使用を示している。マイクロレンズ７２ｂは、シーンからの光が第２の範囲内にある場合、露光を形成するためにシーンからの光を集中させ、この光を集中画像エリア７４ｂに向ける。ここでも、光の残余部分は、残余画像エリア７６内に記録される。このようにして、図９Ａから図９Ｃのこれらの実施例では、画像センサ２４の有効ラチチュードをさらに広げることが出来る。
【００６２】
図９Ｃに示されるように、マイクロレンズ７２の表面被覆率を最大にする必要はない。マイクロレンズ７２のいかなる有用な表面被覆率も使用可能であるが、光センサ２５によって占められる画像センサ２４の面積に対する、マイクロレンズ７２の投影面積の比は、少なくとも２０パーセントになり得る。一つの実施例では、この被覆率は、少なくとも５０パーセントから最大８５パーセントまでの間となり得る。他の実施例では、最密限界までの８５パーセント表面被覆率が使用可能である。有用な画質維持をする一方で、露光ラチチュードのレベルの変化を可能にするよう、表面被覆率は正確な度合いで調整可能である。表面被覆率が最密限界未満である、いかなる実施例でも、サポート７８は残余光が画像センサ２４へと通過可能にするために定義されることが出来る。
【００６３】
アレイ７０は、例えば当業者に知られている、押出、射出成形、および他の従来の製作技術によリ、一緒に形成され、または結合される個々のマイクロレンズ７２の組を含むことが出来る。アレイ７０は、機械的手段または化学的手段により、またはサポート７８上に搭載することにより、一緒に固定された、複数の個別マイクロレンズ７２を結合することによっても、形成可能である。アレイ７０は、画像センサ２４上に近接され、またはコーティングされ、または、他の方法で画像センサ２４に接合される、１組のレンズ形ビーズ、または球（図示せず）を含むことが出来る。マイクロレンズ７２は、マイクロ構造技術で知られている、いかなる物質によっても形成可能である。マイクロレンズ７２は、例えば、製造段階で直接画像センサ２４に型押したり、または画像センサ２４に適用される異なる層に一体となっているなどの形で、画像センサ２４と単一となっていたりしてもよい。さらに他の実施例では、マイクロレンズ７２のアレイ７０は、感光性コーティングを用いて形成可能である。
【００６４】
画像化システム２０の規模および撮影レンズシステム２２の詳細な特性は、露光瞳孔を画像距離、すなわち、カメラ焦点距離に規定する。画像は、マイクロレンズ４２のアレイ７０で形成されるのが好ましい。マイクロレンズ７２の特性は、その焦点距離を規定する。マイクロレンズ画像は、画像センサ２４の光電性範囲で形成される。マイクロレンズのｆナンバーが画像化システム２０の有効アパーチャーを制御するのに対して、撮影レンズシステム２２のｆナンバーは、画像化システム２０の焦点深度および被写界深度を制御する。絞り込んだｆナンバーを有する撮影レンズシステム２２を用いることにより、広い焦点深度および被写界深度を備えた優れたシャープさが得られる。マイクロレンズアレイ７２に開かれたｆナンバーを用いることにより、高いシステム速度が得られる。
【００６５】
従って、撮影レンズシステム２２ｆナンバーとマイクロレンズ７２ｆナンバーとの有用な組合せは、システム速度ゲインを可能にするものになろう。０．５  ｌｏｇ  Ｅ以上のシステム速度ゲインが好適であるが、０．１５  ｌｏｇ  Ｅ、または１／２‐絞りより大きいシステム速度ゲインが有用である。意図する目的のために適切な被写界深度を有する撮影レンズユニット２２により、速度ゲインを可能にするｆナンバーを備えているなら、どんなマイクロレンズ７２でも有利に使用可能であるが、通常は、１．５〜１６のｆナンバーを備えたマイクロレンズ７２が有用である。ある実施例では、ｆ／２からｆ／７までの範囲のｆナンバーを有するマイクロレンズ７２が有用である。他の実施例では、ｆ／３からｆ／６までの範囲のＦナンバーを有するマイクロレンズ７２が有用である。
【００６６】
個々のマイクロレンズ７２は、光を一点に集中させたり、またはフォーカスさせるよう成形されたりする収束レンズである。このように、マイクロレンズ７２は、サポート７８からの凸状投影を形成する。個々の投影は、完全球面または不完全球面の部分として形成される。従って、マイクロレンズ７２は球面部分レンズであってもよく、または非球面部分レンズであってもよい。両方のタイプのマイクロレンズは、同時に使うことが出来る。球面部分マイクロレンズ７２は、球の一部分の形状および断面を有している。非球面部分マイクロレンズ７２は、扁平な球または細長い球の形状および断面を有している。レンズは、円形または円形に近い投影を有するという意味でマイクロである。説明されているような本発明の動作、および、既知のソリッドステート撮像装置アレイの規模に矛盾しない、いかなる有用なレンズ直径も有用に使用可能である。一実施例では、１〜１０００ミクロンの直径を有するマイクロレンズ７２が用いられている。円柱状部分マイクロレンズ７２は、円柱の一部分の形状および断面を有している。非円柱状部分マイクロレンズ７２は、扁平円柱または細長い円柱の形状および断面を有している。図１０Ａ‐１０Ｃは、サポート７８内に搭載されたマイクロレンズ７２の断面図、および様々な球面マイクロレンズ７２および非球面マイクロレンズ７２の例示の実施例を示している。図１０Ａは、マイクロレンズ７２が、サポート７８により接合された球面レンズを含んでいる実施例を示している。図１０Ｂおよび１０Ｃは、球面マイクロレンズ７２を有しているマイクロレンズアレイ７０の実施例を示している。上述のアレイパターンのいずれもが、拡張ラチチュードを提供するために、非球面マイクロレンズ７２を結合可能であることは理解される。さらに、マイクロレンズ７２のいかなるパターンも、拡張写真ラチチュードを可能にするよう、非最密方法で適用可能である。
【００６７】
マイクロレンズ７２は、実際にマイクロレンズを形成する、突出部分の球面および非球面の特徴を示すよう、別のハッチングで示されている。図１０Ｂおよび図１０Ｃに示されるタイプの非球面マイクロレンズ７２は、こうしたレンズの可変半径が、マイクロレンズと光センサ２５との間の間隔とはほぼ無関係に、レンズ焦点距離およびレンズアパーチャーの制御を企図するので、このアプリケーションには特に有用である。これらの断面図は球面または非球形であると記述されているが、図が、円柱状または非円柱状マイクロレンズ７２の断面図も、等しく表していることは完全に理解される。
【００６８】
円形投影マイクロレンズ７２を伴う撮影レンズシステム２２によりフォーカスされた光を集中させる、光集中または有用な写真速度ゲインは、画像化システム２０およびマイクロレンズ７２の比ｆナンバーの二乗である。こうしたシステムでの（露光に対する対数）速度ゲインは、その速度ゲインが２ｘｌｏｇ（カメラレンズｆナンバー／マイクロレンズｆナンバー）に等しいものとして決定可能である。円柱状マイクロレンズの光集中または写真速度ゲインは、それらが一方向のみへの光を集中するので、こうした改良の平方根をとることが出来る。マイクロレンズアレイ７０による光の集中は、システム速度ゲインおよび露光パターン画像センサ２４形成の双方を可能にする。
【００６９】
マイクロレンズ７２のための好ましい設計パラメータ、および、それらと画像センサ２４の光センサ２５との関係は、以下の定義から従う。
【００７０】
マイクロレンズ半径は、マイクロレンズ７２の半球形突出の湾曲の半径である。非球面マイクロレンズ７２では、この値は、マイクロレンズの表面にわたり変化する。
【００７１】
マイクロレンズアパーチャーは、通常直径と記述されている、マイクロレンズにより形成される断面積である。球面マイクロレンズ７２では、この直径は、必然的にマイクロレンズ半径の２倍以下である。非球面マイクロレンズ７２では、この直径は、マイクロレンズ内で遭遇する最小半径の２倍以上である。別のアパーチャーを有する、異なる大きさのマイクロレンズを使用することにより、マイクロスケールで別のレベルの速度ゲインが可能となり、その結果、感光性サイトに対する拡張露光ラチチュードが可能となる。
【００７２】
マイクロレンズ焦点距離とは、マイクロレンズ７２から画像センサ２４の感光サイト２５までの距離である。
【００７３】
マイクロレンズのｆナンバーは、マイクロレンズ７２アパーチャーをマイクロレンズ焦点距離で割ったものである。球面マイクロレンズ７２では、所望のマイクロレンズ焦点距離を用いて、レンズ方程式に従い、このようにして、適切なマイクロレンズ半径を決定可能である。
【００７４】
マイクロレンズ半径は、（ｎ２−ｎ１）／ｎ２のマイクロレンズ焦点距離倍である；ただし、ｎ１はマイクロレンズの外部物質（通常、１の屈折率を有する空気）の屈折率、また、ｎ２はマイクロレンズ、およびあらゆる隣接する透過性物質、例えば（アレイサポート９０で使用されるプラスチック）の屈折率である。有用なプラスチックまたはポリマーは、通常、１．４〜１．７の屈折率を有している。最低屈折率に対する最高屈折率の比は、０．８から１．２の間であり得る。好ましい実施例では、この比は、０．９５から１．０５の間である。典型的な写真システム部品の既知の屈折率リストに従い、有用な球面マイクロレンズは、マイクロレンズ半径のおよそ３倍のマイクロレンズ焦点距離を有している（（ｎ２−ｎ１）／ｎ２〜１／３）。非一体型マイクロレンズ７２は、さらに種類に富むプラスチックおよびガラスから作成可能である。画像センサ２４上に一体的に形成されるマイクロレンズ７２では、その複合光学装置を形成する材料の屈折率が出来る限り類似している場合は、優れた光学的特性が提供される。
【００７５】
図１１は、本発明に従う、画像キャプチャ方法のフローチャートを示している。図１１に示されるように、シャッタートリガボタン６０がユーザ４により押下されると、トリガ信号が生成され、処理が開始する（ステップ１２０）。マイクロプロセッサ５０は、シャッタートリガボタン６０が押下されたことを示すトリガ信号を検出し、上述のように画像をキャプチャする。ここで、上述のように、画像化システム２０および画像センサ２４を用いて、センサ露光ステップが実行される（ステップ１２２）。マイクロレンズアレイ７０は、集中画像エリア７４および残余画像エリア７６へシーン情報を増強する範囲を低減させる。センサ２４は、露光情報をキャプチャし、固定するために問合せを受ける（ステップ１２４）。この実施例では、画像情報は、集中画像エリア７６内の光センサ２５ｂから抽出される（ステップ１２６）。画像情報は、また、集中画像エリア外の光センサ２５ａから抽出される（ステップ１２８）。抽出された画像情報は、オリジナルシーンの写真を形成するために再構成される（ステップ１３０）。
【００７６】
低露光条件下では、シーン情報は集中画像エリア７４内の光センサ２５ｂでの画像条件に基づいて決定される。一実施例では、画像処理プロセッサ４０が、集中画像エリア７４および残余画像エリア７６から得られる画像情報を迅速かつ効率的に分離出来るよう、集中画像エリア７４内の光センサ２５ｂは、較正処理の間、残余画像エリア７６内の光センサ２５ａと分離される。代替的に、画像センサ２４から単一の画像を取得し、その画像を、その後集中画像エリア７４から得られる画像情報と、残余画像エリア７６から得られる画像情報を分離するために、その後画像解析技術を用いるディジタル信号プロセッサ４０で処理することも出来る。または、画像情報は光センサ２５ｂによりキャプチャされたエリア内のみに保管される。ここでは、ディジタル信号プロセッサ４０は、光センサ２５ｂにより得られた画像情報を、上述のようにアーカイバル画像または評価画像を生成するのに使用可能な、初期画像に組立てることにより、画像をレンダリングすることが出来る。
【００７７】
高露光条件下では、シーン情報は残余画像エリア７６内の光センサ２５ａ内に担持される。図１２は、画像センサ２４を第２の露光の範囲９４内に存在するシーンからの光に画像通り露光した後、画像センサ２４上で生成されたコントラストパターン画像を示している。上述のように、画像化システム２０が第２の露光範囲９４に露光される場合、画像情報は、光センサ２５ａにより、残余画像１０４の形で、残余画像エリア７６内に直接記録される。残余画像１０４は、従来の光学的画像化技術により生成された画像と類似している。しかし、図１２に示されるように、残余画像１０４は、残余画像１０４の構成に有用な画像化情報が、光センサ２５ｂ上へ光が集中する間に失われてしまう連続画像ではない。この情報を修正する様々な方法がある。例えば、欠損した情報を補償するには、補間技術が使用可能である。あるアプリケーションでは、光センサ２５ａによりキャプチャされた画像化情報を処理するのにアンダーサンプリング技術を用いることが出来る。
【００７８】
代替的に、シーンの露光状態がオーバラップする部分では、シーン情報は光センサ２５ａおよび光センサ２５ｂから取得可能である。さらに、露光条件は画像内で変化可能であり、従って、あるシーンが広域露光レベルを含む場合は、画像の一の部分での露光レベルが第１の露光範囲９４内にあり、同時に同一画像の第２の部分での露光レベルが第２の露光範囲９６にあるという場合も起こり得る。従って、こうした画像内では、画像情報のある部分が集中画像エリア７４内の光センサ２５ｂから得られ、同時に画像情報の他の部分が残余画像エリア７６内の光センサ２５ａから得られることになる。これが起こる場合、単一の出力画像は、集中画像エリア４８および残余画像エリア５０の双方に対する画像情報を用いて出力画像を組立てることにより構成される。この方法で形成された画像は、全所望ラチチュード８８を含む範囲にわたる、シーン露光を示す画像化情報を含む。
【図面の簡単な説明】
【００７９】
【図１】本発明の画像化システムの一実施例を示す図である。
【図２】従来技術のソリッドステートセンサの概略正面図である。
【図３】図１の画像化システムの背面図である。
【図４】マイクロレンズの感度強化アレイを有する画像センサの正面図である。
【図５】画像センサおよび図４に示されたマイクロレンズのアレイの一実施例の側面図である。
【図６Ａ】シーン露光の実際のラチチュードと有効なラチチュードとの関係の説明に役立つ図である。
【図６Ｂ】感光要素上での集中光の効果の説明に役立つ図である。
【図６Ｃ】感光要素上での残留光の効果の説明に役立つ図である。
【図７Ａ】本発明の画像センサの概略正面図である。
【図７Ｂ】図７Ａの実施例の概略側面図である。
【図８Ａ】本発明を実行する際に役立つ、マイクロレンズのアレイの実施例を示す概略図である。
【図８Ｂ】本発明を実行する際に役立つ、マイクロレンズのアレイの実施例を示す概略図である。
【図８Ｃ】本発明を実行する際に役立つ、マイクロレンズのアレイの実施例を示す概略図である。
【図８Ｄ】本発明を実行する際に役立つ、マイクロレンズのアレイの実施例を示す概略図である。
【図８Ｅ】本発明を実行する際に役立つ、マイクロレンズのアレイの実施例を示す概略図である。
【図９Ａ】マイクロレンズの単一のアレイ内で有効に組合せ可能な、異なるマイクロレンズのアレイの実施例を示す図である。
【図９Ｂ】マイクロレンズの単一のアレイ内で有効に組合せ可能な、異なるマイクロレンズのアレイの実施例を示す図である。
【図９Ｃ】マイクロレンズの単一のアレイ内で有効に組合せ可能な、異なるマイクロレンズのアレイの実施例を示す図である。
【図９Ｄ】図９Ａのアレイそれぞれを通る、シーンからの光に対する、画像センサの画像通りの露光により、画像センサ上に形成されたパターンを示す図である。
【図９Ｅ】図９Ｂのアレイそれぞれを通る、シーンからの光に対する、画像センサの画像通りの露光により、画像センサ上に形成されたパターンを示す図である。
【図９Ｆ】図９Ｃのアレイそれぞれを通る、シーンからの光に対する、画像センサの画像通りの露光により、画像センサ上に形成されたパターンを示す図である。
【図１０Ａ】マイクロレンズのアレイの断面図である。
【図１０Ｂ】球面レンズのアレイの断面図である。
【図１０Ｃ】非球面レンズのアレイの断面図である。
【図１１】本発明に従う画像化のフローチャートである。
【図１２】画像センサの画像通りの露光後、画像センサ上で生成されたコントラストパターンを示す図である。
【符号の説明】
【００８０】
２  目
４  ユーザ
２０  画像化システム
２２  撮影レンズユニット
２４  画像センサ
２５  光センサ
２５ａ  残余画像エリア内の光センサ
２５ｂ  集中画像エリア内の光センサ
２６  要素
２７  非活性エリア
２８  要素
３０  レンズドライバ
３２  ファインダシステム
３３  ファインダディスプレイ
３４  アナログ信号プロセッサ
３５  ファインダ光学部品
３６  Ａ／Ｄコンバータ
３８  フレームメモリ
３９  ディスプレイドライバ
４０  ディジタル信号プロセッサ
４２  外部ディスプレイ
４４  データメモリ
４６  ホストコンピュータインタフェース
４８  レンジファインダー
５０  マイクロプロセッサ
５２  メモリカード
５４  メモリカードスロット
５６  メモリカードインタフェース
５８  ユーザコントロール
６０  シャッタートリガボタン
６２  「ワイド」ズームレンズボタン
６３  確認ボタン
６４  「テレ」ズームレンズボタン
６６  タイミングジェネレータ
６８  センサドライバ
６９  追加画像キャプチャシステム
７０  ダイナミックレンジ増強マイクロレンズのアレイ
７２  ダイナミックレンジ増強マイクロレンズ
７２ａ  第１の組のマイクロレンズ
７２ｂ  第２の組のマイクロレンズ
７４  集中画像エリア
７４ａ  第１の組の集中画像エリア
７４ｂ  第２の組の集中画像エリア
７６  残余画像エリア
７８  サポート
８０  シーン輝度範囲
８２  光センサの実ラチチュード
８４  下方応答閾値
８６  上方応答閾値
８８  所望システムラチチュード
９０  所望システム下方応答閾値
９２  所望システム上方応答閾値
９４  シーン露光レベルの第１の範囲
９６  シーン露光レベルの第２の範囲
１００  感度増強マイクロレンズのアレイ
１０２  感度増強マイクロレンズ
１０４  残余画像
１０６  感度増強集中光
１０８  分解光
１２０  トリガ信号検出ステップ
１２２  センサ露光実行ステップ
１２４  センサ問合せステップ
１２６  集中画像エリア内光センサからの画像情報抽出ステップ
１２８  残余画像エリア内光センサからの画像情報抽出ステップ
１３０  画像再構成ステップ
【図１】
2004208301.tif 000003
【図２】
2004208301.tif 000004
【図３】
2004208301.tif 000005
【図４】
2004208301.tif 000006
【図５】
2004208301.tif 000007
【図６Ａ】
2004208301.tif 000008
【図６Ｂ】
2004208301.tif 000009
【図６Ｃ】
2004208301.tif 000010
【図７Ａ】
2004208301.tif 000011
【図７Ｂ】
2004208301.tif 000012
【図８Ａ】
2004208301.tif 000013
【図８Ｂ】
2004208301.tif 000014
【図８Ｃ】
2004208301.tif 000015
【図８Ｄ】
2004208301.tif 000016
【図８Ｅ】
2004208301.tif 000017
【図９Ａ】
2004208301.tif 000018
【図９Ｂ】
2004208301.tif 000019
【図９Ｃ】
2004208301.tif 000020
【図９Ｄ】
2004208301.tif 000021
【図９Ｅ】
2004208301.tif 000022
【図９Ｆ】
2004208301.tif 000023
【図１０Ａ】
2004208301.tif 000024
【図１０Ｂ】
2004208301.tif 000025
【図１０Ｃ】
2004208301.tif 000026
【図１１】
2004208301.tif 000027
【図１２】
2004208301.tif 000028