(57)【要約】  【課題】  各システムの有効感度の実質的低下がない、画像キャプチャシステムを用いて同時画像キャプチャ可能な画像キャプチャシステムを提供する。  【解決手段】  撮像システムは、シーンからの光の焦点を合わせる撮影レンズユニット、及び、受け取った光の一部を第1の撮像表面へ送り、受け取った光の一部を第2の撮像表面へ送るビームスプリッタを有する。第1の画像キャプチャシステムは、第1の撮像表面へ進む光に基づく画像をキャプチャする。第2の画像キャプチャシステムは、第2の撮像表面で形成された画像に基づく第2の画像をキャプチャする。マイクロレンズのアレイは、各マイクロレンズが、ビームスプリッタからの光の第1の部分を、第1の撮像表面の集中画像領域に集めるよう、第1の撮像表面と光学的に関連している。第1の画像キャプチャシステムは、集中画像領域上に集められた光に基づく画像を形成する。【選択図】図１
2004280096.tif 000002
【特許請求の範囲】
【請求項１】
シーンからの光の焦点を合わせるようになっている撮影レンズユニットと、
シーンから光を受け取るビームスプリッタであって、受け取った光の一部をビームスプリッタから第１の撮像表面へ送り、さらに受け取った光の一部をビームスプリッタから第２の撮像表面へ送るようになっているものと、
第１の撮像表面へ進む光に基づく画像をキャプチャする第１の画像キャプチャシステムと、
第２の撮像表面で形成された画像に基づく第２の画像をキャプチャする第２の画像キャプチャシステムと、
アレイ内の各マイクロレンズが、ビームスプリッタからの光の第１の部分を、第１の撮像表面の集中画像領域に集めるよう、第１の撮像表面と光学的に関連するマイクロレンズのアレイとを含んでいて、
第１の画像キャプチャシステムが、集中画像領域上に集められた光に基づく画像を形成するようになっている撮像システム。
【請求項２】
ビームスプリッタに向けて光の焦点を合わせるようになっている撮影レンズユニットと、
撮影レンズユニットからの光を受け、光の一部を第１の撮像表面で画像を形成するために通過させ、さらに光の一部を第２の撮像表面で画像を形成するために通過させる、ビームスプリッタと、
少なくとも１つの撮像表面への光路を制御する、シャッターアセンブリ、および、シャッターアセンブリによって制御された光を受ける第１の撮像表面を有する、感光要素を位置決めするゲートを有する感光要素位置決めシステムを有する感光要素画像キャプチャシステムと、
第２の画像表面上に入射する光に基づく画像をキャプチャするようになっている、第２の撮像表面を伴う、画像センサを有する電子画像キャプチャシステムと、
第２の撮像表面の集中画像領域に方向付けられた光を集める第２の撮像表面撮像平面と光学的に関連するマイクロレンズアレイと、
キャプチャ時間を決定し、シャッターアセンブリおよび電子画像キャプチャシステムが、そのキャプチャ時間内に、シーンの状態の画像見本をキャプチャすることが出来るようにするコントローラとを含む、画像をキャプチャするシステム。
【請求項３】
第１の感度を有する第１の撮像表面、および第２の感度を有する第２の撮像表面を用いて、シーンの画像をキャプチャする方法であって、
シーンからの光の焦点を合わせるステップと、
シーンからの焦点を合わせた光を、第１の撮像表面に進む第１の部分、および第２の撮像表面に進む第２の部分に分割するステップと、
第１の撮像表面上で集中画像要素のパターンを形成するために、第１の軸に沿って進む光の部分を集中させるステップと、
第１の撮像表面上に形成された集中画像要素のパターンに基づき第１の画像を形成するステップと、
第２の撮像表面上に達する光に基づき第2の画像を形成するステップとを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビームスプリッタを有するハイブリッドおよび組み合わせ撮像システムに関する。
【背景技術】
【０００２】
ハイブリッドおよび組み合わせ撮像システムは、1つより多い画像キャプチャシステムを用いて、シーンの画像をキャプチャするように設計されている。これは、様々な目的のために実行可能である。多くの場合、ハイブリッドおよび組み合わせ撮像システムは、異なるタイプの画像キャプチャシステムを用いて、同一シーンの画像をキャプチャすることに用いられる。
【０００３】
こうしたハイブリッドカメラは、多くの場合、シーンから来る光を集め、焦点を合わせる、単一の撮影レンズシステムを用いている。こうしたカメラでは、ビームスプリッタは、撮影レンズシステムからの同一シーン画像を、ハイブリッドまたは組み合わせカメラ内の、分離した撮像表面に配送するために用いられる。また、1つより多い撮像表面を有するカメラでのビームスプリッタの使用は、少なくとも、20世紀前半における、ハロゲン化銀カラー画像キャプチャのための「テクニカラー（Technicolor）」画像分離技術の開始以来、知られていた。「テクニカラー（Technicolor）」技術では、ビームスプリッタは、モノクロフィルムストック上での色分離画像の同時キャプチャを可能にするよう、カラーフィルタに関連して用いられる。さらに最近では、ビームスプリッタは、カラーフィルタおよびモノクロソリッドステート画像キャプチャ装置を用いる、ディジタルカメラでの色分離画像キャプチャ用に提案されている。
【０００４】
ビームスプリッタを用いる、ハイブリッドおよび組み合わせカメラシステムの他の例には、1996年11月11日にアツシ（Atsushi）により出願された、「銀塩写真および電子画像ピックアップカメラ(Silver Salt Photographic and Electronic Image Pickup Camera)」と題された特許文献１、および1998年2月17日にトル（Toru）により出願された、「プレビュー機能搭載カメラ(Camera Provided With Preview Function)」と題された特許文献２が含まれており、各々、電子画像キャプチャ表面上に、撮影レンズシステムを通して伝わる光の一部を偏向させ、さらに光の他の一部がビームスプリッタを通り抜け、感光フィルムに照射可能となるビームスプリッタを備える、メイン撮影レンズシステムを有する、ハイブリッドフィルム/電子画像キャプチャシステムを説明している。ビームスプリッタはまた、ハイブリッドカメラにおいて他の用途でも用いられる。例えば、ニューヨーク州ロチェスターのイーストマンコダック（Eastman Kodak）社によって販売されている、商標コダックアドバンティクス（Kodak Advantix TM）商標プレビュー（Preview TM）カメラでは、ビームスプリッタは、光を、光学ファインダシステムに導く1つの経路と、電子撮像装置へ導く他の経路とに分割するために用いられている。
【特許文献１】日本特許公報第10142685A号（特開平10-142685号公報）
【特許文献２】日本特許公報第11231372号（特開平11-231372号公報）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
こうしたビームスプリッタシステムの使用の1つの欠点は、撮影レンズシステムによりキャプチャされた光を、異なる撮像表面上での画像形成のために共有することにより、本質的に、画像キャプチャに割り当てられた時間内の、各撮像表面における有効光量が減少することである。このため、今後は、各画像キャプチャシステムの有効感度も低下する。あるアプリケーションでは、有効感度の低下は好ましくない場合がある。
【０００６】
従って、各システムの有効感度の実質的低下がない、1つより多い画像キャプチャシステムを用いて同時画像キャプチャ可能な画像キャプチャシステムのための必要性が残っている。
【０００７】
さらに、電子画像の後キャプチャ処理に対する依存性が少ない画像キャプチャシステムのための必要性も存在している。通常、こうした後画像キャプチャ処理が行われるのは、多くの場合、電子画像をキャプチャするために使われた撮像装置の画像キャプチャ解像度よりも実質上低い画像表示解像度を有するディスプレイ画面上に電子画像が提示されるためである。従って、通常、電子画像は、低解像度ディスプレイ上に表示可能となるよう、ダウンサンプル（down sample）されなければならない。こうした処理は、評価画像のプレゼンテーション、および/または、追加画像のキャプチャを遅らせかねないほど、時間がかかる場合がある。
【０００８】
特に、感光要素上にアーカイバル画像をキャプチャする撮像システム、およびソリッドステート撮像表面を用いて画像をキャプチャし、そこから評価画像を生成する撮像システムを用いて、画像の同時キャプチャを可能にする、画像キャプチャシステムおよび方法のための必要性が存在している。
【課題を解決するための手段】
【０００９】
1つの態様においては、撮像システムが提供される。本撮像システムは、シーンからの光の焦点を合わせるよう適合された撮影レンズユニット、および、ビームスプリッタから第1の撮像表面へ進む受け取った光の一部、およびビームスプリッタから第2の撮像表面へ進む受け取った光の一部を伴う、シーンからの光を受け取るビームスプリッタを有している。第1の画像キャプチャシステムは、第1の撮像表面へ進む光に基づく画像をキャプチャするために設けられ、さらに、第2の画像キャプチャシステムは、第2の撮像表面で形成された画像に基づく第2の画像をキャプチャするために設けられる。マイクロレンズのアレイは、アレイ内の各マイクロレンズが、ビームスプリッタからの光の第1の部分を、第1の撮像表面の集中画像領域に集めるよう、第1の撮像表面と光学的に関連している。ここで、第1の画像キャプチャシステムは、集中画像領域上に集められた光に基づく画像を形成する。
【００１０】
他の態様においては、画像キャプチャシステムが提供される。本撮像システムは、ビームスプリッタに向けて光の焦点を合わせるよう適合された撮影レンズユニット、および、撮影レンズユニットからの光を受け、第1の撮像表面で画像を形成するために光の一部を通過させ、さらに第2の撮像表面で画像を形成するために光の一部を通過させる、ビームスプリッタを有している。シャッターアセンブリを有する感光要素画像キャプチャシステムは、少なくとも1つの撮像表面、および、シャッターアセンブリによって制御される光を受ける第1の撮像表面を備えた、感光要素を位置決めするゲートを有する、感光要素位置決めシステムへの光路を制御する。電子画像キャプチャシステムは、第2の撮像表面を伴う画像センサを有する形で提供され、その上で、前記電子画像キャプチャシステムは、第2撮像表面上、および、第2の撮像表面の集中画像領域に方向付けられた光を集める第2の撮像表面撮像平面と光学的に関連するマイクロレンズアレイに入射する光に基づく画像をキャプチャするよう適合されている。コントローラは、キャプチャ時間を決定し、シャッターアセンブリおよび電子画像キャプチャシステムが、そのキャプチャ時間内に、シーン状態の画像見本をキャプチャすることが出来るようにする。
【００１１】
他の態様においては、撮像システムが提供される。本撮像システムは、シーンからの光の焦点を合わせるよう適合された撮影レンズユニット、および、撮像表面へ進む光に基づく画像をキャプチャする画像キャプチャシステムを有している。積重ねアレイ拡大器は、撮像表面へ進む光の有効倍率を変更するために位置決めされる。撮像表面と光学的に関連しているマイクロレンズのアレイでは、アレイ内の各マイクロレンズが、光の第1の部分を撮像表面の集中画像領域に集める。ここで、画像キャプチャシステムは、集中画像領域上に集められた光に基づく画像を形成する。
【００１２】
さらに他の態様においては、第1の感度を有する第1の撮像表面、および第2の感度を有する第2の撮像表面を用いる、シーンの画像をキャプチャするための方法が提供されている。本方法に従って、シーンからの光が焦点を合わせられ、さらに、その焦点を合わせたシーンからの光が、第1の撮像表面に進む第1の部分、および第2の撮像表面に進む第2の部分とに分割される。第1の軸に沿って進む光の部分は、集中画像要素のパターンを第1の撮像表面上に形成するよう、集められる。第1の画像は、第1の撮像表面に形成された、集中画像要素のパターンに基づいて形成される。第2の画像は、第2の撮像表面に達した光に基づいて形成される。
【発明を実施するための最良の形態】
【００１３】
図1は、撮像システム4の一実施例のブロック図を示している。図1に示されるように、撮像システム4は、第1軸Aに沿ってシーン(図示せず)からの光の焦点を合わせる、撮影レンズユニット6を含んでいる。撮像システム4は、ビームスプリッタ8をさらに含んでいる。ビームスプリッタ8は、第1の軸Aに沿って進む光を受け、受け取られた光の一部を通過させ、その光は第1の軸Aに沿って進み続ける。また、ビームスプリッタ8は、受け取られた光の他の一部を第2の軸Bに沿って方向付ける。
【００１４】
ビームスプリッタ8は、光学技術で知られた、従来のいかなるビームスプリッタでもよい。ある実施例では、ビームスプリッタ8は、傾斜したガラス表面、部分的に銀めっきされた鏡、ビームスプリッティングプリズム、および/または、それらの組み合わせを含んでいてもよい。ビームスプリッタ8は、第1の部分が第1の軸Aに沿って進み続け、他方、受け取られた光の第2の部分が、上述のように第2の方向に方向付けられるよう、受け取られた光の第1の部分を、ビームスプリッタ8を通過させることにより動作可能である。代替的に、ビームスプリッタ8は、異なった第1の軸、第2の軸、および第3の軸において、第1の軸Aに沿って進む、受け取られた光の一部を、光の一部が第2の軸Bに沿って進み、撮影レンズユニット6からの光の他の一部が、第3の軸(図示せず)に沿って進むよう、方向付けることも出来る。
【００１５】
撮像システム4は、1つより多い画像キャプチャシステムを有し、第1の画像キャプチャシステム10は、第1の軸Aに沿って進む光に基づく画像をキャプチャする、第1の撮像表面11を有する形で提供され、第2の画像キャプチャシステム20は、第2の軸Bに沿って進む光に基づくシーンの画像をキャプチャする、第2の撮像表面21を有する形で提供される。図示された実施例では、第1の撮像表面11は、フィルムまたはプレートなど、従来の感光要素14上の表面を含んでいる。また、図1の実施例では、第2の撮像表面21は、ビームスプリッタ8により第2の軸Bに沿って方向付けられた光を受けるよう位置決めされた、電子画像センサ24上の表面を含んでいる。第1の画像キャプチャシステム10および第2の画像キャプチャシステム20の動作は、以下で詳細に論じられる。
【００１６】
ビームスプリッタ8が撮影レンズユニット6からの光を、第1の撮像表面11と第2の撮像表面21との間で分割するので、単位時間あたりの各撮像表面に達する光量が減少し、その結果、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20の有効システム感度は減少する。しかしながら、図1に示されるように、マイクロレンズアレイ12が、撮像表面の1つに光学的に関連しているので、関連撮像表面の選択部分での露光を増強する。これにより、選択部分の感度は事実上増加され、他の部分の感度は事実上減少される。この増加感度は、ビームスプリッタ8により排除される光の損失を補償するため使用され、選択部分からの画像情報を用いて形成された画像が、より大きな感度を有するシステムでキャプチャされた画像の外観を示すことが可能となる。以下に説明されるある実施例では、画像情報は、増加され、および減少された感度を有する領域の双方から取得され、この画像情報は、事実上増加した総合的ダイナミックレンジを有する画像を形成するよう結合される。
【００１７】
ビームスプリッタ8が、シーンからの光の主要部分を第1の撮像表面11へ方向付け、一方、シーンからの光の残余部分を、第2の撮像表面21での光の供給量減少を補償する、マイクロレンズアレイ12に光学的に結合した、第2の撮像表面21へ方向付けるよう適合されていることは、理解されるものであろう。これにより、第1の画像キャプチャシステム10は、第1の撮像表面に当たる光を用いた画像形成に、従来の画像キャプチャ技術を使用可能となる。この点に関して、マイクロレンズにより提供される集中度は、第2の画像キャプチャシステム20の集中光への有効感度または有効ダイナミックレンジが、ビームスプリッタ8からの光への第1の撮像表面の応答に近似するよう定義可能である。
【００１８】
例えば、図1に示された撮像システム4の1つの可能な実施例では、ビームスプリッタ8は、撮影レンズユニット6からの光の75パーセントから95パーセントを第1の撮像表面11へ通過させ、撮影レンズユニット6からの光の残余部分を第2の撮像表面21へ方向付けている。この例では、マイクロレンズのアレイ12は、第2の撮像表面21と光学的に関連して位置決めされ、第2の光学経路B内に受けられた集中光に適合しており、それにより、第2の画像キャプチャシステム20は、第1の画像キャプチャシステム10の感度と近似した実視感度を有する画像を形成するよう、マイクロレンズアレイ12により集中された光からの画像抽出が可能となる。ビームスプリッタ8は、交互経路間の光の比を、他の比率にすることが出来る。ビームスプリッタ8による配光は、使用意図に合致する、いかなる分配比にもすることが出来る。かなり類似する固有感度を有する画像キャプチャシステムでは、分配は一般に、19：1から1：19の間の比率、好ましくは、3：1から1：3の間の比率、さらに好ましくは、2：1から1：2の間の比率である。固有感度とはかなり異なる感度を有する画像キャプチャシステムでは、さらに異種の比率が使用可能である。
【００１９】
第1の画像キャプチャシステム
図1に示された実施例では、第1画像キャプチャシステム10は、感光要素位置決めシステム13およびシャッタシステム23を含んでいる。感光要素位置決めシステム13は、第1の軸Aに沿って進む、シーンからの光で形成された画像を受け取る感光要素14を位置決めする、ゲートシステム15を有している。感光要素14が、画像を複数のフレーム領域に受けることが可能な、フレキシブルフィルムのロールを含んでいる場合などのように、感光要素14が、複数の画像を感光要素14の別々の画像領域に記録するよう適合されている場合、感光要素配置システム13は、また、フレーム領域間の感光要素14を前進させるよう共働する、フィルム供給システム16およびフィルム巻取りシステム17を含むことが出来る。フィルム供給システム16およびフィルム巻取りシステム17は、感光要素14を前進させ、位置決めする、多くの周知の従来構造およびメカニズムを含んでいてもよい。
【００２０】
図1に示された実施例では、感光要素位置決めシステム13は、また、感光要素14の位置決め、平坦さ、および整列の確立の補助に用いられる、任意の接触面18を含んでいることが示されている。接触面18が設けられる場合、感光要素14は、画像キャプチャ前に、感光要素接触面18に持って来られる。接触面18は、画像を受ける適切な位置に位置決めされる、堅い平坦な構造を提供する。感光要素接触面18は、感光要素14を破損することなく感光要素14に接触し、感光要素14の位置決め、平坦さ、および整列を改良するような形で、感光要素14を保持するよう適合されている。例えば、感光要素接触面18は、その上に分配された、写真技術で知られているようなマットビーズ（matte beads）(図示せず)を有していても良い。こうしたマットビーズクロ‐メーターの直径を有し、概して、感光要素接触面18の表面領域をカバーするよう分配されてもよい。また、例えば、鉱油、シリコン油、およびカルナバ蝋などの、様々な物質のコーティングが使用可能である。感光要素接触面18と共に有効に使用される他の物質は、リサーチディスクロージャー（Research Disclosure） 38957、1996年9月389巻内で発表されている、「物理性質変更付加物コーティング(Coating Physical Property Modifying Addenda)」IXと題された論文で説明されている。任意の要素接触面18の挿入により、光学技術においてよく理解されているように、適応可能な追加的屈折表面を導入することが認められる。
【００２１】
また、図1に示されたように、任意のプレッシャプレートアセンブリ19は、要素接触面18に対して感光要素14を位置決めするのに用いられる。任意のプレッシャプレートアセンブリ19は、フィルム配置システム13、またはゲージシステム15と一体となった、ガイドまたはレールにより形成可能である。感光要素接触面18および任意のプレッシャプレートアセンブリ19は、個々に、またはまとめて、可逆的に圧縮性を有し、シーンからの光を受ける位置にある感光要素14を受動的に位置決めするよう作動可能である。
【００２２】
シャッタシステム23は、シーンからの光および感光要素14の間にアレイされる。シャッタシステム23は、シーンから第1の撮像表面11までの、光路を制御するよう適合される。シャッタシステム23は、ユーザコントロール58またはマイクロプロセッサ50により生成される信号に応答して、シーンからの光を通過させる。これらの信号により、シャッタシステム23は、第1のキャプチャ時間内に、光が通過しないようにする閉塞状態から、光が通過可能なようにする開放状態へと動かされる。第1のキャプチャ時間が終わると、シャッタシステム23は閉塞状態に戻る。第1のキャプチャ時間の持続時間は固定可能、または、例えば、当該技術においてよく知られている光センサ、および感光要素14の感光度を示す情報を用いることにより決定されるように、シーンからの光量に基づく従来のアルゴリズムを用いることにより、マイクロプロセッサ50により決定可能である。シーン内の光量は、光センサ(図示せず) を用い、さらに従来の露光測定アルゴリズムを用いて測定可能である。代替的に、画像センサ24を、シーン内の光量測定に使用可能である。同様に、感光要素14の感光度は、例えば、フィルムキャニスタのマーキングの分析、または当該技術でよく知られている他の手段を用いることにより、測定可能である。
【００２３】
ここで、撮影レンズユニット6の動作を、より詳細に説明する。撮影レンズユニット6は、ビームスプリッタ8を通り抜ける光が、第1の撮像表面11および第2の撮像表面21でシーンの画像を形成するよう、シーンからの光を集中させる。任意の追加的光学要素(図示せず)は、対応する画像が、第1の撮像表面11、および/または、第2の撮像表面21に形成されるよう、光を集中させるのを補助するために、ビームスプリッタ8と、第1の撮像表面11、および/または、第2の撮像表面21との間に挿入可能である。
【００２４】
撮影レンズユニット6は、手動焦点合わせ、または固定焦点を伴う、単一の焦点距離を有するような、単純なものでもよい。図1に示された実施例では、撮影レンズユニット6は、レンズドライバ30により、静止要素または要素28の組み合わせに対し、可動要素または要素26の組み合わせが駆動される、電動式2倍ズームレンズユニットである。図示の実施例では、レンズドライバ30は、レンズ焦点距離、およびレンズ焦点位置の双方を制御する。ファインダシステム32は、ユーザ5の画像構図を補助するよう、ユーザ5に、画像センサ24によりキャプチャされた画像を提示する。ファインダシステム32の動作は、以下に詳細に説明される。
【００２５】
撮影レンズユニット6の焦点設定の決定には、様々な方法が使用可能である。好ましい実施例では、画像センサ24は、いわゆる「スルーフォーカス（through focus）」または「ホールウェイスキャニング(whole way scanning)」法を用いた、マルチスポットオートフォーカスの提供に使用される。シーンは、範囲の格子またはスポットの格子に分割され、各画像範囲に対する最適な焦点距離が決定される。各範囲に対する最適な焦点距離は、画像をキャプチャしながら、近焦点距離から無限位置まで、撮影レンズシステム6を焦点距離位置の範囲を通って移動させることにより決定される。カメラの設計によっては、異なる焦点距離で4〜32個の画像のキャプチャを必要とする場合もあろう。通常は、8つの異なる距離で画像をキャプチャすると、適切な精度が得られる。
【００２６】
キャプチャされた画像データは、各画像範囲に対する最適な焦点距離を決定するためにその後分析される。この分析は、参照により本願明細書に組み込まれる、1995年12月11日にクシー（Xie）他により出願され、「電子同期ディジタルカメラのためのフィルタ使用算術演算(Filter Employing Arithmetic Operations for an Electronic Synchronized Digital Camera)」と題された、共通に譲渡された米国特許第5,874,994号明細書で説明されているような、1つ以上のフィルタを用いてセンサ信号にフィルタをかけるバンドパスにより開始される。その後、その焦点距離におけるその画像範囲に対する焦点値を決定するために、各画像範囲用バンドパスフィルタ出力の絶対値のピークが検出される。各画像範囲に対する最適な焦点距離は、各画像範囲に対する焦点値が各キャプチャ焦点距離位置に対して決定された後、最大焦点値を提供するキャプチャ焦点距離を選択することにより、または、様々な補間技術を用いて、2つの最大焦点値を提供する2つの測定キャプチャ焦点距離間で中間距離値を見積もることにより、決定可能である。
【００２７】
最終的な高解像度静止画像キャプチャに用いるレンズ焦点距離は、この段階で決定可能となる。好ましい実施例では、目標物(例えば被写体としての人物)に対応した画像範囲が決定される。その後、これらの画像範囲に最良の焦点を提供するよう、焦点位置が設定される。例えば、シーン画像は、複数の下位区画に分割可能である。画像の各下位区画内に含まれる高周波成分を表す焦点評価値は決定可能であり、さらに焦点評価値は、参照により本願明細書に組み込まれる、1996年10月15日にオマタ（Omata）他により出願され、「画像内自動目標物検出方法(Method Of Automatic Object Detection In An Image)」と題された、共通に譲渡された米国特許第5,877,809号明細書で説明されているように、目標物距離を判定するために使用可能である。目標物が動いている場合は、参照により本願明細書に組み込まれる、1996年10月26日にオマタ（Omata）他により出願され、「画像内構図変化の検出 (Detecting Compositional Change in Image)」と題された、共通に譲渡された米国特許第6,067,114号明細書で説明されているような、目標物追尾を実行してもよい。代替的実施例では、「ホールウェイスキャニング(whole way scanning)」により決定された焦点値は、ラフな焦点位置設定のために用いられ、ラフな焦点位置は、参照により本願明細書に組み込まれる、1998年10月11日にオマタ（Omata）他により出願され、「自動焦点合わせ装置および方法(Automatic Focusing Apparatus and Method)」と題された、共通に譲渡されている米国特許第5,715,483号明細書で説明されているような、ファイン焦点モードを用いて精緻なものとなる。
【００２８】
一実施例では、撮像システム4内のオートフォーカスを提供するよう用いられるバンドパスフィルタリングおよび他の計算は、ディジタル信号プロセッサ40により実行される。この実施例では、撮像システム4は、レンズ焦点位置を自動的に設定するために、参照により本願明細書に組み込まれる、1994年12月30日にパルルスキー（Parulski）他により出願され、「インターライン画像センサでの高速オートフォーカスを備えた電子カメラ(Electronic Camera With Rapid Autofocus Upon An Interline Image Sensor)」と題された、共通に譲渡された米国特許第5,668,597号明細書に示されるように、特別に適合された画像センサ24を用いる。米国特許第5,668,597号明細書で説明されるように、焦点決定には、センサ光起電セルのラインのいくらかのみ(例えば、ラインの四分の一のみ)が使用される。他のラインは、センサ読取処理の間、排除される。これはセンサ読取時間を短縮し、それにより、撮影レンズユニット6の焦点合わせに要する時間を短縮する。
【００２９】
代替的実施例では、撮像システム4は、画像の目的物を特定し、さらに目的物への距離に対する適切な撮影レンズユニット6の焦点位置を選択する、別々の光学的または他のタイプ (例えば、超音波)のレンジファインダー48を用いている。撮影レンズユニット6の1つ以上の可動要素26を動かすよう、レンジファインダー48が直接に、または、図1に示したようにレンジファインダー48からの情報を用いてマイクロプロセッサ50が、レンズドライバ30を操作する。レンジファインダー48は、受動的、または能動的、またはこの2つの組合せであってもよい。当業者に知られている、適当な多くの様々なマルチセンサレンジファインダー48が、使用に適している。例えば、こうしたレンジファインダー48は、参照により本願明細書に組み込まれる、1993年11月30日にタバタ（Tabata）他により出願され、「露光調整依存自動焦点長を備えたコンパクトカメラ (Compact Camera With Automatic Focal Length Dependent Exposure Adjustments)」と題された、米国特許第5,440,369号明細書において開示されている。レンジファインダー48は、直接、または図1の実施例に示されたように、レンズドライバ30を操作可能であり、レンジファインダー48はデータをマイクロプロセッサ50に供給可能である。後者の実施例では、マイクロプロセッサ50は、このデータを、撮影レンズユニット6の焦点距離、およびレンズ焦点位置を設定するよう、撮影レンズユニット6の1つ以上の可動要素26の移動方法を決定するために使用する。
【００３０】
レンジファインダー48による焦点測定は、単一スポットタイプまたはマルチスポットタイプであってもよい。焦点測定はマルチスポットを用いるのが好ましい。マルチスポット焦点決定では、シーンは、範囲格子またはスポット格子に分割され、各スポットに対する最適な焦点距離が決定される。
【００３１】
対象までの最適距離がいったん測定されると、マイクロプロセッサ50は、撮影レンズユニット6の焦点距離およびレンズ焦点位置を設定するよう、レンズドライバ30に少なくとも1つの要素26を調整させる。図1の実施例では、マイクロプロセッサ50が正確に撮影レンズユニット6の焦点距離およびレンズ焦点位置を設定可能となるよう、レンズドライバ30とマイクロプロセッサ50との間にはフィードバックループが確立される。
【００３２】
第2の画像キャプチャシステム
図2は、画像センサ24の正面図を示している。図2に示されるように、画像センサ24は、2次元アレイ内に配置された、離散した多くの光センサ25を有している。画像センサ24は、多くの形を取ることが可能である。例えば、画像センサ24は、従来型電荷結合素子(CCD)センサ、相補形金属酸化物半導体(CMOS)画像センサ、電荷注入デバイス(CID)であってもよい。1つの例の実施例では、画像センサ24は、2448×1632の感光要素、または光センサ25のアレイを有している。画像センサ24の光センサ25は、シーンからの光の光子を電子チャージパケットに変換する。各光センサ25は、絶縁範囲などの不活性範囲27で囲まれており、当業者に知られている回路および有用な構造に相互接続されている。画像センサ24上の各光センサ25は、本願明細書に於いて初期画像として言及されている、画像センサ24によりキャプチャされた画像の1つの画素に対応している。
【００３３】
画像センサ24がカラー画像のキャプチャに用いられる、一実施例では、各光センサ25も、参照により本願明細書に組み込まれる、1975年3月7日にバイエル（Bayer）により出願された、「カラー撮像アレイ(Color Imaging Array)」と題された、共通に譲渡されている米国特許第3, 971,065号明細書に説明されている。バイエル（Bayer）カラーフィルタアレイなどのカラーフィルタアレイによりオーバーレイドされている。バイエル（Bayer）カラーフィルタアレイは、格子状モザイク内に50%の緑色画素を有し、残りの画素が赤色列および青色列の間を交替するものである。各光センサ25は、光センサ25上の照明入射強度に対応するアナログ信号を提供するために、適切に着色された入射光照明に反応する。他の様々なカラーフィルタアレイが使用可能である。画像センサ24が、グレースケールまたはいわゆる白黒画像のキャプチャに用いられる場合は、カラーフィルタは省略可能である。他の実施例では、カラー画像は、1998年4月24日にメリル（Merrill）により出願された、「三重ウェル構造を用いた能動画素セル撮像装置アレイ内のカラー分離(Color Separation in an Active Pixel Cell Imager Array Using a Triple Well Structure)」と題された米国特許第5,965,875号明細書においてアール ビー メリル（R. B. Merrill）が説明しているように、波長特定カラー露光深度問い合わせによりキャプチャ可能である。
【００３４】
ここで、図1を参照しながら、第2の画像キャプチャシステム20が、画像センサ24からの情報をディジタル画像に変換する処理を説明する。各光センサ25のアナログ出力は、アナログアンプ(図示せず)により増幅され、さらに画像センサ24の出力アンプノイズを減少させるよう、アナログ信号プロセッサ34によりアナログ処理される。アナログ信号プロセッサ34の出力は、アナログ‐ディジタル(A/D)変換器36、例えば、一連のバイエル（Bayer）カラーフィルタアレイの10ビット信号を提供する、10ビットのA/D変換器などにより、キャプチャディジタル画像信号へ変換される。
【００３５】
ディジタル化された画像信号は、フレームメモリ38に一時格納され、その後、参照により本願明細書に組み込まれる、1989年5月9日にサッソン（Sasson）他により出願された、「画像圧縮およびディジタル格納を利用する電子スチルカメラ(Electronic Still Camera Utilizing Image Compression and Digital Storage)」と題された、共通に譲渡された米国特許第5,016,107号明細書において説明されているような、プログラマブルディジタル信号プロセッサ40を用いて処理される。
【００３６】
画像処理は、例えば、参照により本願明細書に組み込まれ、共通に譲渡された、1993年6月30日にラ ロッシェ（La Roche）他により出願された、「クロミナンス勾配を利用するフルカラー画像の適応性補間用装置および方法 (Apparatus and Method for Adaptively Interpolating a Full Color Image Utilizing Chrominance Gradients)」と題された、米国特許第5,373,322号明細書、および、1986年2月3日にコク（Cok）により出願された、「サンプルされたカラー画像信号内の補間クロミナンス値を生成する信号処理方法および装置 (Signal Processing Method and Apparatus for Producing Interpolated Chrominance Values in a Sampled Color Image Signal)」と題された、米国特許第4,642,678号明細書に説明されている方法を用いて、カラーフィルタアレイピクセル値からフル解像度カラー初期画像を再構成する補間アルゴリズムを含んでいる。シーン光源に修正を施すホワイトバランスは、それらがニュートラル(すなわち、白またはグレー)な目的物に対して緑色に等しくなるよう赤色信号および青色信号に、修正ファクターを乗算することにより実行される。カラー修正では、カメラのスペクトル感度の修正に3×3マトリクスを用いるのが好ましい。しかしながら、他のカラー修正スキームを用いることも可能である。トーン修正は、国際電気通信連合（International Telecommunication Union）規格ITU-R BT.709で定義される光電子転送特性を提供する、1組のルックアップテーブルを用いる。空間フィルタにより達成される画像シャープニングは、レンズぶれを補い、主観的によりシャープな画像を提供する。輝度信号およびクロミナンス信号は、ITU-R BT.709で定義された方程式を用いて処理した赤色、緑色、および青色信号から形成される。
【００３７】
ディジタル信号プロセッサ40は、シーンのアーカイバル画像作成に初期画像を用いる。通常、アーカイバル画像は、格納、再生、および共有に適した高解像度画像である。アーカイバル画像は、JPEG規格を用いて任意に圧縮され、データメモリ44に格納される。JPEG圧縮規格は、8×8ブロックの輝度およびクロミナンス信号を、空間周波数ドメインに変換するのに、周知の離散コサイン変換を用いる。これらの離散コサイン変換係数は、その後、JPEG圧縮画像データを生成するために、量子化され、およびエントロピコード化される。このJPEG圧縮画像データは、日本電子アイティー産業連合（Japan Electronics and IT Industries Association ）JEITA CP-3451によって公表された、「交換可能画像ファイルフォーマット(Exif)」バージョン2.1で定義される、いわゆる「Exif」画像フォーマットを用いて格納される。Exifフォーマットアーカイバル画像はまた、メモリカード52に格納可能である。Exif形式アーカイバル画像はまた、メモリカード52に格納可能である。図1の実施例では、撮像システム4は、着脱可能なメモリカード52を保持し、さらにメモリカード52と通信するメモリカードインタフェース56を有する、メモリカードスロット54を有しているのが示されている。Exifフォーマットアーカイバル画像、およびいかなる他のディジタルデータも、ホストコンピュータインタフェース46経由で撮像システム4に接続された、ホストコンピュータまたは他の装置(図示せず)に送信可能である。
【００３８】
コミュニケーションモジュール46は、多くの既知の形式を取ることが可能である。例えば、いかなる既知の光学的変換器、無線周波数変換器、または他の変換器も使用可能である。こうした変換器は、画像および他のデータを、セルラーネットワーク、衛星ネットワーク、ケーブルネットワーク、電気通信ネットワーク、インターネット、あるいは、ホストコンピュータ(図示せず)、ネットワーク(図示せず)、または、プリンタ、インターネットアプライアンス、パーソナルディジタルアシスタント、電話またはテレビを含むが、それに限られることのない他の装置への通信経路などの、無線ネットワーク、有線ネットワーク、または光ネットワークを通して伝達可能な、光学信号、無線周波数信号、または他の形式の信号などの形に変換する。
【００３９】
ディジタル信号プロセッサ40はまた、初期画像に基づき、より小さなサイズのディジタル画像を作成する。これらのより小さなサイズの画像を、本願明細書では評価画像と呼ぶ。評価画像は、通常、ファインダディスプレイ33または外部ディスプレイ42上の表示用に適合させられた低解像度画像である。ファインダディスプレイ33および外部ディスプレイ42は、例えば、カラー液晶ディスプレイ(LCD)、有機エレクトロルミネッセントディスプレイ(OELD)としても知られている有機発光ディスプレイ(OLED)、または、発光に高分子化合物を用いるOLEDタイプディスプレイの部分集合(PLEDとしても知られている)を含んでいてもよい。また、他のいかなるタイプのビデオディスプレイも使用可能である。
【００４０】
画像キャプチャシーケンス
ここでは画像キャプチャ処理を説明する。本願明細書においては、この処理のステップを、まとめて「画像キャプチャシーケンス」と称する。「画像キャプチャシーケンス（image capture sequence）」という用語は、ここで用いられているように、少なくとも画像キャプチャフェーズを含み、また、任意に構図フェーズおよび検証フェーズを含んでいてもよい。
【００４１】
構成フェーズの間、カメラマイクロプロセッサ50は、画像がキャプチャされたことを示す信号をタイミングジェネレータ66に送る。一般に、タイミングジェネレータ66は、図1に示されるように、画像信号のディジタル変換、圧縮、および格納を制御するために、第2の画像キャプチャシステム20の要素に接続される。画像センサ24は、タイミングジェネレータ66からセンサドライバ68経由で駆動される。マイクロプロセッサ50、タイミングジェネレータ66、およびセンサドライバ68は、共働して、画像センサ24に、ここで第2のキャプチャ時間として参照されている固定または可変の積分時間の間、シーンからの光の形で電荷を集めさせる。積分時間が完了した後、画像信号は、アナログ信号プロセッサ34に提供され、一般に、上述されたような評価画像に変換される。
【００４２】
初期画像のストリームはこの方法でキャプチャされ、ディジタル信号プロセッサ40は、初期画像に基づき評価画像のストリームを生成する。評価画像のストリームは、ファインダディスプレイ33または外部ディスプレイ42上に提示される。ユーザ5は、評価画像のストリームを見て、評価画像を画像構成に使用する。評価画像は、上述のように、例えば、参照により本願明細書に組み込まれる、1990年3月15日にククタ（Kuchta）他により出願された、「フル解像度画像および低減解像度画像のマルチフォーマット格納を提供する電子スチルカメラ (Electronic Still Camera Providing Multi-Format Storage Of Full And Reduced Resolution Images)」と題された、共通に譲渡されている米国特許第5,164,831号明細書で説明されているような再サンプリング技術を用い、説明されるように作成可能である。評価画像はまた、データメモリ44に格納可能である。
【００４３】
キャプチャフェーズの間、マイクロプロセッサ50は、ディジタル信号プロセッサ40に、初期画像を選択させ、アーカイバル画像を形成するために初期画像を処理させる、キャプチャ信号を送る。キャプチャ段階の間、マイクロプロセッサ50はまた、シャッタシステム23に、画像を形成するために感光要素14がシーンから光を集めるキャプチャ時間の間、感光要素14をシーンからの光に露光させる信号を送る。また、マイクロプロセッサ50は、第2の画像キャプチャシステム20に、ディジタル信号プロセッサ40が、評価画像として初期画像を選び、さらに、任意に追加的アーカイバル画像を形成するよう初期画像を処理するようにさせる、キャプチャ信号を送る。
【００４４】
第1の画像キャプチャシステム10および第2の画像キャプチャシステム20は、第1のキャプチャ時間および第2のキャプチャ時間のそれぞれの間に受け取った光に基づき画像を形成する。集光に用いられる撮像表面の感度に依存して、一方の画像キャプチャ用撮像システムで使われるキャプチャ時間は、他方の画像キャプチャ用撮像システムで使われるキャプチャ時間と異なっていてもよい。マイクロプロセッサ50は、シーン状態、第1の撮像表面11および第2の撮像表面21の感度の知識に基づき、さらに実行される写真のタイプに基づき、各画像キャプチャシステムに対する適切なキャプチャ時間を決定し、各画像キャプチャシステムによる画像キャプチャのために生成される、適切な信号を生じさせる。いずれかのまたは双方の画像キャプチャシステムに対する、第1および第2のキャプチャ時間を決定するために、様々な従来のアルゴリズムが使用可能である。
【００４５】
検証フェーズの間、評価画像は、ファインダディスプレイ33、および/または外部ディスプレイ42上のプレゼンテーションに対して適合され、一定時間提示される。これにより、ユーザ5は、キャプチャされたアーカイバル画像の外観が受け入れ可能であることを確認することが出来る。アーカイバル画像および評価画像の双方が、単一の光学システム、すなわち、撮影レンズユニット6からもたらされているので、これらの画像は、同一の画像情報を含んでおり、1つのシーンのアーカイバル画像を、ある光学システムが第1の画像キャプチャシステム10に提供するために使用され、第2の別の光学システムが、キャプチャ評価画像に用いられる第2の画像キャプチャシステム20へ提供するために使用される場合に、評価画像内で生じる視差問題を修正する必要がない。
【００４６】
撮像システム4は、ユーザコントロール58により制御されるが、そのうちのあるものは図3においてより詳細に示されている。ユーザコントロール58は、ユーザ5からの入力を受け、この入力を撮像システム4の動作においてマイクロプロセッサ50によって使用可能な形式に変換する能力のある、いかなる形式の変換器または他の装置も含むことが可能である。例えば、ユーザコントロール58は、タッチスクリーン入力、4ウエイスイッチ、6ウエイスイッチ、8ウエイスイッチ、スタイラスシステム、トラックボールシステム、ジョイスティックシステム、音声認識システム、ジェスチャー認識システム、および他のこうしたシステムを含むことが出来る。図2に示される実施例では、ユーザコントロール58は、シャッタートリガボタン60を含んでいる。ユーザ5はシャッタートリガボタン60を押下することにより、画像キャプチャを開始する。これにより、トリガ信号がマイクロプロセッサ50に送られる。マイクロプロセッサ50は、トリガ信号を受け取り、トリガ信号に応答してキャプチャ信号を生成し、それによって、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20のうちの一方または双方により、画像をキャプチャさせる。
【００４７】
図3に示された実施例では、ユーザコントロール58はまた、「ワイド」ズームレンズボタン62および「テレ」ズームレンズボタン64を含んでおり、2:1光学ズーム機能および2:1ディジタルズーム機能の双方を一緒に制御するよう設けられている。光学ズームは、撮影レンズユニット22により提供され、画像センサ24によりキャプチャされる焦点面画像の視野を変更するように、倍率を調整する。ディジタルズームは、ディジタル信号プロセッサ40により提供され、フレームメモリ38内に格納されたキャプチャ画像を切り取り、再サンプルする。ユーザ5が最初に撮像システム4を作動させると、キャプチャ画像の提供に全センサ光起電セルが使用され、撮影レンズユニット6が広角位置に設定されるよう、ズームレンズは1:1の位置に設定される。好ましい実施例では、この広角位置は、35mmフィルムカメラでの40mmレンズと等価である。これは最大広角位置に対応している。
【００４８】
次に、ユーザ5が「テレ」ズームレンズボタン64を押下すると、撮影レンズユニット6をより望遠焦点長に向かって動かすよう、撮影レンズユニット6は、カメラマイクロプロセッサ50により、レンズドライバ30を通して調整される。ユーザ5が、「テレ」ズームレンズボタン64を押下し続けると、撮影レンズユニット6は、フル光学2:1ズーム位置へ動くことになる。好ましい実施例では、このフル望遠位置は、35mmフィルムカメラでの40mmレンズと等価である。ユーザ5が、「テレ」ズームレンズボタン64を押下し続けると、撮影レンズユニット6は、フル光学2:1ズーム位置のままで、さらに、ディジタル信号プロセッサ40は、画像の中央の範囲を切り取る(任意に再サンプルする)ことにより、ディジタルズームの提供を開始することになる。これにより、第2画像キャプチャシステム20の見かけの倍率は増加するが、アーカイバル画像生成時に、センサの外部光起電セルが若干廃棄されるので、シャープさの低減が引き起こされる。しかし、通常、このシャープさの低減は、比較的小さなファインダディスプレイ33および外部ディスプレイ42では視認されないだろう。
【００４９】
例えば、図1に示された実施例では、第2の画像キャプチャシステム20は、例えばおよそ4.0メガピクセルに対応する、2448×1632個の光センサを有する高解像度画像センサ24から、評価画像を抽出する。解像度という用語は、本願明細書では、画像表現に用いる画素数を示すために用いられている。しかし、外部ディスプレイ42は、例えば、およそ0.08メガピクセルに対応する、320×240個の要素を提供する、低解像度を有している。従って、ディスプレイ要素より50倍多いセンサ要素が存在する。それゆえ、初期画像を、ファインダディスプレイ33または外部ディスプレイ42に適合可能な、適切な小画像サイズを有する評価画像へ再サンプリングする必要がある。この再サンプリングは、後にサブサンプリングを伴うローパスフィルタリングを用いることにより、または適切なアンチエイリアシング条件を伴うバイリニア補間技術を用いることにより、実行可能である。代替的に、高解像度画像を比較的低解像度のディスプレイ上への表示に適合させる、当該技術で知られている他の技術も使用可能である。
【００５０】
キャプチャ画像より少ない画素(すなわち、低解像度)を有する評価画像を生成する、キャプチャ画像の再サンプリングは、ディジタル信号プロセッサ40により実行される。先に言及したように、ディジタル信号プロセッサ40はまた、ディジタルズームを提供可能である。最大の2:1設定では、ディジタル信号プロセッサ40は、画像形成のために、640×480の写真部位を含む領域などの中央領域を用い、この写真部位からの画像情報を、たとえば、画像提供用の1280×960、または2448×1632個のサンプルを有する画像を得るために補間する。
【００５１】
ディジタル信号プロセッサ40はまた、ファインダディスプレイ33または外部ディスプレイ42で見る場合、評価画像が対応するアーカイバル画像の外観に適合するよう、他の方法で評価画像を修正可能である。これらの修正には、評価画像がファインダディスプレイ33または外部ディスプレイ42に提示される場合、評価画像の表示された色が対応するアーカイバル画像内の色に適合して現れるよう、評価画像をカラー較正することが含まれている。これらの、および他の修正は、対応するアーカイバル画像に存在する色、フォーマット、シーン内容、および照明状態の正確な表現をユーザ5に提供するのを補助する。
【００５２】
上述したように、評価画像は対応するアーカイバル画像より低い解像度を有する電子ディスプレイを用いて表示されるので、評価画像をファインダディスプレイ33または外部ディスプレイ42を通して見ると、そのアーカイバル画像を印刷したり、またはより高い解像度で表示したりした場合の外観よりシャープに見えることがある。従って、本発明の１つの任意の実施例では、各評価画像は、対応するアーカイバル画像でピンぼけに見える範囲は、外部ディスプレイ42などの電子ディスプレイで見られた場合にもピンぼけであるように見えるよう、修正されることが出来る。さらに、ディジタルズームが作動している場合、全体の画像はソフトになるが、通常、外部ディスプレイ42ではこのソフトにされた様子は視認されないだろう。図1の撮像システム4の例では、アーカイバル画像は最大ディジタルズーム設定で640×480画素のセンサ領域を用いて提供されるが、外部ディスプレイ42は、320×240画素を有するディスプレイであってもよい。従って、通常のリサイズ後には、外部ディスプレイ42上に表示される評価画像は、適切にシャープに見えることになる。しかし、アーカイバル画像は許容し得るシャープなプリントはなされないだろう。従って、2001年12月21日にベルツ（Belz）他によって出願され、「キャプチャされたアーカイバル画像内のピンぼけ領域を示す確認画像の部分をぶらせるための方法および撮像システム(Method and Imaging system for Blurring Portions of a Verification Image To Show Out of Focus Areas in a Captured Archival Image)」と題された、共通に譲渡された米国特許出願第10/028,644号明細書で説明されているように、再サンプリング技術は、320×240画素を有してはいるが、最大ディジタルズーム設定が用いられている場合は、見かけの鮮明度を低減させた外観を呈する評価画像の生成に使用可能である。
【００５３】
アーカイバル画像から作られるプリントまたは他の有形出力の見かけのシャープさも、レンダリングされた画像のサイズの関数でもあることが理解されるだろう。従って、撮像システム4は、任意に、出力の予想サイズを示す信号を受け取るための、入力(図示せず)を有することが可能で、従って評価画像の見かけの鮮鋭さ調整したり、および/または、米国特許出願第10/028,644号明細書においてまた説明される警告を提供することが出来る。
【００５４】
マイクロレンズアレイ
上述のように、撮影レンズユニット6を通って、シーンから来る光は、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20の間で共有されているので、キャプチャ時間内に、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20の各々で利用可能な光量は、事実上減少する。これは、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20の有効感度を事実上減少させる。本発明に従うと、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20の少なくとも一方の有効感度が、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20の少なくとも一方と光学的に関連するマイクロレンズアレイ12により、増強される。図1の実施例では、マイクロレンズアレイ12は、ビームスプリッタ8と第2の撮像表面21との間に位置決めされている。ここで、図4および図5を参照して、マイクロレンズアレイ12の機能を説明する。
【００５５】
図4は、本発明に従う、マイクロレンズアレイ12および関連する画像センサ24の一実施例の正面図を概略的に示している。図4に示されるように、画像センサ24は、光センサ25を伴う第2の撮像表面21、さらに、分離レジーム（regime）、排出および相互接続範囲などの無反応非活性範囲27を有している。マイクロレンズアレイ12の個々のダイナミックレンジ増強マイクロレンズ72の投影は、光センサ25に対して示されている。
【００５６】
図5は、図4の実施例の断面図を概略的に示している。図5に示されるように、各ダイナミックレンジ増強マイクロレンズ72に当たる、シーンからの光は、画像センサ24の関連する集中画像領域74に集められる。集中画像領域25b内の少なくとも1つの光センサが、各ダイナミックレンジ増強マイクロレンズ72に関連する各集中画像領域74内に位置決めされる。各集中画像領域74内の集中画像領域25b内の光センサは、増強された露光を受け、それにより集中画像領域74内の集中画像領域25b内の光センサの有効感度を高める。これにより、シーンの影など暗いシーン要素が撮像可能となる。集中画像領域74の外部にある残余画像領域25a内の光センサは、残余画像領域76に配置される。残余画像領域25a内の光センサは、減少された露光を受ける。これは、残余画像領域76内の光センサ25aに向かって進んで来た光の一部分が、各ダイナミックレンジ増強マイクロレンズ72により、集中画像領域74上に焦点を合わせられるからである。これにより、事実上、残余画像領域76内の光センサ25aへ通る光量がフィルタにかけられ、光センサ25aの有効感度を減少させる。このようにして、残余画像領域76の露光を妨害し、感光領域25aでの露光を減少させる一方で、各ダイナミックレンジ増強マイクロレンズ72は、集中画像領域74へ光を集中させ、感光領域25bでの露光を増強させる。
【００５７】
このシステムの動作は、図6A、図6B、および図6Cを参照して説明可能である。図6Aに示されるように、写真シーンからの光は、シーン輝度の広範囲にわたって広がっている。コンシューマフォトの場合、これらは通常人間が目視可能な輝度である。この範囲は、シーン輝度範囲80として図6Aに示されている。しかし、画像センサ24上の各光センサ25は、光センサ25がシーン照明の違いをキャプチャしてシーンのコントラスト画像を記録し得る、実ラチチュード82を有している。ソリッドステート画像キャプチャ技術固有の制限、およびシーンからの照明に対する光センサ25の特定の応答により、各光センサ25の実光センサラチチュード82は、上述のように、下方応答閾値84および上方応答閾値86により定義される。光センサ25が下方応答閾値84より低い光量に露光される場合、光センサ25は、シーン照明の違いに対して区分可能な形で反応することはない。これは、一部には、画像キャプチャシーケンスの間に、光センサ25に格納された荷電量が、撮像装置から送信される信号に関係するようになり得る、誤った電気干渉または他の雑音と区別がつかない程度にまで、低くなり得るからである。この影響は、露光の信号対ノイズ比が、画像センサ24固有の暗部信号対ノイズ比に適合する場合、実際に起こる。
【００５８】
同様に、要素30が上方応答閾値86より高い光量に露光される場合も、光センサ25はシーン照明の違いに対して区別可能な形で反応することはない。より詳細に上述したように、これは、光センサ25により上方応答閾値86を越えて受け取られる光量が、画像センサ24の光センサ25の電荷蓄積容量を一杯にするのに十分であるため、追加的な光エネルギーに対し、光センサ25はもはや有意な追加的応答をなさないからである。このため、こうした光量下に露光されたすべての光センサ25は、シーン内容の有意な相違を記録しなくなる。
【００５９】
しかし、図6Aに示されるように、第2の画像キャプチャシステム20および画像センサ24は、画像センサ24の光センサ25の下方応答閾値84より低い、所望されるシステム下方応答閾値90を有する、所望のシステムラチチュード88でシーン情報を記録するのが好ましい。この範囲の照明における写真は、シーンからの光を集中させることにより可能となる。この点で、マイクロレンズアレイ12内のマイクロレンズ72の各々は、シーンからの光を少なくとも2つの部分に分解する。シーンからの光が集中する部分は、ダイナミックレンジ増強マイクロレンズ72のマイクロレンズ12のアレイが存在しない場合に集中画像領域74内の光センサ25bに当たったであろう光量より大きな単位面積あたりの光量が、キャプチャ時間の間に、集中画像領域74内の各光センサ25bに当たるよう、集中される。
【００６０】
図6Bに示されるように、この、集中画像領域74内の光センサ25bの入射光量増加は、全第1領域94が、集中画像74内の光センサ25bに１つの画像を記録可能にする実光センサラチチュード82内に存在するよう、シーン露光レベルの第1の領域94をシフトさせる効果を有している。
【００６１】
図6 Cに示されるように、マイクロレンズ72の入射光のうち若干量、例えば、マイクロレンズ72によりうまく集められなかった光、または全く別の複数のマイクロレンズ72の間を通った光などは、集中されない。代わりに、光のこの残余部分は画像センサ24へと進み、光センサ25aまたは残余画像領域76上に入射して、残余画像の形成を可能にする。残余画像は、さらに、画像センサ24での、設計上の、または偶然の光散乱および光反射によっても形成され得る。積分時間内に残余画像領域76に当たる光の残余部分は、同一積分時間中、マイクロレンズ72のアレイ12がシーンと画像センサ24との間に挿入されていない場合に、残余画像領域76上に入射する。従って、マイクロレンズ72が、残余画像領域76上に入射するシーンからの光を事実上フィルタにかけるので、残余画像領域76内の光センサ25aが画像生成するのに十分な照明を受けるには、積分時間中に、より多くの光量を利用可能にする必要がある。従って、シーンからの光が第2の露光範囲96内にあるならば、通常、画像センサ24から画像を得るのに費やされる積分時間は、画像センサ24の残余画像領域76上に画像を形成するのに十分である。
【００６２】
図6 Cに示されるように、アレイ70のマイクロレンズ72が、第2の露光範囲内の光に露光される場合、画像生成に適当な、すなわち実光センサラチチュード82内での第2の露光は、残余画像領域76内の光センサ25a上で形成される。このように、画像センサ24は、画像センサ24の光センサ25の上方応答閾値86を超え、しかし、所望されるシステムの上方応答閾値92の下の露光レベルで、区分可能な画像を記録するのに使用され得る。
【００６３】
オーバーラップ領域は、第1の露光領域94およびシーン露光レベルの第2の範囲96の間と定義可能である。システムラチチュード88を大幅に増加させることが望まれている場合は、このオーバーラップ範囲を縮めることが出来る。1つの実施例では、所望されるシステムラチチュード88にわたる、集中画像領域74または残余画像領域76のいずれか一方にある光センサ25から、画像情報をキャプチャする能力は、第1の露光範囲94および第2の露光範囲96がオーバーラップする、かなりの露光範囲を定義することにより、確実なものとなる。代替的に、第1の露光範囲94と第2の露光範囲96との間にかなりの分離が存在する撮像システム4を供給するのも好ましい。こうしたかなりの分離を有する撮像システム20は、事実上、太陽光と室内灯といった、著しく異なる撮像条件下で異なる画像をキャプチャするために動作されるものであろう。
【００６４】
図6bおよび図6cに示されるように、マイクロレンズアレイ12は、各々が1つより多い光センサ25に向き合っている、多数のマイクロレンズ72を有している。シーン露光レベルの第1の領域94における画像キャプチャを可能にするために、受信マイクロレンズにより集められた光を受ける光センサ25bの部分、および、シーン露光レベルの第2の領域96における画像キャプチャを可能にするために、事実上フィルタにかける光を受ける他の部分が、上の図6A、図6B、および図6Cに関連して詳細に議論したように、露光スペース内でシフトされる画像の部分に影響を与えることは理解されるだろう。他の光センサ25aに対する、露光増強光センサ25bの比は、露光スペース内の総合的シフトの大きさに関連している。さらに、この割合は、各露光範囲内の解像度および総合的画像構造性能に影響を及ぼすだろう。
【００６５】
一実施例では、光センサ25の数対マイクロレンズ72の数の比は、少なくとも1.5対1である。他の実施例では、この比は少なくとも2対1となり得る。さらなる実施例では、この比は、少なくとも5対1、さらには少なくとも9対1にもなり得る。さらに、一実施例では、光センサ25の数対マイクロレンズ72の数の比は、1000対1以下になり得る。他の実施例では、この比は5対1以下である。さらに他の実施例では、この比は、20対1以下となり得る。さらには、センサアレイ24のレイアウトに対する、マイクロレンズアレイ12の構成およびマイクロレンズ72の規模は、若干の個々の光センササイト25の露光が、マイクロレンズ72によって影響を受けないようになり得る。この実施例では、露光スペースをシフトすることがない光センサ25の割合が提供され、その結果、ラチチュード82が保持される。有用な実施例では、露光に際して集められた光を受けるよう位置決めされた光センサ25bの部分、および、露光に際して残余光を受けるよう位置決めされた他の光センサ25bの部分は、画像センサ24上の光センサ25の少なくとも25%を構成している。好ましい実施例では、露光に際して、集められた光を受けるよう位置決めされた光センサ25bの部分、および、露光に際して、残余光を受けるよう位置決めされた光センサ25aの部分は、画像センサ24上の光センサ25の少なくとも50%を構成する。一方、他の実施例では、露光時に集められた光を受けるよう位置決めされた光センサ25bの部分、および、露光時に妨害光を受けるよう位置決めされた他の光センサ25bの部分は、全光センサの少なくとも75%を構成している。
【００６６】
露光レベルが第2の露光範囲96内にあり、第1の露光範囲94と第2の露光範囲96が少なくとも部分的にオーバーラップしている場合、光センサ25bもまた有用な画像情報を含む場合があることは理解されるものであろう。これらの情況の下では、画像情報は光センサ25bから取得可能である。しかし、露光が第1の露光範囲94の上方にある場合は、集中画像領域74内の光センサ25bは、その後完全に露光され、いかなる区分可能な画像情報も含まないだろう。
【００６７】
さらに、これまでの議論が、人間にとって可視のシーンのキャプチャを意図した画像キャプチャに向けられた特定の実施例に関するものに限定されてきたにもかかわらず、本発明が、人間にとって不可視の拡張シーン輝度範囲およびスペクトル範囲でのキャプチャにも容易に適用可能であり、さらに、ソリッドステート画像センサが、当該技術で知られている、必要撮像特性を有するいかなるソリッドステート画像でも可能であることも、理解されるものであろう。可能ラチチュードの有効な増加は、少なくとも0.15 log Eとなり得る。ある実施例では、ラチチュードの有効な増加は、少なくとも0.3 log Eと0.6 log Eとの間となり得る。他の実施例では、ラチチュードの有効な増加は、少なくとも0.9 log Eである。
【００６８】
図7Aは、マイクロレンズアレイ12の他の実施例の正面図を概略的に示し、そして、関連する画像センサ24が示されている。ここでは、感度増強マイクロレンズ102のアレイ100は、光不活性領域27に当たり得る光量を低減させるために提供される。アレイ100には、各感度増強マイクロレンズ102が、1つの光センサ25と関連して位置決めされている。この任意のアレイ100は、当該技術で知られている。
【００６９】
この実施例に見られるように、センサ24は、1993年12月22日にイシハラ（Ishihara）により出願された、「樹脂レンズおよび樹脂接触層を備えたソリッドステート画像装置(Solid-state image device with resin lens and resin contact layer)」と題された米国特許第4,667,092号明細書で説明されているように、ダイナミックレンジ増強マイクロレンズ72のマイクロレンズアレイ12および感度増強マイクロレンズ102のアレイ100の双方を含んでいる。図7Bは、図7Aの実施例の側面図を概略的に示す。図7Aおよび図7Bに示されるように、感度増強マイクロレンズ102は、個々の光センサ25に光106を集中させることにより、各感光センサ25の応答を増強する。しかし、より大きなマイクロレンズ72は、集中画像領域74内の特定の感度増強マイクロレンズ102の1つと、関連する光センサ25bに、光108を集中させるよう作動し、その一方で、残余画像領域76内の他の1つのマイクロレンズ102と、それに関連する光センサ25aに、残余光が当たるようにし、それによって、画像センサ24の輝度範囲記録能力を増加させる。従って、この実施例では、マイクロレンズ72のマイクロレンズアレイ12が選択された光センサ25bの有効感度を増強し、他の光センサ25aの有効感度を減少させる一方で、全光センサ25の感度はマイクロレンズ102により増強されている。ディジタル信号プロセッサ40は、光センサ25bからの画像情報を用いて画像を形成可能であり、それにより、第2の画像キャプチャシステム20は、マイクロレンズ102の感度増強アレイ100のみにより感度増強された、光センサ25からの画像情報を用いる第2の画像キャプチャシステム20が有するものより、さらに大きな有効感度を実現可能となる。また、ディジタル信号プロセッサ40は、より大きな有効ダイナミックレンジを達成するよう、光センサ25a、25bの双方からの画像情報を用いて画像形成が可能である。
【００７０】
上述の実施例では、マイクロレンズアレイ12は、円形ダイナミックレンジ増強マイクロレンズ72の、立方最密レンズ形アレイを含むものとして示されている。この配置は、上述の方法により、光の集中をもたらすものである。この実施例では、マイクロレンズ72は、均一な断面積を有することが可能である。図8Aは、サポート78により、この立方体最密アレイパターンで配置した、マイクロレンズ72のダイナミックレンジ増強マイクロレンズアレイ70を概念的に示している。他のアレイパターンが使用可能なことは理解されるであろう。例えば、図8Bは、オフセット正方形最密アレイパターンを有するマイクロレンズアレイ12の実施例を示している。図8 Cに示される他の実施例では、ダイナミックレンジ増強マイクロレンズ72は、六角形最密アレイパターンを有するマイクロレンズアレイ12内に配置されている。マイクロレンズアレイ12は、ダイナミックレンジ増強マイクロレンズ72のランダムな分配を特徴とすることが可能である。ランダム分布を有するアレイの一実施例が、図8Dに示されている。図8 Eに示されるように、さらなる他の実施例では、アレイ12は筒状または非筒状のダイナミックレンジ増強マイクロレンズ72のアレイを含むことが出来る。
【００７１】
図9A、図9B、および図9Cに示されるように、マイクロレンズアレイ70は、異なる光学特性を有する、ダイナミックレンジ増強マイクロレンズ72を含むことが出来る。図9Aの実施例には、筒状ダイナミックレンジ増強マイクロレンズ72のマイクロレンズアレイ12が示されている。図9Aに示されるように、マイクロレンズアレイ12は、やはりマイクロレンズアレイ120によって提供される第2の組のマイクロレンズ72bより大きな断面積を有する、第1の組のマイクロレンズ72aを有している。この実施例では、第1の組のマイクロレンズ72aは、露光の間、マイクロレンズ72bより大きな光の部分を集中させる。従って、図9Dに示されるように、露光の間、光量が第1の露光領域84内にある場合、第1の組のマイクロレンズ72aは、第1の組の集中画像領域74a内の画像センサ24上にライン画像露光75aを形成する。シーンからの光が第2の露光範囲86内にある場合は、第2の組のマイクロレンズアレイ72bは、第2の組の集中画像領域74b内の画像センサ24上にライン画像露光75aを形成する。いずれの組のマイクロレンズ72a、72bによっても集中されない光は、図9Dの画像センサ24の残余画像領域76に残余画像(図示せず)を形成することが出来る。同様に、図9Bおよび図9Cは、それぞれ、シーンからの光が第1の範囲内にある場合、ライン画像露光75aを形成するために光を集中させ、この光を集中画像領域74aに向けるマイクロレンズアレイ40aを伴った、大きさの異なる第1の組のマイクロレンズ72a、および第2の組のマイクロレンズ72bを有する、マイクロレンズアレイ40の使用を示している。マイクロレンズ72bは、シーンからの光が第2の範囲内にある場合、ライン画像露光75aを形成するためにシーンからの光を集中させ、この光を集中画像領域74bに向ける。ここでも、光の残余部分は、残余画像領域76内に記録される。このようにして、図9Aから図9Cのこれらの実施例では、画像センサ24の有効ラチチュードをさらに広げることが出来る。
【００７２】
図9 Cに示されるように、マイクロレンズ72の表面被覆率を最大にする必要はない。マイクロレンズ72のいかなる有用な表面被覆率も使用可能であるが、光センサ25によって占められる画像センサ24の面積に対する、マイクロレンズ72の投影面積の比は、少なくとも5パーセントになり得る。一つの実施例では、この被覆率は、少なくとも50パーセントから最大85パーセントまでの間となり得る。他の実施例では、最密限界までの85パーセント表面被覆率が使用可能である。有用な画質維持をする一方で、露光ラチチュードのレベルの変化を可能にするよう、表面被覆率は正確な度合いで調整可能である。表面被覆率が最密限界未満である、いかなる実施例でも、サポート78は残余光が画像センサ24へと通過可能にするために定義されることが出来る。
【００７３】
ダイナミックレンジ増強マイクロレンズ72のマイクロレンズアレイ12による光の集中が、また、第2の画像キャプチャシステム20の第2の撮像表面21のような撮像表面に形成される画像を、再サンプリングするのと光学的に同等なことを実行しているのは理解されるものであろう。従って、本発明の1つの有用な実施例では、マイクロレンズアレイ12の表面被覆率は、撮像システム4におけるファインダディスプレイ33、または外部ディスプレイ42などの、ディスプレイの撮像解像度に相当するよう適合可能であり、マイクロレンズアレイ12は、画像センサ24上などの撮像表面21と光学的に関連して設置可能である。これが実行されると、単に、画像センサから抽出された画像データをスキャンし、集中画像領域のみから画像情報を組み立てることによって、画像センサ24から評価画像を、ディスプレイに適切な画像解像度で抽出可能である。これは、より迅速に評価画像を提供可能とするよう、ディジタル信号プロセッサ40の、初期画像を再サンプリングステップの実行の必要性を排除することにより、画像処理を促進する。さらに、マイクロレンズアレイ12が、画像センサ24の特定部位に集中光を向けるために使用可能である。これにより、画像センサ24は、評価画像キャプチャに使用されるべき動作不能な光センサ25を有することが可能となり、このため、画質を損なうことなく、光を、動作不能となっている光センサから遠ざけ、隣接した動作中の光センサ上に集中させるよう、マイクロレンズが使用可能となる。したがって、低コスト撮像装置の使用が可能である。
【００７４】
また、第1の撮像表面11などの撮像表面のダイナミックレンジが、撮像システムの動作の間、変化可能となることは理解されるものだろう。例えば、図1の実施例では、第1の撮像表面11は、例えば、フィルムを含み得る感光要素14上に位置している。異なるフィルムが第1の画像キャプチャシステム10内にロードされると、フィルム感度は、フィルムに対する速度レートにより示されるように変化可能である。マイクロレンズアレイ12は、撮像表面上に別々の集中画像および残余画像を形成するよう、異なる強度で光を集結するように適合された、異なるタイプのマイクロレンズ72で提供可能である。これらの異なるタイプのマイクロレンズは、概して、撮像システムに配置可能な、または、フィルムのダイナミックレンジの例えば60%と一致する、様々なタイプのフィルムのダイナミックレンジに対応する、第2の撮像表面21上に画像を記録するよう、適合可能である。このように、マイクロプロセッサ50が、撮像システム4内の感光要素を1つの速度にレート付けするのを決定すると、マイクロプロセッサ50は、ディジタル信号プロセッサ40に対し、感光要素14のダイナミックレンジに対応するダイナミックレンジを提供するよう意図された形で光を集中させ、マイクロレンズによって形成された光センサを用いて、画像を抽出させることが可能である。
【００７５】
マイクロレンズアレイ12は、例えば当業者に知られている、押出、射出成形、および他の従来の製作技術により、一緒に形成され、または結合される個々のマイクロレンズ72の組を含むことが出来る。マイクロレンズアレイ12は、機械的手段または化学的手段により、またはサポート78上に搭載することにより、一緒に固定された、複数の個別マイクロレンズ72を結合することによっても、形成可能である。マイクロレンズアレイ12は、画像センサ24上に近接され、またはコーティングされ、または、他の方法で画像センサ24に接合される、1組のレンズ形ビーズ、または球(図示せず)を含むことが出来る。マイクロレンズ72は、マイクロ構造技術で知られている、いかなる物質によっても形成可能である。マイクロレンズ72は、例えば、製造段階で直接画像センサ24に型押したり、または  画像センサ24に適用される異なる層に一体となっているなどの形で、画像センサ24と単一となっていてもよい。さらに他の実施例では、マイクロレンズ72のアレイ70は、感光性コーティングを用いて形成可能である。
【００７６】
撮像システム4の規模および撮影レンズシステム6の詳細な特性は、露光瞳孔を画像距離、すなわち、カメラ焦点距離に規定する。画像は、マイクロレンズ12のアレイで形成されるのが好ましい。マイクロレンズ72の特性は、その焦点距離を規定する。マイクロレンズ画像は、画像センサ24の光電性範囲で形成される。マイクロレンズのｆナンバーが撮像システム4の有効アパーチャーを制御するのに対して、撮影レンズユニット6のｆナンバーは、撮像システム4の焦点深度および被写界深度を制御する。絞り込んだｆナンバーを有する撮影レンズユニット6を用いることにより、広い焦点深度および被写界深度を備えた優れたシャープさが得られる。マイクロレンズアレイ72に開かれたｆナンバーを用いることにより、高いシステム速度が得られる。
【００７７】
従って、撮影レンズユニット6とマイクロレンズ72ｆナンバーとの有用な組合せは、システム速度ゲインを可能にするものになろう。0.5 log E以上のシステム速度ゲインが好適であるが、0.15 log E、または1/2‐絞りより大きいシステム速度ゲインが有用である。意図する目的のために適切な被写界深度を有する撮影レンズユニット6により、速度ゲインを可能にするｆナンバーを備えているなら、どんなマイクロレンズ72でも有利に使用可能であるが、通常は、1.5〜16のｆナンバーを備えたマイクロレンズ72が有用である。ある実施例では、f/2からf/7までの範囲のｆナンバーを有するマイクロレンズ72が有用である。他の実施例では、f/3からf/6までの範囲のＦナンバーを有するマイクロレンズ72が有用である。
【００７８】
個々のマイクロレンズ72は、光を一点に集中させたり、または集められるよう成形された収束レンズである。このように、マイクロレンズ72は、サポート78からの凸状投影を形成する。個々の投影は、完全球面または不完全球面の部分として形成される。従って、マイクロレンズ72は球面部分レンズであってもよく、または非球面部分レンズであってもよい。両方のタイプのマイクロレンズは、同時に使うことが出来る。球面部分マイクロレンズ72は、球の一部分の形状および断面を有している。非球面部分マイクロレンズ72は、扁平な球または細長い球の形状および断面を有している。レンズは、円形または円形に近い投影を有するという意味でマイクロである。説明されているような本発明の動作、および、既知のソリッドステート撮像装置アレイの規模に矛盾しない、いかなる有用なレンズ直径も有用に使用可能である。一実施例では、1〜1000ミクロンの直径を有するマイクロレンズ72が用いられている。円柱状部分マイクロレンズ72は、円柱の一部分の形状および断面を有している。非円柱状部分マイクロレンズ72は、扁平円柱または細長い円柱の形状および断面を有している。図10A‐10Dは、サポート78内に搭載されたマイクロレンズ72の断面図、および様々な球面マイクロレンズ72および非球面マイクロレンズ72の例示の実施例を示している。
【００７９】
図10Aは、マイクロレンズ72が、サポート78により接合された球面レンズを含んでいる実施例を示している。図10Bおよび10Cは、球面マイクロレンズ72を有しているマイクロレンズアレイ70の実施例を示している。上述のアレイパターンのいずれもが、拡張ラチチュードを提供するために、非球面マイクロレンズ72を結合可能であることは理解される。さらに、マイクロレンズ72のいかなるパターンも、拡張写真ラチチュードを可能にするよう、非最密方法で適用可能である。
【００８０】
マイクロレンズ72は、実際にマイクロレンズを形成する、突出部分の球面および非球面の特徴を示すよう、別のハッチングで示されている。図10Bおよび図10Cに示されるタイプの非球面マイクロレンズ72は、こうしたレンズの可変半径が、マイクロレンズ72と光センサ25との間の間隔とはほぼ無関係に、レンズ焦点距離およびレンズアパーチャーの制御を企図するので、このアプリケーションには特に有用である。これらの断面図は球面または非球形であると記述されているが、図が、円柱状または非円柱状マイクロレンズ72の断面図も、等しく表していることは完全に理解される。
【００８１】
円形投影マイクロレンズ72を伴う撮影レンズユニット6により集められた光を集中させる、光集中または有用な写真速度ゲインは、撮像システム4およびマイクロレンズ72の比ｆナンバーの二乗である。こうしたシステムでの(露光に対する対数)速度ゲインは、その速度ゲインが2xlog(カメラレンズｆナンバー/マイクロレンズｆナンバー)に等しいものとして決定可能である。円柱状マイクロレンズ72の光集中または写真速度ゲインは、それらが一方向のみへの光を集中するので、こうした改良の平方根をとることが出来る。マイクロレンズアレイ12による光の集中は、システム速度ゲインおよび露光パターン画像センサ24形成の双方を可能にする。
【００８２】
マイクロレンズ72のための好ましい設計パラメータ、および、それらと画像センサ24の光センサ25との関係は、以下の定義から従う。
【００８３】
マイクロレンズ半径は、マイクロレンズ72の半球形突出の湾曲の半径である。非球面マイクロレンズ72では、この値は、マイクロレンズの表面にわたり変化する。
【００８４】
マイクロレンズアパーチャーは、通常直径と記述されている、マイクロレンズにより形成される断面積である。球面マイクロレンズ72では、この直径は、必然的にマイクロレンズ半径の2倍以下である。非球面マイクロレンズ72では、この直径は、マイクロレンズ内で遭遇する最小半径の2倍以上である。別のアパーチャーを有する、異なる大きさのマイクロレンズを使用することにより、マイクロスケールで別のレベルの速度ゲインが可能となり、その結果、感光性サイトに対する拡張露光ラチチュードが可能となる。
【００８５】
マイクロレンズ焦点距離とは、マイクロレンズ72から画像センサ24の光センサ25までの距離である。
【００８６】
マイクロレンズのｆナンバーは、マイクロレンズ72アパーチャーをマイクロレンズ焦点距離で割ったものである。球面マイクロレンズ72では、所望のマイクロレンズ焦点距離を用いて、レンズ方程式に従い、このようにして、適切なマイクロレンズ半径を決定可能である。
【００８７】
マイクロレンズ半径は、(n2−n1)/n2のマイクロレンズ焦点距離倍である。ただし、n1はマイクロレンズの外部物質(通常、１の屈折率を有する空気)の屈折率、また、n2はマイクロレンズ、およびあらゆる隣接する透過性物質、例えば(アレイサポート78で使用されるプラスチック)の屈折率である。有用なプラスチックまたはポリマーは、通常、1.4〜1.7の屈折率を有している。最低屈折率に対する最高屈折率の比は、0.8から1.2の間であり得る。好ましい実施例では、この比は、0.95から1.05の間である。典型的な写真システム部品の既知の屈折率リストに従い、有用な球面マイクロレンズは、マイクロレンズ半径のおよそ3倍のマイクロレンズ焦点距離を有している((n2−n1)/n2〜1/3)。非一体型マイクロレンズ72は、さらに種類に富むプラスチックおよびガラスから作成可能である。画像センサ24上に一体的に形成されるマイクロレンズ72では、その複合光学装置を形成する材料の屈折率が出来る限り類似している場合は、優れた光学的特性が提供される。
【００８８】
図11は、本発明に従う、画像キャプチャ方法のフローチャートを示している。図11に示されるように、シャッタートリガボタン60がユーザ5により押下されると、トリガ信号が生成され、処理が開始する(ステップ120)。マイクロプロセッサ50は、シャッタートリガボタン60が押下されたことを示すトリガ信号を検出し、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20に画像をキャプチャさせる。上述のように、撮像システム20および画像センサ24を用いて、センサ露光ステップが実行される(ステップ122)。マイクロレンズアレイ70は、集中画像領域74および残余画像領域76へシーン情報を増強する範囲を低減させる。センサ１２４は、露光情報をキャプチャし、固定するために問合せを受ける(ステップ124)。この実施例では、画像情報は、集中画像領域47内の光センサ25bから抽出される(ステップ126)。さらに画像情報は、残余画像領域76内の光センサ25aから抽出される(ステップ128)。抽出された画像情報は、オリジナルシーンの写真を形成するために再構成される(ステップ130)。
【００８９】
低露光条件下では、シーン情報は集中画像領域74内の光センサ25bでの画像条件に基づいて決定される。一実施例では、画像処理プロセッサ40が、集中画像領域74および残余画像領域76から得られる画像情報を迅速かつ効率的に分離出来るよう、集中画像領域74内の光センサ25bは、較正処理の間、残余画像領域76内の光センサ25aと分離される。代替的に、画像センサ24から単一の画像を取得し、その画像を、その後集中画像領域74から得られる画像情報と、残余画像領域76から得られる画像情報を分離するために、その後画像解析技術を用いるディジタル信号プロセッサ40で処理することも出来る。または、画像情報は光センサ25bによりキャプチャされた領域内のみに保管される。ここでは、ディジタル信号プロセッサ40は、光センサ25bにより得られた画像情報を、上述のようにアーカイバル画像または評価画像を生成するのに使用可能な、初期画像に組立てることにより、画像をレンダリングすることが出来る。
【００９０】
高露光条件下では、シーン情報は残余画像領域76内の光センサ25a内に担持される。図12は、画像センサ24を、シーン露光レベル94の第1領域内に存在するシーンからの光に画像通り露光した後、画像センサ24上で生成されたコントラストパターン画像を示している。上述のように、撮像システム4が露光レベル94の第1領域に露光される場合、画像情報は、光センサ25aにより、残余画像104の形で、残余画像領域76内に直接記録される。残余画像104は、従来の光学的撮像技術により生成された画像と類似している。しかし、図12に示されるように、残余画像104は、残余画像104の構成に有用な画像情報が、光センサ25b上へ光が集中する間に失われてしまう連続画像ではない。この情報を修正する様々な方法がある。例えば、欠損した情報を補償するには、補間技術が使用可能である。あるアプリケーションでは、光センサ25aによりキャプチャされた画像情報を処理するのにアンダーサンプリング技術を用いることが出来る。
【００９１】
代替的に、シーンの露光状態がオーバーラップする部分では、シーン情報は光センサ25aおよび光センサ25bから取得可能である。さらに、露光条件は画像内で変化可能であり、従って、あるシーンが広域露光レベルを含む場合は、画像の一の部分での露光レベルが第1の露光範囲94内にあり、同時に同一画像の第2の部分での露光レベルが第2の露光範囲96にあるという場合も起こり得る。従って、こうした画像内では、画像情報のある部分が集中画像領域74内の光センサ25bから得られ、同時に画像情報の他の部分が残余画像領域76内の光センサ25aから得られることになる。これが起こる場合、単一の出力画像は、集中画像領域48および残余画像領域74の双方に対する画像情報を用いて出力画像を組立てることにより構成される。この方法で形成された画像は、全所望ラチチュード88を含むダイナミックレンジ範囲にわたる、シーン露光を示す画像情報を含む。
【００９２】
ソリッドステートセンサなどの画像センサに適用するように、マイクロレンズアレイ12を使用することにより可能となる、システム感度増強に特有の用語で、前記の議論が言い表わされていることがわかる。根本的な機械的問題はいくらか異なるが、同様の問題は、マイクロレンズアレイ12を、感光性ハロゲン化銀フィルムなどの感光要素14に適用可能な形で、介在させるよう使用することにより可能となる感度増強にもあてはまる。ハロゲン化銀フィルムで、下方応答閾値は、銀のハロゲン化物粒を現像可能とするのに必要な最小の光子束の適用を考慮して設定され、上方応答閾値は、フィルムの密度形成能力の消耗、または、個々の合同された銀ハロゲン化物粒の完全な露光により設定される。感光要素14がマイクロレンズアレイ12に光学的に関連している場合、画像形成は、当該技術で知られているような任意の脱銀および安定化を伴う原板処理現像ステップ（photoprocessing development step）により、達成され、その後、直接光学プリンティングまたはスキャニング、および共通に譲渡され、および相互参照された特許出願において、説明されている技術を使用するディジタル化が続く。
【００９３】
図13は、感光要素14上のキャプチャ画像に対する画像キャプチャシステムを含む第1の画像キャプチャシステム10、および画像キャプチャセンサ24を用いて画像をキャプチャする、第2の画像キャプチャシステム20を有する、撮像システム4の、他の実施例を概略的に示している。ここで、撮像システム4は、ビームスプリッタ8、およびマイクロレンズアレイ12の焦点面に位置決めされた個々のマイクロレンズ72を有する、マイクロレンズアレイ12を含んでいる。露光に際しては、画像光がビームスプリッタ8に当たり、光の一部が感光要素14を露光するために第1の撮像表面11へと通過し、一方、光の残余は、画像センサ24を露光するために第2の撮像表面21へと通過する。
【００９４】
図13に示される実施例では、シャッタシステム23は、シーンからのビームスプリッタ8への光路を調節し、それにより、光感光要素14および画像センサ24の双方の露光を制御する。この実施例に示されるように、マイクロレンズアレイ12aは、画像キャプチャシステム10に対して設けられ、一方、第2のマイクロレンズアレイ12bは、第2の画像キャプチャシステム20に対して設けられる。マイクロレンズアレイ12aは、各マイクロレンズ72が、ビームスプリッタ8からの光を受ける受光表面140、および感光要素14に向かい合う光フォーカシング表面142を有している逆実装構成となった、マイクロレンズで構成されている。光フォーカシング表面142は、受け取った光を感光要素14に集中させるよう適合されている。スペーサ144は、感光要素14を光フォーカシング表面142から離して位置決めさせる。スペーサは、例えば、光フォーカシング表面142と感光要素14の間を分離可能な、いかなる構造を含んでいてもよい。この構成は、非常に微細なピッチを有するマイクロレンズ12bのアレイに有用である。
【００９５】
アレイ12aの個々のマイクロレンズ72および周囲媒体は、マイクロレンズ72のフォーカシング表面からオフセットした焦点面を形作る。撮像システム4が、光感光ハロゲン化銀フィルム14をロードされた場合、フィルム14は、個々のマイクロレンズ72および周囲媒体により形作られた、焦点面のフィルムゲートシステム15により位置決めされ、および並べられる。
【００９６】
上述の実施例では、光感光フィルム撮像システムは、任意に別個のマイクロレンズアレイを用いると説明されてきた。その他、光感光剤側マイクロレンズ、およびベース側マイクロレンズ、および部分的に埋め込まれたビーズにより形成されたマイクロレンズを伴う光感光フィルムを採用する実施例が、特に考慮されている。
【００９７】
他の実施例では、1998年1月23日にバーガー（Berger）によってPCT出願された、「レンズレットアレイシステムおよび方法(Lenslet Array System and Method)」と題された米国特許第6,381,072号明細書に説明されているように、特定用途で所望されるように画像フレームサイズを調整するために、マイクロレンズアレイ12アセンブリが、積重ねアレイ拡大鏡により増大される。こうした関係では、積重ねアレイ拡大鏡により、ユーザは、撮像システムの1つにおいて、複数の形式のフィルムすなわち、別個のスリット幅またはフレームサイズを有するフィルムを任意に使用することが可能となる。さらに、積重ねアレイ拡大鏡により、ユーザは、カメラの光学的性質を著しく変更する必要もなく、ソリッドステート撮像装置に代わって、撮像システム内で、1つのフレームサイズのフィルムを任意に使用可能となる。特定の実施例は、人間の可視画像に敏感な第1のフィルムベースの撮像システム、および、ユーザが任意にソリッドステート撮像装置を用いる第2の撮像システム、または、セキュリティや観測カメラにおけるように、人間の不可視光に敏感なフィルム撮像システムを有するカメラである。
【００９８】
マイクロレンズのサイズ、形、および光学的性質に伴う、マイクロレンズ再構成に関する、画像キャプチャ容量を改良するためのマイクロレンズ8アレイの使用についての詳細は、引用により開示から組み込まれる、2002年6月12日に、アービング（Irving）他の名前で出願された、「マイクロレンズキャプチャおよび光学的再構成を伴うハロゲン化銀フィルムを用いる撮像(Imaging Using Silver Halide Films With Micro-Lens Capture And Optical Reconstruction)」と題された米国特許出願第10/167,794号、および、2002年6月12日に、スザジュースキー（Szajewski）他の名前で出願された、「マイクロレンズキャプチャ、スキャニング、およびディジタル再構成を伴うハロゲン化銀フィルムを用いる撮像(Imaging Using Silver Halide Films With Micro-Lens Capture, Scanning And Digital Reconstruction)」と題された米国特許出願第10/170,148号において開示されている。マイクロレンズアレイとソリッドステート画像キャプチャ装置との組み合わせは、引用により開示が組み込まれる、2002年12月20日、スザジュースキー（Szajewski）他の名前で出願された、「拡張有用ラチチュードを有するディジタルカメラ(Digital Camera Having Extended Useful Latitude)」と題された米国特許出願第10/326,455号、および、スザジュースキー（Szajewski）他の「逆実装マイクロレンズ(Inverse Mounted Micro-Lenses)」と題された米国特許出願第10/281,654号において説明されている。
【００９９】
他の実施例では、第1の画像キャプチャシステム10および第2の画像キャプチャシステム20は、双方とも、例えば、カラー分解露光を可能にするよう、ビームスプリッタ12と組み合わせて使用可能な、感光要素14上の画像をキャプチャ可能である。ここで、カラーフィルタは、パン増感感光要素と共に使用可能である。代替的に、当該技術で知られているように、感光要素は、所望の色感度への増感が特に可能である。さらに他の実施例では、カラー分解露光を可能にするために、2つ以上のソリッドステート画像キャプチャシステムが、複数のビームスプリッタと組み合わせて用いる別々の撮像装置と共に使用可能である。特定色画像キャプチャを可能にするために、カラーフィルタが使用可能である。感度は、人間に可視の赤色、緑色、青色のトライアッド、補色のシアン、マゼンタ、イエロのトライアッドでもよく、または特定のアプリケーションで所望される、UV、IR、または遠IR感度を含んでもよい。
【０１００】
本発明は、一定の好ましい実施例に特に関連して詳細に説明されてきたが、本発明の精神および範囲内で、変更および修正をなし得ることは理解されるであろう。
【図面の簡単な説明】
【０１０１】
【図１】本発明の撮像システムの一実施例を示す図である。
【図２】画像センサの正面概略図である。
【図３】図1の撮像システムの背面図である。
【図４】マイクロレンズの光学的に関連したアレイを伴う、画像センサの一実施例の正面図である。
【図５】図4に示された画像センサおよびマイクロレンズアレイの、一実施例の側面図である。
【図６Ａ】シーン露光、実ラチチュード、および有効ラチチュードの間の関係を説明するのに役立つ図である。
【図６Ｂ】感光要素に対する集中光の効果を説明するのに役立つ図である。
【図６Ｃ】感光要素に対する残余光の効果を説明するのに役に立つ図である。
【図７Ａ】本発明のマイクロレンズの光学的に関連したアレイを伴う画像センサの、他の実施例の正面概略図である。
【図７Ｂ】図7Aの実施例の側面概略図である。
【図８Ａ】本発明を実行する際に役立つ、マイクロレンズアレイの実施例を示す図である。
【図８Ｂ】本発明を実行する際に役立つ、マイクロレンズアレイの実施例を示す図である。
【図８Ｃ】本発明を実行する際に役立つ、マイクロレンズアレイの実施例を示す図である。
【図８Ｄ】本発明を実行する際に役立つ、マイクロレンズアレイの実施例を示す図である。
【図８Ｅ】本発明を実行する際に役立つ、マイクロレンズアレイの実施例を示す図である。
【図９Ａ】マイクロレンズの単一のアレイ内で有効に結合し得る、異なるマイクロレンズのアレイの実施例を示す図である。
【図９Ｂ】マイクロレンズの単一のアレイ内で有効に結合し得る、異なるマイクロレンズのアレイの実施例を示す図である。
【図９Ｃ】マイクロレンズの単一のアレイ内で有効に結合し得る、異なるマイクロレンズのアレイの実施例を示す図である。
【図９Ｄ】図９Aのアレイを通り抜ける、シーンからの光に対して、画像センサの画像通りの露光により、画像センサ上に形成されたパターンを示す図である。
【図９Ｅ】図９Bのアレイを通り抜ける、シーンからの光に対して、画像センサの画像通りの露光により、画像センサ上に形成されたパターンを示す図である。
【図９Ｆ】図９Cのアレイを通り抜ける、シーンからの光に対して、画像センサの画像通りの露光により、画像センサ上に形成されたパターンを示す図である。
【図１０Ａ】マイクロレンズ、球面、および非球面レンズのアレイを示す断面図である。
【図１０Ｂ】マイクロレンズ、球面、および非球面レンズのアレイを示す断面図である。
【図１０Ｃ】マイクロレンズ、球面、および非球面レンズのアレイを示す断面図である。
【図１１】本発明に従う、撮像のフローチャートを示す図である。
【図１２】画像センサの画像通りの露光後、画像センサ上に形成された、コントラストパターンを示す図である。
【図１３】本発明の撮像システムの、他の実施例を示す図である。
【符号の説明】
【０１０２】
4              撮像システム
5              ユーザ
6              撮影レンズユニット
8              ビームスプリッタ
10             第1の画像キャプチャシステム
11             第1の撮像表面
12             マイクロレンズアレイ
12a            マイクロレンズアレイ
12b            マイクロレンズアレイ
13             感光要素位置決めシステム
14             感光要素
15             ゲートシステム
16             フィルム供給システム
17             プレッシャプレート
18             感光要素接触面
19             プレッシャプレートアセンブリ
20             第2の画像キャプチャシステム
21             第2の撮像表面
23             シャッタシステム
24             画像センサ
25             光センサ
25a            残余画像領域内光センサ
25b            集中画像領域内光センサ
26             要素
27             不活性領域
28             要素
30             レンズドライバ
32             ファインダシステム
33             ファインダディスプレイ
34             アナログ信号プロセッサ
35             ファインダ光学素子
36             A/Dコンバータ
38             フレームメモリ
39             ディスプレイドライバ
40             ディジタル信号プロセッサ
42             外部ディスプレイ
44             データメモリ
46             コミュニケーションモジュール
48             距離計
50             マイクロプロセッサ
52             メモリカード
54             メモリカードスロット
56             メモリカードインタフェース
58             ユーザコントロール
60             シャッタートリガボタン
62             「ワイド」ズームレンズボタン
63             アクセプトボタン
64             「テレ」ズームレンズボタン
66             タイミングジェネレータ
68             センサドライバ
72             ダイナミックレンジ増強マイクロレンズ
72a            第1の組のマイクロレンズ
72b            第2の組のマイクロレンズ
74             集中画像領域
74a            第1の組の集中画像領域
74b            第2の組の集中画像領域
75a            ライン画像露光
75b            ライン画像露光
76             残余画像領域
78             サポート
80             シーン輝度範囲
82             実光センサラチチュード
84             下方応答閾値
86             上方応答閾値
88             所望システムラチチュード
90             所望システム下方応答閾値
92             所望システム上方応答閾値
94             シーン露光レベルの第1の領域
96             シーン露光のレベルの第2の領域
100            感度増強マイクロレンズのアレイ
102            感度増強マイクロレンズ
104            残余画像
106            感度増強集中光
108            集中光
120            トリガ信号検出ステップ
122            センサ露光実行ステップ
124            センサ問合せステップ
126            集中画像領域内光センサからの画像情報抽出ステップ
128            残余画像領域内光センサからの画像情報抽出ステップ
130            画像再構成ステップ
140            受光表面
142            光フォーカシング表面
144            スペーサ
A              第1の軸
B              第2の軸
【図１】
2004280096.tif 000003
【図２】
2004280096.tif 000004
【図３】
2004280096.tif 000005
【図４】
2004280096.tif 000006
【図５】
2004280096.tif 000007
【図６Ａ】
2004280096.tif 000008
【図６Ｂ】
2004280096.tif 000009
【図６Ｃ】
2004280096.tif 000010
【図７Ａ】
2004280096.tif 000011
【図７Ｂ】
2004280096.tif 000012
【図８Ａ】
2004280096.tif 000013
【図８Ｂ】
2004280096.tif 000014
【図８Ｃ】
2004280096.tif 000015
【図８Ｄ】
2004280096.tif 000016
【図８Ｅ】
2004280096.tif 000017
【図９Ａ】
2004280096.tif 000018
【図９Ｂ】
2004280096.tif 000019
【図９Ｃ】
2004280096.tif 000020
【図９Ｄ】
2004280096.tif 000021
【図９Ｅ】
2004280096.tif 000022
【図９Ｆ】
2004280096.tif 000023
【図１０Ａ】
2004280096.tif 000024
【図１０Ｂ】
2004280096.tif 000025
【図１０Ｃ】
2004280096.tif 000026
【図１１】
2004280096.tif 000027
【図１２】
2004280096.tif 000028
【図１３】
2004280096.tif 000029