(57)【要約】  画像データを処理して、焦点合わせおよび／光学的補正を容易なものとする。本発明のある例示の実施形態によれば、撮像装置が特定の焦点面を通過する光に対応する光データを収集する。この光データをある方式を用いて収集するが、この方式によって、焦点面の一部分に入射した光のさまざまな部分が発した方向を決定しやすくするものである。この方向情報を光センサーで検出された光の値と関連させて用いることによって、光が表す画像が、選択的に結像および／または補正される。
2008515110.tif 000002
【特許請求の範囲】
【請求項１】
場面をディジタル的に撮像する方法において、前記方法が、
光センサーアレイを用いて、焦点面上の互いに異なったロケーションに送られる場面からの光を同時に検出することと、
焦点面上の互いに異なったロケーションで検出された前記光の入射角を測定することと、
前記測定された入射角と測定された被写界深度とを用いて、画像の少なくとも一部分が再結像される出力画像を計算することと、
を含む方法。
【請求項２】
前記出力画像を計算することが、検出された光を再結像して、異なった焦点面で少なくとも一部分が結像された画像を形成することを含む、請求項１に記載の方法。
【請求項３】
前記検出された光を再結像させることが、
異なった焦点面に結像された前記画像の少なくとも一部分を形成する前記検出された光からの光線の集合を測定することと、
前記測定された光線の集合を合成して、前記異なった焦点面のところに結像された前記出力画像の部分を形成することと、
を含む、請求項２に記載の方法。
【請求項４】
前記検出された光を再結像させることが、光を検出する際に用いられる光学系の状態を補正することを含む、請求項１に記載の方法。
【請求項５】
前記検出された光を再結像させることが、レンズの収差を補正することを含む、請求項１に記載の方法。
【請求項６】
場面から画像を合成するディジタル撮像システムにおいて、前記システムが、
複数の光センサーを有する光センサーアレイと、
場面からの光を２次元焦点面を介して前記光センサーアレイに対して出力するように適用された光学装置であって、前記２次元焦点面の特定の部分を介して通過する光線の集合に対して、複数の光センサーを配置して、前記２次元焦点面の前記特定の部分のところに、互いに異なった入射角で同時に到達する光線の集合の内の互いに異なった光線を検出する、前記光学装置と、
互いに異なった光センサーで検出された光と、光を検出する各々の光センサーのロケーションを特徴として持つこの検出された光の前記２次元焦点面に対する入射角との関数として、合成された再結像画像を計算するようにプログラムされたプロセッサと、
を備えるシステム。
【請求項７】
前記光学装置が、前記焦点面上に置かれたマイクロレンズアレイを含み、前記マイクロレンズアレイが複数のマイクロレンズを含み、各々のマイクロレンズが、前記マイクロレンズに入射した光のレイを分離して、前記分離したレイを前記光センサーアレイ中の光センサーの集合に対して出力するように適用される、請求項６に記載のシステム。
【請求項８】
前記プロセッサが、前記マイクロレンズに対する各々の光センサーの位置を用いて各々の光センサーに対する光の入射角を測定する、請求項７に記載のシステム。
【請求項９】
前記プロセッサが、検出された光が発する元の場面中の被写体の被写界深度を決定し、また、前記被写界深度と前記検出された光の入射角とを用いて、前記２次元焦点面とは異なる焦点面に結像された合成画像を計算するようにプログラムされた、請求項６に記載のシステム。
【請求項１０】
キャプチャされた光線の集合から画像を合成するディジタル撮像システムにおいて、前記システムが、
メインレンズと、
光線の集合をキャプチャする光センサーアレイと、
前記メインレンズと前記光センサーアレイ間にあるマイクロレンズアレイであり、前記光線集合が、前記メインレンズから前記マイクロレンズアレイを介して前記光センサーアレイにまで物理的に出力される、前記マイクロレンズアレイと、
前記光センサーアレイがキャプチャした光線集合を仮想的に再出力して合成された再結像画像を計算するデータプロセッサと、
を備えるシステム。
【請求項１１】
前記データプロセッサが、選択された光線を選択的に組み合わせて、光線の集合を仮想的に再出力することによって画像を計算する、請求項１０に記載のシステム。
【請求項１２】
前記データプロセッサが、選択された光線を選択的に加算して、光線の集合を仮想的に再出力することによって画像を計算する、請求項１０に記載のシステム。
【請求項１３】
前記データプロセッサが、光線を選択的に重み付けして加算して、光線の集合を仮想的に再出力することによって画像を計算する、請求項１０に記載のシステム。
【請求項１４】
前記データプロセッサが、前記光センサーアレイ上の光線の空間的分布と、前記メインレンズから前記マイクロレンズを介して前記光センサーアレイに至る前記光線集合の物理的方向とに基づいて前記光線集合を仮想的に再出力することによって画像を計算する、請求項１０に記載のシステム。
【請求項１５】
前記データプロセッサが、光線の集合を仮想的に再出力して、前記マイクロレンズアレイが置かれている平面とは異なった平面に画像の一部分を再結像させる、請求項１０に記載のディジタル撮像システム。
【請求項１６】
前記データプロセッサが、光線の集合を仮想的に再出力することによって、レンズ収差を補正する、請求項１０に記載のディジタル撮像システム。
【請求項１７】
前記データプロセッサが、光線の集合を仮想的に再出力することによって、前記合成画像の被写界深度を拡大する、請求項１０に記載のディジタル撮像システム。
【請求項１８】
前記光センサーアレイが、前記マイクロレンズアレイ中のマイクロレンズごとに、複数の光センサーを含む、請求項１０に記載のディジタル撮像システム。
【請求項１９】
前記メインレンズが場面の２次元画像を前記マイクロレンズアレイ上にピントを合わせ、前記マイクロレンズ中の各々のマイクロレンズが、自身のところに焦点合わせされた光線を前記メインレンズによって発散させ、また、前記発散した光線を前記マイクロレンズの前記複数の光センサーに対して出力するように適用される、請求項１８に記載のディジタル撮像システム。
【請求項２０】
前記データプロセッサが、前記光センサーアレイからのデータを利用し、後出の各々のサブ画像のさまざまな焦点深度を分離することによってキャプチャされた光線が表す場面のさまざまな部分から結像されたサブ画像を作成する、請求項１０に記載のディジタル撮像システム。
【請求項２１】
前記データプロセッサが、前記結像されたサブ画像を組み合わせることによって最終的な画像を合成する、請求項２０に記載のディジタル撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には撮像用途に関し、より詳しくは、画像データを処理して、この画像データを結像および／または補正することに関する。
【背景技術】
【０００２】
カメラ、ビデオカメラ、顕微鏡、望遠鏡などに関連するような撮像用途では、一般的に、集光量が制限されていた。すなわち、ほとんどの撮像デバイスでは、このデバイスに入ってくる光分布に関する情報のほとんどが記録されない。例えば、ディジタル式のスチールカメラやビデオカメラなどの従来のカメラでは、外界から入ってくる光分布に関する情報のほとんどが記録されない。このようなデバイスでは、集められた光は、さまざまな深度（撮像デバイスからの距離）での焦点合わせ、レンズ収差に対する補正、画角操作などのさまざまな方式のための操作のために修正することが不可能である場合が多い。
【０００３】
スチール撮像用途の場合、特定の場面をキャプチャする一般的な撮像デバイスは、一般に、場面中の被写体や物体に焦点を合わせるが、この場面の他の部分は焦点からはずされる。ビデオ撮像用途でも、類似の問題が広がっており、ビデオの応用例で用いられる画像の収集物では、複数の場面をピントが合った状態でキャプチャすることが不可能である。
【０００４】
多くの撮像用途では、光を収集するために用いられる装置（レンズ）に収差が発生するという問題がある。このような収差には、例えば、球面収差、色収差、歪み、光照射野の湾曲、斜め非点収差などがある。収差補正では、一般的に補正光学系が使用されていたが、これが大きくなるに連れて、撮像デバイスの値段と重量が増す。カメラ電話やセキュリティカメラなどの小規模光学系の利点を持っている一部の応用例では、この応用例にまつわる物理的限界のため、追加の光学系を組み込むことは望ましくない。
【０００５】
上記の問題に関連する難しさが、ディジタル画像の獲得と変更にともなう課題と共に撮像用途にとっての課題となっている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、撮像デバイスとその実現に関連する上記の課題と他の課題を克服することを意図する。本発明は、多くの実施例と応用例で例示されるが、その一部を以下に要約する。
【課題を解決するための手段】
【０００７】
本発明の例示の実施形態によれば、光を検出して、指向性情報でこの検出された光の特徴を表す。この指向性情報を検出光と一緒に用いて、再結像された画像と補正された画像の内の一方または双方に対応して仮想画像を生成する。
【０００８】
本発明の別の例示的実施形態によれば、ある画面内の互いに異なった焦点深度を持った２つ以上の被写体を撮像し、この場面にあって各々の被写体に対応する部分をさまざまな焦点面で結像させる。画面からの光を物理的焦点面に焦点合わせして検出し、これと一緒に、この物理的焦点面上の特定のロケーションに光が到達した方向を特徴付ける情報を得る。物理的焦点面に焦点があっていない被写界の深度にある少なくとも１つの被写体に対応する、この物理的焦点面とは異なった仮想の焦点面が決定される。検出された光とこの指向性特徴を用いて、この少なくとも１つの被写体の仮想焦点面における結像に対応するこの光の部分を集光して加算して、この少なくとも１つの被写体の仮想結像を形成する。
【０００９】
本発明の別の例示的実施形態によれば、場面はディジタル的に撮像される。焦点面上のさまざまなロケーションに対して場面から到達した光が検出され、この焦点面上のさまざまなロケーションにおける検出光の入射角度が検出される。検出光の元の場面内の部分の被写界深度を検出し、測定された入射角度と一緒に用いて、この検出光をディジタル的に再ソーティングする。用途次第では、この再ソーティングは、再焦点合わせおよび／またはレンズ収差の補正を含む。
【００１０】
本発明に関する上記の要約は、本発明の図示する各々の実施形態やすべての実施例を説明することを意図するものではない。以下の図面と詳細な説明は、これらの実施形態をさらに特定的に例示するものである。
【発明を実施するための最良の形態】
【００１１】
本発明は、さまざまなタイプのデバイスに対して有用であると信じられており、また、本発明は、電子撮像デバイスとその用途には特に適していることが分かっている。本発明は必ずしもこのような用途に限られるわけではないとはいえ、本発明のさまざまな態様が、この文脈を用いたさまざまな例を検討することによって理解される。
【００１２】
本発明の例示の実施形態によれば、４次元（４Ｄ）の光照射野（例えば、フリーな空間などの領域中の各々のレイに沿って進行する光）を、焦点面におかれたセンサーに到達する光の量と方向を測定する動作を伴う方式を用いて検出する。焦点面上の光の２次元位置を検出して、それと共に、光がこの面内の特定のロケーションに到達した方向の特徴を表す情報を得る。この方式によって、センサーのさまざまなロケーションに到達する指向性の光分布が測定され、これを用いて画像を形成する。光照射野の感知および／または測定のために実現されるアセンブリは、「光線センサー」または「レイセンサー」と呼ばれる。
【００１３】
１つの応用例では、上記の方式に類似した方式を、撮像面に入射する光線の空間を、測定されたレイの集合からさまざまな仕方で画像を表現する計算機能によってサンプリングする光学系とセンサーとを有する撮像システムを用いて実現している。これら光学系、センサーおよび計算機能体は各々が、実施レイ次第で、組み合わせてまたは別個にさまざまな方式を用いて実現される。例えば、画像を撮像面上に置かれた光センサーアレイ（複数のセンサー）上に結像させるレンズ（光学系）を有するカメラを用いて、光線の空間をサンプリングすることが可能である。この光センサーアレイからの出力を計算機能体（例えば、カメラの内部および／または外部にあるプロセッサ）で用いて、さまざまな深度でまたはさまざまな被写界深度で結像される写真を計算することおよび／またはレンズ収差を計算で補正して高品質の画像を生成することなどによって、画像を表現する。
【００１４】
本発明の別の例示の実施形態では、撮像システムの光学系とセンサーのコンポーネントが、光のレイをセンサー部品に対して発射し、これで、センサー部品の各々が、特定の方向で発する光線を含む光線の集合を感知するようにする。多くの応用例では、このレイの集合は、空間と方向の双方で限定されたレイの束である。多くの応用例では、このレイの束は、光学系とセンサーの解像度が増すに連れて１つの幾何学的光のレイに収束する。この点、以下の記述では、さまざまな部分で、センサー部品が感知した値を、一般的に幾何学的光線には限られないが、「光のレイ」もしくは「光線」または単に「レイ」と呼んでいる。
【００１５】
ここで図面に目を向けると、図２８に、本発明の別の例示の実施形態による撮像装置２８９０を示す。この撮像装置２８９０は、メインレンズ２８１０と、自身のさまざまなロケーションに、さまざまな入射方向から到達する光の値を測定する光線センサーとを含んでいる。この文脈では、光の値の測定は、センサーのさまざまなロケーションに到達する光を、強度などのこの光の特徴と共に検出して、値を生成することによって実施される。
【００１６】
図１に、本発明の例示の実施形態による撮像システム１００を示す。この撮像システム１００は、メインレンズ１１０、マイクロレンズアレイ１２０および光センサーアレイ１３０を有する撮像装置１９０を含んでいる。この場合、マイクロレンズアレイ１２０と光センサーアレイ１３０で光線センサーを実現している。図１では特定のメインレンズ１１０（単一部品）と特定のマイクロレンズアレイ１２０を示しているが、当業者には、さまざまなレンズおよび／マイクロレンズアレイ（現在入手可能または将来開発されるもの）が、例えば、図示のメインレンズおよび／またはマクロレンズアレイを交換することによって類似の方式で選択的に実現されることが認識されるであろう。
【００１７】
撮像された場面中の被写体１０５上の１つのポイントからの光のレイは、マイクロレンズアレイ１２０の焦点面上の１つの収束ポイントに集められる。例えば、被写体１０５の撮像ポイントが、マイクロレンズからメインレンズへの距離と共役であるメインレンズからからの距離のところにあれば、図示するように、ディメンジョン「ｄ」はディメンジョン「ｓ」にほぼ等しい。この収束ポイントにあるマイクロレンズ１２２が、これら光のレイをこの光の方向に基づいて分離して、マイクロレンズの下方に光センサーのメインレンズ１１０のアパーチャを結像する。
【００１８】
光センサーアレイ１３０は、自身に入射する光を検出して出力するが、この出力は、さまざまなコンポーネントの内の１つ以上を用いて処理される。この応用例では、この出力された光データは、センサーデータ処理回路１４０に送られ、ここで、このデータを各々の光センサーに関する位置情報とともに用いて、場面（例えば、被写体１０５、１０６および１０７を含む場面）の画像を生成する際のデータを提供する。センサーデータ処理回路１４０は、例えば、コンピュータによって、または、共通のコンポーネント（例えばチップ）または互いに異なったコンポーネントとして選択的に実現されている他の処理回路によって実現される。１つの実施例では、センサーデータ処理回路１４０の一部分が撮像装置３９０中で実現され、別の部分が外部コンピュータ中で実現されている。検出された光（それと、例えば、検出光の特徴も）を、光がマイクロレンズアレイに到達した周知の方向（各々の光センサーの周知のロケーションを用いて計算されている）と共に用いて、センサーデータ処理回路１４０は、光データを選択的に再結像および／または補正して、画像を形成する（ここで、再結像は補正であってもよい）。検出光を処理するさまざまな方式を以下に、他の図を参照したりしなかったりして詳述する。これらの方式は、上記と呼応したセンサーデータ処理回路１４０で選択的に実施される。
【００１９】
撮像システム１００のさまざまな部分が、特定の応用例にしたがって共通のまたは別個の物理的装置中で選択的に実現される。例えば、さまざまな応用物で実現すると、マイクロレンズアレイ１２０と光センサーアレイ１３０は、共通の装置１８０として合成される。ある応用例では、マイクロレンズアレイ１２０と光センサーアレイ１３０は、共通のチップまたは他の回路装置上に一緒にカップリングされている。カメラのようなデバイスなどの手持ち式デバイスで実現すると、メインレンズ１１０、マイクロレンズアレイ１２０および光センサーアレイ１３０は、手持ち式デバイスに組み込まれる共通の撮像装置１９０中に選択的に組み合わされる。さらに、ある種の応用例では、センサーデータ処理回路１４０の内の一部またはすべてを、光センサーアレイ１３０と一緒に（例えば共通のチップ上に）共通の回路装置中で実現する。
【００２０】
ある応用例では、撮像装置１００が、画像をキャプチャしようとしているユーザに対してプレビュー画像を提示するプレビュー装置１５０を含んでいる。このプレビュー装置は光センサーアレイ１３０と通信可能に結合されており、光センサーアレイ１３０から画像データを受信する。プレビュープロセッサ１６０は、この画像データを処理して、プレビュー画像を生成し、これがプレビュー画面１７０に表示される。ある応用例では、プレビュープロセッサ１６０は、画像センサー１８０と共に共通チップ上に及び／または共通回路中で実現される。センサーデータ処理回路１４０が上記したように光センサーアレイ１３０と共に実現される応用例では、プレビュープロセッサ１６０は、センサーデータ処理回路１４０と共に選択的に実現するが、光センサーアレイ１３０が収集した画像データの一部または全部を用いて、プレビュー画像を生成する。
【００２１】
このプレビュー画像は、最終画像を生成するために用いられる場合よりも比較的少ない計算機能および／またはデータを用いて生成される。例えば、カメラや携帯電話などの手持ち式撮像デバイスで実現されると、なんら焦点合わせやレンズ補正をしないプレビュー画像で十分である。この点で、比較的安価および／または小型でもプレビュー画像を生成するような処理回路を実現することが望ましい。このような応用例では、プレビュープロセッサは、例えば、上述したような第１の拡大された被写界深度を計算する方法を用いることによって、比較的低い計算コストおよび／または少ないデータで画像を生成する。
【００２２】
撮像システム１００は、応用例によってさまざまな仕方で実現される。例えば、マイクロレンズアレイ１２０は例としていくつかの顕著なマイクロレンズを含んでいるものとして示されているが、このアレイは一般に多くの（例えば数千から数百万の）マイクロレンズで実現される。光センサーアレイ１３０は、一般的に、そのピッチはマイクロレンズアレイ１２０より比較的小さく、マイクロレンズアレイ１２０中のマイクロレンズ各々に対して数個の光センサーが対応している。加えて、マイクロレンズアレイ１２０中のマイクロレンズ、及び光センサーアレイ１３０中の光センサーは、一般に、各々のマイクロレンズを介して光センサーアレイにまで通過する光が隣のマイクロレンズを介して通過する光とオーバーラップしないように位置付けされる。
【００２３】
さまざまな応用例では、メインレンズ１１０は、その光軸に沿って平行移動（図１に示すように、水平方向に）されて、例えばメインレンズと例示の撮像被写体１０５の間で所望の深度「ｄ」のところにある対象被写体に焦点を合わせる。一例として、被写体１０５の１つのポイントからの光線をこの議論の目的で示す。これらの光線は、マイクロレンズアレイ１２０の焦点面上のマイクロレンズ１２２のところにある１つの収束ポイントに集められる。マイクロレンズ１２２は、これら光のレイを方向に基づいて分離して、マイクロレンズの下方の画素のアレイ中の画素１３２の集合のところにあるメインレンズ１１０のアパーチャを結像する。図１０に、光線を分離させ、これで、メインレンズ１０１０上のあるポイントから発して同じマイクロレンズ（例えば１０２２）の表面のどこかに到達するすべてのレイがこのマイクロレンズによって方向付けされて、光センサー（例えば１０２３）上の同じポイントに収束するようにする１つの例示の方式を示す。図１０に示すこの方式は、例えば、図１と関連させて実施される（すなわち、メインレンズ１０１０はメインレンズ１１０の代わりに実現されており、マイクロレンズアレイ１０２０はマイクロレンズアレイ１２０の代わりに実現されており、光センサーアレイ１０３０は光センサーアレイ１３０の代わりに実現されている）。
【００２４】
マイクロレンズアレイ１２２中の特定のマイクロレンズの下に形成される画像は、撮像面上のそのロケーションでのシステムの指向性解像度を決定する。一部の応用例では、指向性解像度は、メインレンズの主要面上にマイクロレンズの焦点を合わせている状態で、マイクロレンズの画像の鮮明化を促進することによって向上される。ある種の応用例では、マイクロレンズは、マイクロレンズアレイとメインレンズ１１０間の分離距離より少なくとも２桁小さい。これらの応用例では、メインレンズ１１０は、実質的にマイクロレンズの光学的無限遠にあり、したがって、マイクロレンズのピントを合わせるために、光センサーアレイ１３０はマイクロレンズの焦点深度のところの平面上に置かれている。
【００２５】
メインレンズ１１０とマイクロレンズアレイ１２０間の分離距離「ｓ」は、マイクロレンズの被写界深度以内で鮮明な画像を達成するように選択される。多くの応用例では、この分離距離は正確に約Δｘp・（ｆm／Δｘm）であり、ここで、Δｘpはセンサー画素の幅であり、ｆmはマイクロレンズの焦点深度であり、Δｘmはマイクロレンズの幅である。１つの特定の応用例では、Δｘpは約９ミクロンであり、ｆmは約５００ミクロンである。Δｘmは約１２５ミクロンであり、マイクロレンズアレイ１２０と光センサーアレイ１３０間の分離距離は約３６ミクロンである。
【００２６】
マイクロレンズアレイ１２０はさまざまなマイクロレンズとその装置の内の１つ以上を用いて実現される。１つの例示の実施形態では、潜在的に空間的特定画変動するマイクロレンズの平面は、マイクロレンズアレイ１２０として実現される。例えば、マイクロレンズアレイは、均等および／または不均等で、その及ぶ範囲が方形または非方形であり、規則的に分布または不規則的に分布しており、繰り返しまたは非繰り返しパターンを持ち、オプションとして隠蔽される部分を持つレンズを含む。これらマイクロレンズ自身は、凸形状であったり、凹形状であったり、所望の物理的な光方向を実現する任意のプロフィールを有し、また、平面上のマイクロレンズごとにプロフィールが変動する。さまざまな分布とレンズプロフィールとが選択的に組み合わされている。これらのさまざまな実施形態では、サンプリングパターンが、アレイのある領域では空間的に高く（それに応じて、角度が低く）、別の領域では角度が高い（それに応じて、空間的には低い）。このようなデータの１つの用途として、４Ｄ空間での所望の空間解像度と角度解像度にマッチするように内挿しやすくする用途がある。
【００２７】
図２４Ａに、本発明の別の例示の実施形態による、マイクロレンズアレイの一部を示す（視線が平面に対して直角）。マイクロレンズは方形であり、アレイに規則的に分布している。
【００２８】
図２４Ｂに、本発明の別の例示の実施形態による、マイクロレンズアレイの一部を示す。マイクロレンズの平面分布が不規則または繰り返しであり、マイクロレンズの形状が任意である。
【００２９】
図２４Ｃに、凸形状プロフィールと円形アパーチャを有するメインレンズを持つ図２４Ａに示すような分布で、本発明の別の例示の実施形態による光センサーに現われる画像を示す。
【００３０】
他の例示の実施形態では、より大きいマイクロレンズやより小さいマイクロレンズからなる規則的なモザイク模様が用いられる。１つの実施例では、結果として得られる光センサーデータが内挿されて、モザイク中の１つ以上のマイクロレンズの空間解像度と角度解像度が最大である均等なサンプリングが得られる。
【００３１】
図１９Ａ〜１９Ｆは、本発明の１つ以上の例示の実施形態による、上記のようなモザイクアレイを実現する方式を示す。図１９Ａは、マイクロレンズの例示の相対的なサイズと配置を示す平面の俯瞰図である。図１９Ｂは、図１９Ａの各々のマイクロレンズを介して投射した後の光センサーアレイ上に形成される画像の形状を示す。図１９Ｃは、図１９Ａのアレイの断面図であり、これらマイクロレンズが同じＦナンバーを有しており、また、これらの焦点が同じ平面を共有していることを示している。このため、より小さいマイクロレンズを、大きいマイクロレンズの場合より焦点面に対してより近づける必要がある。これによって、各々のマイクロレンズの下方に現われるメインレンズの画像がオーバーラップすることなくより大きくなり、すべてが、焦点を含んでいる平面に置かれた光センサー上にピントが合うようになる。
【００３２】
図１９Ｄに、本発明の別の例示の実施形態による、メインレンズ１９１０、モザイク風マイクロレンズアレイ１９２０および光センサー装置１９３０を含む完全な撮像装置中で実現される図１９Ａと１９Ｃに示すマイクロレンズの断面図を示す。ここで、この図はいくつかのマイクロレンズとマイクロレンズごとにいくつかの画素を持つものとして示しているが、実際のマイクロレンズと画素の数は、所与の応用例の解像度用件を決定してこれら各々適当な数を実現することなどのさまざまな方式を用いて選択される。
【００３３】
図１９Ｅは、メインレンズ１９１０上のｕからスタートしてマイクロレンズ１９２０アレイ上のｓで終わるレイの空間を示すレイのデカルト図である（レイの空間を分かりやすいように２Ｄで示してあるが、実際にはレイの全体的空間は４Ｄである）。図１９Ｃ中の各々の光センサー（Ａ〜Ｐちラベル付けされている）で加算されるレイの集合を、図１９Ｄのレイのデカルト図に示す。レイの全体４Ｄ空間では、各々の光センサーはレイの４Ｄボックスを累積する。より大きいマイクロレンズの下の光センサーに対する４Ｄボックスは、より小さいマイクロレンズの下の光センサーの（ｕ，ｖ）方向軸では半分の幅（倍の解像度）と（ｘ，ｙ）空間軸では倍の幅（半分の解像度）を有している。
【００３４】
別の例示の実施形態では、光センサーの値を規則的なグリッドに内挿し、これで、すべての軸方向の解像度がすべての軸方向での最大の解像度となるようにする。図１９Ｆにこのような方式を示すが、この方式では、各々の光センサーの値を表すレイのボックスを近傍のボックス値を内挿することによって分割する。図示する２Ｄのレイ空間では、各々のボックスを２つに分割しているが、４Ｄ空間では、各々のボックスを４つに分割している（その長手方向の側部の各々に沿って２分割ずつしている）。一部の実施形態では、この内挿された値を、近傍の値を分析することによって計算している。別の実施形態では、この内挿値を、所望の値の近傍にあるオリジナルの分割されていないボックスの値の重み付けされた和として実現している。
【００３５】
一部の応用例では、重み付け、近傍の値に基づいている判定関数によって異なる仕方で実現している。例えば、重み付けで、４Ｄ関数空間中のエッジを含む尤度が最も低い軸に沿って内挿する。エッジがこの値の近傍にある尤度は、これらのロケーションでの関数値の勾配の大きさと関数のラプラス演算子のコンポーネントとから推定可能である。
【００３６】
別の例示の実施形態では、マイクロレンズ（例えば、図１９Ｄのアレイ１９２０または類似物中のそれら）は各々が内側に傾斜しており、これで、これらの光軸がすべてメインレンズのアパーチャの中心に来るようになっている。この方式によって、マイクロレンズの下でアレイのエッジに向かって形成される画像の収差が減少する。
【００３７】
再度図１を参照すると、メインレンズ１１０とマイクロレンズアレイ１２０中のマイクロレンズとのアパーチャサイズもまた（例えば、レンズの開口部の実効的なサイズ）、撮像装置１００が実現されている特定の応用例に合うように選択される。多くの応用例では、相対的なアパーチャサイズは、収集された画像がオーバーラップすることなくできり限り大きくなるように（すなわち、光が隣の光センサーにオーバーラップするような好ましい事態が発生することがないように）選択される。この方法は、メインレンズとマイクロレンズのそれぞれのＦナンバー（焦点比、すなわち、レンズの実効的な焦点距離に対するアパーチャの比）を整合させると実施しやすい。この例では、メインレンズ１１０のＦナンバーで表した実効的な焦点距離は、メインレンズ１１０とマイクロレンズ１２０間の距離「ｓ」に対するメインレンズのアパーチャの直径の比である。メインレンズ１１０の主要面が、マイクロレンズアレイ１２０が置かれている平面に対して平行移動される応用例では、メインレンズのアパーチャを選択的に修正し、これで、この比を維持し、したがって、マイクロレンズアレイ中の各々のマイクロレンズの下に形成される画像のサイズを維持するようにする。一部の応用例では、方形などのさまざまなメインレンズアパーチャの形状を用いて、光センサー表面上のマイクロレンズアレイの下に画像のアレイを望ましいように（例えば、効率的に）詰め込むようにする。
【００３８】
以下の説明では、本発明の１つ以上の例示の実施形態と共に、図１の撮像装置１００の一般的な応用例を参照する。撮像装置１００の内側の２面光照射野「Ｌ」を考えると、Ｌ（ｕ，ｖ，ｓ，ｔ）は、メインレンズ１１０と（ｕ，ｖ）のところで交差し、マイクロレンズアレイ１２０の平面とは（ｓ，ｔ）のところで交差する光線にそって進行する光を示している。マイクロレンズアレイ１２０中に理想的なマイクロレンズがあり、光センサーアレイ１３０中の並んだグリッド上に理想的な光センサー（例えば、軸）があると仮定すると、光センサーにまで進行する光もまたすべてが、マイクロレンズアレイ１２０中の自身の方形の親マイクロレンズを通過行し、さらに、メインレンズ１１０上の光センサーの共役な方形を通過する。メインレンズ１１０とマイクロレンズ上のこれら２つの方形の領域が、光照射野中の小型の４次元ボックスを指定して、光センサーが、このボックスが表すレイの集合中での光の総量を測定する。これに応じて、各々の光センサーが、光照射野中のこのような４次元ボックスを検出し、したがって、光センサーアレイ１３０によって検出された光照射野は、Ｌ（ｕ，ｖ，ｓ，ｔ）のボックスフィルタリングして、直線サンプリングしたものとなる。
【００３９】
図１１に、本発明の別の例示の実施形態による、センサー画素のロケーションを収集されたデータを基準としてＬ（ｕ，ｖ，ｓ，ｔ）空間中の光線に対してマッピングする方式を示す。図１１に示し本書に説明する方式は、例えば、光センサーアレイ１３０中の各々の光センサーがセンサー画素に対応している図１に応用可能である。底部右側の画像１１７０は、レイセンサー（光センサー）１１３０から読み取られた生データをダウンサンプリングしたものであり、丸で囲んだ１つのマイクロレンズの下に円形の画像１１５０が形成されている。底部左側の画像１１８０は、丸で囲んだマイクロレンズ画像１１５０の周りの生データの一部を、マイクロレンズ画像内で丸で囲った１つの光センサー値１１４０と一緒にクローズアップして表してものである。この円形状画像１１５０はレンズアパーチャの画像であるので、ディスク内部での選択された画素のロケーションが、メインレンズ上の図示するレイ１１０の開始位置の（ｕ，ｖ）座標となる。センサー画像１１７０内部でのマイクロレンズ画像１１５０のロケーションが、レイ１１２０の（ｘ，ｙ）座標となる。
【００４０】
センサー部品のレイに対するマッピングを図（と他の例示の実施形態）を参照して説明したが、さまざまなセンサー部品と関連する値は、各々の特定のセンサー部品に対して光学系を通って出力されるレイの集合の値で選択的に表される。図１の文脈では、光センサーアレイ中の各々の光センサーをこのように実現して、メインレンズ１１０とマイクロレンズアレイ１２０を介して光センサーに出力される光線の集合を現す値を提供することが可能である。すなわち、各々の光センサーが、この光センサーに入射した光に応答して出力を生成し、マイクロレンズアレイ１２０に対する各々の光センサーの位置が、入射光に関する方向情報を提供するために用いられる。
【００４１】
１つの例示の実施形態では、マイクロレンズアレイ１２０の解像度を、特定の応用例での最終的な画像の所望の解像度とマッチするように選択する。この光センサーアレイ１３０の解像度は、各々のマイクロレンズが、この応用例の所望の方向情報、すなわち、光センサーの実現され得る最も細かい解像度とマッチするために必要とされるできるだけ多くの光センサーをカバーするように選択される。この点で、撮像システム１００（および本書に記載する他のシステム）の解像度は、撮像のタイプ、経費、複雑性、および特定の解像度を達成するために用いられる入手可能な装置などを考慮して、特定の応用例にあるように選択的に調整される。
【００４２】
いったん画像データを光学系とセンサーによって（例えば、図１の撮像装置１９０を用いて）キャプチャすると、さまざまな計算機能と配慮を実施して、この画像データを選択的に処理する。本発明の１つの例示の実施形態では、さまざまな光センサー集合が、各々のマイクロレンズからのこれらの分離した光線をキャプチャして、このキャプチャされた光線に関する情報をプロセッサなどの計算コンポーネントに渡す。この画面の画像を、測定された光線の集合から計算する。
【００４３】
図１の文脈では、センサーデータ処理回路１４０は、画像データを処理して、被写体１０５、１０６、１０７を含んでいる画面の画像を計算するように実現されている。一部の応用例では、プレビュー装置１５０もまた、プレビュープロセッサ１６０を用いてプレビュー画像を生成するが、このプレビュー画像はプレビュー画面１７０に表示される。プレビュープロセッサ１６０は、センサーデータ処理回路１４０で実現され、プレビュー画像は、例えば、以下に説明する方式と矛盾しない仕方で生成される。
【００４４】
別の実施形態では、センサー装置から出力される画像中の画素ごとに、計算コンポーネントが、測定された光のレイのサブ集合に重み付けしてこれらを加算する。加えて計算コンポーネントが、例えば、画像複合方式を用いて、上述したように計算した画像の集合を分析して合成する。本発明は必ずしもこのような応用例には限られないが、本発明のさまざまな態様が、このような計算コンポーネントのいくつかの例示の実施形態を検討することによって考えられる。
【００４５】
さまざまな例示の実施形態に関して、画像データ処理では、キャプチャされている画像の少なくとも一部分が再結像される。一部の実施形態では、出力画像を、特定の場面の所望の要素にピントを合わせた写真に関連させて生成される。一部の実施形態では、この計算された写真を、世界（場面）の特定の所望の深度にピントを合わせるが、ピンボケは、従来の写真同様に、この所望の深度から離れるに連れて増す。場面中の被写体が異なれば、それにピントを合わせる焦点深度も異なる。
【００４６】
図１２に、本発明の別の例示の実施形態にしたがって測定された１つの光照射野から計算された、さまざまな深度で再結像された複数の画像１２００〜１２４０を示す。図１２に示す方式は、例えば、図１に示すような撮像装置を用いて実施される。
【００４７】
図１３Ａと１３Ｂに、本発明の別の例示の実施形態による、再結像方式を示す。この方式は、例えば、図１に示すセンサーデータ処理回路１４０などの撮像システムの計算コンポーネント／プロセッサコンポーネントで実施される。撮像装置からの各々の出力画素（例えば１３０１）は、仮想フィルム面１３１０上の３次元（３Ｄ）ポイント（例えば１３０２）に対応している。この仮想フィルム面１３１０はメインレンズ１３３０の背後に置かれるが、この位置では、平面１３１０が世界（図示せず）内での所望の焦点面と光学的に共役である。すなわち、仮想フィルム面１３１０は、フィルム面が１つの２次元（２Ｄ）画像をキャプチャするのに望ましい位置に置かれる（例えば、この位置は、写真フィルムが、２Ｄ画像をキャプチャするために従来型のカメラで位置付けされる位置と同等である）。光を方向によって（例えば、図１のマイクロレンズアレイ１２０を用いて）分離することによって、仮想フィルム面１３１０に到達する光を選択的に計算することが可能である。この点で、出力画素１３０１の値は、対応する３Ｄポイント１３０２に収束する光線１３２０が成す円錐体を加算することによって計算される。これらのレイの値は、レイセンサー１３５０によって収集されたデータから探り出される。図１３Ａは、見た目の単純さのために、撮像構造を２Ｄで示す。図１３Ｂでは、３Ｄポイント１３４０からのレイ１３３０の円錐体を、選択された世界の焦点深度が、メインレンズにより近ければ、これで同じ画素１３１０に対して加算する。
【００４８】
一部の実施形態では、必要とされる光線値は、レイセンサーがキャプチャする離散したサンプルロケーションには正確には対応していない。一部の実施形態では、この光線値は、選択された近接サンプルロケーションの重み付けされたとして推定される。一部の実現例では、この重み付け方式は、離散したセンサーサンプルから連続した４次元の光照射野を再構築する４次元フィルタカーネルに対応している。一部の実現例では、この４次元フィルタは、４次元空間中での１６個の最も近いサンプルの４線性内挿に対応する４次元のテント関数で実現される。
【００４９】
図３５は、本発明の別の例示の実施形態による、受信した光線センサーデータから再結像画像を計算するプロセスフローチャートである。ブロック３５２０で、サブアパーチャ画像の集合を光線センサーデータ３５１０から抽出するが、ここで、サブアパーチャ画像は各々が、画素がそのマイクロレンズの下の同じ相対的な位置にある各々のマイクロレンズ画像の下の１つの画素から成っている。ブロック３５３０で、サブアパーチャ画像を合成して最終的出力画像を発生する。このサブアパーチャ画像は、オプションとして、互いに対して平行移動されて複合され、所望の平面にピントを合わせる。
【００５０】
別の例示の実施形態では、出力画像の境界に近い画素と関連する暗化（darkening）が軽減される。例えば、出力画像の境界の近くの画素では、必要とされるレイの一部が測定された光照射野ではキャプチャされていない（これらのレイは、図１のマイクロレンズアレイ１２０と光センサーアレイ１３０などの撮像装置の空間的境界と方向的境界を越えている）。この暗化が望まれない応用例の場合、画素値は、画素（光センサーアレイでキャプチャされた画素）と関連する値を、測定された光照射野中で実際に発見されたレイの割合で除算することによって正規化される。
【００５１】
上述したように、互いに異なったさまざまな計算方式がさまざまな応用例に対して選択される。以下に説明では、このようなさまざまな方式に対応している。図面を参照している応用例もあれば、これらの方式を概説している応用例もある。これらの応用例の各々で、特定の方式が、図１に示すセンサーデータ処理回路１４０などの計算タイプのコンポーネントを用いて実現される。
【００５２】
別の例示の実施形態では、特定の撮像システムの各々の出力画素の撮像方法は、仮想フィルムが任意におよび／または選択的に回転されたり変形されたりし、仮想メインレンズアパーチャがこれに連れて適切に移動したりそのサイズが修正されたりする仮想のカメラモデルに対応している。例えば、図２５に、仮想画像をそれが、物理的メインレンズ面２５１０と一致しなくてもよい仮想レンズ面２５３０上で任意のサイズを持つ仮想レンズアパーチャ２５２０の背後に存在していた場合に、仮想フィルム２５６０上に現われたときに計算する、例示の実施形態を示す。仮想フィルム２５６０上のポイント２５５０に対応する画素の値を、レイセンサー２５７０との交差ポイントと入射角度によって発見される、仮想アパーチャ２５２０を通過してポイント２５５０に収束するレイを加算することによって計算する。
【００５３】
図２６に、本発明の別の例示の実施形態による、仮想レンズ面を操作する方式を示す。仮想レンズ面２６３０および／または仮想フィルム面２６６０は、物理的メインレンズまたは他の基準物に対して選択的に傾斜させる。この方式を用いて計算された画像は、結果として、撮像面とは平行でない世界の焦点面を有している。
【００５４】
図２７に例示するような別の例示の実施形態では、仮想フィルム２５６０は平面状である必要はなく、いかなる形状でもよい。
【００５５】
さまざまな方式では、さまざまなアパーチャが選択的に実現される。１つの例示の実施形態では、仮想レンズ面上の仮想アパーチャは概して円形の穴であり、別の実施形態では、仮想アパーチャは概して非円形であるおよび／またはいずれかの形状の複数の互いに別個の領域で実現される。これらの実施形態および他の実施形態では、「仮想アパーチャ」という概念は、一般化可能であり、一部の応用例では、これが、選択された「仮想の」アパーチャを介して受信される光に対応する光データが処理される方式に対応している。
【００５６】
さまざまな実施形態で、仮想アパーチャ方式は、仮想レンズ面での所定のしかし任意の関数で実施される。図３１Ａ〜３１Ｄに、本発明の別の例示の実施形態に関わる、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す。これらさまざまな関数には、例えば、値をスムースに変動させる（図３１Ｂに例示するように）関数、互いに別個の複数の領域を実現する（図３１Ａに示すように）関数、負の値をとる（図３１Ｄに例示するように）関数などがある。仮想フィルム上のポイント値を計算するために、仮想レンズ上のさまざまなポイントから発し、仮想フィルム上のポイントに収束するすべてのレイが、仮想アパーチャ関数と加算器とによって重み付けされる。他のさまざまな実施形態では、最終的な値が、レイの値によって異なる任意の計算関数で計算される。例えば、この計算関数は、仮想アパーチャ関数による重み付けには対応しないが、レイ値に基づいて計算されたテスト関数の値次第で不連続なプログラム分岐を含むことがある。
【００５７】
他の例示の実施形態では、本書に記載する他の例示の実施形態と関連して実施される出力画素計算方法を独立に選択する。例えば、１つの例示の実施形態では、仮想レンズ面の向きと仮想アパーチャのサイズとを含むパラメータを、出力画素ごとに連続的に変動させる。別の例では、図３２に示すように、出力画素ごとにレイを累積するために用いられる仮想アパーチャ関数を画素ごとに変化させる。出力画像３２００では、画素３２０１が仮想アパーチャ関数３２１０を用いており、画素３２５１が仮想アパーチャ関数３２５０を用いている。
【００５８】
別の例示の実施形態では、仮想アパーチャ関数は画素ごとに変化する。１つの特定の実施形態では、前景の好ましくない物体のような特定の場面の望ましくない部分からのレイを隠蔽するように関数を選ぶ。
【００５９】
別の例示の実施形態では、人間であるユーザが仮想アパーチャパラメータを対話して選ぶが、光データは、この選択にしたがって処理される。図３３は、このような１つの例示の実施形態を示すプロセスフローチャートである。第１のブロック３３１０で、プロセスは光線センサーからデータを受信する。ブロック３３２０で、ユーザは出力画像の領域を選択し、ブロック３３３０で、ユーザは画像形成方法を選択し、ブロック３３４０で、ユーザは選択された方法にあるようにパラメータを変更して、ブロック３３５０で（例えばコンピュータのモニター上で）画面の計算画像を目視で検査する。ブロック３３６０で、ユーザが画像部分を編集したかどうかチェックし、編集していなければ、ブロック３３３０に戻る。ブロック３３７０で、ユーザが編集すべき画像の部分を選んだかどうかチェックし、選んでいなければ、ブロック３３２０に戻る。編集が完了すれば、ブロック３３８０で最終的な編集画像をセーブする。
【００６０】
別の例示の実施形態では、被写界深度を拡大した画像を、２つ以上の被写体に対して同時にピントを合わせることによって計算する。１つの実施形態では、出力画像の被写界深度を、メインレンズのアパーチャを絞って（サイズを小さくして）実施する従来式の写真撮像をシミュレートすることによって拡大する。出力画素ごとに、レイの感知で用いられたアパーチャより小さい（仮想レンズ面上の）アパーチャを介して出力画素に収束する光のレイを用いて評価する。
【００６１】
図１に示す例示のシステム１００を用いる１つの実施例では、被写界深度は、各々のマイクロレンズ画像の下にある光センサーの値を抽出することによって拡大されるが、ここで、光センサーは各々が各々のマイクロレンズ画像中の同じ相対的な位置に置かれる。図１を参照すると、被写界深度を拡大すると、被写体１０５が（距離「ｄ」と「ｓ」間の相関関係のおかげで）ピントが合っているだけではなく、被写体１０６や１０７などの別の深度にある物体も、さもなければピンボケのためにぶれていたであろうが、ピントが合っている。結果として得られる画像をオプションとしてダウンサンプリングする動作とあいまって、この被写界深度を拡大する方式は、計算という点では効率的である。この方式は、生成された画像がプレビュー目的（例えば、図１のプレビュー画面１７０で表示させる目的など）であるような、画像と共に発生したノイズが許容されるような応用例で選択的に実施される。以下に説明する図４は、プレビュー画像を生成する方式をさらに対象とするものである。
【００６２】
図１４Ａと１４Ｂに、１つ以上の例示の実施形態と関連する、さまざまな被写界深度を持つ画像を計算する方式を示す。図１４Ａは、ある画像と再結像で計算されたクローズアップ画像とを示す。ここで、このクルーズアップの顔は、被写界深度が浅いためぶれている。中間にある図１４Ｂに、前のパラグラフで説明したような拡大被写界深度方式で計算された最終的な画像を示す。
【００６３】
図８は、本発明の別の例示の実施形態による、画像中の被写体深度を拡大する別の計算方式のプロセスフローチャートである。ブロック８１０で、特定の画面中のあらゆる焦点深度で再結像された画像の集合を再結像する。ブロック８２０で、また、画素ごとに、ローカルコントラストが最大の画素を画像の集合から判定する。ブロック８３０で、最高のローカルコントラストを有する画素を組み立てて最終的な仮想画像とする。この方式では、所望の信号対ノイズ比（ＳＮＲ）を、比較的多くの（例えば、マイクロレンズアレイ中のマイクロレンズごとに１つの画素（光センサー）を選択する場合に対して比較的多くの）画素を用いて得ることが可能である。図１４Ｃを参照すると、図示されている例示の画像は、図８を参照して説明され、比較的画像ノイズが低い方式に類似した方式を用いて生成される。
【００６４】
１つの代替実施形態では、計算すべき再結像画像の最小集合を、再結像画像ごとの仮想フィルム面と、画像の光が仮想フィルム面に進行する際に通過するメインレンズの主要面との間の距離という観点から次のように定義する。最小距離がメインレンズの焦点距離に設定され、最大距離が場面中の最も近い物体の共役深度に設定される。仮想フィルム面同士間の分離距離はΔｘmｆ／Ａであり、ここで、Δｘmはマイクロレンズの幅であり、ｆはメインレンズとマイクロレンズアレイ間の分離距離であり、Ａはレンズアパーチャの幅である。
【００６５】
別の例示の実施形態では、再結像された画像を合成して、各々の最終的画素のところに拡大された被写界深度を持つ画像を生成して、再結像画像のどの集合でも最良にピントが合った画素を維持するようにする。別の実施形態の画像では、維持すべき画素を、ローカルコントランスと隣の画素とのコヒーレンスとを高めることによって選ぶ。撮像に関する一般的な情報とローカルコントラストを高める撮像方式に関する特定的な情報については、Ａｇａｒｗａｌａ，  Ａ．、Ｄｏｎｙｃｈｅｖａ，  Ｍ．、Ａｇｒａｗａｌａ，  Ｍ．、Ｄｒｕｃｋｅｒ，  Ｓ．、Ｃｏｌｂｕｒｎ，  Ａ．、Ｃｕｒｅｌｅｓｓ  Ｂ．、Ｓａｌｅｓｉｎ，  Ｄ．、Ｃｏｈｅｎ，  Ｍ．による、参照してその全体をここに組み込む２００４年３月２３日発行のグラフィックに関するＡＣＭトランザクションの対話式ディジタルモンタージュ写真作成法（２９２〜３００ページ）を参照のこと。
【００６６】
本発明の別の例示の実施形態では、被写界深度が拡大された画像を次のように計算する。出力画像の画素ごとに、再結像計算を画素に対して実行してさまざまな深度に焦点を合わせる。深度ごとに、収束するレイの均等性の尺度を計算する。（相対的な）最大均等性を生成する深度を選んで、この画素の値に対する深度として保持する。画像画素にピントが合わされているこの方式では、そのレイのすべてが場面中の同じポイントから発し、したがって、類似の色と強度を有する尤度が高い。
【００６７】
均等性の尺度はさまざまな方法で定義可能であるが、多くの応用例では、次の均等性尺度を用いている。すなわち、各々のレイの色コンポーネントごとに、その色の強度と中心レイ（メインレンズの光軸に最も近い角度にある画素に到達するレイ）の対応する色コンポーネント間の差の自乗を計算する。これら差の自乗値をすべて加算して、この和の逆数を均等性であるとする。
【００６８】
図３４は、本発明の別の例示の実施形態による、画像中の被写界深度を拡大するプロセスフローチャートである。ブロック３４１０で、計算予定の仮想画像中の画素を選択する。ブロック３４２０で、この画素を複数の焦点深度のところで再結像して、各々の深度で再結像するために合成されたレイの均等性を計算する。ブロック３４３０で、合成されたレイの最高の均等性と関連した再結像された画素の値を最終的な出力画像画素値として維持する。すべての画素が処理されるまで、プロセスはブロック３４４０に進行する。
【００６９】
別の例示の実施形態では、上記のプロセスを適用して、最終的な画素値を、隣の画素の値と、このような画素値を計算するために合成された関連のレイの均等性とを考慮に入れて選択するようにしている。
【００７０】
本発明の別の例示の実施形態では、被写界深度を、この方向で最も近い物体の深度に各々の画素を焦点合わせすることによって拡大している。図９は、このような例示の実施形態による、画像中の被写体深度を拡大するプロセスフローチャートである。ブロック９１０で、計算すべき最終的な仮想画像中の画素を選択する。ブロック９２０で、最も近い物体の深度を、選択された画素からレンズの中心を通って場面中にトレースされた光線（または光線の集合）に対して推定する。
【００７１】
ブロック９３０で、推定された深度で再結像された画像中での、この選択された画素の値を計算する。ブロック９４０で追加の画素を処理することが望ましい場合、別の画素をブロック９１０で選択して、ブロック９２０で、この新たに選択された画素のためにブロック９２０に進行する。ブロック９４０で追加の画素を処理することが望ましくない場合、計算された値を各々の選択された画素ごとに用いて、最終的な仮想画像を作成する。
【００７２】
被写界深度が拡大される一部の実施形態では、各々の出力画素での値を、所望の物体の深度より近い深度から発する光線を無視して計算し、これで、レンズに近い物体の境界の周りにおける「ブルーミング（blooming）」影響または「ハロ（halo）」影響と一般に呼ばれる影響のような影響を軽減または解消している。一例として、図２３に、対象被写体２３１０に対して世界内の所望の焦点２３０１を介して達するレイの集合を示す。これらのレイの一部はメインレンズ２３０１から物体２３２０によって遮断されるが、これらは、レイセンサー２３５０によって検出される光線２３４０に対応しているが、ポイント２３０１の画像値を計算する際には無視される。一部の実施形態では、無視されるレイは、中心レイの色との不整合によって検出される。一部の実施形態では、結果として得られる画素値は、無視されなかったレイの割合で除算することによって正規化される。これらの実施形態は、単独で用いたり、互いにまたは、被写界深度を拡大することを対照とする実施形態を含むいずれかの他の実施形態と組み合わせたりして用いられる。
【００７３】
上述したように、光データは、さまざまな例示の実施形態にしたがって処理して、画像を焦点合わせおよび／または補正する。後者の補正方式をさまざま次に説明する。このような実施形態の内の一部では、収差を、レイをキャプチャする際に用いられる光学系の実際の光学部品（例えば１つ以上のレンズ）によってレイをトレースし、このトレースされたレイを光をキャプチャする特定の光センサーに対してマッピングすることによって補正している。光データを、この光学系で示された周知の欠陥と、光を検出するセンサーの周知の位置とを用いて再構成する。
【００７４】
１つの補正タイプの実施形態では、理想化された光学系によって形成された各々の画素に寄与するレイの世界を、合成された写真にフィルム上の画素ごとに計算する。１つの実施例では、これらのレイを、仮想フィルムのロケーションからレイを理想的な光学系を介して世界にまでトレースバックすることによって計算する。図１５に、このような１つの例示の実施形態に関連する、仮想フィルム面１５１０上の３Ｄポイント１５１０からの光線を理想的な薄いメインレンズ１５２０を介して世界レイ１５３０から成る円錐体中にまでトレースする方式を示す。一部の実施例では、所望のレイ１５２５の集合は必ずしも理想的なレンズを通る方向に対応していないが、所望の画像値を生成するために重み付けされた加算されるレイのいずれかの集合には対応する。
【００７５】
図１６に、本発明の別の例示の実施形態に関連する、特定の応用例の場合の理想的なレイに沿って走行する光の値を発見する方式を示す。これらの値は、球状界面を持つ１つの部品を有し、レイを測定する（検出する）際にときに理想的な世界レイをレイセンサー１６４０に対して物理的に出力するために用いられる理想的なメインレンズ１６５０を介して所望の理想的な世界レイ１６３０をトレースすることによって計算する。この実施形態では、１つの３Ｄポイント（１６０１）に対して理想的には収束するレイは、実際には収束しないで、球面収差と呼ばれる球状海面を持つレンズの欠陥を表す。レイセンサー１６４０は、ずれたレイ（１６５１など）の各々に対する個々の値を提供するが、この値を用いて、球面収差を補正する。
【００７６】
図１７Ａ〜１７Ｃに、レンズを補正する方式でコンピュータシミュレーションを用いた例示の結果を示す。図１７Ａの画像は、理想的な５１２×５１２の写真（完全な光学系を介してみた場合）である。図１７Ｂの画像は理想的なｆ／２両凸球面レンズで生成したものいであり、コントラストとぼかしにロスがある。図１７Ｃの画像は、各々の５１２×５１２マイクロレンズでの１０×１０の指向性（ｕ，ｖ）解像度を容易なものとする光学系とセンサーとによって、上記の画像補正方式を用いて計算された写真である。
【００７７】
本発明の別の例示の実施形態では、色収差を、画像をキャプチャするために用いられるメインレンズで補正している。色収差は、光のレイが、光学系中を物理的に出力される際にこれらのレイが、光の波長によって定まる物理的方向の差のために発生する発散によって引き起こされる。入射光線を、磁際の光学系で発生する波長によって異なる光の屈折を考慮に入れて、実際の光学系を解してトレースする。一部の実施形態では、システムの各々の色成分を、主要な波長に基づいて別々にトレースする。
【００７８】
別の例示の実施形態では、カラー撮像システムでは共通である赤、緑、青の各々を、図１８Ａに示すように別々にトレースする。緑の世界の光線は、計算で撮像システム中にトレースバックして緑色レイ１８３０を生成して、どこで色レイセンサー１８１０と交差し、どの方向で色レイセンサー１８１０と交差するかを測定する。同様に、図１８Ｂに、緑の光線より大きく屈折する所望の青色世界光線１８２０の計算的にトレーする方法を示す。図１８Ｃに、緑の光線より小さく屈折する所望の赤色世界光線１８３０の計算的にトレーする方法を示す。各々のレイの値は、例えば、本書に記載する他の例示の実施形態と関連して検討した方式を用いて、レイセンサー１８１０から得られた値に基づいて計算する。各々のレイの光照射野の値を累積して、各々の特定のフィルム画素に対する補正済みの画像値を計算する。一部の実施形態の場合、色収差を、各々の色チャネルを自身の波長がもっとも良くピントが合う平面上に再結像させることによって改善している。
【００７９】
所望の光線は、レイセンサーでサンプリングされた離散したレイの値の内の１つに正確に収束することはない。一部の実施形態では、このような例に対して用いられる値は、離散的なレイ値の関数として計算される。一部の実施形態では、この関数は、所望の光線の近傍にある離散的なレイの値の重み付けされた和に対応する。一部の実施形態では、この重み付けされた和は、所定の重畳カーネル関数を持つ離散的サンプル値の４Ｄ重畳値に対応している。他の実施形態では、この重み付けは、１６個の最も近いものに基づいた四線形性（quadrilinear）内挿に対応している。さらに別の実施形態では、この重み付けは、１６個の最も近いものに基づいたキュービックまたはバイキュービック内挿に対応している。
【００８０】
例示の補正プロセスは、概念を簡略化する目的にとってはレイをトレーするという点に関して説明したが、補正に関してさまざまな他の方式が実施されることに注意する必要がある。１つの実施形態では、所望の出力画素ごとに、寄与する光センサー値の集合を、その相対的な重みと共に事前計算する。上述したように、このような重みは、光学系、センサー、出力画素ごとに重み付けされた加算されるレイの所望の集合および所望の光照射野再構築フィルタを含む多くの要因のプロパティである。これらの重みは、選択的にレイとレース方式を用いて事前計算されてストアされる。補正済みの画像は、出力画素ごとに適切な感知光照射野値を重み付けして加算することによって形成される。
【００８１】
図２９と図３０に、上記の補正方式に関連して用いられる他の例示の実施形態を示す。図２９は、レイ（光）センサーと関連する重みと各々のレイセンサーと関連する出力画像画素値のデータベースを事前計算するするプロセスフローチャートである。最初の２つのブロック２９１０と２９２０で、データ集合（例えばデータベース中のそれ）を、出力画像画素値を生成するために重み付けされる理想的な世界光線の集合と、光線センサーに光線を物理的に出力するために用いられる実際のメインレンズ光学系の規定とから成る所望の形成プロセス用に受信する。ブロック２９２５で、画像画素を選ぶ。この画素の出力値に対して、世界レイの関連集合を、メインレンズの仮想表示物を介してレイセンサーまでブロック２９３０で計算的にトレースする。この結果、重みの集合が、各々のレイセンサーに対して適用されて、出力画素値を計算する。これらの値はブロック２９４０で出力データベースに記憶する。ブロック２９５０で、すべての画素が処理されたかをチェックして、そうでなければ、ブロック２９２５に戻る。すべての画素が処理されたら、最終ブロック２９６０で、計算されたデータベースをセーブする。
【００８２】
図３０は、図２９のプロセスなどのプロセスで計算された重みのデータベースを用いて出力画像を計算するプロセスのフローチャートである。ブロック３０１０でと３０２０で、データベースと、このデータベースの計算に用いられたメインレンズ光学系でキャプチャされたレイセンサー値の集合とを受信する。ブロック３０２５で、出力画像から画素を選んで、その最終的画像値を計算する。選択された画素に対して、ブロック３０３０で、データベースを用いて、寄与するレイセンサーの集合とその重みを発見する。ブロック３０４０で、３０２０で与えられた各々のセンサー値を重み付けして、この画像画素値の和に加算する。ブロック３０５０で、すべての画像画素が処理されたかチェックする。そうでなければ、プロセスはブロック３０２５に戻り、そうであれば、出力画素をブロック３０６０でセーブする。
【００８３】
さまざまな例示の実施形態では、光データを周波数ドメインで処理しているが、ある種の方式では、フーリエドメインで動作する再結像のための計算的方式を対象としている。図２０は、別の例示の実施形態に関わる、このような１つの方式を示すフローチャートである。アルゴリズムに対する入力は離散４Ｄ光照射野２０１０であり、これは、メインレンズ上の（ｕ，ｖ）から発してマイクロレンズ面上の（ｓ，ｔ）で終わる（例えば、図１のメインレンズ１１０から発し、マイクロレンズアレイ１２０の平面で終わる）レイを表すＬ（ｓ，ｔ，ｕ，ｖ）とわれわれは呼んでいる。第１のステップで、光照射野の離散４Ｄフーリエ変換２０２０を計算する。（ｋs，ｋt，ｋu，ｋv）この４Ｄフーリエ変換値をあえて値Ｍ（ｋs，ｋt，ｋu，ｋv）と呼んで次式で定義する。
【００８４】
【数１】
2008515110.tif 000003
【００８５】
ここで、ｅｘｐ関数は指数関数であり、ｅｘｐ（ｘ）＝ｅxである。一部の実施形態では、離散光照射野を４Ｄ空間中の四線性グリッド上でサンプリングして、フーリエ変換を、高速フーリエ変換（ＦＦＴ）アルゴリズムで計算する。
【００８６】
次のステップは、われわれが画像をピント合わせすることを希望する深度ごとに１回実行されるが、これで、４Ｄフーリエ変換の適切な２Ｄスライス２０３０を抽出して、さまざまな深度２０４０でピント合わせされた写真であるこの抽出スライスの逆２Ｄフーリエ変換を計算する。関数Ｇ（ｋx，ｋy）の逆フーリエ変換ｇ（ｘ，ｙ）は次式で定義される。
【００８７】
【数２】
2008515110.tif 000004
【００８８】
抽出された２Ｄスライス上の値は、われわれが再結像したい深度で決定される。所望の世界焦点面の共役平面（レンズの画像側にある）を考慮すると、この共役面とメインレンズ間の分離距離と、マイクロレンズ面とメインレンズ間の分離距離とがＦであれば、座標（ｋx，ｋy）における抽出された２Ｄスライスの値は、次式で与えられる。
【００８９】
【数３】
2008515110.tif 000005
【００９０】
さまざまな方式を用いて、離散化、再サンプリングおよびフーリエ変換によってもたらされる影響が選択的に改善される。一般的な信号処理という点では、信号をサンプリングするとき、この信号はデュアルドメインで周期的に複製される。このサンプリングされた信号を重畳によって再構築するとき、それをデュアルドメインで重畳フィルタをフーリエ変換して乗算する。この点で、オリジナルの中心の複製が隔離されて、他のすべての複製が消滅する。望ましいフィルタとしては４Ｄのｓｉｎｃ関数、すなわち、ｓｉｎｃ（ｓ）ｓｉｎｃ（ｔ）ｓｉｎｃ（ｕ）ｓｉｎｃ（ｖ）があるが、ここで、ｓｉｎｃ（ｘ）＝ｓｉｎ（πｘ）であるが、この関数は無限の広がりを有している。
【００９１】
さまざまな方式で、有限範囲フィルタを周波数ドメイン処理で用いているが、このようなフィルタは欠陥があり、これを選択的に軽減している。図２１Ａに、特定の１Ｄフィルタに関するこのような欠陥を示すが、これに対応する以下の説明は、このような欠陥の軽減を対象としている。図２１Ａは、１Ｄでの線形内挿で（または４Ｄ四線形式フィルタの基底として）実施される三角フィルタ方式を示す。図２１Ｂに、三角フィルタ方式のフーリエ変換を示すが、これは、帯域限界（２０１０を参照）内の単位値ではなく、また、周波数が増大するに連れて小さくなる端数値に徐々に減衰する値である。加えて、このフィルタは、真に帯域が制限されているわけではなく、所望の拒絶帯（２０２０）の外側の周波数でエネルギを含んでいる。
【００９２】
上記の第１の欠陥は「ロールオフアーティファクト」を引き起こすが、これは、計算された写真の境界を暗化させかねない。周波数が増すと発生するこのフィルタの周波数スペクトルの減衰は、このスペクトルで変調される空間光照射野もまた、エッジに近づくに連れて端数値に「ロールオフ」することを意味する。
【００９３】
上記の第２の欠陥は、上記の帯域限界を上回る周波数でのエネルギに関連する計算済み写真中のエリアシング影響である。帯域限界を超えて非ゼロエネルギが拡大するということは、周期的な複製が完全には解消されていなくて、２種類のエリアシングが発生すること意味する。第一に、スライス平面に平行であるように見える複製は、最終的な写真の境界を侵害する画像の２Ｄ複製のように見える。第二に、この平面に直角に置かれた複製は、画像平面に投射されて加算され、ゴーストを発生させ、コントラストが落ちる。
【００９４】
この例示の実施形態では、上記のロールオフタイプの欠陥補正は、フィルタの逆フーリエ変換の逆数を入力光照射野に乗算することによって解決され、これで、再サンプリング中に引き起こされた影響を無力化する。この例示の実施形態では、乗算は、４Ｄフーリエ変換をアルゴリズムの事前処理ステップで取り上げる以前に実行される。これでロールオフ誤差は補正されるが、事前乗算によって、自身の境界近くにある光照射野のエネルギーを拡大させて、エリアシング（aliasing）として所望の視野に折り返されるエネルギが最大となる。
【００９５】
エリアシングの影響を抑圧する３つの方法、すなわち、オーバーサンプリング、優越フィルタリングおよびゼロパディングを、以下のさまざまな例示の実施形態では個別にまたは組み合わせて用いている。抽出された２Ｄスライス内でオーバーサンプリングすると、空間ドメインでの複製周期が増す。これは、面内の複製のテールのエネルギーの内で、最終的な写真の境界内に入るエネルギーは少ないことを意味する。一方のドメイン中でのサンプリングレートを増すと、他方のドメインでの視野が増す。隣の複数からのエリアシングエネルギーは、このような外部領域に入るが、これは、消されて、対象となるオリジナルの中心画像を隔離させる。
【００９６】
エリアシングを軽減する別の方式として、完全なスペクトル（理想的なフィルタを用いて示されるようなもの）をできる限り緊密に近似する有限範囲フィルタを対象とするものがある。ある例示の実施形態では、４Ｄカイザー・ベッセル分離形関数、ｋｂ４（ｓ、ｔ、ｕ、ｖ）＝ｋｂ（ｓ）ｋｂ（ｔ）ｋｂ（ｕ）ｋｂ（ｖ）をこのフィルタとして用いるが、ここで、次式が成り立つ。
【００９７】
【数４】
2008515110.tif 000006
【００９８】
この式で、Ｉ0は、第１の種類の標準のゼロ次の修正カイザー・ベッセル関数であり、Ｗは所望のフィルタの幅であり、ＰはＷによって決まるパラメータである。この例示の実施形態では、Ｗの値は、５，４．５，４．０，３．５，３．０，２．５，２．０及び１．５であり、Ｐの値は、それぞれ、７．４３０２，６．６２９１，５．７５６７，４．９１０７，４．２０５４，３．３８００，２．３９３４および１．９９８０である。エリアシングに関する一般的な情報については、また、本発明の１つ以上の例示の実施形態に関わるエリアシング軽減方式に関する特定的な情報については、その全体を参照してここに組み込む、Ｊａｃｋｓｏｎ  Ｊ．Ｉ、Ｍｅｙｅｒ  Ｃ．Ｈ．、Ｎｉｓｈｉｍｕｒａ、Ｄ．Ｇ．およびＭａｃｏｖｓｋｉ  Ａ．、１９９７年による医療用撮像に関するＩＥＥＥトランザクションの１０、３の４７３〜４７８ページのフーリエ逆変換のための重畳関数の選択を参照のこと。１つの実現例では、約２．５未満の幅「Ｗ」を実現して、望ましい画像品質を達成している。
【００９９】
別の例示の実施形態では、エリアシングを、事前乗算とそのフーリエ変換に先立ってゼロ値の小さい境界で光照射野をパディングすることによって軽減している。これによってエネルギが境界からさらに少し押されて、事前乗算によるエリアシングエネルギの増幅を最小化してロールオフを補正する。
【０１００】
図２２は、本発明の別の例示の実施形態による、上記のさまざまな補正値を用いて周波数ドメインで再結像する方式を示すフローチャートである。ブロック２２１０で、離散４Ｄ光照射野が受信される。入力された光照射野ごとに１回発生する事前処理位相において、ブロック２２１５で、エリアシングの減少が望まれているかチェックし、望ましければ、ブロック２２２０を実行して、ゼロ値の小さい境界（例えば、このディメンジョンでの幅の５％）で光照射野をパディングする。ブロック２２２５で、ロールオフ補正が望まれているかチェックして、望まれていれば、光照射野をブロック２２３０で再サンプリングフィルタのフーリエ変換の逆数で変調する。この事前処理フェーズの最終ブロックで、光照射野の４Ｄフーリエ変換をブロック２２４０で計算する。
【０１０１】
所望の焦点距離ごとに１回発生する再結像フェーズにおいて、例えばユーザの方向によって、ブロック２２５０で再結像画像の所望の焦点深度を受信する。ブロック２２６０で、エリアシングの減少が望まれるどうかチェックする。望まれなければ、ブロック２２７０で、所望の４Ｄ再サンプリングフィルタで光照射野のフーリエ変換の２Ｄスライスを抽出するが、ここで、２Ｄスライスの軌跡は、所望の焦点深度に対応しており、ブロック２２７５で、抽出されたスライスの逆２Ｄフーリエ変換を計算して、ブロック２２９０に進む。ブロック２２６０でエリアシングの減少が望まれれば、ブロック２２８０に進み、ここで、所望の４Ｄ再サンプリングフィルタとオーバーサンプリング（例えば、２次元のそれぞれで２ｘオーバーサンプリングする）での２Ｄスライスが抽出される。ブロック２２８３、このスライスの逆２Ｄフーリエ変換を計算し、結果得られる画像を、ブロック２２８６でのオーバーサンプリングなしでオリジナルサイズにまで縮小して、その後で、ブロック２２９０に進む。ブロック２２９０で、再結像が完了したかどうかチェックする。完了していなければ、別の焦点深度をブロック２２５０で選んで、上記の通りに進行する。再結像が完了したら、ブロック２２９５から脱出する。
【０１０２】
この周波数ドメインアルゴリズムの漸近的な計算上の複雑性は、上記の代替実施形態で説明したように例を明示的に加算することによる再結像の場合より少ない。入力された離散光照射野は、その４つのディメンジョンの各々にＮ個のサンプルを持っているもの仮定する。そして、新たな深度ごとに再結像に対して、明示的にレイを加算するアルゴリズムの計算的複雑性はＯ（Ｎ4）（Ｎ4のオーダー）である。新たな深度ごとの再結像に対して、この周波数ドメインアルゴリズムの計算的複雑性はＯ（Ｎ2ｌｏｇＮ）であり、逆２Ｄフーリエ変換の経費が大きい。しかしながら、事前処理ステップでは、新たな光照射野データ集合ごとにＯ（Ｎ4ｌｏｇＮ）が必要である。
【０１０３】
別の例示の実施形態では、キャプチャされた光線は光学的にフィルタリングされる。このような応用例には限られないが、このようなフィルタの例には、ニュートラルデンシティフィルタや、色フィルタや、分極フィルタがある。既存のまたは将来開発されるいかなるフィルタを用いて、光の例を所望の通りにフィルタリングしてもよい。１つの実施形態では、光線をグループでまたは個別に光学的にフィルタリングし、これで、各々のグループや個々のレイが互いに別々にフィルタリングされるようにする。別の実施例では、フィルタリング、メインレンズに取り付けられた空間的に変動するフィルタを用いて適用している。１つの例示の応用例では、ニュートラルデンシティ勾配フィルタなどの勾配フィルタを用いて光をフィルタリングしている。別の実施例では、空間的変動フィルタを、レイセンサー、マイクロレンズアレイおよび光センサーの内の１つ以上のものの前部で用いている。図１をレイとして参照すると、このようなフィルタを１つ以上選択的に、メインレンズ１１０、マイクロレンズアレイ１２０および光センサーアレイ１３０の内の１つ以上のものの前部で用いている。
【０１０４】
本発明の別の例示の実施形態では、プロセッサなどの計算コンポーネントをプログラムして、出力画素を計算する際に合成されるレイを選択して、この画素値に対して所望のネットのフィルタリングを実行する。一例として、光学的にニュートラルな勾配デンシティフィルタがメインレンズのところにある実施形態を考えると、マイクロレンズの下に現われるレンズアパーチャの各々の画像に対して、この範囲全体にわたってフィルタ勾配が重み付けされる。１つの実施例では、出力画像は、この出力画像の画素に対する所望のレベルのニュートラルデンシティフィルタリングを選択することによって重み付けされる。例えば、すべての画素が広い範囲にわたってフィルタリングされた画像を生成するために、すべての画素値を、最大フィルタリングに対応する勾配の末端にある対応するマイクロレンズの下の光センサーの値に設定する。
【０１０５】
図２は、本発明の他の例示の実施形態に関連する画像処理方式を示すデータフローチャートである。画像センサー装置２１０は、例えば、図１に示し、上述したマイクロレンズ１２０と光センサーアレイ１３０に類似した方法でマイクロレンズ／光センサーチップ装置２１２を用いて画像データを収集する。画像センサー装置２１０は、収集された画像データを転送するように準備するために、ある処理回路を持つ組み込み処理回路２１４を光学的に含んでいる。
【０１０６】
画像センサー装置２１０で作成されたセンサーデータは信号プロセッサ２２０に送られる。この信号プロセッサは、低解像度画像プロセッサ２２２と、圧縮プロセッサ２２４および（光）レイ方向プロセッサ２２６の一方または双方とを含むが、これらのプロセッサは各々が、応用例次第で共通のプロセッサで別個にまたは機能単位で選択的に実現される。さらに、図２に示すプロセッサの各々が、他の図面または本書のどこかに関連して説明した１つ以上の処理機能で選択的にプログラムされる。信号プロセッサ２２０は、オプションとして、共通回路上および／または共通画像デバイス中でなど、画像センサー装置２１０で共通デバイスまたは共通コンポーネント中に実現される。
【０１０７】
低解像度画像プロセッサ２２２は、画像センサー装置２１０から受信したセンサーデータを用いて、低解像度画像データを生成し、これがビューファインダディスプレイ２３０に送られる。カメラやビデオカメラの押しボタンなどの入力デバイス２３５は、画像キャプチャ要求を信号プロセッサ２２０に送って、例えば、ビューファインダディスプレイ２３０に表示されている特定の画像のキャプチャおよび／またはこのように実施された場合におけるビデオ撮像の開始を要求する。
【０１０８】
画像キャプチャ要求に応答してまたは別様に指示されて、信号プロセッサ２２０は、画像センサー装置２１０がキャプチャしたセンサーデータを用いて、処理済みのセンサーデータを生成する。一部の応用例では、圧縮プロセッサ２２４を実現して、圧縮生データを生成し、これをデータ記憶装置２４０（例えばメモリー）に転送する。すると、このような生データを信号プロセッサ２２０および／または外図コンピュータ２６０もしくは他の処理デバイスで選択的に処理して、レイ方向プロセッサ２２６で実施されるようにレイ方向処理を実施するが、これを以下に詳述する。
【０１０９】
ある応用例では、レイ方向プロセッサ２２６を実現して、信号プロセッサ２２０が受信したセンサーデータを処理して、結像されたおよび／または補正された画像データを生成する際に用いられるセンサーデータを再構成する。レイ方向プロセッサ２２６は、画像センサー装置２１０から受信したセンサーデータと画像記憶装置２４０に送られた生データの内の一方または双方を用いる。このような応用例では、レイ方向プロセッサ２２６は、画像センサー装置２１０が実現されている特定の撮像デバイス（例えば、カメラ、ビデオカメラ、モバイル電話）のレイマッピング特徴を利用して、マイクロレンズ／光センサーチップ２１２で感知された光線の再構成を決定する。レイ方向プロセッサ２２６で作成された画像データは、データ記憶装置２４０および／または、画像データのストリーミングや遠隔地への画像データの別様の送出などのさまざまな応用例で用いられる通信リンク２５０に送られる。
【０１１０】
一部の応用例では、組み込み処理回路２１４は、例えば、適切な機能を持つＣＭＯＳタイプのプロセッサまたは他のプロセッサを実現することによって、信号プロセッサ２２０の処理機能の内の一部またはすべてを含んでいる。例えば、低解像度画像プロセッサ２２２は、組み込み処理回路２１４と一緒に含まれて、低解像度画像データが、画像センサー装置２１０からビューファインダディスプレイ２３０に対して直接に送られる。同様に、圧縮プロセッサ２２４またはこれと類似の機能が、組み込み処理回路２１４で実現される。
【０１１１】
一部の実施形態では、最終的画像の計算を、組み込み処理回路２１４（例えば、最終的画像しか出力しない一部のディジタル式スチールカメラ）で実施される。画像センサー装置２１０が、単に、生の光線データまたはこれを圧縮したデータをデスクトップコンピュータなどの外部計算デバイスに送信するような実施形態もある。この場合、最終的画像を外部デバイスでこれらのデータから計算する。
【０１１２】
図３は、本発明の別の例示の実施形態による、画像データ処理のフローチャートである。ブロック３１０で、画像データを、メインレンズまたは、図１に示すようなマイクロレンズ／光センサーアレイを持つレンズスタックを用いてカメラまたは他の撮像デバイスでキャプチャする。プレビュー画像がブロック３２０で望まれる場合、プレビュー画像を、例えば、ビューファインダまたは他のタイプのディスプレイを用いてブロック３３０で生成する。プレビュー画像を、例えば、キャプチャされた画像データのサブ集合を用いてカメラやビデオカメラのビューファインダに表示する。
【０１１３】
光センサーアレイからの生データを、ブロック３４０で処理して圧縮して使用できるようにする。光線データを、この処理・圧縮されたデータからブロック３５０で抽出する。この抽出では、例えば、光センサーアレイ中の特定の光センサーに入射した光線の束または集合が検出される。レイマッピングデータを、画像データがキャプチャされる撮像装置用にブロック３６０で検索する。このレイマッピングデータと抽出された光線データとを用いて、再ソーティング済み画像をブロック３７０で合成する。例えば、抽出、マッピングおよび合成のブロック３５０〜３７０は、光線を収集する対象である画面の特定の画素に対する光線の束を決定し、この光線のエネルギを累積してこの特定の画素の値を合成することによって選択的に実施される。一部の応用例では、レイマッピングデータを用いて、各々の特定の画素に対する光線を、画像データ獲得目的で用いられる実際のレンズを解してトレースする。例えば、適当なレイ集合を決定してこれを一緒に加算して、特定の焦点深度にある選択された被写体に対してブロック３７０で収束させることによって、これらのレイを再ソーティングして、ピントがあっている画像に到達することが可能である。同様に、適当なレイ構造を決定して、撮像デバイス中のレンズ収差などの状態を補正することによって、このようなレイを再ソーティングして、収差や他の状態に関連する特徴が比較的ない画像を生成することが可能である。
【０１１４】
さまざまな方式を選択的に用いて、カメラタイプの応用例や他の応用例に対してプレビュー画像を生成する。図４は、本発明の別の例示の実施形態による、このようなプレビュー画像を生成するプロセスフローチャートである。図４に示し、以下に説明するこの方式は、例えば、図３のブロック３３０でのプレビュー画像生成に関連して実施される。
【０１１５】
生のセンサー画像データのプレビュー命令をブロック４１０で受信する。ブロック４２０で、中心画素を、この生のセンサー画像データ中の各々のマイクロレンズ画像から選択する。この選択された中心画素を収集して、ブロック４３０で高い被写界深度を持つ画像を形成する。ブロック４４０で、この高被写界深度画像を、ビューファインダディスプレイで用いられるように修正可能な解像度にまでダウンサンプリングする。例えば図２を参照すると、このようなダウンサンプリングは、１つ以上の画像センサー装置２１０または信号プロセッサ２２０で選択的に実行される。生成されたプレビュー画像データを、ブロック４５０でビューファインダディスプレイに送って、ブロック４６０で、ビューファインダディスプレイがこのプレビュー画像データを持つ画像を表示する。
【０１１６】
図５は、本発明の別の例示の実施形態による、画像データを処理して圧縮するプロセスフローチャートである。図５に示し、以下に説明するこの方式は、例えば、図３のブロック３４０での画像データの処理と圧縮に関連して実施される。図２に示すような装置で実施されると、図５に示す方式は、例えば、画像センサー装置２１０と信号プロセッサ２２０の一方または双方で実施される。
【０１１７】
ブロック５１０で、生の画像データをセンサーアレイから受信する。ブロック５２０でカラリングが所望されると、色フィルタアレイ値をブロック５３０でデモシアス（ｄｅｍｏｓｉａｃｅ）されて、センサーのところに色を発生する。ブロック５４０で修正と整列が所望されれば、ブロック５５０で、マイクロレンズ画像を修正して光センサーアレイと整列させる。ブロック５６０で内挿が所望されれば、画素値を、各々のマクロレンズと関連する画素の整数に対してブロック５７０で内挿する。ブロック５８０で、処理された生の画像データを合成処理されるように（例えば、再結像および／補正された画像を形成するために）圧縮して提示する。
【０１１８】
図６は、本発明の別の例示の実施形態による、画像合成のプロセスフローチャートである。図６に示し、以下に説明する方式は、例えば、図３のブロック３７０に示し、以下にさらに説明する画像合成方式と関連して実施される。
【０１１９】
ブロック６１０で、生の画像データを光センサーアレイから受信する。ブロック６２０で再結像を所望されれば、画像データを、例えば、生画像データで表される選択的に光を再ソーティングする本書に記載の方式を用いてブロック６３０で再結像する。ブロック６４０で画像補正が所望されれば、画像データをブロック６５０で補正する。さまざまな応用例で、ブロック６５０での画像補正を、再結像と画像補正の双方が所望される応用例のブロック６３０で再結像する前にまたはそれに同時に実行する。結果としての画像を、適用可能であれば再結像データと補正データを含む処理済み画像データを用いて、ブロック６６０で生成する。
【０１２０】
図７Ａは、本発明の別の例示の実施形態による、あるレンズ配置で画像を再結像するプロセスフローチャートである。図７に示し、以下に解説する方式は、例えば、図６のブロック６３０での画像データの再結像と関連して実施される。
【０１２１】
ブロック７１０で、画像部分を再結像させる仮想焦点面を選択する。ブロック７２０で、仮想焦点面に対する仮想画像の画素を選択する。ブロック７３０で補正（例えばレンズ収差に対する補正）が所望されれば、選択された画素と各々の特定のレンズ位置間を通過する仮想光線（または光線の仮想集合）がブロック７４０で計算される。１つの応用例では、この計算は、選択された画素に当たる共役の光線を計算して、このレイをレンズアレイ中の経路をトレースすると容易となる。
【０１２２】
ブロック７５０で、特定の焦点面に対する各々のレンズ位置の光線（または光線の仮想集合）の和を加算して、選択された画素の合計値を決定する。一部の応用例では、ブロック７５０で加算される和は重み付けされた和であり、この場合、ある光線（または光線の集合）には他の光線より大きい重み付けがされる。ブロック７６０で再結像する画素がまだあれば、別の画素をブロック７２０で選択して、再結像が望まれる画素がなくなるまで継続される。画素がすべて再結像されると、画素データをブロック７７０で合成して、ブロック７１０で選択された仮想の焦点面のところで再結像された仮想画像を生成する。図７のブロック７２０、７３０、７４０および７５０ｎ一部またはすべてを伴う再結像方式は、さまざまな応用例のより具体的な機能によって実行される。
【０１２３】
本書に記載する１つ以上の例示の実施形態で実現されているセンサーデータ処理回路は、実施例にしたがって、１つ以上のマイクロプロセッサ、特定用途向けＩＣ（ＡＳＩＣ）、ディジタル信号プロセッサ（ＤＳＰ）および／またはプログラム可能ゲートアレイ（例えば、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ））を含む。この点で、センサーデータ処理回路は、現在周知のまたは将来開発されるどのようなタイプまたは形態の回路でもよい。例えば、センサーデータ処理回路は、１つのコンポーネントまたは複数のコンポーネント（マイクロプロセッサ、ＡＳＩＣ、ＤＳＰ）を含むが、これらは、能動素子であれ受動素子であれ、一緒にカップリングされて、所望の動作／機能／応用を実施、提供および／または実行する。
【０１２４】
さまざまな応用例において、センサーデータ処理回路は、本書に記載および／または図示された特定の方法、タスクまたは動作を実行する１つ以上のアプリケーション、ルーチン、プログラムおよび／またはデータ構造を実施または実行する。これらアプリケーション、ルーチンまたはプログラムの機能性は、ある応用例では選択的に組み合わせたり配分させたりしている。一部の応用例では、アプリケーション、ルーチンまたはプログラムを、現在周知のまたは将来開発されるさまざまなプログラム言語の内の１つ以上を用いてセンサー（または他の）データ処理回路で実施している。このようなプログラム言語には、例えば、ＦＯＲＴＲＡＮ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＢＡＳＩＣが含まれるが、これらは、コンパイル済みコードであれ未コンパイルコードであれ、本発明の１つ以上の態様と関連して選択的に実施される。
【０１２５】
上記のさまざまな実施形態は解説目的だけのものであり、本発明を制限するものと解釈すべきではない。上記の説明と図示に基づいて、当業者であれば、本書に図示し記載した例示の実施形態と応用例を厳格に追随することなく、本発明に対してさまざまな修正と変更が可能であることが容易に認識されるであろう。例えば、このような変更には、さまざまなタイプの応用例でさまざまな光学的撮像用のアプリケーションやデバイスを実現したり、画素（または選択された他の画像エリア）ごとに収集されるレイの数を増減させたり、上記の例とは異なったアルゴリズムおよび／式を実施して画像データを組み立てるまたは別様に処理したりすることが含まれる。他の変更として、極座標などの、デカルト座標とは異なった座標表示を用いたりまたはこれに付け加えたりすることがある。このような修正と変更は、本発明の精神と範囲から逸脱しない。
【０１２６】
本発明は、次の添付図面と一緒にして本発明のさまざまな実施形態に関する以下の詳細な説明を読めばより完全に理解されるであろう。
【０１２７】
本発明はさまざまな修正形態や代替形態に変更することが可能であるとはいえ、その固有性は図面中に例として示されており、詳細に説明する。しかしながら、本発明は、記載される特定の実施形態に限られることを意図するものではないことを理解すべきである。それどころか、本発明は、本発明の精神と範囲から逸脱しないあらゆる修正例、等価例および代替例をその範囲に含むものである。
【図面の簡単な説明】
【０１２８】
【図１】本発明の例示の実施形態による、光線キャプチャ・処理装置を示す図である。
【図２】本発明の別の例示の実施形態による、光学的撮像デバイスを示す図である。
【図３】本発明の別の例示の実施形態による、画像処理のプロセスフローチャートである。
【図４】本発明の別の例示の実施形態による、プレビュー画像を生成するプロセスフローチャートである。
【図５】本発明の別の例示の実施形態による、画像データを処理して圧縮するプロセスフローチャートである。
【図６】本発明の別の例示の実施形態による、画像合成のプロセスフローチャートである。
【図７】本発明の別の例示の実施形態による、画像再結像のプロセスフローチャートである。
【図８】本発明の別の例示の実施形態による、画像中の被写体深度を拡大するプロセスフローチャートである。
【図９】本発明の別の例示の実施形態による、画像中の被写体深度を拡大する別の方式のプロセスフローチャートである。
【図１０】本発明の別の例示の実施形態による、光線を分離させる１つの例示の方式を示す図である。
【図１１】本発明の別の例示の実施形態による、センサー画素のロケーションを収集されたデータを基準としてＬ（ｕ，ｖ，ｓ，ｔ）空間中の光線に対してマッピングする方式を示す図である。
【図１２】本発明の別の例示の実施形態による、さまざまな深度で再結像されたいくつかの画像を示す図である。
【図１３Ａ】本発明の別の例示の実施形態による、２次元での撮像構造を示す図である。
【図１３Ｂ】本発明の別の例示の実施形態による、ある画素に対して加算された３次元のポイントからの光線から成る円錐体を示す図である。
【図１４Ａ】本発明の別の例示の実施形態による、さまざまな被写界深度を持つ画像を計算する方式を示す図である。
【図１４Ｂ】本発明の別の例示の実施形態による、さまざまな被写界深度を持つ画像を計算する方式を示す図である。
【図１４Ｃ】本発明の別の例示の実施形態による、さまざまな被写界深度を持つ画像を計算する方式を示す図である。
【図１５】本発明の別の例示の実施形態による、仮想フィルム面上の３次元ポイントからの光線をトレースする方式を示す図である。
【図１６】本発明の別の例示の実施形態による、光の値を発見する方式を示す図である。
【図１７Ａ】本発明の別の例示の実施形態による、理想的な５１２×５１２画素の写真を示す図である。
【図１７Ｂ】本発明の別の例示の実施形態による、ｆ／２球面両凸レンズで生成される画像を示す図である。
【図１７Ｃ】本発明の別の例示の実施形態による、画像補正方式を用いて計算された画像を示す図である。
【図１８Ａ】本発明の別の例示の実施形態による、カラー撮像システムでは共通の光線トレース法を示す図である。
【図１８Ｂ】本発明の別の例示の実施形態による、カラー撮像システムでは共通の光線トレース法を示す図である。
【図１８Ｃ】本発明の別の例示の実施形態による、カラー撮像システムでは共通の光線トレース法を示す図である。
【図１９Ａ】本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。
【図１９Ｂ】本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。
【図１９Ｃ】本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。
【図１９Ｄ】本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。
【図１９Ｅ】本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。
【図１９Ｆ】本発明の別の例示の実施形態による、モザイクアレイを実現する方式を示す図である。
【図２０】本発明の別の例示の実施形態による、フーリエドメイン中での再結像の計算による方式のプロセスフローチャートである。
【図２１Ａ】本発明の別の例示の実施形態による、三角フィルタ方式を示す図である。
【図２１Ｂ】本発明の別の例示の実施形態による、三角フィルタ方式のフーリエ変換を示す図である。
【図２２】本発明の別の例示の実施形態による、周波数ドメインでの再結像の方式のプロセスフローチャートである。
【図２３】本発明の別の例示の実施形態による、所望の焦点を通過するレイの集合を示す図である。
【図２４Ａ】本発明の別の例示の実施形態による、マイクロレンズアレイの一部を別々に見た図である。
【図２４Ｂ】本発明の別の例示の実施形態による、マイクロレンズアレイの一部を別々に見た図である。
【図２４Ｃ】本発明の別の例示の実施形態による、光センサーに現われる画像を示す図である。
【図２５】仮想画像をそれが仮想フィルム上に現われたときに計算する、本発明の例示の実施形態を示す図である。
【図２６】本発明の別の例示の実施形態による、仮想レンズ面を操作する方式を示す図である。
【図２７】本発明の別の例示の実施形態による、仮想フィルムがいかなる形状をもとりえることを示す図である。
【図２８】本発明の別の例示の実施形態による、撮像装置を示す図である。
【図２９】本発明の別の例示の実施形態による、各々の出力画像画素と各々の光線センサー値と関連する重みのデータベースを事前計算するプロセスフローチャートである。
【図３０】本発明の別の例示の実施形態による、重みのデータベースを用いて出力画像を計算するプロセスフローチャートである。
【図３１Ａ】本発明の別の例示の実施形態による、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す図である。
【図３１Ｂ】本発明の別の例示の実施形態による、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す図である。
【図３１Ｃ】本発明の別の例示の実施形態による、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す図である。
【図３１Ｄ】本発明の別の例示の実施形態による、仮想アパーチャ関数として選択的に実施されるさまざまなスカラー関数を示す図である。
【図３２】本発明の別の例示の実施形態による、画素ごとに変化する仮想アパーチャ関数を示す図である。
【図３３】本発明の別の例示の実施形態による、ユーザが出力画像の領域を選択し、ある画像の部分を編集し、出力画像をセーブするプロセスフローチャートである。
【図３４】本発明の別の例示の実施形態による、画像中の被写界深度を拡大するプロセスフローチャートである。
【図３５】本発明の別の例示の実施形態による、受信した光線センサーデータから再結像画像を計算するプロセスフローチャートである。
【図１】
2008515110.tif 000007
【図２】
2008515110.tif 000008
【図３】
2008515110.tif 000009
【図４】
2008515110.tif 000010
【図５】
2008515110.tif 000011
【図６】
2008515110.tif 000012
【図７】
2008515110.tif 000013
【図８】
2008515110.tif 000014
【図９】
2008515110.tif 000015
【図１０】
2008515110.tif 000016
【図１１】
2008515110.tif 000017
【図１２】
2008515110.tif 000018
【図１３】
2008515110.tif 000019
【図１４Ａ】
2008515110.tif 000020
【図１４Ｂ】
2008515110.tif 000021
【図１４Ｃ】
2008515110.tif 000022
【図１５】
2008515110.tif 000023
【図１６】
2008515110.tif 000024
【図１７Ａ】
2008515110.tif 000025
【図１７Ｂ】
2008515110.tif 000026
【図１７Ｃ】
2008515110.tif 000027
【図１８Ａ】
2008515110.tif 000028
【図１８Ｂ】
2008515110.tif 000029
【図１８Ｃ】
2008515110.tif 000030
【図１９Ａ】
2008515110.tif 000031
【図１９Ｂ】
2008515110.tif 000032
【図１９Ｃ】
2008515110.tif 000033
【図１９Ｄ】
2008515110.tif 000034
【図１９Ｅ】
2008515110.tif 000035
【図１９Ｆ】
2008515110.tif 000036
【図２０】
2008515110.tif 000037
【図２１Ａ】
2008515110.tif 000038
【図２１Ｂ】
2008515110.tif 000039
【図２２】
2008515110.tif 000040
【図２３】
2008515110.tif 000041
【図２４Ａ】
2008515110.tif 000042
【図２４Ｂ】
2008515110.tif 000043
【図２４Ｃ】
2008515110.tif 000044
【図２５】
2008515110.tif 000045
【図２６】
2008515110.tif 000046
【図２７】
2008515110.tif 000047
【図２８】
2008515110.tif 000048
【図２９】
2008515110.tif 000049
【図３０】
2008515110.tif 000050
【図３１Ａ】
2008515110.tif 000051
【図３１Ｂ】
2008515110.tif 000052
【図３１Ｃ】
2008515110.tif 000053
【図３１Ｄ】
2008515110.tif 000054
【図３２】
2008515110.tif 000055
【図３３】
2008515110.tif 000056
【図３４】
2008515110.tif 000057
【図３５】
2008515110.tif 000058
【国際調査報告】
2008515110.tif 000059
2008515110.tif 000060