(57)【特許請求の範囲】
【請求項１】
主結像光学系、二次結像アレイおよびセンサー・アレイを含むプレノプティック・イメージング・システムを較正する方法であって：
前記プレノプティック・イメージング・システムが、前記主結像光学系の瞳に位置するピンホールを通じて結像されるコリメートされていない光を生成する光源の複数のプレノプティック画像を捕捉する段階であって、各プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは複数のサブピクセルを含む、段階と；
前記光源および／または前記ピンホールの横方向位置を自動的に調整し、前記プレノプティック・イメージング・システムが種々の横方向位置についてプレノプティック画像を自動的に捕捉する段階と；
捕捉されたプレノプティック画像に基づいて、前記プレノプティック・イメージング・システムのオブジェクト空間における空間位置および／または伝搬方向の、前記プレノプティック画像におけるサブピクセルへのマッピングを計算する段階であって、前記マッピングは、諸サブピクセルについて諸ライトフィールド観察方向および／または諸ライトフィールド観察領域を定義する、段階と；
前記マッピングを計算した後、前記プレノプティック・イメージング・システムが第二のオブジェクトの第二のプレノプティック画像を捕捉し、諸サブピクセルについての諸ライトフィールド観察方向および／または諸ライトフィールド観察領域を考慮に入れるために前記計算されたマッピングを使って前記第二のプレノプティック画像を処理する段階とを含む、
方法。
【請求項２】
前記光源および／または前記ピンホールの横方向位置を自動的に調整することが、前記ピンホールを固定した横方向位置に維持しながら前記光源の横方向位置を自動的に調整することを含む、請求項１記載の方法。
【請求項３】
前記光源および／または前記ピンホールの横方向位置を自動的に調整することが、前記光源を固定した横方向位置に維持しながら前記ピンホールの横方向位置を自動的に調整することを含む、請求項１記載の方法。
【請求項４】
前記光源および／または前記ピンホールの横方向位置を自動的に調整することが、前記光源の横方向位置を自動的に調整し、かつ前記ピンホールの横方向位置を自動的に調整することを含み、前記光源の横方向位置および前記ピンホールの横方向位置のそれぞれの組み合わせが、オブジェクト空間における前記空間位置および前記伝搬方向のサンプリングを提供する、請求項１記載の方法。
【請求項５】
前記マッピングを計算することが、それぞれの捕捉されたプレノプティック画像について、（ａ）前記光源の空間位置および前記光源から前記ピンホールへの伝搬方向と（ｂ）前記プレノプティック画像におけるサブピクセルとの間の対応を構築することを含み、すべての捕捉されたプレノプティック画像についての全体的な対応が、諸サブピクセルについて諸ライトフィールド観察方向および／または諸ライトフィールド観察領域を定義する、請求項１記載の方法。
【請求項６】
マッピングを計算することが、ライトフィールド観察領域および／またはライトフィールド観察方向をサブピクセルにマッピングするルックアップテーブルを生成することを含む、請求項１記載の方法。
【請求項７】
マッピングを計算することが、サブピクセルをライトフィールド観察領域および／またはライトフィールド観察方向にマッピングするルックアップテーブルを生成することを含む、請求項１記載の方法。
【請求項８】
プレノプティック・イメージング・システムを較正するシステムであって：
コリメートされていない光を生成する光源と；
主結像光学系、二次結像アレイおよびセンサー・アレイを含むプレノプティック・イメージング・システムと；
前記主結像光学系の瞳に位置するピンホールとを有しており、前記光源および前記ピンホールの少なくとも一方は横方向位置が調整可能であり；
前記プレノプティック・イメージング・システムが、前記光源および／または前記ピンホールの種々の横方向位置において前記ピンホールを通じて結像される前記光源のプレノプティック画像を捕捉し、各プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは複数のサブピクセルを含み、
当該システムはさらに、捕捉されたプレノプティック画像に基づいて、前記プレノプティック・イメージング・システムのオブジェクト空間における空間位置および／または伝搬方向の、前記プレノプティック画像におけるサブピクセルへのマッピングを計算する較正モジュールであって、前記マッピングは、諸サブピクセルについて諸ライトフィールド観察方向および／または諸ライトフィールド観察領域を定義する、較正モジュールとを有する、
システム。
【請求項９】
前記プレノプティック・イメージング・システムが、前記ピンホールの横方向位置を固定して、前記光源の種々の横方向位置において前記ピンホールを通じて結像される前記光源のプレノプティック画像を捕捉する、請求項８記載のシステム。
【請求項１０】
前記プレノプティック・イメージング・システムが、前記光源の横方向位置を固定して、前記ピンホールの種々の横方向位置において前記ピンホールを通じて結像される前記光源のプレノプティック画像を捕捉する、請求項８記載のシステム。
【請求項１１】
前記プレノプティック・イメージング・システムが、前記光源の横方向位置および前記ピンホールの横方向位置の種々の組み合わせにおいて前記ピンホールを通じて結像される前記光源のプレノプティック画像を捕捉し、それぞれの組み合わせが、オブジェクト空間における前記空間位置および前記伝搬方向のサンプリングを提供する、請求項８記載のシステム。
【請求項１２】
オブジェクト空間における前記空間位置が前記光源の横方向位置によって決定され、オブジェクト空間における前記伝搬方向が前記光源から前記ピンホールへの方向によって決定される、請求項１１記載のシステム。
【請求項１３】
前記較正モジュールが、ライトフィールド観察領域および／またはライトフィールド観察方向をサブピクセルにマッピングするルックアップテーブルを生成する、請求項８記載のシステム。
【請求項１４】
前記較正モジュールが、サブピクセルをライトフィールド観察領域および／またはライトフィールド観察方向にマッピングするルックアップテーブルを生成する、請求項８記載のシステム。
【請求項１５】
前記プレノプティック・イメージング・システムがオブジェクト空間テレセントリックでない、請求項８記載のシステム。
【請求項１６】
前記プレノプティック・イメージング・システムが像空間テレセントリックでない、請求項８記載のシステム。
【請求項１７】
前記プレノプティック・イメージング・システムが有限な共役物（conjugates）を有する、請求項８記載のシステム。
【請求項１８】
オブジェクトのプレノプティック画像を処理する処理モジュールをさらに有しており、前記処理は前記較正モジュールによって決定されるところの諸サブピクセルについての諸ライトフィールド観察方向および／または諸ライトフィールド観察領域を考慮に入れる、請求項１１記載のシステム。
【請求項１９】
プレノプティック・イメージング・システムを較正する方法を実行させるためのコンピュータ・プログラムであって、前記方法は：
自動的に、コリメートされていない光を生成する光源の横方向位置を調整するおよび／またはプレノプティック・イメージング・システムの主結像光学系の瞳に位置するピンホールの横方向位置を調整し、前記プレノプティック・イメージング・システムが、種々の横方向位置について前記ピンホールを通じて結像される前記光源のプレノプティック画像を自動的に捕捉する段階と；
前記プレノプティック・イメージング・システムによって捕捉された前記プレノプティック画像にアクセスする段階であって、各プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは複数のサブピクセルを含む、段階と；
捕捉されたプレノプティック画像に基づいて、前記プレノプティック・イメージング・システムのオブジェクト空間における空間位置および／または伝搬方向の、前記プレノプティック画像におけるサブピクセルへのマッピングを計算する段階であって、前記マッピングは、諸サブピクセルについて諸ライトフィールド観察方向および／または諸ライトフィールド観察領域を定義する、段階と；
前記マッピングを計算した後、前記プレノプティック・イメージング・システムによって捕捉された第二のプレノプティック画像を処理する段階であって、前記処理は、諸サブピクセルについての諸ライトフィールド観察方向および／または諸ライトフィールド観察領域を考慮に入れるために前記計算されたマッピングを使う、段階とを含む、
コンピュータ・プログラム。
【請求項２０】
前記光源および／または前記ピンホールの横方向位置を自動的に調整することが、前記光源の横方向位置を自動的に調整し、かつ前記ピンホールの横方向位置を自動的に調整することを含み、前記光源の横方向位置および前記ピンホールの横方向位置のそれぞれの組み合わせが、オブジェクト空間における前記空間位置および前記伝搬方向のサンプリングを提供し、
前記マッピングを計算することが、それぞれの捕捉されたプレノプティック画像について、（ａ）前記光源の空間位置および前記光源から前記ピンホールへの伝搬方向と（ｂ）前記プレノプティック画像におけるサブピクセルとの間の対応を構築することを含み、すべての捕捉されたプレノプティック画像についての全体的な対応が、諸サブピクセルについての諸ライトフィールド観察方向および／または諸ライトフィールド観察領域を定義する、
請求項１９記載のコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は概括的にはプレノプティック・イメージング・システムの較正に関する。
【背景技術】
【０００２】
プレノプティック・イメージング・システムが近年ますます関心を集めている。プレノプティック・イメージング・システムは、捕捉されたプレノプティック画像のデジタル処理に基づいてオブジェクトの異なる焦点または視点を再計算するために使用できる。プレノプティック・イメージング・システムは、主結像モジュールの瞳面内のマルチモード・フィルタ・アレイを使って、マルチモード撮像においても用途を見出す。各フィルタはセンサーのところに結像され、事実上、フィルタ・アレイの各撮像モダリティについてオブジェクトの多重化された像を生成する。プレノプティック・イメージング・システムについての他の応用は、変動被写界深度撮像および高ダイナミックレンジ撮像を含む。
【０００３】
しかしながら、プレノプティック・イメージング・システムのアーキテクチャは通常のイメージング・システムのアーキテクチャとは異なり、よって異なる較正および処理手順を必要とする。プレノプティック画像の処理においていくつかの困難が見出されている。第一に、マイクロレンズ・アレイの整列は決して完璧ではなく、マイクロレンズ・アレイの回転の効果はきわめて目につきやすい。この回転は、画像再構成について多大な困難を導入する。データ点が通常のサンプリング格子に当てはまらなくなるからである。第二に、モジュラー・システム・アーキテクチャについて、異なる用途に基づいて異なる検出器アレイおよびマイクロレンズ・アレイが使用されることがある。小レンズの中心、各小レンズの下の諸ピクセル、小レンズの間隔などといったパラメータの手動決定は、困難で、時間がかかる。第三に、異なる用途については異なる対物レンズが使われることがある。画像再構成のために必要なパラメータは、異なる対物レンズを用いてまたは異なる焦点設定でプレノプティック画像データが撮影されるときには異なってくる。
【０００４】
プレノプティック・イメージング・システムを較正するための現行の技法は、単純なカメラ・ターゲットを撮像することに関わる。こうしたターゲットは一様な白色ターゲット、格子、チェッカーボードなどであることができる。ターゲットは典型的には、空間的に非コヒーレントな光で照明される。一様なターゲットの場合、ターゲットから散乱された光はプレノプティック・カメラの主レンズの開口を一様に照明する。主レンズからの出射瞳は次いで各マイクロレンズによってセンサー・アレイ上に結像される。センサー・アレイ中の各「スーパーピクセル」は、主レンズ開口（出射瞳）の像である。現行の画像処理技法は、これらのスーパーピクセルのサイズおよび位置を解析して、画像再構成のための較正を決定する。
【０００５】
現行の技法の欠点は、センサーによって集められる出射瞳像における可能な収差を無視しているということである。スーパーピクセルは歪められ、シフトされ、周辺減光され、あるいはトリミングされることがある。収差はフィールドに依存することがある。これらの収差は正しくない較正を生じさせることがある。出射瞳の像がフィールド位置とともに変化するシステムの例は、像空間において非テレセントリックなシステム（主たる光線が各マイクロレンズに垂直でなく、光軸に平行でない）、歪みのあるシステム（フィールド位置とともに出射瞳の倍率が変わる）、像面の歪みのあるシステム、周辺減光面のあるシステムなどを含む。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、プレノプティック・イメージング・システムのためのよりよい較正技法が必要とされている。
【課題を解決するための手段】
【０００７】
さまざまな実施形態は、オブジェクト空間における光の伝搬方向を制御することによってプレノプティック・イメージング・システムを較正することによって従来技術の限界を克服する。オブジェクトは、種々の伝搬方向に沿って、また可能性としては望むならオブジェクト面内の種々の横方向位置から伝搬するコリメートされた光を与えるよう調整可能である。較正対象のプレノプティック・イメージング・システムは種々の伝搬方向に調整されたオブジェクトのプレノプティック画像を捕捉する。捕捉されたプレノプティック画像はスーパーピクセルを含み、各スーパーピクセルはサブピクセルを含む。各サブピクセルは、対応するライトフィールド観察方向からの光を捕捉する。捕捉されたプレノプティック画像に基づいて、較正モジュールは、どの伝搬方向がどのサブピクセルにマッピングされるかを計算する。マッピングは、諸サブピクセルに対して諸ライトフィールド観察方向を定義する。これは、プレノプティック・イメージング・システムによって捕捉されたプレノプティック画像の処理を改善するために使用できる。
【０００８】
他の側面は、プレノプティック・イメージング・システムに関係するコンポーネント、デバイス、システム、改善、方法、プロセス、アプリケーション、コンピュータ・プログラム・プロダクトおよび他の技術を含む。
【図面の簡単な説明】
【０００９】
本特許または出願の図面はカラーで提供されることもできる。
【００１０】
開示される技術の他の利点や特徴は、以下の詳細な説明および付属の請求項を付属の図面とともに参酌することからより容易に明白となるであろう。
【図１】（従来技術）プレノプティック・イメージング・システムを示す図である。
【図２】軸上と軸外れの間の差を示す写真である。
【図３Ａ】テレセントリックなプレノプティック・イメージング・システムにおけるオブジェクトからスーパーピクセルへの光線追跡である。
【図３Ｂ】テレセントリックなプレノプティック・イメージング・システムにおけるどのサブピクセルにどの光線が寄与するかを示す光線追跡である。
【図３Ｃ】テレセントリックなプレノプティック・イメージング・システムにおけるどのサブピクセルにどの光線が寄与するかを示す光線追跡である。
【図３Ｄ】テレセントリックなプレノプティック・イメージング・システムにおける、サブピクセルおよびスーパーピクセルへのオブジェクト空間ライトフィールドのマッピングである。
【図４】非テレセントリックなプレノプティック・イメージング・システムにおけるオブジェクトからスーパーピクセルへの光線追跡である。
【図５】無限共役プレノプティック・イメージング・システムにおけるオブジェクトからスーパーピクセルへの光線追跡である。
【図６】Ａは、プレノプティック・イメージング・システムのオブジェクト空間較正のためのシステムの図であり、Ｂは、Ａに示したシステムによって実装されることのできる例示的な較正方法の流れ図である。
【図７】Ａは、ライトフィールド観察方向の天頂角の、軸上サブピクセルへのマッピングであり、Ｂは、ライトフィールド観察方向の方位角の、軸上サブピクセルへのマッピングである。
【図８】Ａは、ライトフィールド観察方向の天頂角の、軸外れサブピクセルへのマッピングであり、Ｂは、ライトフィールド観察方向の方位角の、軸外れサブピクセルへのマッピングである。
【図９】Ａは、オブジェクト空間較正を使わない、オブジェクトの三次元再構成であり、Ｂは同じオブジェクトの、ただしオブジェクト空間較正を使う三次元再構成である。  図面は単に例解のための実施形態を描いている。当業者は、以下の議論から、本稿に記載される原理から外れることなく本稿に例解される構造および方法の代替的な実施形態が用いられてもよいことを、容易に認識するであろう。
【発明を実施するための形態】
【００１１】
図面および以下の記述は、単に例としての好ましい実施形態に関する。以下の議論から、本稿に開示される構造および方法の代替的な実施形態が、特許請求されるものの原理から外れることなく用いられうる有望な代替として容易に認識されるであろうことを注意しておくべきである。
【００１２】
さまざまな実施形態は、オブジェクト空間における光の伝搬方向を制御することによってプレノプティック・イメージング・システムを較正することによって従来技術の限界を克服する。オブジェクトは、種々の伝搬方向に沿って、また可能性としては望むならオブジェクト面内の種々の横方向位置から伝搬するコリメートされた光を与えるよう調整可能である。
【００１３】
ある実装は、オブジェクト面におけるミラーから反射されたコリメートされた光を使う。光ビームは、主レンズの開口を満たすのに十分幅広である。光ビームの伝搬方向は、ミラーを傾けることによって制御できる。オブジェクト面において種々の方向に沿って伝搬するビームのプレノプティック画像を収集することによって、四次元マッピングが確立できる。これは、システム中の大半のレンズ収差を本来的に考慮に入れる。
【００１４】
もう一つの実装は、オブジェクト面におけるミラーから反射されたコリメートされた光を使うが、光ビームは前記開口の小さな部分しか満たさないほど十分狭い。光ビームの横方向位置および角度方向は、ミラーを並進させ、傾けることによって制御されることができる。オブジェクト面において異なる横方向位置および角度方向におけるビームのプレノプティック画像を収集することによって、四次元マッピングが確立できる。これは、横方向歪みを含むシステム中のレンズ収差を本来的に考慮に入れる。これらの手順は、同時にいくつかのビームおよび／またはミラーを使うことによって多重化されることができる。
【００１５】
もう一つの実装は、主レンズの開口中のピンホールを使う。この場合、オブジェクト面にはコリメートされていない光源が置かれる。光源の横方向位置はオブジェクト面において変えられ、ピンホールの横方向位置は開口面において変えられる。オブジェクト空間と瞳空間の位置の間の対応は、上記と同様、プレノプティック・データの四次元マッピングを生成するために使用できる。
【００１６】
図１（従来技術）は、プレノプティック・イメージング・システムを示す図である。プレノプティック・イメージング・システム１１０は、主結像光学系１１２（図１では単一のレンズによって表わされている）、副次結像アレイ１１４（像形成要素のアレイ１１５）およびセンサー・アレイ１８０を含む。副次結像アレイ１１４は、マイクロイメージング・アレイと称されることもある。副次結像アレイ１１４およびセンサー・アレイ１８０はまとめてプレノプティック・センサー・モジュールと称されることもある。これらのコンポーネントは、図１ではサブシステム１およびサブシステム２として示されている二つの重なり合う結像サブシステムをなす。
【００１７】
便宜上、結像光学系１１２は図１では単一の対物レンズとして描かれているが、複数の要素を含むこともできることは理解しておくべきである。対物レンズ１１２は像平面IPのところにオブジェクト１５０の光学像１５５を形成する。マイクロイメージング・アレイ１１４が像平面IPのところに位置されており、各マイクロレンズが結像サブシステム１の開口をセンサー・アレイ１８０上に結像する。すなわち、開口とセンサー・アレイは共役面SPおよびSP'に位置されている。マイクロイメージング・アレイ１１４の例は、マイクロレンズ・アレイ、ピンホールのアレイ、マイクロミラー・アレイ、チェッカーボード格子および導波路／チャネル・アレイを含む。マイクロイメージング・アレイ１１４は長方形のアレイ、六角形のアレイまたは他の型のアレイであることができる。センサー・アレイ１８０も図１に示されている。
【００１８】
図１の下部はさらなる詳細を与えている。この例では、マイクロイメージング・アレイ１１５は正方形のマイクロレンズの3×3のアレイである。オブジェクト１５０は、１〜９とラベル付けされている領域の対応する3×3のアレイに分割されている。領域１〜９のそれぞれは、主結像サブシステム１１２によってマイクロレンズ１１４の一つに結像される。図１の破線の光線は、領域５の対応する中央マイクロレンズへの結像を示している。
【００１９】
各マイクロレンズはこれらの光線をセンサー・アレイ１８０の対応するセクションに結像する。センサー・アレイ１８０は、12×12の長方形アレイとして示されている。センサー・アレイ１８０はA〜Iとラベル付けされたスーパーピクセルに細分されることができ、各スーパーピクセルはマイクロレンズの一つに対応し、よってオブジェクト１５０のある領域にも対応する。図１では、スーパーピクセルEは中央マイクロレンズに対応し、中央マイクロレンズはオブジェクトの領域５に対応する。すなわち、スーパーピクセルE内の諸センサーはオブジェクトの領域５からの光を捕捉する。
【００２０】
各スーパーピクセルはサブピクセルに細分されており、サブピクセルが典型的には個々のセンサーである。この例では、各スーパーピクセルはサブピクセルの4×4のアレイをもつ。スーパーピクセル内の各サブピクセルは、オブジェクトの同じ領域からの、ただし異なる伝搬角度での光を捕捉する。たとえば、スーパーピクセルE内の左上のサブピクセルE1は領域５からの光を捕捉し、スーパーピクセルE内の右下のサブピクセルE16もそうである。しかしながら、これら二つのサブピクセルはオブジェクトから異なる方向に伝搬する光を捕捉する。このことは、図１において実線の光線から見て取ることができる。三つの実線の光線はみな同じオブジェクト点から発するが、同じスーパーピクセル内の異なるサブピクセルによって捕捉される。これは、各実線の光線はオブジェクトからの異なる方向に沿って伝搬するからである。
【００２１】
換言すれば、オブジェクト１５０は四次元ライトフィールドL(x,y,u,v)を生成する。ここで、Lは空間位置(x,y)から発し、方向(u,v)に伝搬する光線の振幅、強度または他の測度である。センサー・アレイ内の各サブピクセルは、四次元ライトフィールドのある体積からの光を捕捉する。サブピクセルはこの四次元ライトフィールドをサンプリングする。このような体積の形または境界は、プレノプティック・システムの特性によって決定される。
【００２２】
ある種のプレノプティック・イメージング・システムの設計では、サンプル体積は超立方体である。すなわち、スーパーピクセル内のすべてのセンサーは、該スーパーピクセルに関連付けられた同じ長方形(x,y)領域からの光を捕捉し、スーパーピクセル内の各サブピクセルは異なる長方形(u,v)領域からの光を捕捉する。しかしながら、これが常に成り立つわけではない。便宜上、スーパーピクセルはオブジェクトのある領域からの光を捕捉するとして記述され（そのスーパーピクセル内のサブピクセルはやや異なる領域からの光を捕捉することがあるが）、サブピクセルはある範囲の伝搬方向からの光を捕捉するものとして記述される（該範囲は異なるサブピクセルについて、あるいはさらには同じサブピクセルによって捕捉される異なる(x,y)点について異なることがあるが）。こうした詳細にかかわらず、プレノプティック・イメージング・システムは、(x,y)空間位置および(u,v)伝搬方向をアレイ１８０内のセンサーにマッピングしてプレノプティック画像１７０を作り出す。これは、(x,y)空間位置をセンサーにマッピングするが(u,v)伝搬方向についての情報を失う通常の像とは対照的である。
【００２３】
プレノプティック画像１７０はオブジェクトによって作り出される四次元ライトフィールドについての情報を含むので、奥行き推定、三次元再構成、合成焦点直し、被写界深度の拡張、スペクトル解析および他の型のマルチビュー解析といった種々の型の解析を実行するために、処理モジュール１９０が使用されることができる。
【００２４】
しかしながら、これらの解析の多くは、ライトフィールド座標(x,y,u,v)から、典型的には個々のセンサーに対応するサブピクセルへのマッピングに依存する。すなわち、個々の各センサーは四次元ライトフィールドのある体積を捕捉する。どのセンサーがどの体積を捕捉するかの正確な知識をもつことは、捕捉されたプレノプティック画像の良好な処理のために重要である。便宜上、あるサブピクセルにマッピングされる(x,y)領域は、そのサブピクセルについてのライトフィールド観察領域と称され、あるサブピクセルにマッピングされる(u,v)領域はそのサブピクセルについてのライトフィールド観察方向と称される。
【００２５】
多くの場合、これらの量は、近軸挙動、テレセントリック光学系または歪み、周辺減光および収差がないことに関する仮定に基づく。しかしながら、これらは図２に示されるように、常に良好な仮定ではない。図２は、軸上および軸外れの応答の間の差を示す写真である。図２の上の画像は捕捉されたプレノプティック画像を示している。左下の画像は、プレノプティック画像の中心（軸上）部分の拡大である。右下の画像は、プレノプティック画像の周辺（軸外れ）部分の拡大である。各画像中の＋印は、スーパーピクセルの中心をマークしており、円はスーパーピクセルの境界をマークしている。軸上応答は軸外れ応答と同じではないことが見て取れる。上記の標準的な仮定のもとでは、軸上応答と軸外れ応答は同じであるはずである。
【００２６】
図３〜図５はこのことをさらに例解する。図３Ａは、テレセントリックなプレノプティック・イメージング・システムにおけるオブジェクトからスーパーピクセルへの光線追跡である。明確のため、異なる光学要素はレンズ形状によってではなく、線によって表現されている。オブジェクト１５０は領域１５１に細分されている。主光学系１１２は二つの長い垂直線およびそれらの間の開口によって表わされる。副次結像アレイ１１４は、短い横線によって細分された垂直線によって表わされている。横線は、マイクロレンズの間の境界を示している。センサー・アレイ１８０はスーパーピクセル１８１に細分されている。オブジェクト１８０の各細分は、マイクロレンズ１１４の一つに対応するスーパーピクセル１８１である。同様に、オブジェクト１５０の各細分１５１も、マイクロレンズ１１４の一つに対応する。たとえば、中央のオブジェクト領域１５１Ｃから発する光は、主光学系１１２によって中央マイクロレンズ１１５Ｃ上に結像される。この光は次いで中央のスーパーピクセル１８１Ｃ内の諸サブピクセルによって捕捉される。オブジェクトの端では、オブジェクト領域１５１Ａから発する光は主光学系１１２によってマイクロレンズ１１５Ａ上に結像される。この光は次いで、スーパーピクセル１１８Ａ内の諸サブピクセルによって捕捉される。
【００２７】
ここで、図３Ａに示されるさまざまな光線を考える。異なるオブジェクト点（すなわち、異なるx,y座標）について異なる色が使われている。黒の光線は中央領域１５１Ｃの中心から発し、青の光線は中央領域１５１Ｃの上端から発し、緑の光線は中央領域１５１Ｃの下端から発する。赤の光線は、端領域１５１Ａの中心から発する。各色において三つの光線がある。異なる伝搬方向（すなわち異なるu,v座標）について異なる線種が使われる。実線の光線は、各光線バンドルの主要な光線である。短い破線の光線は各光線バンドルの上端の（サジタルまたは接線方向の）光線であり、長い破線の光線は各光線バンドルの下端の光線である。この場合、主結像サブシステムがテレセントリックなので、すべての光線バンドルの主要な光線は、オブジェクト空間においても像空間においても常に軸上であり、互いに平行である。各マイクロレンズを通る主要な光線は光軸に平行である。上端および下端の光線も、オブジェクト空間でも像空間でも常に互いに平行である。
【００２８】
図３Ａは、さまざまなオブジェクト点からセンサー・アレイにどのように光線が伝搬するかを示している。図３Ｂ〜３Ｃは、その逆を示している。これらは、テレセントリックなプレノプティック・イメージング・システムにおいてどの光線がどのサブピクセルに寄与するかを示す光線追跡である。図３Ｂは、図３Ａのうち実線の光線のみを（そして図３Ａに示されていない二つの追加的な実線の赤の光線を）示している。まず中央のスーパーピクセル１８１Ｃを考える。そのスーパーピクセルは多くのサブピクセル１８２を含む。中央のスーパーピクセル１８１Ｃの中央のサブピクセルは図３Ｂでは１８２Ｃ−ｃとラベル付けされている。サブピクセル１８２Ｃ−ｃが捕捉するのは、中央のオブジェクト領域１５１Ｃ内の任意のところで発する光だが、光軸に平行に伝搬するもののみであることを注意しておく。同様に、サブピクセル１８２Ａ−ｃが捕捉するのは、端オブジェクト領域１５１Ａ内の任意のところで発する光だが、光軸に平行に伝搬するもののみである。
【００２９】
図３Ｃは、図３Ａからの短い破線の光線のみを示している。類似のことが言える。サブピクセル１８２Ｃ−ａが捕捉するのは、中央のオブジェクト領域１５１Ｃ内の任意のところで発する光だが、図示した角度で伝搬するもののみである。同様に、サブピクセル１８２Ａ−ａが捕捉するのは、端オブジェクト領域１５１Ａ内の任意のところで発する光だが、図示した角度で伝搬するもののみである。
【００３０】
これらの観察は他のスーパーピクセルおよび光線にも拡張できる。結果は、四次元ライトフィールド(x,y,u,v)からセンサー・アレイのスーパーピクセルnのサブピクセルiへのマッピングである。図３Ｄは、図３Ａ〜３Ｃにおける例に基づくこのマッピングの二次元バージョンを示している。図３Ｄは、テレセントリックなプレノプティック・イメージング・システムにおけるオブジェクト空間ライトフィールドの、サブピクセルおよびスーパーピクセルへのマッピングである。図３Ｄにおける座標はオブジェクト空間における空間座標xおよびオブジェクト空間における伝搬方向uである。図３Ａ〜３Ｃを参照して、2Δがオブジェクトのサイズであり、2δがオブジェクト内の各領域のサイズであるとする。すなわち、オブジェクトは−Δから＋Δまで延在し、オブジェクト内の各領域は−δから＋δの幅をもつ。同様に、2θがオブジェクトからの光線バンドルの角度広がりであるとする。すなわち、図３における短い破線の光線は方向u＝＋θに沿って伝搬し、実線の光線は方向u＝0に沿って伝搬し、長い破線の光線は方向u＝−θに沿って伝搬する。
【００３１】
図３Ｄにおける背の高いやせた長方形は、図３からの種々の領域１５１である。端領域１５１Ａおよび中央領域１５１Ｃが図３Ｄにおいてラベル付けされている。各領域は対応するスーパーピクセルにマッピングされる。端領域１５１Ａは端スーパーピクセル１８１Ａに、中央領域１５１Ｃは中央スーパーピクセル１８１Ｃにマッピングされる。領域１５１Ｃはさらに、スーパーピクセル内の諸サブピクセルへのマッピングを示している。１５１Ｃ内の各小さな長方形は、スーパーピクセル１８１Ｃ内の異なるサブピクセル１８２Ｃ−ｉを表わす。
【００３２】
オブジェクト空間でも像空間でもテレセントリックであり、周辺減光のないシステムでは、他のスーパーピクセル１８１は同様のサブピクセル・マッピングをもち、全体的なマッピングは対称的かつ規則的である。各スーパーピクセル１８１は同じサイズおよび形状をもち、各スーパーピクセルは、オブジェクトの対応する領域１５１から発するすべての光線（すなわち、対応する領域１５１によって定義されるx値の範囲についてのすべてのu値）を捕捉する。各スーパーピクセル内のサブピクセル構造もすべてのスーパーピクセルについて同じである。各サブピクセルは、そのサブピクセルによって定義されるu値の範囲について、スーパーピクセル内のすべてのx値についての光線を捕捉する。換言すれば、スーパーピクセル１８１は図３Ｄにおける形状において長方形であり、スーパーピクセル長方形１８１はより小さなサブピクセル長方形１８２に細分される。やはり図３Ｄに示されるところでは、スーパーピクセル１５１Ｃのサブピクセルへの分割は、スーパーピクセル１５１Ａのサブピクセルへの分割と同じである。よって、サブピクセル１８２Ｃ−１２が領域１５１Ｃからの軸上光線を捕捉するならば、同じサブピクセル１８２Ａ−１２が領域１５１Ａからの軸上光線を捕捉する。
【００３３】
しかしながら、この規則的な構造は、あらゆるプレノプティック・イメージング・システムについて成り立つわけではない。図４は、非テレセントリックなプレノプティック・イメージング・システムにおけるオブジェクトからスーパーピクセルへの光線追跡である。図３と光線について同じ記号法が使われている。この例では、サブピクセル１８２Ｃ−ｃはやはり領域１５１Ｃからの実線の中央の光線のすべてを捕捉する。しかしながら、これらの光線は軸上光線ではない。青および緑の光線はそれらに対してわずかに傾きをもつ。ただし、オブジェクト距離に比べてマイクロレンズが小さければ、この傾きは無視できる。より重要なことに、端スーパーピクセルの中央サブピクセル１８１Ａ−ｃも領域１５１Ａからの実線の中央の光線を捕捉する。しかしながら、これらの光線は全部有意に傾いている。図４の実線の赤の光線を図３Ａの実線の赤の光線と比較されたい。したがって、図４のプレノプティック・イメージング・システムはライトフィールド座標(x,y,u,v)のスーパーピクセル／サブピクセル座標(n,i)へのマッピングをもつものの、マッピングは図３Ｄに示されるのと同じ規則的な構造はもたない。
【００３４】
図５は、無限共役なプレノプティック・イメージング・システムにおけるオブジェクトからスーパーピクセルへの光線追跡である。オブジェクトが無限遠にあるので、(x,y)ライトフィールド座標は光線の方向に対応し、(u,v)ライトフィールド座標は開口内の光線の位置に対応する。よって、同じ色の光線が図３〜図４と同じ(x,y)ライトフィールド座標をもつ。各スーパーピクセルは、オブジェクト空間においてある諸方向に沿って伝搬する光を捕捉する。そのスーパーピクセルのすべてのサブピクセルは、オブジェクト空間において同じ方向に沿って伝搬する光を捕捉する。しかしながら、異なるサブピクセルは、開口の異なる位置を通じて伝搬する光を捕捉する。
【００３５】
どのライトフィールド座標がどのサブピクセルにマッピングされるかのより正確な推定を得るために、較正が使用できる。サブピクセルについてのライトフィールド観察領域が、そのサブピクセルにマッピングされるオブジェクトの(x,y)領域であり、サブピクセルについてのライトフィールド観察方向がそのサブピクセルにマッピングされる(u,v)伝搬方向であることを想起されたい。ライトフィールド観察領域のほうは推定するのがそれほど複雑ではない。しかしながら、ライトフィールド観察方向のほうは推定するのがより難しいことがある。
【００３６】
図６のＡは、プレノプティック・イメージング・システムのオブジェクト空間較正のためのシステムの図である。これは、プレノプティック・イメージング・システムについてライトフィールド観察方向を較正するために使用できる。本システムは、調整可能なコリメートされたオブジェクト６１０を含んでいる。オブジェクト６１０はコリメートされた光を生成する。コリメートされた光の伝搬方向は、たとえば傾斜可能なミラーによって調整されることができる。結果として生じるプレノプティック像を較正対象のプレノプティック・イメージング・システムが捕捉する。異なる伝搬方向に調整された前記オブジェクトに関して異なるプレノプティック画像が捕捉される。較正モジュール６３０は捕捉されたプレノプティック画像に基づいて、伝搬方向の、サブピクセルへのマッピングを計算する。このマッピングはまた、諸サブピクセルについての諸ライトフィールド観察方向を定義する。
【００３７】
このアプローチは、マッピングの直接サンプリングである。各プレノプティック画像はすべての光がある既知の伝搬方向に沿って伝搬するようなオブジェクトに対応する。プレノプティック画像は、各スーパーピクセル内のどのサブピクセルがそのライトフィールド観察方向からの光を捕捉するかを指示する。場合によっては、二つ以上のサブピクセルがその光を捕捉することがある。その場合、あるアプローチでは、マッピングは、各スーパーピクセル内で捕捉された光についての重心を計算することに基づく。
【００３８】
好ましくは、コントローラ６２０は、オブジェクトを種々の伝搬方向に自動的に調整し、対応するプレノプティック画像の捕捉を協調させる。スーパーピクセル当たりN個のサブピクセルがあれば、コントローラは好ましくは少なくともN個のサンプルを取る。ただし、N個より少ないサンプルが取られた場合には、値を補間することができる。プレノプティック・イメージング・システムが対称性をもつ場合、コントローラ６２０は、その対称性を活用する仕方でサンプリングすることができる。
【００３９】
ひとたびマッピングが生成されたら、該マッピングはたとえばルックアップテーブル（LUT）として記憶されてもよい。その後、マッピングは、奥行きマッピングまたは他の型の画像再構成のような捕捉されたプレノプティック画像の処理のために使用される。LUTは、LUT中に直接記憶されていない値について補間されてもよい。
【００４０】
図６のＢは、図６のＡに示されるシステムによって実装されることのできる例示的な較正方法の流れ図である。Imn(j,k;u,v)が、オブジェクト空間において方向(u,v)に沿って伝搬する、コリメートされたオブジェクトからの、スーパーピクセル(m,n)のサブピクセル(j,k)によって捕捉された光であるとする。サンプルiについて、コントローラ６２０はオブジェクト伝搬方向を(ui,vi)に設定する（６６０）。対応するプレノプティック画像Imni(j,k;ui,vi)が捕捉される（６７０）。これがN個のサンプルについて繰り返される。各スーパーピクセル(m,n)についての諸サブピクセルは、サンプルiに対応する(ji,ki)の値を決定する（６８０）ために別個に処理される。これは種々の仕方でできる。あるアプローチでは、これらの値は
各スーパーピクセル(m,n)について：  (ji,ki)＝argmaxj,k  Imni(j,k;ui,vi)  (1)
によって決定される。すなわち、最も多くの光を集めるセンサーが(ji,ki)を決定する。異なるアプローチでは、
各スーパーピクセル(m,n)について：  (ji,ki)＝centroid{Imni(j,k;ui,vi)}  (2)
とする。すなわち、強度分布の重心（centroid）が(ji,ki)を決定する。Imni(j,k;ui,vi)における(j,k)は離散的であるが、値(ji,ki)は連続的であることができることを注意しておく。たとえば、重心アプローチは、スーパーピクセル応答が二つの隣り合うサブピクセルの間に中心があることを予測してもよい。
【００４１】
コントローラ６２０がN個の異なる観察方向(ui,vi)においてオブジェクトをサンプリングする場合、N個までの対応する(ji,ki)サブピクセル座標も同定される。次いで、伝搬方向(ui,vi)を対応するサブピクセル座標(ji,ki)にマッピングするルックアップテーブルを構築する（６９０）ことができる。
【００４２】
LUT1:  各スーパーピクセル(m,n)について：(ui,vi)→(ji,ki)  (3)
このルックアップテーブルは、各ビューが同じ観察方向を表わすはずなので、異なる観察方向〔ビュー方向〕に対応するマルチビューを再構成するために有用でありうる。すなわち、観察方向(u0,v0)からのビューを再構成するために、各スーパーピクセル内の(u0,v0)に対応するサブピクセル位置(j,k)を位置特定した。
【００４３】
LUT1から、各サブピクセル(j,k)を対応する伝搬方向（観察方向ともいう）(ujk,vjk)にマッピングする逆ルックアップテーブルを構築する（６９０）こともできる。
【００４４】
LUT2:  各スーパーピクセル(m,n)について：(i,j)→(ujk,vjk)  (4)
このルックアップテーブルは、たとえば表面属性を推定するために有用でありうる。
【００４５】
各スーパーピクセル(m,n)について異なるルックアップテーブルが構築されることができることを注意しておく。(u,v)と(j,k)の間のマッピングは異なるスーパーピクセルについては異なることができるからである。以前のアプローチでは、(u,v)と(j,k)の間のマッピングがすべてのスーパーピクセルについて同じであると仮定されており、誤差につながっていた。
【００４６】
図７〜図８は、コリメートされたオブジェクトについて72通りの異なる位置を使った較正の結果を示している。この例では、副次結像アレイは六角形充填されている。図７のＡ〜Ｂは、それぞれライトフィールド観察方向の天頂角および方位角の、軸上サブピクセルへのマッピングである。これらは、ライトフィールド観察方向の、軸上の一組のスーパーピクセル、すなわちセンサー・アレイの中央付近のスーパーピクセルへのマッピングを示している。ライトフィールド観察方向は二次元量である。この例は極座標を使う。図７のＡは、グレースケールで0からπ/2の天頂角を示し、図７のＢは擬似色で−πから＋πまでの方位角を示す。図７のＢにおいてすべての色が出会う点は、オブジェクトからの軸上光線を捕捉するサブピクセルである。それは、スーパーピクセルの一つについて７１０とマークされている。この点は各軸上スーパーピクセルのほぼ中心にあることを注意しておく。
【００４７】
図８のＡ〜Ｂは、それぞれライトフィールド観察方向の天頂角および方位角の、軸外れサブピクセルへのマッピングである。これらは、図７のＡ〜Ｂと同じ量を示す、軸外れの一組のスーパーピクセル、すなわちセンサー・アレイの端付近のスーパーピクセルについてである。テレセントリックな場合、図７および図８は同じに見える。だが、ここではそうなっていない。たとえば、中心点８１０はスーパーピクセルの中心に対してシフトしている。
【００４８】
図９のＡ〜Ｂは、この較正の効果を示している。図９のＡは、オブジェクト空間較正を使わないオブジェクトの三次元再構成である。具体的には、これは捕捉されたプレノプティック画像からの定規カードの三次元レンダリングを示す。ただし、プレノプティック・イメージング・システムは較正されていない。カードは平坦だが、再構成は、サブピクセルのライトフィールド観察方向についての正しくない仮定によって引き起こされる曲がりを示している。図９のＢは同じオブジェクトの、ただしオブジェクト空間較正を使った三次元再構成である。これは図９のＡと同じレンダリングを示すが、今回は較正がある。曲がりアーチファクトはもはや存在しない。
【００４９】
本詳細な説明は多くの個別的事項を含むが、これらは本発明の範囲を限定するものではなく、単に種々の例および側面を例解するものとして解釈されるべきである。本発明の範囲は上記で詳細に論じられていない他の実施形態を含むことは理解されるべきである。当業者には明白であろうさまざまな他の修正、変更および変形が、付属の請求項において定義される本発明の精神および範囲から外れることなく、本稿に開示される本発明の方法および装置の構成、動作および詳細になされてもよい。したがって、本発明の範囲は付属の請求項およびその法的な等価物によって定義されるべきである。
【００５０】
代替的な諸実施形態において、本発明の諸側面はコンピュータ・ハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組み合わせにおいて実装される。装置は、プログラム可能なプロセッサによる実行のために非一時的な機械可読記憶デバイスにおいて有体に具現されたコンピュータ・プログラム・プロダクトにおいて実装されることができ；方法段階は、入力データに対して作用して出力を生成することによって機能を実行するための命令のプログラムを実行するプログラム可能なプロセッサによって実行されることができる。諸実施形態は、データ記憶システム、少なくとも一つの入力装置および少なくとも一つの出力装置からデータおよび命令を受領し、データ記憶システム、少なくとも一つの入力装置および少なくとも一つの出力装置にデータおよび命令を送信するよう結合された少なくとも一つのプログラム可能プロセッサを含むプログラム可能システム上で実行可能な一つまたは複数のコンピュータ・プログラムにおいて有利に実装されることができる。各コンピュータ・プログラムは、高レベル手続き型またはオブジェクト指向プログラミング言語においてまたは望むならアセンブリ言語または機械語において実装されることができる。いずれにせよ、言語はコンパイルされる言語またはインタープリットされる言語であることができる。好適なプロセッサはたとえば、汎用および特殊目的マイクロプロセッサ両方を含む。一般に、プロセッサは読み出し専用メモリおよび／またはランダム・アクセス・メモリから命令およびデータを受領する。一般に、コンピュータは、データ・ファイルを記憶するための一つまたは複数の大容量記憶デバイスを含む。そのようなデバイスは内蔵ハードディスクおよびリムーバブル・ディスクのような磁気ディスク；光磁気ディスクおよび光ディスクを含む。コンピュータ・プログラム命令およびデータを有体に具現するために好適な記憶デバイスは、たとえばEPROM、EEPROMおよびフラッシュ・メモリ・デバイスのような半導体メモリ・デバイス；内蔵ハードディスクおよびリムーバブル・ディスクのような磁気ディスク；光磁気ディスクおよびCD-ROMディスクを含む不揮発性メモリのあらゆる形を含む。上記のいずれも、ASIC（特定用途向け集積回路）および他の形のハードウェアによって捕捉されたり、それに組み込まれたりすることができる。
【００５１】
いくつかの態様を記載しておく。
〔態様１〕
プレノプティック・イメージング・システムを較正する方法であって：
種々の伝搬方向に沿って伝搬するコリメートされた光を生じるオブジェクトのプレノプティック画像を捕捉する段階であって、各プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルは、少なくとも一つの対応するライトフィールド観察方向からの光を捕捉する、段階と；
捕捉されたプレノプティック画像に基づいて、伝搬方向のサブピクセルへのマッピングを計算する段階であって、前記マッピングは、諸サブピクセルに対して諸ライトフィールド観察方向を定義する、段階とを含む、
方法。
〔態様２〕
伝搬方向のサブピクセルへのマッピングを計算する段階が、各コリメートされたオブジェクトについて：
各スーパーピクセルによって捕捉される光の重心を計算し；
そのコリメートされたオブジェクトからの光の伝搬方向を、計算された重心に対応するサブピクセルにマッピングすることを含む、
態様１記載の方法。
〔態様３〕
マッピングを計算する段階が、ライトフィールド観察方向をサブピクセルにマッピングするルックアップテーブルを生成することを含む、態様１記載の方法。
〔態様４〕
マッピングを計算する段階が、サブピクセルをライトフィールド観察方向にマッピングするルックアップテーブルを生成することを含む、態様１記載の方法。
〔態様５〕
各スーパーピクセルがN個のサブピクセルを含み、前記オブジェクトが少なくともN個の異なる伝搬方向に沿って伝搬するコリメートされた光を生成する、態様１記載の方法。
〔態様６〕
種々の伝搬方向に沿って伝搬するコリメートされた光を生じるよう前記オブジェクトを自動的に調整する段階と；
前記種々の伝搬方向のそれぞれについてプレノプティック画像を自動的に捕捉する段階とをさらに含む、
態様１記載の方法。
〔態様７〕
前記プレノプティック・イメージング・システムがオブジェクト空間テレセントリックでない、態様１記載の方法。
〔態様８〕
前記プレノプティック・イメージング・システムが像空間テレセントリックでない、態様１記載の方法。
〔態様９〕
前記プレノプティック・イメージング・システムが有限な共役物（conjugates）を有する、態様１記載の方法。
〔態様１０〕
諸サブピクセルに対しての諸ライトフィールド観察方向についてのデータを記憶する段階と；
前記データを記憶した後で、別のプレノプティック画像を捕捉する段階と；
諸サブピクセルに対しての諸ライトフィールド観察方向を考慮に入れるために記憶された前記データを使って前記プレノプティック画像を処理する段階とをさらに含む、
態様１記載の方法。
〔態様１１〕
プレノプティック・イメージング・システムを較正するシステムであって：
調整可能なコリメートされたオブジェクトであって、前記オブジェクトは、種々の伝搬方向に沿って伝搬するコリメートされた光を生じるよう調整可能である、オブジェクトと；
種々の伝搬方向に調整された前記オブジェクトのプレノプティック画像を捕捉するプレノプティック・イメージング・システムであって、各プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルは、対応するライトフィールド観察方向からの光を捕捉する、プレノプティック・イメージング・システムと；
捕捉されたプレノプティック画像に基づいて、伝搬方向のサブピクセルへのマッピングを計算する較正モジュールであって、前記マッピングは、諸サブピクセルに対して諸ライトフィールド観察方向を定義する、較正モジュールとを有する、
システム。
〔態様１２〕
前記較正モジュールがさらに、
各スーパーピクセルによって捕捉される光の重心を計算し；
前記コリメートされたオブジェクトからの光の伝搬方向を、計算された重心に対応するサブピクセルにマッピングする、
態様１１記載のシステム。
〔態様１３〕
前記較正モジュールがさらに、ライトフィールド観察方向をサブピクセルにマッピングするルックアップテーブルを生成する、態様１１記載のシステム。
〔態様１４〕
前記較正モジュールがさらに、サブピクセルをライトフィールド観察方向にマッピングするルックアップテーブルを生成する、態様１１記載のシステム。
〔態様１５〕
種々の伝搬方向に沿って伝搬するコリメートされた光を生じるよう前記オブジェクトを自動的に調整し；
前記プレノプティック・イメージング・システムに、前記種々の伝搬方向のそれぞれに対応するプレノプティック画像を自動的に捕捉させる
コントローラをさらに有する、
態様１１記載のシステム。
〔態様１６〕
前記プレノプティック・イメージング・システムがオブジェクト空間テレセントリックでない、態様１１記載のシステム。
〔態様１７〕
前記プレノプティック・イメージング・システムが像空間テレセントリックでない、態様１１記載のシステム。
〔態様１８〕
前記プレノプティック・イメージング・システムが有限な共役物（conjugates）を有する、態様１２記載のシステム。
〔態様１９〕
異なるオブジェクトのプレノプティック画像を処理する処理モジュールをさらに有しており、前記処理は前記較正モジュールによって決定されるところの諸サブピクセルに対しての諸ライトフィールド観察方向を考慮に入れる、態様１１記載のシステム。
〔態様２０〕
コンピュータに、プレノプティック・イメージング・システムを較正する方法を実行させるためのコンピュータ・プログラムであって、前記方法は：
種々の伝搬方向に沿って伝搬するコリメートされた光を生じるオブジェクトのプレノプティック画像にアクセスする段階であって、各プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルは、対応するライトフィールド観察方向からの光を捕捉する、段階と；
捕捉されたプレノプティック画像に基づいて、伝搬方向のサブピクセルへのマッピングを計算する段階であって、前記マッピングは、諸サブピクセルに対して諸ライトフィールド観察方向を定義する、段階とを含む、
コンピュータ・プログラム。
【符号の説明】
【００５２】
１１０  プレノプティック・イメージング・システム
１１２  主結像光学系
１１５  像形成要素のアレイ
１１４  副次結像アレイ
１５０  オブジェクト
１５５  光学像
１７０  プレノプティック像
１８０  センサー・アレイ
１９０  処理モジュール
１９５  表面属性
【図１】
0006288345.tif 000002
【図２】
0006288345.tif 000003
【図３Ａ】
0006288345.tif 000004
【図３Ｂ】
0006288345.tif 000005
【図３Ｃ】
0006288345.tif 000006
【図３Ｄ】
0006288345.tif 000007
【図４】
0006288345.tif 000008
【図５】
0006288345.tif 000009
【図６】
0006288345.tif 000010
【図７】
0006288345.tif 000011
【図８】
0006288345.tif 000012
【図９】
0006288345.tif 000013