(57)【要約】【課題】プレノプティック撮像システム用のプレビュー生成の提供。【解決手段】カラープレビュー画像が、プレノプティック撮像システム用に生成される。未処理のプレノプティック画像は、スーパー画素を含む構造を有し異なるカラーチャネルも含む。主カラーチャネルについて、主カラー中央ビューが、スーパー画素の中央ビューについての画素値すなわちスーパー画素のセントロイドにおける画素値を決定することにより生成され、他のカラーチャネルの各々について、主カラーチャネルに対する各カラーチャネルのカラー比が各スーパー画素について計算され、各非主カラーチャネルについての中央ビューが、カラー比と主カラー中央ビューについての画素値とを乗算することにより決定され、主カラーチャネル及び非主カラーチャネルについての中央ビューがカラープレビュー画像へと合成される。これらの計算は好ましくはビデオレートでリアルタイムに実行され得る。【選択図】図２
2018147480.tif 000002
【特許請求の範囲】
【請求項１】
結像光学素子、マイクロレンズアレイ、及び、異なるカラーセンサのサブアレイを複数含むセンサアレイを有するプレノプティック撮像システム用のリアルタイムカラープレビュー画像を生成する方法であって、
前記プレノプティック撮像システムによりキャプチャされたプレノプティック画像にアクセスするステップであって、前記プレノプティック画像は、前記マイクロレンズアレイにおけるマイクロレンズに対応するスーパー画素を含み、前記異なるカラーセンサのサブアレイにより捕捉された異なるカラーチャネルも含む、ステップと、
主カラーチャネルについて、前記スーパー画素のセントロイドにおける、前記主カラーチャネルについての画素値を決定するステップであって、集約された該画素値は、主カラー中央ビューを形成する、ステップと、
他のカラーチャネルの各カラーチャネルについて、
前記スーパー画素のセントロイドにおける、前記主カラーチャネルに対する当該カラーチャネルのカラー比を決定するステップと、
前記カラー比と前記主カラーチャネルについての前記画素値とを乗算することにより、当該カラーチャネルについての画素値を決定するステップであって、集約された決定された該画素値は、当該カラーチャネルについての中央ビューを形成する、ステップと、
前記主カラー中央ビューと前記他のカラーチャネルについての前記中央ビューとを合成して、カラープレビュー画像を作成するステップと、
を含む方法。
【請求項２】
前記プレノプティック撮像システムは、プレノプティック画像のフレームを含むプレノプティックビデオをキャプチャし、前記カラープレビュー画像は、前記プレノプティックビデオの前記キャプチャと同じフレームレートで作成される、請求項１に記載の方法。
【請求項３】
前記プレノプティック撮像システムは、プレノプティック画像のフレームを含むプレノプティックビデオをキャプチャし、前記カラープレビュー画像は、前記プレノプティック撮像システムが何をキャプチャしているかのリアルタイムプレビューを提供する、請求項１に記載の方法。
【請求項４】
前記カラープレビュー画像は、前記マイクロレンズアレイにおけるマイクロレンズの数を超えない解像度を有する、請求項１に記載の方法。
【請求項５】
前記カラープレビュー画像は、前記センサアレイにおけるセンサの総数よりも小さい解像度を有する、請求項１に記載の方法。
【請求項６】
前記主カラーチャネルは、最大数のセンサを有するカラーチャネルである、請求項１に記載の方法。
【請求項７】
前記スーパー画素のセントロイドにおける、前記主カラーチャネルについての画素値を決定することは、前記プレノプティック画像から、前記主カラーチャネルの画素値を補間することを含む、請求項１に記載の方法。
【請求項８】
前記補間はバイリニア補間である、請求項７に記載の方法。
【請求項９】
前記主カラーチャネルに対する別のカラーチャネルのカラー比を決定することは、前記セントロイドを含む合成開口について、前記合成開口に含まれる前記主カラーチャネルに対する、前記合成開口に含まれる前記別のカラーチャネルの比を計算することを含む、請求項１に記載の方法。
【請求項１０】
前記合成開口は、対応する前記スーパー画素内に含まれる、請求項９に記載の方法。
【請求項１１】
前記合成開口は、対応する前記スーパー画素と同等である、請求項９に記載の方法。
【請求項１２】
前記スーパー画素のうちの少なくとも１つのスーパー画素についての前記カラー比は、隣接スーパー画素についてのカラー比としても使用される、請求項９に記載の方法。
【請求項１３】
前記合成開口は、全てのスーパー画素について同じ形状及びサイズである、請求項９に記載の方法。
【請求項１４】
前記合成開口は、周辺光量不足であるセンサを回避するサイズである、請求項９に記載の方法。
【請求項１５】
前記合成開口は、前記セントロイドを中心とする、請求項９に記載の方法。
【請求項１６】
前記スーパー画素の前記セントロイドは、前記スーパー画素の真ん中のセンサである、請求項１に記載の方法。
【請求項１７】
前記プレノプティック画像にアクセスすることは、前記プレノプティック撮像システムによりキャプチャされた前記プレノプティック画像の正規化されたバージョンの画像にアクセスすることを含み、前記正規化されたバージョンの画像は、隣接マイクロレンズ間のピッチと、前記センサアレイに対する前記マイクロレンズアレイの回転と、について正規化されている、請求項１に記載の方法。
【請求項１８】
前記センサアレイは、ベイヤーフィルタアレイを含み、前記異なるカラーチャネルは、赤チャネル、緑チャネル、及び青チャネルを含む、請求項１に記載の方法。
【請求項１９】
前記カラープレビュー画像を作成することは、センサから得られた輝度値にさらに基づく、請求項１に記載の方法。
【請求項２０】
プレノプティック撮像システムからのセンサアレイ上のセントロイド位置を推定するためのコンピュータプログラムであって、
前記プレノプティック撮像システムによりキャプチャされたプレノプティック画像にアクセスするステップであって、前記プレノプティック画像は、異なるカラーセンサのサブアレイにより捕捉された異なるカラーチャネルを含む、ステップと、
主カラーチャネルについて、スーパー画素のセントロイドにおける、前記主カラーチャネルについての画素値を決定するステップであって、集約された該画素値は、主カラー中央ビューを形成する、ステップと、
他のカラーチャネルの各カラーチャネルについて、
前記スーパー画素のセントロイドにおける、前記主カラーチャネルに対する当該カラーチャネルのカラー比を決定するステップと、
前記カラー比と前記主カラーチャネルについての前記画素値とを乗算することにより、当該カラーチャネルについての画素値を決定するステップであって、集約された決定された該画素値は、当該カラーチャネルについての中央ビューを形成する、ステップと、
前記主カラー中央ビューと前記他のカラーチャネルについての前記中央ビューとを合成して、カラープレビュー画像を作成するステップと、
を含む方法をプロセッサに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、プレノプティックビデオを含め、プレノプティック画像の生成に関する。
【背景技術】
【０００２】
プレノプティック撮像システムが最近多大な注目を集めている。これを使用して、キャプチャされたプレノプティック画像のデジタル処理に基づいて、対象物の異なるフォーカス点又は視点を再計算することができる。プレノプティック撮像システムはまた、プレノプティック撮像システムにより撮像される３次元対象物までの奥行きを推定することに応用され、推定後に、これらの対象物又は３次元シーン全体の３次元再構成が続くであろう。
【０００３】
しかしながら、未処理のプレノプティック画像から最終的な処理された画像を生成するのに必要とされる画像処理量は、相当なものであり得、リアルタイムにビデオレートで行うことができないことがしばしばある。しかしながら、処理された画像がなければ、プレノプティックカメラがどこに向けられており、どのような画像がキャプチャされているかを、プレノプティックカメラユーザが知るのは難しいことがある。
【０００４】
したがって、プレノプティックカラービデオをキャプチャするシステム用のプレビュー生成を含む、プレノプティック撮像システム用のプレビュー生成が必要とされている。
【発明の概要】
【０００５】
本開示は、プレノプティック撮像システムによりキャプチャされたプレノプティック画像からカラープレビュー画像を生成することにより、従来技術の制限を克服する。プレビュー生成は、好ましくは、プレノプティックビデオシステム用にリアルタイムに行うことができるように計算上簡単である。
【０００６】
一態様において、カラープレビュー画像は、プレノプティック撮像システムによりキャプチャされたプレノプティック画像から生成される。典型的なプレノプティック撮像システムは、マイクロレンズアレイ及びセンサアレイを含み、キャプチャされたプレノプティック画像は、マイクロレンズに対応するスーパー画素（superpixel）を含む構造を有する。プレノプティック撮像システムは、異なるカラーセンサ（例えば、赤、緑、及び青）のサブアレイを含むカラーセンサアレイを使用する。したがって、キャプチャされたプレノプティック画像は、異なるカラーセンサにより捕捉された異なるカラーチャネルも有する。
【０００７】
カラーチャネルのうちの１つのカラーチャネル（これを主カラーチャネルと呼ぶことにする。）について、主カラー中央ビューが、スーパー画素のセントロイド（centroid）における画素値を決定することにより生成される。典型的には、主カラーは、センサアレイにおいて最高解像度（例えば、最大数のセンサ）を有するカラーである。ベイヤーセンサにおいて、緑チャネルが、主カラーとして好ましい。他のカラーチャネル（非主カラーチャネル）の各カラーチャネルについて、主カラーチャネルの画素値に対して非主カラーチャネルの画素値を比較した比が、各スーパー画素について決定される。これらの比が、主カラー中央ビューに適用されて、各非主カラーチャネルについて中央ビューが生成される。全てのカラーチャネルについての中央ビューが合成されて、プレノプティック撮像システム用のカラープレビュー画像が作成される。任意的に、プレノプティック撮像システムが、ビデオをキャプチャしている場合、カラープレビュー画像は、ビデオキャプチャと同じフレームレートでリアルタイムに生成される。
【０００８】
他の態様は、上記のいずれかに関連するコンポーネント、デバイス、システム、改良、方法、プロセス、アプリケーション、コンピュータ読み取り可能な媒体、及び他の技術を含む。
【図面の簡単な説明】
【０００９】
本発明は、添付図面と併せて読まれたときに本発明の以下の詳細な説明及び特許請求の範囲からより容易に明らかになるであろう他の利点及び特徴を有する。図面は、例示の目的で様々な実施形態を示しているに過ぎない。本出願において例示される構造及び方法の代替実施形態が、本開示において説明される原理から逸脱することなく使用され得ることが、当業者であれば以下の説明から容易に認識されよう。
【図１】プレノプティック撮像システムの図（従来技術）。
【図２】例示的な一実施形態に従った、キャプチャされたプレノプティック画像からカラープレビュー画像を生成する一方法のフロー図。
【図３Ａ】例示的な一実施形態に従った、複数のスーパー画素を含むプレノプティック画像の図。
【図３Ｂ】図３Ａのプレノプティック画像からの１つのスーパー画素についてのセントロイド位置の図。
【図３Ｃ】図３Ａのプレノプティック画像からの全てのスーパー画素についてのセントロイドを示す図。
【図４Ａ】実施形態に従った合成開口を示す図。
【図４Ｂ】実施形態に従った合成開口を示す図。
【図５Ａ】実施形態に従った合成開口の例を示す図。
【図５Ｂ】実施形態に従った合成開口の例を示す図。
【図５Ｃ】実施形態に従った合成開口の例を示す図。
【図５Ｄ】実施形態に従った合成開口の例を示す図。
【図６Ａ】バイリニア補間を用いて近似された赤チャネルの画像の図。
【図６Ｂ】カラー比を用いて近似された赤チャネルの画像の図。
【図７Ａ】バイリニア補間を用いて近似された青チャネルの画像の図。
【図７Ｂ】カラー比を用いて近似された青チャネルの画像の図。
【図８】例示的な一実施形態に従った、ライトフィールドオトスコープ用のカラープレビュー画像を示す図。
【発明を実施するための形態】
【００１０】
図面及び以下の説明は、例示に過ぎない好ましい実施形態に関する。以下の説明から、本出願において開示される構造及び方法の代替実施形態が、特許請求されるものの原理から逸脱することなく使用され得る実施可能な代替として容易に認識されるであろうことを理解されたい。
【００１１】
図１（従来技術）は、プレノプティック撮像システムを示す図である。プレノプティック撮像システム１１０は、（図１において単一のレンズにより表されている）結像光学素子１１２、マイクロレンズアレイ１１４（マイクロレンズ１１５のアレイ）、及びセンサアレイ１８０を含む。マイクロレンズアレイ１１４及びセンサアレイ１８０はあわせて、プレノプティックセンサモジュールと呼ばれることがある。これらのコンポーネントは、図１においてサブシステム１及びサブシステム２として示されている２つのオーバーラップする結像サブシステムを形成する。
【００１２】
便宜上、結像光学素子１１２は、図１において、単一の対物レンズとして示されているが、これは、複数の要素を含んでもよいことを理解されたい。対物レンズ１１２は、画像面ＩＰにおいて対象物１５０の光学像１５５を結像する。マイクロレンズアレイ１１４は、画像面ＩＰに配置され、各マイクロレンズは、結像サブシステム１の開口をセンサアレイ１８０上に結像する。すなわち、開口及びセンサアレイは、共役面ＳＰ及びＳＰ’に配置される。マイクロレンズアレイ１１４は、矩形アレイ、六角アレイ、又は他のタイプのアレイとすることができる。センサアレイ１８０も、図１に示されている。
【００１３】
センサアレイ１８０は、例えば、赤カラーセンサ、緑カラーセンサ、及び青カラーセンサのサブアレイといった異なるカラーセンサを含む。いくつかの実施形態において、これは、カラーフィルタアレイ１８５を使用することにより実現される。例示的な一実施形態において、カラーフィルタアレイ１８５は、赤カラーフィルタ、緑カラーフィルタ、及び青カラーフィルタのパターンであるベイヤーフィルタである。ベイヤーフィルタは、赤カラーチャネル、緑カラーチャネル、及び青カラーチャネルを生成する。
【００１４】
図１の下側部分は、さらなる詳細を提供している。この例において、マイクロレンズアレイ１１４は、マイクロレンズ１１５の３ｘ３アレイである。対象物１５０は、対応する３ｘ３アレイの領域に分割され、これらは、１〜９とラベル付けされている。領域１〜９の各々が、結像光学素子１１２及び結像サブシステム１により、マイクロレンズ１１５のうちの１つのマイクロレンズ上に結像される。図１における破線の光線は、領域５の、対応する中央マイクロレンズ上への結像を示している。
【００１５】
各マイクロレンズ１１５は、これらの光線を、センサアレイ１８０の対応するセクション上に結像する。センサアレイ１８０は、１２ｘ１２矩形アレイとして図示されている。センサアレイ１８０は、Ａ〜Ｉとラベル付けされているマイクロレンズフットプリント１７５に細分割され得、各マイクロレンズフットプリントは、マイクロレンズのうちの１つのマイクロレンズに対応し、したがって、対象物１５０の所定の領域にも対応する。図１において、マイクロレンズフットプリントＥは、中央マイクロレンズに対応し、これは、対象物の領域５に対応する。すなわち、マイクロレンズフットプリントＥ内のセンサは、対象物の領域５からの光を捕捉する。マイクロレンズフットプリント内のセンサにより捕捉された画像データを、スーパー画素と呼ぶ。
【００１６】
各スーパー画素１７５は、多くの個々のセンサからの光を含む。この例において、各スーパー画素は、４ｘ４アレイの個々のセンサからの光から生成される。スーパー画素のための各センサは、対象物の同じ領域からではあるが異なる伝搬角度での光を捕捉する。例えば、スーパー画素Ｅのための左上のセンサＥ１は、スーパー画素Ｅのための右下のセンサＥ１６と同じように、領域５からの光を捕捉する。しかしながら、これらの２つのセンサは、対象物から異なる方向に伝搬する光を捕捉する。これは、図１における実線の光線から確認できる。全ての３つの実線の光線は、同じ対象物点から発生しているが、同じスーパー画素のための異なるセンサにより捕捉される。
【００１７】
すなわち、対象物１５０は、４次元ライトフィールドＬ（ｘ，ｙ，ｕ，ｖ）をもたらし、ここで、Ｌは、方向（ｕ，ｖ）に伝搬する、空間的位置（ｘ，ｙ）から発生した光線の振幅、強度、又は他の尺度である。センサアレイにおける各センサは、４次元ライトフィールドの所定のボリュームからの光を捕捉する。これらのセンサは、４次元ライトフィールドをサンプリングしている。そのようなボリュームの形状又は境界は、プレノプティック撮像システムの特性により決定される。便宜上、１つのセンサに対応する（ｘ，ｙ）領域を、当該センサについてのライトフィールド観察領域と呼び、１つのセンサに対応する（ｕ，ｖ）方向を、当該センサについてのライトフィールド観察方向と呼ぶ。
【００１８】
スーパー画素１７５は、同じライトフィールド観察領域を有する全てのセンサの集約結果である。ビューは、伝搬方向についての類似概念である。ビューは、同じライトフィールド観察方向を有する全てのセンサの集約結果である。図１の例において、個々のセンサＡ１、Ｂ１、Ｃ１、．．．、Ｉ１は、対象物の左上ビューを構成する。個々のセンサＡ１６、Ｂ１６、Ｃ１６、．．．、Ｉ１６は、対象物の右下ビューを構成する。プレノプティック撮像システムが軸上対称システムであると仮定すると、中央ビューは、（ｕ，ｖ）＝（０，０）に対応するビューである。各スーパー画素／フットプリントのセントロイドは、各スーパー画素／フットプリント内の、（ｕ，ｖ）＝（０，０）に対応する点である。図１において、セントロイドは、Ａ、Ｂ、Ｃ、．．．、Ｉとラベル付けされている中心交点である。
【００１９】
プレノプティック画像１７０は、対象物によりもたらされた４次元ライトフィールドに関する情報を含むので、処理モジュール１９０が、奥行き推定、３次元再構成、合成リフォーカシング、焦点深度の伸長、スペクトル分析、及び他のタイプの多視点解析等の異なるタイプの分析／解析を実行するために、使用され得る。しかしながら、このような処理された画像１９５を生成することは、計算集約的であり得、これらをリアルタイムに生成することができないことがある。
【００２０】
図２は、例示的な一実施形態に従った、キャプチャされたプレノプティック画像からカラープレビュー画像を生成する一方法のフロー図である。このプロセスは、図３〜図８を参照して説明される。便宜上、セントロイド位置に配置されるセンサを、セントロイド又はセントロイドセンサと呼ぶ。以下で説明される例において、図２のプロセスは、プレノプティック撮像システム１１０により（例えば、処理モジュール１９０を介して）実行される。別の実施形態において、このプロセスは、プレノプティック撮像システムとは別個のコンピューティングシステムにより実行される。他の実施形態において、他のモジュールが、このプロセスのステップの一部又は全てを実行することもある。同様に、実施形態は、異なるステップ及び／又は追加のステップを含むこともあるし、ステップを異なる順序で実行することもある。
【００２１】
処理モジュール１９０は、プレノプティック撮像システム１１０によりキャプチャされたプレノプティック画像にアクセスし（２００）、未処理のプレノプティック画像のスーパー画素のセントロイドを決定する（２１０）。図３Ａは、例示的な一実施形態に従った、複数のスーパー画素１７５を含むプレノプティック画像３１０の図である。図３Ａにおいて、これらのスーパー画素１７５は、（図１に示されている正方形スーパー画素とは対照的に）概ね円形である。なぜならば、主光学素子１１２の瞳が円形であるからである。各正方形１８２は、センサアレイ１８０におけるセンサを表す、すなわち、プレノプティック画像における対応する画素を表す。この例において、ベイヤーフィルタが使用されるので、これらのセンサは、赤カラーセンサ、緑カラーセンサ、又は青カラーセンサのいずれかである。プレノプティック画像における赤画素は、プレノプティック画像についての赤カラーチャネルを形成し、緑画素は、緑カラーチャネルを形成し、青画素は、青カラーチャネルを形成する。
【００２２】
図３Ｂは、図３Ａのプレノプティック画像からの１つのスーパー画素１７５についてのセントロイド位置の図である。各スーパー画素１７５のセントロイド３３０は、プレノプティック画像の中央ビューに対応する位置である。すなわち、これは、軸上プレノプティック撮像システムについての（ｕ，ｖ）＝（０，０）というライトフィールド観察方向に対応する。図３Ｂは、８つの画素１８２分の直径を有するスーパー画素１７５を示している。この例において、これらの画素は、ベイヤーパターンに従って、赤（Ｒ）と緑（Ｇ）と青（Ｂ）との間で交互に代わる。スーパー画素１７５のセントロイド３３０は、スーパー画素１７５の中央における「＋」によりマーク付けされている。図３Ｃは、全てのセントロイド３３０がマーク付けされている、図３Ａの一バージョンである。明瞭さのために、個々の画素は、図３Ｃにおいて示されていない。
【００２３】
スーパー画素１７５のセントロイド３３０は、例えば、各スーパー画素のスペクトル分析、信号パワー解析、又は幾何解析を用いて決定され得る（２１０）。セントロイドを決定するさらなる詳細は、同時係属中の米国特許出願第１５／４５３８８２号（名称：「Automatic  Centroid  Determination  of  Microlens  Arrays  in  Plenoptic  Imaging  Systems」）において説明されており、上記出願の内容は、参照により本明細書に組み込まれる。
【００２４】
図２に戻ると、処理モジュール１９０は、スーパー画素のセントロイドにおける主カラーチャネルの画素値から、主カラー中央ビューを生成する（２２０）。カラーチャネルのうちの１つのカラーチャネルが、主カラーとして選択される。ベイヤーパターンにおいて、緑チャネルは、赤チャネル又は青チャネルの２倍の数の画素（センサ）を有するので、この例において、緑チャネルが、主カラーとして選択される。好ましくは、最大数の画素を有するチャネルが、主カラーとして選択されるが、これは必須ではない。
【００２５】
緑が主カラーであるので、各セントロイド位置における緑値が決定される。スーパー画素の全てのセントロイドについての緑画素値の集約が、低解像度緑画像（より正確には、低解像度カラー画像の緑成分）を形成する。この緑成分は、対象物の中央ビューである。なぜならば、これは、スーパー画素のセントロイドにおいて得られた緑値の集合であるからである。これは、主カラーについての中央ビューであるので、主カラー中央ビューと呼ばれる。１００ｘ１００アレイのマイクロレンズを伴う例において、中央ビューは、拡大がなくても、最大で１００ｘ１００画素とすることができる（すなわち、１つのマイクロレンズにつき１つの画素）。いくつかの実施形態において、中央ビューの解像度は、例えば、スーパーサンプリング、補間、又は他の方法により、拡大され得る。
【００２６】
図３Ｂを参照すると、スーパー画素１７５における緑画素群は、セントロイド３３０の位置と一致しないことがある。したがって、セントロイド位置３３０における緑画素値は、実際の緑画素位置から補間され得る。セントロイドにおける全ての緑画素を補間することにより、視点の変動（すなわち、視差）に起因するアーチファクトが低減され得る。概して、この低減される変動は、赤カラーチャネル及び青カラーチャネルと比較して、緑画素の数が多いことに起因する。一手法において、バイリニア補間を用いて、各スーパー画素１７５のセントロイド３３０における主カラーの画素値を決定することができる。例えば、セントロイドが、いかなる緑画素にも対応しない座標（ｉ，ｊ）に位置していると仮定する。ｉ及びｊは、この例において、整数である必要はないことに留意されたい。スーパー画素において、４つの最も近い緑画素が、（ｉ１，ｊ１）、（ｉ１，ｊ２）、（ｉ２，ｊ１）、及び（ｉ２，ｊ２）に位置しており、これらの画素値にはそれぞれ、Ｇ１１、Ｇ１２、Ｇ２１、及びＧ２２が与えられている。処理モジュールは、以下のように、ｉ方向に補間し、次いでｊ方向に補間することにより、セントロイドにおける画素値Ｇｃｅｎｔｒｏｉｄを決定することができる：
【数１】
2018147480.tif 000003
Ｇｃｅｎｔｒｏｉｄは、スーパー画素内の近傍ビューの緑画素に基づく、中央ビューの近似緑画素値として表され得る。別の実施形態において、処理モジュールは、ｉ方向の前にｊ方向について補間する。
【００２７】
概して、バイリニア補間は、セントロイドの類似する行及び列上の画素を使用して実行される。しかしながら、バイリニア補間は、セントロイドにおける値が近似され得るように、スーパー画素の任意の画素を使用してもよい。加えて、近傍画素は、バイリニア補間が高い質の結果をもたらすように（例えば、デッドセンサ又は周辺光量不足であるセンサは選択されないように）、信号のパワーに基づいて選択されてもよい。さらに、補間は、各方向において３つ以上の画素を使用してもよく、２つよりも多い又は少ない方向に補間してもよい（例えば、線形、バイキュービック、及びトリリニア補間）。
【００２８】
他の実施形態において、システムは、例えば、センサビニング、ベクトル解析、最近傍推定、近傍センサ代用（すなわち、セントロイドに最も近い緑画素の画素値の選択）、センサ平均化、又は、セントロイドにおける主カラーの画素値を近似することができる任意の他の方法を含む他の方法を使用して、セントロイドにおける主カラーの画素値を近似することができる。
【００２９】
図２に戻ると、処理モジュールは、他の（非主）カラーについての中央ビューを生成する（２３０）。一手法において、処理モジュールは、各スーパー画素について「合成開口」を選択し（２３２）、この合成開口内の主カラーに対する非主カラーの比を計算し（２３４）、次いで、主カラーの画素値とこの比とを乗算して（２３６）、非主カラーについての画素値を得ることにより、上記を行う。全てのスーパー画素にわたって集約された非主カラーについての画素値は、非主カラーについての低解像度中央ビューを規定する。全てのカラーについての中央ビューが合成されて、低解像度カラープレビュー画像が作成される（２６０）。
【００３０】
図４Ａ及び図４Ｂは、様々な実施形態に従った合成開口を示している。これらの例において、スーパー画素１７５は、１６個の画素１８２分の直径を有する円形である。画素は、ベイヤーパターンで配置されている。セントロイド３３０は、大きな「＋」により示されている。セントロイドは、画素１８２を規定しているグリッドとは一致していないことに留意されたい。すなわち、画素が、整数座標１、２、３等に位置する場合、セントロイド３３０は、例えば８．２５といった小数座標に位置する。この例において、合成開口は、セントロイド３３０を中心とする５ｘ５領域として選択され（２３２）、これは、図４Ａにおいて、「＋」の全セット４３０により表されている。
【００３１】
一例として、赤カラーを使用すると、赤チャネルについてのカラー比は、次のように計算され得る（２３４）。緑画素値が、「＋」位置の各々において補間される。赤画素値が、「＋」位置の各々において補間される。赤／緑カラー比が、平均赤画素値を平均緑画素値で除算した値として計算される。青／緑カラー比も、同様に計算され得る（２３４）。
【００３２】
図４Ａにおいて、「＋」位置は、グリッドから外れており、これは、何らかの追加の計算をもたらしていた。図４Ｂにおいて、合成開口４３０は、画素のグリッドと整列するように選択される（これが、セントロイド３３０に対してわずかに中心から外れさせるとしても）。この例において、合成開口４３０は、濃い外側線を有する正方形により囲まれる画素の５ｘ５集合であるように選択されている。赤／緑カラー比及び青／緑カラー比が、合成開口４３０内の画素値に基づいて計算され得る。好ましくは、カラー比は、例えば、低ノイズ及び低口径食を伴う画素値といった「高い質の」画素値に基づいて計算される。
【００３３】
多くの場合において、スーパー画素は、基礎となるセンサアレイと完全には整列しない。プレノプティック画像は、センサアレイに対して回転していることがあり、プレノプティック画像内のスーパー画素のピッチは、センサの整数個の数でないことがある。一手法において、プレノプティック画像は、さらなる処理の前に、これらの影響について正規化される。例えば、この正規化は、回転による不整列を除去することができ、画素の整数個の数の幅であるように、スーパー画素をスケーリングすることができる。これにより、図４Ａ〜図４Ｂに示されるような計算が、簡略化され得る。
【００３４】
図４Ａ及び図４Ｂは、１つのスーパー画素についての合成開口を示している。同じサイズ及び形状の合成開口が、全てのスーパー画素について使用されることもあるし、異なる合成開口が、異なるスーパー画素について使用されることもある。スーパー画素のサイズ及び形状、並びにスーパー画素内のセントロイドの位置は、プレノプティック画像にわたって変わり得る。軸上スーパー画素は、より真円形でより大きな面積を有し得るのに対し、軸外スーパー画素は、口径食又は他の収差に起因して、より楕円形でありより小さな面積を有し得る。セントロイドは、軸外スーパー画素と比較すると、軸上スーパー画素の幾何中心のより近くに位置し得る。これらの全ての理由から、異なる合成開口が、異なるスーパー画素について使用され得る。
【００３５】
図５Ａ〜図５Ｄは、合成開口のいくつかの例を示している。図５Ａにおいて、合成開口５３０は、正方形形状である。図５Ｂにおいて、合成開口５３０は、ｘ方向及びｙ方向に伸長しているクロス形状である。一実施形態において、クロスのアーム部分は、ベイヤーカラーパターンをより良く利用するために、２画素分である。図５Ｃにおいて、合成開口５３０は、最近傍画素を含む。図５Ｄにおいて、合成開口５３０は、スーパー画素内の全ての画素、又は、少なくとも全ての高い質の画素、を含む。いくつかの場合において、１つのスーパー画素についてのカラー比は、例えば、このスーパー画素内の画素の質が悪すぎる場合には、隣接スーパー画素からの画素に基づき得る。さらに、例えば、このスーパー画素内の画素が悪すぎる場合には、隣接スーパー画素についてのカラー比が、ノイズアーチファクトを低減させるために、使用され得る。
【００３６】
各非主カラーチャネルについてのカラー比と主カラー中央ビューとを乗算する（２３６）ことにより、処理モジュール２３０は、非主カラーの各々についての中央ビューを生成することができる（２３０）。ＲＧＢの例において、カラープレビュー画像についてのカラー成分は、以下のように規定され得る：
【数２】
2018147480.tif 000004
ここで、（ｍ，ｎ）は、スーパー画素についてのインデックスであり、ＧＣｅｎｔｒｏｉｄ（ｍ．ｎ）は、主カラー（緑）についての中央ビューであり、ＲａｔｉｏＲ／Ｇ（ｍ，ｎ）及びＲａｔｉｏＢ／Ｇ（ｍ，ｎ）はそれぞれ、赤／緑についてのカラー比及び青／緑についてのカラー比である。ＧＣｅｎｔｒｏｉｄ（ｍ，ｎ）＊ＲａｔｉｏＲ／Ｇ（ｍ，ｎ）及びＧＣｅｎｔｒｏｉｄ（ｍ，ｎ）＊ＲａｔｉｏＢ／Ｇ（ｍ，ｎ）という計算された量がそれぞれ、赤カラー及び青カラーについての中央ビューの近似である。
【００３７】
図６〜図７は、赤チャネル及び青チャネルのこの近似の例を示している。図６Ａは、緑中央ビューが推定される方法と同様に、プレノプティック画像から赤画素のバイリニア補間を用いて推定された赤中央ビューを示している。図６Ｂは、上記の式（５）を用いて推定された赤中央ビューを示している。同様に、図７Ａは、プレノプティック画像から青画素のバイリニア補間を用いて推定された青中央ビューを示しており、図７Ｂは、上記の式（６）を用いて推定された青中央ビューを示している。図６Ａ及び図７Ａにおいて、バイリニア補間を用いて推定された中央ビューは、赤画素及び青画素の低サンプリングレートの結果であるむらのあるアーチファクトを示している。図６ｂ及び図７ｂの中央ビューは、微細画像詳細が、緑画素のより高いサンプリングレートにより提供されているので、改善されている。
【００３８】
式（４）〜式（６）により規定されるプレビュー成分が、カラープレビュー画像の赤成分、緑成分、及び青成分として合成され得る（２６０）。代替実施形態において、プレビュー画像は、プレノプティック画像の画素値から決定される他の画像データを使用して、プレビュー画像を生成することができる。例えば、システムは、明るさ、彩度、輝度、色相等を決定し、これらの値にさらに基づいて、カラープレビュー画像を生成することができる。
【００３９】
いくつかの場合において、プレノプティック撮像システムは、ビデオをキャプチャしている。すなわち、プレノプティック画像群が、ビデオレートでキャプチャされる。好ましくは、プレノプティック撮像システムは、プレビュー画像がプレノプティックビデオのキャプチャと同じフレームレートで作成されるように、未処理のプレノプティック画像をキャプチャし、ビューを処理し、カラープレビュービデオを生成する（２７０）。プレノプティック撮像システムが、１秒につき１５個以上のフレームをキャプチャしている場合、処理モジュールは、リアルタイム動作のためにカラープレビューフレームを作成するのに６６ｍｓ以下を要する。したがって、計算要件を低減させる手法は、所望のフレームレートを満たすのを助けることになる。例えば、補間の要件を低減させること及び合成開口において処理される画素の数を低減させることはともに、計算負荷を低減させることになる。生成されたカラープレビュービデオは、プレノプティック撮像システムが何をキャプチャしているかのリアルタイムプレビューを提供する。
【００４０】
図８は、例示的な一実施形態に従った、ライトフィールドオトスコープ用のカラープレビュー画像である。この例において、ライトフィールドオトスコープは、耳の内部のプレノプティック画像をキャプチャする。キャプチャされたプレノプティック画像は、上述したように処理されて、図８に示されるように、カラープレビュー画像が生成される。カラープレビュー画像は、鼓膜又は他の関連する解剖学的特徴の画像をキャプチャするように医師がオトスコープを誘導することを可能にする。例えば、医療手順においてオトスコープとして使用されるプレノプティック撮像システムは、以下の仕様を有することができる：５５μｍというマイクロレンズサイズ、３３７６ｘ２７０４画素（すなわち、９メガ画素）というセンサアレイサイズ、３．７μｍという個々の画素サイズ、及び毎秒１５〜１８フレームという、プレビュービデオについてのフレームレート。これらは例に過ぎない。他の実施形態は異なる仕様を有することができる。
【００４１】
一般に、カラープレビュー画像（すなわち、プレビュービデオのフレーム）は、センサアレイにおけるセンサの総数よりも著しく小さい、マイクロレンズアレイにおけるマイクロレンズの数を超えない解像度を有する。しかしながら、いくつかの実施形態において、様々な方法を使用して、マイクロレンズアレイにおけるマイクロレンズの数を超えるようにカラープレビュー画像の解像度を増大させることができる。いくつかの例は、超解像処理、サブセンササンプリング、補間、再サンプリング、ボックスサンプリング、及びベクトル化を含む。
【００４２】
上記の詳細な説明は、多くの具体的事項を含んでいるが、これらは、本発明の範囲を限定するものとして解釈されるべきではなく、本発明の異なる例及び態様を単に例示するものとして解釈されるべきである。本発明の範囲は、上記で詳細には説明されていない他の実施形態を含むことを理解されたい。例えば、本方法は、中央ビューだけでなく、プレノプティック画像の任意のビュー、すなわち、（ｕ，ｖ）≠（０，０）に適用されてもよい。当業者には明らかであろう様々な他の修正、変更、及び変形が、請求項において定められる本発明の主旨及び範囲から逸脱することなく、本出願において開示された本発明の方法及び装置の構成、動作、及び詳細において可能である。したがって、本発明の範囲は、請求項及びその正当な均等の構成により決定されるべきである。
【００４３】
代替実施形態は、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組合せにより実現され得る。実施形態は、プログラム可能なプロセッサによる実行のためにマシン読み取り可能な記憶デバイスにおいて具現化されるコンピュータプログラム製品により実現され得、方法ステップは、入力データに対して作用し出力を生成することにより機能を実行するための命令のプログラムをプログラム可能なプロセッサが実行することにより、実行され得る。実施形態は、データ記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、これらにデータ及び命令を送信するように接続された少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能な１つ以上のコンピュータプログラムにより効果的に実現され得る。各コンピュータプログラムは、高水準手続型プログラミング言語又はオブジェクト指向プログラミング言語により実装されてもよいし、望まれる場合には、アセンブリ言語又は機械語により実装されてもよい。いずれにせよ、言語は、コンパイル型言語又はインタプリタ型言語とすることができる。適切なプロセッサは、例えば、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方を含む。一般に、プロセッサは、読み取り専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受信する。一般に、コンピュータは、データファイルを記憶するための１つ以上の大容量記憶デバイスを含み、そのようなデバイスは、内蔵ハードディスク及び着脱可能なディスク等の磁気ディスク；光磁気ディスク；及び、光ディスクを含む。コンピュータプログラム命令及びデータを具現化するのに適した記憶デバイスは、全ての形態の不揮発性メモリを含み、これらは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス等の半導体メモリデバイス；内蔵ハードディスク及び着脱可能なディスク等の磁気ディスク；光磁気ディスク；及び、ＣＤ−ＲＯＭディスクを含む。前述したものの任意のものは、ＡＳＩＣ（特定用途向け集積回路）及び他の形態のハードウェアにより補完されてもよいし、これらに組み込まれてもよい。
【符号の説明】
【００４４】
１１０  プレノプティック撮像システム
１１２  結像光学素子
１１４  マイクロレンズアレイ
１８０  センサアレイ
１９０  処理モジュール
【図１】
2018147480.tif 000005
【図２】
2018147480.tif 000006
【図３Ａ】
2018147480.tif 000007
【図３Ｂ】
2018147480.tif 000008
【図３Ｃ】
2018147480.tif 000009
【図４Ａ】
2018147480.tif 000010
【図４Ｂ】
2018147480.tif 000011
【図５Ａ】
2018147480.tif 000012
【図５Ｂ】
2018147480.tif 000013
【図５Ｃ】
2018147480.tif 000014
【図５Ｄ】
2018147480.tif 000015
【図６Ａ】
2018147480.tif 000016
【図６Ｂ】
2018147480.tif 000017
【図７Ａ】
2018147480.tif 000018
【図７Ｂ】
2018147480.tif 000019
【図８】
2018147480.tif 000020