(57)【要約】【課題】  画像の空間解像度の向上させ得るライトフィールド撮像システムを提供する。【解決手段】  ライトフィールド撮像システムは、互いに対してサブピクセル量だけシフトされたビューを提供する複数の異なる像をキャプチャする。これらのビューは、より高い解像度の被写体のデジタル画像を作り出すように結合されることができる。【選択図】  図２Ａ
2015171156.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を生成するライトフィールド撮像システムであって、
被写体の光学像を形成する主光学サブシステムであり、前記光学像は当該主光学サブシステムのイメージプレーンに位置する、主光学サブシステムと、
補助結像アレイとセンサアレイとを有するライトフィールドセンサモジュールであり、前記補助結像アレイは、前記主光学サブシステムの開口を前記センサアレイ上に結像し、前記補助結像アレイは、前記センサアレイが前記被写体のビューのアレイをキャプチャするように前記イメージプレーンから変位され、前記ビューはサブピクセル視差を呈する、ライトフィールドセンサモジュールと、
サブピクセル視差を有する前記ビューを受信するように結合され、且つ何れのビューの解像度よりも高い解像度を有する前記被写体のデジタル画像へと前記ビューを結合する処理モジュールと、
を有するライトフィールド撮像システム。
【請求項２】
Ｎは１より大きい整数であるとして、前記処理モジュールは、１／Ｎピクセルのビュー間視差を有するビューのグループを受信し、且つ該ビューを、該ビューの解像度と比較してＮ倍の解像度を有するデジタル画像へと結合する、請求項１に記載のライトフィールド撮像システム。
【請求項３】
Ｎ＝２である、請求項２に記載のライトフィールド撮像システム。
【請求項４】
Ｎ＝４である、請求項２に記載のライトフィールド撮像システム。
【請求項５】
全てのビューにわたっての１つの次元での総視差が１ピクセルより小さい、請求項１に記載のライトフィールド撮像システム。
【請求項６】
全てのビューにわたっての１つの次元での総視差が１ピクセルより大きい、請求項１に記載のライトフィールド撮像システム。
【請求項７】
Ｎは１より大きい整数であるとして、前記処理モジュールは、１／Ｎピクセルのビュー間視差を有するビューのグループを受信し、且つ該ビューを、該ビューの解像度と比較してＮ倍の解像度を有するデジタル画像へと結合し、全てのビューにわたっての１つの次元での総視差が（Ｎ−１）／Ｎピクセルである、請求項１に記載のライトフィールド撮像システム。
【請求項８】
前記処理モジュールは、ビューのグループを、より高い解像度の前記デジタル画像へと結合し、前記グループの前記ビューは連続したビューである、請求項１に記載のライトフィールド撮像システム。
【請求項９】
前記処理モジュールは、ビューのグループを、より高い解像度の前記デジタル画像へと結合し、前記グループの前記ビューはインターリーブされたビューである、請求項１に記載のライトフィールド撮像システム。
【請求項１０】
前記処理モジュールは、ビューのグループを、より高い解像度の前記デジタル画像へと結合し、前記グループの前記ビューは隣り合わないビューである、請求項１に記載のライトフィールド撮像システム。
【請求項１１】
Ｋは１より大きい整数であるとして、前記処理モジュールは、Ｋ個のグループのビューを、Ｋ個のより高い解像度のデジタル画像へと結合する、請求項１に記載のライトフィールド撮像システム。
【請求項１２】
各ビューが、前記Ｋ個のグループのうちの１つのグループのみに含まれる、請求項１１に記載のライトフィールド撮像システム。
【請求項１３】
少なくとも１つのビューが、２個以上のグループに含まれる、請求項１１に記載のライトフィールド撮像システム。
【請求項１４】
前記Ｋ個のより高い解像度のデジタル画像は、異なる解像度のデジタル画像を含む、請求項１１に記載のライトフィールド撮像システム。
【請求項１５】
前記処理モジュールは、
前記センサアレイからデータを受信して該データからビューを抽出するビュー抽出モジュールと、
前記ビューの視差を決定する視差決定モジュールと、
前記ビューに超解像技術を適用して、より高い解像度の前記デジタル画像を生成する超解像モジュールと、
を有する、請求項１に記載のライトフィールド撮像システム。
【請求項１６】
前記処理モジュールは、前記ビューに超解像技術を適用して、より高い解像度の前記デジタル画像を生成する、請求項１に記載のライトフィールド撮像システム。
【請求項１７】
前記主光学サブシステムに対する前記ライトフィールドセンサモジュールの間隔は、異なる視差を達成するように調整可能である、請求項１に記載のライトフィールド撮像システム。
【請求項１８】
所望の視差を達成するように前記間隔を調整するオートデフォーカスモジュール、を更に有する請求項１７に記載のライトフィールド撮像システム。
【請求項１９】
前記オートデフォーカスモジュールは、前記処理モジュールからのフィードバックを受信し、該フィードバックを用いて、前記所望の視差を達成するように前記間隔を調整する、請求項１８に記載のライトフィールド撮像システム。
【請求項２０】
前記主光学サブシステムに対する前記ライトフィールドセンサモジュールの前記間隔は更に、ゼロの視差を達成するように調整可能である、請求項１７に記載のライトフィールド撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概してライトフィールド（光照射野）撮像システムに関する。
【背景技術】
【０００２】
ライトフィールドカメラは、被写体の複数の像を同時に収集することができる。しかしながら、キャプチャされる画像の解像度が一般的にセンサアレイ内のセンサ数ではなくマイクロレンズアレイ内のレンズレット（小型レンズ）数によって決定されることにより、ライトフィールド撮像システムの分解能は低減されてしまう。故に、ライトフィールド撮像システムによってキャプチャされる画像の解像度を高める手法が望まれる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、互いに対してサブピクセル量だけシフトされたビュー（像）を複数の異なる像が提供するライトフィールド撮像システムを提供することにより、従来技術の限界を打破する。これらのビューを結合することで、より高い解像度の被写体のデジタル画像を作り出すことができる。
【課題を解決するための手段】
【０００４】
一態様において、ライトフィールド撮像システムは、主光学サブシステムと、ライトフィールドセンサモジュールと、処理モジュールとを含む。主光学サブシステムは、当該主光学サブシステムのイメージプレーンの位置に、被写体の光学像を形成する。ライトフィールドセンサモジュールは、補助結像アレイとセンサアレイとを含む。補助結像アレイは、センサアレイが被写体のビューのアレイをキャプチャするよう、主光学サブシステムの開口（ピューピル）をセンサアレイ上に結像する。補助結像アレイは、イメージプレーンには位置しない。むしろ、補助結像アレイは、キャプチャされるビューがサブピクセル視差を呈するよう、イメージプレーンから変位（すなわち、デフォーカス）される。処理モジュールは、これらのビューを、ビューの解像度より高い解像度を有する被写体のデジタル画像へと結合する。
【０００５】
例えば、ビューは、Ｎは１より大きい整数であるとして、１／Ｎピクセルのビュー間視差を呈し、これらのビューが、ビューの解像度と比較してＮｘ（Ｎ倍）の解像度を有するデジタル画像へと結合され得る。センサアレイは多数のビューをキャプチャする。異なるグループのビューを用いて様々なデジタル画像を作り出すことができ、ビューは様々なようにグループ分けされることができる。ビューは２つ以上のグループで使用されることもできる。
【０００６】
他の一態様において、処理モジュールは、ビュー抽出モジュールと、視差決定モジュールと、超解像モジュールとを含む。ビュー抽出モジュールは、センサアレイからデータを受信して該データからビューを抽出する。視差決定モジュールは、ビューの視差を決定する。超解像モジュールは、ビューに超解像技術を適用して、より高い解像度のデジタル画像を生成する。
【０００７】
他の一態様において、主光学サブシステムに対するライトフィールドセンサモジュールの間隔を調整して、異なる視差（ひいては、異なる高さの解像度の高解像度デジタル画像）を達成することができる。他の一改善において、オートデフォーカスモジュールが、所望の視差を達成するよう、この間隔（すなわち、デフォーカス量）を自動的に調整する。オートデフォーカスモジュールは、所望の視差を達成するために、処理モジュールからのフィードバックを受信し得る。
【０００８】
他の態様は、以上のものの何れかに関係する装置、方法、システム、部品、用途、改良、及びその他の技術を含む。
【図面の簡単な説明】
【０００９】
本発明は、その他の利点及び特徴を有し、それらは、以下の発明の詳細な説明及び添付の請求項を添付の図面とともに参照することで、いっそう容易に明らかになる。
【図１Ａ】ライトフィールド撮像システムを例示する図である。
【図１Ｂ】ライトフィールド撮像システムを例示する図である。
【図２Ａ】ライトフィールド撮像システムにおける視差を例示する図である。
【図２Ｂ】図２Ａの被写体領域の拡大図である。
【図３Ａ】ライトフィールド撮像システムにおける視差を例示する図である。
【図３Ｂ】ライトフィールド撮像システムにおける視差を例示する図である。
【図４】処理モジュールを示すブロック図である。
【図５】オートデフォーカスを備えたライトフィールド撮像システムを示すブロック図である。
【図６Ａ】解像度向上のために視差を使用する手法を示す図である。
【図６Ｂ】解像度向上のために視差を使用する一手法を示す図である。
【図６Ｃ】解像度向上のために視差を使用する異なる一手法を示す図である。
【図６Ｄ】解像度向上のために視差を使用する異なる一手法を示す図である。
【図６Ｅ】解像度向上のために視差を使用する異なる一手法を示す図である。  これらの図は、単に例示の目的で本発明の実施形態を描いている。以下の説明から当業者が容易に認識するであろうように、ここに例示される構造及び方法の代替実施形態も、ここに記載される本発明の原理を逸脱することなく採用され得る。
【発明を実施するための形態】
【００１０】
図面及び以下の説明は、単なる例示による好適実施形態に関する。言及しておくべきことに、以下の説明から、ここに開示される構造及び方法の代替実施形態が、特許請求に係る原理を逸脱することなく採用され得る実行可能な代替形態として容易に認識されることになる。
【００１１】
図１Ａ−１Ｂは、ライトフィールド撮像システムの一例を示している。ライトフィールド撮像システム１１０は、プライマリ（主）結像光学系１１２（図１では単一のレンズによって表す）と、セカンダリ（補助）結像アレイ１１４（像形成素子１１５のアレイ）と、センサアレイ１８０とを含んでいる。セカンダリ結像アレイ１１４のことを、マイクロ結像アレイと称することもある。また、セカンダリ結像アレイ１１４とセンサアレイ１８０とを併せて、ライトフィールドセンサモジュールと称することもある。これらのコンポーネントは、図１Ａにサブシステム１及びサブシステム２として示す２つの重なり合った結像サブシステムを形成する。
【００１２】
便宜上、結像光学系１１２は図１Ａでは単一の対物レンズとして描かれているが、理解されるように、結像光学系１１２は複数の素子を含んでいてもよい。図１Ａにおいて、対物レンズ１１２は、被写体１５０の光学像をイメージプレーンＩＰの位置に形成する。“インフォーカス（焦点内）”条件で動作されるとき、マイクロ結像アレイ１１４はイメージプレーンＩＰに置かれる。このシステムはその全体で、空間的に多重化されてインターリーブ（交互配置）された複数の光学像１７０をセンサプレーンＳＰの位置に形成する。マイクロ結像アレイ１１４の例には、マイクロレンズアレイ、ピンホールのアレイ、マイクロミラーアレイ、チェッカーボードグリッド、及び導波路／チャネルアレイが含まれる。マイクロ結像アレイ１１４は、矩形のアレイ、六角形のアレイ、又はその他の種類のアレイとすることができる。センサアレイ１８０も図１Ａに示されている。
【００１３】
説明の目的で、図１Ａのマイクロ結像アレイ１１４は正方グリッド上の３×３のマイクロレンズアレイであると仮定する。被写体１５０を、図１Ａの下部に示すように、１−９の符号を付した３×３のアレイ状の領域に分割する。これらの領域はマイクロレンズに対応する。すなわち、被写体領域１は対物レンズ１１２によってマイクロレンズのうちの１つ上に結像され、被写体領域２は別の１つのマイクロレンズ上に結像され、等々と続く。センサアレイ１８０は、６×６の矩形のセンサアレイとして示されている。すなわち、各マイクロレンズの下に２×２構成のセンサが存在する。アパチャー（開口）１２５を、２×２の矩形の領域アレイＡ−Ｄに分割する。これらの領域は２×２のセンサ構成に対応する。すなわち、アパチャー領域Ａは、各マイクロレンズによって、そのマイクロレンズに関する２×２のセンサのうちの対応するセンサ上に結像され、アパチャー領域Ｂ、Ｃ、Ｄも同様である。一部のシステムにおいて、アパチャー領域Ａ−Ｄは、例えば異なるスペクトルフィルタによってフィルタリングされてもよい。
【００１４】
図１Ｂは、空間多重された光学像１７０Ａ−Ｄがセンサアレイ１８０にてどのように生成されインターリーブされるかを概念的に示している。被写体１５０が光線を生成する。アパチャー領域Ａを通って伝播する光線は、ＩＰの位置に光学像１５５Ａを生成することになる。光学像１５５Ａを識別するため、３×３の被写体領域に添え字Ａを付して１Ａ−９Ａとしている。同様に、アパチャー領域Ｂ、Ｃ、Ｄを通って伝播する被写体１５０からの光線は、それぞれ、１Ｂ−９Ｂ、１Ｃ−９Ｃ、１Ｄ−９Ｄを付した３×３の被写体領域を有した、対応する光学像１５５Ｂ、Ｃ、Ｄを生成することになる。これら４つの光学像１５５Ａ−Ｄの各々は、異なるアパチャー領域Ａ−Ｄを通って進む光線によって生成されるが、これらは全てライトフィールド撮像システムによって同時に生成され、且つＩＰの位置で重なり合っている。
【００１５】
ＩＰにて重なり合う４つの光学像１５５Ａ−Ｄは、マイクロ結像アレイ１１４によって分離される。像１５５Ａ−Ｄは、図１Ｂに示すように、センサプレーンの位置でインターリーブされる。一例として像１５５Ａを用いると、光学像１５５Ａからの３×３の被写体領域１Ａ−９Ａは、光学像１７０内の３×３のブロック内で連続であるわけではない。むしろ、４つの異なる光学像からの領域１Ａ、１Ｂ、１Ｃ及び１Ｄが、光学像１７０の左上に２×２の形で配列される（明瞭さのため、像１７０の反転は無視している）。被写体領域２−９も同様に配列される。故に、光学像１７０を構成する領域１Ａ−９Ａは、他の光学像の部分１７０Ｂ−Ｄによって分離されて、複合的な光学像１７０にわたって分散される。別の見方をすると、センサが個々のセンサ素子の矩形アレイである場合、そのアレイ全体を、センサ素子の矩形サブアレイ１７１（１）−１７１（９）に分割することができる（破線の輪郭線は１つのサブアレイ１７１（１）を示している）。各被写体領域１−９に対し、各像からの対応する領域の全てがそのサブアレイ上に結像される。例えば、被写体領域１Ａ、１Ｂ、１Ｃ及び１Ｄは全て、サブアレイ１７１（１）上に結像される。なお、アパチャー１２５及びセンサアレイ１８０は共役面に置かれるので、アレイ１１４内の各結像素子１１５が、センサプレーンＳＰの位置にピューピルプレーン（開口平面）１２５の１つの像を形成する。複数の結像素子１１５が存在するので、複数の像１７１が形成される。
【００１６】
なお、また、図１Ａ−１Ｂに示したシステムにおいて、光学像１５５Ａ−Ｄは互いにレジストレーションされている。すなわち、光学像１５５Ａは、光学像１５５Ｂ、Ｃ、Ｄと同じ被写体領域をキャプチャしている。これは被写体が“インフォーカス”されているからであり、これが意味するところは、被写体に対するイメージプレーンがマイクロ結像アレイ１１４の位置と一致しているということである。ここで、図２Ａ−２Ｂに示すように被写体が“アウトオブフォーカス（焦点外）”であるときに何が起こるかを考察する。
【００１７】
図２Ａにおいて、センサプレーン内の２つの点１８０Ａ及び１８０Ｂを考える。点１８０Ａは、中央のマイクロレンズの下で軸上の位置にあり、点１８０Ｂは、やはり同じ中央のマイクロレンズの下にあるが中心点１８０Ａから外れている。先ず、点Ａ１８０Ａから逆方向に光線をトレースする。これらの光線を実線で示す。また、点１８０Ｂから逆方向に光線をトレースする。これらの光線を破線で示す。これらの光線は、それぞれのセンサ点１８０によって集められることになる円錐状光線を表す。実線の円錐内に入る光線がセンサ点１８０Ａによって集められることになり、破線の円錐内に入る光線がセンサ点１８０Ｂによって集められることになる。これらの光線が被写体と交わるところが、それぞれのセンサ点１８０によって集められる被写体領域を表す。
【００１８】
例えば、先ず、点１８０Ａに関する実線の光線を考える。図２Ｂは、図２Ａの被写体領域の拡大図を示している。被写体が平面Ｏ（すなわち、“インフォーカス”条件）に位置する場合、センサ点１８０Ａは、図２Ｂに太い実線で表される被写体領域２５５Ａ−Ｏからの光線を集めることになる。被写体が“アウトオブフォーカス”である場合、これは、像がもはや平面ＩＰに正確に形成されないということ、すなわち等価的に、被写体がもはや平面Ｏに正確に位置していないということを意味する。むしろ、被写体は平面Ｏの前又は後ろ、例えば、平面Ｏ’又はＯ”に位置し得る。被写体が平面Ｏ’（すなわち、“アウトオブフォーカス”）に位置する場合、センサ点１８０Ａは、被写体領域２５５Ａ−Ｏ’からの光線を集めることになる。同様に、被写体が平面Ｏ”（すなわち、やはり“アウトオブフォーカス”）に位置する場合、センサ点１８０Ａは、被写体領域２５５Ａ−Ｏ”からの光線を集めることになる。
【００１９】
センサ点１８０Ｂについても同様の分析を行うことができる。破線の光線は、センサ点１８０Ｂによって集められる円錐状光線を規定する。被写体が“インフォーカス”平面Ｏに位置する場合、センサ点１８０Ｂは、図２Ｂに太い破線で表される被写体領域２５５Ｂ−Ｏからの光線を集めることになる。平面Ｏ’又はＯ”にある被写体に対し、センサ点１８０Ｂは、それぞれ、被写体領域２５５Ｂ−Ｏ’又は２５５Ｂ−Ｏ”からの光線を集めることになる。この種の分析を、同じマイクロレンズの下のセンサプレーン上の何れの点にも繰り返すことができ、また、他のマイクロレンズについても繰り返すことができる。
【００２０】
留意すべきことに、被写体がインフォーカスであるとき、被写体領域２５５Ａ−Ｏ及び２５５Ｂ−Ｏは一致する。すなわち、各センサ点１８０が同じ被写体領域からの光を集める。しかし、被写体がアウトオブフォーカスであるとき、異なるセンサ点が、互いに対してシフトされた被写体領域からの光を集める。被写体平面Ｏ’について、センサ１８０Ａは被写体領域２５５Ａ−Ｏ’からの光を集め、センサ１８０Ｂは被写体領域２５５Ｂ−Ｏ’からの光を集め、これら２つの被写体領域２５５Ａ−Ｏ’及び２５５Ｂ−Ｏ’は一致しない。むしろ、これらは互いに対してずれている。このずれは、視差とも呼ばれている。同様に、被写体平面Ｏ”について、２つの被写体領域２５５Ａ−Ｏ”及び２５５Ｂ−Ｏ”も互いに対してずれているが、視差は他方の向きにある。
【００２１】
同じ被写体の複数のずれた像を多重像１７０が含む場合、処理モジュール１９０によって多重像１７０を処理することで、より高い解像度の被写体のデジタル画像を再構成することができる。この処理は、デインターリーブ（インターリーブ解除）と逆多重化とし得る。これはまた、様々な超解像技術を含むいっそう洗練された画像処理を含み得る。
【００２２】
視差の概念を更に図３Ａ−３Ｂに示す。図３Ａは、被写体が“インフォーカス”であるときの状況を示している。符号１−９を付した９個の正方形は、図１の被写体１５０を表している。図３Ａにおいて、像１５５Ａ及び１５５Ｄを破線の正方形で表すが、これら破線の正方形は、被写体１５０の太い外縁と一致しているので見えていない。
【００２３】
図３Ｂにおいて、被写体１５０は“アウトオブフォーカス”である。すなわち、被写体はマイクロ結像アレイ１１４の位置とは一致しない像を形成する。このデフォーカス（焦点ずれ）の１つの効果は、像１５５Ａ及び１５５Ｄが互いに対してシフトすることである。明瞭さのため、像１５５Ｂ及び１５５Ｃは示していない。図３Ｂにおいて、像１５５Ａ及び１５５Ｄは互いに対してシフトしている。そして、４つの像１５５Ａ−Ｄが、ｘ方向及びｙ方向の各々にハーフ（１／２）ピクセルだけシフトされた一組の像を形成する。これら４つの像は、より高解像度の画像を形成するように、超解像技術を用いて組み合わされることができる。
【００２４】
より一般的には、様々なサブピクセルシフトを用いて、様々なタイプの高解像度画像を構築することができる。例えば、像間シフトが１／４ピクセルである場合、４倍高い解像度の画像を構築することができる。サブピクセルシフトは、収集されたデータに対して、より高い解像度の情報を効果的に付加する。これを用いることで、より高解像度の画像を再構成することができる。なお、この“ピクセル”のサイズは、センサ画素のサイズではなく、マイクロレンズのサイズによって決定される。すなわち、典型的なライトフィールド構成において、１“ピクセル”は１つのマイクロレンズのサイズである（これは典型的に多数個のセンサである）。
【００２５】
図４は、処理モジュール１９０の一実装例のブロック図である。この例において、インターリーブされて多重化されて像１５５が、ビュー抽出モジュール４９２によって受信され、ビュー抽出モジュール４９２が、センサデータを別々の像１５５（すなわちビュー）へと分離する。上述のように、これらのビューは互いに対してシフトされている。すなわち、これらは視差を呈する。好ましくは、１つのビューから次のビューへの視差は１ピクセルより小さい。つまり、ビュー間視差はサブピクセルである。モジュール４９４が視差を決定する。例えば、モジュール４９４は、異なるビュー同士を比較することによって、これを行い得る。他の例では、モジュール４９４は、例えばユーザ入力といった他の情報源から視差を取得してもよい。そして、モジュール４９６が、超解像技術を適用して、サブピクセル視差を有する複数のビューを、元のビューより高い解像度を有する画像へと結合する。例えば、ぼけ除去（デブラー）処理４９８など、必要に応じての更なる処理が適用されてもよい。
【００２６】
図５は、所望レベルの解像度向上を達成するためのライトフィールド撮像システムのアクティブ制御を例示するブロック図である。図５において、ボックス１１０は、例えば図１Ａからの、ライトフィールド撮像システムを表している。処理モジュール１９０のみを明示的に示している。この例において、或る特定レベルの解像度向上が所望される。例えば、４ｘの解像度向上をユーザが望むことがある。オートデフォーカス５１０が、所望のレベルの解像度向上に対応するサブピクセル視差を達成するための正確なデフォーカス（焦点ずれ）量を決定する。例えば、４ｘの解像度向上に対し、オートデフォーカス５１０は、１／４ピクセルの視差が得られるように対物レンズを移動させ得る（あるいは、その他の方法でフォーカス条件を調整し得る）。
【００２７】
必要に応じて、オートデフォーカス５１０を制御するために、処理モジュール１９０からのフィードバックを使用し得る。処理モジュール１９０によって決定された実際の視差が１／４ピクセルより大きいか小さいかであった場合、オートデフォーカス５１０は、所望の視差が達成されるまで、ライトフィールド撮像システムを更に駆動する。
【００２８】
図１Ａの例は、各マイクロレンズの下に２×２アレイのセンサを有するようにして、３×３アレイのマイクロレンズを使用していた。これは、説明の目的で行ったことである。現実のライトフィールド撮像システムは、典型的に、より多くのマイクロ結像素子及びセンサ素子を有することになる。例えば、典型的な一設計例は、各辺２００−３００個のマイクロレンズ（総数で５０，０００−１００，０００個のマイクロレンズ）を有するマイクロレンズアレイと、各マイクロレンズの下の、各辺１０−２０個のセンサ（マイクロレンズ当たりの総数で１００−５００個のセンサ）を有するセンサアレイとを有し得る。典型的なセンサ寸法は、各辺およそ５ミクロンとし得る。
【００２９】
以下の例では、５μｍ×５μｍのセンサ素子と、各マイクロレンズが８０μｍ×８０μｍであるとして各マイクロレンズの下の１６×１６のセンサと、１６ｍｍ×１６ｍｍの全体サイズを有する２００×２００のマイクロレンズアレイとを仮定する。この例におけるピクセルサイズは、マイクロレンズサイズである８０μｍ×８０μｍであり、これがこのライトフィールドシステムの生来の解像度である。
【００３０】
図６Ａは、１つのマイクロレンズの下の１６×１６のセンサ領域を示している。この領域は１６×１６＝２５６センサを収容しており、それらの各々が異なる像すなわちビューに対応する。図１Ｂでは、これらの像を添え字Ａ−Ｄによって表記した。図６Ａは、２文字の添え字であるＡＡからＰＰを使用する。被写体がインフォーカスである場合、ビュー間に視差は存在しないことになる。すなわち、ビューＡＡ−ＰＰは全て位置が揃ったものとなる。しかしながら、プライマリ（主）結像系がアウトオブフォーカスである場合、視差を導入することができる。
【００３１】
ビュー間視差が１／１６ピクセルである場合（すなわち、ビューＡＡからビューＡＢまでの視差が１／１６ピクセルである場合）、これら２５６個のビューを結合することで、１６ｘ高い解像度を有する単一の画像を作り出すことができる。これは図６Ｂに示されており、異なるビューがそれぞれの対応する視差量にマッピングされている。像ＡＡは、視差を測定するためのベースライン（基準）であり、像ＡＢは、像ＡＡに対して１／１６ピクセルの視差を有するビューを提供し、像ＡＣは、像ＡＡに対して２／１６ピクセルの視差を有するビューを提供し、等々と続く。
【００３２】
明瞭さのため、図６Ｂは一方向に沿った解像度向上のみを示しているが、これらの技術は水平方向及び垂直方向の双方に適用されることができる。また、解像度の向上量及び最終的な解像度は、水平方向と垂直方向とで異なっていてもよい。例えば、マシンビジョン用途の場合、一方の次元における解像度の増大が他方の次元においてよりも重要であることがある。非矩形サンプリングが使用され得る他の１つの状況が、より高い水平解像度又は垂直解像度を提供するためにフィルタを長方形とし得るマルチスペクトルフィルタ群の幾何学設計の場合に存在する。
【００３３】
また、この例は、２次元平面上に位置する被写体の解像度向上に対処する。３次元の被写体では、（図４のブロック４９４によって決定される）視差が深さとともに変化し、画像の異なる領域が異なる視差レベルを有することになる。例えば、滑らかな３次元被写体を考える。１つの深さでのビュー間視差が０．２５ピクセルであることがある。被写体のｚ位置が焦点に近付くにつれて、視差は、０．２４ピクセルへ、そして０．２２ピクセルへ、等々と減少し得る。被写体のｚ位置が焦点から遠ざかるにつれて、視差は、０．２７ピクセルへ、そして更には０．３３ピクセルへと増大し得る。様々な深さに被写体を有するシーンは、隣接し合う領域において０．２５ピクセル及び０．１０ピクセルの視差変化を有することがある。このような場合、モジュール４９４は、局所的な視差を決定するために深さプロファイルを決定してもよい。ブロック４９４はまた、必要に応じて、隠れていたもの（オクルージョン）及びその提示（リビール）を解決してもよい。
【００３４】
他の例では、図６Ｃにおいて、１つおきのビューを用いて、８ｘ高い解像度を有する画像が作り出される。全てのビューでビュー間視差は１／１６ピクセルである。しかしながら、ビューＡＡ、ＡＣ、ＡＥなどが、８ｘの解像度のデジタル画像を作り出すために使用されるビューのグループを形成する。このグループ内でのビュー間視差は、ビューＡＡをグループのベースラインとして使用する図６Ｃに示すように、１／８ピクセルである。グループは、Ｎ番目ごとのビュー（ここではＮ＝２）を選択することによって形成される。しかしながら、これは全てのセンサのうちの１／４のみを使用する。残りのセンサは３個の更なるグループを生成するために使用されることができ、それらのグループの各々も８ｘの解像度のデジタル画像を作り出すことができる。ＡＢ、ＡＤ、ＡＦなどの一グループが存在している。図６Ｃにおいては、このグループの視差をビューＡＢに対して示している。同様に、それぞれビューＢＡ及びＢＢで開始する２つの他のグループが存在している。必要に応じて、アパチャープレーン１２５に複数の異なるフィルタを配置して、各々が８ｘの解像度を有し且つ異なるようにフィルタリングされた全部で４つの像が生成されるようにすることができる。４つのフィルタは、例えば、赤、緑、青、及び透明とし得る。図６Ｃは、４つの８ｘ解像度画像へと分離される最初の２行それぞれの１６個のセンサを示している。
【００３５】
異なる解像度の複数の画像を作り出すこともできる。例えば、図６Ｂの１６ｘ解像度画像と図６Ｃの８ｘ解像度画像との双方を作り出すことができる。ビューＡＡは、１６ｘ解像度画像を作り出すために図６Ｂのグループに含められることができ、これはまた、８ｘ解像度画像を作り出すために図６Ｃのグループに含められることができる。
【００３６】
図６Ｄに示すように、１／８ピクセルのビュー間視差を用いて同様の結果を達成することができる。この例においては、ビューＡＡ−ＡＨが、１つの８ｘ解像度画像を作り出すのに使用される１つのグループであり（ビューＡＡに対する視差を示している）、ビューＡＩ−ＡＰが、他の１つの８ｘ解像度画像を作り出すのに使用される第２のグループである（ビューＡＩに対する視差を示している）。第３及び第４のグループのビューも、図６Ｄには示されないセンサから入手可能である。この場合も、各像を異なるようにフィルタリングし得るが、このフィルタリングパターンは、図６Ｃと比較してフィルタが粗くインターリープされるので、製造がいっそう容易である。図６Ｃと６Ｄとの間の１つの相違は、一グループ内のビューが、図６Ｄでは全て連続しているのに対して、図６Ｃではインターリーブされることである。別の１つの相違は、全てのビューにわたっての１つの次元での総視差が、図６Ｄでは１ピクセルより大きいが、図６Ｃでは１ピクセルより小さいことである。
【００３７】
図６Ｅにおいて、ビュー間視差は３／１６ピクセルである。これもまた、１６ｘ解像度画像を作り出すために使用され得るが、画素の何らかの並べ替えを伴う。これらは単なる幾つかの例である。他の組み合わせも明らかであろう。さらに、ビュー間視差は所望の超解像レベルに正確に一致する必要はない。例えば、ビュー間視差が１／６ピクセルであり、且つ４ｘの解像度向上が望まれる場合、ビューを補間あるいはその他の方法で結合して、４ｘの向上を生み出し得る。同様に、マイクロレンズが六角グリッド上に配置されている場合、矩形グリッド上の値を六角グリッドから補間し得る。
【００３８】
この詳細な説明は数多くの具体的事項を含んでいるが、これらは、本発明の様々な例及び態様を単に例示するものであり、本発明の範囲を限定するものとして解されるべきでない。理解されるように、本発明の範囲は、詳細には上述されていない他の実施形態を含むものである。当業者に明らかになる様々なその他の変更、変形及び改変は、ここに開示された本発明に係る方法及び装置の構成、動作及び細部において、添付の請求項に規定される本発明の精神及び範囲を逸脱することなく為され得るものである。故に、本発明の範囲は、添付の請求項とその法的均等物とによって決定されるべきである。
【００３９】
他の実施形態において、本発明のこれらの態様は、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにて実装される。本発明に係る装置は、プログラマブルプロセッサによる実行用に機械読み取り可能記憶装置にて有形に具現化されるコンピュータプログラムプロダクトにて実装されることができ、本発明に係る方法ステップは、プログラマブルプロセッサが、プログラム命令を実行することで、入力データの演算及び出力の生成により本発明に係る機能を果たすことによって実行されることができる。本発明は、データストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、且つそれらにデータ及び命令を送信するように結合された、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能な１つ以上のコンピュータプログラムにて有利に実装されることができる。各コンピュータプログラムは、高水準の手続き型若しくはオブジェクト指向型のプログラミング言語で実装されてもよいし、望ましい場合にはアセンブリ言語若しくは機械語で実装されてもよく、何れの場合も、その言語はコンパイルされた言語であってもよいし、インタープリットされた言語であってもよい。好適なプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの双方を含む。一般に、プロセッサは、読み出し専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受信する。一般に、コンピュータは、データファイルを格納する１つ以上の大容量記憶装置を含んでおり、そのような装置は、例えば内蔵ハードディスク及びリムーバブルディスクなどの磁気ディスク、光磁気ディスク、及び光ディスクを含む。コンピュータプログラム命令及びデータを有形に具現化するのに好適な記憶装置は、全ての形態の不揮発性メモリを含み、それらは、例として、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイスなどの半導体メモリデバイス、例えば内蔵ハードディスク及びリムーバブルディスクなどの磁気ディスク、光磁気ディスク、並びにＣＤ−ＲＯＭディスクを含む。以上のもののうちの何れかを、ＡＳＩＣ（特定用途向け集積回路）及びその他の形態のハードウェアで補完したり、これらに組み込んだりしてもよい。
【００４０】
用語“モジュール”は、特定の物理的形態に限定されることを意図したものではない。具体的な用途に応じて、モジュールは、ハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせとして実装され得る。また、複数の異なるモジュールが、共通のコンポーネントを供給してもよく、あるいは更には、同じコンポーネントによって実装されてもよい。異なるモジュールの間には明瞭な境界が存在することもあるし、存在しないこともある。それらのモジュールの形態に応じて、モジュール間の“結合”もまた様々な形態を取り得る。専用回路は、配線接続により、あるいは、例えば共通のレジスタ若しくはメモリ位置にアクセスすることにより、互いに結合され得る。ソフトウェア“結合”は、ソフトウェアコンポーネント同士の間（又は、当てはまる場合には、ソフトウェアとハードウェアとの間）で情報を渡すための幾つもの手法によって行われ得る。用語“結合”は、これらの全てを含むことを意図したものであり、２つのコンポーネント間での配線接続された永続的な接続に限定されることを意図したものではない。
【符号の説明】
【００４１】
１１０  ライトフィールド撮像システム
１１２  主結像光学系
１１４  マイクロ結像アレイ
１１５  結像素子
１２５  アパチャー
１５０  被写体
１５５  光学像
１７０  多重像
１７１  センサ素子のサブアレイ
１８０  センサアレイ
１８０Ａ、１８０Ｂ  センサ点
１９０  処理モジュール
２５５  被写体領域
４９２  ビュー抽出モジュール
４９４  視差決定モジュール
４９６  超解像モジュール
４９８  ぼけ除去モジュール
５１０  オートデフォーカス
ＩＰ  イメージプレーン
ＳＰ  センサプレーン
Ｏ、Ｏ’、Ｏ”  被写体平面
【図１Ａ】
2015171156.tif 000003
【図１Ｂ】
2015171156.tif 000004
【図２Ａ】
2015171156.tif 000005
【図２Ｂ】
2015171156.tif 000006
【図３Ａ】
2015171156.tif 000007
【図３Ｂ】
2015171156.tif 000008
【図４】
2015171156.tif 000009
【図５】
2015171156.tif 000010
【図６Ａ】
2015171156.tif 000011
【図６Ｂ】
2015171156.tif 000012
【図６Ｃ】
2015171156.tif 000013
【図６Ｄ】
2015171156.tif 000014
【図６Ｅ】
2015171156.tif 000015