(57)【要約】      （修正有）【課題】プレンオプティックカメラに取り付けられることを対象としたセンサを提供する。【解決手段】センサ４は、マイクロレンズアレイによって屈折されたマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリア５を有する。マイクロイメージエリア５は、カラーフィルタアレイ６によって少なくとも部分的に覆われている。カラーフィルタアレイ６の色飽和は、マイクロイメージエリア５の重心（ｘｉ，ｊ，ｙｉ，ｊ）から遠ざかる場合に低下する。【選択図】図１２
2017017690.tif 000002
【特許請求の範囲】
【請求項１】
プレンオプティックカメラに取り付けられることを対象としたセンサであって、
マイクロレンズアレイによって屈折されたマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリアを有し、
前記マイクロイメージエリアは、カラーフィルタアレイによって少なくとも部分的に覆われており、
前記カラーフィルタアレイの色飽和は、前記マイクロイメージエリアの重心から遠ざかる場合に低下する、
センサ。
【請求項２】
前記カラーフィルタアレイの重心は、前記マイクロイメージエリアの重心に対応する、
請求項１に記載のセンサ。
【請求項３】
前記カラーフィルタアレイの前記色飽和は、前記マイクロイメージエリアの重心から該マイクロイメージエリアの境界へ向かって低下する、
請求項１又は２に記載のセンサ。
【請求項４】
前記カラーフィルタアレイの前記色飽和は、前記マイクロイメージエリアの重心での１から前記マイクロイメージエリアの境界での０まで変化する、
請求項１乃至３のうちいずれか一項に記載のセンサ。
【請求項５】
前記カラーフィルタアレイはベイヤーフィルタであり、色成分は、
【数８】
2017017690.tif 000011
のように、ＨＳＶ色空間において与えられ、このとき、（ｘ，ｙ）は、マイクロレンズ（ｉ，ｊ）の下にあるピクセルの座標であり、（ｘｉ，ｊ，ｙｉ，ｊ）は、前記マイクロイメージエリアの重心の座標であり、ｐは、２つの隣接したマイクロイメージエリアの夫々の重心（ｘｉ，ｊ，ｙｉ，ｊ）の間の距離である、
請求項４に記載のセンサ。
【請求項６】
前記マイクロイメージエリアは、前記カラーフィルタアレイによって部分的にのみ覆われる、
請求項１乃至５のうちいずれか一項に記載のセンサ。
【請求項７】
前記カラーフィルタアレイは、前記マイクロイメージエリアの重心にある４×４のピクセルエリアのみを覆う、
請求項６に記載のセンサ。
【請求項８】
カラーフィルタアレイによって部分的に覆われているマイクロイメージエリアの少なくとも１つのリフォーカシングされたイメージの色成分Ｒｘを決定する方法であって、
前記カラーフィルタアレイによって覆われている前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲａ，ｂを決定するステップであり、前記カラーフィルタアレイの色飽和は、前記マイクロイメージエリアの重心から遠ざかる場合に低下する、ステップと、
前記カラーフィルタアレイによって覆われていない前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲＴを決定するステップと、
前記リフォーカシングされたイメージＲａ，ｂと前記リフォーカシングされたイメージＲＴとを結合することで前記色成分Ｒｘを決定するステップと
を有し、
前記色成分Ｒｘを決定するステップは、前記リフォーカシングされたイメージＲＴに対して重みを導入する、方法。
【請求項９】
センサを有し、該センサは、マイクロレンズアレイによって屈折されるマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリアを有し、
前記マイクロイメージエリアは、カラーフィルタアレイによって少なくとも部分的に覆われており、
前記カラーフィルタアレイの色飽和は、前記マイクロイメージエリアの重心から遠ざかる場合に低下する、
ライトフィールドデータ収集デバイス。
【請求項１０】
通信ネットワークからダウンロード可能であり、且つ／あるいは、コンピュータによって読み出し可能な及び／又はプロセッサによって実行可能な媒体において記録されているコンピュータプログラムであって、
請求項８に記載の方法を実施するプログラムコード命令を含むコンピュータプログラム。
【請求項１１】
プロセッサによって実行されることが可能であり、請求項８に記載の方法を実施するプログラムコード命令を含むコンピュータプログラムが記録されている非一時的なコンピュータ読み出し可能なキャリア媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の分野は、ライトフィールドイメージングに関係がある。特に、本開示は、カラーのライトフィールドイメージを記録するための技術に関連する。
【０００２】
より具体的には、本開示は、プレンオプティックカメラのセンサに取り付けられることを対象としたカラーフィルタアレイ（ＣＦＡ；Color  Filter  Array）に関係がある。
【背景技術】
【０００３】
本項目は、以下で記載及び／又は請求される本開示の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本開示の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。
【０００４】
従来のイメージキャプチャデバイスは、３次元の場面を２次元のセンサの上にレンダリングする。動作中、従来のキャプチャデバイスは、デバイス内のセンサ（又は光検出器）の上の各点に届く光の量を表す２次元（２Ｄ）イメージを捕捉する。しかし、この２Ｄイメージは、センサに届く光線の方向分布に関する情報（ライトフィールドと呼ばれ得る。）を含まない。例えば、奥行きは、捕捉の間に失われる。よって、従来のキャプチャデバイスは、場面からの光分布に関する情報の大部分を保持しない。
【０００５】
ライトフィールドキャプチャデバイス（“ライトフィールドデータ収集デバイス”とも呼ばれる。）は、場面の異なる視点からの光を捕捉することによって、その場面の４次元（４Ｄ）ライトフィールドを計測するよう設計されてきた。よって、センサを横断する光の各ビームに沿って移動する光の量を計測することで、そのようなデバイスは、後処理によって新しいイメージングアプリケーションを提供するために、追加の光情報（光線の束の方向分布に関する情報）を捕捉することができる。ライトフィールドキャプチャデバイスによって収集／入手された情報は、ライトフィールドデータと呼ばれる。ライトフィールドキャプチャデバイスは、ライトフィールドデータを捕捉することができる如何なるデバイスとしてもここで定義される。
【０００６】
ライトフィールドデータの処理は、特に、しかし制限なしに、場面のリフォーカシングされたイメージを生成すること、場面の夫々のビューを生成すること、場面の深度マップを生成すること、拡張焦点深度（ＥＤＯＦ；extended  depth  of  field）イメージを生成すること、立体イメージを生成すること、及び／又はそれらのあらゆる組み合わせを含む。
【０００７】
ライトフィールドキャプチャデバイスの幾つかの既存のグループの中でも、“プレンオプティックデバイス”又は“プレンオプティックカメラ（plenoptic  camera）”は、センサの前で、メインレンズのイメージ焦点フィールドに位置するマイクロレンズアレイを備える。センサ上には、マイクロレンズごとに１つのマイクロイメージが投影される。以下の記載において、１つ（又は複数）のマイクロイメージが投影されることを対象とするセンサのエリアは、“マイクロイメージエリア”又は“センサマイクロイメージ”又は“センサのマイクロイメージ”又は“露光区間”又は“投影の区間”と呼ばれる。結果として得られる場面のロー（raw）イメージは、１つのセンサマイクロイメージ及び／又は他に属するセンサの全ピクセルの和である。その場合に、ライトフィールドの角度情報は、マイクロイメージエリアにおけるピクセルの、それらの中心に対する相対位置によって与えられる。このローイメージに基づき、特定の視点からの捕捉された場面のイメージの抽出（“デマルチプレキング”とも呼ばれる。）は、実行され得る。デマルチプレキングプロセスは、２Ｄのローイメージから４Ｄのライトフィールドへのデータ変換と見なされ得る。結果として起こるデマルチプレキングされたライトフィールドデータは、全てのビューが水平及び垂直に整列されているビューのマトリクスによって表され得る。
【０００８】
色検出に関して、大部分のセンサのピクセルは、それらを通過する可視光子の量のみを、それらの色にかかわらず記録する。カラーの４Ｄライトフィールドデータを得るために、センサの上にカラーフィルタアレイ（ＣＦＡ）を実装することが、背景技術から知られている。例えば、２×２のピクセルを覆い、２×２マトリクス内でＲＧＧＢの順序で置かれた３つの異なった色Ｒｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）を有するベイヤー（Bayer）フィルタは、ＣＦＡとして広く使用されている。しかし、当業者であれば、以下の記載で使用される表現“カラーフィルタアレイ”は、ベイヤーフィルタだけでなく、当該技術の代替のＣＦＡの全てを指すことが理解されるであろう。
【０００９】
この技術の主たる欠点の１つは、光子の少なくとも半分がＣＦＡによってブロックされるので、センサの光感度を低下させることである。加えて、色収差がセンサマイクロイメージの端で起こり、従って、レンダリングされるイメージの品質に影響を及ぼし得る。それらの問題を解決しようとして、米国特許出願公開第２０１４／０１４６２０１（Ａ１）号明細書（特許文献１）には、センサマイクロイメージの一部分のみを覆うＣＦＡが開示されている。しかし、それは、センサの光感度を改善するには不十分である。
【００１０】
従って、背景技術に対する改善を示すセンサを提供することが望ましい。
【００１１】
特に、満足な色感度を保ち且つ色収差の出現のリスクを制限しながら、より良い光感度を特色とする斯様なセンサを提供することが望ましい。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許出願公開第２０１４／０１４６２０１（Ａ１）号明細書
【発明の概要】
【００１３】
「一実施形態」、「実施形態」、「例となる実施形態」との明細書での言及は、記載されている実施形態が特定の機構、構造、又は特性を有してよいが、あらゆる実施形態が必ずしもその特定の機構、構造又は特性を有さなくてよいことを示す。更には、そのようなフレーズは、必ずしも同じ実施形態に言及しているわけではない。更には、特定の機構、構造、又は特性が実施形態に関連して記載される場合に、明示的に記載されていようとなかろうと、他の実施形態に関連してそのような機構、構造、又は特性に作用することは、当業者の知識範囲内にあることが提示される。
【００１４】
当該技術の１つの特定の実施形態において、プレンオプティックカメラに取り付けられることを対象としたセンサが開示される。センサは、マイクロレンズアレイによって屈折されたマイクロイメージを検知することを対象とした少なくとも１つのマイクロイメージエリアを有する。マイクロイメージエリアは、カラーフィルタアレイによって少なくとも部分的に覆われている。カラーフィルタアレイの色飽和は、マイクロイメージエリアの重心から遠ざかる場合に低下する。
【００１５】
以下の記載において、表現“部分的に覆われる”は、センサマイクロイメージ（マイクロイメージエリア）と比較されるＣＦＡのポジションを指す。一実施形態において、そのようなＣＦＡは、センサマイクロイメージの全体を覆う。他の実施形態において、ＣＦＡは、センサマイクロイメージの一部分のみを覆う。その部分は、マイクロイメージエリアの重心を含み、あるいは、含まない。考えられるべきＣＦＡの点とセンサマイクロイメージの重心との間の距離に基づき、この点の色飽和は、この距離が大きくなる場合に低下する。
【００１６】
ＣＦＡの色飽和の低下は、センサマイクロイメージの境界へ近づく場合に、背景技術のＣＦＡよりも多く光子を捕捉することを可能にする。従って、そのようなセンサは、改善された光感度を特徴とする。加えて、重心にあるピクセルは、メインレンズの瞳境界を通る光子と比較して収差が小さい光子によって照射されるので、そのようなセンサは更に、その色感度を飽和レベルに保ちながら、色収差の出現のリスクを制限することを可能にする。
【００１７】
一実施形態において、カラーフィルタアレイの重心は、マイクロイメージエリアの重心に対応する。
【００１８】
色収差現象に起因して、センサマイクロイメージの重心にあるピクセルは、センサマイクロイメージの境界に位置するピクセルよりも鮮明なディテール及び色をもたらす。よって、等しい値を持つＣＦＡ表面に関し、センサマイクロイメージの重心においてＣＦＡを位置付けることは、レンダリングされるマイクロレンズイメージの品質を改善することを可能にする。
【００１９】
実施形態に従って、カラーフィルタアレイの色飽和は、マイクロイメージエリアの重心（ｘｉ，ｊ，ｙｉ，ｊ）から該マイクロイメージエリアの境界へ向かって低下する。
【００２０】
一実施形態において、カラーフィルタアレイの色飽和は、マイクロイメージエリアの重心での１からマイクロイメージエリアの境界での０まで変化する。
【００２１】
一実施形態において、ＣＦＡはベイヤーフィルタであり、色成分は、次の数１のように、ＨＳＶ色空間において与えられる：
【００２２】
【数１】
2017017690.tif 000003
このとき、（ｘ，ｙ）は、マイクロレンズ（ｉ，ｊ）の下にあるピクセルの座標であり、（ｘｉ，ｊ，ｙｉ，ｊ）は、マイクロイメージエリアの重心の座標であり、ｐは、２つの隣接したマイクロイメージエリアの夫々の重心の間の距離である。
【００２３】
マイクロイメージエリアの重心（ｘｉ，ｊ，ｙｉ，ｊ）から境界への飽和のそのような滑らかな変化は、リフォーカシングされたイメージの色飽和における階段効果を防ぐ。
【００２４】
一実施形態において、マイクロイメージエリアは、カラーフィルタアレイによって部分的にのみ覆われる。
【００２５】
この特定のＣＦＡレイアウトに従って、光子の総数と比較される記録された光子の数に対応する比は、ＣＦＡによって覆われるピクセルが少ないほど高くなる。よって、センサは、センサマイクロイメージの全体を覆うＣＦＡと比較して光に敏感である。
【００２６】
一実施形態において、カラーフィルタアレイは、マイクロイメージエリアの重心にある４×４のピクセルエリアのみを覆う。
【００２７】
この特定のレイアウトに従って、夫々のマイクロレンズイメージは５０．２６個のピクセルを覆い、１６個のピクセルのみがより少ない光を受ける。センサマイクロイメージは、１６個のピクセルからは個数を減らされた光子を、そして、残りのピクセルからは全ての可視的な光子を収集する。従って、そのようなセンサは、８４％よりも多い光子を捕捉した。これは、先行技術のＣＦＡと比較して相当な改善である。実例として、全てのピクセルを覆う一般的なベイヤーパターンに関し、この比は約５０％になる。
【００２８】
当該技術の１つの特定の実施形態において、カラーフィルタアレイによって部分的に覆われているマイクロイメージエリアの少なくとも１つのリフォーカシングされたイメージの色成分Ｒｘを決定する方法が開示される。そのような方法は、
前記カラーフィルタアレイによって覆われている前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲａ，ｂを決定するステップであり、前記カラーフィルタアレイの色飽和は、前記マイクロイメージエリアの重心（ｘｉ，ｊ，ｙｉ，ｊ）から遠ざかる場合に低下する、ステップと、
前記カラーフィルタアレイによって覆われていない前記マイクロイメージエリアのピクセルのリフォーカシングされたイメージＲＴを決定するステップと、
前記リフォーカシングされたイメージＲａ，ｂと前記リフォーカシングされたイメージＲＴとを結合することで前記色成分Ｒｘを決定するステップと
を有し、
前記色成分Ｒｘを決定するステップは、前記リフォーカシングされたイメージＲＴに対して重みを導入する。
【００２９】
そのような重みの導入は、メインレンズの光収差によってほとんど影響を受けない光子を、より大きい光収差を受ける光子と区別するという利点を有する。当業者であれば、表現“色成分”が、実装されるＣＦＡの如何なる色成分もさすことを理解するであろう。例えば、ベイヤーフィルタによって覆われているセンサを考えたとき、決定される色成分は赤色、緑色又は青色成分であることができる。
【００３０】
当該技術の１つの特定の実施形態において、本開示は、通信ネットワークからダウンロード可能であり、且つ／あるいは、コンピュータによって読み出し可能な及び／又はプロセッサによって実行可能な媒体において記録されているコンピュータプログラム製品に関連する。そのようなコンピュータプログラム製品は、方法を実施するプログラムコード命令を有する。
【００３１】
当該技術の１つの特定の実施形態において、本開示は、プロセッサによって実行されることが可能であり、方法を実施するプログラムコード命令を含むコンピュータプログラム製品が記録されている非一時的なコンピュータ読み出し可能なキャリア媒体に関連する。
【００３２】
明示的には記載されていないが、本実施形態は、如何なる組み合わせ又は部分組み合わせにおいても用いられてよい。
【図面の簡単な説明】
【００３３】
本開示は、保護の適用範囲を制限することなしに一例として与えられている以下の記載及び図面を参照して、より良く理解され得る。
【図１】一般的なベイヤーフィルタを表す概略図である。
【図２】ＨＳＶ色空間を表す概略図である。
【図３】様々なカラーフィルタのピクセル応答を表すダイアグラムである。
【図４】プレンオプティックカメラを表す概略図である。
【図５】プレンオプティックカメラのセンサによって記録されるライトフィールドデータを表す概略図である。
【図６】Ｗ＞Ｐを有するプレンオプティックカメラを表す概略図である。
【図７】Ｗ＜Ｐを有するプレンオプティックカメラを表す概略図である。
【図８】色収差現象の概略図である。
【図９】プレンオプティックカメラを表す概略図である。
【図１０】様々な光線波長について、プレンオプティックカメラのセンサによって記録されるライトフィールドデータを表す概略図である。
【図１１】プレンオプティックカメラの、ベイヤーフィルタによって覆われているセンサによって記録されるライトフィールドデータを表す概略図である。
【図１２】本開示の一実施形態に従って、プレンオプティックカメラのセンサによって記録されるライトフィールドデータを表す概略図である。
【図１３】ＣＦＡによって部分的に覆われているセンサによって記録されるライトフィールドデータを表す概略図である。
【図１４】本開示の一実施形態に従う方法を実行する場合に実施される一連のステップのフローチャートである。
【図１５】本開示の一実施形態に従って、リフォーカシングされたイメージの色成分を決定する装置を表す略ブロック図である。  図中のコンポーネントは必ずしも実寸通りではなく、代わりに、本開示の原理を説明するために強調されている。
【発明を実施するための形態】
【００３４】
本開示の特定の実施形態の一般概念及び具体的な詳細は、そのような実施形態の完全な理解を提供するよう、以下の記載において、及び図１乃至１３において、示されている。なお、当業者であれば、本開示は、更なる実施形態を有してよく、あるいは、以下の記載において記載されている詳細の幾つかによらずとも実施されてよいことが理解されるであろう。
【００３５】
［１  一般概念］
［１．１  カラーフィルタアレイ］
カラーイメージは、通常は、ピクセルごとに３つの色成分を用いて形成される。一般的な成分は、目の色感度に若干対応する赤（Red）、緑（Green）及び青（Blue）である。あいにく、センサの大部分は、光子波長と無関係に、ピクセルに入る可視光子を記録する。グレーレベルセンサをカラー対応のセンサにするよう、カラーフィルタアレイ（ＣＦＡ）が一般的にセンサに取り付けられる。最も一般的なＣＦＡは、２×２のピクセルから成り、図１で表されるようにセンサにわたって複製されるいわゆるベイヤーパターン（フィルタ）である。
【００３６】
ＣＦＡを用いて記録されたイメージは、ピクセルごとに１つの色しか記録されないので、不完全である。所与のピクセルの２つの他の色の計算は、ベイヤーパターンの場合に、“Adaptive  color  plan  interpolation  in  single  sensor  color  electronic  camera”と題された米国特許第５５０６６１９（Ａ）号明細書において記載されるように、いわゆるデモザイキングアルゴリズムに従い周囲の色を用いて補間により行われる。そのようなアルゴリズムは、イメージ品質に影響を与え、重い計算負荷を必要とし得る。
【００３７】
［１．２  ＲＧＢ及びＨＳＶ色空間に関する考え］
ＲＧＢ（Red-Green-Blue）は、３つの色成分によりピクセルの色を特性化するために使用される色空間である。それら３つの値は、例えば、色相−彩度−明度（ＨＳＶ；Hue  Saturation  Value）色空間のような、他の色空間に変換され得る。ＨＳＶ空間は、図２に表されているように、純粋色（最大値に設定された所与の色相、彩度及び明度）から白（同じ色相、０に設定された彩度、及び最大値に設定された明度）までの色こう配を定義することを可能にする。
【００３８】
ＲＧＢ色空間からＨＳＶ空間への変換は、次の式（数２）によって実行される：
【００３９】
【数２】
2017017690.tif 000004
ＨＳＶ色空間からＲＧＢ色空間への変換は、次の数３によって実行される：
【００４０】
【数３】
2017017690.tif 000005
このとき、｛Ｈ｝はＨ′の小数部分を表す。トリプレット（Ｐ，Ｖ，Ｑ）から、Ｈ′よりも小さい最大整数
（外１）
2017017690.tif 000006
に応じて、値（Ｒ，Ｇ，Ｂ）が定義される。Ｉ＝０の場合に（Ｒ，Ｇ，Ｂ）＝（Ｖ，Ｔ，Ｐ）、Ｉ＝１の場合に（Ｒ，Ｇ，Ｂ）＝（Ｑ，Ｖ，Ｐ）、Ｉ＝２の場合に（Ｒ，Ｇ，Ｂ）＝（Ｐ，Ｖ，Ｔ）、Ｉ＝３の場合に（Ｒ，Ｇ，Ｂ）＝（Ｐ，Ｑ，Ｖ）、Ｉ＝４の場合に（Ｒ，Ｇ，Ｂ）＝（Ｔ，Ｐ，Ｖ）、Ｉ＝５の場合に（Ｒ，Ｇ，Ｂ）＝（Ｖ，Ｐ，Ｑ）。
【００４１】
上記の式は、３つの色成分が０から１の間の実数であると仮定する。見返りとして、成分Ｓ及びＶは０から１の間の実数であり、Ｈは０から３６０度の間の実数である。
【００４２】
ここで先に指摘されたように、ＣＦＡの重要な欠点は、一部の光子がカラーフィルタによってブロックされ、結果として、センサの感度が下げられることである。例えば、ベイヤーパターンによれば、光子の少なくとも半分はフィルタにおいて失われる。図３は、Ｋｏｄａｋのセンサの様々なカラーフィルタについて、ピクセルに入る光子の総数に対してどの程度の光子が収集されるのかを表す。センサの効率は、カラーフィルタによって大いに影響を及ぼされる。
【００４３】
［１．３  プレンオプティックカメラの説明］
図４は、メインレンズ２、マイクロレンズ３、及びセンサ４を有する概要のプレンオプティックカメラ１を表す。メインレンズ２は、そのオブジェクトフィールドにおいて捕捉される場面からの光を受け、光をマイクロレンズアレイ３を通してレンダリングする。マイクロレンズアレイ３は、メインレンズのイメージフィールドに位置する。一実施形態において、このマイクロレンズアレイ３は、２次元（２Ｄ）アレイにおいて配置されている複数の円形のマイクロレンズを含む。他の実施形態において、そのようなマイクロレンズは、本開示の適用範囲から逸脱することなしに、種々の形状、例えば、楕円形状を有する。夫々のマイクロレンズは、対応するマイクロイメージの光をセンサ４上の専用のエリア、すなわち、センサマイクロイメージ５に向けるレンズ特性を有する。
【００４４】
一実施形態において、夫々のレンズの周囲でマイクロレンズアレイ３とセンサ４との間には何らかのスペーサが置かれ、１つのレンズからの光がセンサ側で他のレンズの光と重なり合うことを防ぐ。
【００４５】
［１．４  ４Ｄライトフィールドデータ］
センサ４で捕捉されるイメージは、２Ｄイメージ内で配置される２Ｄの小イメージの集合から成る。夫々の小イメージは、マイクロレンズアレイ３の中のマイクロレンズ（ｉ，ｊ）によって生成される。図５は、センサ４によって記録されるイメージの例を表す。夫々のマイクロレンズ（ｉ，ｊ）は、円によって表されているマイクロイメージを生成する（小イメージの形状は、通常円形であるマイクロレンズの形状に依存する。）。ピクセル座標は（ｘ，ｙ）と標示されている。ｐは２つの連続したマイクロイメージ５の間の距離である。マイクロレンズ（ｉ，ｊ）は、ｐがピクセルサイズδよりも大きいように選択される。マイクロレンズイメージエリア５は、それらの座標（ｉ，ｊ）によって参照される。幾つかのピクセル（ｘ，ｙ）は、如何なるマイクロレンズ（ｉ，ｊ）からの如何なる光も受けないことがある。そのようなピクセル（Ｘ）は捨てられる。実際に、マイクロレンズ間の空間は、光子がマイクロレンズから外へ出ることを防ぐようマスクされる（マイクロレンズが四角形状を有する場合には、マスキングは不要である。）。マイクロレンズイメージ（ｉ，ｊ）の中心（ｘｉ，ｊ，ｙｉ，ｊ）は、座標（ｘｉ，ｊ，ｙｉ，ｊ）でセンサ４において位置する。θは、ピクセルの正方格子とマイクロレンズの正方格子との間の角度である。（ｘｉ，ｊ，ｙｉ，ｊ）は、マイクロレンズイメージ（０，０）のピクセル座標を（ｚｘ０，０，ｙ０，０）として、次の式１（数４）によって計算され得る：
【００４６】
【数４】
2017017690.tif 000007
この式は、マイクロレンズアレイ３が正方格子に従って配置されると仮定する。なお、本開示は、この格子に制限されず、六方格子又は不規則格子に等しく当てはまる。
【００４７】
図５は、場面からのオブジェクトが幾つかの隣接したマイクロレンズイメージ（黒点）において可視的であることを更に表す。オブジェクトの２つの連続したビューの間の距離はｗであり、この距離は語“視差（disparity）”とも呼ばれる。
【００４８】
［１．５  ライトフィールドカメラの光学的性質］
先のサブセクション１．４において導入された距離ｐ及びｗは、ピクセル単位で与えられる。それらは、ピクセルサイズδを乗じることによって、夫々物理的な単位距離Ｐ及びＷ（メートル）に変換される：
Ｗ＝δｗ  及び  Ｐ＝δｐ
それらの距離は、ライトフィールドカメラの特性に依存する。
【００４９】
図６及び図７は、完ぺきな薄型レンズモデルを仮定して、概略のライトフィールドを表す。メインレンズは焦点長さＦ及び開口Φを有する。マイクロレンズアレイは、焦点長さｆを有するマイクロレンズを有する。マイクロレンズアレイのピッチはφである。マイクロレンズアレイは、メインレンズからの距離Ｄ、及びセンサからの距離ｄに位置する。オブジェクト（図中見えない。）は、メインレンズ（左）からの距離ｚに位置する。このオブジェクトは、メインレンズ（右）からの距離ｚ′でメインレンズによってフォーカシングされる。図６及び図７は、夫々、Ｄ＞ｚ′及びＤ＜ｚ′の場合を表す。いずれの場合にも、マイクロレンズイメージは、ｄ及びｆに応じて焦点が合うことができる。
【００５０】
視差Ｗは、オブジェクトの距離ｚによって異なる。
【００５１】
［１．６  イメージのリフォーカシング］
ライトフィールドカメラの主たる特性は、リフォーカシング距離が自由に調整可能である場合に２Ｄのリフォーカシングされたイメージを計算する可能性である。４Ｄライトフィールドデータは、マイクロレンズイメージを単にシフトし且つズームし、次いでそれらを２Ｄイメージへと加算することによって、２Ｄイメージ内に投影される。シフトの量は、リフォーカシング距離を制御する。リフォーカシングされた２Ｄイメージ座標（Ｘ，Ｙ）への４Ｄライトフィールドピクセル（ｘ，ｙ，ｉ，ｊ）の投影は、次の式２（数５）によって定義される：
【００５２】
【数５】
2017017690.tif 000008
このとき、ｓは、２Ｄのリフォーカシングされたイメージのサイズを制御し、ｇは、リフォーカシングされたイメージの焦点調整距離を制御する。
【００５３】
［１．７  色収差問題］
図８によって表されるように、色収差問題はレンズの不完全さに由来する。これは、同じイメージ平面における点源の全ての色の焦点を合わせることを妨げる。
【００５４】
図９及び図１０によって表されるようにプレンオプティックカメラシステムにおける色収差の影響を検討するとき、波長に依存した収束平面の変動が、同じく波長に依存した視差Ｗの変動に変わることが観測され得る。
【００５５】
このことに関して、当業者であれば、メインレンズ２の境界で入る光子が、瞳の中央で入る光子よりもずっと大きく色収差によって影響を及ぼされることに気付く。このとき、メインレンズ瞳の中央及び境界を通る光子は、センサマイクロイメージ５の中心（ｘｉ，ｊ，ｙｉ，ｊ）及び境界で夫々収集される光子である。よって、センサマイクロイメージ５の境界で収集される光子は、その中心（ｘｉ，ｊ，ｙｉ，ｊ）の近くで収集される光子よりもずっと大きく色収差によって影響を及ぼされる。
【００５６】
すなわち、夫々のマイクロレンズイメージのイメージ品質は、中心（ｘｉ，ｊ，ｙｉ，ｊ）から境界まで変化する。センサマイクロイメージ５の中心にあるピクセルは、センサマイクロイメージ５の境界に位置するピクセルよりも鮮明なディテール及び色をもたらす。
【００５７】
［１．８  プレンオプティックカメラに取り付けられるＣＦＡ］
カラー４Ｄライトフィールドを記録するよう、ＣＦＡはセンサに置かれる。センサは４Ｄライトフィールドを記録する。例えば、ＣＦＡは、（ａ，ｂ）∈［０，Ｍ］２として、座標（ａ，ｂ）のＭ×Ｍのピクセルから成るとする。４Ｄライトフィールドに色パラメータを加えたものは、５Ｄライトフィールド（ｘ，ｙ，ｉ，ｊ，ｃａ，ｂ）になる。このとき、ｃａ，ｂは、ＣＦＡ座標（ａ，ｂ）の色である。図１１は、４Ｄライトフィールドを記録するセンサの上にセットされたベイヤーパターン（Ｍ＝２）を表す。
【００５８】
５Ｄライトフィールドのリフォーカシングは、式２により実行されるが、ＣＦＡの夫々の色ｃａ，ｂとは無関係に適用される。このようにして、Ｍ２個のリフォーカシングされたイメージＲａ，ｂが得られた。それらのイメージは、次いで、リフォーカシングされたＲＧＢイメージの３つの色成分Ｒｒｅｄ、Ｒｇｒｅｅｎ及びＲｂｌｕｅを計算するよう結合される。
【００５９】
例えば、ベイヤーパターンの場合に、Ｍ＝２、ｃ０，０=赤（Red）、ｃ１，１＝青（blue）、ｃ１，０＝ｃ１，０＝緑（Green）。リフォーカシングされたＲＧＢイメージの３つの色成分は、Ｒｒｅｄ＝Ｒ０，０、Ｒｇｒｅｅ＝（Ｒ０，１＋Ｒ１，０）／２及びＲｂｌｕｅ＝Ｒ１，１に等しい。
【００６０】
［２  本開示の第１実施形態の説明］
図１２は、本開示の一実施形態に従うセンサ４を表す。このセンサ４は、プレンオプティックカメラ１に取り付けられ得、複数のマイクロイメージエリア５を有する。マイクロイメージエリア５の夫々は、ＣＦＡ６によって覆われている。
【００６１】
センサ４は、ＣＭＯＳ（相補型金属酸化膜半導体；Complementary  Metal  Oxide  Semiconductor）技術を用いたＣＣＤ（電荷結合デバイス；Charge-Coupled  Device）タイプである。なお、当業者であれば、そのようなセンサ４は、ニューロモーフィック・スパイク（neuromorphic  spike）に基づくセンサ（例えば、人工網膜）、あるいは、背景技術から知られている何らかの他のタイプの光センサを代替的に有してよいことが理解されるであろう。
【００６２】
図１２によって表されているＣＦＡ６はベイヤーフィルタである。なお、当業者であれば、そのようなＣＦＡ６は、本開示の適用範囲から逸脱することなしに、ＲＧＢＥフィルタ、ＣＹＹＭフィルタ、あるいは、背景技術から知られている何らかの他のタイプのＣＦＡを代替的に有してよいことが理解されるであろう。
【００６３】
本開示の一実施形態において、ＣＦＡ６の色飽和は、センサマイクロイメージ５の中心（Ｘ）から境界に向かって低下している。図１２の上部分は色飽和のそのような低下を表す。色飽和は、中心（ｘｉ，ｊ，ｙｉ，ｊ）に、並びに中心（ｘｉ，ｊ，ｙｉ，ｊ）から１、２及び３ピクセル離れて、夫々位置するピクセルについて、１００％、５０％、２５％及び１２．５％に設定されている。
【００６４】
本開示の他の実施形態において、図１２の下部分によって表されるように、色の飽和は、関数ｆに従って、次の数６のように与えられる。関数ｆは、［０．０，１．０］の間の値を返し、ｆ（ｄ＝０）からｆ（ｐ／２）まで低下する：
【００６５】
【数６】
2017017690.tif 000009
この特定の実施形態において、色の飽和は、センサマイクロイメージ５の中心（ｘｉ，ｊ，ｙｉ，ｊ）での１からその境界での０まで線形に変化する。色成分は、次の数７のように、ＨＳＶ色空間において与えられる：
【００６６】
【数７】
2017017690.tif 000010
マイクロイメージエリア５の中間（ｘｉ，ｊ，ｙｉ，ｊ）から境界への飽和のそのような滑らかな変化は、リフォーカシングされた画像の色飽和における階段効果を防ぐ。
【００６７】
このＣＦＡにおける飽和の低下は、一般的なベイヤーフィルタよりも多く光子を捕捉することを可能にし、従って、センサ４の光感度を改善する。加えて、中心（ｘｉ，ｊ，ｙｉ，ｊ）にあるピクセルは、メインレンズの瞳境界を通る光子と比較して収差が小さい光子によって照射されるので、そのようなセンサ４は、満足な色感度を保ちながら、色収差の出現のリスクを制限することを可能にする。
【００６８】
［３  本開示の第２実施形態の説明］
本開示の第２実施形態に従って、ＣＦＡ６は、センサマイクロイメージ５の一部分にのみ適用される。図１３は、正方格子及びピッチφ＝８δ（８ピクセル）を有するマイクロレンズアレイ３を備えたプレンオプティックカメラ１によって捕捉された４Ｄライトフィールドを表す。ベイヤーパターンは、夫々のセンサマイクロイメージ５の中心（ｘｉ，ｊ，ｙｉ，ｊ）にある４×４のピクセルでのみ複製される。マイクロレンズイメージの直径ｐは、ｐ＝φ（Ｄ＋ｄ）／Ｄに等しい。なお、（Ｄ＋ｄ）／Ｄは１．０に極めて近いので、マイクロレンズイメージの直径はマイクロレンズアレイのピッチによって与えられると考えられてよい。
【００６９】
この特定の設計は、センサマイクロイメージ５の全体を覆うＣＦＡ６と比較して、センサ４が光より敏感であることを可能にする。
【００７０】
実例として、第２実施形態に従うが、図１３によって表されるＣＦＡ６の一定の色飽和を有するセンサ４は、動作条件において試験される。そのようなセンサ４に関し、夫々のマイクロレンズイメージは５０．２６個のピクセルを覆い、１６個のピクセル（すなわち、ベイヤーパターンによって覆われている４×４のピクセル）のみがより少ない光を受ける。センサマイクロイメージ５は、１６個のピクセルからは半分の光子を、そして、残りのピクセルからは全ての可視的な光子を収集する。光子の総数と比較される記録された光子の数は、｛（５０．２６−１６×０．５）／５０．２６｝×１００＝８４％である。この比は、全てのピクセルを覆うベイヤーパターンの約５０％よりも大きい。
【００７１】
当業者であれば、ＣＦＡの色飽和がセンサマイクロイメージ５の中心（ｘｉ，ｊ，ｙｉ，ｊ）から境界へ向かって低下する、第２実施形態に従うセンサ４の場合に、光子の総数と比較される記録された光子の数に対応する比は、相当により高く、センサ４の光感度を更に改善することが理解されるであろう。
【００７２】
［４  リフォーカシングされたＲＧＢイメージの計算］
以下の段落は、本開示の第２実施形態に従うセンサ４に関連する。当業者であれば、そのような実施は、本開示の適用範囲から逸脱することなしに、本開示の第１実施形態に従うセンサ４に適用され得ることが理解されるであろう。
【００７３】
これより、本開示の第２実施形態に従うセンサ４を考えると、ＣＦＡパターンのＭ２個のフィルタに対応するＭ２個のリフォーカシングされた画像Ｒａ，ｂと、カラーフィルタ６によって覆われていないピクセルに対応する単一のリフォーカシングされたイメージＲＴとを計算することが可能である。
【００７４】
幾つかの方法が、Ｍ２個のリフォーカシングされたイメージＲａ，ｂ及びリフォーカシングされたイメージＲＴを、リフォーカシングされたイメージの３つの色成分Ｒｒｅｄ、Ｒｇｒｅｅｎ及びＲｂｌｕｅに変換するために使用され得る。例えば、ベイヤーパターンの場合に、Ｍ＝２、ｃ０，０=赤（Red）、ｃ１，１＝青（blue）、ｃ１，０＝ｃ１，０＝緑（Green）。リフォーカシングされたＲＧＢイメージの３つの色成分は、Ｒｒｅｄ＝（Ｒ０，０＋ＲＴ）／２、Ｒｇｒｅｅ＝（Ｒ０，１／２＋Ｒ１，０／２＋ＲＴ）／２及びＲｂｌｕｅ＝（Ｒ１，１＋ＲＴ）／２によって計算され得る。明らかに、他の組み合わせは、本開示の適用範囲から逸脱することなしに、使用されてよい。
【００７５】
図１４によって表されるように、本開示の一実施形態に従う本方法は：
・カラーフィルタアレイ６によって覆われているマイクロイメージエリアピクセル（ｉ，ｊ）のリフォーカシングされたイメージＲａ，ｂを決定するステップ７と、
・カラーフィルタアレイ６によって覆われていないマイクロイメージエリアピクセル（ｉ，ｊ）のリフォーカシングされたイメージＲＴを決定するステップ８と、
・リフォーカシングされたイメージＲａ，ｂ及びリフォーカシングされたイメージＲＴを結合することで色成分Ｒｘを決定するステップ９と
を有する。Ｒｘを決定するステップ９は、リフォーカシングされたイメージＲＴに対して重み（Ｗ）を導入する。
【００７６】
当業者であれば、表現“色成分”は、実装されるＣＦＡの如何なる色成分もさすと理解するであろう。例えば、ベイヤーフィルタによって覆われているセンサを考えたとき、決定される色成分は赤Ｒｒ、緑Ｒｇ、又は青Ｒｂ成分である。
【００７７】
リフォーカシングされたイメージＲＴは、メインレンズ２の光収差によってより影響を及ぼされた光子を収集するので、他のリフォーカシングされたイメージＲａ，ｂよりも低いイメージ品質を有する。このイメージ特性を考慮に入れるよう、ＲＴ及びＲａ，ｂの値は、局所的なコントラストに応じて混合される。例えば、Ｒａ，ｂに対するＲＴの重み（Ｗ）は、Ｒａ，ｂにおいて局所的に識別されたテスクチャの周囲で下げられる。
【００７８】
Ｒａ，ｂ及びＲＴの組み合わせへの、Ｒａ，ｂに対するＲＴのそのような重みＷの導入は、メインレンズの光収差によってそれほど影響を及ぼされない光子を、より大きい光収差を受ける光子と区別するという利点を有する。
【００７９】
図１５は、本開示の実施形態に従って、カラーフィルタアレイ６によって部分的に覆われているマイクロイメージエリア５の少なくとも１つのリフォーカシングされたイメージの色成分Ｒｘを決定する装置１０の例を表す略ブロック図である。そのような装置１０は、バス１４によって接続されているプロセッサ１１、記憶ユニット１２、インターフェイスユニット１３及びセンサ４を含む。当然、コンピュータ装置１０の構成要素は、バス１４によるバス接続以外の他の接続によって接続されてよい。
【００８０】
プロセッサ１１は、装置１０の動作を制御する。記憶ユニット１２は、プロセッサ１１によって実行される少なくとも１つのプログラムと、プレンオプティックイメージのデータ、プロセッサ１１によって実行される計算で使用されるパラメータ、プロセッサ１１によって実行される計算の中間データ、などを含む様々なデータとを記憶する。プロセッサ１１は、あらゆる既知の適切なハードウェア若しくはソフトウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、形成されてよい。例えば、プロセッサ１１は、プロセッシングユニットのような専用のハードウェアによって、あるいは、そのメモリに記憶されているプログラムを実行するＣＰＵのようなプログラム可能なプロセッシングユニットによって、形成されてよい。
【００８１】
記憶ユニット１２は、プログラム、データ、又は同様のものをコンピュータ読出可能な様態で記憶することができる如何なる適切なストレージ又は手段によっても形成されてよい。記憶ユニット１２の例には、半導体メモリデバイス並びに、リード及びライトユニットにロードされた磁気、光、又は光学磁気記録媒体のような、非一時的なコンピュータ読出可能な記憶媒体が含まれる。プログラムは、プロセッサ１１に、図１４を参照して上述されたような本開示の実施形態に従って、カラーフィルタアレイ６によって部分的に覆われているマイクロイメージエリア５の少なくとも１つのリフォーカシングされたイメージの色成分Ｒｘを決定するためのプロセスを実行させる。
【００８２】
インターフェイスユニット１３は、装置１０と外部装置との間のインターフェイスを提供する。インターフェイスユニット１３は、ケーブル又は無線通信を介して外部装置と通信してよい。この実施形態において、外部装置はプレンオプティックカメラであってよい。この場合に、プレンオプティックイメージは、プレンオプティックカメラから装置１へインターフェイスユニット１３を通じて入力され、次いで、記憶ユニット１２において記憶され得る。
【００８３】
装置１０及びプレンオプティックカメラは、ケーブル又は無線通信を介して互いと通信してよい。
【００８４】
たとえ図１５においてプロセッサ１１が１つしか示されていないとしても、当業者であれば、そのようなプロセッサは、本開示の実施形態に従う装置１０によって実行される機能を具現する種々のモジュール及びユニットを有してよい。例えば：
・カラーフィルタアレイ６によって覆われているマイクロイメージピクセル（ｉ，ｊ）のリフォーカシングされたイメージＲａ，ｂを決定するモジュール；
・カラーフィルタアレイ６によって覆われていないマイクロイメージピクセル（ｉ，ｊ）のリフォーカシングされたイメージＲＴを決定するモジュール；
・リフォーカシングされたイメージＲａ，ｂ及びリフォーカシングされたイメージＲＴを結合することで色成分Ｒｘを決定するモジュール。
【００８５】
それらのモジュールは、互いに通信し且つ協働する幾つかのプロセッサ９においても具現されてよい。
【００８６】
当業者に明らかなように、本原理の態様は、システム、方法又はコンピュータ読出可能な媒体として具現され得る。然るに、本原理の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、などを含む。）、又はソフトウェア及びハードウェア態様を組み合わせた実施形態の形をとることができる。
【００８７】
本原理が１つ以上のハードウェアコンポーネントによって実装される場合に、ハードウェアコンポーネントは、中央演算処理装置のような集積回路であるプロセッサ、及び／又はマイクロプロセッサ、及び／又は特定用途向け集積回路（ＡＳＩＣ）、及び／又は特定用途向け命令セットプロセッサ（ＡＳＩＰ）、及び／又はグラフィクス処理ユニット（ＧＰＵ）、及び／又は物理処理ユニット（ＰＰＵ）、及び／又は浮動小数点ユニット、及び／又はネットワークプロセッサ、及び／又はオーディオプロセッサ、及び／又はマルチコアプロセッサを有する。更には、ハードウェアコンポーネントは、ベースバンドプロセッサ（例えば、メモリユニット及びファームウェアを有する。）、及び／又は無線信号を送受信可能な無線電子回路（アンテナを有することができる。）を更に有することができる。一実施形態において、ハードウェアコンポーネントは、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、グローバルプラットフォーム（すなわち、セキュアエレメント）のような１つ以上の標準に従う。変形例において、ハードウェアコンポーネントは、無線周波数識別（ＲＦＩＤ）タグである。一実施形態において、ハードウェアコンポーネントは、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、及び／又はＷｉ−Ｆｉ（登録商標）通信、及び／又はＺｉｇｂｅｅ（登録商標）通信、及び／又はＵＳＢ通信、及び／又はファイアワイヤ通信、及び／又はＮＦＣ（近距離）通信を可能にする回路を有する。
【００８８】
更には、本原理の態様は、コンピュータ読出可能な記憶媒体の形をとることができる。１つ以上のコンピュータ読出可能な記憶媒体の如何なる組み合わせも利用されてよい。
【００８９】
よって、例えば、如何なるフローチャート、フロー図、状態遷移図、擬似コード、及び同様のものも、コンピュータ読出可能な記憶媒体において実質的に表され、故に、コンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと実行され得る様々なプロセスを表す。
【００９０】
本開示は１つ以上の例を参照して記載されてきたが、当業者に認識されるように、本開示及び／又は添付の特許請求の範囲の適用範囲から逸脱することなしに、形態及び詳細において変更がなされてよい。
【図１】
2017017690.tif 000012
【図３】
2017017690.tif 000013
【図４】
2017017690.tif 000014
【図５】
2017017690.tif 000015
【図６】
2017017690.tif 000016
【図７】
2017017690.tif 000017
【図８】
2017017690.tif 000018
【図９】
2017017690.tif 000019
【図１０】
2017017690.tif 000020
【図１１】
2017017690.tif 000021
【図１２】
2017017690.tif 000022
【図１３】
2017017690.tif 000023
【図１４】
2017017690.tif 000024
【図１５】
2017017690.tif 000025
【図２】
2017017690.tif 000026
【外国語明細書】
2017017690000001.pdf