(57)【要約】【課題】シーンのビューの少なくとも一部分と関連する視差情報を決定する方法等に係る。【解決手段】ビューのマトリクスは、シーンの第１ビュー（５０）及び複数の第２ビューを有する。第１及び第２ビューは、プレンオプティックカメラにより捕らえられたシーンの原画像をデマルチプレキングすることによって取得されるが、デモザイクされない。方法は、第１ビューの第１ブロック（５０１）と関連する第１色パターンを、マトリクスにおいて第１ビューを有する行又は列に属する第２ビュー（５１，５２）の少なくとも１つの第２ブロック（５１０，５１１，５２１）と関連する少なくとも１つの第２色パターンと比較し、第２色パターンが第１色パターンに少なくとも部分的に対応する場合は、その少なくとも１つの第２ブロックを選択し、選択された第２ブロック及び第１ブロックを用いることによって第１ブロックと関連する視差情報を決定する。【選択図】図５
2015106925.tif 000002
【特許請求の範囲】
【請求項１】
シーンの第１ビューの少なくとも一部分と関連する視差情報を決定する方法であって、ビューのマトリクスは、プレンオプティックカメラにより捕らえられた前記シーンの原画像から取得される前記第１ビュー及び該第１ビューとは異なる前記シーンの複数の第２ビューを有し、複数の色成分は、該複数の色成分の夫々の単色成分が所定パターンに従って前記原画像の異なるピクセルと関連するように前記原画像のピクセルと関連し、前記第１ビュー及び前記第２ビューは夫々、関連する単色成分を伴う前記原画像のピクセルの中から選択される、方法において、
前記マトリクスにおいて前記第１ビューを有する行に属する少なくとも１つの第２ビューにおいて少なくとも１つのピクセルの少なくとも１つの第２ブロックを選択し、該少なくとも１つの第２ブロックは、当該少なくとも１つの第２ブロックと関連する第２色パターンが、前記第１ビューの少なくとも１つのピクセルの第１ブロックと関連する第１色パターンに少なくとも部分的に対応する場合に、選択され、
前記マトリクスにおいて前記第１ビューを有する列に属する少なくとも１つの第２ビューにおいて少なくとも１つのピクセルの少なくとも１つの第２ブロックを選択し、該少なくとも１つの第２ブロックは、当該少なくとも１つの第２ブロックと関連する第２色パターンが前記第１色パターンに少なくとも部分的に対応する場合に、選択され、
前記第１ブロック及び、前記第１ビューを有する行に属する少なくとも１つの選択された第２ブロックを用いることによって決定される第１視差値と、前記第１ブロック及び、前記第１ビューを有する列に属する少なくとも１つの選択された第２ブロックを用いることによって決定される第２視差値との間の差が閾値よりも小さい場合に、前記第１視差値及び前記第２視差値に従って、前記第１ブロックと関連する前記視差情報を決定する、
ことを特徴とする方法。
【請求項２】
第１視差レベルは、前記第１ビューを有する行に属し且つ前記第１色パターンに対応する第２色パターンを伴う第２ブロックを有する夫々の第２ビューについて、決定され、前記第１視差値は、前記第１視差レベルの中央値に対応し、
第２視差レベルは、前記第１ビューを有する列に属し且つ前記第１色パターンに対応する第２色パターンを伴う第２ブロックを有する夫々の第２ビューについて、決定され、前記第２視差値は、前記第２視差レベルの中央値に対応する、
請求項１に記載の方法。
【請求項３】
前記視差情報は、前記第１視差値及び前記第２視差値のうちの１つに対応する、
請求項１又は２に記載の方法。
【請求項４】
前記視差情報は、前記第１視差値及び前記第２視差値の平均に対応する、
請求項１又は２に記載の方法。
【請求項５】
最小視差値と最大視差値との間に含まれる複数の候補視差情報と関連するコスト関数が計算され、前記最小視差値及び前記最大視差値は、前記プレンオプティックカメラに従属し、
前記決定された視差情報は、前記コスト関数が最小である候補視差情報に対応する、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
前記視差情報を決定する前に、前記コスト関数を補間し、前記第１ビュー及び前記少なくとも１つの第２ビューを補間する、
請求項５に記載の方法。
【請求項７】
シーンの第１ビューの少なくとも一部分と関連する視差情報を決定する装置であって、ビューのマトリクスは、プレンオプティックカメラにより捕らえられた前記シーンの原画像から取得される前記第１ビュー及び該第１ビューとは異なる前記シーンの複数の第２ビューを有し、複数の色成分は、該複数の色成分の夫々の単色成分が所定パターンに従って前記原画像の異なるピクセルと関連するように前記原画像のピクセルと関連し、前記第１ビュー及び前記第２ビューは夫々、関連する単色成分を伴う前記原画像のピクセルの中から選択される、装置において、
前記マトリクスにおいて前記第１ビューを有する行に属する少なくとも１つの第２ビューにおいて少なくとも１つのピクセルの少なくとも１つの第２ブロックを選択し、該少なくとも１つの第２ブロックは、当該少なくとも１つの第２ブロックと関連する第２色パターンが、前記第１ビューの少なくとも１つのピクセルの第１ブロックと関連する第１色パターンに少なくとも部分的に対応する場合に、選択され、
前記マトリクスにおいて前記第１ビューを有する列に属する少なくとも１つの第２ビューにおいて少なくとも１つのピクセルの少なくとも１つの第２ブロックを選択し、該少なくとも１つの第２ブロックは、当該少なくとも１つの第２ブロックと関連する第２色パターンが前記第１色パターンに少なくとも部分的に対応する場合に、選択され、
前記第１ブロック及び、前記第１ビューを有する行に属する少なくとも１つの選択された第２ブロックを用いることによって決定される第１視差値と、前記第１ブロック及び、前記第１ビューを有する列に属する少なくとも１つの選択された第２ブロックを用いることによって決定される第２視差値との間の差が閾値よりも小さい場合に、前記第１視差値及び前記第２視差値に従って、前記第１ブロックと関連する前記視差情報を決定する
よう構成される少なくとも１つのプロセッサを有することを特徴とする装置。
【請求項８】
前記少なくとも１つのプロセッサは更に、
前記第１ビューを有する行に属し且つ前記第１色パターンに対応する第２色パターンを伴う第２ブロックを有する夫々の第２ビューについて、第１視差レベルを決定し、
前記第１ビューを有する列に属し且つ前記第１色パターンに対応する第２色パターンを伴う第２ブロックを有する夫々の第２ビューについて、第２視差レベルを決定する
よう構成され、
前記第１視差値は、前記第１視差レベルの中央値に対応し、前記第２視差値は、前記第２視差レベルの中央値に対応する、
請求項７に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサは更に、最小視差値と最大視差値との間に含まれる複数の候補視差情報と関連するコスト関数を計算するよう構成され、前記最小視差値及び前記最大視差値は、前記プレンオプティックカメラに従属し、
前記決定された視差情報は、前記コスト関数が最小である候補視差情報に対応する、
請求項７又は８に記載の装置。
【請求項１０】
前記少なくとも１つのプロセッサは更に、前記視差情報を決定する前に、前記コスト関数を補間し、前記第１ビュー及び前記少なくとも１つの第２ビューを補間するよう構成される、
請求項９に記載の装置。
【請求項１１】
コンピュータ装置で実行される場合に、請求項１乃至６のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレンオプティックカメラの分野に係り、より具体的に、プレンオプティックカメラにより捕捉されたシーンの１又はそれ以上のビューと関連する視差の推定に係る。
【背景技術】
【０００２】
先行技術に従って、ライトフィールドカメラとも呼ばれるプレンオプティックカメラにより単一のスナップショットにおいて同じシーンの異なるビューを捕捉することが、知られている。そのようなプレンオプティックカメラの直接的な応用が３Ｄ再構成である。実際に、プレンオプティックカメラのフォトセンサアレイにより捕らえられた原画像のデマルチプレキングの後、シーンの回復されたビューは予め、水平方向及び垂直方向においてエピポーラ幾何学にあり、故に、それらの間の視差は、ステレオ調整なしで推定され得る。これは、従来のカメラにより捕捉された画像からの双眼３Ｄステレオ再構成と比較して大きな利点である。
【０００３】
それにも関わらず、原画像のデマルチプレキングから得られるビューから視差を推定することは、幾つかの問題を抱えている。例えば、デマルチプレキングにより得られるビューは、ビューのピクセルの幾つかについて唯１つの色情報しか提供せず、一方、他のピクセルは、それらに関連する如何なる色情報も有さない。そのようなビューの空間色サンプリングはしばしば荒削りであり且つ不完全であり、間違った視差推定をもたらす。
【０００４】
そのような視差推定問題に対する１つの既知の解決法は、デマルチプレキングから得られるシーンの各ビューの各ピクセルについてフルカラー情報を有するために、デマルチプレキングの前に原画像を最初にデモザイク化することである。しかし、デマルチプレキングの前にデモザイク化を実行することは、ビュー間クロストークのような他の問題を生じさせることがある。実際に、原画像の１つの所与のピクセルについてフルカラー情報を回復するために、この所与のピクセルに隣接するピクセルが、たとえそれらのピクセルが所与のピクセルのビュー以外の他のビューに属するとしても、使用され得る。ビュー間クロストークを伴うそのようなビューに対して視差を推定することは更に、視差エラーをもたらすことがある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、先行技術の上記の問題のうちの少なくとも１つを解決することである。
【０００６】
より具体的に、本発明の目的は、プレンオプティックカメラにより捕捉された原画像のデマルチプレキングから得られるシーンのデモザイク化されていないビューと関連する信頼できる視差情報を決定することである。
【課題を解決するための手段】
【０００７】
本発明は、シーンの第１ビューの少なくとも一部分と関連する視差情報を決定する方法であって、ビューのマトリクスは、プレンオプティックカメラにより捕らえられた前記シーンの原画像から取得される前記第１ビュー及び該第１ビューとは異なる前記シーンの複数の第２ビューを有し、複数の色成分は、該複数の色成分の夫々の単色成分が所定パターンに従って前記原画像の異なるピクセルと関連するように前記原画像のピクセルと関連し、前記第１ビュー及び前記第２ビューは夫々、関連する単色成分を伴う前記原画像のピクセルの中から選択される、方法に係る。当該方法は、
前記第１ビューの少なくとも１つのピクセルの第１ブロックと関連する第１色パターンを、前記マトリクスにおいて前記第１ビューを有する行又は列に属する前記第２ビューのうちの少なくとも１つにおいて少なくとも１つのピクセルの少なくとも１つの第２ブロックと比較するステップと、
前記関連する第２色パターンが前記第１色パターンに少なくとも部分的に対応する場合に、前記少なくとも１つの第２ブロックを選択するステップと、
前記選択された少なくとも１つの第２ブロック及び前記第１ブロックを使用することによって、前記第１ブロックと関連する前記視差情報を決定するステップと
有する。
【０００８】
特定の特徴に従って、前記第１色パターンは、
前記マトリクスにおいて前記第１ビューを有する行に属する少なくとも１つの第２ビューの少なくとも１つの第２ブロックと関連する少なくとも１つの第２色パターン、及び
前記マトリクスにおいて前記第１ビューを有する列に属する少なくとも１つの第２ビューの少なくとも１つの第２ブロックと関連する少なくとも１つの第２色パターン
を比較される。
【０００９】
有利に、第１視差値は、前記第１ブロックと、前記第１ビューを有する行に属する少なくとも１つの選択された第２ブロックとを使用することによって、決定され、第２視差値は、前記第１ブロックと、前記第１ビューを有する列に属する少なくとも１つの選択された第２ブロックとを使用することによって、決定され、前記視差情報は、前記第１視差値と前記第２視差値との間の差が閾値よりも小さい場合に、前記第１視差値及び前記第２視差値に従って決定される。
【００１０】
具体的な特徴に従って、第１視差レベルは、前記第１ビューを有する行に属し且つ前記第１色パターンに対応する第２色パターンを伴う第２ブロックを有する夫々の第２ビューについて、決定され、前記第１視差値は、前記第１視差レベルの中央値に対応し、第２視差レベルは、前記第１ビューを有する列に属し且つ前記第１色パターンに対応する第２色パターンを伴う第２ブロックを有する夫々の第２ビューについて、決定され、前記第２視差値は、前記第２視差レベルの中央値に対応する。
【００１１】
有利に、前記視差情報は、前記第１視差値及び前記第２視差値のうちの１つに対応する。
【００１２】
他の特徴に従って、前記視差情報は、前記第１視差値及び前記第２視差値の平均に対応する。
【００１３】
有利に、最小視差値と最大視差値との間に含まれる複数の候補視差情報と関連するコスト関数が計算され、前記最小視差値及び前記最大視差値は、前記プレンオプティックカメラに従属し、前記決定された視差情報は、前記コスト関数が最小である候補視差情報に対応する。
【００１４】
特定の特徴に従って、当該方法は、前記視差情報を決定する前に、前記コスト関数を補間し、前記第１ビュー及び前記少なくとも１つの第２ビューを補間するステップを更に有する。
【００１５】
本発明はまた、シーンの第１ビューの少なくとも一部分と関連する視差情報を決定する装置であって、ビューのマトリクスは、プレンオプティックカメラにより捕らえられた前記シーンの原画像から取得される前記第１ビュー及び該第１ビューとは異なる前記シーンの複数の第２ビューを有し、複数の色成分は、該複数の色成分の夫々の単色成分が所定パターンに従って前記原画像の異なるピクセルと関連するように前記原画像のピクセルと関連し、前記第１ビュー及び前記第２ビューは夫々、関連する単色成分を伴う前記原画像のピクセルの中から選択される、装置に係る。当該装置は、
前記第１ビューの少なくとも１つのピクセルの第１ブロックと関連する第１色パターンを、前記マトリクスにおいて前記第１ビューを有する行又は列に属する前記第２ビューのうちの少なくとも１つにおいて少なくとも１つのピクセルの少なくとも１つの第２ブロックと比較し、
前記関連する第２色パターンが前記第１色パターンに少なくとも部分的に対応する場合に、前記少なくとも１つの第２ブロックを選択し、
前記選択された少なくとも１つの第２ブロック及び前記第１ブロックを使用することによって、前記第１ブロックと関連する前記視差情報を決定する
よう構成される少なくとも１つのプロセッサを有する。
【００１６】
有利に、前記少なくとも１つのプロセッサは更に、前記第１色パターンを、
前記マトリクスにおいて前記第１ビューを有する行に属する少なくとも１つの第２ビューの少なくとも１つの第２ブロックと関連する少なくとも１つの第２色パターン、及び
前記マトリクスにおいて前記第１ビューを有する列に属する少なくとも１つの第２ビューの少なくとも１つの第２ブロックと関連する少なくとも１つの第２色パターン
と比較するよう構成される。
【００１７】
具体的な特徴に従って、前記少なくとも１つのプロセッサは更に、
前記第１ブロックと、前記第１ビューを有する行に属する少なくとも１つの選択された第２ブロックとを使用することによって、第１視差値を決定し、
前記第１ブロックと、前記第１ビューを有する列に属する少なくとも１つの選択された第２ブロックとを使用することによって、第２視差値を決定し、
前記第１視差値と前記第２視差値との間の差を閾値と比較し、
前記差が前記閾値よりも小さい場合に、前記第１視差値及び前記第２視差値に従って前記視差情報を決定する
よう構成される。
【００１８】
他の特徴に従って、前記少なくとも１つのプロセッサは更に、
前記第１ビューを有する行に属し且つ前記第１色パターンに対応する第２色パターンを伴う第２ブロックを有する夫々の第２ビューについて、第１視差レベルを決定し、
前記第１ビューを有する列に属し且つ前記第１色パターンに対応する第２色パターンを伴う第２ブロックを有する夫々の第２ビューについて、第２視差レベルを決定する
よう構成され、
前記第１視差値は、前記第１視差レベルの中央値に対応し、前記第２視差値は、前記第２視差レベルの中央値に対応する。
【００１９】
具体的な特徴に従って、前記少なくとも１つのプロセッサは更に、最小視差値と最大視差値との間に含まれる複数の候補視差情報と関連するコスト関数を計算するよう構成され、前記最小視差値及び前記最大視差値は、前記プレンオプティックカメラに従属し、前記決定された視差情報は、前記コスト関数が最小である候補視差情報に対応する。
【００２０】
有利に、前記少なくとも１つのプロセッサは更に、前記視差情報を決定する前に、前記コスト関数を補間し、前記第１ビュー及び前記少なくとも１つの第２ビューを補間するよう構成される。
【００２１】
本発明はまた、プログラムがコンピュータ装置で実行される場合に、シーンの第１ビューの少なくとも一部分と関連する視差情報を決定する方法のステップを実行するプログラムコードの命令を有するコンピュータプログラムプロダクトに係る。
【発明の効果】
【００２２】
本発明の実施形態によれば、プレンオプティックカメラにより捕捉された原画像のデマルチプレキングから得られるシーンのデモザイク化されていないビューと関連する信頼できる視差情報を決定することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の特定の実施形態に従って、プレンオプティックカメラを示す。
【図２】本発明の特定の実施形態に従って、図１のプレンオプティックカメラにより捕捉されたシーンの原画像を示す。
【図３】本発明の特定の実施形態に従って、図２の原画像のデマルチプレキングから得られるシーンのビューを示す。
【図４】本発明の特定の実施形態に従って、図２の原画像のデマルチプレキングから得られるシーンのマトリクスを示す。
【図５】本発明の特定の実施形態に従って、図４のマトリクスのビューから視差情報を推定する方法を示す。
【図６】本発明の特定の実施形態に従って、図４のマトリクスのビューと関連する視差情報を推定する際に使用される候補視差値と関連するコスト関数を示す。
【図７】本発明の特定の実施形態に従って、図３のビューの少なくとも一部分の視差情報を推定する方法を実施する装置を図式的に示す。
【図８】本発明の特定の実施形態に従って、図３のビューの少なくとも一部分の視差情報を推定する方法を示す。
【発明を実施するための形態】
【００２４】
添付の図面を参照して以下の記載を読むことで、本発明はより良く理解され、且つ、他の具体的な特徴及び利点が明らかになるであろう。
【００２５】
本発明は、シーンの第１ビューの１又はそれ以上のピクセルと関連する視差情報の決定の特定の実施形態を参照して記載される。第１ビューは有利に、異なる視点に従って同じシーンの複数のビューを有するマトリクスに属し、複数のビューは、プレンオプティックカメラにより捕捉された原画像のデマルチプレキングから得られる。第１ビューとは異なるマトリクスのビューは、第２ビューと呼ばれる。ビューは有利にデモザイク化されていない。すなわち、多くても１つの単色成分（色空間、例えば、ＲＧＢ色空間に属する。）が、第１及び第２ビューの各ピクセルに関連づけられている。第１のステップで、第１ビューのピクセルの第１ブロックの色パターンが、ビューのマトリクスにおいて第１ビューを有する行又は列に属する１又はそれ以上の第２ビューのピクセルの１又はそれ以上の第２ブロックの色パターンと比較される。第２のステップで、色パターンが第１ブロックの色パターンと少なくとも部分的に一致する第２ブロックが選択され、第１ブロックと（すなわち、第１ブロックが中心にあるピクセルと）関連する視差情報が、選択された第２ブロックと第１ブロックとを使用することによって決定される。
【００２６】
少なくとも部分的に一致する第１ビュー及び第２ビューにおけるピクセルのブロックの使用は、優れた品質を有して、デマルチプレキングされるがデモザイク化されないビューにおいて視差を推定することを可能にする。
【００２７】
図１は、本発明の、特定の非制限的な実施形態に従って、プレンオプティックカメラ１を表す。プレンオプティックカメラ１は、画像センサアレイ１３とも呼ばれるフォトセンサアレイ１３に付随するレンズ配置から成る。フォトセンサアレイ１３は、Ｘ列Ｙ行のマトリクスの形で配置された多数のｍ個のフォトセンサ１３１、１３２、１３３乃至１ｍ（なお、ｍはＸ×Ｙに対応する。）を有する。夫々のフォトセンサは、フォトセンサアレイにより捕捉されるシーンの原画像のピクセルに対応し、夫々のピクセルは、シーンの部分（点とも呼ばれる。）をカバーする。例示のために、フォトセンサアレイ１３は、比較的少数のフォトセンサ１３１乃至１ｍを有して示されている。当然ながら、フォトセンサの数は、図１の例示に制限されず、あらゆる数のフォトセンサ、例えば、数千又は数百万のフォトセンサ（例えば、４０８８×３０４０のピクセル／フォトセンサのアレイ又はマトリクスに対応する。）にまで広がる。唯１つのマイクロレンズと光学的に関係がある複数のフォトセンサのうちの各々のフォトセンサは、１つの視野角に従ってシーンのピクセルを表す原データを取得することを可能にする。カラーフィルタアレイ（ＣＦＡ；Color  Filter  Array）１２はフォトセンサアレイ１３に配置される。ＣＦＡ１２は、通常は、フォトセンサアレイ１３上にＲＧＢ（赤（Red）、緑（Green）及び青（Blue））カラーフィルタを配置し、ＲＧＢ配置は、例えば、ベイヤーフィルタモザイクの形をとる。１つのカラーフィルタ（赤、緑、又は青のフィルタ）は有利に、ベイヤーフィルタの例において緑が５０％、赤が２５％及び青が２５％である所定のパターン（このようなパターンはＲＧＢＧ、ＧＲＧＢ、又はＲＧＧＢパターンとも呼ばれる。）に従って、１つのフォトセンサと関連付けられる。レンズ配置は、メインレンズとも呼ばれる一次レンズ１０と、複数のマイクロレンズ１１１、１１２、１ｎ（なお、ｎは２以上の正の整数である。）を有するレンズレットアレイ１１とを有する。マイクロレンズ１１１、１１２、１ｎは、夫々が光学的に複数のフォトセンサと関連付けられるように配置される。マイクロレンズとフォトセンサとの光学的な連関は、所与のマイクロレンズを通る光線が、この所与のマイクロレンズと光学的に関連するフォトセンサのうちの少なくとも１つに届くことを意味する。１つのマイクロレンズと光学的に関係があるフォトセンサの数は、プレンオプティックカメラ１により捕捉されるシーンのビューの数に対応する。例示のために、レンズセットアレイ１１は、比較的少数のマイクロレンズを有して示されているが、マイクロレンズの数は、数千又は１若しくは数百万のマイクロレンズに及んでよい。異なるビューを取得するよう、原画像（すなわち、フォトセンサアレイ１３により捕捉されるカラーセンサデータ）はデマルチプレキングされ、次いでデモザイク化される。デモザイク化ステップの後、ＲＧＢ画像データ値が、夫々のビューについて各ピクセル位置で取得される。
【００２８】
ギャップは有利に、レンズレットアレイ１１とセットカラーフィルタアレイ１２／フォトセンサアレイ１３との間に形成される。ギャップは、空気、指数ｎを有する光学部材（例えば、ガラス層）、又は少なくとも１つの空気層と少なくとも１つの光学部材層とを有する複数の層から成ってよい。ギャップを形成するようガラス層を使用することは、ありとあらゆる位置においてレンズレットアレイをフォトセンサアレイから同じ距離に保ち、且つ、必要に応じてこの距離を縮めるという利点を有する。ｄが長手方向軸に従ってレンズレットアレイの出力とフォトセンサアレイとの間の距離である場合に、レンズレットアレイとフォトセンサアレイとの間に、指数ｎ（ｎ＞１、例えば、ｎ＝１．５）を有する光学部材から成る層を有することは、ｄを変えることなしに距離をｄ／ｎに設定することを可能にする。ギャップを形成する層の光学部材の指数を適応／変更することによって、距離ｄを変えることなしにレンズレットアレイとフォトセンサアレイとの間の距離を表すパラメータを適応／変更することが可能である。実施形態に従って、レンズレットアレイ１１は、フォトセンサアレイ１３からおおよそ１つの焦点距離ｆ（すなわち、焦点±５％）にあるよう設置及び調整される。なお、ｆは、マイクロレンズの焦点距離である。レンズレットアレイ１１は、一次レンズ１０の画像平面に焦点を合わせられ、レンズレットアレイ１１のマイクロレンズは、無限遠に焦点を合わせられる。他の実施形態に従って、空間分解能を増大させ又は最大限にするために、すなわち、マイクロレンズ画像のよりくっきりとしたより高い空間分解能を達成するよう、マイクロレンズは、一次レンズ自体に焦点を合わせられるのではなく、プレンオプティックカメラ１のプレンオプティック光学レンズ内で且つレンズレットアレイ１１の前で（すなわち、レンズレットアレイ１１と一次レンズ１０との間で）一次レンズによって生成される画像に焦点を合わせられる。この実施形態に従って、レンズレットアレイ１１は、フォトセンサアレイ１３からｆよりも大きい又はｆよりも小さい距離に位置付けられてよい。例えば、レンズレットアレイ１１は、フォトセンサアレイ１３から距離４／３ｆに、又はｆの倍数である他の距離（例えば、０．５ｆ、１．５ｆ又は３／４ｆ）に位置付けられてよい。
【００２９】
当然ながら，フォトセンサアレイ１３におけるカラーフィルタの配置は、ＲＧＧＢパターンに制限されない。変形例に従って、所定のパターンは、（４つのカラーフィルタの１ブロックについて）緑のフィルタの１つがエメラルド（Emerald）に変えられたＲＧＢＥパターン；（４つのカラーフィルタのブロックごとに）１つがシアン（Cyan）フィルタ、２つがイエロー（Yellow）フィルタ、そして１つがマゼンタ（Magenta）フィルタであるＣＹＹＭパターン；１つがシアンフィルタ、１つがイエローフィルタ、１つが緑フィルタ、そして１つがマゼンタフィルタであるＣＹＧＭパターン；１つが赤フィルタ、１つが緑フィルタ、１つが青フィルタ、そして１つが白（White）フィルタであるＲＧＢＷパターンであってよく、複数の配置が可能である（例えば、左上のフィルタについて白、右上のフィルタについて赤、左下のフィルタについて青、そして右下のフィルタについて緑を有する４つのカラーフィルタのブロックにおいて配置され、あるいは、１行目について白、青、白、緑、１行目の下にある２行目について青、白、緑、白、２行目の下にある３行目について白、緑、白、赤、３行目の下にある４行目について緑、白、赤、白を有する４×４のカラーフィルタのブロックにおいて配置される。）。
【００３０】
図２は、本発明の、特定の非制限的な実施形態に従って、プレンオプティックカメラ１により捕捉される原画像（raw  image）２を表す。原画像２は、ピクセルのマトリクスにより形成され、ピクセルの数は、原画像２を捕捉するために使用されるフォトセンサアレイのフォトセンサの数に対応する。１つの単色成分が画像の各ピクセルと関連する。図２の非制限的な例において、各ピクセルと関連する単色成分はＲ、Ｇ又はＢ（赤、緑又は青）のいずれか１つである。原画像の所与のピクセルと関連する単色成分は、フォトセンサに届く光の量を捕らえるために使用されるフォトセンサに付随するカラーフィルタに従属する。光の量は、例えば、８ビット（０から２５５の間に含まれるピクセルに関連する値）若しくは１０ビット（０から１０２３の間に含まれる値）又はそれ以上により符号化される、レベルを表す値により表現される。カラーフィルタに付随するフォトセンサに届く光の量を表す値は、フォトセンサに対応する原画像のピクセルと関連し、そのピクセルに関係がある色成分（カラーフィルタに対応。）のレベルを表す。図２に表されている色フィルタはＲＧＧＢ（赤、緑、緑、青）である。すなわち、２行２列で配置される４つのピクセル２１乃至２４のブロックについて，左上のピクセル２１は赤色成分と関連し、右上のピクセル２２は緑色成分と関連し、左下のピクセル２３は緑色成分と関連し、右下のピクセル２４は青色成分と関連する。当然ながら、色フィルタは、ＣＦＡのカラーフィルタの配置に従属し、上記のものとは異なってよい。マイクロレンズ２０１、２０２、２０３、２０４、２１１、２１１及び２ｎの組が図２に表されている。夫々のマイクロレンズ２０１乃至２ｎは、レンズレットアレイのマイクロレンズと光学的に関係があるフォトセンサアレイの対応するフォトセンサに対応する原画像の複数のピクセルと光学的に関係がある。夫々のマイクロレンズ２０１乃至２ｎは円形状を有し、全てのマイクロレンズ２０１乃至２ｎは有利に、同じ半径を有する。レンズレットアレイのフォトセンサアレイの補償範囲を最適化するために、マイクロレンズ２０１乃至２ｎは有利に、クインカンクス（quincunx）配置において配置されて、マイクロレンズと光学的に関係がないフォトセンサの数を減らす。同数のピクセルが夫々のマイクロレンズに付随する。例えば、それは、２つのピクセル（又はフォトセンサ）から数十又は１若しくは数百のピクセル（又はフォトセンサ）までの間に含まれてよい。マイクロレンズと光学的に関係があるピクセル（又はフォトセンサ）の数は整数に制限されず、非整数、例えば、Ｘが整数であるとして、Ｘ＋１／２又はＸ＋１／３に及ぶ。
【００３１】
マイクロレンズの形状は円形に制限れない。マイクロレンズはまた、正方形、長方形、六角形、又は何らかの他の形状の形をとってよい。
【００３２】
図３は、本発明の、特定の非制限的な実施形態に従って、原画像２のデマルチプレキングにより得られるシーンのビューを表す。
【００３３】
シーンを表す原画像２は、シーンを撮影する場合にプレンオプティックカメラ１によって捕捉され、フォトセンサアレイの各フォトセンサは、自身に届く光の量を、所定量の時間の間、測定する。この測定は有利に、８、９、１０又はそれ以上のビットにおいて符号化され、フォトセンサに対応する原画像のピクセルと関連付けられる。１つの単色フィルタ（例えば、赤、緑又は青）が夫々のフォトセンサに付随するので、１ピクセルに関連する輝度を表す値はまた、原画像のそのピクセルに関連する色成分のレベルを表し、ピクセルに関連する色成分は、対応するフォトセンサに関連するカラーフィルタの色に対応する。
【００３４】
ビュー３を取得するよう、原画像２は、夫々が異なる視点に従ってシーンのビューを表す２又はそれ以上のビュー（ビュー３を含む。）を取得するようデマルチプレキングされる。ビュー画像の数は有利に、レンズレットアレイの１つのマイクロレンズと光学的に関係があるフォトセンサの数に対応する。デマルチプレキングは、１つのマイクロレンズと光学的に関係があるピクセルの各組において１つのピクセルを選択することによって、ビューを再構成することを可能にする。ビュー画像のピクセルは原画像内の選択されるピクセルに対応するので、（原画像を捕捉するために使用されるプレンオプティックカメラのＣＦＡのカラーフィルタに対応する色成分の中の）せいぜい１つの単色成分が、夫々の中間画像の各ピクセルと関連する。
【００３５】
図３は、原画像２から得られる１つのビュー３の例を示す。この特定のビュー３のピクセルは、例えば、夫々のマイクロレンズ２０１乃至２ｎの中心に対応する原画像のピクセルに対応する。すなわち、ピクセル３０１は、マイクロレンズ２０１の中心に対応する原画像２のピクセルであり、ピクセル３０２は、マイクロレンズ２０２の中心に対応する原画像２のピクセルであり、ピクセル３０３は、マイクロレンズ２０３の中心に対応する原画像２のピクセルであり、ピクセル３１１は、マイクロレンズ２１１の中心に対応する原画像２のピクセルであり、ピクセル３２１は、マイクロレンズ２２１の中心に対応する原画像２のピクセルであり、ピクセル３２２は、マイクロレンズ２２２の中心に対応する原画像２のピクセルである、等。ビュー３のピクセル３０１乃至３２２と関連する色成分は夫々、マイクロレンズの中心に対応する原画像２のピクセルと関連する色成分に対応する。色情報を有さない（図３では白抜きで表されている。）ピクセル３０、３１、３２、３３及び３４がビュー３に加えられている。それらの“白色”ピクセル３０乃至３４は、マイクロレンズ２０１乃至２ｎのクインカンクス配置に起因して付加される。実際に、マイクロレンズはクインカンクス様態において配置されるので、それらの各々の中心は列において整列されない。例えば、マイクロレンズ２１１の中心が属する列は、マイクロレンズ２０１、２０２の中心が属する列の間にある。ビュー３を形成するピクセルのマトリクスを生成するために、如何なる色情報も有さないピクセル３０がピクセル３０１及び３０２の間に加えられ、このピクセル３０は、ピクセル３０１及び３０２を有するマトリクスの行と、ピクセル３１１を有するマトリクスの列とに属する。同じように、色成分を有さないピクセル３２が、中間の画像を形成するよう加えられ、ピクセル３２は、ピクセル３１１と同じ行と、ピクセル３０１及び３２１と同じ列とに属する。当然ながら、色成分を有さないピクセルを加える必要がある時点での図３に表されているピクセルの配置は、マイクロレンズの配置に従属する。例えば、マイクロレンズが正方形形状を有する場合に、それらはフォトセンサアレイに対して規則的に配置され得、次いで、異なるマイクロレンズに付随するピクセルの各組において選択されるピクセルは、原画像のデマルチプレキングから得られる各ビューにおいて互いに完璧に整列される。
【００３６】
図４は、本発明の、特定の非制限的な実施形態に従って、原画像２のデマルチプレキングから得られるビューのマトリクス４を表す。図４の例では、マトリクス４は、５つの行Ｌ−２、Ｌ−１、Ｌ、Ｌ＋１、Ｌ＋２と、５つの列Ｃ−２、Ｃ−１、Ｃ、Ｃ＋１、Ｃ＋２とに従って配置される１３の異なるビューの組を有し、行Ｌ及び列Ｃに属するビューは、例えば、図３に表されるビュー３に対応する。行ごとの（又は列ごとの）ビューの数は、行ごとに夫々異なる。例えば、行Ｌ−２及びＬ＋２（又は列Ｃ−２及びＣ＋２）は夫々、唯１つのビューしか有さず、行Ｌ−１及びＬ＋２（又は列Ｃ−１及びＣ＋１）は夫々、３つのビューを有し、行Ｌ（又は列Ｃ）は５つのビューを有する。マトリクス４におけるビューの数は、プレンオプティックカメラのレンズレットアレイの各マイクロレンズアレイと光学的に関係があるピクセルの数に対応し、マトリクス４の形状（図４の例では円形）は、レンズセットアレイのマイクロレンズの形状に対応する。マトリクスの各ビューは、プレンオプティックカメラにより捕捉された同じシーンを表すが、視点が異なる。ピクセルの数は有利に、夫々のビューについて同じであり、色配置のみがビューごとに異なる。
【００３７】
当然ながら、マトリクス４の形状は、図４の例に制限されず、マトリクスの形状が概してマイクロレンズの形状に対応するので、如何なる形状にも広がる。例えば、正方形形状を有するマイクロレンズによれば、ビューのマトリクスも正方形形状を有し、マトリクスの各行及び各列についてビューの数は正確に同じである。
【００３８】
図５は、本発明の、特定の非制限的な実施形態に従って、図４のマトリクスのビューから視差情報を推定する方法を表す。
【００３９】
図５は、第１ビュー５０（例えば、図４における行Ｌ及び列Ｃの交点にあるビューに対応する。）と、第１ビュー５０とは異なる２つの第２ビュー５１及び５２とを示す。第２ビュー５１は、第１ビュー５０を有する行に属（し、例えば、図４における行Ｌ及び列Ｃ＋１の交点にあるビューに対応）する。第２ビュー５２は、第１ビュー５０を有する列に属（し、例えば、図４における行Ｌ＋１及び列Ｃの交点にあるビューに対応）する。ピクセルの第１ブロック５０１は、この第１ブロック５０１と関連する視差情報を推定するプロセスを表す例として、第１ビュー５０において受け取られる。同じプロセスは、当然ながら、第１ビューの全体について又はその部分について視差マップを推定するよう第１ビューの複数の第１ブロックについて繰り返されてよい。第１ブロック５０１は、１５個のピクセルを有し、ピクセル５０１０に中心を置く。ブロック５０１について推定される視差情報は有利に、ピクセル５０１０に関連する。ピクセル５０１０は行ｉ及び列ｊに属し、これは、第１ビューに関連する２Ｄ空間においてピクセル５０１０の（及びピクセルの関連するブロック５０１の）座標（ｉ，ｊ）に対応し、このとき、原点は、例えば、左上のピクセル（座標として（０，０）を有する。）に、又は左下のピクセルに対応する。第１色パターンは第１ブロック５０１と関連し、第１色パターンは、第１ブロック５０１のピクセルに関連する色成分の配置に対応する。図５の例では、第１色パターンは次のとおりである。左上のピクセルから離れて、行ごとに右へ移動し、右下のピクセルに落ち着く場合に、ＮＧＮＧＮＢＮＢＮＢＮＧＮＧＮ。Ｎは、色情報がないことを表し、Ｇは、緑色成分を表し、Ｂは、青色成分を表す。第１色パターンは、第１ブロック５０１と同じ色パターンを有するピクセルの第２ブロックを見つけるまで、第２ビュー５１におけるピクセルの第２ブロック５１０、５１１と夫々関連する第２色パターンと比較される。ピクセルの第２ブロックは、ピクセルの第１ブロック５０１と同数のピクセル、すなわち、図５の例では、１５個のピクセルを有する。ピクセルの第１及び第２ブロックは有利に、同じ座標ｉを有し、つまり、言い換えると、第１ブロック５０１及び第２ブロック５１１が夫々中心を置くピクセル５０１０及び５１１０は、同じ座標ｉを有する（すなわち、同じ行に属する。）。第１ビュー５０及び第２ビュー５１は、原点が各ビューにおいて同じであり（例えば、それらのビューの両方について左上のピクセル）、行数が同じであり且つ列数が同じである同様の２Ｄ空間を有すると理解される。第１色パターンと同じ第２色パターンを有する第２ビューにおけるピクセルの第２ブロックを見つけるよう、ピクセルの第１ブロックと同数のピクセルを有し且つ第１ブロック５０１の中心ピクセルと同じ行に属するピクセルを中心とするピクセルの各第２ブロックは、例えば、第２ビューの左側から離れて、現在の第２ピクセルがピクセルの第１ブロックに対応しない場合に一列前に移動することによって、次々に解析される。変形例に従って、ピクセルの隣接第２ブロックは、ピクセルの第１ブロックと一致するピクセルの第２ブロックを見つけるまで、次々に解析される。例えば、ピクセルの第２ブロック５１０が試験され、すなわち、その第２色パターンであるＧＮＧＮＧＮＢＮＧＮＧＮＧＮＧが、第１色パターンと比較される。この第２色パターンは第１色パターンと一致しない（すなわち、この第２色パターンは第１色パターンと同じでない）ので、その場合、ピクセルの第２ブロック５１０に隣接してピクセルの第２ブロック５１０の右側に位置するピクセルの第２ブロック５１１が試験される。その第２色パターンＮＧＮＧＮＢＮＢＮＢＮＧＮＧＮは第１色パターンと同じであるから、その場合、ピクセルのこの第２ブロック５１１が選択される。このプロセスは有利に、第１ビューと同じ行に属する夫々の第２ビューにおいて１又は複数の第２ブロックを選択するよう、ビューのマトリクス４において第１ビューと同じ行に属するありとあらゆるビューについて繰り返される。変形例に従って、第１ビューと同じ行に属する第２ビューの一部分のみが試験され、例えば、第１ビューの右側（又は左側）にある全ての第２ビュー、又は１つおきのビュー（すなわち、Ｎが１以上の整数であるとして、第１ビューが列Ｃに属する場合に、列Ｃ±２に属する第２ビュー）が試験される。
【００４０】
変形例に従って、ピクセルの第２ブロックは、その関連する第２色パターンが第１色パターンと部分的に一致する場合でさえ、選択される。この変形例に従って、第１ブロックの対応するピクセルと関連する色成分と同じ色成分を有する第２ブロックのピクセルのみが、視差を推定するために使用される。第１ブロックのピクセルは、第１ブロックにおけるピクセルの位置が第２ブロックにおけるピクセルの位置と同じである場合に第２ブロックのピクセルに対応する。すなわち、同じ基準がブロック内で使用される場合（すなわち、同じ原点、例えば、第１及び第２ブロックの左上又は左下のピクセル）、且つ、基準が、ピクセルのブロック内の行及び列の数を定めるために、ブロックであってビューでない場合に、第１及び第２の両ブロックにおいて同じ行及び列である。
【００４１】
第１ブロック５０１と（又は、同等の方法において、ピクセル５０１０と）関連する視差情報は、次いで、選択された第２ブロック５１１及び第１ブロック５０１を使用することによって決定される。視差情報は、例えば、ピクセル５０１０の横座標、すなわち、第１ビュー５０の２Ｄ空間におけるｊを、ピクセル５１１０ｎの横座標、すなわち、第２ビュー５１の２Ｄ空間におけるｊ＋４と比較することによって決定される第１視差値に対応する。比較基準は、第１ビュー５０及び第２ビュー５１と関連する２Ｄ空間の原点が同様である（例えば、それらの両方について左上のピクセル、又はそれらの両方について左下のピクセル）ので、同じである。第１視差値は有利に、それら２つの横座標の間の差、すなわち、図５の例では４ピクセルに対応する。ピクセルの２又はそれ以上の第２ブロックが（ビューのマトリクスにおいて第１ビューと同じ行に属する２又はそれ以上の第２ビューにおいて）選択される場合に、ピクセルの夫々の選択される第２ブロックと第１ピクセルとの間の横座標の差が決定され、（すなわち、幾つかの第１視差値が決定され）、第１ブロックと関連する視差情報は、それらの第１視差値の加重平均に対応し、夫々の第１視差値と関連する重みは、ビューのマトリクスの行Ｌにおいて第１ビュー及び第２ビューを分離する距離Ｄに従属する。例えば、第２ブロックを選択するために考えられる第２ビューが、ビューのマトリクス４において第１ビューの右側にある、すなわち、第２ビューが列Ｃ＋１及びＣ＋２に属する場合、第１ビューからＣ＋１の第２ビューを分離する距離は１．Ｄであり、第１ビューからＣ＋２の第２ビューを分離する距離は２．Ｄである。Ｃ＋１の第２ビューの選択された第２ブロックを比較することによって決定される第１視差値ｄ１は、次いで１によって割り算されるべきであり、Ｃ＋２の第２ビューの選択された第２ブロックを比較することによって決定される第１視差値ｄ２は、次いで２によって割り算されるべきである。視差情報ｄは次いで、次のように求められる：
ｄ＝（（ｄ１／１）＋（ｄ２／２））／２            式１。
ｍ個の選択されたブロックにより一般化することによって、我々は、
ｄ＝Σｍ（ｄａ／ａ）／ｍ            式２
を有する。
【００４２】
ここで、ａは、Ｄが第１ブロックと、行において第１ブロックと隣接する第２ブロックとを分離する距離であるとして、距離がｘ×Ｄにより表現される場合に、考えられている第２ビューを第１ビューから分離する距離の倍数に対応する整数である。
【００４３】
変形例に従って、第１ブロック５０１と（すなわち、言い換えると、その中心ピクセル５０１０と）関連する第１視差値は、適応ＳＳＤ（Sum  of  Squared  Difference）（偏差平方和）最小化アルゴリズムを使用することによって決定される。より正確には、第１ビューＩ１と少なくとも１つの第２ビューＩ２との間のｘでのコスト関数は、次のように定義される：
Ｃｘ１，２（ｄ）＝（Ｘｄ（ｘ）Σｙ∈Ｂｘ［Ｉ１（ｙ＋ａ１ｄ）−Ｉ２（ｙ＋ａ２ｄ）］２Ｗｘ（ｙ））／Σｙ∈ＢｘＷｘ（ｙ）            式３。
ここで、ｄは、第１ブロック５０１と少なくとも１つの第２ビューにおける選択された第２ブロック（例えば、第２ビュー５１における第２ブロック５１１）との間の視差であり、Ｗｘは、ｘに中心がある窓関数（例えば、ガウシアン）であり、Ｂｘは、ブロックＢｘの他のピクセルに対応するｘ，ｙに中心があるピクセルのブロックであり、Ｘは、第１色パターンと同じ第２色パターンのみを考慮する特性関数であり（ブロックｙ＋ａ１ｄ及びｙ＋ａ２ｄでの色パターンが同じである場合にＸｄ（ｙ）＝１、且つ、それ以外の場合にＸｄ（ｙ）＝０）、係数ａ１及びａ２は、第１のビュー及び、第２ビューと第１ビューとの間の基本行に依存する固定値である（例えば、第１ビューＩ１についてａ１＝０、第１ビューに隣接する第２ビューについてａ２＝１、次の（すなわち、第１ビューに隣接する第２ビューに直ぐ隣接する）第２ビューについてａ２＝２、等）。
【００４４】
変形例に従って、Ｘは、第１ブロックのピクセルと一致する色情報を有する第２ブロックの第２ピクセルのみを考慮する特性関数である（すなわち、第２ブロックの第２ピクセルは、第１及び第２ピクセルが夫々第１及び第２ブロック内の同じ位置を有する場合且つ第１ピクセルと関連する色成分が第２ピクセルと関連する色成分と同じである場合に、第１ブロックの第１ピクセルと一致する。）。後者の変形例は、ピクセルの第１ブロックと部分的にしか一致しないピクセルの第２ブロックを考慮することができる。この変形例に従って、コスト関数は：
Ｃｘ１，２（ｄ）＝（Σｙ∈Ｂｘ［Ｉ１（ｙ＋ａ１ｄ）−Ｉ２（ｙ＋ａ２ｄ）］２Ｗｘ（ｙ）Ｘｄ（ｙ））／（Σｙ∈ＢｘＷｘ（ｙ）Ｘｄ（ｙ））            式３’
である。
【００４５】
式３から視差情報を求めるよう、ｄの倍数値（候補視差情報と呼ばれる。）が試験され、Ｃｘ１，２（ｄ）が最小であるｄの値が、第１ブロックと関連する視差情報である。試験される候補視差情報は有利に、最小視差値と最大視差値との間に含まれ、最小視差値及び最大視差値はいずれも、シーンを捕捉するのに使用されるプレンオプティックカメラに従属する。すなわち、最小視差値及び最大視差値は、プレンオプティックカメラによって固定される。試験される候補視差情報ｄの数は、例えば、４４、３６又は２８に等しい。試験される候補視差情報の数は、例えば、例えば［−５；５］、［−４；４］又は［−３；３］であるプレンオプティックカメラの視差範囲（最小視差値と最大視差値との間）Ｒに従属する（試験される候補視差値の数は、例えば、４×Ｒである。）。図６は、非制限的な実施形態に従うそのようなコスト関数（又はその部分）を表す。３つの候補視差情報６１、６２及び６３が図６では示されており、コスト関数は、少なくとも局所的に、双曲線関数に対応する。第１の候補視差情報ｄ１６１は、Ｃ１に等しいコスト値を有し、第２の候補視差情報ｄ２６２は、Ｃ２に等しいコスト値を有し、第３の候補視差情報ｄ３６４は、Ｃ３に等しいコスト値を有する。Ｃ２＜Ｃ１＜Ｃ３として、最小コスト値はその場合にＣ２であり、これは、第１ブロック５０１と関連する視差情報がｄ２６２であることを意味する。
【００４６】
他の変形例に従って、ＺＳＳＤ（Zero-mean  Sum  of  Squared  Difference）（零平均偏差平方和）又はＮＣＣ（Normalized  Cross  Correlation）（正規化相互相関）のような他の視差推定器が使用され、第１視差値を決定するためのＳＳＤ最小化アルゴリズムとして適応される。
【００４７】
ビューのマトリクス４の同じ行Ｌに属する第２ビュー５１と第１ビュー５０との間の比較プロセスは有利に、ビューのマトリクス４の同じ列Ｃに属する第２ビュー５２と第１ビュー５０との間で実行される。変形例に従って、ピクセルの第１ブロック５０１（すなわち、その第１色パターン）は、第１ビュー５０を有するビューのマトリクスの列に属する複数の第２ビューのピクセルの複数の第２ブロックと比較される。ピクセルの第２ブロック５１１が選択されたのと同じようにして、ピクセルの第２ブロック５２１は、それが第１色パターンと同じ第２色パターンＮＧＮＧＮＢＮＢＮＧＮＧＮを有する場合に選択される。このプロセスは有利に、第１ビューと同じ列に属する夫々の第２ビューにおいて１又は複数の第２ブロックを選択するよう、ビューのマトリクス４において第１ビューと同じ列に属するありとあらゆる第２ビューについて繰り返される。変形例に従って、第１ビューと同じ列に属する第２ビューの一部分のみが試験され、例えば、第１ビューの上（又は下）にある全ての第２ビュー、又は１つおきのビュー（すなわち、Ｎが１以上の整数であるとして、第１ビューが行Ｌに属する場合に、行Ｌ±２Ｎに属する第２ビュー）が試験される。他の変形例に従って、第１ブロックと部分的に一致する第２ブロックがまた選択され、ピクセルの第１ブロックの第１ピクセルに一致する第２ブロックのピクセルのみが第２視差値を推定するために使用される。第１ブロック５０１と（又は、同等の方法において、ピクセル５０１０と）関連する視差情報は次いで、選択された第２ブロック５２１及び第１ブロック５０１を使用することによって決定される。視差情報は、例えば、ピクセル５０１０の縦座標、すなわち、第１ビュー５０の２Ｄ空間におけるｉを、ピクセル５２１０の縦座標、すなわち、第２ビュー５２の２Ｄ空間におけるｉ−４と比較することによって決定される第２視差値に対応する。比較基準は、第１ビュー５０及び第２ビュー５２と関連する２Ｄ空間の原点が同様であり（例えば、それらの両方について左上のピクセル、又はそれらの両方について左下のピクセル）、且つ、行（又は列）の数が第１ビュー５０及び第２ビュー５２の両方において同じであるから、同じである。第２視差値は有利に、それらの２つの縦座標の間の差、すなわち、図５の例では−４ピクセルに対応する。ピクセルの２又はそれ以上の第２ブロックが（ビューのマトリクスにおいて第１ビューと同じ列に属する２又はそれ以上の第２ビューにおいて）選択される場合に、ピクセルの夫々の選択される第２ブロックと第１ピクセルとの間の縦座標の差が決定され（すなわち、複数の第２視差値が決定され）、第１ブロックと関連する視差情報は、それらの第１視差値の加重和に対応し、夫々の第１視差値と関連する重みは、ビューのマトリクスの同じ行に属する第１ビュー５０及び第２ビュー５１に関して説明されたように、ビューのマトリクスの列Ｃにおいて第１ビュー及び第２ビューを分離する距離Ｄに従属する。
【００４８】
変形例に従って、ビューのマトリクスの同じ行の第１及び第２ビューに関して先に説明されたように、第１ブロックと（すなわち、言い換えると、その中心ピクセル５０１０と）関連する第２視差値は、適応ＳＳＤ最小化アルゴリズムを使用することによって、すなわち、式３を使用することによって、決定される。
【００４９】
他の変形例に従って、ＺＳＳＤ又はＮＣＣのような他の視差推定器が使用され、第２視差値を決定するためにＳＳＤ最小化アルゴリズムとして適応される。
【００５０】
有利な実施形態に従って、水平視差を表す（すなわち、ビューのマトリクスの同じ行に属するピクセルの第１ブロック及びピクセルの第２ブロックを使用することによって決定される）１つの第１視差値が決定され、垂直視差を表す（すなわち、ビューのマトリクスの同じ列に属するピクセルの第１ブロック及びピクセルの第２ブロックを使用することによって決定される）１つの第２視差値が更に決定される。その場合に、ピクセルの第１ブロック５０１と関連する視差情報は、第１視差値又は第２視差値のいずれかである。第１視差値と第２視差値との間の選択は有利に、第１及び第２視差値と関連する信頼性のレベルに基づき、ピクセルの第１ブロック５０１と関連する視差情報として使用される選択された視差値は、例えば、最良の信頼性レベルを有するものである。他の例に従って、視差情報として使用される選択された視差値は、最低値（又は最大値）を有するものである。変形例に従って、ピクセルの第１ブロック５０１と関連する視差情報は、第１視差値と第２視差値との平均に対応する。有利に、ピクセルの第１ブロック５０１と関連する視差情報を決定するために第１及び第２視差値を使用する前に、第１視差値が第２視差値から近いことが、最初に確認される。すなわち、言い換えると、第１視差値と第２視差値との間の差が０に近いか、又は閾値よりも小さい（例えば、０．５ピクセル未満又は０．２５ピクセル未満）ことが、最初に確認される。実際に、プレンオプティックカメラにより捕捉されたビューによれば、第１ビューの所与のピクセルに関し、ビューのマトリクスにおいて同じ行の第１ビューと（水平方向の）第２ビューとの間の水平視差（すなわち、第１ビューの所与のピクセルに対応する第２ビューのピクセルとの間の水平視差）は、水平方向の第２ビューが第１ビューから距離Ｎ．Ｄ（Ｎ≧１）に位置するとして、ビューのマトリクスにおいて同じ列の第１ビューと（垂直方向の）第２ビューとの間の垂直視差（すなわち、第１ビューの所与のピクセルに対応する第２ビューのピクセルとの間の垂直視差）と理論上同じであり、なお、垂直方向の第２ビューは、第１ビューから、水平方向の第２ビューと同じ距離Ｎ．Ｄ（Ｎ≧１）に位置する。
【００５１】
他の変形例に従って、（１ピクセルを下回る詳細なレベルにより、例えば、１／４又は１／２ピクセルに等しい精度を有して）視差決定においてサブピクセル精度を得るよう、第１及び第２ビューは、原画像をデマルチプレキングすることによって得られる第１及び第２ビューを補間することによってオーバーサンプリングされる。変形例に従って、コスト関数は、図６に関して記載されるコスト関数を補間することによって、オーバーサンプリングされる。他の変形例に従って、両方のビュー及びコスト関数は、（例えば、係数４により）オーバーサンプリングされる。例として、３次スプロー（cubic  sprow）が、第１及び第２ビューを水平方向で（係数４によって）補間するために使用され、２次補間が、コスト関数の最小値の周囲で（例えば、３点を使用して）コスト関数を補間するために使用される。両方のビュー及びコスト関数を補間することは、精度と複雑さとの間の最適なトレードオフを得ることを可能にする。第１視差値及び／又は第２視差値が、補間されたビュー及び／又は補間されたコスト関数を使用することによって決定されると、視差情報はまさに、ビューのオーバーサンプリングのために使用される係数によって割り算される必要があり、これにより、サブピクセル精度を得ることが可能となる（例えば、オーバーサンプリング係数が４に等しい場合は、得られるサブピクセル精度は、１ピクセルを４で割り算したもの、すなわち、１／４ピクセル精度に等しい。）。
【００５２】
図７は、特定の非制限的な実施形態に従って、プレンオプティックカメラにより捕捉されたシーンの原画像のデマルチプレキングにより得られるビューのマトリクスに含まれるビューの少なくとも一部分の視差情報を推定するよう構成される回路又は装置７のハードウェア実施形態を図式的に示す。装置７はまた、異なる視点に従ってプレンオプティックカメラにより捕捉されたシーンを表す１又は複数の最終の画像の表示信号を生成するよう構成される。装置７は、例えば、プレンオプティックカメラに組み入れられるか、あるいは、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、スマートフォン又はゲーム機に担持される。原画像は有利に、装置／回路７によって受け取られ、原画像の移動は、無線により、有線接続を介して、又はメモリ（例えば、フラッシュメモリ）のような何らかの担体を介して、実行される。
【００５３】
装置７は、クロック信号を更に運ぶデータ及びアドレスのバスによって互いに接続された以下の要素を有する：
−マイクロプロセッサ７１（又はＣＰＵ），
−以下のものを含むグラフィクスカード７２：
・複数のグラフィカルプロセッサユニット（又はＧＰＵ）７２０，
・グラフィカルランダムアクセスメモリ（ＧＲＡＭ）７２１，
−ＲＯＭタイプの不揮発性メモリ７６，
−ランダムアクセスメモリ又はＲＡＭ７７
−例えば、キーボード、マウス、ウェブカメラのような１又は複数のＩ／Ｏ（入力／出力）装置７４，及び
−電源７８。
【００５４】
装置７は、グラフィクスカード７２において計算されて構成される合成された最終の画像を、例えば、ライブで表示するよう、グラフィクスカード７２へ直接接続されている表示スクリーンタイプのディスプレイ装置７３を更に有する。ディスプレイ装置７３をグラフィクスカード７２へ接続するための専用のバスの使用は、より一層大きいデータ伝送ビットレートを有し、よって、グラフィクスカード７２によって構成される画像の表示のためのレイテンシー時間を減らすという利点を提供する。変形例に従って、ディスプレイ装置は、装置７の外部にあり、表示信号を送信するためにケーブルによって又は無線により装置７へ接続される。装置７、例えば、グラフィクスカード７２は、例えば、ＬＣＤ又はプラズマスクリーン又はビデオプロジェクタのような外部の表示手段へ表示信号を送信するよう構成された、送信又は接続のためのインターフェース（図７に図示せず。）を有する。
【００５５】
メモリ７２１、７６及び７７の記載において使用される語「レジスタ」は、言及されるメモリの夫々において、低容量（幾つかのバイナリデータ）のメモリ区間及び大容量（プログラム全体が記憶されることを可能にすること、又は計算された又は表示されるべきデータを表すデータの全て若しくは部分）のメモリ区間の両方を指定することが知られる。
【００５６】
スイッチが入る場合に、マイクロプロセッサ７１は、ＲＡＭ７７に含まれているプログラムの命令をロードし実行する。
【００５７】
ランダムアクセスメモリ７７は、特に：
−レジスタ７７０において、装置７をオンすることに関与するマイクロプロセッサ７１のオペレーティングプログラムを，
−シーンを表すパラメータ７７１（例えば、原画像のピクセルに関連する単色成分の値）を
含む。
【００５８】
本発明に特有であり且つ以下で記載される方法のステップを実施するアルゴリズムは、それらのステップを実施する装置７に付随するグラフィクスカード７２のメモリＧＲＡＭ７２１に記憶されている。スイッチが入る場合に、環境を表すパラメータ７７１がＲＡＭ７７にロードされると、グラフィクスカード７２のグラフィックプロセッサ７２０は、それらのパラメータをＧＲＡＭ７２１にロードし、それらのアルゴリズムの命令を、例えば、ＨＬＳＬ（High  Level  Shader  Language）（ハイレベルシェーダー言語）又はＧＬＳＬ（OpenGL  Shading  Language）（オープンＧＬシェーディング言語）を用いる“シェーダー（shader）”タイプのマイクロプログラムの形で実行する。
【００５９】
ランダムアクセスメモリＧＲＡＭ７２１は、特に：
−レジスタ７２１１において、シーン／原画像を表すパラメータを、
−レジスタ７２１２において、ビューのマトリクスの第１及び第２ビューを表すパラメータ（例えば、ビューのピクセルと関連する色情報）を、
−レジスタ７２１３において、ビューのマトリクスの第１ビュー及び／又は他のビューのピクセルと関連する視差情報（例えば、視差情報は、第１ビュー及び／又は他のビューと関連する視差マップの形をとる。）を
含む。
【００６０】
他の変形例に従って、ＲＡＭ７７の一部は、ＧＲＡＭ７２１において利用可能なメモリ記憶空間が不十分である場合に、識別子及び距離の記憶のためにＣＰＵ７１によって割り当てられる。なお、この変形例は、ＧＰＵからＧＲＡＭへの又はその逆方向のデータの伝送のためにグラフィクスカードで利用可能な伝送容量よりも概して伝送容量が劣るバスを通ってデータがグラフィクスカードからランダムアクセスメモリ７７へ転送されなければならないので、ＧＰＵに含まれるマイクロプログラムから構成される環境の表現を含む画像の組み立てにおいて、より大きいレイテンシー時間をもたらす。
【００６１】
他の変形例に従って、電源７８は、装置７の外部にある。
【００６２】
図８は、本発明の、特定の非制限的な実施形態に従って、プレンオプティックカメラにより捕捉されたシーンの原画像のデマルチプレキングにより得られるビューのマトリクスに含まれる第１ビューの少なくとも一部分の視差情報を推定することを説明する。
【００６３】
第１のステップ８１で、第１ビューのピクセルの第１ブロックの第１色パターンは、ビューのマトリクスの１又はそれ以上の第２ビューのピクセルの１つの第２ブロックと夫々関連する１又はそれ以上の第２色パターンと比較される。ピクセルのブロック（すなわち、ビューの１又はそれ以上のピクセルから形成されるブロック）と関連する色パターンは、ブロックの各ピクセルと関連する単色情報の配置に対応し、単色情報は、原画像を取得するのに使用される色空間の色成分の１つ又は何らかの色情報の欠如（黒ピクセル）に対応する。ピクセルの第１ブロックと比較されるピクセルの第２ブロックを有する第２ビューは有利に、原画像をデマルチプレキングすることによって得られたビューのマトリクスにおいて第１ビューを有する行又は列に属する。互いと比較されるピクセルの第１及び第２ブロックは有利に、同数のピクセル、すなわち、１又はそれ以上のピクセルを有する。
【００６４】
次いで、第２のステップ８２の間、ピクセルの１又はそれ以上の第２ブロックが夫々の第２ビューについて選択される。選択された第２ブロックは有利に、第１色パターンと完全に一致する関連する第２色パターンを有する第２ブロックに対応する。他の変形例に従って、第２ブロックの部分のみが選択され、選択される第２ブロックの部分は、第１ブロックの対応する部分と一致する第２ブロックの部分に対応する。ブロックの部分は、ブロックの１又は複数のピクセルに対応する。複数のピクセルの場合に、それらのピクセルは隣接していても、又は分離されていてもよい。第２ブロックのピクセルは、第２ブロックにおけるピクセル位置（すなわち、それが属する第２ブロックにおける行及び列）が第１ブロックにおける対応するピクセルと同じ（行及び列の番号のための基準がブロックでありビューでないとして、第１ブロックにおける同じ行及び同じ列）である場合、且つ、第２ブロックのピクセルと関連する色成分が第１ブロックにおけるピクセルと関連する色成分と同じである場合、第１ブロックのピクセルと対応（又は一致）すると見なされる。
【００６５】
次いで、第３のステップ８３の間、視差情報は、図５に関して先に記載されたように、選択された第２ブロック（又は第２ブロックの部分）と第１ブロックとを使用することによって決定される。決定された視差情報は有利に、それが複数のピクセルを含む場合に、ピクセルの第１ブロックの中心と関連する。
【００６６】
ステップ８１乃至８３は有利に、第１ビューの各ピクセルについて視差情報を得るよう繰り返される。変形例に従って、第１ビューのピクセルの一部分のみが視差情報を割り当てられる。例えば、第１ビューの中心又はビューの部分が、関心のあるオブジェクト（例えば、第１ビューと関連する顕著性マップにより検出され得る。）を含む。
【００６７】
当然ながら、本発明は、上記の実施形態に制限されない。
【００６８】
特に、本発明は、ビューのマトリクスの中のビューの少なくとも一部分と関連する視差情報を決定する方法に制限されず、この方法を実施するあらゆる装置又は回路、及び、特に、少なくとも１つのＧＰＵを有するあらゆる装置にも及ぶ。視差情報の決定及び／又はデマルチプレキングに必要な計算の実施は、シェーダータイプのマイクロプログラムにおける実施に制限されず、あらゆるプログラムタイプにおける実施、例えば、ＣＰＵタイプのマイクロプロセッサ、又は、例えば、ＦＰＧＡ（Field-Programmable  Gate  Array）（フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（Application-Specific  Integrated  Circuit）（特定用途向け集積回路）若しくはＤＳＰ（Digital  Signal  Processor）（デジタル信号プロセッサ）のようなタイプのプログラム可能な論理回路の形をとるあらゆるプロセッシングユニットによって実行可能なプログラムにも及ぶ。
【００６９】
原画像及びビューのマトリクスに含まれるビューを処理するのに使用される色空間は、ＲＧＢ色空間に制限されず、あらゆる他の色空間、例えば、ＣＹＹＭ、ＣＹＣＭ、又はＲＧＢＷ色空間にも及ぶ。
【００７０】
本発明の使用は、ライブ利用に制限されず、例えば、合成された画像の表示のために録画スタジオにおけるポストプロダクション処理として知られる処理のための、あらゆる他の利用にも及ぶ。
【００７１】
本発明はまた、プレンオプティックカメラにより捕捉されたシーンの異なるビューに関連する視差マップを計算する方法（及びそのように構成された装置）に係る。本発明は更に、原画像のデマルチプレキング及びデモザイク化から得られる画像の及び／又はビューのピクセルに関連する視差情報を符号化する方法及び装置に係る。
【００７２】
ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ１つの形式の実施に関してしか論じされていない（例えば、方法又は装置としてしか論じられない）としても、論じられている特徴の実施は、他の形式（例えば、プログラム）においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、例えば、装置、例えば、一般に、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能な論理デバイスを含むプロセッシングデバイスを指すプロセッサにおいて実施されてよい。プロセッサは、通信装置、例えば、スマートフォン、タブレット、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（ＰＤＡ）、及びエンドユーザ間の情報の通信を助ける他の装置を更に含む。
【００７３】
ここで記載される様々なプロセス及び特徴の実施は、様々な異なる機器又は用途、特に、例えば、データ符号化、データ復号化、ビュー生成、テクスチャ処理、並びに、画像及び関連するテクスチャ情報及び／又は深さ情報の他の処理に関連する機器又は用途において具現されてよい。そのような機器の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプレプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスがある。当然、機器は可搬性であってよく、移動車両にさえ設置されてよい。
【００７４】
加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令（及び／又は実施によって生成されるデータ値）は、プロセッサ可読媒体（例えば、集積回路、ソフトウェアキャリア、又は他の記憶デバイス（例えば、ハードディスク、コンパクトディスケット（ＣＤ）、光ディスク（例えば、しばしばデジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれるＤＶＤ、又はブルーレイディスク）、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）））に記憶されてよい。命令は、プロセッサ可読媒体において有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせに含まれてよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれらの組み合わせから入手されてよい。プロセッサは、従って、例えば、プロセスを実行するよう構成されるデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方として特徴付けられてよい。更に、プロセッサ可読媒体は、命令に加えて又はその代わりに、実施によって生成されるデータ値を記憶してよい。
【００７５】
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を搬送するようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載される実施の１つによって生成されるデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを書き込む又は読み出すための規則をデータとして搬送するよう、又は記載される実施形態によって書かれる実際のシンタックス値をデータとして搬送するよう、フォーマットされてよい。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を用いる。）として、又はベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化すること及び符号化されたデータストリームにより搬送波を変調することを含んでよい。信号が搬送する情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られているように、様々な異なる有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体に記憶されてよい。
【００７６】
多数の実施が記載されてきた。それにも関わらず、様々な変更がなされてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施を構成するよう結合、補完、変更、又は除去されてよい。加えて、当業者は、他の構造及びプロセスが、開示されているものに代用されてよく、結果として得られる実施が、開示されている実施と少なくとも略同じ結果を達成するよう少なくとも略同じ機能を少なくとも略同じように実行すると理解するであろう。然るに、それら及び他の実施は、本願によって考慮される。
【符号の説明】
【００７７】
１                                          プレンオプティックカメラ
２                                          原画像
３                                          ビュー
４                                          マトリクス
７                                          装置
１０                                        一次レンズ（メインレンズ）
１１                                        レンズレットアレイ
１１１，１１２，１ｎ                        マイクロレンズ
１２                                        カラーフィルタアレイ（ＣＦＡ）
１３                                        フォトセンサアレイ
１３１，１３２，１３３，１ｍ                フォトセンサ
２０１〜２０４，２１１，２２１，２ｎ        マイクロレンズ
３０〜３４，３０１〜３０３，３１１，３２１  ピクセル
５０                                        第１ビュー
５１，５２                                  第２ビュー
５０１                                      第１ブロック
５１０，５１１，５２１                      第２ブロック
６１，６２，６３                            候補視差情報
７１                                        マイクロプロセッサ
７２                                        グラフィクスカード
７３                                        ディスプレイ装置
７４                                        Ｉ／Ｏ装置
７６，７７                                  メモリ
７８                                        電源
【図１】
2015106925.tif 000003
【図６】
2015106925.tif 000004
【図７】
2015106925.tif 000005
【図８】
2015106925.tif 000006
【図２】
2015106925.tif 000007
【図３】
2015106925.tif 000008
【図４】
2015106925.tif 000009
【図５】
2015106925.tif 000010
【外国語明細書】
2015106925000001.pdf