(57)【要約】【課題】所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る方法が提案される。【解決手段】方法は、電子デバイスによって実行され、少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ２でのリフォーカシングされた画像の少なくとも１つのピクセル値を決定するステップを有することを特徴とする。決定するステップは、少なくとも１つの色成分について、座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るステップと、関数に基づき少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するステップと、少なくとも１つの色成分について、座標（ｋ，ｌ）でのリフォーカシングされた画像の少なくとも１つのピクセル値を加重値により更新するステップとを有する。【選択図】図７ｃ
2016224948.tif 000002
【特許請求の範囲】
【請求項１】
所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る方法であって、電子デバイスによって実行される方法において、
少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ２での前記リフォーカシングされた画像の少なくとも１つのピクセル値を決定するステップを有し、
前記決定するステップは、
前記少なくとも１つの色成分について、前記座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るステップと、
関数に基づき前記少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するステップと、
前記少なくとも１つの色成分について、座標（ｋ，ｌ）での前記リフォーカシングされた画像の前記少なくとも１つのピクセル値を前記加重値により更新するステップと
を有する、ことを特徴とする方法。
【請求項２】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
前記関数は、ｈ１が
【数１９】
2016224948.tif 000038
に属する値に対応し、関数
【数２０】
2016224948.tif 000039
がノルム関数であるとして、
【数２１】
2016224948.tif 000040
であるよう定義される、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
前記関数は、ｈ２が
【数２２】
2016224948.tif 000041
に属する値に対応し、ｇｒｅａｌ（Ｘ，Ｙ）の値が、前記４Ｄローライトフィールドデータを取得したライトフィールド取得デバイスからの前記４Ｄローライトフィールドデータと関連したシーンにおける実際の距離に対応するとして、
【数２３】
2016224948.tif 000042
であるよう定義される、請求項１に記載の方法。
【請求項４】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
前記関数は、ｈ３及びｈ３′が
【数２４】
2016224948.tif 000043
に属する値に対応し、値ａ、ｂ、ｃ及びｄが、前記リフォーカシングされた画像のテンソル構造に従って決定される平滑化値に対応するとして、
【数２５】
2016224948.tif 000044
であるよう定義される、請求項１に記載の方法。
【請求項５】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
前記関数は、χ（．）が、ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい特性関数であり、［．］が端数処理関数であり、Ｋ．が２以上の整数であるとして、
Ｗ６（ｋ，ｌ，Ｘ，Ｙ）＝χ（（ｋ，ｌ）は（［Ｘ］，［Ｙ］）のＫ近傍ピクセルに属する）
であるよう定義される、請求項１に記載の方法。
【請求項６】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）を有し、
ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃｘ，Ｃｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、
前記関数は、Ｗ７（ｋ，ｌ，Ｘ，Ｙ）＝ＰＳＦ（ｘ，ｙ）であるよう定義され、
ＰＳＦは、プレンオプティックカメラの点拡がり関数の推定である、
請求項１に記載の方法。
【請求項７】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）を有し、
ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃｘ，Ｃｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、
前記関数は、
【数２６】
2016224948.tif 000045
であるよう定義され、
χ（．）は、ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい特性関数であり、ρは閾値であり、
【数２７】
2016224948.tif 000046
は、ノルム関数である、
請求項１に記載の方法。
【請求項８】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）を有し、
ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃｘ，Ｃｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、
前記関数は、
【数２８】
2016224948.tif 000047
であるよう定義され、
ｈ８は、
【数２９】
2016224948.tif 000048
に属する値に対応し、関数
【数３０】
2016224948.tif 000049
は、ノルム関数である、
請求項１に記載の方法。
【請求項９】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）を有し、
ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃｘ，Ｃｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、
前記関数は、ｉ≠４として、
【数３１】
2016224948.tif 000050
に等しいよう定義され、
Ｓ（ｘ，ｙ）は、（ｘ，ｙ）が属するマイクロレンズのシャープネスの尺度であり、Ｓｍａｘは、前記４Ｄローライトフィールドデータの全てのマイクロレンズにわたる最大シャープネス値に対応する、
請求項２乃至８のうちいずれか一項に記載の方法。
【請求項１０】
前記関数は、可分であるよう定義される、
請求項２乃至９のうちいずれか一項に記載の方法。
【請求項１１】
前記関数は、
【数３２】
2016224948.tif 000051
と他の関数との積であるよう定義され、
ｈ１は、
【数３３】
2016224948.tif 000052
に属する値に対応し、関数
【数３４】
2016224948.tif 000053
はノルム関数である、
請求項２乃至９のうちいずれか一項に記載の方法。
【請求項１２】
前記更新するステップは、前記加重値を前記少なくとも１つのピクセル値に加えることを含む、
請求項１乃至１１のうちいずれか一項に記載の方法。
【請求項１３】
コンピュータによって実行される場合に４Ｄローライトフィールドデータを処理する方法を実施するコンピュータ実行可能命令の組を有するコンピュータプログラムを記憶しているコンピュータ読出可能な非一時的記憶媒体であって、
前記命令は、実行される場合に、前記コンピュータを、請求項１乃至１２のうちいずれか一項に記載の方法を実行するよう構成する命令を含む、
コンピュータ読出可能な非一時的記憶媒体。
【請求項１４】
所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る電子デバイスであって、
少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ２での前記リフォーカシングされた画像の少なくとも１つのピクセル値を決定するよう構成される回路を有し、
前記回路は、
前記少なくとも１つの色成分について、前記座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るよう構成される取得回路と、
関数に基づき前記少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するよう構成される重み付け回路と、
前記少なくとも１つの色成分について、座標（ｋ，ｌ）での前記リフォーカシングされた画像の前記少なくとも１つのピクセル値を前記加重値により更新するよう構成される更新回路と
を有する、ことを特徴とする電子デバイス。
【請求項１５】
前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）を有し、
前記関数は、ｈ１が
【数３５】
2016224948.tif 000054
に属する値に対応し、関数
【数３６】
2016224948.tif 000055
がノルム関数であるとして、
【数３７】
2016224948.tif 000056
であるよう定義される、請求項１４に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、４Ｄライトフィールドデータの処理に関する。もっと正確に言えば、本開示は、４Ｄローライトフィールドデータのデマルチプレキシングを実行することなしに、４Ｄローライトフィールドデータから直接に２Ｄのリフォーカシングされた画像を得る技術（すなわち、４Ｄローライトフィールドデータから導出／取得されたサブアパーチャ画像を使用せずに、リフォーカシングされた画像を得ること）に関する。
【背景技術】
【０００２】
本項目は、以下で記載及び／又は請求される本開示の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本開示の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。
【０００３】
４Ｄライトフィールドのサンプリングとして見られ得る４Ｄライトフィールドデータの取得（すなわち、Anat  Levin  et  al.，“Understanding  camera  trade-offs  through  a  Bayesian  analysis  of  light  field  projections”，the  Conference  Proceedings  of  ECCV  2008（非特許文献１）の図１で説明されている光線の記録）は、非常に大変な研究テーマである。
【０００４】
実際に、カメラにより捕捉される古典的な２Ｄ画像と比較して、４Ｄライトフィールドデータは、ユーザが、画像のレンダリング及び／又はユーザとの双方向性を向上させる、より多くの後処理機能へのアクセスを有することを可能にする。例えば、４Ｄライトフィールドデータによれば、後天的な画像のリフォーカシング（すなわち、フォーカスプレーンのポジションが後天的に指定／選択され得ることを意味する、焦点調整の自由に選択された距離によるリフォーカシング）と、画像のシーンにおける視点をわずかに変更することとを容易に行うことが可能である。４Ｄライトフィールドデータを取得するために、幾つかの技術が使用され得る。特に、国際公開第２０１３／１８０１９２号パンフレット（特許文献１）において又は英国特許出願公開第２４８８９０５号明細書（特許文献２）において表されているプレンオプティックカメラは、４Ｄライトフィールドデータを取得することができる。プレンオプティックカメラのアーキテクチャの詳細は、本願の図１、２、３、４及び５において与えられている。
【０００５】
最新の技術では、４Ｄライトフィールドデータを提示（又は定義）するための方法が幾つか存在する。実際に、Ren  Ng，“Digital  Light  Field  Photography”，Phd  dissertation  thesis，２００６年７月（非特許文献２）のチャプター３．３には、４Ｄライトフィールドデータを表すための３通りの異なる方法が記載されている。第１に、４Ｄライトフィールドデータは、例えば、図１に表されているようなプレンオプティックカメラによって記録される場合に、マイクロレンズ画像の収集によって表され得る（本願の図２の記載を参照。）。この表現における４Ｄライトフィールドデータは、ロー（raw）画像（又は４Ｄローライトフィールドデータ）と称される。第２に、４Ｄライトフィールドデータは、サブアパーチャ（sub-aperture）画像の組によって表され得る。サブアパーチャ画像は、ある視点からのシーンの捕捉画像に対応し、視点は、２つのサブアパーチャ画像間でわずかに異なる。それらのサブアパーチャ画像は、撮像されたシーンのパララックス及びデプスに関する情報を与える。第３に、４Ｄライトフィールドデータは、エピポーラ画像の組によって表され得る（例えば、S.  Wanner  et  al.，“Generating  EPI  Representation  of  a  4D  Light  Fields  with  a  Single  Lens  Focused  Plenoptic  Camera”，the  conference  proceedings  of  ISVC  2011（非特許文献３）を参照。）。
【０００６】
４Ｄライトフィールドデータからリフォーカシングを実行するために使用される一般的な技術は、国際公開第２０１３／１６７７５８号パンフレット（特許文献３）で（セクション“image  refocusing  method”において）説明されるように、マイクロレンズ画像の（すなわち、直接に、ＩＲＡＷと示される４Ｄローライトフィールドデータからの）シフト及び付加に基づく。本願の図６は、２Ｄ画像を得るために４Ｄローライトフィールドデータにおいて座標（ｘ，ｙ）にあるピクセルを如何にして投影すべきかを大まかに表す。４Ｄローライトフィールドピクセル（すなわち、ミクロ画像のピクセル）は、リフォーカシングされた画像内に投影され、一方、重みマップは、積み重ねられた投影ピクセルの数を記録する。重みマップは、投影座標が非整数座標である場合に補間も記録する。全ての４Ｄローライトフィールドピクセルがリフォーカシングされた画像内に投影され、重みマップが決定されると、リフォーカシングされた画像は重みマップによって分けられ、それにより、夫々のリフォーカシングされたピクセルは、同じ平均寄与を受ける。結果として現れる２Ｄ画像は、例えば、ディスプレイ上で出力されるか、あるいは、記憶され及び／又は他のデバイスへ送信され得る。
【０００７】
２Ｄのリフォーカシングされた画像の品質（特にシャープネス）を改善するために、Juliet  Fiss  et  al.，“Refocusing  Plenoptic  Images  using  Depth-Adaptive  Splatting”（非特許文献４）に記載されている技術は、補間を目的として使用される。実際に、このアプローチに基づく補間は、２Ｄのリフォーカシングされた画像に対する４Ｄローライトフィールドピクセルの影響を広げることにある（座標（ｘ，ｙ）での４Ｄローライトフィールドピクセルが、スプラット（splat）カーネルの関数として定義される値を有する位置ｓへ投影される当該文献の図５を参照。）。この文献で記載されるように、「スプラッティングは、放射基底関数を用いる散乱データ補間の形としてみられ得る」。しかし、このアプローチの１つの欠点は、４Ｄローライトフィールドデータが、２Ｄのリフォーカシングされた画像上に４Ｄローライトフィールドピクセルを投影する前に、デモザイキングされるべき点である。このアプローチの他の欠点は、スプラットカーネルが（ｘ，ｙ）で等方性であり、シーンのデプスにのみ依存する点である。最後に、このアプローチの他の欠点は、スプラットカーネルが多焦点プレンオプティックカメラ（例えば、Todor  Georgiev  and  Andrew  Lumsdaine，“The  Multi-Focus  Plenoptic  Camera”（非特許文献５））において表されているもの）又はシーンのジオメトリを考慮しない点である。
【０００８】
従って、それらの欠点を解消することができる技術を提供する必要がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開第２０１３／１８０１９２号パンフレット
【特許文献２】英国特許出願公開第２４８８９０５号明細書
【特許文献３】国際公開第２０１３／１６７７５８号パンフレット
【非特許文献】
【００１０】
【非特許文献１】Anat  Levin  et  al.，“Understanding  camera  trade-offs  through  a  Bayesian  analysis  of  light  field  projections”，the  Conference  Proceedings  of  ECCV  2008
【非特許文献２】Ren  Ng，“Digital  Light  Field  Photography”，Phd  dissertation  thesis，２００６年７月
【非特許文献３】S.  Wanner  et  al.，“Generating  EPI  Representation  of  a  4D  Light  Fields  with  a  Single  Lens  Focused  Plenoptic  Camera”，the  conference  proceedings  of  ISVC  2011
【非特許文献４】Juliet  Fiss  et  al.，“Refocusing  Plenoptic  Images  using  Depth-Adaptive  Splatting”
【非特許文献５】Todor  Georgiev  and  Andrew  Lumsdaine，“The  Multi-Focus  Plenoptic  Camera”
【発明の概要】
【００１１】
「一実施形態」、「実施形態」、「例となる実施形態」との明細書での言及は、記載されている実施形態が特定の機構、構造、又は特性を有してよいが、あらゆる実施形態が必ずしもその特定の機構、構造又は特性を有さなくてよいことを示す。更には、そのようなフレーズは、必ずしも同じ実施形態に言及しているわけではない。更には、特定の機構、構造、又は特性が実施形態に関連して記載される場合に、明示的に記載されていようとなかろうと、他の実施形態に関連してそのような機構、構造、又は特性に作用することは、当業者の知識範囲内にあることが提示される。
【００１２】
本開示は、所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る方法を対象とする。方法は、電子デバイスによって実行され、少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ２での前記リフォーカシングされた画像の少なくとも１つのピクセル値を決定するステップを有することを特徴とする。前記決定するステップは、
前記少なくとも１つの色成分について、前記座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るステップと、
関数に基づき前記少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するステップと、
前記少なくとも１つの色成分について、座標（ｋ，ｌ）での前記リフォーカシングされた画像の前記少なくとも１つのピクセル値を前記加重値により更新するステップと
を有する。
【００１３】
従って、本技術は、リフォーカシングされた画像におけるピクセル値を色成分ごとに決定するよう行われる処理に関する。従って、本技術は、４Ｄローライトフィールドデータに対してデモザイキング法を使用する必要がない（デモザイキング法に関する更なる詳細は、Zhan  Yu  et  al.による“An  Analysis  of  Color  Demosaicing  in  Plenoptic  Cameras”と題された文献において見つけられ得る。）。そのため、本技術は、リフォーカシングされた画像におけるカラーアーチファクトの低減を可能にする。実際に、本技術が夫々の色について適用されると、リフォーカシングされた画像（色成分ごとに１つ）の結合は、カラー画像を得るために行われる。本技術では、デモザイキング法は使用されない。
【００１４】
好適な実施形態において、当該得る方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数が、次（数１）のように定義される、ことを特徴とする：
【００１５】
【数１】
2016224948.tif 000003
このとき、ｈ１は
［外１］
2016224948.tif 000004
に属する値に対応し、関数
［外２］
2016224948.tif 000005
はノルム関数である。
【００１６】
好適な実施形態において、当該得る方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数が次（数２）のように定義される、ことを特徴とする：
【００１７】
【数２】
2016224948.tif 000006
このとき、ｈ２は
［外３］
2016224948.tif 000007
に属する値に対応し、ｇｒｅａｌ（Ｘ，Ｙ）の値は、前記４Ｄローライトフィールドデータと関連したシーンにおけるｇの実際の値に対応する。もっと正確に言えば、ｇｒｅａｌ（Ｘ，Ｙ）は、前記４Ｄローライトフィールドデータを取得したライトフィールド取得デバイスからの前記４Ｄローライトフィールドデータと関連したシーンにおける実際の距離に対応する。
【００１８】
好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数が次（数３）のように定義される、ことを特徴とする：
【００１９】
【数３】
2016224948.tif 000008
このとき、ｈ３及びｈ３′は
［外４］
2016224948.tif 000009
に属する値に対応し、値ａ、ｂ、ｃ及びｄが、前記リフォーカシングされた画像のテンソル構造に従って決定される平滑化値に対応する。
【００２０】
好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数がＷ６（ｋ，ｌ，Ｘ，Ｙ）＝χ（（ｋ，ｌ）は（［Ｘ］，［Ｙ］）のＫ近傍ピクセルに属する）であるよう定義される、ことを特徴とする。このとき、χ（．）は、ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい特性関数であり、［．］は端数処理関数であり、Ｋ．は２以上の整数である。
【００２１】
好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）を有し、ｓが２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）が前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃｘ，Ｃｙ）が、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応し、前記関数がＷ７（ｋ，ｌ，Ｘ，Ｙ）＝ＰＳＦ（ｘ，ｙ）であるよう定義され、ＰＳＦがプレンオプティックカメラの点拡がり関数の推定である、ことを特徴とする。
【００２２】
好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）を有し、前記関数が次（数４）のように定義される、ことを特徴とする：
【００２３】
【数４】
2016224948.tif 000010
このとき、ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃｘ，Ｃｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応する。また、χ（．）は、ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい特性関数であり、ρは閾値であり、
［外５］
2016224948.tif 000011
は、ノルム関数である。
【００２４】
好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）を有し、前記関数が次（数５）のように定義される、ことを特徴とする：
【００２５】
【数５】
2016224948.tif 000012
このとき、ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃｘ，Ｃｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応する。また、ｈ８は、
［外６］
2016224948.tif 000013
に属する値に対応し、
［外７］
2016224948.tif 000014
は、ノルム関数である。
【００２６】
好適な実施形態において、当該方法は、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）を有し、前記関数が、ｉ≠４として、次（数６）に等しいように定義される、ことを特徴とする：
【００２７】
【数６】
2016224948.tif 000015
このとき、ｓは、２Ｄの前記リフォーカシングされた画像の画像サイズを定義し、座標（ｘ，ｙ）は、前記４Ｄローライトフィールドデータにおけるピクセルの座標に対応し、座標（Ｃｘ，Ｃｙ）は、座標（ｘ，ｙ）が属するミクロ画像の中心の座標に対応する。また、Ｓ（ｘ，ｙ）は、（ｘ，ｙ）が属するマイクロレンズのシャープネスの尺度であり、Ｓｍａｘは、前記４Ｄローライトフィールドデータの全てのマイクロレンズにわたる最大シャープネス値に対応する。
【００２８】
好適な実施形態において、当該方法は、前記関数が、可分であるよう定義される、ことを特徴とする。
【００２９】
好適な実施形態において、前記関数は、ｈ１が
［外８］
2016224948.tif 000016
に属する値に対応し、関数
［外９］
2016224948.tif 000017
がノルム関数であるとして、次の数（数７）と他の関数との積であるよう定義される、ことを特徴とする：
【００３０】
【数７】
2016224948.tif 000018
好適な実施形態において、当該方法は、前記更新するステップが、前記加重値を前記少なくとも１つのピクセル値に加えることを含む、ことを特徴とする。
【００３１】
一実施形態において、前記少なくとも１つのピクセル値の初期化が存在する。例えば、前記少なくとも１つのピクセル値の前記初期化は、前記電子デバイス内のレジスタにおけるヌル値への初期化を含むことができる。
【００３２】
例となる実施に従って、当該方法の異なるステップは、１つ以上のコンピュータソフトウェアプログラムによって実施される。このソフトウェアプログラムは、本開示に従うリレーモジュールのデータプロセッサによって実行されるよう設計されたソフトウェアプログラムを含み、当該方法の異なるステップの実行を制御するよう設計される。
【００３３】
結果として、本開示の態様は、コンピュータによって又はデータプロセッサによって実行されるべきプログラムにも関係がある。このプログラムは、ここで上述された方法のステップの実行を命じる命令を含む。
【００３４】
このプログラムは、どんなものであれ如何なるプログラミング言語も使用し、例えば、部分的にコンパイルされた形で、又は何らかの他の望ましい形で、ソースコード、オブジェクトコード、又はソースコードとオブジェクトコードとの間の中間であるコードの形をとることができる。
【００３５】
本開示は、データプロセッサによって読み出し可能であって、ここで上述されたプログラムの命令を含む情報媒体にも関係がある。
【００３６】
情報媒体は、プログラムを記憶することが可能な如何なるエンティティ又はデバイスであることもできる。例えば、媒体は、ＲＯＭ（“Read  Only  Memory”の略語である。）、例えば、ＣＤ−ＲＯＭ（“Compact  Disc  −  Read  Only  Memory”の略語である。）又は超小型電子回路ＲＯＭ、あるいは、先と同じく、磁気記録手段、例えば、フロッピー（登録商標）ディスク又はハードディスクのような記憶手段を有することができる。
【００３７】
更に、情報媒体は、無線によって又は他の手段によって電気又は光ケーブルを通じて運ばれ得る電気又は光信号のような、伝送可能なキャリアであってよい。プログラムは、特に、インターネット型ネットワークにダウンロードされ得る。
【００３８】
代替的に、情報媒体は、プログラムが組み込まれている集積回路であることができる。回路は、問題となっている方法を実行するよう構成されるか、又はその実行において使用される。
【００３９】
一実施形態に従って、本開示の実施形態は、ソフトウェア及び／又はハードウェアコンポーネントを用いて実施される。この観点から、語「モジュール」は、本願では、ソフトウェアコンポーネント及びハードウェアコンポーネントの両方に、あるいは、ハードウェア及びソフトウェアコンポーネントの組に、対応することができる。
【００４０】
ソフトウェアコンポーネントは、関連するモジュールについて以下ここで記載されるものに従って機能又は機能の組を実施することが可能な１つ以上のコンピュータプログラム、プログラムの１つ以上のサブプログラム、あるいは、より一般的には、プログラム又はソフトウェアプログラムのいずれかの要素、に対応する。１つのそのようなソフトウェアコンポーネントは、物理エンティティ（端末、サーバ、など）のデータプロセッサによって実行され、この物理エンティティのハードウェアリソース（メモリ、記録媒体、通信バス、入出力電子基板、ユーザインターフェイス、など）にアクセスすることが可能である。
【００４１】
同様に、ハードウェアコンポーネントは、関連するモジュールについて以下ここで記載されるものに従って機能又は機能の組を実施することが可能なハードウェアユニットのいずれかの要素に対応する。それは、プログラム可能なハードウェアコンポーネント、あるいは、ソフトウェアの実行のための集積回路、例えば、集積回路、スマートカード、メモリカード、ファームウェアを実行するための電子基板、などを備えたコンポーネントであってよい。変形例において、ハードウェアコンポーネントは、中央演算処理装置のような集積回路であるプロセッサ、及び／又はマイクロプロセッサ、及び／又は特定用途向け集積回路（ＡＳＩＣ）、及び／又は特定用途向け命令セットプロセッサ（ＡＳＩＰ）、及び／又はグラフィクス処理ユニット（ＧＰＵ）、及び／又は物理処理ユニット（ＰＰＵ）、及び／又はデジタル信号プロセッサ（ＤＳＰ）、及び／又は画像プロセッサ、及び／又はコプロセッサ、及び／又は浮動小数点ユニット、及び／又はネットワークプロセッサ、及び／又はオーディオプロセッサ、及び／又はマルチコアプロセッサを有する。更には、ハードウェアコンポーネントは、ベースバンドプロセッサ（例えば、メモリユニット及びファームウェアを有する。）、及び／又は無線信号を送信若しくは受信する無線電子回路（アンテナを有することができる。）を更に有することができる。一実施形態において、ハードウェアコンポーネントは、ＩＳＯ／ＩＥＣ１８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、グローバルプラットフォーム（すなわち、セキュアエレメント）のような１つ以上の標準に従う。変形例において、ハードウェアコンポーネントは、無線周波数識別（ＲＦＩＤ）タグである。一実施形態において、ハードウェアコンポーネントは、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、及び／又はＷｉ−Ｆｉ（登録商標）通信、及び／又はＺｉｇｂｅｅ（登録商標）通信、及び／又はＵＳＢ通信、及び／又はファイアワイヤ通信、及び／又はＮＦＣ（近距離）通信を可能にする回路を有する。
【００４２】
また、留意すべきは、本願における要素／値を得るステップは、電子デバイスのメモリユニットにおいてそのような要素／値を読み出すステップ、又は通信手段を介して他の電子デバイスからそのような要素／値を受信するステップのいずれかと見なされ得る。
【００４３】
他の実施形態において、所与のフォーカスプレーン値ｇについての４Ｄローライトフィールドデータからリフォーカシングされた画像を得る電子デバイスが提案される。当該電子デバイスは、少なくとも１つの色成分について、座標（ｋ，ｌ）∈Ｎ２での前記リフォーカシングされた画像の少なくとも１つのピクセル値を決定するよう構成される回路を有する、ことを特徴とする。前記回路は、
前記少なくとも１つの色成分について、前記座標（ｋ，ｌ）の近傍に含まれる座標を有する少なくとも１つの投影ピクセル値を得るよう構成される取得回路と、
関数に基づき前記少なくとも１つの投影ピクセル値に重み付けし、加重値を出力するよう構成される重み付け回路と、
前記少なくとも１つの色成分について、座標（ｋ，ｌ）での前記リフォーカシングされた画像の前記少なくとも１つのピクセル値を前記加重値により更新するよう構成される更新回路と
を有する。
【００４４】
好適な実施形態において、当該電子デバイスは、前記少なくとも１つの投影ピクセル値が座標（Ｘ，Ｙ）を有し、前記関数が次（数８）のように定義される、ことを特徴とする：
【００４５】
【数８】
2016224948.tif 000019
このとき、ｈ１は
［外１０］
2016224948.tif 000020
に属する値に対応し、関数
［外１１］
2016224948.tif 000021
は、ノルム関数である。
【図面の簡単な説明】
【００４６】
本発明の上記及び他の態様は、添付の図面を参照して、その例となる実施形態の以下の詳細な説明によって、より明らかとなるであろう。
【図１】本技術が適用され得るライトフィールドデータの取得を可能にするプレンオプティックカメラに含まれる主要なコンポーネントを図式的に示す。
【図２】図１のセンサアレイによって捕捉される画像を示す。
【図３】完ぺきな薄レンズモデルを仮定して、図式的なプレンオプティック・タイプＩＩカメラを表す。
【図４】完ぺきな薄レンズモデルを仮定して、図式的なプレンオプティック・タイプＩＩカメラを表す。
【図５】タイプＩのプレンオプティックカメラを示す。
【図６】４Ｄローライトフィールドピクセルの投影を示す。
【図７ａ】本開示の一実施形態に従うスプラッティングプロセスを表す。
【図７ｂ】本開示の一実施形態に従うスプラッティングプロセスを表す。
【図７ｃ】本開示の一実施形態に従うスプラッティングプロセスを表す。
【図８ａ】ピクセル周囲のテンソル解析に基づく本開示の一実施形態を表す。
【図８ｂ】ピクセル周囲のテンソル解析に基づく本開示の一実施形態を表す。
【図９ａ】マイクロレンズが異なる焦点長さを有するマイクロレンズアレイを有するプレンオプティックカメラから得られる画像及び該画像の部分を表す。
【図９ｂ】マイクロレンズが異なる焦点長さを有するマイクロレンズアレイを有するプレンオプティックカメラから得られる画像及び該画像の部分を表す。
【図１０】色チャネルごとに少なくとも１つの値が受け取られる座標（ｋ，ｌ）を有する投影ピクセルを示す。
【図１１】座標（ｘ，ｙ）にある４Ｄローライトフィールドデータのピクセル値が投影座標（Ｘ，Ｙ）の周囲でＫ近傍（この場合に、Ｋ＝６）に如何にしてスプラッティング／拡散されるかを表す。
【図１２】４Ｄローライトフィールドデータからの画像をリフォーカシングする方法の幾つかのステップを表す。
【図１３】本願で開示される方法の１つ以上のステップを実行するために使用され得るデバイスの例を示す。
【発明を実施するための形態】
【００４７】
図１は、本技術が適用され得るライトフィールドデータの取得を可能にするプレンオプティックカメラに含まれる主要なコンポーネントを図式的に示す。
【００４８】
もっと正確に言えば、プレンオプティックカメラは、符号１０１により参照されるメインレンズと、符号１０４により参照されるセンサアレイ（すなわち、ピクセルセンサ（例えば、ＣＭＯＳテクノロジに基づくセンサ）のアレイ）とを有する。メインレンズ１０１とセンサアレイ１０４との間には、符号１０２により参照されるマイクロレンズアレイが位置し、マイクロレンズアレイ１０２は、符号１０３により参照される極小レンズのアレイを有する。留意すべきは、任意に幾つかのスペーサが、夫々のレンズの周囲でマイクロレンズアレイとセンサとの間に置かれ、１つのレンズからの光がセンサ側で他のレンズの光と重なり合うことを防ぐ。留意すべきは、メインレンズ１０１は、図１に表されているものよりも複雑な光学系であることができる（例えば、英国特許出願公開第２４８８９０５号明細書の図１２及び１３に記載される光学系）。従って、プレンオプティックカメラは、図１で表されるようにちょうどセンサの前に設置されたマイクロレンズアレイを従来のカメラに付加したものと見なされ得る。マイクロレンズを通過する光線は、それらの光線の放射を記録するセンサアレイの部分を覆う。センサのこの部分による記録は、マイクロレンズ画像を定義する。
【００４９】
図２は、センサアレイ１０４によって捕捉される画像を示す。実際に、そのようなビューにおいて、センサアレイ１０４は、符号２０１により参照されるピクセルの組を有するように見える。マイクロレンズを通過する光線は多数のピクセル２０１をカバーし、それらのピクセルは、入射する／受光される光線のエネルギ値を記録する。
【００５０】
従って、プレンオプティックカメラのセンサアレイ１０４は、２Ｄ画像（ロー４Ｄライトフィールド画像とも称される。）内に配置された２Ｄ小画像（すなわち、符号２０２により参照されるマイクロレンズ画像）の集合を有する画像を記録する。実際に、夫々の小画像（すなわち、マイクロレンズ画像）は、マイクロレンズによって生成される（マイクロレンズは、レンズのアレイの中で座標（ｉ，ｊ）によって識別され得る。）。従って、ライトフィールドのピクセルは、４座標（ｘ，ｙ，ｉ，ｊ）に関連する。センサによって記録される４ＤライトフィールドであるＬ（ｘ，ｙ，ｉ，ｊ）は、センサによって記録される画像を表す。夫々のマイクロレンズは、円によって表されるミクロ画像を生成する（小画像の形状は、通常円形であるマイクロレンズの形状に依存する。）。ピクセル座標（センサアレイにおける）は、（ｘ，ｙ）と標示される。ｐは、２つの連続したミクロ画像間の距離であり、ｐは整数である必要はない。マイクロレンズは、ｐがピクセルサイズδよりも大きいように選択される。マイクロレンズ画像は、それらの座標（ｉ，ｊ）によって参照される。夫々のマイクロレンズは、（ｕ，ｖ）座標系を用いてマイクロレンズの瞳をサンプリングする。幾つかのピクセルは、特に、マイクロレンズの形状が円形である場合に、如何なるマイクロレンズからの如何なる光子も受け取らないことがある。この場合に、マイクロレンズ間のスペースは、光子がマイクロレンズから外に出ないようにマスクされ、マイクロレンズにおいて幾つかの暗領域をもたらす。マイクロレンズが正方形状である場合には、マスキングは不要である。マイクロレンズ画像の中心（ｉ，ｊ）は、座標（ｘｉ，ｊ，ｙｉ，ｊ）でセンサ上に置かれる。θは、ピクセルの正方格子とマイクロレンズの正方格子との間の角度であり、図２ではθ＝０である。正方格子に従ってマイクロレンズが配置されているとすると、（ｘｉ，ｊ，ｙｉ，ｊ）は、マイクロレンズイメージ（０，０）のピクセル座標を（ｘ０，０，ｙ０，０）として、次の式１（数９）によって計算され得る：
【００５１】
【数９】
2016224948.tif 000022
図２は、幾つかの連続したマイクロレンズ画像（黒点）においてシーンからのオブジェクトが可視的であることを表す。オブジェクトの２つの連続したビュー間の距離はｗであり、この距離は“レプリケーション（replication）”距離と呼ばれる。従って、対象は、次の式（数１０）により、ｒ個の連続したマイクロレンズ画像において可視的である：
【００５２】
【数１０】
2016224948.tif 000023
ｒは、一次元における連続したマイクロレンズ画像の数である。オブジェクトは、ｒ２個のマイクロレンズ画像において可視的である。マイクロレンズ画像の形状に応じて、オブジェクトのｒ２個のビューのうちの幾つかは不可視である。
【００５３】
プレンオプティックカメラに関する更なる詳細は、Tom  E.  Bishop  and  Paolo  Favaro，“The  Light  Field  Camera:  Extended  Depth  of  Field,  Aliasing,  and  Superresolution”，IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence，vol.34，No.5，２０１２年５月におけるセクション４“Image  formation  of  a  Light  field  camera”において見つけられ得る。
【００５４】
留意すべきは、本技術は、従来のカメラのピクセルの少なくとも一部が米国特許公開第２０１３／２５８０９８号公報において記載されているのと同じ方法（又は類似した方法）において設計される場合に、そのような“従来のカメラ”（追加のマイクロレンズアレイが、メインレンズとピクセルのアレイとの間に位置付けられないという意味における。）に対しても適用され得る。実際に、この米国特許公開第２０１３／２５８０９８号公報は、幾つかの受光セクション（例えば、米国特許公開第２０１３／２５８０９８号公報における１１６及び１１７を参照されたい。）の使用によりライトフィールドデータを記録することができるピクセルを開示する。従って、当業者であれば、夫々のマイクロレンズがセンサ１０４に含まれている２つのピクセル上に光線を集中させる図１で表されたプレンオプティックカメラの一種として米国特許公開第２０１３／２５８０９８号公報の技術を解釈して、ピクセルのアレイを備えたそのような従来のカメラを理解する。留意すべきは、米国特許公開第２０１３／２５８０９８号公報の技術は、より多くの受光セクションがピクセルのアーキテクチャに組み込まれる場合に、ピクセルが２つよりも多いデータ情報（２つのロー及びハイ受光セクションによって得られる。）を記録することができるという意味において、一般化され得る。本開示は、上述されたようにライトフィールドデータを記録することができるピクセルを組み込む“従来のカメラ”のロー画像に対して使用され得る。実際に、それらのロー画像は、マイクロレンズ画像の組と同化され得る。
【００５５】
また、留意すべきは、本開示は、米国特許公開第２０１０／０２６５３８６号公報において、又はA.  Levin  et  al.，“Image  and  depth  from  a  conventional  camera  with  a  coded  aperture”，the  Proceedings  of  SIGGRAPH  2007において表されている符号アパーチャ要素（coded  aperture  elements）を有するか、あるいは、Edward  R.  Dowski,  Jr.  and  W.  Thomas  Cathe，“Extended  depth  of  field  through  wave-front  coding”，Applied  Optics，１９９５年４月１０日において記載されている波面符号化（wavefront  coding）技術を使用するデバイスのような、４Ｄライトフィールドデータを捕捉する他のデバイスにも適用され得る。
【００５６】
図３及び図４は、完ぺきな薄レンズモデルを仮定して、概略のプレンオプティック・タイプＩＩカメラを表す。先に導入された距離ｐ及びｗは、ピクセル単位で与えられる。それらは、ピクセルサイズδを乗じることによって、夫々物理的な単位距離Ｐ及びＷ（メートル）に変換される：Ｗ＝δ・ｗ及びＰ＝δ・ｐ。それらの距離は、ライトフィールドカメラの特性に依存する。
【００５７】
メインレンズは焦点長さＦ及び開口Φを有する。マイクロレンズアレイは、焦点長さｆを有するマイクロレンズを有する。マイクロレンズアレイのピッチはφである。マイクロレンズアレイは、メインレンズからの距離Ｄ、及びセンサからの距離ｄに位置する。オブジェクト（図中見えない。）は、メインレンズ（左）からの距離ｚに位置する。このオブジェクトは、メインレンズ（右）からの距離ｚ′でメインレンズによってフォーカシングされる。
【００５８】
図３及び図４は、夫々、Ｄ＞ｚ′及びＤ＜ｚ′の場合を表す。いずれの場合にも、マイクロレンズ画像は、ｄ及びｆに応じて焦点が合うことができる。この設計は、いわゆるタイプＩＩプレンオプティックカメラ（プレンオプティックカメラ２．０とも称される。）を指す。
【００５９】
図５は、ｆ＝ｄであるタイプＩプレンオプティックカメラ（プレンオプティックカメラ１．０とも称される。）を表す。
【００６０】
図５において、設計は、メインレンズが、マイクロレンズアレイの近くに画像の焦点を合わせているようになされる。メインレンズがまさにマイクロレンズアレイ上に焦点を合わせている場合に、Ｗ＝∞である。また、マイクロレンズ画像は、全く焦点外であり、定数に等しい（ノイズを考慮せず。）。
【００６１】
レプリケーション距離Ｗは、オブジェクトの距離ｚとともに変化する。Ｗとｚとの間の関係を確立するよう、薄レンズの公式：
１／ｚ＋１／ｚ′＝１／Ｆ
及びタレス法：
（Ｄ−ｚ′）／φ＝（Ｄ−ｚ′＋ｄ）／Ｗ
に依存して、先の２つの式を混合することで、次（数１１）が演繹される：
【００６２】
【数１１】
2016224948.tif 000024
Ｗとｚとの間の関係は、マイクロレンズ画像の焦点が合っていることを仮定しない。マイクロレンズ画像は、薄レンズの公式に従って、完全に焦点が合っている：
１／（Ｄ−ｚ′）＋１／ｄ＝１／ｆ
また、タレス法から、次のように、Ｐが導出される：
ｅ＝（Ｄ＋ｄ）／Ｄ
Ｐ＝φｅ
比ｅは、マイクロレンズのピッチとマイクロレンズ画像のピッチとの間の拡大を定義する。この比は、Ｄ≫ｄであるから、極めて１に近い。
【００６３】
同様の所見は、国際公開第２０１３／１６７７５８号パンフレットにおいて見出され得る。
【００６４】
図６は、座標（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）にあるピクセル（２Ｄのリフォーカシングされた画像における。）上への４Ｄローライトフィールドピクセル（すなわち、座標（Ｃｘ，Ｃｙ）に中心を有する、符号６００により参照されるマイクロレンズ画像に属する、座標（ｘ，ｙ）でのピクセル）の投影を示す。ここで、ｇは、リフォーカスプレーンを決定し、ｓは、２Ｄのリフォーカシングされた画像の画像サイズを定義する（従って、Ｉｇが２Ｄのリフォーカシングされた画像に対応するとして、ｓｉｚｅ（Ｉｇ）＝ｓ・ｓｉｚｅ（ＩＲＡＷ））。図６の例では、我々はｓ＝１を有する。リフォーカシングプロセスに関する更なる詳細は、国際公開第２０１３／１６７７５８号パンフレットにおいて詳述されている。
【００６５】
従って、一定の画像サイズｓ及びフォーカスプレーンｇを考えると、リフォーカシングされた画像Ｉｇは、４ＤローライトフィールドデータＩＲＡＷの全てのピクセル（ｘ，ｙ）を投影して推定される。留意すべきは、投影された座標（Ｘ，Ｙ）は、一様に分布したグリッド上に、又は規則的なグリッド上に必ずしも置かれない。実際に、実数値ポジション（Ｘ，Ｙ）の画像平面における分布は、値ｇに大いに依存する。
【００６６】
留意すべきは、画像のマイクロレンズ中心（Ｃｘ，Ｃｙ）は、いずれかの最新技術（例えば、Dansereau  et  al.，“Decoding,  calibration  and  rectification  for  lenselet-based  plenoptic  cameras”，the  conference  proceedings  of  Computer  Vision  and  Pattern  Recognition  (CVPR)，2013  IEEE  Conference  on  IEEEにおいて記載されるもの）によって推定されると仮定される。
【００６７】
提案される技術は、所与のフォーカスについて４Ｄローライトフィールドデータからリフォーカシングされた画像を（ｇの値に基づき）得る方法であって、（ｋ，ｌ）の近傍において投影されるピクセル値の加重和の決定を介して、ポジション（ｋ，ｌ）∈Ｎ２でのリフォーカシングされた画像におけるピクセルの値を決定することを含む方法に関する。そのため、リフォーカシングされた画像は、次（数１２）のように定義される：
【００６８】
【数１２】
2016224948.tif 000025
このとき、Ｚｋｌ＝Σ（Ｘ，Ｙ）∈ＢｋｌＷ（ｋ，ｌ，Ｘ，Ｙ）は、正規化係数であり、Ｂｋｌは、（ｋ，ｌ）に中心がある近傍であり、ポジション（Ｘ，Ｙ）＝（ｓ［ｇ（ｘ−Ｃｘ）＋Ｃｘ］，ｓ［ｇ（ｙ−Ｃｙ）＋Ｃｙ］）であり、ｃ＝｛Ｒ，Ｇ，Ｂ｝は色チャネルである（Ｒは赤色（Red）であり、Ｇは緑色（Green）であり、Ｂは青色（Blue）である。）。留意すべきは、ＩＲＡＷはベイヤーパターンを有するので、ＩＲＡＷｃ（ｘ，ｙ）は、ただ１つの色チャネルについて非ゼロである。
【００６９】
図７ａ及び７ｂは、本開示の一実施形態に従うスプラッティングプロセスを表す。この定義によれば、スプラットカーネルはブラー（blur）の量を調整する点に留意されたい。カーネルが大きければ大きいほど、２Ｄのリフォーカシングされた画像はますますぼやける。
【００７０】
図７ａは、強度値ＩＲＡＷｃ（ｘ，ｙ）がリフォーカシング面に投影されてポジション（Ｘ，Ｙ）の周りで拡げられる（スプラッティングされる）ことを表す。拡がり値は、スプラットカーネルＷによって重み付けされる。これは、（Ｘ，Ｙ）の周りの全てのピクセルが同じピクセル値を受けるわけではないことを意味する。
【００７１】
図７ｂは、リフォーカシングされた画像をレンダリングするために、画像グリッドの夫々のピクセルポジション（ｋ，ｌ）について、このポジションでの全ての受け取られたピクセル値の（加重）和が決定されることを示す。この例では、ピクセル（ｋ，ｌ）は２つの値を受ける。例示のために、スプラッティングカーネルの形状はこの図では円形であるが、他の形状が可能である。
【００７２】
図７ｃは、ポジション（ｋ，ｌ）∈Ｎ２でのリフォーカシングされた画像におけるピクセルの値の決定の例を示す。第１のステップで、座標（ｋ，ｌ）∈Ｎ２に位置するピクセルの近傍Ｂｋｌが選択される。本開示の実施形態において、そのような近傍は、座標（ｋ，ｌ）∈Ｎ２に中心が置かれ得る。変形例において、そのような近傍は、座標（ｋ，ｌ）∈Ｎ２に中心が置かれないが、近傍は座標（ｋ，ｌ）∈Ｎ２を有する。近傍のジオメトリは、（円から、図７ｃで表されているような、より複雑なジオメトリ構造まで）様々であることができる。図７ｃの例では、赤色成分を有する４ＤローライトフィールドデータＩＲＡＷからのただ３つのピクセルが、近傍Ｂｋｌにおける投影を有する。そのため、一実施形態において、我々は、赤色成分について、Ｉｇｃ（ｋ，ｌ）＝［Ｗ（１）（ｋ，ｌ，Ｘ１，Ｙ１）ＩＲＡＷｃ（ｘ１，ｙ１）＋Ｗ（２）（ｋ，ｌ，Ｘ２，Ｙ２）ＩＲＡＷｃ（ｘ２，ｙ２）＋Ｗ（３）（ｋ，ｌ，Ｘ３，Ｙ３）ＩＲＡＷｃ（ｘ３，ｙ３）］×正規化係数を有する。
【００７３】
この式において、重み係数（スプラットカーネルとも称される。）Ｗ（１）、Ｗ（２）及びＷ（３）は、同じ関数又は異なる関数であることができる。
【００７４】
同じ近傍について、しかし、他の色成分について、他の投影されたピクセルはこの近傍に含まれる。これより、スプラットカーネルＷのとり得る定義の夫々を記述させてもらう。Ｗの最も簡単な定義は、一定の半径ｒの円であり、本願ではこれをＷ０と呼ぶこととする。とは言っても、簡単なスプラットカーネルは、リフォーカシングされた画像を申し分なく回復することができないであろう。
【００７５】
本開示の第１の実施形態において、スプラットカーネルは、
［外１２］
2016224948.tif 000026
に対して減少関数である。これは、Ｗ（ｋ，ｌ，Ｘ，Ｙ）がその最大値に達し、次いで、
［外１３］
2016224948.tif 000027
が増大するにつれて比例的に減少することを意味する。そのようなスプラットカーネルの例は、次（数１３）のように定義される：
【００７６】
【数１３】
2016224948.tif 000028
値ｈ１は、４Ｄローライトフィールドデータの取得を実行したライトフィールドデバイスのパラメータの関数として定義されるか又はユーザによって入力され得るパラメータである。
【００７７】
本開示の第２の実施形態において、夫々の点（ｘ，ｙ）について、ｇの実際の値であるｇｒｅａｌ（ｘ，ｙ）（すなわち、ライトフィールド取得デバイスからの場面における実際の距離）を知っているとする。これは、点（ｘ，ｙ）が焦点を合わせられているはずである面である（これは、シーンのデプスを知ることで推定され得る。）。その場合に、スプラットカーネルは、ｇｒｅａｌに応じて夫々の点で適応され得る。ｇは、画像をリフォーカシングしようとしている所望のフォーカスプレーンであるとする。｜ｇ−ｇｒｅａｌ｜が減少する場合に、スプラットカーネルは、減少関数であると定義される。この定義によれば、リフォーカシングされた面ｇでの点は鮮明なままでありながら、他の点はぼやけており、不鮮明さの程度は、フォーカスプレーンｇまでの距離に比例する。そのようなスプラットカーネルの例は、次（数１４）によって与えられる：
【００７８】
【数１４】
2016224948.tif 000029
値ｈ２は、４Ｄローライトフィールドデータの取得を実行したライトフィールドデバイスのパラメータの関数として定義されるか又はユーザによって入力され得るパラメータである。
【００７９】
本開示の第３の実施形態において、画像（画像境界）の構造及びジオメトリは、スプラットカーネルによって利用され得る重要な情報である。画像エッジを考えると、スプラットカーネルは、その形状を画像境界に適応させる。この場合に、スプラットカーネルは異方性であり、それ自身を画像のエッジに適応させる。例えば、Ｉｘ、Ｉｙが画像Ｉの偏導関数であるとして、
［外１４］
2016224948.tif 000030
と定義される画像のテンソル構造は、画像の局所ジオメトリに関する重要な情報を提供し、固有ベクトルｖ１、ｖ２は、画像こう配の主方向（接線ベクトル及び法線ベクトルの方向）を提供し、対応する固有値λ１、λ２は、夫々の主方向の大きさを提供する、ことが知られる。特に、固有ベクトルは、シーンの局所ジオメトリを特徴付ける（小さいλ１、λ２は一様なエリアに対応し、大きいλ１、λ２は画像の角に対応し、大きいλ１及び小さいλ２は接線ｖ１を有する画像エッジに対応する。）。図８ａは、接線ベクトル及び法線ベクトルが、黒点において計算されたテンソル行列の固有ベクトル及び固有値により推定される画像境界の場合を表す。テンソル解析のおかげで、スプラットカーネルは、画像エッジがある場合にその形状が適応的であるように定義され得る（図８ｂを参照）。
【００８０】
テンソル構造によって提供される画像のジオメトリを考慮するスプラットカーネルの例は、次（数１５）のように定義される：
【００８１】
【数１５】
2016224948.tif 000031
ガウシアンカーネルは、方向
［外１５］
2016224948.tif 000032
において値ｈ３により平滑化し、方向
［外１６］
2016224948.tif 000033
において値ｈ３′により平滑化する。
【００８２】
値ｈ３及びｈ３′は、４Ｄローライトフィールドデータの取得を実行したライトフィールドデバイスのパラメータの関数として定義されるか又はユーザによって入力され得るパラメータである。
【００８３】
実際上、リフォーカシングされた画像のテンソルを推定することは、投影点（Ｘ，Ｙ）の変則的なサンプリングに起因して容易でない点に留意されたい。しかし、テンソルは局所変数であり、それは、ロー（RAW）画像において推定されて、画像色値と同じように投影され得る。
【００８４】
第４の実施形態において、スプラットカーネルは、多焦点プレンオプティックカメラにおけるマイクロレンズタイプを考慮する。例えば、Raytrix社のカメラは、３つの異なった焦点長さを有する３種類のマイクロレンズが存在するプレンオプティックカメラである。図９ａは、Raytrix社のＲ５カメラにより捕捉された４Ｄローライトフィールドデータを示す。
【００８５】
図９ｂは、同じ画像の異なる部分の３つの異なるクロップ（crop）を示す。マイクロレンズアレイは、焦点長さに関して３つの異なる種類のマイクロレンズによって形成される点に留意されたい。故に、異なるマイクロレンズは、焦点が異なるシーンの３つの部分を有する。左のクロップは、中央にあるクロップと比べて、焦点が合っている同じマイクロレンズを有さず、最後のクロップは、３つのマイクロレンズが焦点外であるシーンの部分を示す。
【００８６】
この実施形態において、我々は、我々のスプラットカーネルが、スプラッティングされる値に応じて変化するという事実を考える。そのような値が、焦点が合っているマイクロレンズに由来する場合に、スプラットカーネルは、焦点が合っていないマイクロレンズの値を拡げるスプラットカーネルと比べて、大きい重みを有すべきである。その考えは、焦点が合っていないマイクロレンズを、焦点が合わせられているマイクロレンズに対して不利にすることである。そのようなスプラットカーネルの例は、次（数１６）のように定義される：
【００８７】
【数１６】
2016224948.tif 000034
このとき、Ｗｉ≠４は、本願において定義されるスプラットカーネルのいずれかであり、Ｓ（ｘ，ｙ）は、（ｘ，ｙ）が属するマイクロレンズのシャープネスの尺度であり、Ｓｍａｘは、ロー画像の全てのマイクロレンズにわたる最大シャープネスである。幾つかのシャープネスの尺度が使用されてよい。例えば、Pertuz,  Said  et  al.，“Analysis  of  focus  measure  operators  for  shape-from-focus”，Pattern  Recognition  46.5  (2013):  1415-1432において定義されているシャープネスの尺度がある。
【００８８】
本開示の第５の実施形態において、画像サイズｓ及び所望のフォーカスプレーンｇを考えると、リフォーカシングされた面における投影点（Ｘ，Ｙ）の分布が決定される。ｓはスケールのみに責任を負い、一方、ｇの選択は分布自体を変える。
【００８９】
本技術において、スプラットカーネルは、２Ｄのリフォーカシングされた画像のレンダリングプロセスが色“ホール”を生成しないように、この分布を考慮する。言い換えると、本技術は、２Ｄのリフォーカシングされた画像Ｉｇの夫々のピクセルポジション（ｋ，ｌ）が、夫々の色の少なくとも１つの強度値をスプラッティングプロセスの間に得ていることを保証する。
【００９０】
実際に、このことは、最大サンプリングステップＨによって与えられる最小サイズをスプラットカーネルのサポートが有することを意味する。
【００９１】
そのようなスプラットカーネルの例はＷ５＝Ｗ０であり、円は半径ｒ＝Ｈを有する。
【００９２】
図１０は、色チャネルごとに少なくとも１つの値を受けるピクセルポジション（ｋ，ｌ）を示す。スプラットカーネルは、最小サイズ（“ホール”を生じさせないために必要なサイズ）が保証されると直ぐに、異なる形状及びサイズを有することができる。
【００９３】
スプラットカーネルの全ての上記の定義は、ピクセル値ＩＲＡＷｃ（ｘ，ｙ）を最も近いピクセルまで拡げるよう提案する。なお、本開示の第６の実施形態において、我々は、同じピクセル値を、所与の基準に関して、Ｋ近傍（Ｋ−ＮＮ；K-Nearest  Neighbors）ピクセル（色、こう配、などに関する最近傍）まで拡げることができる。形式上：
Ｗ６（ｋ，ｌ，Ｘ，Ｙ）＝χ（（ｋ，ｌ）は（［Ｘ］，［Ｙ］）のＫ−ＮＮに属する）
このとき、χ（．）は、特性関数であり（ステートメントが真である場合に１に等しく、それ以外の場合に０に等しい。）、［．］は端数処理関数である。
【００９４】
図１１は、Ｋ近傍にスプラッティングされる値ＩＲＡＷｃ（ｘ，ｙ）を示す。この例では、Ｋ＝６である。Ｋ−ＮＮは、必ずしもユークリッド距離における最も近いピクセルではなく、色、デプス又は何らかの他の基準にして最も近いものである。
【００９５】
本発明の第７の実施形態において、プレンオプティックカメラのＰＳＦ（点拡がり関数；Point  Spread  Function）（又はマイクロレンズアレイのＰＳＦ）は、推定され、スプラットカーネルの定義において考慮され得る。そのようなカーネルの１つのとり得る定義は、
Ｗ７（ｋ，ｌ，Ｘ，Ｙ）＝ＰＳＦ（ｘ，ｙ）
である。夫々の色チャネルは異なるＰＳＦを有するので、スプラットカーネルの定義も、スプラッティングされる色チャネルに応じて適応され得る点に留意されたい。
【００９６】
本開示の第８の実施形態において、プレンオプティックカメラは、口径食（vignetting）、特に、マイクロレンズの口径食に悩むことがよく知られている。我々は、スプラッティングプロセスの間に、マイクロレンズの中心からのピクセルと比べて口径食に見舞われるピクセルを不利にすることを提案する。ここで、口径食補正は、常に完ぺきであるわけでなく、補正されたピクセルは、信号対雑音比が悪いと考えられるので、口径食補正アルゴリズムがあっても、そのようなピクセルを不利にすることは有用である。そのようなスプラットカーネルの１つのとり得る定義は、次（数１７）を定義すべきである：
【００９７】
【数１７】
2016224948.tif 000035
それは、マイクロレンズの境界に位置する全てのピクセルが無視され、半径ρの円内のピクセルのみが考慮されることを意味する。他のとり得る定義は、次（数１８）によって与えられる：
【００９８】
【数１８】
2016224948.tif 000036
値ｈ８は、４Ｄローライトフィールドデータの取得を実行したライトフィールドデバイスのパラメータの関数として定義されるか又はユーザによって入力され得るパラメータである。
【００９９】
メインレンズの口径食を考慮に入れる特定のカーネルも可能である点に留意されたい。
【０１００】
第９の実施形態において、スプラットカーネルは、少なくとも２つの先に定義されたスプラットカーネルの積として計算され得る（例えば、Ｗ９＝Ｗ１Ｗ７又はＷ９＝Ｗ２Ｗ３Ｗ６Ｗ８）。
【０１０１】
図１２は、本発明の一実施形態に従うフローチャートを示す。
【０１０２】
もっと正確に言えば、図１２は、取得された４Ｄローライトフィールドデータから画像をリフォーカシングする方法の幾つかのステップを表す。
【０１０３】
１２０１で参照されるステップにおいて、電子デバイスは４Ｄローライトフィールドデータを受ける。更に、幾つかのパラメータが、焦点合わせが行われるべきフォーカスプレーンを定義する前記電子デバイスによって取得される。一実施形態において、それらのパラメータは、ユーザによるユーザインターフェイスとのインタラクション（例えば、焦点合わせが行われるべきオブジェクトを選択するためのインタラクション）を介して得られる。それらのパラメータは、リフォーカシングされた画像のサイズを更に含むことができる。
【０１０４】
次いで、１２０２で参照されるステップで、電子デバイスは、投影されたピクセル（例えば、図６で投影されたピクセル）の全ての座標を決定するために、４Ｄローライトフィールドデータの全てのピクセル座標を処理する。次いで、２Ｄのリフォーカシングされた画像における座標を定義するために規則的なグリッド（
［外１７］
2016224948.tif 000037
において定義された有限グリッド）を使用することによって、この規則的なグリッドにおけるピクセル値を決定するプロセスが行われる。座標（ｋ，ｌ）∈Ｎ２でのピクセル値を決定するために、上記のプロセスが実行され得る。
【０１０５】
変形例において、４Ｄローライトフィールドデータの全てのピクセルが“投影”されるわけではない。実際に、マイクロレンズ画像のエッジにあるピクセルは捨てられ、従って、リフォーカシングプロセスにおいて投影及び使用されない。
【０１０６】
変形例において、２Ｄのリフォーカシングされた画像におけるピクセルの値の投影及び更新は、同時に行われる。
【０１０７】
ステップ１２０２の終わりに、２Ｄのリフォーカシングされた画像が得られる。この２Ｄのリフォーカシングされた画像は、次いで、表示デバイスによって表示され得る。
【０１０８】
図１３は、本願で開示される方法の１つ以上のステップを実行するために使用され得るデバイスの例を示す。
【０１０９】
１３００で参照されるそのようなデバイスは、１３０１で参照されるコンピューティングユニット（例えば、ＣＰＵ（Central  Processing  Unit））と、１３０２で参照される１つ以上のメモリユニット（例えば、中間結果がコンピュータプログラムの命令の実行中に一時的に記憶され得るＲＡＭ（Random  Access  memory）ブロック、又はとりわけ、コンピュータプログラムが記憶されるＲＯＭブロック、又はＥＥＰＲＯＭ（Electrically-Erasable  Programmable  Read-Only  Memory）ブロック、又はフラッシュブロック）とを有する。コンピュータプログラムは、コンピューティングユニットによって実行され得る命令から成る。そのようなデバイス１３００は、デバイス１３００が他のデバイスと通信することを可能にする入出力インターフェイスを構成する、１３０３で参照される専用ユニットを更に有することができる。特に、この専用ユニット１３０３は、アンテナと（接触なしに通信を実行するため。）、あるいは、シリアルポートと（“接触”により通信を運ぶため。）接続され得る。留意すべきは、図１３中の矢印は、リンクされたユニットが例えば一緒にバスを通じてデータを交換することができることを示す。
【０１１０】
代替の実施形態において、上記の方法のステップの一部又は全ては、プログラム可能ＦＰＧＡ（Field  Programmable  Gate  Array）コンポーネント又はＡＳＩＣ（Application―Specific  Integrated  Circuit）コンポーネントにおいてハードウェアで実装され得る。
【０１１１】
代替の実施形態において、上記の方法のステップの一部又は全ては、図１３において開示されているデバイスのような、メモリユニット及びプロセッシングユニットを有する電子デバイスで実行され得る。
【０１１２】
本開示の一実施形態において、図１３で表されている電子デバイスは、画像（すなわち、ライトフィールドのサンプリング）を捕捉するよう構成されるカメラデバイスに含まれ得る。それらの画像は、１つ以上のメモリユニットにおいて記憶される。従って、それらの画像は、ビットストリームデータ（すなわち、ビットのシーケンス）と見なされ得る。明らかに、ビットストリームは、バイトストリームにおいても変換され得、その逆も同様である。
【図１】
2016224948.tif 000057
【図２】
2016224948.tif 000058
【図３】
2016224948.tif 000059
【図４】
2016224948.tif 000060
【図５】
2016224948.tif 000061
【図６】
2016224948.tif 000062
【図７ａ】
2016224948.tif 000063
【図７ｂ】
2016224948.tif 000064
【図７ｃ】
2016224948.tif 000065
【図８ａ】
2016224948.tif 000066
【図８ｂ】
2016224948.tif 000067
【図９ａ】
2016224948.tif 000068
【図９ｂ】
2016224948.tif 000069
【図１０】
2016224948.tif 000070
【図１１】
2016224948.tif 000071
【図１２】
2016224948.tif 000072
【図１３】
2016224948.tif 000073
【外国語明細書】
2016224948000001.pdf