(57)【要約】  ライトフィールド取得装置で取得されたシーンのライトフィールド画像を処理する機器は、第１の焦点スタック及び第２の焦点スタックであって、それぞれが、シーンを表す、且つライトフィールド画像のピクセルの相異なる部分から取得される画像を含む第１の焦点スタック及び第２の焦点スタックを取得する手段を含む。ライトフィールドコンテンツを処理する方法もまた説明される。
2018523328.tif 000002
【特許請求の範囲】
【請求項１】
シーンのライトフィールド画像（５００）を処理するように構成された機器であって、前記機器が、前記ライトフィールド画像を表すデータを記憶するメモリと、
前記シーンをそれぞれ表す複数の第１の画像（１００１Ａ〜１００７Ａ）を含む第１の焦点スタック（１０００Ａ）を生成することであって、複数の奥行き値のうちの相異なる奥行き値が、各第１の画像に関連付けられ、前記第１の画像（１００１Ａ〜１００７Ａ）は、前記ライトフィールド画像（５００）の第１のピクセルセットから生成される、前記第１の焦点スタックを生成すること、
前記シーンをそれぞれ表す複数の第２の画像（１００１Ｂ〜１００７Ｂ）を含む第２の焦点スタック（１０００Ｂ）を生成することであって、前記複数の奥行き値のうちの相異なる奥行き値が、各第２の画像に関連付けられ、前記第２の画像（１００１Ａ〜１００７Ａ）は、前記ライトフィールド画像（５００）の第２のピクセルセットから生成され、前記第２のセットは、前記第１のセットとは異なる、前記第２の焦点スタックを生成すること、
同じ関連奥行き値を有する第１及び第２の画像の複数のペアのうちの各ペアにおいて、０に近い値を視差値として有する、前記各ペアの前記第１の画像及び／又は第２の画像のピクセルを選択すること、
前記奥行き値に対応する奥行き情報を前記選択されたピクセルと関連付けること
を実行するように構成されたプロセッサと、を含むことを特徴とする機器。
【請求項２】
前記プロセッサは、
前記第１の画像を前記各ペアの前記第２の画像と比較し、
前記比較の結果から奥行きを表す情報（１２０）を取得するように、
更に構成されている、請求項１に記載の機器。
【請求項３】
前記第１の焦点スタック（１０００Ａ）は、マイクロレンズアレイのマイクロレンズに関連付けられた複数のマイクロレンズマイクロ画像（７０１〜７２４）のピクセルの各第１の半分（７０１０）から生成され、前記第２の焦点スタック（１０００Ｂ）は、前記複数のマイクロレンズマイクロ画像（７０１〜７２４）の前記ピクセルの各第２の半分（７０２０）から生成され、前記複数のマイクロレンズマイクロ画像のうちの各マイクロレンズマイクロ画像のピクセルの前記第１の半分及び前記第２の半分は、相異なり相補的である、請求項１又は２に記載の機器。
【請求項４】
前記第１の焦点スタック（１０００Ａ）は、前記ライトフィールド画像に関連付けられた前記シーンの複数のビュー（９０１〜９２４）の第１の半分から生成され、前記第２の焦点スタック（１０００Ｂ）は、前記シーンの前記複数のビュー（９０１〜９２４）の第２の半分から生成され、前記第１の半分は、前記第２の半分とは異なる、請求項１又は２に記載の機器。
【請求項５】
前記第１の半分及び前記第２の半分は、前記シーン内における前記シーンの少なくとも１つの被写体の向きを表す情報に従って決定される、請求項３〜４のいずれか一項に記載の機器。
【請求項６】
前記プロセッサは、前記各ペアの前記第１の画像の前記ピクセル及び前記第２の画像のピクセルに関連付けられた視差値を前記各ペアにおいて決定するように更に構成されている、請求項２〜５のいずれか一項に記載の機器。
【請求項７】
シーンのライトフィールド画像（５００）を処理する方法であって、
前記シーンをそれぞれ表す複数の第１の画像（１００１Ａ〜１００７Ａ）を含む第１の焦点スタック（１０００Ａ）を生成することであって、複数の奥行き値のうちの相異なる奥行き値が、各第１の画像に関連付けられ、前記第１の画像（１００１Ａ〜１００７Ａ）は、前記ライトフィールド画像（５００）の第１のピクセルセットから生成される、前記第１の焦点スタックを生成することと、
前記シーンをそれぞれ表す複数の第２の画像（１００１Ｂ〜１００７Ｂ）を含む第２の焦点スタック（１０００Ｂ）を生成することであって、前記複数の奥行き値のうちの相異なる奥行き値が、各第２の画像に関連付けられ、前記第２の画像（１００１Ｂ〜１００７Ｂ）は、前記ライトフィールド画像の第２のピクセルセットから生成され、前記第２のセットは、前記第１のセットとは異なる、前記第２の焦点スタックを生成することと、
同じ関連奥行き値を有する第１及び第２の画像の複数のペアのうちの各ペアにおいて、０に近い値を視差値として有する、前記各ペアの前記第１の画像及び／又は第２の画像のピクセルを選択することと、
前記奥行き値に対応する奥行き情報を前記選択されたピクセルと関連付けることと、
を含むことを特徴とする方法。
【請求項８】
各第１の画像と同じ関連奥行き値を有する各第２の画像と前記各第１の画像を比較するように、前記第１の画像（１００１Ａ〜１００７Ａ）を前記第２の画像（１００１Ｂ〜１００７Ｂ）と比較すること（１４２）と、
前記比較の結果から、奥行きを表す情報（１２０）を取得すること（１４３）と、
を更に含む、請求項７に記載の方法。
【請求項９】
前記第１の焦点スタック（１０００Ａ）は、取得装置のマイクロレンズアレイのマイクロレンズに関連付けられた複数のマイクロレンズマイクロ画像（７０１〜７２４）のピクセルの各第１の半分（７０１０）から取得され、前記第２の焦点スタック（１０００Ｂ）は、前記複数のマイクロレンズマイクロ画像（７０１〜７２４）の前記ピクセルの各第２の半分（７０２０）から取得され、前記複数のマイクロレンズマイクロ画像のうちの各マイクロレンズマイクロ画像のピクセルの前記第１の半分及び前記第２の半分が、相異なり相補的である、請求項７又は８に記載の方法。
【請求項１０】
前記第１の焦点スタック（１０００Ａ）は、取得装置から取得された前記シーンのビュー（９０１〜９２４）の第１の半分から取得され、前記第２の焦点スタック（１０００Ｂ）は、前記取得装置から取得された前記シーンの前記ビュー（９０１〜９２４）の第２の半分から取得され、前記第１の半分は、前記第２の半分とは異なる、請求項７又は８に記載の方法。
【請求項１１】
前記第１の半分及び前記第２の半分は、前記シーン内における前記シーンの少なくとも１つの被写体の向きを表す情報に従って決定される、請求項９又は１０に記載の方法。
【請求項１２】
前記比較は、同じ関連奥行き値を有する第１及び第２の画像の各ペアにおいて、前記各ペアの前記第１の画像の前記ピクセル及び／又は前記第２の画像のピクセルに関連付けられた視差値を決定することを含む、請求項８〜１１のいずれか一項に記載の方法。
【請求項１３】
前記比較は、同じ関連奥行き値を有する第１及び第２の画像の各ペアにおいて、０に近い値を視差値として有する、前記各ペアの前記第１の画像及び前記第２の画像のピクセルを選択することを更に含む、請求項１２に記載の方法。
【請求項１４】
請求項１〜６のいずれか一項記載の機器を含むライトフィールド取得装置（１、２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、プレノプティックカメラ及びライトフィールド（ｌｉｇｈｔ−ｆｉｅｌｄ）取得装置並びに方法の分野に関する。本開示はまた、ライトフィールド取得装置で取得されたライトフィールドコンテンツの処理及び視差情報の決定に関する。
【背景技術】
【０００２】
背景技術によれば、ライトフィールドカメラとも呼ばれるプレノプティックカメラを用いて、同じシーンの相異なるビューを単一のスナップ写真で取得することが周知である。かかるプレノプティックカメラの直接の用途は、３Ｄ復元である。実際に、プレノプティックカメラの光センサアレイで取得された生画像を逆多重化した後に、シーンの回復されたビューは、エピポーラ幾何において既に水平且つ垂直であり、従って、それらの間の視差は、ステレオ矯正なしに推定することができる。これは、従来のカメラで捕捉された画像からの両眼３Ｄステレオ復元と比較して、大きな利点である。
【０００３】
しかしながら、生画像の逆多重化から生じるビューからの視差を推定することにより、幾つかの問題に悩まされる。例えば、逆多重化から生じるビューは、ビューの幾つかの画素のために１つの単色情報を提供するだけであり、一方で他のピクセルは、それらに関連付けられたどんな色情報も有しない。かかるビューの空間色サンプリングは、ぎざぎざになり不完全であることが多く、それは、誤った視差推定につながる。また生画像の逆多重化は、補間（非整数座標で逆多重化されたピクセル）に依存することが多く、それは、誤った視差につながる。かかる視差推定問題の解決策は、逆多重化から生じるシーンの各ビューにおける各ピクセルのためのフルカラー情報を有するために、生画像を逆多重化する前に、最初に生画像をデモザイク化することである。しかし逆多重化の前にデモザイク化を実行することは、ビュー間のクロストークなどの他の問題につながる可能性がある。実際に、生画像の１つの所与のピクセルのためのフルカラー情報を回復するために、この所与のピクセルの近傍に属するピクセルが用いられてもよく、たとえこれらの近傍のピクセルが、所与のピクセルのビュー以外のビューに属していても、用いられてもよい。ビュー間のクロストークに悩まされるかかるビューにおける視差の推定もまた、視差誤差につながる可能性がある。
【０００４】
更に、取得されたシーンの被写体に関連付けられた焦点の決定は、精度問題に従う重大なプロセスになり得る。
【０００５】
本開示の目的は、背景技術のこれらの欠点の少なくとも１つを克服することである。
【発明の概要】
【０００６】
本開示は、シーンの複数のビューを取得するように構成された取得装置で取得されたシーンのライトフィールド画像を処理するように構成された機器に関する。機器は、
シーンをそれぞれ表す複数の第１の画像を含む第１の焦点スタックを受信する手段であって、複数の奥行き値のうちの相異なる奥行き値は、各第１の画像に関連付けられ、第１の画像は、ライトフィールド画像の第１のピクセルセットから取得される、前記第１の焦点スタックを受信する手段と、
シーンをそれぞれ表す複数の第２の画像を含む第２の焦点スタックを受信する手段であって、前記複数の奥行き値のうちの相異なる奥行き値が、各第２の画像に関連付けられ、第２の画像は、ライトフィールド画像の第２のピクセルセットから取得され、第２のセットは、第１のセットと相異なる、前記第２の焦点スタックを受信する手段と、
を含む。
【０００７】
本開示はまた、シーンの複数のビューを取得するように構成された取得装置で取得されたシーンのライトフィールド画像を処理するように構成された機器に関する。機器は、
シーンをそれぞれ表す複数の第１の画像を含む第１の焦点スタックを取得するように構成された受信機又は処理装置（例えばプロセッサ）であって、複数の奥行き値のうちの相異なる奥行き値は、各第１の画像に関連付けられ、第１の画像は、ライトフィールド画像の第１のピクセルセットから取得され、受信機は、シーンをそれぞれ表す複数の第２の画像を含む第２の焦点スタックを受信するように更に構成され、前記複数の奥行き値のうちの相異なる奥行き値は、各第２の画像に関連付けられ、第２の画像は、ライトフィールド画像の第２のピクセルセットから取得され、第２のセットは、第１のセットとは異なる受信機又は処理装置（例えばプロセッサ）を含む。
【０００８】
本開示はまた、シーンの複数のビューを取得するように構成された取得装置で取得されたシーンのライトフィールド画像を処理する方法に関する。方法は、
シーンをそれぞれ表す複数の第１の画像を含む第１の焦点スタックを受信することであって、複数の奥行き値のうちの相異なる奥行き値は、各第１の画像に関連付けられ、前記第１の画像は、前記ライトフィールド画像の第１のピクセルセットから取得される、前記第１の焦点スタックを取得することと、
シーンをそれぞれ表す複数の第２の画像を含む第２の焦点スタックを受信することであって、前記複数の奥行き値のうちの相異なる奥行き値は、各第２の画像に関連付けられ、前記第２の画像は、前記ライトフィールド画像の第２のピクセルセットから取得され、第２のセットは、第１のセットと相異なる、前記第２の焦点スタックを受信することと、
を含む。
【０００９】
特徴によれば、機器は、
各第１の画像と同じ関連奥行き値を有する各第２の画像と各第１の画像を比較するように、第１の画像を第２の画像と比較する手段、例えば比較器と、
比較の結果から、奥行きを表す情報を取得する手段、例えば処理装置、例えばプロセッサと、
を更に含む。
【００１０】
特徴によれば、方法は、
前記各第１の画像と同じ関連奥行き値を有する各第２の画像と各第１の画像を比較するように、第１の画像を第２の画像と比較することと、
比較の結果から奥行きを表す情報を取得することと、
を更に含む。
【００１１】
特定の特徴によれば、第１の焦点スタックは、取得装置のマイクロレンズアレイのうちのマイクロレンズに関連付けられた複数のマイクロレンズマイクロ画像のピクセルの各第１の半分から取得され、第２の焦点スタックは、複数のマイクロレンズマイクロ画像のピクセルの各第２の半分から取得され、複数のマイクロレンズマイクロ画像のうちの各マイクロレンズマイクロ画像のピクセルの第１の半分及び第２の半分は、相異なり相補的である。
【００１２】
有利なことに、第１の焦点スタックは、取得装置から取得されたシーンのビューの第１の半分から取得され、第２の焦点スタックは、取得装置から取得されたシーンのビューの第２の半分から取得され、第１の半分は、第２の半分とは異なる。
【００１３】
特定の特徴によれば、第１の半分及び第２の半分は、シーン内におけるシーンの少なくとも１つの被写体の向きを表す情報に従って決定される。
【００１４】
有利なことに、第１の半分及び第２の半分は、
それぞれ左半分及び右半分に、又は
それぞれ上半分及び下半分に対応する。
【００１５】
別の特徴によれば、比較は、同じ関連奥行き値を有する第１及び第２の画像の各ペアにおいて、各ペアの第１の画像のピクセル及び／又は第２の画像のピクセルに関連付けられた視差値を決定することを含む。
【００１６】
有利なことに、比較は、同じ関連奥行き値を有する第１及び第２の画像の各ペアにおいて、０に近い値を視差値として有する、各ペアの第１及び第２の画像のピクセルを選択することを更に含む。
【００１７】
本開示はまた、前述の機器を含むライトフィールド取得装置に関する。
【００１８】
本開示はまた、プログラムがコンピューティング装置上で実行される場合に、ライトフィールド画像を処理する方法ステップを実行する、且つ／又は奥行きを表す情報を取得するプログラムコード命令を含むコンピュータプログラムプロダクトに関する。
【００１９】
本開示はまた、ライトフィールド画像を処理する、且つ／又は奥行きを表す情報を取得する方法の少なくともステップをプロセッサに実行させる命令を自らに記憶したプロセッサ可読媒体に関する。
【００２０】
以下の説明を読むことで、本開示は、一層よく理解され、他の特定の特徴及び利点が、明らかになろう。説明は、添付の図面を参照する。
【図面の簡単な説明】
【００２１】
【図１】本原理の特定の実施形態に従って、ライトフィールドカメラの第１の例を示す図である。
【図２】本原理の特定の実施形態に従って、ライトフィールドカメラの第２の例を示す図である。
【図３】本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラによって与えられたデータを処理するように構成された処理装置を示す図である。
【図４】本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラの光センサで取得されたライトフィールドデータを示す図である。
【図５Ａ】本原理の特定の実施形態に従って、２Ｄ再合焦画像への図４のライトフィールドデータの投影を示す図である。
【図５Ｂ】本原理の特定の実施形態に従って、２Ｄ再合焦画像への図４のライトフィールドデータの投影を示す図である。
【図６Ａ】本原理の特定の実施形態に従って、図１のライトフィールドカメラの光学特性を示す図である。
【図６Ｂ】本原理の特定の実施形態に従って、図１のライトフィールドカメラの光学特性を示す図である。
【図７】本原理の特定の実施形態に従って、図９の第１及び第２の焦点スタックを取得するために、図５のライトフィールドデータにおける部分を選択することを示す図である。
【図８】本原理の特定の実施形態に従って、図９の第１及び第２の焦点スタックを取得するために、図５のライトフィールドデータにおける部分を選択することを示す図である。
【図９Ａ】本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラから取得されたビューのマトリクスにおけるビューの選択を示す図である。
【図９Ｂ】本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラから取得されたビューのマトリクスにおけるビューの選択を示す図である。
【図１０】本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラから取得されたライトフィールド画像から取得された第１及び第２の焦点スタックを示す図である。
【図１１Ａ】本原理の特定の実施形態に従って、図４のマイクロレンズマイクロ画像の分割の相異なる向きを示す図である。
【図１１Ｂ】本原理の特定の実施形態に従って、図４のマイクロレンズマイクロ画像の分割の相異なる向きを示す図である。
【図１２】本原理の特定の実施形態に従って、図１０の第１及び第２の焦点スタックから取得された奥行きを表す情報を含むマップを示す図である。
【図１３】本原理の特定の実施形態に従って、図１のプレノプティックカメラ又は図２のマルチカメラアレイを含む通信装置を示す図である。
【図１４Ａ】本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラで取得されたライトフィールド画像を処理する方法を示す図である。
【図１４Ｂ】本原理の特定の実施形態に従って、図１４Ａのライトフィールド画像の処理から取得された焦点スタックの任意選択の処理を示す図である。
【図１４Ｃ】本原理の特定の実施形態に従って、図１４Ａのライトフィールド画像の処理から取得された焦点スタックの任意選択の処理を示す図である。
【発明を実施するための形態】
【００２２】
ここで主題が、図面に関連して説明され、図面において同様の参照数字は、全体を通して同様の要素を指すために用いられる。以下の記載において、説明のために、多数の特定の詳細が、主題の完全な理解を提供するために明らかにされる。しかしながら、主題の実施形態は、これらの特定の詳細なしに実行され得ることが明らかになり得る。
【００２３】
本原理の特定の実施形態によれば、第１の焦点スタック及び第２の焦点スタックが取得され、第１の焦点スタック及び第２の焦点スタックは、それぞれ、シーンを表す画像を含む。第１の焦点スタックの第１の画像は、プレノプティックカメラ又はマルチカメラアレイなどのライトフィールド取得装置で取得されたシーンのライトフィールド画像の第１のピクセル部分から取得される。第２の焦点スタックの第２の画像は、第１のピクセル部分と相異なるライトフィールド画像の第２のピクセル部分から取得される。奥行き値は、次のような方法、即ち、同じ奥行き値が、１つの第１の画像に関連付けられ、且つその同じ奥行き値が、１つの第２の画像に関連付けられ、同じ奥行き値を有する第１の画像及び第２の画像が、いわゆる第１及び第２の画像のペアを形成するように、各第１の画像及び各第２の画像に関連付けられる。ライトフィールド画像は、例えば、生画像、又はシーンの相異なるビューを含む画像に対応する。
【００２４】
ライトフィールド画像から２つのかかる相異なる焦点スタックを取得することによって、第１及び第２の画像の各ペアについて焦点の被写体を容易に決定すること及び／又は堅牢な方法でライトフィールド画像に関連付けられた奥行き情報を計算することが可能になる。
【００２５】
図１は、ライトフィールド取得装置の第１の例を示す。より具体的には、図１は、本原理の特定の実施形態に従って、プレノプティックカメラ１を示す。プレノプティックカメラ１は、レンズユニット１０１（光学的構造体（ｏｐｔｉｃａｌ  ａｓｓｅｍｂｌｙ）に対応する）及びカメラ本体１０２を含む。
【００２６】
レンズユニット１０１は、カメラ本体１０２に結合されるように有利に構成されている。カメラ本体１０２は、光センサアレイ１３を備えており、この光センサアレイ１３は、複数のｍ個の光センサ１３１、１３２、１３３〜１３ｍを備えている。各光センサは、光センサアレイを用いて取得されたシーンの生画像のピクセルに対応し、各ピクセルは、シーンの１つの部分（点とも呼ばれる）を包含する。各光センサを用いて取得されたシーンを表すデータは、ライトフィールドデータセットを形成し、ライトフィールドデータは、ライトフィールド画像を形成する。非限定的な例によれば、生画像を処理する前（逆多重化及び／又はデモザイク化前において）、ライトフィールド画像は、生画像に対応し得る。別の非限定的な例によれば、生画像の逆多重化後、ライトフィールド画像は、サブアパーチャ（ｓｕｂ−ａｐｅｒｔｕｒｅ）画像に対応してもよく、更なる非限定的な例によれば、デモザイク化後、ライトフィールド画像は、シーンのビューのセットに対応してもよい。図解の目的のために、光センサアレイ１３は、比較的少数の光センサ１３１〜１３ｍで示されている。当然、光センサの数は、図１の実例によって制限されず、任意の数の光センサ、例えば数千又は数百万の光センサに及ぶ。例えば、１２．４メガピクセルのカメラにおいて、ピクセルは、（例えば、４０８８×３０４０ピクセル／光センサアレイに対応する）光センサに対応する。カラーフィルタアレイ（ＣＦＡ）１２は、光センサアレイ１３上に配列されてもよい。ＣＦＡ１２は、一般的に、光センサアレイ上にＲＧＢ（赤色、緑色及び青色）のカラーフィルタを提供し、ＲＧＢ配列は、例えば、ベイヤーフィルタモザイクの形態をとっている。変形によれば、ＣＦＡが、（ＣＦＡ１２に加えて又はＣＦＡ１２の代わりに）レンズレットアレイ１１上に配列される。レンズユニット１０１をカメラ本体１０２に結合させるために、レンズユニット１０１は、第１の取り付け部を備え、カメラ本体１０２は、第２の取り付け部を備え、第１及び第２の取り付け部は、互いに互換性がある。第１及び第２の取り付け部により、レンズユニット１０１は、カメラ本体１０２にクリップで取り付けられてもよく、又はレンズユニット１０１は、カメラ本体１０２にねじで取り付けられてもよい。カメラ本体と結合されるように構成されたレンズユニットのかかる第１及び第２の取り付け部の例は、２０１３年５月３０日に公開された特開２０１３−１０５１５１Ａ号で見つけることが可能である。第１及び第２の取り付け部は、次のように構成される。即ち、ひとたびレンズユニット１０１及びカメラ本体１０２が合体させられると、レンズユニット１０１及びカメラ本体１０２が、シーンの取得毎にシーンの多数のビューを取得するように構成されたプレノプティックカメラを形成するように構成されている。この目的を達成するために、カメラ本体１０２はまた、ｎ個のマイクロレンズ１１１、１１２、１１３及び１１ｎから成るレンズレットアレイ１１を備えており、ｎは２以上の整数である。レンズレットアレイ１１はまた、マイクロレンズアレイとも呼ばれる。説明の目的のために、レンズレットアレイ１１は、比較的少数のマイクロレンズを有す���ように示されているが、マイクロレンズの数は、数千又は百万若しくは数百万のマイクロレンズに及んでもよい。光センサアレイ１３の光センサグループは、レンズレットアレイ１１の各マイクロレンズ１１１〜１１ｎに光学的に関連付けられている。例えば、レンズレットアレイ１１の各マイクロレンズ１１１〜１１ｎは、２×１、４×４又は１０×１０個の光センサアレイに対応するようにサイズが設定されている。マイクロレンズに関連付けられた光センサグループ（又は換言すればマイクロレンズの配下の光センサのグループ）は、このマイクロレンズに関連付けられたマイクロ画像を形成し、光センサのグループの各光センサは、マイクロ画像のピクセルを形成している。１つの単一マイクロレンズに光学的に関連付けられた複数の光センサのうちの各光センサによって、１つの位置に係るシーンのピクセルを表す生データを取得すること（ピクセルと同数の視差の取得）が可能になる。変形によれば、レンズユニット１０１及びカメラ本体１０２は、集合t系に１つの単一本体を形成し、着脱不可能であるように組み立てられる。
【００２７】
レンズユニット１０１は、メインレンズ又は１次レンズとも呼ばれるカメラレンズ１０を備えており、このカメラレンズ１０は、１つ又は複数のレンズ素子で有利に形成されるが、わかり易くする目的のために、図１には１つのレンズ素子１０のみが示されている。
【００２８】
有利なことに、プレノプティックカメラ１は、カメラレンズ１０の１つ又は複数のパラメータの変化、例えば合焦又はズーミングの場合に発生するカメラレンズの焦点距離の変化及び／又は合焦距離の変化を検出するように構成されたハードウェアモジュール１０３を含む。合焦又はズーミングの場合に発生するカメラレンズの焦点距離の変化及び／又は合焦距離の変化は、カメラレンズ１０とレンズレットアレイ１１との間の距離の変化の結果として生じる。有利なことに、ハードウェアモジュールは、以下でより詳細に説明されるように、プレノプティックカメラ１の較正を実行するように（即ち各マイクロ画像又は各マイクロレンズの中心を決定することによって）構成されている。変形によれば、ハードウェアモジュールは、マイクロ画像及び／又はマイクロレンズの中心の座標を含むメタデータを記憶するように構成されている。モジュールは、カメラ本体１０２又はレンズユニット１０１に含まれてもよい。有利なことに、モジュールは、メモリ、例えば１つ又は複数のレジスタを含むランダムアクセスメモリ又はＲＡＭ１０３２に関連付けられた１つ又は幾つかのプロセッサ１０３１を含む。１つ又は複数のプロセッサ１０３１は、例えば、ＣＰＵ（中央処理装置）、１つ若しくは複数のＧＰＵ（グラフィック処理ユニット）、又はＣＰＵ及びＧＰＵの組み合わせに対応する。メモリ又はメモリの一部は、プレノプティックカメラを較正する方法を実行する１つ又は複数のアルゴリズムの命令を記憶する。メモリ又はメモリの一部はまた、生画像に関連付けられたライトフィールドデータ、又は例えば、逆多重化されたビューを表すデータ若しくはサブアパーチャ画像（即ち生画像の逆多重化及びデモザイク化から取得されたシーンの相異なるビューの画像）を表すデータなど、生画像の処理から取得されたライトフィールドデータを記憶するために用いられてもよい。メモリ又はメモリの一部はまた、ライトフィールドデータに関連付けられた奥行きを表す情報、例えば光センサアレイのピクセルを記憶するために用いられてもよい。奥行きを表す情報は、奥行きマップ又は視差マップの各ピクセルにそれぞれ関連付けられた奥行き値又は視差値を含む奥行きマップ又は視差マップの形式の下で記憶されてもよい。
【００２９】
変形によれば、モジュール１０３は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）型のプログラム可能な論理回路、例えばＡＳＩＣ（特定用途向け集積回路）又はＤＳＰ（デジタル信号プロセッサ）の形態を取る。モジュール１０３はまた、プレノプティックカメラ１を設定するために、ユーザインターフェースを介してユーザによって入力された制御パラメータなどのデータを受信及び送信するように構成されたインターフェースを含んでもよく、ユーザインターフェースは、例えばカメラ本体１０２上に配置された表示スクリーン（例えばＬＣＤ又はＯＬＥＤディスプレイ）に表示される。
【００３０】
変形によれば、図３の例示的な実施形態に示されているように、モジュール１０３は、プレノプティックカメラに含まれず、有線接続を介して（例えばＵＳＢ（ユニバーサルシリアルバス）を介して）又は無線接続を介して（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）若しくはＺｉｇＢｅｅ（登録商標）を介して）プレノプティックカメラに接続される。この変形によれば、有利なことに、モジュールは、メモリ１０３２及び１つ又は複数のプロセッサ１０３１に加えて、プレノプティックカメラとデータを交換する送信機３０を含む。
【００３１】
プレノプティックカメラ１は、レンズレットアレイ１１と光センサアレイ１３との間の距離がマイクロレンズ焦点距離と等しいプレノプティックカメラに相当するタイプ１．０であっても、またはそうでないタイプ２．０（フォーカストプレノプティックカメラとも呼ばれる）であっても、同様である。
【００３２】
図２は、ライトフィールド取得装置の第２の例を示す。より具体的には、図２は、本原理の特定の実施形態に従って、マルチカメラアレイ２を示す。
【００３３】
マルチカメラアレイ２は、参照符号２０により参照される、レンズ又はマイクロレンズアレイと、参照符号２１により参照される、１つ又は幾つかのセンサアレイとを備え、レンズ又はマイクロレンズアレイは、参照符号２０１、２０２〜２０ｐ（ｐは、マイクロレンズの数に対応する整数である）により参照される幾つかのマイクロレンズを備える。マルチカメラアレイ２は、メインレンズを有しない。マイクロレンズアレイは、一般にマイクロレンズアレイという名称の、小さいデバイスであってもよい。単一のセンサを備えたマルチカメラアレイは、メインレンズが無限焦点を有するプレノプティックカメラの特別な場合と見なされ得ることは注目に値する。光センサの数がマイクロレンズの数と等しい、即ち、１つの光センサが１つのマイクロレンズと光学的に関連付けられている特定の配列によれば、マルチカメラアレイは、例えば、（図２に示されているような）正方形配列又は五の目形配列など、互いに接近して離間された、幾つかの個々のカメラ（例えばマイクロカメラ）の配列として見なされてもよい。
【００３４】
かかるマルチカメラアレイ２を用いて取得された（いわゆるライトフィールド画像を形成する）ライトフィールドデータは、シーンの複数のビュー、即ち図１のプレノプティックカメラなどのプレノプティックカメラを用いて取得された生画像の逆多重化及びデモザイク化によって取得された最終ビューに対応する。
【００３５】
図４は、本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラの光センサアレイで取得されたライトフィールドデータを示す。
【００３６】
光センサアレイ４１、ライトフィールドカメラ（例えばそれぞれライトフィールドカメラ１又は２）の例えば光センサアレイ１３又は光センサアレイ２１は、２Ｄ画像内に配列された２Ｄサブ画像の集合から作成されるライトフィールド画像を取得し、各サブ画像は、各サブ画像が、マイクロレンズアレイ４０のマイクロレンズ４０１、４０２、４２２、４２３〜４０ｑによって生成されたときにマイクロレンズ画像と呼ばれ、ｑは、マイクロレンズの数に対応する整数である。マイクロレンズアレイ４０は、例えば、図１のレンズレットアレイ１１又は図２のマイクロレンズアレイ２０に対応する。各マイクロレンズ４０１〜４０ｑは、いわゆるマイクロレンズ画像を形成する光センサアレイ４１の幾つかのピクセルをカバーする。各マイクロレンズ画像は、マイクロレンズの形状の形を有し、マイクロレンズは、例えば、図４の例において円形と光学的に関連付けられる。ピクセル座標は、（ｘ，ｙ）のラベルを付けられ、且つデカルトＣＳとも呼ばれる光センサアレイ４１の座標系（ＣＳ）で表現される。デカルトＣＳは、座標系（Ｏ，ｘ，ｙ）に対応し、Ｏは、座標系の原点であり、［Ｏ，ｘ］は、水平軸であり、［Ｏ，ｙ］は、垂直軸である。ｐは、２つの連続したマイクロレンズ画像間の距離、例えばマイクロレンズ画像の同じ行に位置する２つの連続したマイクロレンズ画像４０９、４１０の中心間の距離に対応する。マイクロレンズは、（ピクセル座標における）ｐが、ピクセルサイズδより大きいように選択され、δは、例えばピクセルのエッジの長さに対応する。マイクロレンズ画像は、マイクロレンズＣＳと呼ばれる、且つ座標系（Ｃ，ｉ，ｊ）に対応するマイクロレンズの座標系において、マイクロレンズ画像の座標（ｉ，ｊ）によって参照符号を付けられ、Ｃは、座標系の原点であり、［Ｃ，ｉ］は、水平軸であり、［Ｃ，ｊ］は、垂直軸である。アレイ４１の幾つかのピクセルは、いずれのマイクロレンズからも光を少しも受光しない可能性がある。それらのピクセルは、廃棄される。実際に、マイクロレンズ間の空間を遮断して、光子（フォトン）がマイクロレンズの外側を通過するのを防止することができる（マイクロレンズが正方形を有する場合には、このような遮断は不要である）。マイクロレンズ画像（ｉ，ｊ）の中心は、光センサアレイ上の座標（ｘｉ，ｊ，ｙｉ，ｊ）に位置する。θは、デカルトＣＳとマイクロレンズＣＳとの間の回転オフセットに対応する。即ち、θは、光センサアレイ４１を形成するピクセルの正方格子とマイクロレンズ４０の正方格子との間の角度である。座標（ｘｉ，ｊ，ｙｉ，ｊ）は、例えば、マイクロレンズ画像（０，０）のピクセル座標である（ｘ０，０，ｙ０，０）を考慮した以下の数式１（マイクロレンズが、正方格子によって配列されると仮定する）によって計算される。
【数１】
2018523328.tif 000003
【００３７】
図４はまた、シーンからの被写体が、幾つかの隣接するマイクロレンズ画像上で目に見えることを示す（黒点）。被写体の２つの連続ビュー間の距離は、ｗ（ピクセル座標における）であり、この距離は、視差に対応する。被写体は、
【数２】
2018523328.tif 000004
を用いて、ｒ個の連続したマイクロレンズ画像において可視である。
この式で、ｒは、１次元における連続したマイクロレンズ画像の数である。被写体は、ｒ２個のマイクロレンズ画像において可視である。マイクロレンズ画像の形状に依存して、被写体のｒ２個のビューの幾つかは不可視である。
【００３８】
当然、マイクロレンズの形状は、円形に限定されず、任意の他の形状、例えば正方形、長方形、六角形であってもよい。
【００３９】
図６Ａ及び６Ｂは、本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラの光学特性を示す。図６Ａの特定の実施形態によれば、Ｗ＞Ｐであり、図６Ｂの特定の実施形態によれば、Ｗ＜Ｐである。図４に関連して導入された距離ｐ及びｗは、ピクセルの単位で与えられる。これらの距離は、ピクセルサイズδを掛けることによって、物理的な単位距離（メートル）Ｐ及びＷにそれぞれ変換される。即ち、Ｗ＝ｗδ及びＰ＝ｐδである。これらの距離は、ライトフィールドカメラの特徴に依存する。
【００４０】
図６Ａ及び６Ｂは、それぞれ、完璧な薄肉レンズモデルを含む概略的なライトフィールドを示す。メインレンズ１０は、焦点距離Ｆ及びアパーチャΦを有する。マイクロレンズアレイ１１は、焦点距離ｆを有するマイクロレンズを含む。マイクロレンズアレイのピッチは、φである。マイクロレンズアレイは、メインレンズから距離Ｄであり、且つ光センサアレイ１３から距離ｄのところに位置する。被写体（図６Ａ及び６Ｂには示されていない）は、（メインレンズの左側で）メインレンズから距離ｚのところに位置する。この被写体は、メインレンズによって（メインレンズの右側で）メインレンズから距離ｚ’のところに合焦される。図６Ａ及び６Ｂは、それぞれＤ＞ｚ’及びＤ＜ｚ’の場合を示す。両方の場合に、マイクロレンズ画像は、ｄ及びｆに応じて合焦することができる。
【００４１】
視差Ｗは、被写体の距離ｚと共に変化する。Ｗとｚとの間の関係を確立するためには、薄肉レンズの数式３、及びタレスの法則の数式４に依拠することができる。
【数３】
2018523328.tif 000005
【数４】
2018523328.tif 000006
【００４２】
次いで、数式３及び数式４を混合することにより、以下の数式５が得られる。
【数５】
2018523328.tif 000007
【００４３】
式５は、Ｗの関数としてｚを表現するために、逆数にされる。
【数６】
2018523328.tif 000008
【００４４】
Ｗとｚとの間の関係では、マイクロレンズ画像が合焦していることを前提とはしていない。マイクロレンズ画像は、以下の薄肉レンズの数式によれば、厳密に合焦している。
【数７】
2018523328.tif 000009
【００４５】
また、タレスの法則からＰが導き出される。
【数８】
2018523328.tif 000010
【００４６】
比ｅは、マイクロレンズピッチとマイクロレンズ画像のピッチとの間の拡大を定義する。この比率は、Ｄ＞＞ｄであるから、極めて１に近い。
【００４７】
図２に関連して説明されたようなマルチカメラアレイ２に対応するライトフィールドカメラの特定の場合において、Ｆは、無限大に向かう傾向があり、Ｄは、例えば０に等しい値で選択されてもよいと考えられる。かかる前提を用いると、数式３〜８はまた、マルチカメラアレイについても当てはまる。
【００４８】
図５Ａ及び５Ｂは、本原理の特定の実施形態に従って、２Ｄ再合焦画像５０１への図４のライトフィールドデータの投影を示す。
【００４９】
ライトフィールドカメラの重要な特性は、シーンの取得後に再合焦距離が自由に調整可能である場合に、２Ｄ再合焦画像を取得することができることである。ライトフィールドデータを含むライトフィールド画像５００は、決定された再合焦距離に従って、ライトフィールド画像５００に含まれるマイクロレンズ画像を単にシフト及びズームし、その後それらを２Ｄ再合焦画像と呼ばれる２Ｄ画像５０１へと合計することによって、２Ｄ画像５０１に投影される。シフト量によって、再合焦距離を制御する。座標（ｘ，ｙ，ｉ，ｊ）のライトフィールドピクセル、即ちライトフィールド画像５００のピクセル（座標（ｘ，ｙ）を備えたデカルトＣＳにおいて、且つピクセルが属するマイクロレンズのインデックスに対応する座標（ｉ，ｊ）を備えたマイクロレンズＣＳにおいて表現されるような４Ｄライトフィールドピクセルとも呼ばれる）、例えば黒点で示されたピクセル５１〜５９を、同様に黒点５０で示された、２Ｄ再合焦画像５０１における座標（Ｘ，Ｙ）の対応するピクセルに投影することは、以下の数式によって定義される。
【数９】
2018523328.tif 000011
【００５０】
ここで、ｓは、２Ｄ再合焦画像５０１のサイズを調整し、ｇは、２Ｄ再合焦画像５０１の合焦距離を調整する。この数式は、数式１を考慮することによって、数式１０に書き換えることができる。
【数１０】
2018523328.tif 000012
【００５１】
パラメータｇは、ｐ及びｗの関数として表現されてもよい。ｇは、同じ被写体の様々なズームされたビューが重なり合うように、マイクロレンズ画像のそれぞれの中心を基準として用いて、マイクロレンズ画像上で実行されるべきズームを表す。
【数１１】
2018523328.tif 000013
【００５２】
数式１０は、以下のようになる。
【数１２】
2018523328.tif 000014
【００５３】
４Ｄライトフィールドピクセル（ｘ，ｙ，ｉ，ｊ）は、２Ｄ再合焦画像５０１に投影される。事前に、再合焦画像Ｒ及び再合焦画像重みＲ重みを０に設定する。再合焦画像のサイズは、ライトフィールド画像のサイズのｓ倍に設定される（［ＮＸ，ＮＹ］＝［ｓＮｘ，ｓＮｙ］）。この投影は、座標（Ｘ，Ｙ）の投影ピクセルを２Ｄ再合焦画像５０１へと合計することによって実行される。投影された各４Ｄライトフィールドピクセルのそれぞれについて、ピクセル座標（Ｘ，Ｙ）で１を追加することによって再合焦画像重みを更新する。
Ｒ（Ｘ，Ｙ）＋＝Ｌ（ｘ，ｙ，ｉ，ｊ）
Ｒ重み（Ｘ，Ｙ）＋＝１                                        式１３
【００５４】
再合焦画像重みは、座標（Ｘ，Ｙ）について、これまでに幾つの４Ｄライトフィールドピクセルが投影されたかを記録する。Ｌの全ての４Ｄライトフィールドピクセルを投影した後で、再合焦画像Ｒ５０１を、再合焦画像重みＲ重みで割る。この最後のステップで、座標（Ｘ，Ｙ）について受け取ったピクセルの数を調和させる。
【００５５】
投影座標（Ｘ，Ｙ）は、必ずしも整数座標であるとは限らないので、必要に応じで補間技術を使用して、非整数のピクセル座標（Ｘ，Ｙ）を再合焦画像Ｒ５０１及び再合焦画像重みＲ重みのグリッドにマッピングすることができる。例えばバイリニア補間など、当業者に周知の補間技術が用いられる。
【００５６】
図７及び８は、本原理の特定の実施形態に従って、図１０の第１及び第２の焦点スタックを取得するための、ライトフィールド画像５００のマイクロレンズ画像における部分の選択を示す。
【００５７】
図７は、ライトフィールド画像５００のマイクロレンズ画像７０１〜７２４を示し、各マイクロレンズ画像は、２つの部分７０１０、７０２０に分割され、マイクロレンズ画像７０１の各部分７０１０、７０２０は、マイクロレンズ画像の半分に対応し、両半分７０１０、７０２０は、全体のマイクロレンズ画像７０１を形成する。有利なことに、図７の実施形態は、図１に示されているプレノプティックカメラなどのプレノプティックカメラで取得されたライトフィールド画像５００（この実施形態によれば生画像とも呼ばれる）のマイクロレンズ画像７０１〜７２４に対応する。図７の実施形態によれば、各マイクロレンズ画像７０１〜７２４は、２つに分割され、各マイクロレンズ画像は、垂直軸に従って、同数のマイクロレンズ画像ピクセルを備えた２つの相補部分に分割される。例えば、マイクロレンズ画像７０１は、第１の半分、例えば左半分７０１０と、第２の半分、例えば右半分７０２０と、を含む。マイクロレンズ画像の第１の半分は、灰色の背景で満たされ、マイクロレンズ画像の第２の半分は、白色の背景で満たされる。第１の半分７０１０は、第２の半分７０２０とは異なり、第１の半分７０１０及び第２の半分７０２０は、相補的であり、それは、第１の半分７０１０（すなわち、それぞれ第１の半分７０１０に含まれるピクセル）及び第２の半分７０２０（すなわち、それぞれ第１の半分７０２０に含まれるピクセル）によって覆われる表面は、第１及び第２の半分の両方を含むマイクロレンズ画像７０１の表面全体に（すなわち、ピクセル全体にそれぞれ）対応することを意味する。
【００５８】
当然、マイクロレンズ画像の２つの半分への分割は、垂直分割に限定されず、２つの半分への任意の分割に及ぶ。図１１Ａ及び１１Ｂは、本原理の特定の非限定的な実施形態に従って、マイクロレンズ画像の分割における２つの他の相異なる向きを示す。マイクロレンズ画像７０１が、例として用いられる。図１１Ａにおいて、マイクロレンズ画像７０１は、水平軸に従って分割され、第１の半分１１０１は、上半分に対応し、第２の半分１１０２は、下半分に対応する。図１１Ｂにおいて、マイクロレンズ画像７０１は、対角軸、例えば水平軸と４５°の角度を形成する軸に従って分割され、第１の半分１１０３は、上半分に対応し、第２の半分１１０４は、下半分に対応する。
【００５９】
マイクロレンズ画像の分割の向きは、予め決定される（例えば、ライトフィールドカメラのメーカによって設定される）か又はユーザインターフェースを介してユーザによって設定され得る調整可能なパラメータである。
【００６０】
変形によれば、マイクロレンズ画像の分割の向きは、シーンの１つ又は複数の被写体の向きを表す情報に従って自動的に設定される。シーンは、例えば、画像処理を介して分析され、各被写体の向きが決定される。分割の向きは、例えば、被写体の多数派の向きに設定される。変形によれば、分割の向きは、シーンの興味のある被写体の向きに対応し、興味のある被写体は、例えば、顕著性情報を用いるか又はシーンの中心に最も近い被写体に対応することによって決定される。
【００６１】
図８は、決定された合焦距離のマイクロレンズ画像７０１〜７２４の右半分から取得された、２Ｄ再合焦画像８を示す。２Ｄ再合焦画像８は、特定の合焦距離ｇについて、図５Ａ及び５Ｂに関連して説明された再合焦プロセスを用いることによって有利に生成される。図１０の焦点スタックを生成するために、幾つかの２Ｄ再合焦画像は、それぞれのために、図１０に関連してより詳細に説明されるように、相異なるｇの値を備えた画像８として生成される。
【００６２】
図１０は、本原理の特定の非限定的な実施形態に従って、第１の焦点スタック１０００Ａ及び第２の焦点スタック１０００Ｂを示す。
【００６３】
焦点スタックは、画像の立方体を定義するＮ個の再合焦画像Ｒ（ｎ）（ｎ∈［１，Ｎ］）の集合であり、Ｎは、画像の所定の数である。Ｎ個の再合焦画像を、数式１１によって定義されるｚｍｉｎとｚｍａｘとの間の合焦距離の範囲に対応するｇｍｉｎとｇｍａｘとの間で線形に変化するｇについて計算する。別の選択肢は、数式６によって定義されるｚｍｉｎとｚｍａｘと間の合焦距離の範囲に対応するｗｍｉｎとｗｍａｘとの間で線形に変化するｗを用いて焦点スタックを計算するものである。ｇ又はｗのｍｉｎ  ｍａｘの境界は、例えば、ｚｍｉｎ及びｚｍａｘの範囲内の合焦距離で再合焦画像を包含するようにユーザによって設定される。変形によれば、ｇ又はｗのｍｉｎ  ｍａｘの境界は、ライトフィールドカメラに関連付けられ、且つ例えばメーカによって固定される。ｚ（ｎ）は、画像インデックスｎについての再合焦画像の距離を示す。
【００６４】
第１の焦点スタック１０００Ａは、複数の第１の画像１００１Ａ〜１００７Ａを含み、決定された相異なる合焦距離ｇは、各第１の画像１００１Ａ〜１００７Ａに関連付けられる。（式６によって与えられるように）奥行きｚと合焦距離ｇとの間に密接な関係が存在するので、奥行きの相異なる値が、各第１の画像１００１Ａ〜１００７Ａに関連付けられることと同意義である。有利なことに、第１の画像１００１Ａ〜１００７Ａに関連付けられた合焦距離は、合焦距離の範囲に属し、範囲の下限は、ｇｍｉｎに対応し、範囲の上下限は、ｇｍａｘに対応する。ｇｍｉｎは、例えば、スタックの最初の第１の画像１００１Ａに関連付けられ、ｇｍａｘは、例えば、第１のスタック１０００Ａの最後の第１の画像１００７Ａに関連付けられる。他の第１の画像１００２Ａ〜１００６Ａに関連付けられた合焦距離は、ｇｍｉｎからｇｍａｘまでの範囲内を走査することによって、範囲［ｇｍｉｎ，ｇｍａｘ］内で選択される。この例によれば、合焦距離は、ｇｍｉｎからｇｍａｘまでの昇順に従って、第１のスタック１００１Ａの第１の画像１００１Ａ〜１００７Ａと関連付けられる。変形によれば、ｇｍａｘは、第１の画像１００１Ａと関連付けられ、ｇｍｉｎは、第１の画像１００７Ａと関連付けられる。この変形によれば、合焦距離は、ｇｍａｘからｇｍｉｎまでの降順に従って、第１のスタック１００１Ａの第１の画像１００１Ａ〜１００７Ａに関連付けられる。ｇの値は、例えば、通常の方法で第１の画像と関連付けられる。即ち、２つの連続する第１の画像に関連付けられた２つのｇの値の間の差は、一定である。即ち、以下の式を得る。
ｇ１００２Ａ−ｇ１００１Ａ＝ｇ１００３Ａ−ｇ１００２Ａ＝．．．＝ｇ１００７Ａ−ｇ１００６Ａ
【００６５】
変形によれば、２つの連続する第１の画像に関連付けられた２つの「ｇ」の値の間の差は、一定ではなく、第１の画像のペアごとに異なってもよい。即ち、
ｇ１００２Ａ−ｇ１００１Ａ≠ｇ１００３Ａ−ｇ１００２Ａ≠．．．≠ｇ１００７Ａ−ｇ１００６Ａ
【００６６】
別の変形によれば、差異の幾つかは等しく、幾つかは異なる。即ち、
ｇ１００２Ａ−ｇ１００１Ａ＝ｇ１００３Ａ−ｇ１００２Ａ≠ｇ１００４Ａ−ｇ１００３Ａ．．．≠ｇ１００７Ａ−ｇ１００６Ａ
【００６７】
同じ方法で、第２の焦点スタック１０００Ｂは、複数の第２の画像１００１Ｂ〜１００７Ｂを含み、決定された相異なる合焦距離ｇは、各第２の画像１００１Ｂ〜１００７Ｂに関連付けられる。有利なことに、第２の画像１００１Ｂ〜１００７Ｂの数は、第１の画像１００１Ａ〜１００７Ａの数と等しい。変形によれば、第２の画像１００１Ｂ〜１００７Ｂの数は、第１の画像１００１Ａ〜１００７Ａの数と異なり、例えば、第１の画像１００１Ａ〜１００７Ａの数より少なくてもよいし、又は第１の画像１００１Ａ〜１００７Ａの数より多くてもよい。相異なる合焦距離が、各第１の画像１００１Ａ〜１００７Ａに関連付けられるのと同じ方法で、相異なる合焦距離がまた、各第２の画像１００１Ｂ〜１００７Ｂに関連付けられる。有利なことに、第２の画像１００１Ｂ〜１００７Ｂに関連付けられた合焦距離のセットは、第１の画像１００１Ａ〜１００７Ａに関連付けられた合焦距離のセットと同じである。第２の画像に関連付けられた各合焦距離に関し、関連付けられた同じ合焦距離を有する第１の焦点スタックにおける１つの第１の画像、及び第２の焦点スタックにおける対応する１つの第２の画像が存在する。有利なことに、第１の画像及び対応する第２の画像は、同じパラメータｇ及びｓ、又は近い値のパラメータｇ及びｓで取得される。変形によれば、第２の画像１００１Ｂ〜１００７Ｂに関連付けられた合焦距離のセットは、有利なことに、第１の画像１００１Ａ〜１００７Ａに関連付けられた合焦距離のセットとは異なる。この変形によれば、１つの第１の画像及び１つの第２の画像で構成されたペアがまた存在し、それに関して、ペアを形成する第１の画像及び第２の画像に関連付けられた合焦距離は同じである。
【００６８】
例えば、第１の画像１００１Ａ及び第２の画像１００１Ｂは、同じ合焦距離を有する。第１の画像１００２Ａ及び第２の画像１００２Ｂは、同じ合焦距離を有する。第１の画像１００３Ａ及び第２の画像１００３Ｂは、同じ合焦距離を有する。第１の画像１００４Ａ及び第２の画像１００４Ｂは、同じ合焦距離を有する。第１の画像１００５Ａ及び第２の画像１００５Ｂは、同じ合焦距離を有する。第１の画像１００６Ａ及び第２の画像１００６Ｂは、同じ合焦距離を有する。第１の画像１００７Ａ及び第２の画像１００７Ｂは、同じ合焦距離を有する。
【００６９】
第１の焦点スタック１０００Ａ及び第２の焦点スタック１０００Ｂは、例えば、遠隔記憶装置又はライトフィールドカメラ１若しくは２から、処理装置１０３によって受信される。
【００７０】
別の例によれば、第１の焦点スタックは、各第１の画像について相異なる合焦距離を用いることにより、図５Ａ及び５Ｂに関連して説明された再合焦プロセスを適用することによって、図７及び８に関連して説明されたような各マイクロレンズ画像７０１〜７２４の第１の半分から取得される。同じ方法で、第２の焦点スタックは、各第１の画像に対する相異なる合焦距離を用いることにより、図５Ａ及び５Ｂに関連して説明された再合焦プロセスを適用することによって、図７及び８に関連して説明されたような各マイクロレンズ画像７０１〜７２４の第２の半分から取得される。
【００７１】
当然、第１の画像の数及び第２の画像の数は、７に制限されず、２以上の任意の数に及ぶ。
【００７２】
図９Ａ及び９Ｂは、本原理の特定の実施形態に従って、図１０の第１及び第２の焦点スタックを取得するために、ライトフィールド画像５００のマイクロレンズ画像の一部の選択を示す。図９Ａ及び９Ｂの実施形態は、より具体的には、ライトフィールド画像が、図２に関連して説明されたマルチカメラアレイのようなマルチカメラアレイから取得される場合に対応する。この実施形態によれば、マイクロレンズ画像９０１〜９２４は、ビューの様々な点によるシーンの相異なるビューに対応し、マルチカメラアレイ２の各カメラは、シーンの相異なるビューを取得する。この実施形態によれば、ライトフィールド画像５００は、ビュー９０１〜９２４のマトリクス又はビュー９０１〜９２４のアレイに対応する。
【００７３】
第１の焦点スタック１０００Ａを取得するために、ビューの第１の半分、例えば、図９Ａの例によるビューの左半分、即ち背景として灰色で満たされたビュー９０１〜９０３、９０７〜９０９、９１３〜９１５及び９１９〜９２１が選択される。図９Ｂの例によれば、ビューの第１の半分は、ビューの上部、即ちビュー９０１〜９１２に対応する。図５Ａ及び５Ｂに関連して説明された再合焦プロセスは、第１の焦点スタック１０００Ａを生成するために、ビューの第１の部分に基づいて用いられる。
【００７４】
第２の焦点スタック１０００Ｂを取得するために、ビューの第２の半分、例えば、図９Ａの例によるビューの右半分、即ち背景として白色で満たされたビュー９０４〜９０６、９１０〜９１２、９１６〜９１８及び９２２〜９２４が選択される。図９Ｂの例によれば、ビューの第２の半分は、ビューの下部、即ちビュー９１３〜９２４に対応する。図５Ａ及び５Ｂに関連して説明された再合焦プロセスは、第２の焦点スタック１０００Ｂを生成するために、ビューの第２の部分に基づいて用いられる。
【００７５】
第１の半分のビューの数は、第２の半分のビューの数と等しく、第１の半分を形成するビューセットは、第２の半分を形成するビューセットとは異なる。第１の半分に含まれるビューの幾つかはまた、ビューアレイの分割の向き、及びビューアレイに含まれるビューの数に依存して、第２の半分に含まれてもよい。例えば、ビューアレイの分割が、対角線に従って実行される場合に、ビューアレイが、第１の半分と第２の半分との間でビューの幾つかを共有することなしには、ビューの２つの等しい半分に分割され得ないならば、対角軸に沿って位置するビューは、第１の半分と第２の半分との両方に属してもよい。第１の半分は、ビューの第２の半分とは異なり、それは、第１の半分のビューの少なくとも１つが、第２の半分に属さないことを意味する。
【００７６】
図１３は、本原理の態様に従って、例えば、ライトフィールドカメラを具体化するスマートフォン又はタブレットに対応する通信装置１３０のハードウェア実施形態を図表で示す。
【００７７】
通信装置１３０は、クロック信号も送る、アドレス及びデータのバス１３０４によって互いに接続された以下の要素を含む。即ち、
マイクロプロセッサ１３０１（すなわちＣＰＵ）と、
ＲＯＭ（読み出し専用メモリ）タイプの不揮発性メモリ１３０２と、
ランダムアクセスメモリ、すなわち、ＲＡＭ１３０３と、
無線インターフェース１３０６と、
データ伝送のために適合されたインターフェース１３０５と、
例えば、図１のプレノプティックカメラ１又は図２のマルチカメラアレイ２に相当するライトフィールドカメラ１３０７と、
ユーザに情報を表示する、且つ／又は、データ若しくはパラメータを入力するように適合されたＭＭＩ（マンマシンインターフェース）１３０８と、
を含む。
【００７８】
メモリ１３０２及び１３６０３の説明において用いられ「レジスタ」は、言及されているメモリのそれぞれにおいて、低容量の記憶領域と大容量のきおく領域（プログラム全体の記憶が可能な、又は、受信された、及び復号されたデータを表すデータの全て若しくは一部の記憶が可能な）を意味することに留意されたい。
【００７９】
メモリのＲＯＭ１３０２は、特にプログラム「ｐｒｏｇ」を備えている。
【００８０】
後述される、本開示に固有の方法のステップを実行するアルゴリズムは、これらのステップを実行する通信装置１３０に関連付けられたメモリであるＲＯＭ１３０２に記憶されている。電源が投入されると、マイクロプロセッサ１３０１が、これらのアルゴリズムの命令をロードして実行する。
【００８１】
ランダムアクセスメモリ１３０３は、特に以下のものを含む。即ち、
レジスタにおいて、通信装置１３０を起動する役割を果たすマイクロプロセッサ１３０１のオペレーティングプログラムと、
受信パラメータ（例えばフレームの変調、符号化、ＭＩＭＯ、反復のためのパラメータ）と、
伝送パラメータ（例えばフレームの変調、符号化、ＭＩＭＯ、反復のためのパラメータ）と、
受信機１３０６によって受信されて復号されるデータに対応する着信データと、
インターフェースからアプリケーション１３０５に送信されるように形成された復号データと、
ライトフィールドカメラのパラメータと、
ライトフィールド画像を形成するライトフィールドデータと、
第１の焦点スタック及び第２の焦点スタックを表すデータと、
奥行きを表す情報と、
を含む。
【００８２】
図１３に関連して説明された構成以外の通信装置１３０のその他の構成も、本開示に適合する。特に、変形によれば、通信装置は、例えば、専用構成部品（例えばＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＶＬＳＩ（超大規模集積回路）の形態で、又は装置に埋め込まれた複数の電子部品の形態で、純粋にハードウェアによる実現に従って実施してもよく、あるいはさらに、ハードウェア構成要素とソフトウェア構成要素との混合の形態で実施してもよい。
【００８３】
無線インターフェース１３０６及びインターフェース１３０５は、例えば、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＭＴ−２０００仕様（３Ｇとも呼ばれる）、３ＧＰＰ  ＬＴＥ（４Ｇとも呼ばれる）、ＩＥＥＥ  ８０２．１５．１（Ｂｌｕｅｔｏｏｔｈとも呼ばれる）等に準拠した規格のような１つ又は複数の電気通信規格に従う信号の送受信に適合化されている。
【００８４】
変形によれば、通信装置は、ＲＯＭを全く含まず、ＲＡＭのみを含み、本開示に固有の方法のステップを実施するアルゴリズムは、そのＲＡＭに記憶されている。
【００８５】
図１４Ａは、本原理の特定の実施形態に従って、図１又は２のライトフィールドカメラで取得されたライトフィールド画像を処理する方法を示す。方法は、例えば、処理装置１０３又は通信装置１３０において実行される。
【００８６】
初期化ステップ１４０中のライトフィールドカメラの相異なるパラメータ、特にメインレンズ及びマイクロレンズのパラメータである。パラメータは、例えば、ライトフィールドカメラの電源を投入する場合に、且つ／又はズーミング若しくは合焦のときにカメラレンズのパラメータ、例えば焦点距離を変更する場合に、初期化される。有利なことに、ライトフィールドデータは、ライトフィールドカメラの電源を投入する場合に、且つ／又はシーンの新しいライトフィールド画像を取得する場合に初期化される。
【００８７】
次に、ステップ１４１中に、第１の焦点スタック１０００Ａ及び第２の焦点スタック１０００Ｂが取得され、第１及び第２の焦点スタックは、それぞれ、複数の第１及び第２の画像をそれぞれ含む。有利なことに、第１の焦点スタックは、ライトフィールド画像を形成する第１のピクセルセット（例えば図７及び１１Ａ、１１Ｂに関連して説明されたようなライトフィールド画像のマイクロレンズ画像の第１の半分を形成するピクセル、又は図９Ａ及び９Ｂに関連して説明されたようなライトフィールド画像のビューの第１の半分を形成するピクセル）から取得される。有利なことに、第２の焦点スタックは、ライトフィールド画像を形成する第２のピクセルセット（例えば図７及び１１Ａ、１１Ｂに関連して説明されたようなライトフィールド画像のマイクロレンズ画像の第２の半分を形成するピクセル、又は図９Ａ及び９Ｂに関連して説明されたようなライトフィールド画像のビューの第２の半分を形成するピクセル）から取得される。第２のピクセルセットは、第１のピクセルセットとは異なる。即ち、第１のセットのピクセルの少なくとも幾つかは、第２のセットに含まれないか、且つ／又は第２のセットのピクセルの少なくとも幾つかは、第１のセットに含まれない。
【００８８】
有利なことに、ステップ１３１は、取得されたライトフィールド画像毎に繰り返される。
【００８９】
図１４Ｂは、本原理の特定の実施形態に従って、ステップ１３１で取得された焦点スタック１０００Ａ及び１０００Ｂから奥行き情報を取得する方法を示す。方法は、例えば、処理装置１０３又は通信装置１３０において実行される。
【００９０】
ステップ１４２中に、第１の焦点スタック１０００Ａは、第１の焦点スタックの少なくとも２つの第１の画像を第２の焦点スタックの少なくとも２つの第２の画像と比較するように、第２の焦点スタック１０００Ｂと比較される。即ち、第１の焦点スタックの１つの第１の画像が、第２の焦点スタックの１つの対応する第２の画像と比較される。第２の画像は、この第２の画像に関連付けられた合焦距離（又は奥行き）が、第１の画像に関連付けられた合焦距離（又は奥行き）と同じである場合に、第１の画像に対応すると言われる。第１の画像及び対応する第２の画像は、ピクセルに基づいて、又はピクセルのブロックに基づいて比較される。第１の画像のピクセル（又はピクセルのブロック）は、第１の画像のピクセルに対応する第２の画像のピクセルを見つけるために、ピクセルに関連付けられた灰色レベルを比較することによって、ピクセル（又はピクセルのブロック）と比較される。第２の画像のピクセルは、第２の画像のピクセルの灰色レベルが、第１の画像の対応するピクセルの灰色レベルに近いか又は等しい場合に、第１の画像のピクセルに対応する。
【００９１】
変形によれば、比較は、同じ関連合焦距離（又は同様に同じ関連奥行き値）を有する第１及び第２の画像の各ペアにおいて、前記各ペアの第１の画像のピクセル及び／又は第２の画像のピクセルに関連付けられた視差値を決定することを含む。
【００９２】
次に、ステップ１４３中に、奥行きを表す情報、例えば視差情報（例えばピクセルで表現される）又は奥行き情報（例えばメートルで表現される）が、第１及び第２の焦点スタックの第１の画像／第２の画像の少なくとも２つペアの比較の結果から取得される。奥行きマップ又は視差マップは、例えば、第１の画像／第２の画像の各ペアの比較から、即ち図１０の例による第１の画像／第２の画像の７つのペア（つまりペア１００１Ａ／１００１Ｂ、１００２Ａ／１００２Ｂ〜１００７Ａ／１００７Ｂ）から取得される。最終奥行き情報、例えば最終奥行きマップ又は最終視差マップは、例えば、相異なるペアから取得されたマップを組み合わせることによって又はそれらの１つの選択することによって、各ペアから取得されたマップから取得される。
【００９３】
変形によれば、視差が０に近い各ペアの第１及び第２の画像のピクセルだけが、比較結果から決定され、所与のペアに関して視差が０に等しいピクセルに関連付けられた奥行きは、このペアに関連付けられた奥行き（又は合焦距離）である。同じ関連奥行き値を有する第１及び第２の画像の各ペアにおいて、有利なことに、視差値として０に近い値を有する、前記各ペアの第１の画像のピクセル及び／又は第２の画像のピクセルが選択される。最終奥行き情報は、第１の画像／第２の画像の各ペアの比較から、視差情報が０に近いピクセルに関連付けられた全ての奥行き情報を集めることによって取得される。換言すると、奥行き情報の計算は、第１及び第２の焦点スタックからの第１の画像／第２の画像ペアの２つの再合焦画像間で実行される。２つの再合焦画像は、インデックスｎ＝０からインデックスｎ＝Ｎまで選択される。ペアのこれらの第１及び第２の画像のピクセル（Ｘ，Ｙ）におけるローカル視差Δｎ（Ｘ，Ｙ）が計算される。Δｎ（Ｘ，Ｙ）は、ピクセル単位で与えられる。Δｎ（Ｘ，Ｙ）は、被写体が、ｚ（ｎ）だけライトフィールドカメラから正確に離れている（即ちペアの第１及び第２の画像両方に関連付けられた奥行き）場合に、０に等しい。座標（Ｘ，Ｙ）において可視の被写体の距離は、ｚ（ｎ’）とほぼ等しく、ｎ’は、｜Δｎ（Ｘ，Ｙ）｜が、０に近いか又は０に等しい値を有する再合焦画像（即ち第１又は第２の画像）のインデックスである。
【００９４】
視差値は、それらが、決定された値、例えば０．２５又は０．５ピクセルより例えば小さい場合に、０に近いと考えられる。決定された値は、例えば、方法の精度に依存して、固定値又は視差を計算するために用いられる方法に依存する値である。変形によれば、第１又は第２の画像の所与のピクセルに関し、０に近い視差値が、視差値であり、その絶対値は、焦点スタックの第１／第２の画像の相異なるペアにおけるこのピクセルに関連付けられた全ての絶対的な視差値を考慮した場合の最小値である。
【００９５】
図１２は、本原理の特定の非限定的な実施形態に従って、焦点スタック１０００Ａ及び１０００Ｂの比較結果から取得された奥行きを表す情報（例えば視差値又は奥行き値）を含むマップ１２０を示す。わかり易くする目的のために、第１の画像／第２の画像の３つのペアだけが示されている。即ち、第１のペアは、奥行きｚ＝１ｍにおいて、第１の画像１００１Ａ及び第２の画像１００１Ｂを含み、第２のペアは、奥行きｚ＝２ｍにおいて、第１の画像１００３Ａ及び第２の画像１００３Ｂを含み、第３のペアは、奥行きｚ＝３ｍにおいて、第１の画像１００６Ａ及び第２の画像１００６Ｂを含む。各ペアにおいて、第２の画像の第２のピクセルに対応する第１の画像のピクセルは、灰色の背景で示され、これらのピクセルは、第１のペアにおいて参照符号１で、第２のペアにおいて参照符号２で、且つ第３のペアにおいて参照符号３で識別される。第１のペアに関連付けられた奥行きが、１メートルに等しいので、第１のペアにおける参照符号１のピクセルに関連付けられた奥行きもまた１メートルである。同じ理由で、第２のペアの画像における参照符号２のピクセルに関連付けられた奥行きは、２メートルに等しく、第３のペアの画像における参照符号３のピクセルに関連付けられた奥行きは、３メートルに等しい。有利なことに、最終奥行きマップ１２０（又は同様に視差マップ）は、画像の各ペアの対応するピクセルのエリアに関連付けられた奥行き値を集めることによって取得される。即ち、エリア１２０１のピクセルに関連付けられた奥行き値は、１メートルに等しく、エリア１２０２のピクセルに関連付けられた奥行き値は、２メートルに等しく、エリア１２０３のピクセルに関連付けられた奥行き値は、３メートルに等しい。最終奥行きマップ１２０の幾つかのピクセルが、２つの焦点スタックの画像ペアの比較結果から奥行き情報を受信しない場合に、これらのピクセルに関連付けられた奥行き情報は、例えば、焦点スタックの比較結果から取得された奥行き値を有する、それらの幾つかのピクセルを囲むピクセルを補間することによって取得されてもよい。
【００９６】
任意選択の変形によれば、最終奥行きマップ１２０は、３Ｄ効果でシーンを表示するために処理され、最終奥行きマップの奥行き／視差情報は、シーンの被写体を表示する奥行きを決定するために用いられる。別の変形によれば、最終奥行きマップ１２０は、それらの関連奥行き／視差に従って、シーンの画像の被写体をトリミングするために処理される。別の変形によれば、最終奥行きマップは、シーンの３Ｄビューを生成するために処理される。
【００９７】
ステップ１３１〜１３３は、有利なことに、取得されたライトフィールド毎に繰り返される。
【００９８】
図１４Ｃは、本原理の特定の実施形態に従って、ステップ１３１で取得された焦点スタック１０００Ａ及び１０００Ｂを表示する方法を示す。
【００９９】
ステップ１４４中に、第１及び第２の画像は、表示装置上で表示するために送信される。表示装置は、例えば、ペアの第１の画像及び同じペアの第２の画像を連続して表示する表示スクリーン（例えばＬＣＤ（液晶ディスプレイ）又はＯＬＥＤ（有機発光ダイオード）表示装置）であり、表示装置は、有利なことに、第１及び第２の画像の表示を視聴者の右目及び左目とそれぞれ同期させるために、アクティブ又はパッシブ眼鏡に関連付けられ、それは、第１の画像が、例えば左目によってのみ見られ、第２の画像が、右目によってのみ見られるようにすることができる。変形によれば、表示装置は、画像の立体ペアの左及び右画像を表示するように適合されたＨＭＤ（ヘッドマウントディスプレイ）であり、第１の画像は、例えば、左画像として表示され、第２の画像は、右画像として表示される。第１及び第２のスタックの画像ペアは、例えば、連続して送信され、表示装置によって受信された場合に表示される。変形によれば、送信された画像ペアは、表示される前に表示装置のメモリに記憶される。ペアの第１及び第２の画像を画像の立体ペアとして表示することにより、第１及び第２の画像の被写体をピントを合わせて表示できるようにし、焦点は、画像ペアに関連付けられた奥行きに対応する。
【０１００】
ステップ１４４は、例えば、ステップ１４２及び１４３を実行せずに、ステップ１４１の後に実行される。変形によれば、ステップ１４１は、例えば、ステップ１４２及び１４３の後に、ステップ１４２及び１４３と並行して、又はステップ１４２及び１４３の後に、ステップ１４２及び１４３に加えて実行される。
【０１０１】
当然、本開示は、前に説明された実施形態に限定されない。
【０１０２】
特に、本開示は、ライトフィールド画像を処理するように構成された機器にも、ライトフィールド画像を処理する方法にも限定されず、奥行き情報を決定する方法／機器に、焦点スタックの画像を表示する方法／機器に、且つ／又はかかる機器を含むライトフィールドカメラに、又はかかる機器を含むか若しくはかかる方法を実行する任意の装置、例えば通信装置に及ぶ。
【０１０３】
通信装置は、例えば、スマートフォン、スマートウォッチ、タブレット、コンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、及びエンドユーザ間と同様にセットトップボックス間の情報の通信を容易にする他の装置を含む。
【０１０４】
本明細書で説明されるプレノプティックカメラを較正する方法は、プロセッサによって実行される命令によって実行されてもよく、かかる命令（及び／又は実装形態によって生成されるデータ値）は、例えば集積回路などのプロセッサ可読媒体、ソフトウェアキャリア、又は例えばハードディスク、コンパクトディスケット（ＣＤ）、光ディスク（例えば、デジタル多用途ディスク若しくはデジタルビデオディスクと称されることが多いＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）若しくは読み取り専用メモリ（ＲＯＭ）のような他の記憶装置に記憶されてもよい。命令は、プロセッサ可読媒体上で有形に具体化されたアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェアにあってもよく、ファームウェアにあってもよく、ソフトウェアにあってもよく、これらを組み合わせたものにあってもよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はこれらの２つを組み合わせたものに存在する。従って、プロセッサは、例えば、プロセスを実行するように構成された装置、及びプロセスを実行する命令を有するプロセッサ可読媒体（記憶装置など）を含む装置の両方として特徴付けられる。更に、プロセッサ可読媒体は、命令に加えて、又は命令の代わりに、実装形態によって生成されたデータ値を記憶してもよい。
【０１０５】
当業者であれば明らかなように、実装形態により、例えば情報の記憶又は送信を含み、情報を搬送するようにフォーマットされた様々な信号を生成してもよい。情報は、例えば、方法を実行する命令、又は上述した実装形態の１つによって生成されたデータを含んでもよい。例えば、信号は、上述した実施形態のシンタックスの記述又は読み取りのルールをデータとして搬送するようにフォーマットされてもよく、上述した実施形態によって記述された実際のシンタックス値をデータとして搬送するようにフォーマットされてもよい。このような信号は、例えば、電磁波（例えば、スペクトラムの無線周波数部分を使用して）、又はベースバンド信号としてフォーマットされてもよい。フォーマット処理には、例えば、データストリームを符号化すること、及び符号化されたデータストリームでキャリアを変調することを含めることができる。信号を搬送する情報は、例えばアナログ情報又はデジタル情報であってもよい。信号は、公知である様々な相異なる有線又は無線リンクを介して送信されてもよい。信号は、プロセッサ可読媒体上に記憶されてもよい。
【０１０６】
幾つかの実装形態について記載した。しかしながら、様々な改変を施すことができることが理解されよう。例えば、複数の相異なる実装形態の要素を組み合わせ、追補、改変、又は除去により他の実施形態を生み出すこともできる。さらに、開示されているものを他の構造及び処理と置換して、結果として得られる実装形態が少なくとも概ね同様の方法で、少なくとも概ね同一の機能を実行し、開示されている実施形態と少なくとも概ね同一の効果を得られるようにできることを当業者であれば理解できよう。従って、これらの実施形態及びその他の実装形態が本出願により想定される。
【図１】
2018523328.tif 000015
【図２】
2018523328.tif 000016
【図３】
2018523328.tif 000017
【図４】
2018523328.tif 000018
【図５Ａ】
2018523328.tif 000019
【図５Ｂ】
2018523328.tif 000020
【図６Ａ】
2018523328.tif 000021
【図６Ｂ】
2018523328.tif 000022
【図７】
2018523328.tif 000023
【図８】
2018523328.tif 000024
【図９Ａ】
2018523328.tif 000025
【図９Ｂ】
2018523328.tif 000026
【図１０】
2018523328.tif 000027
【図１１Ａ】
2018523328.tif 000028
【図１１Ｂ】
2018523328.tif 000029
【図１２】
2018523328.tif 000030
【図１３】
2018523328.tif 000031
【図１４Ａ】
2018523328.tif 000032
【図１４Ｂ】
2018523328.tif 000033
【図１４Ｃ】
2018523328.tif 000034
【国際調査報告】
2018523328.tif 000035
2018523328.tif 000036