(57)【要約】  非集束型プレノプティックデータの深度を推定する方法および装置が提案される。方法は、非集束型プレノプティックデータのマイクロレンズ画像の均一性レベルを決定することと、非集束型プレノプティックデータのマイクロレンズ画像の計算された均一性レベルの関数として、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかである、非集束型プレノプティックデータのマイクロレンズ画像の画素を決定することと、決定された画素を考慮することなく、視差推定によって非集束型プレノプティックデータの深度を推定することとを含む。本開示を用いて、生データを前処理することにより、いかなる視差推定方法も（ｉ）焦点が合っている画素および（ｉｉ）シーンの均一エリアに属する画素に対する視差の推定に時間を費やすことを防止し得る。
2017537396.tif 000002
【特許請求の範囲】
【請求項１】
非集束型プレノプティックデータの深度を推定する方法であって、
非集束型プレノプティックデータのマイクロレンズ画像の均一性レベルを決定すること（Ｓ１０１）と、
前記非集束型プレノプティックデータの前記マイクロレンズ画像の前記決定された均一性レベルの関数として、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかである、前記非集束型プレノプティックデータの前記マイクロレンズ画像の画素を決定すること（Ｓ１０２）と、
前記決定された画素を除いて、前記非集束型プレノプティックデータの前記マイクロレンズ画像の画素の視差推定によって前記非集束型プレノプティックデータの前記深度を推定すること（Ｓ１０３）と
を含む、方法。
【請求項２】
各マイクロレンズ画像から均一度を推定し、前記推定されたメトリックを対応するマイクロレンズ画像の前記画素のすべてに割り当てることによって、各マイクロレンズ画像の前記均一性レベルが決定される、請求項１に記載の方法。
【請求項３】
三色チャネル上の前記マイクロレンズ画像の前記画素の標準偏差を計算し、前記推定されたメトリックを対応するマイクロレンズ画像の前記画素のすべてに割り当てることによって、各マイクロレンズ画像の前記均一性レベルが決定される、請求項１に記載の方法。
【請求項４】
前記非集束型プレノプティックデータの複数のビューのライトフィールドを表すための前記非集束型プレノプティックデータの前記ビューの行列から、三色チャネル上の前記ビューの行列の前記複数のビュー上の各マイクロレンズ画像の対応する画素の均一度を計算することによって、各マイクロレンズ画像の前記均一性レベルが決定される、請求項１に記載の方法。
【請求項５】
前記非集束型プレノプティックデータから、前記非集束型プレノプティックデータを捕捉するプレノプティックカメラの各マイクロレンズの中心の位置を推定し、
すべてのマイクロレンズ画像から、すべてのマイクロレンズ画像の前記中心に対する空間座標（ｕ，ｖ）における前記画素を抽出することにより、すべての角座標（ｕ，ｖ）について前記非集束型プレノプティックデータの対応するビュー（ｕ，ｖ）を逆多重化する
ことによって、前記ビューの行列が決定される、請求項４に記載の方法。
【請求項６】
前記ビューの行列の各マイクロレンズ画像の対応する画素を考慮して均一度を推定し、前記推定されたメトリックを各マイクロレンズ画像の前記対応する画素の前記画素のすべてに割り当てることによって、各マイクロレンズ画像の前記均一性レベルが決定される、請求項１または５に記載の方法。
【請求項７】
前記画素が、前記決定された均一性画像の値を閾値化することによって決定される、請求項５に記載の方法。
【請求項８】
前記画素が、前記決定されたメトリックビューの行列の値を閾値化することによって決定される、請求項１、５または７に記載の方法。
【請求項９】
非集束型プレノプティックデータの深度を推定する装置（１５００）であって、
非集束型プレノプティックデータのマイクロレンズ画像の均一性レベルを決定する第１の決定ユニット（１５０１）と、
前記非集束型プレノプティックデータの前記マイクロレンズ画像の計算された均一性レベルの関数として、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかである、前記非集束型プレノプティックデータの前記マイクロレンズ画像の画素を決定する第２の決定ユニット（１５０２）と、
前記決定された画素を考慮することなく、視差推定によって前記非集束型プレノプティックデータの前記深度を推定する推定ユニット（１５０３）と
を含む、装置（１５００）。
【請求項１０】
前記第１の決定ユニット（１５０１）が、各マイクロレンズ画像から均一度を推定し、前記推定されたメトリックを対応するマイクロレンズの前記画素のすべてに割り当てることによって前記均一性レベルを決定するように構成される、請求項９に記載の装置（１５００）。
【請求項１１】
前記第１の決定ユニット（１５０１）が、前記非集束型プレノプティックデータの複数のビューのライトフィールドを表すための前記非集束型プレノプティックデータの前記ビューの行列から、三色チャネル上の前記ビューの行列の前記複数のビュー上の各マイクロレンズ画像の対応する画素の均一度を計算することによって、各マイクロレンズ画像の前記均一性レベルを決定するように構成される、請求項１０に記載の装置（１５００）。
【請求項１２】
前記第１の決定ユニット（１５０１）が、
前記非集束型プレノプティックデータから、前記非集束型プレノプティックデータを捕捉するプレノプティックカメラの各マイクロレンズの中心の位置を推定し、
すべてのマイクロレンズ画像から、すべてのマイクロレンズ画像の前記中心に対する空間座標（ｕ，ｖ）における前記画素を抽出することにより、すべての角座標（ｕ，ｖ）について前記非集束型プレノプティックデータの対応するビュー（ｕ，ｖ）を逆多重化する
ことによって、前記ビューの行列を決定するように構成される、請求項１１に記載の装置（１５００）。
【請求項１３】
前記第２の決定ユニット（１５０２）が、前記決定されたメトリックの行列を閾値化することによって画素を決定するように構成される、請求項１２に記載の装置（１５００）。
【請求項１４】
請求項１〜８のいずれか一項に記載の方法のステップを実装するためにプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム。
【請求項１５】
非一時的なコンピュータ可読媒体上に格納され、請求項１〜８のいずれか一項に記載の方法のステップを実装するためにプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ライトフィールド（ｌｉｇｈｔ−ｆｉｅｌｄ）の技術に関し、より具体的には、非集束型プレノプティックデータの深度を推定する方法および装置に関する。
【背景技術】
【０００２】
この項目は、本開示で説明される技術の様々な実施形態の背景を提供することを意図する。この項目の説明は、追求され得る概念を含み得るが、それらの概念は、必ずしも以前に着想または追求されているものであるとは限らない。従って、本明細書に別段の指示がない限り、この項目で説明されるものは、本開示の説明および／または請求項の先行技術ではなく、この項目に含まれることのみでは先行技術として認められない。
【０００３】
ライトフィールドは、コンピュータグラフィックスおよび視覚技術において提案される概念であり、空間のあらゆるポイントにおけるあらゆる方向に進むすべての光線として定義される。三次元空間のあらゆるポイントは方向も有するため、ライトフィールドカメラ〈プレノプティックカメラとも称される〉は、マイクロレンズアレイを使用して、シーンについての４Ｄ（四次元）ライトフィールド情報を捕捉するタイプのカメラである。ライトフィールドカメラは、撮像センサの真向かいにマイクロレンズアレイを有し、マイクロレンズアレイは、短い焦点距離を有する多くの顕微レンズからなり、センサに到達する直前に、２Ｄ画素（長さおよび幅）になったであろうものを個々の光線に分割することができる。これは、フィルム／センサの２つの利用可能な次元のみを使用する従来のカメラと異なる。マイクロレンズが存在するため、プレノプティックカメラによって捕捉された結果として得られる生画像は、多くの極めて小さい画像の合成物である。
【０００４】
プレノプティックカメラは、シーンのライトフィールド情報を捕捉することができる。次いで、ライトフィールド情報は、これらの画像が撮影された後、異なる視点からシーンの画像を再構築するために後処理され得る。また、プレノプティックカメラは、ユーザが画像のピント位置を変更できるようにもなっている。上記で説明されるように、従来のカメラと比べると、プレノプティックカメラは、言及される目標を達成する追加の光学コンポーネントを含む。
【０００５】
非集束型プレノプティックカメラによって捕捉されたプレノプティックデータは、非集束型（タイプ１）プレノプティックデータとして知られており、集束型プレノプティックカメラによって捕捉されたプレノプティックデータは、集束型（タイプ２）プレノプティックデータとして知られている。
【０００６】
タイプ１のプレノプティックカメラ（ｌｙｔｒｏ（登録商標）などの）では、マイクロレンズのアレイは、センサの前に配置される。すべてのマイクロレンズは同じ焦点距離を有し、マイクロレンズのアレイは、センサから焦点距離１つ分離れたところに配置される。この構成により、最大の角度分解能および低い空間分解能を得ることができる。
【０００７】
シーンのいくつかの整列されたビューを有するため、非集束型プレノプティックカメラによって捕捉されたタイプ１のプレノプティックデータの直観的応用の１つは、シーンの深度を推定することである。深度推定の公知の解決法は、通常、ビュー間の画素の視差を推定することによって実行される。
【０００８】
例示的なアルゴリズムの１つであるブロックマッチング法については、N. Sabater、V. Drazic、M. Seifi、G. SandriおよびP. Perezを著者とする参考文献“Light field demultiplexing and disparity estimation,” HAL, 2014（以下、参考文献１と称する）で論じられている。
【０００９】
より具体的には、参考文献１のアルゴリズムでは、異なる視点からのシーンの第１の異なる画像は、捕捉されたプレノプティックデータから抽出される。次いで、プレノプティックデータのすべてのビューを抽出することにより、プレノプティックデータからビューの行列が再構築される。次いで、このビューの行列は、異なるビュー上のあらゆる画素の変位が対応する物体の深度に比例するという事実を考慮して、シーンの物体の深度を推定するために使用される。
【００１０】
非集束型プレノプティックデータの公知の解決法の推定方法は、通常、多大な時間を要するものであり、非テクスチャ化エリア上であまり正確ではない。
【００１１】
シーンのエピポーラ画像に基づく別の例示的な深度推定方法については、S. WannerおよびB. Goldleukeを著者とする参考文献“Variational light field analysis for disparity estimation and super-resolution”, IEEE transaction of pattern analysis and machine intelligence, 2013（以下、参考文献２と称する）で論じられている。参考文献２は、視差を推定するためにいずれの画素を使用するかを決定するために構造テンソル（勾配）を計算することを提案している。
【００１２】
しかし、参考文献２の深度推定方法は、集束型カメラによって捕捉されたプレノプティックデータに対して提案されており、従って、エピポーラ画像の低解像度が原因で非集束型プレノプティックデータには最適でない。
【発明の概要】
【００１３】
本開示は、上記で言及される欠点の少なくともいくつかに対処する。本開示は、例示的な実施形態を参照して詳細に説明される。しかし、本開示は、それらの実施形態に限定されない。
【００１４】
本開示の第１の態様によれば、非集束型プレノプティックデータの深度を推定する方法が提供される。方法は、非集束型プレノプティックデータのマイクロレンズ画像の均一性（ｈｏｍｏｇｅｎｅｉｙｔ）レベルを決定することと、非集束型プレノプティックデータのマイクロレンズ画像の決定された均一性レベルの関数として、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかである、非集束型プレノプティックデータのマイクロレンズ画像の画素を決定することと、決定された画素を除いて、非集束型プレノプティックデータのマイクロレンズ画像の視差推定によって非集束型プレノプティックデータの深度を推定することとを含む。
【００１５】
一実施形態では、各マイクロレンズ画像から均一度を推定し、推定されたメトリックを対応するマイクロレンズ画像の画素のすべてに割り当てることによって、各マイクロレンズ画像の均一性レベルは決定され得る。一実施形態では、均一性画像が作成される。
【００１６】
一実施形態では、三色チャネル上のそのマイクロレンズ画像の画素の標準偏差を計算し、推定されたメトリックを対応するマイクロレンズ画像の画素のすべてに割り当てることによって、各マイクロレンズ画像の均一性レベルは決定され得る。一実施形態では、均一性画像が作成される。
【００１７】
一実施形態では、非集束型プレノプティックデータから、非集束型プレノプティックデータを捕捉するプレノプティックカメラの各マイクロレンズの中心の位置を推定し、均一性画像のすべてのマイクロレンズ画像から、すべてのマイクロレンズ画像の中心に対する空間座標（ｕ，ｖ）における画素を抽出することにより、すべての角座標（ｕ，ｖ）について均一性画像の対応するメトリックビュー（ｕ，ｖ）を逆多重化することによって、メトリックビューの行列は、作成された均一性画像から決定され得る。
【００１８】
一実施形態では、ビューのライトフィールドを表すための非集束型プレノプティックデータのビューの行列から、三色チャネル上のビューの行列の複数のビュー上の各マイクロレンズ画像の対応する画素の均一度（例えば、標準偏差）を計算することによって、各マイクロレンズ画像の均一性レベルは決定され得る。一実施形態では、生データ上の空間座標（ｘ，ｙ）におけるマイクロレンズ画像の対応する画素は、ビューの行列のすべてのビュー上の空間位置（ｘ，ｙ）におけるすべての画素を考慮して決定される。一実施形態では、メトリックの行列が作成される。
【００１９】
一実施形態では、非集束型プレノプティックデータから、非集束型プレノプティックデータを捕捉するプレノプティックカメラの各マイクロレンズの中心の位置を推定し、すべてのマイクロレンズ画像から、すべてのマイクロレンズ画像の中心に対する空間座標（ｕ，ｖ）における画素を抽出することにより、すべての角座標（ｕ，ｖ）について非集束型プレノプティックデータの対応するビュー（ｕ，ｖ）を逆多重化することによって、ビューの行列は決定され得る。
【００２０】
一実施形態では、ビューの行列の各マイクロレンズ画像の対応する画素を考慮して均一度を推定し、推定されたメトリックを各マイクロレンズ画像の対応する画素のすべての画素に割り当てることによって、各マイクロレンズ画像の均一性レベルは決定され得る。一実施形態では、メトリックビューの行列が作成される。
【００２１】
一実施形態では、画素は、決定された均一性画像の値を閾値化する（ｔｈｒｅｓｈｏｌｄｉｎｇ）ことによって決定され得る。
【００２２】
一実施形態では、画素は、決定されたメトリックビューの行列の値を閾値化することによって決定され得る。
【００２３】
一実施形態では、方法は、形態学的フィルタで空き画素（ｅｍｐｔｙ  ｐｉｘｅｌ）を埋めて、視差推定のために使用される処理済み行列を形成するために、閾値化されたメトリックビューの行列を処理することをさらに含む。
【００２４】
一実施形態では、マイクロレンズ画像の均一性レベルは、三色チャネル上のマイクロレンズ画像の標準偏差を計算することによって決定され得る。対応するマイクロレンズ画像の画素は、推定された均一性メトリック（例えば、標準偏差）を共有する。別の例は、マイクロレンズ画像のＤＣＴ変換を考慮することであり、高周波数帯域における信号のエネルギーの和が１つの均一度を与える。
【００２５】
一実施形態では、各マイクロレンズ画像に対して推定されたメトリック（例えば、標準偏差）は、そのマイクロレンズの画素のすべてに割り当てられ、従って、生データのすべての画素に均一度が割り当てられる。これらの画素の集合体は、次元において生データと同様の均一性画像を与える。
【００２６】
一実施形態では、生非集束型プレノプティックデータから、非集束型プレノプティックデータを捕捉するプレノプティックカメラの各マイクロレンズの中心の位置を推定し、すべてのマイクロレンズ画像から画素を抽出することにより、均一性画像のビューを逆多重化することによって、均一度の行列は決定され得る。この手法は、均一性メトリックの行列を与える。
【００２７】
一実施形態では、均一の画素を有するという決定は、推定されたメトリック（例えば、標準偏差またはＤＣＴ変換の高周波数エネルギー）の再構築された行列を閾値化することによって決定され得る。
【００２８】
一実施形態では、方法は、形態学的フィルタで空き画素を埋めて、視差推定のために使用される処理済み行列を形成するために、再構築された行列を処理することをさらに含み得る。
【００２９】
本開示の第２の態様によれば、非集束型プレノプティックデータの深度を推定する装置が提供される。装置は、非集束型プレノプティックデータのマイクロレンズ画像の均一性レベルを決定する第１の決定ユニットと、非集束型プレノプティックデータのマイクロレンズ画像の計算された均一性レベルの関数として、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかである、非集束型プレノプティックデータのマイクロレンズ画像の画素を決定する第２の決定ユニットと、決定された画素を考慮することなく、視差推定によって非集束型プレノプティックデータの深度を推定する推定ユニットとを含む。
【００３０】
一実施形態では、第１の決定ユニットは、各マイクロレンズ画像から均一度を推定し、推定されたメトリックを対応するマイクロレンズの画素のすべてに割り当てることによって均一性レベルを決定するように構成される。
【００３１】
一実施形態では、第１の決定ユニットは、非集束型プレノプティックデータから、非集束型プレノプティックデータを捕捉するプレノプティックカメラの各マイクロレンズの中心の位置を推定し、均一性画像のすべてのマイクロレンズ画像から、すべてのマイクロレンズ画像の中心に対する空間座標（ｕ，ｖ）における画素を抽出することにより、すべての角座標（ｕ，ｖ）について、均一性画像の対応するメトリックビュー（ｕ，ｖ）を逆多重化することによって作成された均一性画像からメトリックの行列を決定するように構成される。
【００３２】
一実施形態では、第１の決定ユニットは、ビューのライトフィールドを表すための非集束型プレノプティックデータのビューの行列から、三色チャネル上のビューの行列の複数のビュー上の各マイクロレンズ画像の対応する画素の均一度（例えば、標準偏差）を計算することによって各マイクロレンズ画像の均一性レベルを決定するように構成される。一実施形態では、生データ上の空間座標（ｘ，ｙ）におけるマイクロレンズ画像の対応する画素は、ビューの行列のすべてのビュー上の空間位置（ｘ，ｙ）におけるすべての画素を考慮して決定される。
【００３３】
一実施形態では、第１の決定ユニットは、非集束型プレノプティックデータから、非集束型プレノプティックデータを捕捉するプレノプティックカメラの各マイクロレンズの中心の位置を推定し、すべてのマイクロレンズ画像から、すべてのマイクロレンズ画像の中心に対する空間座標（ｕ，ｖ）における画素を抽出することにより、すべての角座標（ｕ，ｖ）について、非集束型プレノプティックデータの対応するビュー（ｕ，ｖ）を逆多重化することによってビューの行列を決定するように構成される。
【００３４】
一実施形態では、第２の決定ユニットは、決定されたメトリックの行列を閾値化することによって画素を決定するように構成される。
【００３５】
一実施形態では、第１の決定ユニットは、形態学的フィルタで空き画素を埋めて、視差推定のために使用される処理済み行列を形成するために、閾値化された再構築されたメトリックの行列を処理するように構成される。
【００３６】
一実施形態では、第１の決定ユニットは、ビューのライトフィールドを表すためのプレノプティックデータの均一性メトリックの行列を再構築することにより、均一性レベルを決定するように構成され得る。
【００３７】
一実施形態では、第１の決定ユニットは、ビューのライトフィールドを表すための非集束型プレノプティックデータのビューの行列から、三色チャネル上のビューの行列の複数のビュー上の各マイクロレンズ画像の対応する画素の均一度（例えば、標準偏差）を計算することにより、各マイクロレンズ画像の均一性レベルを決定するように構成され得る。生データ上の空間座標（ｘ，ｙ）におけるマイクロレンズ画像の対応する画素は、ビューの行列のすべてのビュー上の空間位置（ｘ，ｙ）におけるすべての画素を考慮して決定される（メトリックの行列を作成する）。
【００３８】
一実施形態では、第１の決定ユニットは、非集束型プレノプティックデータから、非集束型プレノプティックデータを捕捉するプレノプティックカメラの各マイクロレンズの中心の位置を推定し、すべてのマイクロレンズ画像から画素を抽出することにより、非集束型プレノプティックデータのビューを逆多重化することによって均一性レベルを決定するように構成され得る。
【００３９】
一実施形態では、第１の決定ユニットは、三色チャネル上のマイクロレンズ画像の標準偏差を計算することによって均一性レベルを決定するように構成され得る。
【００４０】
一実施形態では、第２の決定ユニットは、再構築されたメトリックの行列を閾値化することによって画素を決定するように構成され得る。
【００４１】
一実施形態では、第１の決定ユニットは、形態学的フィルタで空き画素を埋めて、視差推定のために使用される処理済み行列を形成するために、再構築された行列を処理するように構成され得る。
【００４２】
本開示の第３の態様によれば、本開示の第１の態様による方法のステップを実装するためにプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラムが提供される。
【００４３】
本開示の第４の態様によれば、非一時的なコンピュータ可読媒体上に格納され、本開示の第１の態様による方法のステップを実装するためにプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム製品が提供される。
【図面の簡単な説明】
【００４４】
本開示の上記のおよび他の目的、特徴および利点は、図面を参照して、本開示の実施形態に関する以下の説明から明らかになるであろう。
【００４５】
【図１】本開示の実施形態による、非集束型プレノプティックデータの深度を推定する方法のフローチャートである。
【図２】ビューの逆多重化を示す。
【図３】非集束型プレノプティックカメラによって捕捉されたプレノプティックデータの視差を推定するプロセスのフローチャートである。
【図４】Ｌｙｔｒｏカメラによって得られた画像を示す。
【図５】白画像による分割による口径食（ｖｉｇｎｅｔｔｉｎｇ）の補正後の生データを示す。
【図６】図３の長方形で示されるエリアのズームインを示す。
【図７ａ】赤色チャネルおよびズームインに対する標準偏差行列を示す。
【図７ｂ】赤色チャネルおよびズームインに対する標準偏差行列を示す。
【図８ａ】緑色チャネルおよびズームインに対する標準偏差行列を示す。
【図８ｂ】緑色チャネルおよびズームインに対する標準偏差行列を示す。
【図９ａ】青色チャネルおよびズームインに対する標準偏差行列を示す。
【図９ｂ】青色チャネルおよびズームインに対する標準偏差行列を示す。
【図１０ａ】閾値化されたバイナリマスクおよびズームインを示す。
【図１０ｂ】閾値化されたバイナリマスクおよびズームインを示す。
【図１１ａ】拡張（ｄｉｌａｔｉｏｎ）（第１のステップ）の結果およびズームインを示す。
【図１１ｂ】拡張（第１のステップ）の結果およびズームインを示す。
【図１２ａ】浸食（ｅｒｏｓｉｏｎ）（第２のステップ）の結果およびズームインを示す。
【図１２ｂ】浸食（第２のステップ）の結果およびズームインを示す。
【図１３】本開示の実施形態の方法を使用せずに、参考文献１で説明されているブロックマッチング法を使用して推定された視差を示す画像を示す。
【図１４】この予測ステップを考慮して推定された視差を示す画像を示す。
【図１５】本開示の実施形態による、非集束型プレノプティックデータの深度を推定する装置のブロック図である。
【発明を実施するための形態】
【００４６】
以下では、添付の図面に示される実施形態を参照して本開示が説明される。しかし、それらの説明は、本開示を限定するよりもむしろ、単なる例示の目的のために提供されることを理解されたい。さらに、以下では、公知の構造および技法の説明は、本開示の概念を不必要に分かりにくくすることを避けるために省略される。
【００４７】
図１は、本開示の実施形態による、非集束型プレノプティックデータの深度を推定する方法のフローチャートである。
【００４８】
ステップＳ１０１では、非集束型プレノプティックデータのマイクロレンズ画像の均一性レベルを決定する。
【００４９】
均一性レベルは、ライトフィールドを表すプレノプティックデータから推定されたメトリックの行列を再構築することによって決定することができる。各マイクロレンズ画像に対する均一度を推定した後（例えば、標準偏差またはＤＣＴ変換の高周波数帯域における信号のエネルギーの和を計算することによって）、各マイクロレンズ画像に対する推定は、そのマイクロレンズのすべての画素に割り当てられ、従って、生データのすべての画素に均一度が割り当てられる。これらの画素の集合体は、次元において生データと同様の均一性画像を与える。
【００５０】
ビューの行列（および同様に均一性画像からのメトリックの行列）の再構築の例では、異なる視点からのシーンの異なる画像は、最初に、捕捉されたデータから、例えば（ｉ）生データから各マイクロレンズの中心の位置を推定し、（ｉｉ）すべてのマイクロレンズ画像の空間位置（ｕ，ｖ）における画素を抽出することにより、すべての角座標（ｕ，ｖ）についてビュー（ｕ，ｖ）を逆多重化することによって抽出される。ここでは、マイクロレンズ画像は、センサ上の各マイクロレンズの配下で形成される画像に相当する。生データは、ここでは、カメラによって収集された処理を受けていないデータを指す。生データは、この実施形態では、非集束型プレノプティックデータを指す。
【００５１】
この実施形態では、逆多重化方法は、行列を再構築するために使用される。しかし、行列の再構築は逆多重化に限定されず、他の適切な方法も適用できることに留意すべきである。
【００５２】
図２は、プレノプティック生データまたは作成された均一性画像に適用することができるビュー逆多重化を示す。ビュー逆多重化は、２Ｄ生画像からビューの行列へのデータ変換に対処することを理解することができる。逆多重化プロセスは、ある一定の入射角で光線を捕捉するすべての画素がいわゆるビューを作成する同じ画像に格納されるように、生画像の画素を再編成することを含む。各ビューは、異なる角度下でのシーンの投影である。ビューのセットはブロック行列を作成し、中央のビューは、メインレンズの中央部分を通過してセンサに当たる光線を捕捉する画素を格納する。実際に、光線の角度情報は、マイクロレンズ画像の中心に対するマイクロレンズ画像における相対画素位置によって与えられる。従って、図２では、ビュー（２，３）は、生データから「＃」でマーク付けされた画素を取り出すことによって作成される。図２の第２の部分は、角座標（２，３）および（５，６）における２つの逆多重化ビューを示す。
【００５３】
この点に関するより詳細なプロセスは、参考文献１で提供されている。メトリックの行列は、均一性レベルを利用する単なる一例であることに留意すべきである。この目的のため、他の適切ないかなる均一性推定方法も使用することができる。例えば、計算は、メトリックの行列を作成することなく、非集束型プレノプティックデータに対して直接行うことができる。加えて、以下で説明されるように、本開示の実施形態は、マイクロレンズ画像均一性を決定する２つの例のみ（標準偏差およびＤＣＴ変換の高周波数エネルギー）を提供する。しかし、例えば、二次統計、同時生起行列を使用するなど、他のいかなる手法も使用することができる。
【００５４】
ステップＳ１０２では、非集束型プレノプティックデータのマイクロレンズ画像の均一性レベルの関数として、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかである、非集束型プレノプティックデータのマイクロレンズ画像の画素を決定する。
【００５５】
決定のさらなる詳細は、以下の例で与える。
【００５６】
ステップＳ１０２では、非集束型プレノプティックカメラによって捕捉された非集束型プレノプティックデータの構造は、（ｉ）焦点が合っているシーンの一部に属する画素（これらの画素の推定視差はゼロに等しい）、または、（ｉｉ）シーンの非テクスチャ化エリアに属する画素を予測するために利用される。
【００５７】
ステップＳ１０３では、ステップＳ１０２で決定された画素を考慮することなく、視差推定によって非集束型プレノプティックデータの深度を推定する。これは、低いコンピュータ処理能力を有するデバイス（例えば、携帯電話）上で特に有利であり、精度を失うことなく、視差推定の負担を低下させることができる。
【００５８】
ステップＳ１０３では、参考文献２で開示されているシーンのエピポーラ画像に基づくものなど、適切な公知のいかなる視差推定方法も使用することができる。視差推定のための最大事後確率手法については、T.E. BishopおよびP. Favaroを著者とする参考文献“Full-resolution depth map estimation from an aliased plenoptic light field”, ACCV 2010（以下、参考文献３と称する）で論じられており、これもステップＳ１０３で使用することができる。
【００５９】
実施形態の方法を説明するため、最初に考慮すべきは、図２を参照して、ビューＩｉ，ｊの高度にテクスチャ化されたエリアに属する画素である。ここでは、ビューＩｉ，ｊは、ビューの行列の行ｉおよび列ｊにおけるビューを示す。ビューＩｉ，ｊ上の画素（ｘ，ｙ）に対する非ゼロの視差値ｄは、シーンの別のビューＩｋ，ｌにおいて（ビューＩｋ，ｌは、ビューの行列の行ｋおよび列ｌにおけるビューを示す）、画素座標（ｘ＋ｄ＊［ｋ−ｉ］，ｙ＋ｄ＊［ｊ−ｌ］）で同じシーンポイントがサンプリングされることを意味する。すなわち、図２に示されるように、ビューが変わる場合、同じシーンポイントが異なるマイクロレンズ画像においてサンプリングされる。それは、（ｘ，ｙ）を中心とするマイクロレンズ画像が均一である場合、すべてのビュー上の同じ空間座標（ｘ，ｙ）において画像化されたシーンポイントがサンプリングされると推測できることを意味する。また、これは、カメラレンズがシーンのそのテクスチャ化部分に焦点を合わせることも排他的に意味する。
【００６０】
非テクスチャ化エリアの場合、異なる上の異なる空間座標において３Ｄポイントが捕捉されても、上記で言及されるブロックマッチング手法を使用して変位を推定することはできない。ブロックマッチング手法は、画素強度を比較することによって変位を局所的に推定することを試み、画素強度は均一エリアでほぼ同じである。そのような事例では、画素視差の推定を試みることは不要である。そのような均一エリアに対する視差は０として開始される。
【００６１】
本開示の実施形態の方法によれば、生データを前処理することにより、視差推定方法が（ｉ）焦点が合っている画素および（ｉｉ）シーンの均一エリアに属する画素に対する視差の推定に時間を費やさないようにすることができる。従って、本方法は、捕捉されたシーンの均一エリアおよび焦点が合っているエリア上の視差推定のコンピュータ処理上のコストを取り除く。また、本方法は、ブロックマッチング解決法に基づく、視差推定方法によって導入されるフォアグラウンド膨張（ｆａｔｔｅｎｉｎｇ）の量も低減する。
【００６２】
次に、非集束型プレノプティックカメラによって捕捉された非集束型プレノプティックデータのマイクロレンズ画像の均一性レベルを決定するプロセスについて詳細に説明する。図３は、均一ではないマイクロレンズ画像に対する１と、均一のマイクロレンズ画像に対する０とを含むマスクを得るためのプロセスを示すフローチャートである。ステップＳ３０１では、例えば、三色チャネル上のマイクロレンズ画像の標準偏差に従って、マイクロレンズ画像の均一性レベルを決定する。
【００６３】
この実施形態では、三色チャネル上の各マイクロレンズ画像のすべての画素間の標準偏差を計算することが提案される。一実施形態では、各マイクロレンズ画像に対する推定は、対応するマイクロレンズのすべての画素に割り当てられ、従って、生データのすべての画素に均一度が割り当てられる。これらの画素の集合体は、次元において生データと同様の均一性画像を与える。
【００６４】
図３のプロセスの方法は、好ましくは、カメラの口径食が任意の有効な手法によってほぼ避けられる際に有効であることに留意するものとする。口径食の補正は異なる方法を使用して行うことができ、口径食補正の詳細は、本開示が重点を置くものではない。一実施形態では、与えられる画像、すなわち、生データは、口径食を補正するために、カメラの同じ焦点およびズームに対応する白画像によって分割される。
【００６５】
図４は、公知のＬｙｔｒｏカメラによって得られた画像を示す。
【００６６】
図５は、対応する白画像による分割による口径食の補正後の生データを示す。口径食を有する主な欠点は、ビューの行列における照明の違いであり、すなわち、周辺サブアパチャビュー（ｓｕｂ−ａｐｅｒｔｕｒｅ  ｖｉｅｗ）は照度が低い。現在、この照明の違いは、対応する白画像によって生データを分割することによって低減される。対応する白画像を使用する理由は、センサ上のマイクロレンズ画像の位置がカメラパラメータ（例えば、カメラのズームおよび焦点）に依存するためであり、従って、平坦な白色のシーンの画像は、各カメラパラメータセットに対する各画素の達成可能な最大の捕捉を与える。従って、白画像上の値は、口径食による重み係数を規定する。
【００６７】
図６は、図５の長方形で示されるエリアのズームインを示す。図６では、高周波数のマイクロレンズ画像の不均一性およびシーンの焦点が合っていない部分が示されている。
【００６８】
マイクロレンズ画像の均一性レベルを評価できるように、この実施形態では、三色チャネルを別に取り扱う。
【００６９】
マイクロレンズ画像の中心は、例えば、参考文献１で説明されている方法を使用して推定することができる。次いで、マイクロレンズ画像の中心により、すべてのマイクロレンズ画像が考慮され、その画像の三色チャネルは、エネルギーの観点から独立して正規化される。すべてのチャネルについて、正規化された画素の標準偏差（Ｓｔｄ）が計算される。一実施形態では、推定された均一性メトリック（標準偏差）は、すべてのマイクロレンズ画像画素に割り当てられ、次いで、出力均一性画像（ｏｕｔｐｕｔ  ｈｏｍｏｇｅｎｅｉｔｙ  ｉｍａｇｅ）の対応する色チャネルに格納される。一実施形態では、この均一性画像は、次いで、メトリックビューの行列を得るために逆多重化される。図７ａおよび７ｂは、赤色チャネルおよびズームインに対して得られた一標準偏差メトリックビューを示す。図７ａおよび７ｂに示されるように、赤色チャネルの画素のみが考慮される。赤色画素の標準偏差は、マイクロレンズ画像ごとに計算される。以下で説明されるように、この実施形態の逆多重化により、サンプリングに対処するために空き画素が挿入され、従って、標準偏差なしの画素を有する。
【００７０】
図８ａおよび８ｂは、緑色チャネルおよびズームインに対する標準偏差行列を示す。赤色チャネルと同様に、マイクロレンズ画像の緑色チャネルの画素のみが考慮される。
【００７１】
図９ａおよび９ｂは、青色チャネルおよびズームインに対する標準偏差行列を示す。青色チャネルの画素のみが考慮される。ステップＳ３０２では、ステップＳ３０１の結果がバイナリマスクを得るための閾値化の対象となり、いずれの画素が、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかであると推定されるかを示す。一実施形態では、このバイナリマスクは、ライトフィールドのサンプリングに正しく対処するために抽出されたビューと同じ逆多重化パターンを有する。
【００７２】
すべての画素に対して、色チャネルに別々に対処するために３つの標準偏差が推定されるという事実を考慮すると、情報をマージして単一チャネル決定マスク（ｓｉｎｇｌｅ−ｃｈａｎｎｅｌ  ｄｅｃｉｓｉｏｎ  ｍａｓｋ）にするために、これらの値を同時に閾値化することが提案される。
【００７３】
そうするため、すべてのチャネルに対して、標準偏差の閾値が設定される。次に、メトリック行列のすべての画素について、３つのすべての色値が設定閾値より少ない場合、その位置の出力バイナリマスクは０に設定される。そうでなければ、バイナリマスクは１に設定される。
【００７４】
図１０ａおよび１０ｂは、１つのビューに対する閾値化されたバイナリマスクおよびズームインを示す。自然な画像では、色彩チャネルはパターンで相関し、それは３つのチャネルで同様の高周波数成分が見られることを意味することを理解することができる。一実施形態において３つのチャネルが同時に閾値化されるのはそのためである。
【００７５】
ステップＳ３０３では、形態学的フィルタで逆多重化の空き画素を埋める。これは、メトリックの行列でも実行することができる。
【００７６】
ステップＳ３０３では、空き画素の近隣の画素に関して、サンプリングに対処するために挿入された空き画素を埋めるために、形態学的フィルタリングが適用される。これは、メトリックの行列でも実行することができる。このステップの結果を用いて、視差を推定すべきか否かを決定することができる。
【００７７】
ステップＳ３０１によって得られたメトリック行列およびステップＳ３０２によって得られたバイナリマスクは両方とも、ライトフィールドの逆多重化パターンに従う、すなわち、非存在マイクロレンズの位置に空き画素が挿入され、ライトフィールドのサンプリングへと続く。視差推定に関する決定を行うためにステップＳ３０１によって得られたバイナリマスクを直接使用する事例と比べると、追加のステップＳ３０２およびＳ３０３を有するこの実施形態は、視差推定のコンピュータ処理上のコストを低減する。
【００７８】
一実施形態によれば、形態学的フィルタリングは、空き画素の近隣の画素に従って空き画素を埋めるために、ステップＳ３０２の結果に適用される。これは、逆多重化（参考文献１で論じられているものなど）が使用される際に必要とされる。次に、このステップのより詳細な説明を与える。
【００７９】
一実施形態では、１の２×２の行列として構造要素（ＳＥ）が定義され、（第１に）そのような構造要素ＳＥによってバイナリマスクが拡張され、（第２に）同じ構造要素ＳＥによって第１のステップの結果が浸食される。これらの２つのステップの組合せは、マスクの形態学的クロージングと称される。
【００８０】
図１１ａおよび１１ｂは、拡張（第１のステップ）の結果およびズームインを示す。
【００８１】
図１２ａおよび１２ｂは、浸食（第２のステップ）の結果およびズームインを示す。
【００８２】
結果画像は０および１のみを含み、０は、視差推定が不要であることが既に知られている決定された画素に対処し、１は、視差推定が必要な画素を指す。
【００８３】
ステップＳ３０３の結果は、非集束型プレノプティックデータの深度を推定するために、いかなる視差推定方法でも使用することができる。従って、深度は、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかであると決定された画素を考慮することなく、視差推定によって推定される。
【００８４】
図４に示される画像では、結果は、７０％を超える画素において視差推定が不要であることを示している。
【００８５】
次に、この実施形態の方法によって生成された視差マップを、この方法を使用しないものと比較する。
【００８６】
図１３は、本開示の実施形態の方法を使用せずに、参考文献１で説明されているブロックマッチング法を使用して推定された視差を示す画像を示す。
【００８７】
図１４は、本開示の実施形態の方法によって推定された視差を示す画像を示す。図１４に示されるように、図１３の事例と比べると、より少ない数の画素が視差推定を必要とする。これらの画素は、シーンの焦点が合っていない部分の高周波数を含むように良好に検出されている。また、図１３のものと比べて、ブロックマッチング法のフォアグラウンド膨張が取り除かれており、この視差マップの薄いエッジを見ることによって観察することができる。
【００８８】
参考文献１で説明されているブロックマッチング法が深度推定に使用される事例では、視差予測の提案された前処理モジュールのおかげで結果の精度が向上している。ブロックマッチング法は、フォアグラウンド膨張効果に直面し、これは、シーンエッジ上の推定された視差は正確であるが、近隣においてエッジから離れると、背景画素の視差はエッジの視差と等しいものとして誤って推定される（すなわち、視差マップのエッジが太くなる）ことを意味する。この結果、前景のエッジの周りの背景が誤った視差値を有することになる。本開示の実施形態は、エッジおよびぼやけた高周波数を正確に検出し、他の場所における視差推定を切り捨てることにより、視差マップのそのような不正確さを防止することができる。
【００８９】
図１５は、本開示の実施形態による、非集束型プレノプティックデータの深度を推定する装置のブロック図である。
【００９０】
図１５に示されるように、非集束型プレノプティックデータの深度を推定する装置１５００は、非集束型プレノプティックデータのマイクロレンズ画像の均一性レベルを決定する第１の決定ユニット１５０１を含む。
【００９１】
装置１５００は、非集束型プレノプティックデータのマイクロレンズ画像の計算された均一性レベルの関数として、ゼロに等しい視差を有するかまたは均一エリアに属するかのいずれかである、非集束型プレノプティックデータのマイクロレンズ画像の画素を決定する第２の決定ユニット１５０２をさらに含む。
【００９２】
装置１５００は、決定された画素を考慮することなく、視差推定によって非集束型プレノプティックデータの深度を推定する推定ユニット１５０３をさらに含む。
【００９３】
装置１５００は、プレノプティックカメラによって捕捉された非集束型プレノプティックデータの後処理のために使用することができる。この目的のため、装置１５００は、プレノプティックカメラに埋め込むことも、別個のデバイスとして提供することもできる。
【００９４】
本開示は、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサまたはそれらの組合せの様々な形態で実装できることを理解されたい。そのうえ、ソフトウェアは、好ましくは、プログラム記憶装置上で有形に具体化されるアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適切なアーキテクチャを含むマシンにアップロードし、そのマシンによって実行することができる。好ましくは、マシンは、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）および入力／出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実装される。また、コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードも含む。本明細書で説明される様々なプロセスおよび機能は、マイクロ命令コードの一部またはアプリケーションプログラムの一部（またはそれらの任意の組合せ）であり得、オペレーティングシステムを介して実行することができる。加えて、コンピュータプラットフォームには、追加のデータ記憶装置および印刷デバイスなどの様々な他の周辺デバイスを接続することができる。
【００９５】
本開示がその実施形態を参照して上記で説明されている。しかし、それらの実施形態は、本開示を限定するよりもむしろ、単なる例示の目的のために提供される。本開示の範囲は、添付の請求項およびその均等物によって定義される。当業者は、本開示の範囲から逸脱することなく、様々な変形形態および変更形態をなし得、それらはすべて本開示の範囲内に入る。
【図１】
2017537396.tif 000003
【図２】
2017537396.tif 000004
【図３】
2017537396.tif 000005
【図４】
2017537396.tif 000006
【図５】
2017537396.tif 000007
【図６】
2017537396.tif 000008
【図７ａ】
2017537396.tif 000009
【図７ｂ】
2017537396.tif 000010
【図８ａ】
2017537396.tif 000011
【図８ｂ】
2017537396.tif 000012
【図９ａ】
2017537396.tif 000013
【図９ｂ】
2017537396.tif 000014
【図１０ａ】
2017537396.tif 000015
【図１０ｂ】
2017537396.tif 000016
【図１１ａ】
2017537396.tif 000017
【図１１ｂ】
2017537396.tif 000018
【図１２ａ】
2017537396.tif 000019
【図１２ｂ】
2017537396.tif 000020
【図１３】
2017537396.tif 000021
【図１４】
2017537396.tif 000022
【図１５】
2017537396.tif 000023
【国際調査報告】
2017537396.tif 000024
2017537396.tif 000025