(57)【要約】【課題】本発明は、多視点画像の奥行き推定方法及び奥行き推定装置を提供する。【解決手段】該方法は、同一のシーンの複数の画像の各画像を現在の画像として、現在の画像における各画素の初期奥行き値を取得するステップと、現在の画像を複数のスーパーピクセルに分割するステップと、該初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得するステップと、スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成するステップと、を含み、該所定の制約条件は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する共通連結制約を含む。【選択図】図１
2018142303.tif 000002
【特許請求の範囲】
【請求項１】
多視点画像の奥行き推定方法であって、
同一のシーンの複数の画像の各画像を現在の画像として、
現在の画像における各画素の初期奥行き値を取得するステップと、
現在の画像を複数のスーパーピクセルに分割するステップと、
前記初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得するステップと、
スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成するステップと、を含み、
前記所定の制約条件は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する共通連結制約を含む、方法。
【請求項２】
前記所定の制約条件は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像における投影点との特徴の差に関連する画像一致性制約をさらに含み、
前記参照画像は、複数の画像のうち現在の画像以外の画像である、請求項１に記載の方法。
【請求項３】
前記所定の制約条件は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像に投影した第１投影点を現在の画像に再び投影した第２投影点との位置の差に関連する幾何学的一致性制約をさらに含み、
前記参照画像は、複数の画像のうち現在の画像以外の画像である、請求項１に記載の方法。
【請求項４】
前記所定の制約条件は、類似の特徴を有する隣接のスーパーピクセルの選定点の間の奥行きの差に関連する共平面性制約をさらに含む、請求項１に記載の方法。
【請求項５】
隣接する２つのスーパーピクセルにおける画素の初期奥行き値の平均値の差の絶対値が所定の閾値よりも小さい場合は、隣接する２つのスーパーピクセルが互いに遮られないと判断される、請求項１に記載の方法。
【請求項６】
隣接する２つのスーパーピクセルにおける画素の初期奥行き値の平均値の差の絶対値が所定の閾値以上である場合は、隣接する２つのスーパーピクセルが互いに遮られていると判断される、請求項１に記載の方法。
【請求項７】
隣接のスーパーピクセルにおける近接点は、隣接のスーパーピクセルの隣接の境界における画素を含む、請求項１に記載の方法。
【請求項８】
現在の画像における各画素の初期奥行き値を取得するステップは、
現在の画像における各画素について、
該画素に対応する、複数の画像のうち現在の画像以外の画像である参照画像における、該画素の仮定奥行き値に基づく投影点を決定するステップと、
該画素と全ての投影点との特徴の差の総和を算出するステップと、
最小の特徴の差の総和に対応する仮定奥行き値を、該画素の初期奥行き値として選択するステップと、を含む、請求項１に記載の方法。
【請求項９】
現在の画像を複数のスーパーピクセルに分割するステップは、
現在の画像における類似の特徴を有する連結領域をスーパーピクセルとして決定するステップ、を含む、請求項１に記載の方法。
【請求項１０】
多視点画像の奥行き推定装置であって、同一のシーンの複数の画像の各画像を現在の画像として処理を行い、該奥行き推定装置は、
現在の画像における各画素の初期奥行き値を取得する取得手段と、
現在の画像を複数のスーパーピクセルに分割する分割手段と、
前記初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得するパラメータ生成手段と、
スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成する奥行き値生成手段と、を含み、
前記所定の制約条件は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する共通連結制約を含む、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の技術分野に関し、具体的には、多視点画像の奥行きを正確に推定できる方法及び装置に関する。
【背景技術】
【０００２】
近年、コンピュータビジョン技術は、急速に発展しており、エンターテインメント、バーチャルリアリティ、ロボットなどで幅広く応用されている。その中で、多視点立体（ＭＶＳ：Ｍｕｌｔｉ−Ｖｉｅｗ  Ｓｔｅｒｅｏ）再構築は基本的かつ重要であり、その目的は、複数の較正された画像から三次元の対象又はシーンの奥行き画像を自動的に取得することである。
【０００３】
従来のＭＶＳ再構築アルゴリズムは、較正された各画像について奥行き画像を算出する。例えば、マルコフ確率場を用いて各画素のローカル及びグローバルの関係を構築する。しかし、従来の方法は、オクルージョン領域における画素の奥行きを誤って推定し、平滑化し過ぎる奥行き画像を生成してしまう場合がある。
【０００４】
従って、本発明は、多視点画像の奥行きを正確に推定し、オクルージョン領域における画素の奥行きの誤った推定及び平滑化し過ぎる奥行き画像の生成を回避することを目的とする。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以下は、本発明の態様を基本的に理解させるために、本発明の簡単な概要を説明する。なお、この簡単な概要は、本発明を網羅的な概要ではなく、本発明のポイント又は重要な部分を意図的に特定するものではなく、本発明の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【０００６】
本発明は、多視点画像の奥行きを正確に推定できる方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を実現するために、本発明の１つの態様では、多視点画像の奥行き推定方法であって、同一のシーンの複数の画像の各画像を現在の画像として、現在の画像における各画素の初期奥行き値を取得するステップと、現在の画像を複数のスーパーピクセルに分割するステップと、前記初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得するステップと、スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成するステップと、を含み、前記所定の制約条件は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する共通連結制約を含む、方法を提供する。
【０００８】
本発明のもう１つの態様では、多視点画像の奥行き推定装置であって、同一のシーンの複数の画像の各画像を現在の画像として処理を行い、該奥行き推定装置は、現在の画像における各画素の初期奥行き値を取得する取得手段と、現在の画像を複数のスーパーピクセルに分割する分割手段と、前記初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得するパラメータ生成手段と、スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成する奥行き値生成手段と、を含み、前記所定の制約条件は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する共通連結制約を含む、装置を提供する。
【０００９】
本発明のもう１つの態様では、機器が読み取り可能なプログラムコードを含む記憶媒体であって、情報処理装置において該プログラムコードを実行する際に、該プログラムコードを介して該情報処理装置に本発明の上記の方法を実行させる、記憶媒体をさらに提供する。
【００１０】
本発明のもう１つの態様では、機器が実行可能な命令を含むプログラムプロダクトであって、情報処理装置において該命令を実行する際に、該命令を介して該情報処理装置に本発明の上記の方法を実行させる、プログラムプロダクトをさらに提供する。
【図面の簡単な説明】
【００１１】
本発明の上記及び他の目的、特徴及び利点を理解させるために、以下は図面を参照しながら本発明の実施例を説明する。図面における構成は単なる本発明の原理を示すためのものである。図面において、同一又は類似の技術的特徴又は構成は、同一又は類似の符号で示されている。
【図１】本発明の実施例の多視点画像の奥行き推定方法を示すフローチャートである。
【図２】初期奥行き値の取得方法の一例を示す図である。
【図３】本発明の実施例の多視点画像の奥行き推定装置の構成を示すブロック図である。
【図４】本発明の実施例の方法及び装置を実施するためのコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。
【００１３】
なお、本発明を明確にするために、図面には本発明に密に関連する装置の構成要件又は処理のステップのみが示され、本発明と関係のない細部が省略される。また、本発明の１つの図面又は１つの実施形態で示す要素及び特徴を１つ又は複数の他の図面又は実施形態で示す要素及び特徴と組み合わせてもよい。
【００１４】
本発明の基本的な思想は、スーパーピクセル（ｓｕｐｅｒ  ｐｉｘｅｌ）の概念に基づいて平面パラメータを導入し、奥行きの代わりに平面パラメータを用いて奥行き値を算出することである。このプロセスでは、４種類の制約条件が導入されている。
【００１５】
以下は、図１を参照しながら本発明の実施例の多視点画像の奥行き推定方法のフローを説明する。
【００１６】
図１は本発明の実施例の多視点画像の奥行き推定方法を示すフローチャートである。図１に示すように、該方法は、同一のシーンの複数の画像の各画像を現在の画像として以下の処理を実行する。現在の画像における各画素の初期奥行き値を取得し（ステップＳ１）、現在の画像を複数のスーパーピクセルに分割し（ステップＳ２）、該初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得し（ステップＳ３）、スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成する（ステップＳ４）。
【００１７】
同一のシーンの複数の画像の全ての画像は、現在の画像として処理される。複数の画像における他の画像は、参照画像とされてもよい。
【００１８】
ステップＳ１において、現在の画像における各画素の初期奥行き値を取得する。
【００１９】
即ち、ステップＳ１は、奥行き値の初期値を取得するステップである。なお、該ステップは、従来技術の何れかの技術を用いて奥行き値を取得してもよい。
【００２０】
以下は、図２を参照しながら初期奥行き値の取得方法の一例を説明する。
【００２１】
図２に示すように、現在の画像における各画素の初期奥行き値の取得方法は、複数の画像のうち現在の画像以外の画像を参照画像として用い、現在の画像における各画素について、該画素に対応する参照画像における該画素の仮定奥行き値に基づく投影点を決定し（ステップＳ２１）、該画素と全ての投影点との特徴の差の総和を算出し（ステップＳ２２）、最小の特徴の差の総和に対応する仮定奥行き値を、該画素の初期奥行き値として選択する（ステップＳ２３）。
【００２２】
合計Ｍ個の較正された画像があると仮定すると、そのうち１つは現在の画像であり、残りのＭ−１個の画像は参照画像であり、Ｍは１よりも大きい正整数である。
【００２３】
奥行きの範囲は有限であるため、奥行き範囲をＮ個の離散の奥行き値に均一、或いは不均一に分割（サンプリング）し、奥行き値の範囲としてもよい。
【００２４】
現在の画像における各画素について、該画素がＮ個の離散の奥行き値のそれぞれを有すると仮定し、即ち、該それぞれの奥行き値を仮定奥行き値とする。
【００２５】
ステップＳ２１において、各仮定奥行き値について、該画素の参照画像における投影点を決定してもよい。上記のＭ個の画像は全て較正された画像であるため、カメラの内部パラメータ及び外部パラメータが分かり、奥行き値に基づいて投影点を決定できる。カメラの内部パラメータはカメラそのもののパラメータを意味し、カメラの外部パラメータはカメラの向き、例えば回転、平行移動などに関する。
【００２６】
例えば、Ｍ個の画像のうち１つの現在の画像における１つの画素について、Ｎ個の仮定奥行き値を取得してもよく、各仮定奥行き値について、該画素に対応するＭ−１個の参照画像におけるＭ−１個の投影点を取得してもよい。Ｎ個の仮定奥行き値はＮ組の（各組でＭ−１個の）投影点に対応する。
【００２７】
ステップＳ２２において、該画素と、Ｎ個の仮定奥行き値の１つについて取得された１組、即ちＭ−１個の投影点との特徴の差の総和を算出する。Ｎ個の仮定奥行き値について、Ｎ個の特徴の差の総和を取得できる。
【００２８】
特徴は、例えば色、輝度成分などである。特徴の差は、特徴の差の絶対値、特徴の差の二乗などで表されてもよい。各画素はＭ−１個の特徴の差に対応し、このＭ−１個の特徴の差の総和を算出する。或いは、特徴の差の総和は、特徴の差の二乗の和の根に等しい。
【００２９】
ステップＳ２３において、Ｎ個の仮定奥行き値に対応するＮ個の特徴の差の総和のうち最小の特徴の差の総和に対応する仮定奥行き値を、該画素の初期奥行き値として選択する。
【００３０】
このように、現在の画像における各画素の初期奥行き値を取得できる。
【００３１】
よって、各画像の奥行き画像を取得できる。
【００３２】
ステップＳ２において、現在の画像を複数のスーパーピクセルに分割する。
【００３３】
スーパーピクセルは、類似の特徴を有する一連の隣接の画素により構成された小さな領域であり、画像全体の全ての画素の部分集合である。特徴が類似することは、色、輝度などの特徴が類似することを含む。通常、スーパーピクセルは、画像をさらに分割するための有効な情報を保持し、画像における物体の境界情報を破壊しない。このため、現在の画像における類似の特徴を有する連結領域をスーパーピクセルとして決定してもよい。ここで、任意の適切な画像分割アルゴリズムを用いてもよい。
【００３４】
殆どの３次元シーンは、複数の小さな平面に分割することができる。現在の画像を複数のスーパーピクセルに分割する場合は、各スーパーピクセルが１つの平面にのみある可能性が高い。このため、各スーパーピクセルは１組の平面パラメータに対応する。本発明の意図は、スーパーピクセルのレベルで初期奥行き値を補正し、正確な奥行き値を取得することである。よって、以下で詳細に説明する制約条件は、全てスーパーピクセルに基づくものである。スーパーピクセルの平面パラメータと画素の奥行き値とは、以下の関連関係を有する。
【数１】
2018142303.tif 000003
【００３５】
ここで、ｄはスーパーピクセルにおける画素の奥行きであり、αＴはスーパーピクセルの平面パラメータであり、Ｋ−１はカメラの内部パラメータを表し、
（外１）
2018142303.tif 000004
は画素の座標を表す。
【００３６】
カメラの内部パラメータが既知であるため、各スーパーピクセルにおける各画素について、スーパーピクセルの平面パラメータで画素の奥行きを表すことができる。また、画素の初期奥行き値が既知であるため、所定の制約条件において、最適化問題を解くことによって、所定の制約条件を満たすスーパーピクセルの平面パラメータを取得できる。
【００３７】
ステップＳ３において、該初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得する。
【００３８】
本発明では、４つの制約条件が提案されている。そのうち１つ、２つ、３つ又は４つの制約条件を用いてコスト関数を構築してもよい。コストが最小となるように、最適なスーパーピクセルの平面パラメータを求める。
【００３９】
１つ目の制約条件は共通連結制約である。共通連結制約は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する。
【００４０】
オクルージョン（ｏｃｃｌｕｓｉｏｎ）がない限り、隣接するスーパーピクセルは互いに連結する可能性が高い。このため、オクルージョンがない場合には、隣接する２つのスーパーピクセルの境界における画素、即ち近接点は、接近する奥行き値を有するはずである。このため、共通連結制約は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差を最小にすることを必要とする。
【００４１】
画素の初期奥行き値を用いて、隣接するスーパーピクセルが互いに遮られているか否かを判断してもよい。具体的には、まず、隣接する２つのスーパーピクセルの各スーパーピクセルにおける画素の初期奥行き値の平均値を算出する。そして、隣接する２つのスーパーピクセルの初期奥行き値の平均値の差の絶対値を算出する。該絶対値が所定の閾値よりも小さい場合は、隣接する２つのスーパーピクセルが互いに遮られないと判断される。これは、遮られない隣接のスーパーピクセルの奥行き値が接近するという仮定に一致する。一方、該絶対値が所定の閾値以上である場合は、隣接する２つのスーパーピクセルが互いに遮られていると判断される。
【００４２】
近接点は、隣接する２つのスーパーピクセルの境界における２つ以上の画素を選択してもよく、当業者が実際の要求に応じて近接点の数を指定してもよい。
【００４３】
近接点を決定した後に、上記の式（１）に従ってスーパーピクセルの平面パラメータを用いて近接点の奥行き値を表し、近接点の奥行きの差を求め、コスト関数における共通連結制約に関するコスト項目を構築してもよい。
【００４４】
２番目の制約条件は画像一致性制約である。画像一致性制約は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像における投影点との特徴の差に関連する。
【００４５】
３次元シーンにおける同一の３次元点の異なる画像における投影点は、特徴において高い一致性又は類似性を有するはずである。特徴は、色、輝度などを含む。このため、２番目の制約条件は、現在の画像における各スーパーピクセルにおける幾つかの点（画素）の特徴とこれらの点の参照画像における投影点の特徴との差を最小にすることを必要とする。
【００４６】
現在の画像における画素の奥行き値、カメラの内部パラメータ、外部パラメータに基づいて、該画素に対応する参照画像における投影点を決定できる。このため、上記の式（１）に従ってスーパーピクセルの平面パラメータを用いて選定点の奥行き値を表し、対応する投影点を決定し、選定点とそれに対応する投影点との特徴の差を求め、コスト関数における画像一致性制約に関するコスト項目を構築してもよい。
【００４７】
選定点の数は、当業者により実際の要求に応じて指定されてもよい。選定点はランダムに選択されてもよいし、所定のルールに従って選択されてもよいが、例えば、選定点のスーパーピクセルにおける分布はできるだけ均一である。
【００４８】
３番目の制約条件は幾何学的一致性制約である。幾何学的一致性制約は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像に投影した第１投影点を現在の画像に再び投影した第２投影点との位置の差に関連する。
【００４９】
スーパーピクセルにおける画素を参照画像に投影して、参照画像における投影点（第１投影点）を現在の画像に再び投影して得られた投影点（第２投影点）は、最初の画素の位置に一致するはずである。
【００５０】
現在の画像における画素の奥行き値、カメラの内部パラメータ、外部パラメータに基づいて、該画素に対応する参照画像における第１投影点を決定できる。参照画像における第１投影点の奥行き値、カメラの内部パラメータ、外部パラメータに基づいて、第１投影点に対応する現在の画像における第２投影点を決定できる。このため、上記の式（１）に従ってスーパーピクセルの平面パラメータを用いて選定点の奥行き値、第１投影点の奥行きを表し、選定点と第２投影点との位置の差を求め、コスト関数における幾何学的一致性制約に関するコスト項目を構築してもよい。
【００５１】
選定点と第２投影点との位置の差は、例えばこの２つの点の距離で表されてもよい。
【００５２】
選定点の数は、当業者により実際の要求に応じて指定されてもよい。選定点はランダムに選択されてもよいし、所定のルールに従って選択されてもよいが、例えば、選定点のスーパーピクセルにおける分布はできるだけ均一である。
【００５３】
４番目の制約条件は共平面性制約である。共平面性制約は、類似の特徴を有する隣接のスーパーピクセルの選定点の間の奥行きの差に関連する。
【００５４】
隣接するスーパーピクセルが類似の特徴を有すると、隣接するスーパーピクセルは同一の平面にある可能性が高い。特徴は、色、輝度などを含む。共平面性制約は、類似の特徴を有する隣接のスーパーピクセルの選定点の奥行きの差を最小にすることを必要とする。
【００５５】
選定点の数は、当業者により実際の要求に応じて指定されてもよい。選定点はランダムに選択されてもよいし、所定のルールに従って選択されてもよいが、例えば、選定点のスーパーピクセルにおける分布はできるだけ均一である。選定点の一例は、スーパーピクセルの中央位置における１つ又は複数の画素である。
【００５６】
選定点を決定した後に、上記の式（１）に従ってスーパーピクセルの平面パラメータを用いて選定点の奥行き値を表し、奥行きの差を求め、コスト関数における共平面性制約に関するコスト項目を構築してもよい。
【００５７】
例えば、スーパーピクセルＳｉ及びＳｊは類似の特徴を有する隣接のスーパーピクセルである。スーパーピクセルＳｉにおける中央画素はＣｉであり、スーパーピクセルＳｊにおける中央画素はＣｊである。奥行きの差は、スーパーピクセルＳｉの平面パラメータで表される画素Ｃｉの奥行き値とスーパーピクセルＳｊの平面パラメータで表される画素Ｃｊの奥行き値との差の絶対値であってもよいし、スーパーピクセルＳｉの平面パラメータで表される画素Ｃｉの奥行き値とスーパーピクセルＳｊの平面パラメータで表される画素Ｃｉの奥行き値との差の絶対値であってもよいし、スーパーピクセルＳｉの平面パラメータで表される画素Ｃｊの奥行き値とスーパーピクセルＳｊの平面パラメータで表される画素Ｃｊの奥行き値との差の絶対値であってもよい。
【００５８】
上記の１つ又は複数の制約条件に従ってスーパーピクセルの平面パラメータに基づくコスト項目のコスト関数を構築し、ステップＳ１において取得された初期値を用いて、スーパーピクセルの平面パラメータの最適値を求めることができる。
【００５９】
ステップＳ４において、スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成する。
【００６０】
上記の式（１）から分かるように、スーパーピクセルにおける画素の奥行きとスーパーピクセルの平面パラメータとは互いに解を求めることができる。このため、現在の画像の全てのスーパーピクセルの平面パラメータを取得した後に、現在の画像の全てのスーパーピクセルにおける各画素の奥行き値を取得できる。
【００６１】
同一のシーンの複数の画像における各画像を現在の画像とすることで、複数の画像の対応する奥行き画像を取得できる。
【００６２】
このように、スーパーピクセル及び４つの制約条件を導入することで、正確な奥行き画像を生成できる。
【００６３】
以下は、図３を参照しながら本発明の実施例の多視点画像の奥行き推定装置を説明する。
【００６４】
図３は本発明の実施例の多視点画像の奥行き推定装置の構成を示すブロック図である。図３に示すように、本発明の実施例の多視点画像の奥行き推定装置３００は同一のシーンの複数の画像の各画像を現在の画像として処理を行い、該奥行き推定装置３００は取得部３１、分割部３２、パラメータ生成部３３及び奥行き値生成部３４を含む。取得部３１は、現在の画像における各画素の初期奥行き値を取得する。分割部３２は、現在の画像を複数のスーパーピクセルに分割する。パラメータ生成部３３は、該初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得する。奥行き値生成部３４は、スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成する。ここで、該所定の制約条件は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する共通連結制約を含む。
【００６５】
１つの態様では、該所定の制約条件は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像における投影点との特徴の差に関連する画像一致性制約をさらに含み、該参照画像は、複数の画像のうち現在の画像以外の画像である。
【００６６】
１つの態様では、該所定の制約条件は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像に投影した第１投影点を現在の画像に再び投影した第２投影点との位置の差に関連する幾何学的一致性制約をさらに含み、該参照画像は、複数の画像のうち現在の画像以外の画像である。
【００６７】
１つの態様では、該所定の制約条件は、類似の特徴を有する隣接のスーパーピクセルの選定点の間の奥行きの差に関連する共平面性制約をさらに含む。
【００６８】
１つの態様では、隣接する２つのスーパーピクセルにおける画素の初期奥行き値の平均値の差の絶対値が所定の閾値よりも小さい場合は、隣接する２つのスーパーピクセルが互いに遮られないと判断される。
【００６９】
１つの態様では、隣接する２つのスーパーピクセルにおける画素の初期奥行き値の平均値の差の絶対値が所定の閾値以上である場合は、隣接する２つのスーパーピクセルが互いに遮られていると判断される。
【００７０】
１つの態様では、隣接のスーパーピクセルにおける近接点は、隣接のスーパーピクセルの隣接の境界における画素を含む。
【００７１】
１つの態様では、取得部３１は、現在の画像における各画素について、該画素に対応する、複数の画像のうち現在の画像以外の画像である参照画像における、該画素の仮定奥行き値に基づく投影点を決定し、該画素と全ての投影点との特徴の差の総和を算出し、最小の特徴の差の総和に対応する仮定奥行き値を、該画素の初期奥行き値として選択する。
【００７２】
１つの態様では、分割部３２は、現在の画像における類似の特徴を有する連結領域をスーパーピクセルとして決定する。
【００７３】
本発明の多視点画像の奥行き推定装置３００に含まれる各構成部及び各ユニットの処理は、上述した奥行き推定方法に含まれる各ステップにおける処理と類似するため、説明を簡略化するために、これらの構成部及びユニットの詳細な説明を省略する。
【００７４】
なお、上記装置における各構成要件、ユニットはソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせにより実現されてもよい。用いられる具体的な手段又は方式の構成は当業者にとって周知であり、ここでその説明が省略される。ソフトウェア又はファームウェアにより実施されている場合、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ（例えば図４示されている汎用コンピュータ４００）に上記方法を実施するためのソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータは各種のプログラムがインストールされている場合は各種の機能などを実行できる。
【００７５】
図４は本発明の実施例の方法及び装置を実施するためのコンピュータの一例を示すブロック図である。
【００７６】
図４において、中央処理部（即ちＣＰＵ）４０１は、読み出し専用メモリ（ＲＯＭ）４０２に記憶されているプログラム、又は記憶部４０８からランダムアクセスメモリ（ＲＡＭ）４０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ４０３には、必要に応じて、ＣＰＵ４０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ４０１、ＲＯＭ４０２、及びＲＡＭ４０３は、バス４０４を介して互いに接続されている。入力／出力インターフェース４０５もバス４０４に接続されている。
【００７７】
入力部４０６（キーボード、マウスなどを含む）、出力部４０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部４０８（例えばハードディスクなどを含む）、通信部４０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース４０５に接続されている。通信部４０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ部４１０は、入力／出力インターフェース５０５に接続されてもよい。取り外し可能な媒体４１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライブ部４１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部４０８にインストールされている。
【００７８】
ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体４１１を介してソフトウェアを構成するプログラムをインストールする。
【００７９】
これらの記憶媒体は、図４に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体４１１に限定されない。取り外し可能な媒体４１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ４０２、記憶部４０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。
【００８０】
本発明は、機器に読み取り可能な命令コードを記憶するプログラムプロダクトをさらに提供する。該命令コードは機器により読み出されて、上述した本発明の実施例に係る方法を実行できる。
【００８１】
それに応じて、本発明は、機器読み取り可能な命令コードを記憶するプログラムのプロダクトが記録されている記憶媒体をさらに含む。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックを含むが、これらに限定されない。
【００８２】
なお、本発明の具体的な実施例の上記の説明では、１つの態様について説明及び／又は例示された特徴は同一又は類似の方式で１つ又は複数の他の態様に用いられてもよいし、他の態様における特徴と組み合わせてもよいし、他の態様における特徴の代わりに用いられてもよい。
【００８３】
なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【００８４】
また、本発明の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。
【００８５】
以上は本発明の具体的な実施例の説明を通じて本発明を開示するが、上記の全ての実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本発明の保護範囲に含まれるものである。
【００８６】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
多視点画像の奥行き推定方法であって、
同一のシーンの複数の画像の各画像を現在の画像として、
現在の画像における各画素の初期奥行き値を取得するステップと、
現在の画像を複数のスーパーピクセルに分割するステップと、
前記初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得するステップと、
スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成するステップと、を含み、
前記所定の制約条件は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する共通連結制約を含む、方法。
（付記２）
前記所定の制約条件は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像における投影点との特徴の差に関連する画像一致性制約をさらに含み、
前記参照画像は、複数の画像のうち現在の画像以外の画像である、付記１に記載の方法。
（付記３）
前記所定の制約条件は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像に投影した第１投影点を現在の画像に再び投影した第２投影点との位置の差に関連する幾何学的一致性制約をさらに含み、
前記参照画像は、複数の画像のうち現在の画像以外の画像である、付記１に記載の方法。
（付記４）
前記所定の制約条件は、類似の特徴を有する隣接のスーパーピクセルの選定点の間の奥行きの差に関連する共平面性制約をさらに含む、付記１に記載の方法。
（付記５）
隣接する２つのスーパーピクセルにおける画素の初期奥行き値の平均値の差の絶対値が所定の閾値よりも小さい場合は、隣接する２つのスーパーピクセルが互いに遮られないと判断される、付記１に記載の方法。
（付記６）
隣接する２つのスーパーピクセルにおける画素の初期奥行き値の平均値の差の絶対値が所定の閾値以上である場合は、隣接する２つのスーパーピクセルが互いに遮られていると判断される、付記１に記載の方法。
（付記７）
隣接のスーパーピクセルにおける近接点は、隣接のスーパーピクセルの隣接の境界における画素を含む、付記１に記載の方法。
（付記８）
現在の画像における各画素の初期奥行き値を取得するステップは、
現在の画像における各画素について、
該画素に対応する、複数の画像のうち現在の画像以外の画像である参照画像における、該画素の仮定奥行き値に基づく投影点を決定するステップと、
該画素と全ての投影点との特徴の差の総和を算出するステップと、
最小の特徴の差の総和に対応する仮定奥行き値を、該画素の初期奥行き値として選択するステップと、を含む、付記１に記載の方法。
（付記９）
現在の画像を複数のスーパーピクセルに分割するステップは、
現在の画像における類似の特徴を有する連結領域をスーパーピクセルとして決定するステップ、を含む、付記１に記載の方法。
（付記１０）
多視点画像の奥行き推定装置であって、同一のシーンの複数の画像の各画像を現在の画像として処理を行い、該奥行き推定装置は、
現在の画像における各画素の初期奥行き値を取得する取得手段と、
現在の画像を複数のスーパーピクセルに分割する分割手段と、
前記初期奥行き値に基づいて、所定の制約条件に従って、複数のスーパーピクセルの平面パラメータを取得するパラメータ生成手段と、
スーパーピクセルの平面パラメータに基づいて、スーパーピクセルにおける各画素の奥行き値を生成する奥行き値生成手段と、を含み、
前記所定の制約条件は、互いに遮られない隣接のスーパーピクセルにおける近接点の奥行き値の差に関連する共通連結制約を含む、装置。
（付記１１）
前記所定の制約条件は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像における投影点との特徴の差に関連する画像一致性制約をさらに含み、
前記参照画像は、複数の画像のうち現在の画像以外の画像である、付記１０に記載の装置。
（付記１２）
前記所定の制約条件は、各スーパーピクセルにおける選定点と該選定点に対応する参照画像に投影した第１投影点を現在の画像に再び投影した第２投影点との位置の差に関連する幾何学的一致性制約をさらに含み、
前記参照画像は、複数の画像のうち現在の画像以外の画像である、付記１０に記載の装置。
（付記１３）
前記所定の制約条件は、類似の特徴を有する隣接のスーパーピクセルの選定点の間の奥行きの差に関連する共平面性制約をさらに含む、付記１０に記載の装置。
（付記１４）
隣接する２つのスーパーピクセルにおける画素の初期奥行き値の平均値の差の絶対値が所定の閾値よりも小さい場合は、隣接する２つのスーパーピクセルが互いに遮られないと判断される、付記１０に記載の装置。
（付記１５）
隣接する２つのスーパーピクセルにおける画素の初期奥行き値の平均値の差の絶対値が所定の閾値以上である場合は、隣接する２つのスーパーピクセルが互いに遮られていると判断される、付記１０に記載の装置。
（付記１６）
隣接のスーパーピクセルにおける近接点は、隣接のスーパーピクセルの隣接の境界における画素を含む、付記１０に記載の装置。
（付記１７）
取得手段は、現在の画像における各画素について、
該画素に対応する、複数の画像のうち現在の画像以外の画像である参照画像における、該画素の仮定奥行き値に基づく投影点を決定し、
該画素と全ての投影点との特徴の差の総和を算出し、
最小の特徴の差の総和に対応する仮定奥行き値を、該画素の初期奥行き値として選択する、付記１０に記載の装置。
（付記１８）
分割手段は、現在の画像における類似の特徴を有する連結領域をスーパーピクセルとして決定する、付記１０に記載の装置。
【図１】
2018142303.tif 000005
【図２】
2018142303.tif 000006
【図３】
2018142303.tif 000007
【図４】
2018142303.tif 000008