(57)【特許請求の範囲】
【請求項１】
シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるための方法であって、
前記ステレオ画像のセットからステレオ画像のサブセットを選択するステップであって、該サブセットは前記現在のステレオ画像及び少なくとも１つの隣接するステレオ画像を含み、該隣接するステレオ画像は前記現在のステレオ画像に時間的に隣接する、選択するステップと、
前記ステレオ画像のサブセット内の前記ステレオ画像毎に視差ヒストグラムを求めるステップであって、１組の視差ヒストグラムを形成する、求めるステップと、
前記視差ヒストグラムのサブセット内の視差ヒストグラムの対毎に、該視差ヒストグラムの対のヒストグラム間の類似度を表す重み付け係数を求めるステップであって、１組の重み付け係数を生成する、求めるステップと、
前記１組の重み付け係数及び前記１組の視差ヒストグラムに基づいて、前記１組の視差ヒストグラム内の前記視差ヒストグラムの重み付けされた和として重み付け視差ヒストグラムを求めるステップと、
前記重み付け視差ヒストグラムから前記視差探索範囲を求めるステップとを含み、
これらの各ステップはプロセッサによって実行される、シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるための方法。
【請求項２】
前記視差ヒストグラムの各前記対は、前記現在のステレオ画像に対応する現在の視差ヒストグラムを含む、請求項１に記載の方法。
【請求項３】
前記視差ヒストグラムのサブセット内の前記視差ヒストグラムを正規化するステップと、
前記視差ヒストグラムの前記各対間の正規化された差に従って前記１組の重み付け係数を求めるステップとをさらに含み、前記重み付け係数は前記正規化された差に反比例する、請求項１に記載の方法。
【請求項４】
前記視差ヒストグラムの対毎の前記重み付け係数は、以下の式に従って求められ、
【数１】
0005449119.tif 000008
ただし、ｗｎ，ｐは重み付け係数であり、ｎは現在のステレオ画像に対応する視差ヒストグラムの添え字であり、ｐは隣接するステレオ画像に対応する視差ヒストグラムの添え字であり、σＳは重み付け定数であり、ｈｎｎｏｒ及びｈｐｎｏｒは正規化された視差ヒストグラムであり、ｉはヒストグラムビンのための添え字であり、Ｍはヒストグラムビンの全数である、請求項３に記載の方法。
【請求項５】
前記視差ヒストグラムの対毎の前記重み付け係数は、以下の式に従って求められ、
【数２】
0005449119.tif 000009
ただし、ｗｎ，ｐは重み付け係数であり、ｎは現在のステレオ画像に対応する視差ヒストグラムの添え字であり、ｐは隣接するステレオ画像に対応する視差ヒストグラムの添え字であり、ｈｎｎｏｒ及びｈｐｎｏｒは正規化された視差ヒストグラムであり、ｉはヒストグラムビンのための添え字であり、Ｍはヒストグラムビンの全数である、請求項３に記載の方法。
【請求項６】
以下の式に従って、前記重み付け視差ヒストグラムｈｐｗ（ｉ）を求めるステップをさらに含み、
【数３】
0005449119.tif 000010
ただし、ｎは視差ヒストグラムＮ（ｐ）内の視差ヒストグラムである、請求項３に記載の方法。
【請求項７】
各前記ステレオ画像は、右カメラによって取得される画像及び左カメラによって取得される画像を含む、請求項１に記載の方法。
【請求項８】
前記現在のステレオ画像及び前記ステレオ画像のサブセットを更新するステップと、
前記求めるステップを繰り返すステップとをさらに含む、請求項１に記載の方法。
【請求項９】
前記ステレオ画像の前記サブセットは前のステレオ画像及び次のステレオ画像を含む、請求項１に記載の方法。
【請求項１０】
前記ステレオ画像の前記サブセットは前のステレオ画像のみを含む、請求項１に記載の方法。
【請求項１１】
以下の式に従って前記視差ヒストグラムを求めることをさらに含み、
【数４】
0005449119.tif 000011
ただし、ｈ［ｉ］はビンｉのヒストグラムカウントであり、Ｍはビンの全数であり、関数ｆ（ａ，ｂ）は、ａ＝ｂの場合には１に等しく、そうでない場合には０に等しく、ｄｊは、第ｊのマッチング特徴点対の視差値であり、Ｎはマッチング特徴点対の全数であり、Ｂはビンのサイズであり、最も近い代表値Ｄ（・）を有するヒストグラムビンカウントが１だけインクリメントされる、請求項１に記載の方法。
【請求項１２】
疎特徴マッチングに基づいてマッチング特徴点を求めるステップをさらに含む、請求項１に記載の方法。
【請求項１３】
密特徴マッチングに基づいてマッチング特徴点を求めるステップをさらに含む、請求項１に記載の方法。
【請求項１４】
前記重み付け視差ヒストグラム内のヒストグラムビンのサイズ及び該ヒストグラムビンの視差値に従ってしきい値Ｔを求めるステップをさらに含む、請求項１に記載の方法。
【請求項１５】
以下の式に従って前記しきい値Ｔを求めるステップをさらに含み、
【数５】
0005449119.tif 000012
ただし、Ｂはヒストグラムビンのサイズであり、ｄはヒストグラムビンの視差値である、請求項１４に記載の方法。
【請求項１６】
前記視差ヒストグラム及び前記重み付け視差ヒストグラムのビンは１つの視差値に関連付けられる、請求項１に記載の方法。
【請求項１７】
前記重み付け視差ヒストグラムの１組の視差値を求めるステップであって、該１組の視差値内の視差値毎のビンカウントは前記しきい値よりも大きい、求めるステップと、
前記１組の値及び前記ヒストグラムビンのサイズに基づいて前記視差探索範囲を求めるステップをさらに含む、請求項１４に記載の方法。
【請求項１８】
以下の式に従って前記視差探索Ｒを求めるステップをさらに含み、
【数６】
0005449119.tif 000013
ただし、Ｄ（ｉ）は、前記重み付け視差ヒストグラムのビンｈ［ｉ］の値であり、ｉは前記ヒストグラムビンのための添え字であり、Ｔｈはしきい値であり、｛ｋ｝は前記１組の視差値である、請求項１７に記載の方法。
【請求項１９】
シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるためのシステムであって、
前記ステレオ画像のセットからステレオ画像のサブセットを選択する手段であって、該サブセットは前記現在のステレオ画像及び少なくとも１つの隣接するステレオ画像を含み、該隣接するステレオ画像は前記現在のステレオ画像に時間的に隣接する、選択する手段と、
前記ステレオ画像のサブセット内の前記ステレオ画像毎に視差ヒストグラムを求める手段であって、１組の視差ヒストグラムを形成する、求める手段と、
前記１組の視差ヒストグラム内の前記視差ヒストグラムの重み付けされた和として重み付け視差ヒストグラムを求める手段と、
前記重み付け視差ヒストグラム内のヒストグラムビンのサイズ及び該ヒストグラムビンの視差値に従ってしきい値Ｔを求める手段と、
前記重み付け視差ヒストグラムから前記視差探索範囲を求める手段とを含み、前記視差探索範囲を求める手段はプロセッサを含む、シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるためのシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は包括的にはステレオ映像に関し、より詳細には、ステレオ映像内の視差探索範囲を求めることに関する。
【背景技術】
【０００２】
ステレオマッチングのために用いられる密な視差マップは、画像ベースレンダリング、３Ｄシーン再構成、ロボットビジョン及び追跡を含む多数の用途において用いられる。ステレオマッチングのそのような用途は多くの場合に、適切な視差探索範囲に関する知識を想定するか、又は一定の範囲を使用する。
【０００３】
実際に、シーンの視差探索範囲は、多数のステレオマッチング法の使用を容易にする。視差探索範囲がないと、結果として、広い範囲の候補視差値にわたって探索を行なう必要があり、それは一般的には、より多くの計算及びメモリを必要とする。さらに重要なことに、大部分のステレオマッチング法は、不適切な探索範囲を与えられるときに、極小値に陥る可能性が高く、それは視差マップの品質を劣化させる可能性がある。
【０００４】
しかしながら、視差探索範囲を求めるのは複雑な問題であり、たとえば、時間とともにシーン又はカメラ構成が変化するときには特に複雑である。最大視差範囲を求めるための１つの従来の方法は、ステレオ画像間の空間的相関の統計解析に基づく。しかしながら、その方法は、ステレオ画像間に正の視差しか存在しないものと仮定する。
【０００５】
別の視差探索範囲推定法は、確実に安定したマッチングに基づく。その方法では、初期探索範囲を画像のサイズに設定し、その後、階層的にマッチングを実行することによって、視差探索範囲が求められる。
【０００６】
他の方法は、推定過程の一部として直に時間的な制約を課す奥行き推定技法に基づく。しかしながら、そのような技法は、適切な探索範囲を使用しない場合に、誤って照合し、不正確な推定結果に陥る傾向がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、ステレオ映像内の視差探索範囲を求めるための方法を提供することが望ましい。
【課題を解決するための手段】
【０００８】
本発明の実施形態は、時間的に隣接する視差ヒストグラムの重み付けされた和に基づく重み付け視差ヒストグラムから、より確実に視差探索範囲を求めることができるという認識に基づいており、それらの重みは、時間的に隣接する視差ヒストグラム間の奥行き分布の類似度に基づいて、時間一貫性を実行することによって求められる。
【０００９】
本発明の実施形態は、シーンのステレオ画像のセットに基づいて該シーンの現在のステレオ画像のための視差探索範囲を求めるためのシステム及び方法を開示する。該方法は、ステレオ画像のセットからステレオ画像のサブセットを選択するステップであって、該サブセットは現在のステレオ画像及び少なくとも１つの隣接するステレオ画像を含み、該隣接するステレオ画像は現在のステレオ画像に時間的に隣接する、選択するステップと、ステレオ画像のサブセット内のステレオ画像毎に視差ヒストグラムを求めるステップであって、１組の視差ヒストグラムを形成する、求めるステップと、１組の視差ヒストグラム内の視差ヒストグラムの重み付けされた和として重み付け視差ヒストグラムを求めるステップと、重み付け視差ヒストグラムから視差探索範囲を求めるステップとを含む。
【図面の簡単な説明】
【００１０】
【図１Ａ】本発明の一実施形態による、視差探索範囲を求めるための方法のブロック図である。
【図１Ｂ】重み付け視差ヒストグラムを求める概略図である。
【図２Ａ】本発明の一実施形態による、疎特徴マッチングを用いて視差図を求めるための方法のブロック図である。
【図２Ｂ】本発明の一実施形態による、密特徴マッチングに基づいて視差ヒストグラムを求めるための方法のブロック図である。
【図３】本発明の一実施形態による、重み付け視差ヒストグラムを求めるための方法のブロック図である。
【図４】本発明の一実施形態による、しきい値を用いて重み付け視差ヒストグラムから視差探索範囲を求める概略図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態は、時間的に隣接する視差ヒストグラムの重み付けされた和に基づく重み付け視差ヒストグラムから、より確実に視差探索範囲を求めることができるという認識に基づいており、それらの重みは、時間的に隣接する視差ヒストグラム間の奥行き分布の類似度に基づいて、時間一貫性を実行することによって求められる。
【００１２】
図１Ａは、本発明の一実施形態による、視差探索範囲を求めるための方法１００のブロック図を示す。本方法のステップは、当該技術分野において知られているメモリ及び入力／出力インターフェースを含むプロセッサにおいて実行することができる。
【００１３】
シーン１０５のステレオ画像のセット１２０を含むステレオ映像が、右カメラ１１２及び左カメラ１１１によって取得される。各ステレオ画像１２１は、右カメラによって取得される右画像、及び左カメラによって取得される左画像を含む。
【００１４】
ステレオ画像のセットからステレオ画像のサブセットが選択される（１３０）。そのサブセットは現在のステレオ画像１２２及び少なくとも１つの隣接するステレオ画像１２３を含む。隣接するステレオ画像は、現在のステレオ画像に対して時間的に隣接する。一実施形態では、隣接するステレオ画像は隣り合い、たとえば、前の画像、現在の画像及び次の画像である。
【００１５】
たとえば、一実施形態では、ステレオ画像のサブセットは、現在のステレオ画像、前のステレオ画像及び次のステレオ画像を含む。別の実施形態では、そのサブセットは前のステレオ画像のみ、たとえば、２つの前のステレオ画像を含む。しかしながら、他の実施形態では、異なるようにサブセット１３５を選択する。
【００１６】
ステレオ画像のサブセット内のステレオ画像毎に、視差ヒストグラムが求められ（１４０）、１組の視差ヒストグラム１４５が形成される。１組の視差ヒストグラムに基づいて、重み付け視差ヒストグラム（ＷＤＨ）１５５が、それらの視差ヒストグラムの重み付けされた和として求められる（１５０）。
【００１７】
しきい値１６５に基づいて、重み付け視差ヒストグラムから視差探索範囲１７０が求められる。現在のステレオ画像のための視差探索範囲を求めた後に、現在のステレオ画像は、セット１２０からの別のステレオ画像、たとえば、次のステレオ画像で更新され、方法１００の求めるステップが繰り返される。
【００１８】
図１Ｂは、重み付け視差ヒストグラム１５０を求めることを概略的に示す。一実施形態では、重み付け視差ヒストグラムは、１組の重み付け係数１４６に基づいて求められる。後にさらに詳細に説明されるように、重み付け係数は、１組の視差ヒストグラム内の視差ヒストグラムの対毎に求められ、その対におけるヒストグラム間の類似度を表す。一実施形態では、視差ヒストグラムの対は、現在のステレオ画像に対応する視差ヒストグラムを含む。
【００１９】
視差ヒストグラムを求める
疎特徴マッチングに基づく視差ヒストグラム
図２Ａは、本発明の一実施形態による、疎特徴マッチングを用いて視差図２５２を求めるための方法１４０のブロック図を示す。ＫＬＴ（Kanade-Lucas-Tomasi）及びＳＵＲＦ（Speeded up Robust Features）のような疎特徴マッチング法によって、ステレオ画像２１０から初期の１組のマッチング特徴点２２０が計算される。
【００２０】
疎特徴マッチング法は、対象点のための記述子を定義し、勾配法又は最近傍法を用いて、それらの点を追跡して、視差マップ２２６を求める。たとえば、ＳＵＲＦは、スケール及び回転不変の対象点の検出子及び記述子である。ＳＵＲＦは、ヘシアン行列に基づく指標及び分布に基づく記述子を用いる。
【００２１】
Ｎ対のマッチング特徴点を用いるとき、視差ヒストグラムは、以下の式によって計算される（２３０）。
【００２２】
【数１】
0005449119.tif 000002
【００２３】
ただし、ｈ［ｉ］はビンｉのヒストグラムカウントであり、Ｍはビンの全数であり、関数ｆ（ａ，ｂ）は、ａ＝ｂの場合には１に等しく、そうでない場合には０に等しい。マッチング点対の各視差値ｄｊをビンのサイズＢで量子化することによって、最も近い代表値Ｄ（・）を有するヒストグラムビンカウントが１だけインクリメントされる。
【００２４】
密特徴マッチングに基づく視差ヒストグラム
図２Ｂは、密特徴マッチング法２２５に基づいて視差ヒストグラムを求めることを示す。本発明の実施形態によって、視差マップ２２６を求めるために、たとえば、グラフカット、確率伝搬法及びコスト集合に基づく種々の密特徴マッチング法が用いられる。
【００２５】
一実施形態では、計算を少なくするために、視差マップはステレオ画像のサブサンプリングされたものに基づいて計算される。密特徴マッチング法は、左画像内の全ての点に対して右画像内のマッチング点を見つける（又はその逆である）ので、視差マップを求めるだけの十分な数のマッチング点対が存在する。一致した特徴点の対を用いて、式（１）に従って、視差ヒストグラムが計算される。
【００２６】
時間一貫性の実行
視差探索範囲Ｒが不要な視差を有するか、又は有意な視差を見逃す場合には、その特徴マッチング法は極小値に陥る可能性がある。それゆえ、現在のステレオ画像毎に視差探索範囲Ｒの信頼性のある推定値を有することが重要である。
【００２７】
したがって、本発明のいくつかの実施形態は、時間的に隣接するステレオ画像の視差ヒストグラムの間で時間一貫性を実行し、特徴マッチング法が時間的に一貫した方法で使用されるようにする。
【００２８】
一実施形態では、ステレオ画像間の視差分布の類似度に基づいて求められる重み付け係数１４６を用いて、時間的に隣接するヒストグラムの重み付けされた和を計算することによって、重み付け視差ヒストグラムが求められる。
【００２９】
シーンの視差分布は、そのシーン又はカメラ構成の変化に依存し、視差ヒストグラムによって表される。そのため、視差ヒストグラムの類似度を用いて、そのシーンの変化、又はカメラ構成の変化を特定すると共に、異常値の影響を小さくする。
【００３０】
図３は、本発明の一実施形態による、重み付け視差ヒストグラムを求めるための方法を示す。ステレオ画像１３５のサブセット内のステレオ画像毎に、視差ヒストグラム１４５が求められ（１４０）、正規化される（３１０）。これは、マッチング点の全数が、時間的に隣接するステレオ画像間で異なるためである。
【００３１】
一実施形態では、重み付け係数は、視差ヒストグラムのサブセット内の視差ヒストグラムの対毎に求められ、１組の重み付け係数が生成される。別の実施形態では、視差ヒストグラムの各対が、現在のステレオ画像に対応する現在の視差ヒストグラムを含む。
【００３２】
さらに別の実施形態では、視差ヒストグラムのサブセット内の視差ヒストグラムは正規化され、視差ヒストグラムの各対間の正規化された差に従って、１組の重み付け係数が求められ、その重み付け係数は、正規化された差に反比例する。
【００３３】
この実施形態では、重み付け係数ｗ３２５は以下の式によって求められる（３２０）。
【００３４】
【数２】
0005449119.tif 000003
【００３５】
ただし、ｗｎ，ｐは重み付け係数であり、ｎは現在の視差ヒストグラムのための添え字であり、ｐは時間的に隣接する視差ヒストグラムのうちの１つのための添え字であり、σＳは重み付け定数であり、ｈｎｎｏｒ及びｈｐｎｏｒはそれぞれ、現在のステレオ画像及び時間的に隣接するステレオ画像のための正規化された視差ヒストグラムであり、ｉはヒストグラムビンのための添え字であり、Ｍはヒストグラムビンの全数である。典型的には、重み付け係数ｗｎ，ｐは０〜２の範囲内にある。
【００３６】
別の実施形態では、２つの確率分布の類似度を表す、カルバック・ライブラーダイバージェンスを用いて、以下の式に従って重み付け係数を計算する。
【００３７】
【数３】
0005449119.tif 000004
【００３８】
重み付け視差ヒストグラムｈｐｗ（ｉ）１４５は、以下の式に従って、時間的に隣接するヒストグラムの重み付けされた総和３３０として求められる。
【００３９】
【数４】
0005449119.tif 000005
【００４０】
ただし、ｎは１組の視差ヒストグラムＮ（ｐ）内の視差ヒストグラムである。
【００４１】
視差探索範囲を求める
図４は、しきい値１６５を用いて、視差探索範囲１７０を求めるために用いることができるヒストグラム１６０を示す。一実施形態において、しきい値は、正の視差を有する点の方が負の視差を有する点よりも重要であるという仮定に基づいて決定される。これは、人の視覚系（ＨＶＳ）は近くにある物体により敏感であるためである。したがって、しきい値Ｔは、以下の式に従って求められる。
【００４２】
【数５】
0005449119.tif 000006
【００４３】
ただし、Ｂはビンのサイズであり、ｄは重み付け視差ヒストグラム内のビンに対応する視差値である。
【００４４】
その後、視差探索範囲Ｒは以下の式に従って求められる。
【００４５】
【数６】
0005449119.tif 000007
【００４６】
ただし、Ｄ（ｉ）は、ヒストグラムビンの代表的な視差値であり、ｉはヒストグラムビンのための添え字であり、ｈ［ｉ］はビンカウントであり、Ｔｈは、式（５）において規定されるしきい値であり、｛ｋ｝は所与の制約を満たす１組の視差値を表す。
【００４７】
式（６）によって規定される視差探索範囲は、しきい値Ｔｈよりも大きいヒストグラムビンｈ［ｉ］に関連付けられる視差値を、１組の視差値｛ｋ｝の一部と見なす。１組の視差値は、ビンサイズから生じる量子化の影響を考慮するために、±Ｂ／２だけ拡張される。
【００４８】
一実施形態は、重み付け視差ヒストグラムの孤立値が視差探索範囲の一部とならないようにする。たとえば、ヒストグラムの値ｈ［ｉ］がしきい値よりも大きいが、隣接値ｈ［ｉ＋１］及びｈ［ｉ−１］がしきい値よりも小さい場合には、値ｈ［ｉ］は信頼性がないと見なされ、視差探索範囲から除外される。
【００４９】
別の実施形態は、式（６）に従って求められる視差探索範囲へのさらなる制約を使用し、たとえば、最大視差値４１０と最小視差値４１１との間の全ての視差値が視差探索範囲に含まれる。
【００５０】
本発明を、好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で他のさまざまな適合及び変更を行えることが理解されるべきである。したがって、本発明の真の精神及び範囲内に入るすべての変形及び変更を包含することが、添付の特許請求の範囲の目的である。
【図１Ａ】
0005449119.tif 000014
【図１Ｂ】
0005449119.tif 000015
【図２Ａ】
0005449119.tif 000016
【図２Ｂ】
0005449119.tif 000017
【図３】
0005449119.tif 000018
【図４】
0005449119.tif 000019