(57)【要約】【課題】  視差マップを使用して、シーンの奥行き情報を好適に表現する方法を提供する。【解決手段】  本発明の画像データ処理法は、（ａ）同じシーンの複数の画像を提供する（２０）ステップと、（ｂ）その複数の画像からの少なくとも２対の画像の対のそれぞれに対して、視差マップを生成する（２２）ステップと、（ｃ）それぞれの視差マップを共通座標系の中に変換する（２４）ステップと、変換された視差マップをマージしてシーンの奥行き情報に関する単一の表現を提供する（２５）ステップとを含む。【選択図】  図８
2006091011.tif 000002
【特許請求の範囲】
【請求項１】
画像データの処理方法であって、
（ａ）１つのシーンの複数の画像を提供するステップ（２０）と、
（ｂ）該複数の画像からの少なくとも２対の画像のそれぞれに対して視差マップを生成するステップ（２２）と、
（ｃ）各視差マップを共通座標系の中に変換するステップ（２４）と、
（ｄ）該変換された視差マップをマージして、該シーンの奥行き情報の単一の表現を提供するステップ（２５）と
を包含する、方法。
【請求項２】
前記共通座標系は、前記複数の画像のうちの１つの画像の視点の位置を含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記複数画像のうちの１つの画像は、前記複数画像の中で最も中央に近い画像であることを特徴とする、請求項２に記載の方法。
【請求項４】
前記ステップ（ｃ）（２４）は、各視差マップに、シア変換およびスケール変換を適用することを包含することを特徴とする、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記変換は、前記共通座標系の中の各位置に、複数の視差を生成することを特徴とする、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記共通座標系の中の各位置において、前記視差の中の最大のものが選択されることを特徴とする、請求項５に記載の方法。
【請求項７】
前記単一の表現の中の視差が得られない位置を記録するために、関数が定義されることを特徴とする、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記関数は、前記単一の表現の中の視差が得られない各位置に対して、視差の値を生成するために使用されることを特徴とする、請求項７に記載の方法。
【請求項９】
前記視差の値は、視差の得られない領域の両側の視差の値の間の内挿法によって生成されることを特徴とする、請求項８に記載の方法。
【請求項１０】
前記変換された視差マップのそれぞれは、パラメータを用いて表示されることを特徴とする、請求項１から９の何れか一項に記載の方法。
【請求項１１】
前記パラメータは、視点パラメータ、位置、および変換のスケール係数を含むことを特徴とする、請求項１０に記載の方法。
【請求項１２】
各視差マップと前記共通座標系の視差マップとの間の前記変換の前記パラメータは、調査手順を使用して決定されることを特徴とする、請求項１０または１１に記載の方法。
【請求項１３】
前記調査手順は、各視差マップの点における前記視差の値と、前記共通座標系の前記視差マップとの間の距離の平方を最小化することを包含することを特徴とする、請求項１２に記載の方法。
【請求項１４】
前記調査手順は、各視差マップと前記共通座標系の前記視差マップとの相互情報を最大化することを包含することを特徴とする、請求項１２に記載の方法。
【請求項１５】
前記相互情報は、各視差マップおよび前記共通座標系の視差マップ内の前記視差の、（ｉ）結合確率分布と、（ｉｉ）積確率分布と間の依存度の基準を含むことを特徴とする、請求項１４に記載の方法。
【請求項１６】
前記調査は、黄金分割法を含むことを特徴とする、請求項１３から１５のいずれか一項に記載の方法。
【請求項１７】
前記ステップ（ｄ）の前記単一の表現は、前記変換された視差マップの平均値を含むことを特徴とする、請求項１から１６のいずれか一項に記載の方法。
【請求項１８】
前記平均値は、加重平均値であることを特徴とする、請求項１７に記載の方法。
【請求項１９】
前記加重は、各視差マップ内の不確実性から導かれることを特徴とする、請求項１８に記載の方法。
【請求項２０】
前記加重は、各視差マップのインデックスに基づくことを特徴とする、請求項１８に記載の方法。
【請求項２１】
ステレオマッチングアルゴリズムの出力に対して適用されることを特徴とする、請求項１から２０のいずれか一項に記載の方法。
【請求項２２】
請求項１から２１のいずれか一項に記載の方法を包含することを特徴とする、シーンの奥行きマップを生成する方法。
【請求項２３】
請求項１から２０のいずれか一項に記載の方法に従って、新しいビューに対する奥行き情報を生成することを包含することを特徴とする、シーンの新しいビューを合成する方法。
【請求項２４】
請求項１から２０のいずれか一項に従って得られた、前記変換のパラメータ表示化に関連した整合性基準であって、該整合性基準の値はアルゴリズムの性能を表す整合性基準の最適化を包含することを特徴とする、ステレオマッチングアルゴリズムを評価する方法。
【請求項２５】
請求項２４の方法に従った前記アルゴリズムの最適化と、２つあるいはそれ以上の視差マップが、固定された整合性のレベルに到達するまでパラメータ設定を変更することと、を包含することを特徴とする、前記ステレオマッチングアルゴリズムに対するパラメータ設定を決定する方法。
【請求項２６】
請求項１から２５のいずれか一項に記載の方法を実行するコンピュータ（３３）を制御するプログラム。
【請求項２７】
記憶媒体（３１）に貯蔵される、請求項２６に記載のプログラム。
【請求項２８】
請求項２６に記載のプログラムの、通信ネットワーク（３７）を経由しての、送信。
【請求項２９】
請求項１から２５のいずれか一項に記載の方法を、実行するためにプログラムされたコンピュータ。
【請求項３０】
画像データの処理装置であって、
（ａ）シーンの複数の画像を提供するための手段（１〜６）と、
（ｂ）該複数の画像からの少なくとも２対の画像のそれぞれに対する視差マップ（８）を生成するための手段（７）と、
（ｃ）各視差マップを共通座標系の中に変換するための手段（１０）と、
（ｄ）該変換された視差マップ（８）をマージすることにより、該シーンの奥行き情報の単一の表現（９）を提供するための手段（１０）と
を備える、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の方法および装置は、シーンの三次元的構造の表現を提供するための、画像データ処理に関する。
【背景技術】
【０００２】
あるシーンの２つのビューが与えられたとき、対応する画像の特徴（ｆｅａｔｕｒｅｓ）の間の両眼視差（ｂｉｎｏｃｕｌａｒ  ｄｉｓｐａｒｉｔｙ）を推定することが可能である。シーンのある１点の視差（ｄｉｓｐａｒｉｔｙ）は、シーンの画像の撮影に使用したカメラからその点までの距離によって定められる。視差を使用して、合成ビューの中の対応する画像の特徴の位置を予測することが出来る。合成ビューは、カメラ位置が得られないようなシーンの画像である可能性がある。実際には、新しい画像の品質は視差情報の欠落または不正確によって制約を受ける。この理由により、シーンの構造の推定計算を繰り返すことにより、多数のビューの複数の組み合わせのそれぞれに対して視差マップを得ることが望まれる。視差マップは、２つのソース画像のそれぞれの中の、少なくとも１つの与えられた特徴の、視点によって変化する位置を定義する。シーンが固定されている場合は、異なった奥行きの推定計算値を結合することが可能である。
【０００３】
単一の移動中のカメラからのビデオ入力は、シーンの構造の推定計算に使用することが出来る。例えば、Ｍａｔｔｈｉｅｓ、ＫａｎａｄｅおよびＳｚｅｌｉｓｋｉによる「Ｋａｌｍａｎ  Ｆｉｌｔｅｒ−ｂａｓｅｄ  Ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  Ｅｓｔｉｍａｔｉｎｇ  Ｄｅｐｔｈ  ｆｒｏｍ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ３、ｐｐ．２０９〜２３６、１９８９、は、カメラの動きが既知の場合には、オプティカルフロー情報を使用してシーンの奥行きの信頼できる推定計算が可能であることを示している。Ｍａｔｔｈｉｅｓらは、連続するフレームの対に基づく推定計算値の結合にカルマンフィルターを使用している。各推定計算値の不確実さは、オプティカルフローのマッチング手順の残差誤差（ｒｅｓｉｄｕａｌ  ｅｒｒｏｒ）から得られる。この情報は、個々の推定計算値の最適の組み合わせを画像ノイズの適切なモデルに従って得るために使用される。カメラの動きが水平方向の移動に限られる場合には、ビデオの流れは極めて少ない分離を持つ一連のステレオ画像の対として扱われ得る。
【０００４】
ＯｋｕｔｏｍｉおよびＫａｎａｄｅによる「Ａ  Ｍｕｌｔｉｐｌｅ  Ｂａｓｅｌｉｎｅ  Ｓｔｅｒｅｏ」、ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  １５（４）、３５３〜３６３、１９９３、は、異なる分離を持つ複数のステレオ画像の対を使用する、奥行き推定計算アルゴリズムを公開している。１つの固定されたビューが、それぞれ異なる位置から撮られた一連の他の画像と、対にされる。この構成は、Ｍａｔｔｈｉｅｓらによって用いられた対のビデオフレームからによる方法とは定性的に異なる入力を生成する。なぜなら、後者は固定されたビューを含まない。その他の相違点は、ＯｋｕｔｏｍｉおよびＫａｎａｄｅのアルゴリズムは、視差の推定計算値を結合するよりも、異なる画像の対から得られる推定計算値に対する根拠を結合することにある。統合された根拠（ｉｎｔｅｇｒａｔｅｄ  ｅｖｉｄｅｎｃｅ）は、シーンの構造に関する最終的決定を行うために使用される。
【０００５】
ＯｋｕｔｏｍｉおよびＫａｎａｄｅのアルゴリズムは、単純な調査手順に基づいている。与えられた「ソース（源）」点を、他の画像の中の最も似ている「目標」点にマッチングすることによりソース点の視差が推定計算される。より詳細に言えば、ピクセルの領域は、ソースおよび目標の点の周囲に設定される。ソース領域および各目標領域の間の色の差の平方和が計算される。正しい目標位置は、差の平方を最小にするとの仮定に基づいて、この関数の最小値を調べることにより、基礎的な（ｕｎｄｅｒｌｙｉｎｇ）視差が推定計算される。カメラが平行に置かれているので、調査は水平方向のみについてなされ、各画像の点において一次関数が得られる。良く知られるように、この方法にはいくつかの問題点がある。第１に、正しい目標点が最小のマッチング誤差と関連付けられない可能性がある。つまり視差関数の中に虚偽の最小値が存在する可能性を意味する。第２に、真のマッチの正確な位置を定めることは不可能である可能性がある。つまり視差関数の最小値が精度良く求められない可能性を意味する。
【０００６】
ＯｋｕｔｏｍｉおよびＫａｎａｄｅは、これらの問題点に対しては、異なるカメラ分離の範囲を用いることにより、対策を講じることが出来ることを示している。各画像の対に対する点マッチングの値（ｃｏｓｔ）が、視差をカメラ分離距離で割った値として定義され得る「反転奥行き（ｉｎｖｅｒｓｅ  ｄｅｐｔｈ）」に関連して、計算される。その結果として得られる、各ステレオ画像の対に対する関数は、１つのパラメータを共有することとなる。このことは、誤差がお互いに加算されることを得て、与えられた点の本当の反転奥行きが、複合関数の最小値から推定計算出来ることを意味する。ＯｋｕｔｏｍｉおよびＫａｎａｄｅは、この手順が２つの重要な結果をもたらすことを示している。第１に、個別のマッチング関数の中の虚偽の最小値は、複合関数の中では表に現れない傾向にある。第２に、個別の関数が加えられるにつれて、真の最小値が一層正確に求められる傾向にある。
【０００７】
ＳｚｅｌｉｓｋｉおよびＧｏｌｌａｎｄ、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐによる「Ｍｅｔｈｏｄ  ｆｏｒ  Ｐｅｒｆｏｒｍｉｎｇ  Ｓｔｅｒｅｏ  Ｍａｔｃｈｉｎｇ  ｔｏ  Ｒｅｃｏｖｅｒ  Ｄｅｐｔｈｓ，Ｃｏｌｏｒｓ  ａｎｄ  Ｏｐａｃｉｔｉｅｓ  ｏｆ  Ｓｕｒｆａｃｅ  Ｅｌｅｍｅｎｔｓ」、１９９７、米国特許Ｎｏ．５，９１７，９３７は、他の複数ビュー画像の表現を公開している。この方法は、画像の集合（３またはそれ以上が代表的）を共通の座標系の中にマッピングすることを含んでいる。元のカメラの位置、方向および内部パラメータから、必要な投影のための変換が導かれる。共通の画像座標の中の各点は、可能性のあるシーン奥行き（ｓｃｅｎｅ  ｄｅｐｔｈ）の範囲と関連付けられる。各シーン奥行きは、反対に、各入力ビューからの色と関連付けられる。この表現は、ＭａｒｒおよびＰｏｇｇｉｏによる「Ｃｏｏｐｅｒａｔｉｖｅ  ｃｏｍｐｕｔａｔｉｏｎ  ｏｆ  ｓｔｅｒｅｏ  ｄｉｓｐａｒｉｔｙ」、Ｓｃｉｅｎｃｅ  １９４、２８３~２８７、１９７６  で使用された２つのビュー構造を拡張する、一般化された視差空間である。
【０００８】
ＳｚｅｌｉｓｋｉおよびＧｏｌｌａｎｄは、共通の座標系の中の視差マップを推定計算するために異なる画像を使用するのではなく、直接的に新しいビューを与える。これは、視差空間の中の各点の色の平均値および分散を測定することでなされる。各シーンの点の外観は、異なる入力画像の間では整合性が期待され、それ故に対応する分散は小さいと考えられる。各点の平均の色は、分散に反比例するあいまいさ（ｏｐａｃｉｔｙ）と関連付けられる。ＳｚｅｌｉｓｋｉおよびＧｏｌｌａｎｄは、新しいビューの中のピクセルは、各視差の線状の並び（ｒａｙ）に沿って、あいまいさによって加重された平均の色を複合化することにより、推定計算出来ることを示している。
【０００９】
Ｌｅｃｌｅｒｃ、ＬｕｏｎｇおよびＦｕａによる「Ｍｅａｓｕｒｉｎｇ  ｔｈｅ  Ｓｅｌｆ−Ｃｏｎｓｉｓｔｅｎｃｙ  ｏｆ  Ｓｔｅｒｅｏ  Ａｌｇｏｒｉｔｈｍｓ」、Ｐｒｏｃ．Ｅｕｒｏｐｉａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ２０００、ｐｐ．２８２〜２９８、は、ステレオ視差マップの自己整合性を測定する手順を開示している。これは、両眼視対応アルゴリズムを評価するための、および適切なパラメータの設定を決定するための、手段として意図されている。多数の視差マップが同一のシーンの異なる画像から推定計算される場合には、その相互整合性はその正確さの代表値となることが、仮定されている。この仮定は、評価手順には、グランド・トゥルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）なデータを必要としないことを意味する。ＳｚｅｌｉｓｋｉおよびＧｏｌｌａｎｄの与えるスキームの中と同様に、カメラパラメータが画像を共通の座標系の中にマップするために使用される。２つの画像の片方から他方への、マッチされた一対の点は、シーンの中の単一の点を定める。対の１つと、第３の画像からの他の点との間の次のマッチは、同じシーンの点を定める筈である。Ｌｅｃｌｅｒｃ、ＬｕｏｎｇおよびＦｕａのアルゴリズムは、単一のシーンの画像から得られる視差マップのセット（ｓｅｔ）全体についてこの整合性条件を評価する。
【００１０】
ＶｉｏｌａおよびＷｅｌｌｓによる「Ａｌｉｇｎｍｅｎｔ  ｂｙ  Ｍａｘｍｉｓａｔｉｏｎ  ｏｆ  Ｍｕｔｕａｌ  Ｉｎｆｏｒｍａｔｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ２４（２）、ｐｐ．１３７〜１５４、１９７７、は、画像および三次元（３−Ｄ）モデルを登録するために使用可能なアルゴリズムについて記述している。これは、位置合わせされているデータのセットの間の相互情報を最適化することにより、達成される。相互情報基準の利点は、各データのセットが、基礎的な構造の異なる関数を評価することが出来ることである。例えば、表面に垂直のベクトルとピクセルの強度との間の相互情報を最大化することにより、ある三次元モデルが、ある画像と位置合わせされ得る。これは、垂線と強度との間の差異の明確な定義が不足しているにも拘わらず、達成可能である。
【発明の開示】
【課題を解決するための手段】
【００１１】
発明の第１の局面に従って、以下のステップを包含する画像データ処理の方法が提供される。即ち：一シーンの複数の画像の提供するステップ；複数の画像からの少なくとも２対の画像のそれぞれに対する視差マップを生成するステップ；各視差マップの共通座標系への変換ステップ；およびシーンの奥行き情報の単一の表現を提供するための変換された視差マップのマージステップ。
【００１２】
共通座標系は、複数の画像のうちの１つの画像の視点の位置を含み得る。この複数の画像のうちの１つは、複数の画像の中の最も中央位置に近いものであり得る。
【００１３】
ステップ（ｃ）は、各視差マップにシア（ｓｈｅａｒ）変換を適用することを含み得る。
【００１４】
変換は、共通座標系の各位置に複数の視差マップを作成することを得る。共通座標系の各位置において、最大の視差が選択され得る。
【００１５】
視差が得られない、単一表現中の位置を記録するために、関数が定義され得る。この関数は、視差が得られない、単一表現中の位置のそれぞれに対して、視差の値を生成するために使用され得る。この視差の値は、視差が得られない領域の両側における視差の値の間の内挿法によって生成され得る。
【００１６】
変換された各視差マップは、パラメータを用いた表現で記述され得る。パラメータは、視点パラメータ、位置、および変換の尺度係数を含み得る。各視差マップ相互間の変換および視差マップの共通座標系への変換のパラメータは、調査手順を使用して決定され得る。調査手順は、各視差マップの点における視差の値と共通座標系の視差マップとの間の差の平方を最小化する方法を、含み得る。或るいはまた、調査手順は、各視差マップと共通座標系の視差マップの相互情報（ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ）を最大化する方法を、含み得る。相互情報は、各視差マップおよび共通座標系の視差マップ内の視差の、（１）結合確率分布と、（２）積確率分布との間の依存度基準を含み得る。調査は黄金分割法を含み得る。
【００１７】
ステップ（ｄ）の単一の表現は、変換された視差マップの平均値を含み得る。平均値は、加重平均値であり得る。加重は、各視差マップの不確実性（ｕｎｃｅｒｔａｉｎｔｉｅｓ）から導かれ得る。あるいはまた、加重は各視差マップのインデックス（ｉｎｄｅｘ）に基づかれ得る。
【００１８】
本発明の上記局面は、ステレオマッチングアルゴリズムの出力に対して適用され得る。
【００１９】
本発明のさらなる局面に従って、発明の第１の局面に従う方法を含む、シーンの奥行きマップの生成方法が提供される。
【００２０】
本発明のさらなる局面に従って、本発明の第１の局面に従って新しいビューに対する奥行き情報を生成することを含む、シーンの新しいビューの合成方法が提供される。
【００２１】
本発明のさらにさらなる局面に従って、本発明の第１の局面に従って得られた変換のパラメータ化に関する整合性基準（ｃｏｎｓｉｓｔｅｎｃｙ  ｍｅａｓｕｒｅ）、その整合性基準の値はアルゴリズムの性能を表示する（ｉｎｄｉｃａｔｉｖｅ）、の最適化を含む、ステレオマッチングアルゴリズムを評価する方法が提供される。
【００２２】
本発明のさらなる局面は、本発明の以前の局面に従ってアルゴリズムを最適化することを含む、ステレオマッチングアルゴリズムに対するパラメータ設定を決定するための、および２つ以上の視差マップが固定された整合性のレベルに到達するまでパラメータ設定を変更するための、方法を提供する。
【００２３】
本発明のさらなる局面に従って、本発明の上記局面に従う方法を実行する、コンピュータを制御するためのプログラムが提供される。プログラムは記憶媒体に貯蔵され得る。プログラムは通信ネットワークを経由して送信され得る。発明のさらなる局面に従って、発明の上記局面に従う方法を実行するようにプログラムされたコンピュータが提供される。
【００２４】
本発明のさらにさらなる局面に従って、シーンの複数の画像を提供する手段と、複数の画像からの少なくとも２組の画像の対のそれぞれに対して視差マップを生成する手段と、各視差マップを共通座標系の中に変換する手段と、変換された視差マップをマージしてシーンの奥行き情報の単一の表現を提供する手段とを備える、画像データ処理のための装置が提供される。
【００２５】
本発明は、さらに以下の手段を提供する。
【００２６】
（項目１）  
画像データの処理方法であって、
（ａ）１つのシーンの複数の画像を提供するステップ（２０）と、
（ｂ）該複数の画像からの少なくとも２対の画像のそれぞれに対して視差マップを生成するステップ（２２）と、
（ｃ）各視差マップを共通座標系の中に変換するステップ（２４）と、
（ｄ）該変換された視差マップをマージして、該シーンの奥行き情報の単一の表現を提供するステップ（２５）と
を包含する、方法。
【００２７】
（項目２）
上記共通座標系は、上記複数の画像のうちの１つの画像の視点の位置を含むことを特徴とする、項目１に記載の方法。
【００２８】
（項目３）
上記複数画像のうちの１つの画像は、上記複数画像の中で最も中央に近い画像であることを特徴とする、項目２に記載の方法。
【００２９】
（項目４）
上記ステップ（ｃ）（２４）は、各視差マップに、シア変換およびスケール変換を適用することを包含することを特徴とする、項目１から３のいずれか一項に記載の方法。
【００３０】
（項目５）
上記変換は、上記共通座標系の中の各位置に、複数の視差を生成することを特徴とする、項目１から４のいずれか一項に記載の方法。
【００３１】
（項目６）
上記共通座標系の中の各位置において、上記視差の中の最大のものが選択されることを特徴とする、項目５に記載の方法。
【００３２】
（項目７）
上記単一の表現の中の視差が得られない位置を記録するために、関数が定義されることを特徴とする、項目１から６のいずれか一項に記載の方法。
【００３３】
（項目８）
上記関数は、上記単一の表現の中の視差が得られない各位置に対して、視差の値を生成するために使用されることを特徴とする、項目７に記載の方法。
【００３４】
（項目９）
上記視差の値は、視差の得られない領域の両側の視差の値の間の内挿法によって生成されることを特徴とする、項目８に記載の方法。
【００３５】
（項目１０）
上記変換された視差マップのそれぞれは、パラメータを用いて表示されることを特徴とする、項目１から９の何れか一項に記載の方法。
【００３６】
（項目１１）
上記パラメータは、視点パラメータ、位置、および変換のスケール係数を含むことを特徴とする、項目１０に記載の方法。
【００３７】
（項目１２）
各視差マップと上記共通座標系の視差マップとの間の上記変換の上記パラメータは、調査手順を使用して決定されることを特徴とする、項目１０または１１に記載の方法。
【００３８】
（項目１３）
上記調査手順は、各視差マップの点における上記視差の値と、上記共通座標系の上記視差マップとの間の距離の平方を最小化することを包含することを特徴とする、項目１２に記載の方法。
【００３９】
（項目１４）
上記調査手順は、各視差マップと上記共通座標系の上記視差マップとの相互情報を最大化することを包含することを特徴とする、項目１２に記載の方法。
【００４０】
（項目１５）
上記相互情報は、各視差マップおよび上記共通座標系の視差マップ内の上記視差の、（ｉ）結合確率分布と、（ｉｉ）積確率分布と間の依存度の基準を含むことを特徴とする、項目１４に記載の方法。
【００４１】
（項目１６）
上記調査は、黄金分割法を含むことを特徴とする、項目１３から１５のいずれか一項に記載の方法。
【００４２】
（項目１７）
上記ステップ（ｄ）の上記単一の表現は、上記変換された視差マップの平均値を含むことを特徴とする、項目１から１６のいずれか一項に記載の方法。
【００４３】
（項目１８）
上記平均値は、加重平均値であることを特徴とする、項目１７に記載の方法。
【００４４】
（項目１９）
上記加重は、各視差マップ内の不確実性から導かれることを特徴とする、項目１８に記載の方法。
【００４５】
（項目２０）
上記加重は、各視差マップのインデックスに基づくことを特徴とする、項目１８に記載の方法。
【００４６】
（項目２１）
ステレオマッチングアルゴリズムの出力に対して適用されることを特徴とする、項目１から２０のいずれか一項に記載の方法。
【００４７】
（項目２２）
項目１から２１のいずれか一項に記載の方法を包含することを特徴とする、シーンの奥行きマップを生成する方法。
【００４８】
（項目２３）
項目１から２０のいずれか一項に記載の方法に従って、新しいビューに対する奥行き情報を生成することを包含することを特徴とする、シーンの新しいビューを合成する方法。
【００４９】
（項目２４）
項目１から２０のいずれか一項に従って得られた、上記変換のパラメータ表示化に関連した整合性基準であって、該整合性基準の値はアルゴリズムの性能を表す整合性基準の最適化を包含することを特徴とする、ステレオマッチングアルゴリズムを評価する方法。
【００５０】
（項目２５）
項目２４の方法に従った上記アルゴリズムの最適化と、２つあるいはそれ以上の視差マップが、固定された整合性のレベルに到達するまでパラメータ設定を変更することと、を包含することを特徴とする、上記ステレオマッチングアルゴリズムに対するパラメータ設定を決定する方法。
【００５１】
（項目２６）
項目１から２５のいずれか一項に記載の方法を実行するコンピュータ（３３）を制御するプログラム。
【００５２】
（項目２７）
記憶媒体（３１）に貯蔵される、項目２６に記載のプログラム。
【００５３】
（項目２８）
項目２６に記載のプログラムの、通信ネットワーク（３７）を経由しての、送信。
【００５４】
（項目２９）
項目１から２５のいずれか一項に記載の方法を、実行するためにプログラムされたコンピュータ。
【００５５】
（項目３０）
画像データの処理装置であって、
（ａ）シーンの複数の画像を提供するための手段（１〜６）と、
（ｂ）該複数の画像からの少なくとも２対の画像のそれぞれに対する視差マップ（８）を生成するための手段（７）と、
（ｃ）各視差マップを共通座標系の中に変換するための手段（１０）と、
（ｄ）該変換された視差マップ（８）をマージすることにより、該シーンの奥行き情報の単一の表現（９）を提供するための手段（１０）と
を備える、装置。
【発明を実施するための最良の形態】
【００５６】
本発明をより良く理解するために、およびその同一物が有効にもたらされ得ることを示すために、添付図面が、例として参照され得る。
【００５７】
本発明の実施形態は、多数の視差マップを単一の表現にマージ（ｍｅｒｇｅ）するために使用可能である。本発明は、ＯｋｕｔｏｍｉおよびＫａｎａｄｅの方法とも、またＳｚｅｌｉｓｋｉおよびＧｏｌｌａｎｄの方法とも異なるものであり、これら両者は共に単一の表現を、視差マップからではなく、多数の画像から作成する。本方法の実施形態の、更なる応用は、ステレオマッチングアルゴリズムの評価である。この目的は、Ｌｅｃｌｅｒｃ、ＬｕｏｎｇおよびＦｕａと、以下に記述するアプローチは全く異なるものの、共有している。
【００５８】
本発明の実施形態の基本的概念は、同じシーンの複数の画像から推定計算された、多数の視差マップが、共通の視点から再投影され得ることである。ひとたび視差がこの方法で重ね合わされると、それらの視差は単一の表現にマージされることが出来る。この手順には２つの利点がある。第１に、同一の視差に複数の推定値がある場合、より正確な値を得ることが可能となる。第２に、異なる視点からの視差マップをマージすることにより、シーンのより完成された表現を得ることが可能となる。
【００５９】
以下に記述するマージ処理法の利点は、それがいかなるステレオマッチングアルゴリズムの出力に対しても適用が可能であることにある。この処理法は、既存のステレオマッチングシステムの精度および一般性を改善するために使用することが出来る。これと比較すると、Ｏｋｕｔａｎｉおよびｋａｎａｄｅ、ならびにＳｚｅｌｉｓｋｉおよびＧｏｌｌａｎｄのアルゴリズムは、いくつかの画像からの情報を結合するものの、彼らはこれを、特定のマッチング手順の部分として行っている。Ｍａｔｔｈｉｅｓ、ＫａｎａｄｅおよびＳｚｅｌｉｓｋｉの方法は、特別なマッチング手順と結び付けられておらず、しかも各画像の対から得られる視差の推定計算値は、それ以前に得られた推定計算値の全てに依存している。これらの３つのアプローチのうちの何れかを他のステレオマッチングアルゴリズムと組み合わせることは、直接的とは言えない。
【００６０】
Ｌｅｃｌｅｒｃ、ＬｕｏｎｇおよびＦｕａによって記述された手順は、本発明のアプローチと同様に、任意のマッチングアルゴリズムの出力と共に働くように意図されている。しかし彼らの方法は、マッチされた画像の点がシーンの中に後方投影される（ｂａｃｋ−ｐｒｏｊｅｃｔｅｄ）ことを必要とする。このことは、カメラの位置、方向および内部パラメータの正確な推定値が必要とされることを意味する。本発明の方法の実施形態は、この情報を必要としないが、その代わりに、単に原画像が補正されている（ｒｅｃｔｉｆｉｅｄ）ことを仮定する。
【００６１】
以下に記述する方法には、さらなる２つの利点を有する。シーンの視認できる部分は、あるカメラ位置と他のカメラ位置とでは異なるので、計算された視差マップには隙間が存在することがある。これらの隙間は、適切に処理される。さらに、以下に記述する方法は、実行するにあたり効率的および直接的である。
【００６２】
以下に記述する方法は、図１に示すように、ビュー統合システムの部分として使用することが出来る。カメラ１から６は、あるシーンの６個の異なる画像を撮影するために置かれている。画像は同時に撮影されることも、または１つのカメラが順番に各位置に移動して順次に撮影されることも、あり得る。マッチングユニット７は、同一のシーンを現す多数の視差マップ８を作成する。以下に記述する実施形態の方法を実行する積分ユニット１０は、視差マップ８を積分し、単一の視差マップ９を作成する。統合ユニット１１は、元のカメラ位置と対応しない、シーンの新しいビューを提供するために使用される。新しい視点の位置は、入力１２を介して利用者によって制御される。シーンの新しいビューは表示ユニット１３に表示される。
【００６３】
以下に記述する方法はまた、既存のステレオマッチングアルゴリズムを評価するためにも、使用することが出来る。この方法はまた、実際の画像データに基づいてステレオマッチングアルゴリズムに対して適切なパラメータ設定を決定するためにも使用し得る。
【００６４】
図８は、本発明の方法の実施形態の基本的ステップを示すデータ流れ図である。ステップ２０では、例えば図１のカメラ１から６で撮影された、シーンの画像が提供される。ステップ２１では、ステップ２０で得られた画像の中から（複数の）画像の対が選択され、そしてステップ２２では、選択されたされぞれの画像の対に対して視差マップが作成される。ステップ２３では、基準点が選択され、そしてステップ２４では、視差マップが基準点の座標の中に変換される。ステップ２５では、変換された視差マップが一緒にマージされ、シーンの奥行き情報の単一の表現を提供する。
【００６５】
元のカメラは同一の方向を有し、さらに共通のベースラインに沿って置かれていることを仮定すると便利である。これは、例えば、レールに沿って移動する一台のカメラによって画像が得られた場合である。実際に、一般の画像のセットを補正することによって、この関係をインポーズすることは、通常可能である。特に、ベースラインは共通座標系の水平軸と平行であるとの仮定がしばしばなされる。
【００６６】
原則として、視差マップの間の関係は、相対的カメラ位置によって決定される。しかし、この情報が利用できる場合でも、小さな誤差が非常に不満足なアレイメントの原因となり得る。この理由により、以下に記述する最適化手順に対する最初の推定値としては近似値を使用することが出来るものの、ここでは相対位置は要求されない。
【００６７】
共通のベースラインに沿った視点から得られた一連の画像が与えられたならば、ステレオ画像の対のセットが、様々な方法で決定されることが出来る。例えば、異なった対の平均の（またはキクロピアンな）視点が一致することが、要求され得る。この結果、図２に示すように、ベースラインの入れ子式（ｎｅｓｔｅｄ）パターンが得られる。ここでは、対をなすＢ１６、Ｂ２５、Ｂ３４の中心点が全て一致している。これとは別の要求として、図３に示すように、等間隔に分離したキクロピアンな視点を要求することもあろう。ここでは、対をなすＢ１２、Ｂ３４、Ｂ５６は空間的に別個である。本発明のアプローチは、共通のベースラインからのいかなるステレオ画像の対の組に対しても適用することが可能であること、図２および図３は単なる例示にすぎないことが、強調される。
【００６８】
この記述を形式化するために、入力はＫ個の異なる視差マップ、Ｄｋ（ｉ，ｊ）から成ると仮定する。これらの視差マップはそれぞれ、位置を示すパラメータ（ｉ，ｊ）と同様に視点を示すパラメータｔｋの関数、Ｄｋ（ｉ，ｊ，ｔｋ）と表現する必要がある。この関数は、次のように定められる。即ち、適当な視点パラメータｔｋに対して、Ｋ個の視差Ｄｋ（ｉ，ｊ，ｔｋ）が同一のシーンの点によって決定される。また、Ｄｋ（ｉ，ｊ，０）＝Ｄｋ（ｉ，ｊ）の関係が必要とされる。図３に示す「隣接する」カメラ配置に対しては、カメラ位置（分離距離ではなく）のみが変数である。このことは、視差を基準値Ｄｎ（ｉ，ｊ，ｔｎ）と等値すること、即ち適当なｔｋ値に対してＤｋ（ｉ，ｊ，ｔｋ）＝Ｄｎ（ｉ，ｊ，ｔｎ），ｋ≠ｎが、可能となるべきことを意味する。図２の入れ子式カメラ配置に対して、Ｋ個の視差Ｄｋ（ｉ，ｊ，０）は同一のシーンの点によって既に決定されている。しかし、分離距離は変数であるので、視差はスケール係数（ｓｃａｌｅ  ｆａｃｔｏｒ）を導入することによってのみ等値；Ｄｎ（ｉ，ｊ，０）≒ｓｋＤｋ（ｉ，ｊ，０）することが出来る。パラメータｓｋは対応するカメラ分離距離に比例する。
【００６９】
一般に、キクロピアンな視点は一致しない場合が多い。またカメラ位置が等間隔に離れている場合も少ない。このことは、視点パラメータｔｋおよび尺度係数ｓｋの両方が決定される必要があることを意味する；
Ｄｎ（ｉ，ｊ，ｔｎ）≒ｓｋＤｋ（ｉ，ｊ，ｔｋ）。          [１]
基準視点ｎはＫ個のキュクロプス的位置の中から選ばれる。その他のＫ−１個の視差マップはＤｎに提携させ（ａｌｉｇｎｅｄ）られる。その他のＫ−１個の視点との間の平均距離を最小化するために、基準点としては最も「中央」の視点を採ることが自然である。
【００７０】
関数Ｄｋ（ｉ，ｊ，ｔｋ）は原データのシア（ｓｈｅａｒ）変換として定められる。このことは、ｔｋが変化すると、視差マップの各奥行き平面がカメラベースラインと平行な方向に移動することを意味する。移動量は、与えられた平面の視差に比例する。それ故に、ｔｋの与えられた値に対して、新しい関数Ｄｋ（ｉ，ｊ＋ｔｋＤ（ｉ，ｊ））が得られる。しかし、この単純な定義は実用的ではない。なぜならば、視点パラメータが変化すると、以前には視認できた表面が塞がれること、およびその逆があり得るからである。その結果、その関数は与えられた位置（ｉ，ｊ，）において唯一の値を採らない可能性がある。この理由から、パラメータ化は実際的には次のように定められる；
【００７１】
【数１】
2006091011.tif 000003
この方程式の中で、各位置（ｉ，ｊ）における多数の視差を作成するために、シア変換の利用が許容される。得られる最大の視差が、それぞれの点に戻され、これはあらゆる塞がれた表面が無視されたことを意味する。この定義式は、ｔｋＤｋ（ｉ，ｊ０）がピクセルの全数であることを仮定しないことに注意する。また、定義されない領域、そこでは与えられた位置とｔｋの値に対して視差が得られない領域、の問題について言及する必要がある。ある実施形態によれば、視差はＤｋ（ｉ，ｊ，ｔｋ）関数のあらゆる隙間（ｇａｐ）をまたいで内挿される。さらなる実施形態においては、特定の内挿法モデルの導入を避けるために、定義されない領域のトラックを確保し、それを無視する方法を採る。これは、Ｄｋ（ｉ，ｊ，ｔｋ）が正しければＶｋ（ｉ，ｊ，ｔｋ）＝１であり、その他ではＶｋ（ｉ，ｊ，ｔｋ）＝０であるような関数Ｖｋ（ｉ，ｊ，ｔｋ）を使用することで達成される。
【００７２】
以下に示すように、Ｄｋ（ｉ，ｊ，ｔｋ）およびＶｋ（ｉ，ｊ，ｔｋ）を計算することは簡明である。位置ｊ０＝１．．．．Ｊ、の範囲での繰り返し計算（ｉｔｅｒａｔｉｎｇ）により、仮のデータ構造ｆｋ（ｉ，ｊ０）を構成することが出来る；
ｆｋ（ｉ，ｊ０）＝ｊ０＋ｔｋＤｋ（ｉ，ｊ０）。
次に方程式２で定義された関数を、ｆｋ（ｉ，ｊ０）をＤｋ（ｉ，ｊ，ｔｋ）の中の水平方向位置を決定するために使用して、ｊ０＝１．．．．Ｊの範囲での第２の繰り返し計算により、構成することが出来る。より正確に言えば、ｊ０の個々の値に対して、視差Ｄｋ（ｉ，ｊ０）が、ｆｋ（ｉ，ｊ０）を直近の整数に丸めることで得られる、新しい位置の値と比較される。２つの視差のうちの大きいほうが、新しい位置に保存される。これは，次のように表記できる；
【００７３】
【数２】
2006091011.tif 000004
ここで記号「ａ←ｂ」は、ｂの値が変数ａに指定されることを意味する。上記の手順はそれぞれの走査線ｉ＝１，２．．．Ｉに対して個別に適用されることが出来る。
【００７４】
図４は、図２および３に示されたシーンから得られた、いくつかの視差データの部分断面（ｓｌｉｃｅ）を示す。水平方向および視差の座標、それぞれｊおよびｄが記入されている。視差は、カメラベースラインからの距離に反比例する。データの変換が、上の右図にに示されている。変換は、シアおよびスケールを含み、それぞれｔおよびｓによってパラメータ化されている。変換後の正しいデータのサブセットが下の右図に示されている。変換後に、いくつかのｊ座標位置は１つよりも多い視差と関連づけられる。これは方程式２に示すように、得られた視差の中の最大値以外は全て廃棄することにより、解消される。
【００７５】
方程式１のモデルが定義された場合、パラメータｓｋおよびｔｋは、ｋ≠ｎのときにＤｋ（ｉ，ｊ，ｔｋ）がＤｎ（ｉ，ｊ）に位置合わせされる（ａｌｉｇｎｅｄ）ように、決定されなければならない。データが「ラベル付けされていない」ために、パラメータに関して直接解くことは不可能である。言い換えれば、２つの視差マップ、Ｄｋ（ｉｋ，ｊｋ，ｔｋ）及びＤｎ（ｉｎ，ｊｎ，ｔｎ）が与えられたとき、ｊｋおよびｊｎの間のマッピングは不明である（画像が補正されている仮定のもとに、ｉｋ＝ｉｎのマッピングは既知ではあるが）。しかし、適切な調査手順により、パラメータを決定することが出来る。
【００７６】
ｋ≠ｎの、ｔｋ及びｓｋの幾つかあるいは全てを、物理的なカメラ位置から知ることができる。それにもかかわらず、これらのパラメータの小さな誤差が、アライメントの品質に重大な影響を有することがある。この理由から通常、全てのパラメータを、Ｄｋ（ｉ，ｊ，ｔｋ）およびＤｎ（ｉ，ｊ，０）の間の不整合性あるいは整合性）を評価する目的関数に関して、最適化することが有益である。カメラ位置から導かれた推定値は、可能性のあるｓｋおよびｔｋの値の中での探索の出発点として使用することが出来る。
【００７７】
２つの可能性のある目的関数が以下に記述されている。実際には、その両方とも探査する領域において凸関数である。このことは、例えば、黄金分割法（Ｇｏｌｄｅｎ  Ｓｅｃｔｉｏｎ  ｓｅａｒｃｈ）（Ｗｉｌｌｉａｍ  Ｈ．Ｐｒｅｓｓ，Ｂｒｉａｎ  Ｐ．Ｆｌａｎｎｅｒｙ，Ｓａｕｌ  Ａ．ＴｅｕｋｏｌｓｋｙおよびＷｉｌｌｉａｍ  Ｔ．Ｖｅｔｔｅｒｌｉｎｇ，「Ｎｕｍｅｒｉｃａｌ  Ｒｅｃｉｐｅｓ  ｉｎ  Ｃ：Ｔｈｅ  Ａｒｔ  ｏｆ  Ｓｃｉｅｎｔｉｆｉｃ  Ｃｏｍｐｕｔｉｎｇ」．Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ，１９９２）のような、効率の良い最適化手順が使用できることを意味する。
【００７８】
距離の最小化
Ｄｋ（ｉ，ｊ，ｔｋ）およびＤｎ（ｉ，ｊ，０）の間のアライメントを評価する最も簡明な方法は、Ｖｋ（ｉ，ｊ，ｔｋ）＝１であるすべての有効なな位置（ｉ，ｊ）における、各点ごとの２つの関数の距離を合計することである。それぞれのアライメントの間に、パラメータｔｋに加えて尺度係数ｓｋに関して探査することが可能である。しかし、これは、最適化の手順をより複雑化し、より多くの計算を必要とする。その代わりに、与えられたアライメントにおいてＤｋの平均値がＤｎの平均値に等しいことを要求することにより、尺度係数は単純に固定されることが出来る。この方法を選択すれば、以下の定義が導かれる；
【００７９】
【数３】
2006091011.tif 000005
Ｅｎを定義する総和は、Ｖｋ（ｉ，ｊ，ｔｋ）＝１である有効な点について採られる。この総和は、有効な視差の数、｜Ｖｋ｜によって正規化されている。関数Ｅｎ（ｉ，ｊ，ｔｋ）は、（Ｋ−１）個のビューのそれぞれに対して、上述した黄金分割法を用いて、最小化されることが可能である。距離評価法の利点は、それが素早く評価できることである。欠点は、固定された尺度係数ｓｋおよびｓｎが、特に視点ｎおよびｋが大きく異なる場合には、ｔｋの偏った推定結果をもたらし得ることである。
【００８０】
整合性の最大化
この実施形態は、以前に定義された距離最小化手順と対比していくつかの利点を有する。変数ｄｋは、与えられたｔｋに対して、Ｄｋ（ｉ，ｊ，ｔｋ）の中の任意の視差であるとし、また、ｋ≠ｎである変数ｄｎは、Ｄｎ（ｉ，ｊ，ｔｎ）の中の任意の視差であるとする。ここで、２つの確率分布が定義されることが出来る。それは、結合分布ｐｒ（ｄｋ，ｄｎ）および積分布ｐｒ（ｄｋ）ｐｒ（ｄｎ）である。相互情報Ｈｎ（Ｄｋ，ｔｋ）は、２つの分布の間の依存度の尺度として解釈されることが出来る。特に、Ｄｋ（ｉ，ｊ，ｔｋ）がＤｎ（ｉ，ｊ，０）と独立であるときは、Ｈｎ（Ｄｋ，ｔｋ）＝０である。一般に、Ｈｎで評価される依存度は、２つの視差マップが正しく位置合わせされているときには、最大値となる。ビットで計られる相互情報は，つぎのように定義される
【００８１】
【数４】
2006091011.tif 000006
習慣的な０ｌｏｇ２（０）＝０を使用する。Ｅｎ（Ｄｋ、ｔｋ）に対するＨｎ（Ｄｋ，ｔｋ）の利点は、尺度係数ｓｋが無視出来ることである。これは、相互情報が、変数の縮尺（ｓｃａｌｉｎｇ）などの、単調な変換に対しては不変であることによる。
【００８２】
確率ｐｒ（ｄｋ，ｄｎ）およびｐｒ（ｄｋ）ｐｒ（ｄｎ）は、一ピクセルのビン幅（ｂｉｎ−ｗｉｄｔｈｓ）を用いて、視差データのヒストグラムから計算されることができる。ヒストグラムを作るにあたって、二次元（２−Ｄ）配列を使用する必要はない。（ｄｋ，ｄｎ）によって辞書的順序に見出しを付けられた、ビン（ｂｉｎｓ）を含む二進法ツリー構造が、通常よりスペース効率的であり、時間効率に重大な低下はない。上述したとうり、相互情報は、黄金分割法などの手順により、最大化されることが出来る。適したアルゴリズムが図７に、相互情報視差アライメントアルゴリズムを示す、データ流れ図として示されている。各視点ｋ＝１・・・Ｋが、ｋ≠ｎの場合に、処理される。ここにｎは視点の基準点である。パラメータｔｋは、適切に初期値が与えられる（例えばベースラインの比率に関する概略の情報から）。残留するループは黄金分割法などの繰り返し手順であり、ｔｋを更新する毎に相互情報Ｈｎ（Ｄｋ、ｔｋ）を増加させる。相互情報が閾値Ｈｍｉｎよりも大きくまたは等しくなると、つぎのビューが処理される。
【００８３】
共通の視点に位置合わせされた視差マップのセットが、上述したように、単一の表現にマージされることが出来る。これには２つの利点がある。第１に、ランダムな誤差が相殺される傾向にあるために、個々の推定計算値の精度が増加する。第２に、複合された表現の表す範囲は、通常個別の推定結果よりも大きい。一般に、下記の形の加重平均が用いられる；
【００８４】
【数５】
2006091011.tif 000007
ここにパラメータｓｋおよびｔｋは、上述のとおりすでに最適化されている。多くのマッチングアルゴリズムが、各視差推定値Ｄｋ（ｉ，ｊ）に加えて、不確実性σｋ２（ｉ，ｊ）を与える。例えば、視差がミスマッチの尺度を最小にする方法で推定されている場合には、不確実性はこの関数の最小点の曲率から得ることが出来る。視差の不確実性が得られた場合には、次に加重がｗｋ（ｉ，ｊ）＝１/σｋ２（ｉ，ｊ）として定義されることが出来る。あるいは別に、加重はｋのみに依存するとし得る。例えば、より広いベースラインから推定された視差は、偽の（ｆａｌｓｅ）マッチの数が増加するために、加重不足（ｄｏｗｎ−ｗｅｉｇｈｔｅｄ）となり得る。不確実性の値が得られない場合は、σｋ（ｉ，ｊ）＝１と置くことが、個々の推定値の単純平均である値Ｄ＊（ｉ，ｊ）を与える。
【００８５】
方程式５の形は、結合された推定値が得られるに先立って、全てのＫ個の視差マップが得られている必要があることを、示唆する。このことから、必要な貯蔵スペースが視差マップの数に比例すると考えられる。結合された推定値は帰納的に（ｒｅｃｕｒｓｉｖｅｌｙ）計算することが出来るので、その場合にはこれは該当しない。これを理解するためには、視差マップの全個数、Ｋが変数であり、結合された推定値Ｄ＊Ｋ＋１（ｉ，ｊ）が、既存の推定値Ｄ＊Ｋ（ｉ，ｊ）から、新しい視差マップＤＫ＋１（ｉ，ｊ，ｔＫ＋１）と一緒に計算されねばならない場合を想像することである。方程式５の加重平均は、次のように書くことが出来る：
【００８６】
【数６】
2006091011.tif 000008
このスキームは、事実上、唯一つの視差マップが常に蓄えられていることを意味する。方程式５および６の間の関係を知るためには、加重ｗ１およびｗ２と関連付けて２つの視差マップＤ１およびＤ２（ここでは座標ｉ，ｊおよびパラメータｓｋおよびｔｋは無視されている）を考えるとよい。初期値Ｋ＝１を用いて、方程式６は二つの視差マップから結合された推定計算値を計算することが出来る；
【００８７】
【数７】
2006091011.tif 000009
これは加重平均値であり、方程式５からすでに同等に得ることが出来る。図５は図２の中で得られた三つの視差マップの積分を示す。Ｂ２５の対が基準として用いられ、これに対してＢ１６及びＢ３４がスケールされる。Ｓは変換を示し、ｗは加重を示し、また「＋」は三つの視差マップのマージを示す。図の下部に示す出力は、三つの変換された関数の加重合計である。出力の完全さは最も完全な入力（この例ではＢ３４）のそれと等しい。
図６は図３の中で得られた三つの視差マップの積分を示す。Ｂ３４の対が基準として用いられ、これに対してＢ１２およびＢ５６がシアされる。Ｓは変換を示し、ｗは加重を示し、また「＋」は三つの視差マップのマージを示す。図の下部に示す出力は、三つの変換された関数の加重合計である。出力は個々の入力の何れよりも完全である。
【００８８】
上述したアライメント法はステレオマッチングアルゴリズムの評価にも使用することが出来る。原則として、ステレオマッチングアルゴリズムの性能は、画像座標および推定計算された視差を物理的な位置の中に変換すること、およびその結果をシーンのグランド・トゥルース基準と比較すること、により評価されることが出来る。この処理は、正しく較正されたカメラと共に、シーンの詳細なモデルが必要とされるために、しばしば実行不可能である。
【００８９】
この理由のために、アルゴリズムの性能をより容易に評価する、代わりの方法を定めることが有用である。特に、アルゴリズムがシーン構造の偏りのない推定計算値を作成する場合には、結果の（異なる入力ビューに関する）一貫性が性能の有用な評価基準である。整合性に関する２つの評価基準をここに示す。単純なアプローチは、方程式３および４で定義された、評価値の総和を作ることである。例えば、相互情報基準を用いて；
【００９０】
【数８】
2006091011.tif 000010
この定義の１つの問。大部分の配置において、基準として最も中央に近い視点を選択することが自然である。にもかかわらず、より対称的な基準を考慮することが有用であり得る。すなわち対ごとの平均情報は、
【００９１】
【数９】
2006091011.tif 000011
ここにＫ（Ｋ−１）/２は総和の中の項の数である。原理的には、与えられたアライメントの結合相互情報を評価することも可能となる。実際にはこの方法は、関数Ｄｋ（ｉ，ｊ，ｔｋ）の定義されていない領域が何らかの方法で内挿されている場合にのみ、推定計算されることが出来る。定義されていない領域を無視するという方策は、実際のデータに対して、Ｋが増加するにつれて利用可能なサンプルの数が零に近づくために、確率ｐｒ（ｄ１，ｄ２，・・・ｄｋ）の推定計算を実行不可能とする可能性がある。
【００９２】
方程式７および８で定義された整合性基準の何れもが、評価手順の基礎として使用されることが出来る。例えば、図２および３に示されるように、画像のセットからいくつかの視差マップが計算される。つぎに、これらの推定計算値の整合性が上述した最適化手法によって評価される。つぎに、この処理が他のアルゴリズムに対しても繰り返され、その中の最も整合性の高いものが、選ばれる。上記されたように、このアプローチの問題は、視差の推定計算値には系統的な偏りがあり得ることであり、この場合にはそれらは整合しているものの正確でないことがあり得る。しかし、多くのマッチングアルゴリズムでは、偏りはしばしば慎重に考慮のうえで、例えば加重された平滑さのための条件の形で、用いられる。従って、結果の整合性を偏り（ｂｉａｓ）の関数として評価することにより、アルゴリズムを審査することが可能であり得る。
【００９３】
同じ原則が、ステレオマッチングアルゴリズムに対する適切なパラメータ設定の決定を助けるために使用され得る。例えば、簡単な室内シーンの構造を推定計算するために、強い平滑化のための条件を課すことが適切であることがあり得る。しかし、シーンが、例えば葉の茂みを含む風景などの、より複雑な場合には、平滑さのための条件は緩和される必要がある。
【００９４】
方程式７および８で定義された基準は、平滑さ（または他のパラメータ）設定の決定のために使用されることが出来る。例えば、平滑さの設定は、同一のシーンを表現する視差マップの間のある一定の整合度を達成するための最小値として定められることが出来る。実際の設定は、前述のように、標準的調査手順によって見出されることが出来る。
【００９５】
図９の概略図は、上述した画像処理を実行するコンピュータを示す。中央処理装置（ＣＰＵ）３３は読取り専用記憶装置（ＲＯＭ）３０およびランダムアクセス記憶装置（ＲＡＭ）に接続されている。ＣＰＵは画像データ３４をソース画像ソースから入力/出力装置３５を介して供給される。次にＣＰＵは、プログラム記憶装置３１（これはＲＯＭ３０の一部であり得る）によって供給される指示に従って、視差マップの作成および変換を実行して、マージされた視差マップ３６を提供する。プログラムそれ自身、あるいはシステムに対する全ての入力および/または出力は、通信ネットワーク３７、これは例えばインターネットであり得る、に/から供給又は送信される。
【００９６】
上記の実施形態に対して、本発明の範囲から逸脱することなく、添付の請求項の中のセットアウトとして、様々な変更がなされ得ることを、当業者は認めるであろう。
【図面の簡単な説明】
【００９７】
【図１】本発明の一実施形態に従ったビュー合成システムの概略図である。
【図２】本発明の一実施形態に従ったカメラの対である。
【図３】本発明のさらなる実施形態に従ったカメラの位置である。
【図４】図２および図３のシーンから得られた視差データである。
【図５】図２において得られた視差マップの結合を示す、データ流れ図である。
【図６】図３において得られた視差マップの結合を示す、データ流れ図である。
【図７】本発明の一実施形態に従った、相互情報視差アライメントアルゴリズムを示すデータ流れ図である。
【図８】本発明の一実施形態の方法を示した、データ流れ図である。
【図９】本発明の一実施形態に従ったコンピュータの概略図である。
【符号の説明】
【００９８】
１〜６  カメラ
７  マッチングユニット
８、９  視差マップ
１０  積分ユニット
１１  統合ユニット
１２  入力
１３  表示ユニット
２０  シーンの画像を提供するステップ
２１  画像の対を選択するステップ
２２  視差マップを生成するステップ
２３  基準点を選択するステップ
２４  視差マップを変換するステプ
２５  変換された視差マップをマージするステップ
３０  読取り専用記憶装置
３１  プログラム記憶装置
３２  ランダムアクセス記憶装置
３３  中央処理装置
３４  画像データ
３５  入力/出力装置
３６  表示装置
３７  通信ネットワーク
【図１】
2006091011.tif 000012
【図２】
2006091011.tif 000013
【図３】
2006091011.tif 000014
【図４】
2006091011.tif 000015
【図５】
2006091011.tif 000016
【図６】
2006091011.tif 000017
【図７】
2006091011.tif 000018
【図８】
2006091011.tif 000019
【図９】
2006091011.tif 000020