(57)【特許請求の範囲】
【請求項１】
物体のビューの融合深度マップを計算する方法であって：
物体の新たなビューについてカメラ較正データを獲得することと、
新たなビューのカメラ較正に基づいて物体の新たなビューに物体の複数の既知の深度マップのそれぞれを適応することと、
物体の新たなビューの融合深度マップの深度マップ要素を計算することとを含み、ここで前記深度マップ要素のそれぞれは物体の新たなビュー内のピクセルに対応し、また前記深度マップ要素のそれぞれは適応された深度マップ要素のセットのメジアン値を備え、それぞれが複数の適応された深度マップの１つのピクセルに対応し、
深度マップ要素を計算する段階はさらに：
物体の新たなビュー内の各ピクセルについて、該ピクセルに対応する新たなビューの融合深度マップの深度マップ要素を、ピクセルに対応する複数の適応された深度マップ要素の最小値で初期化することと、
物体の新たなビューの領域内に定義される支持行列をゼロに初期化することと、
次の深度マップ候補の要素を無限大に初期化することと、
物体の新たなビューに適応された既知の深度マップそれぞれについて、および物体の新たなビュー内の各ピクセルについて、最小深度マップ値行列を、前記各ピクセルの最小深度マップ値で初期化することと、
ピクセルが適応された深度マップで塞がれている場合、該ピクセルにおける支持行列を１だけ減じることと、
ピクセルが適応された深度マップにより塞がれていない場合、且つ該ピクセルの対応する最小深度マップ値行列要素が該ピクセルの次の深度マップ要素候補よりも小さい場合、該ピクセルにおける次の深度マップ候補の要素を対応する最小深度マップ値行列要素に設定することと、
適応された深度マップがピクセルを通過している場合、該ピクセルにおける支持行列を１だけ増加させることと、
対応する支持行列要素がゼロより大きい新たなビュー内の各ピクセルについて、新たなビューの融合深度マップ要素を対応する次の深度マップ値候補で更新すること
とを含む方法。
【請求項２】
物体のビューの融合深度マップを決定するための方法であって：
融合深度マップを決定するべき物体の所望のビューを選択することと、
それぞれが物体のビューの少なくとも一部を含む、複数の既知の深度マップを選択することと、
複数の既知の深度マップを物体の所望のビューに適応し、所望のビュー内の各ピクセルについて、所望のビューの対応する融合深度マップ要素を、前記ピクセルに対応している複数の適応された深度マップ要素の最小深度マップ値で初期化することと、
大きさについて融合深度マップに対応する支持行列の要素をゼロに設定することと、
大きさについて融合深度マップに対応する次の深度マップ候補の要素を無限大に設定することと、
複数の既知の深度マップそれぞれについて、
既知の深度マップを物体の所望のビューに適応すること、および
所望のビュー内のピクセルそれぞれについて、各前記ピクセルにおいて適応された深度マップの値に基づいて支持行列の対応する要素を更新すること、とを行うことと、
所望のビュー内の各ピクセルについて、
ピクセルの支持行列の値がゼロより大きい場合は、該ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定すること
とを含む方法。
【請求項３】
前記支持行列の対応する要素を更新する段階は：
前記ピクセルにおける最小深度マップ値行列要素を、各前記ピクセルにおける適応された深度マップ値の最小値で初期化することと、
前記ピクセルにおける最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値以下の場合、支持行列の対応する要素を１だけ減じることと、
前記ピクセルにおける最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値より大きい場合、前記ピクセルに対応する次の深度マップ候補および支持行列要素を更新すること
とを含む請求項２に記載の方法。
【請求項４】
前記次の深度マップ候補および支持行列要素を更新する段階は：
ピクセルにおける次の深度マップ値候補を、次の深度マップ値候補と、該ピクセルに対応する最小深度マップ値行列要素との最小値に設定することと、
適応された深度マップがピクセルを通過する場合は、ピクセルに対応する支持行列要素を１だけ増加させること
とを含む請求項３に記載の方法。
【請求項５】
前記支持行列の要素をゼロに設定することから始まる段階を、複数の既知の深度マップの数をｎとして、ｎ−１回繰り返す、請求項２に記載の方法。
【請求項６】
物体のビューの融合深度マップを決定するための方法であって：
融合深度マップを決定するべき物体の所望のビューを選択することと、
それぞれが物体のビューの少なくとも一部を含む、複数の既知の深度マップを選択することと、
複数の既知の深度マップを物体の所望のビューに適応し、所望のビュー内の各ピクセルについて、所望のビューの対応する融合深度マップ要素を、前記ピクセルに対応している複数の適応された深度マップ要素の最小深度マップ値で初期化することと、
大きさにおいて融合深度マップに対応する支持行列の要素をゼロに設定することと、
大きさにおいて融合深度マップに対応する次の深度マップ候補の要素を無限大に設定することと、
複数の既知の深度マップそれぞれについて、
既知の深度マップを物体の所望のビューに適応すること、および
物体の所望のビュー内の各ピクセルについて、
前記ピクセルにおける最小深度マップ値行列要素を、各前記ピクセルにおいて適応された深度マップ値の最小値で初期化すること、
前記ピクセルの最小深度マップ値行列要素が対応するピクセルの融合深度マップ値以下の場合、支持行列の対応する要素を１だけ減じること、および
前記ピクセルの最小深度マップ値行列要素が対応するピクセルの融合深度マップ値より大きい場合、
ピクセルの次の深度マップ候補を、次の深度マップ値候補と、ピクセルに対応する最小深度マップ値行列要素との最小値に設定すること、および
適応された深度マップがピクセルを通過する場合、ピクセルに対応する支持行列要素を１だけ増加することと、
所望のビュー内の各ピクセルについて、
ピクセルの支持行列の値がゼロより大きい場合、該ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定すること
とを含む方法。
【請求項７】
支持行列の要素をゼロに設定する段階から、ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定する段階を、複数の既知の深度マップの数をｎとして、ｎ−１回繰り返す、請求項６に記載の方法。
【請求項８】
物体のビューの融合深度マップを計算するためのシステムであって：
物体の新たなビューについてカメラ較正データを獲得する計測装置と、
新たなビューのカメラ較正に基づいて、物体の新たなビューに物体の複数の既知の深度マップを適応させる統合装置と、
物体の新たなビューの融合深度マップの深度マップ要素を計算するためのプロセッサと
を備え、ここで前記深度マップ要素のそれぞれは物体の新たなビュー内のピクセルに対応し、また前記深度マップ要素のそれぞれは適応された深度マップ要素のセットのメジアン値を有し、それぞれが複数の適応された深度マップの１つのピクセルに対応し、
プロセッサはさらに：
物体の新たなビュー内の各ピクセルについて、該ピクセルに対応する新たなビューの融合深度マップの深度マップ要素を、ピクセルに対応する複数の適応された深度マップ要素の最小値に初期化する第１の初期化装置と、
物体の新たなビューの領域内に定義される支持行列をゼロに初期化する第２の初期化装置と、
次の深度マップ候補の要素を無限大に初期化する第３の初期化装置と、
物体の新たなビューに適応された既知の深度マップそれぞれについて、および物体の新たなビュー内の各ピクセルについて、最小深度マップ値行列を、前記各ピクセルの最小深度マップ値で初期化する第四初期化装置と、
ピクセルが適応された深度マップで塞がれている場合、該ピクセルにおける支持行列を１だけ減じる第１の計算プロセッサと、
ピクセルが適応された深度マップにより塞がれていない場合、且つ該ピクセルの対応する最小深度マップ値行列要素が該ピクセルの次の深度マップ要素候補よりも小さい場合、該ピクセルにおける次の深度マップ候補の要素を対応する最小深度マップ値行列要素に設定する割り当て装置と、
適応された深度マップがピクセルを通過している場合、該ピクセルにおける支持行列を１だけ増加させる第２の計算プロセッサと、
対応する支持行列要素がゼロより大きい新たなビュー内の各ピクセルについて、新たなビューの融合深度マップ要素を対応する次の深度マップ値候補で更新する更新装置
とを備えるシステム。
【請求項９】
物体のビューの融合深度マップを決定するためのシステムであって：
融合深度マップを決定するべき物体の所望のビューを選択する第１の選択装置と、
それぞれが物体のビューの少なくとも一部を含む、複数の既知の深度マップを選択する第２の選択装置と、
複数の既知の深度マップを物体の所望のビューに適応し、所望のビュー内の各ピクセルについて、所望のビューの対応する融合深度マップ要素を、前記ピクセルに対応している複数の適応された深度マップ要素の最小深度マップ値で初期化する第１の統合装置と、
大きさについて融合深度マップに対応する支持行列の要素をゼロに設定する第１の初期化装置と、
大きさについて融合深度マップに対応する次の深度マップ候補の要素を無限大に設定する第２の初期化装置と、
複数の既知の深度マップそれぞれについて、
既知の深度マップを物体の所望のビューに適応する第２の統合装置、および
所望のビュー内のピクセルそれぞれについて、各前記ピクセルにおいて適応された深度マップの値に基づいて支持行列の対応する要素を更新する第２のプロセッサ、とを具備する第１のプロセッサと、
所望のビュー内の各ピクセルについて、
ピクセルの支持行列の値がゼロより大きい場合は、該ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定する更新装置
とを備えるシステム。
【請求項１０】
第２のプロセッサは：
前記ピクセルにおける最小深度マップ値行列要素を、各前記ピクセルにおける適応された深度マップ値の最小値で初期化する第３初期化装置と、
前記ピクセルにおける最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値以下の場合、支持行列の対応する要素を１だけ減じる第１の計算プロセッサと、
前記ピクセルにおける最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値より大きい場合、前記ピクセルに対応する次の深度マップ候補および支持行列要素を更新する第３のプロセッサ
とを備える請求項９に記載のシステム。
【請求項１１】
プロセッサは：
ピクセルにおける次の深度マップ値候補を、次の深度マップ値候補と、該ピクセルに対応する最小深度マップ値行列要素との最小値に設定する割り当て装置と、
適応された深度マップがピクセルを通過する場合は、ピクセルに対応する支持行列要素を１だけ増加させる第２の計算プロセッサと
を備える請求項１０に記載のシステム。
【請求項１２】
複数の既知の深度マップの数をｎとすると、第１初期化装置、第２初期化装置、第１プロセッサ、および更新装置それぞれの作用がｎ−１回繰り返される、請求項９に記載のシステム。
【請求項１３】
物体のビューの融合深度マップを決定するためのシステムであって：
融合深度マップを決定するべき物体の所望のビューを選択する第１の選択装置と、
それぞれが物体のビューの少なくとも一部を含む、複数の既知の深度マップを選択する第２の選択装置と、
複数の既知の深度マップを物体の所望のビューに適応し、所望のビュー内の各ピクセルについて、所望のビューの対応する融合深度マップ要素を、前記ピクセルに対応している複数の適応された深度マップ要素の最小深度マップ値で初期化する第１の統合装置と、
大きさにおいて融合深度マップに対応する支持行列の要素をゼロに設定する第１の初期化装置と、
大きさにおいて融合深度マップに対応する次の深度マップ候補の要素を無限大に設定する第２の初期化装置と、
複数の既知の深度マップそれぞれについて、
既知の深度マップを物体の所望のビューに適応する第２の統合装置、および
物体の所望のビュー内の各ピクセルについて、
前記ピクセルにおける最小深度マップ値行列要素を、各前記ピクセルにおいて適応された深度マップ値の最小値で初期化する第３の初期化装置、
前記ピクセルの最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値以下の場合、支持行列の対応する要素を１だけ減らす第１の計算プロセッサ、および
前記ピクセルの最小深度マップ値行列要素が対応するピクセルにおける融合深度マップ値より大きい場合：
ピクセルの次の深度マップ候補を、次の深度マップ値候補と、ピクセルに対応する最小深度マップ値行列要素との最小値に設定する割り当て装置、および
適応された深度マップがピクセルを通過する場合、ピクセルに対応する支持行列要素を１だけ増加する第２の計算プロセッサ
を具備する第３のプロセッサ
を具備する第２のプロセッサ
を具備する第１のプロセッサ、および
所望のビュー内の各ピクセルについて、
ピクセルの支持行列の値がゼロより大きい場合、該ピクセルにおける融合深度マップ値を次の深度マップ候補の対応する要素に等しく設定する更新装置
を具備する第４のプロセッサ
とを含むシステム。
【請求項１４】
複数の既知の深度マップの数をｎとすると、第１初期装置から更新装置までのそれぞれの作用がｎ−１回繰り返される、請求項１３に記載のシステム。
【発明の詳細な説明】
【０００１】
（関連出願の相互参照）
本特許出願は、本明細書に包含する２０００年６月２８日出願の合衆国予備出願Ｎｏ．６０／２１４７９１を基礎とし、およびその優先権を主張する。
（本発明の技術分野）
本発明は、概して動画シーケンスからグラフィックモデルを生成するためのシステムに関し、さらに詳細には、複数の較正済みのカメラの視点から画像の正確なグラフィック表現を構成するためのシステムに関する。
【０００２】
（背景情報）
コンピュータ支援画像は、コンピュータの処理およびデータ操作能力の補助により２つ以上のデジタル化された２次元の画像から、新たな２次元および３次元画像を端末スクリーン、またはグラフィック・ユーザー・インターフェースに表現する処理である。２次元（以後「２Ｄ」）画像からの３次元（以後「３Ｄ」）モデルの構成は、もともとは有限の数の２Ｄ画像によって表現された物体または景色のグラフィカル３Ｄモデルを処理の目標とする、例えばコンピュータ支援デザイン（以後「ＣＡＤ」）、３Ｄ通信販売およびバーチャルリアリティーシステムで使用される。コンピュータグラフィックスまたはコンピュータビジョンを使用することで、３Ｄモデルが構成されるもととなる２Ｄ画像は、物体又は景色の周りの異なる視点または位置から知覚された物体または景色を表現している。該画像は、物体または景色の周辺に配設した複数のカメラか、物体の写真または画像のビデオストリームを記録する、物体の周りを移動する単一のカメラから得られる。２Ｄ画像内の情報は、コンピュータベースのグラフィカル３Ｄモデルを合成するために結合および対比される。近年のコンピュータ処理能力およびデータ操作能力の進歩はコンピュータによる３Ｄモデリングを改善したが、これら３Ｄ構成システムは依然として、大きなコンピュータ処理能力、巨大なデータ記憶要求、および長い処理時間の需要により特徴づけられる。さらに、グラフィカル３Ｄモデルのような空間の体積表現は、３Ｄモデルと第２の３Ｄモデルとの結合または、新たな視点または投影中心からの空間知覚のような動的な変形に対応して容易に修正することができない。
【０００３】
通常、複数の視点またはカメラ位置からの３Ｄ画像を構成するには、まず、カメラで撮った画像が、画像によって表現された物体または景色を適切な３Ｄに再構成するために正確に結合されるように、カメラの較正が必要である。カメラまたはカメラ位置の較正は、画像を収集する各位置または視点でのカメラパラメータを獲得または計算する工程であり、そのようなパラメータにはカメラの焦点距離、画角、ポーズおよび方向などの情報が含まれる。較正情報が容易に利用できない場合、多数の較正アルゴリズムが較正情報を計算するために利用できる。あるいは、較正情報が欠けている場合、いくつかの画像再構成方法により、カメラまたは視点がある位置から他の位置へ移動するような場合のカメラ位置の較正を推定することができる。しかしながら、較正の推定では３Ｄグラフィカルモデル描写過程で付加的な変数を導入し、これが出力グラフィックを不正確にする原因となる。さらに、カメラの視点の較正には、カメラの動きおよび／または方向を事前に把握しておくことが必ず必要となるので、新たな位置へ較正された視点を外挿することにより３Ｄモデルの構成に利用できる視点または画像が限定される。
【０００４】
多重視点から物体のグラフィカル３Ｄモデルを再構成する現在の方法は、ステレオマッピングとして知られる、一度に物体の一対の画像を用いる処理であり、該処理では、物体の合成画像を生成するために２つの画像間の対応が計算される。しかしながら、物体の２つの視点のみから再生された形状情報は完全でもなく正確でもない。そのためにしばしば３Ｄモデルの形状を精緻化するためにさらなる視点からの画像を組み入れる必要がある。さらに、一部のグラフィカルシステム内では、画像または較正データにおいて既知の、または認知された誤りを調整するために、１つ以上の画像の重み付け、ワープ、および／または混合により、ステレオマップされた３Ｄモデルの形状を操作することが多い。しかしながら、そのような操作はマニュアル処理であり、合成画像の自動計算に限界があるだけでなく、重み付け、ワープ、および／または混合の適当なレベルを推定するときに誤差が導入される危険性がある。
【０００５】
物体または景色の新たな２Ｄ図および３Ｄモデルを描写するため、近年、深度マップ形式のグラフィカルな画像がステレオマッッピングに応用されている。深度マップは空間の表面を数学的に表現する値の２次元配列である。該配列の列および行は表面のｘ座標およびｙ座標上の位置情報に対応し、配列要素は特定の点またはカメラ位置から表面への深度または距離の読みである。深度マップは、物体表面の各点における強度情報、またはピクセルを深度情報に置き換えて、物体のグレースケール画像として表現され得る。それに応じて、表面の点は３Ｄグラフィック構成技術においてはピクセルと呼ばれ、本明細書の中では交換可能に使用される。
【０００６】
物体のグラフィカルな表現は、一度に１対の図を用いて、ステレオマッピングされた深度マップにより推定することができる。ステレオ深度マッピングでは、通常、２つのマップ内のピクセルに対して共通深度値を見つけるためにセクション間の整合を見つけるため、一度に２つの深度マップのセクションを比較する。しかしながら、推定された深度マップはいつも誤差を含んでいるので、マップが互いに一致し、必要な箇所で整合がとれるという保証はない。１つの悪いデータまたは誤差のあるデータの効果を最小にするために多数のデータが有効であるが、不特定多数の深度マップは誤った較正、不正確な重み付け、または特定の視野の値に関する推測による誤差を含み、深度マップ内のあらゆる誤差が最終的な合成画像へ投影されるため、同じ原理を深度マップへ応用することはできない。さらに、深度マップによる従来式のステレオマッピング法は、１つの深度マップを推定する時点で精緻化処理を終了する。
【０００７】
本発明の好適な実施形態は、複数の深度マップを３次元の物体または景色の矛盾のない正確な表現へと融合させるための現存のシステムに関連した問題を克服する。
【０００８】
（発明の趣旨）
本発明は、複数の推定された深度マップから精緻化された立体的表現の深度マップを計算するためのシステムおよび方法を目的としている。本システムは、最適な深度マップを精緻化するために、表現された画像の複数の深度マップ内の情報を利用し、新たなビューに適応された各深度マップ内の各ピクセルに対して、メジアン深度値を選択する。本システムは、適応された深度マップ内の全ての対応するピクセルの中からメジアン値に相当する適応されたピクセル深度値を選択することにより、各ピクセルについてメジアン深度マップ値を決定する。適応された深度マップは、物体または景色の新たなビューに一度に１つずつ融合される。結果として得られたメジアン値融合深度マップを使用して、新たな視点から知覚されたグラフィック画像またはビデオ画像をさらに正確に表すことができる。
【０００９】
本発明の１つの実施形態によると、本発明のシステムと方法は、物体のビューの融合深度マップを計算することを目的としており、物体の新たなビューのためのカメラ較正データを獲得することと、新たなビューのカメラ較正に基づき物体の新たなビューに物体の複数の既存の深度マップの１つ１つを適応することと、物体の新たなビューの融合深度マップの深度マップ要素を計算することを含み、ここで前記深度マップ要素のそれぞれは物体の新たなビュー内のピクセルに対応し、また前記深度マップ要素のそれぞれは適応された一群の深度マップ要素のメジアン値を備え、それぞれが複数の適応された深度マップの１つの各ピクセルに対応することを含む。
【００１０】
本発明の他の実施形態によると、本発明のシステムと方法は、複数の較正済みの視点から、所望の視点から知覚された物体のグラフィック表現を構成することを目的としており、物体の所望のビューのためのカメラ較正データを獲得することと、それぞれが物体の複数の較正済みのビューのそれぞれに対応する複数の深度マップを計算することと、計算された複数の深度マップそれぞれについて、選択された、計算された深度マップを所望のビューへ適応することと、所望のビュー内の各ピクセルについて、該各ピクセルにおけるメジアン融合深度マップ値を計算することを含み、それにより、前記ピクセルを塞ぐ適応された深度マップの数が、前記ピクセルを通過する適応された深度マップの数と同数になる。また、計算されたメジアン融合深度マップ値を利用して、所望のビューから知覚された物体のグラフィック表現を投影することを含む。
【００１１】
本発明のこれらおよび他の目的と利点は、添付の図面を参照しながら以下に記載する本発明の好適な実施例の詳細な説明から当業者は明確且つ容易に理解できる。図中、同様の要素には同じ参照番号を使用する。
【００１２】
（好ましい実施例の詳細な記載）
後述では、限定ではなく説明を目的として、本発明の理解のために特定の実施例について詳細な説明を行う。しかしながら、当業者には明白であるように、本発明は以下の詳細な実施例とは別の実施例においても実行することができる。他の実施例において、既知の方法、装置、および回路の詳細な記載は本発明を明確にするために省略する。
【００１３】
本発明は、実質的にすべての物体または景色の融合深度マップの決定のため、およびそのような物体および景色の３Ｄ画像の構成に利用することができるが、以下の論議では本発明の実施例の説明を単純にするためにそのようなすべての３Ｄアイテムを「物体」と呼ぶ。まず図１には、視点ｉから知覚された物体の一部が示されている。線セグメント、ｄｉ１０６は、ビューｉの投影中心（以後ＣＯＰと表す）であるＰｉ１００から広がり線Ｌ１１０２およびＬ２１０４により形成される画像面内において、視点ｉから見た物体のビューを表す。ビューｉは物体の複数の既存のビューのうちの１つを表し、そのカメラ較正は既に判明しているか、または計算することができる。視点ａは、物体を見る新たな所望の方向を表し、ビューａのＣＯＰであるＰａ１０８におけるカメラ較正およびビューが既に判明している場合、本発明によるシステムの好適な実施例により、ビューａの最適化された深度マップとしてメジアン値融合深度マップが計算される。本発明は現在のところパーソナルまたはラップトップコンピュータでの実施を想定しているが、本発明によるメジアン値深度マップ融合システムの方法および装置は、システムの進歩的特徴を損なうことなく、多数のコンピュータまたはプロセッサ上で同様にうまく機能することができる。
【００１４】
物体のメジアン値融合深度マップを計算するための本発明による好適な実施例では、物体のビューを取得する複数の既知の方法のいずれか１つにより、第一に物体のｎ個の較正済みのビューのセット、
【数１】
0004679033.tif 000002
を得る。本発明は最低２つの物体のビューがあれば操作可能であるが、融合深度マップの計算に利用できるビューが多いほど、結果として得られる融合深度マップは、物体のより正確なグラフィック表現となる。
【００１５】
物体のそれぞれのビューｉ（Ｖｉと表す）について、物体の画像の領域に定義される関連する深度関数ｄｉがある。ビューｉ内の各ピクセルｘ１１０について、深度関数は深度マップ値ｄｉ（ｘ）を有する。深度マップ値ｄｉ（ｘ）は、ビューｉの投影中心から、物体のビューｉ内の最も近いポイント、または物体のビューｉ内の画像ポイントｘに該当する逆投影された光線に沿ったピクセルｘまでの距離の推定値である。図１を参照すると、ビューｉ内のピクセルｘ１１０についての深度値ｄｉ（ｘ）は、ＣＯＰであるＰｉ１００からピクセルｘ１１０までの距離である。
【００１６】
図１、図２、および図３を参照すると、物体のイメージ領域内の任意のピクセルｘ１１０、２００、または３００は、図１のように表面ｄｉ上にあるか、図２のようにＰｉから見た表面よりも奥にあるか、または図３のようにＰｉから見た表面の手前にあるかである。図２のように、Ｐｉから見た表面ｄｉの奥にあるポイントは、ビューａでは表面ｄｉが有るためにＰａがポイントｘ２００を「見る」ことができないため、深度マップｄｉにより「塞がれている」と言われる。図３に示されているように、ｄｉの前に位置するポイントは、ビューｉでは深度マップｄｉにより「通過される」と言われる。連続関数として見た場合、深度マップｄｉは、図１、図２および図３の平面図内の要素ｄｉ１０６によりグラフィック表示された、ビューｉから知覚された空間内の表面を画定する。
【００１７】
本発明はメジアン値の数学的原理の変形を利用して、物体の既知のビュー
【数２】
0004679033.tif 000003
に該当する複数の推定された深度マップ
【数３】
0004679033.tif 000004
から、新たな所望のビューａの最適な深度マップｆａを計算する。本発明の好適な実施例により計算される、この最適な深度マップは、後述するような、複数の深度マップを融合させて新たなビューａ内の物体の表面上にある各ピクセルｘａ１１０についてメジアン深度値を決定するプロセスのために「メジアン値融合深度マップ」と名付けられる。新たなビューａ内のピクセルｘａのメジアン値融合深度マップ値が、「ビューａについて一定である」と定義されるのは、物体の既知の深度マップのセット
【数４】
0004679033.tif 000005
において、ビューａ内でｘａ２００を塞ぐ深度マップの数がビューａ内でｘａ３００を通過する深度マップと少なくとも同じである時である。従って、本発明のプロセスは、ビューａ内でｘａ２００を塞ぐ既知の深度マップｄｉの数がビューａ内でｘａ３００を通過する既知の深度マップｄｉと少なくとも同数になるように、新たなビューａ内の各ピクセルｘａ１１０について最適な深度値を決定することである。ビューａ内の各ピクセルｘａ１１０についての最適値またはメジアン値融合深度値であるｆａ（ｘａ）は、全深度値ｄｉ（ｘ）の下限または最低値であり、従って全ピクセル
【数５】
0004679033.tif 000006
１１０はビューａについて一定である。
【００１８】
本発明の好適な実施例によるメジアン値融合深度マップの計算について説明する前に、システムのいくつかの作用要素を定義する。システムにより計算されるビューａのメジアン値融合深度マップはｆａと表し、ビューａ内のピクセルｘのメジアン値融合深度マップはｆａ（ｘ）と表す。図４のフローチャートに示すように、メジアン値深度マップ融合プロセスの第１のステップのうちの１つは、ステップ４００について後述するように、ｆａについて推定された最低値を設定することである。３つの２次元配列を利用して、全深度マップ
【数６】
0004679033.tif 000007
を処理する間、融合深度値、閉塞インジケータ、および適応された深度マップの最小値の作用値を保持する。最小深度マップ値行列ｏ（ｘａ）を利用して、ビューａのピクセル、ｘａ、の最小深度マップを保持する。それぞれの新たな深度マップ、ｄｉ、ｉ＝１、…ｎがビューａへ適応される際、ビューａに適応された深度マップｄｉのピクセルｘａの最小深度マップ値はｏ（ｘａ）として記憶される。その後深度マップ、ｄｉ、ｉ＝１、…、ｎがビューａへと適応される度に、最小深度マップ値行列ｏ（ｘａ）の値または要素はリセットされる。ビューａの画像領域上に定義される支持行列、ｓ（ｘａ）、は、ビューａ内の任意の目標ピクセルｘａを、複数の深度マップ
【数７】
0004679033.tif 000008
が通過するか、または塞ぐかに関する「投票」の数を保持する。ｓ（ｘａ)は支持行列と呼ばれ、ｓ（ｘａ）が正の値である場合、ピクセルｘａにおける、より大きな深度マップ値の支持を表す。つまり、ビューａにおいて、ｘａは深度マップｄｉにより通過されている。ｓ（ｘａ）は、ステップ４０４において、深度マップのセット
【数８】
0004679033.tif 000009
の各反復処理のはじめにゼロに設定される。メジアン値融合深度マップの計算の間、ビューａ内の各ピクセルｘａについて、ビューａに適応された深度マップｄｉがポイントｘａを塞ぐ場合には、ｓ（ｘａ）における支持行列値から１を引く。適応された深度マップがビューａ内でｘａを通過している場合、後述するように対応する支持行列値ｓ（ｘａ）に１を加える。本発明は、深度マップのセット
【数９】
0004679033.tif 000010
を処理して各ピクセルｘａにおける深度マップの次の可能な候補を表すものであるため、次の深度マップ候補ｎ（ｘａ）は各ピクセルｘａについて計算されたメジアン値融合深度値の集積である。次の深度マップ値候補はステップ４０６において最初に∞に設定される。
【００１９】
ビューａ内の各ピクセルｘａの目標メジアン値融合深度値、ｆａ（ｘａ）、は、次のように計算される。それぞれのビュー
【数１０】
0004679033.tif 000011
の２つ以上の深度マップ
【数１１】
0004679033.tif 000012
と、ビュー
【数１２】
0004679033.tif 000013
のいずれとも異なる新たなビューａについてのカメラ較正が存在する場合に、本発明はビューａのメジアン値融合深度マップｆａを計算する。メジアン値の概念を利用し、本システムは、ビューａ内の各ピクセルｘａの最小深度値候補をｆａの最初の深度マップ値として用いることにより、まず深度マップの最初の推定値ｆａを設定する。これは、ステップ４００において、深度バッファリングを用いて、深度マップの全セット
【数１３】
0004679033.tif 000014
を１つずつビューａ内へ適応することにより達成される。全ての適応にわたって、各ピクセルｘａの最小深度値ｆａ（ｘａ）は、深度マップｆａの最初の推定値として保持される。
【００２０】
次に、図１から図４に示すように、新たな所望のビューａのメジアン値融合深度マップを計算するために複数の既知の深度マップ
【数１４】
0004679033.tif 000015
を処理する方法は、ステップ４０８において、一度に１つのビューずつ、ビューｉの各深度マップｄｉをビューａへ適応する事から始める。各深度マップｄｉをビューａへ適応する前に、ステップ４０６において最小深度マップ値行列ｏ（ｘａ）の要素を∞に初期化する。深度マップｄｉをビューａに適応した後、ビューａのピクセルｘａである１１０、２００、および３００のそれぞれはステップ４１０で処理され、ｏ（ｘａ）の各要素は、ピクセルｘａ１１０、２００、および３００の最小の深度マップ値に設定される。深度マップが射線を横切って折り重なっている場合には、ピクセルｘａは、逆投影された射線に沿って、ピクセルからビューａの投影中心Ｐａ１０８までに相当する複数の深度マップ値または距離をそれぞれ有することができる。ｏ（ｘ）の初期化により、ビューａの処理されないピクセルの深度値はｏ（ｘａ）内で∞に保持される。
【００２１】
図２のように、ビューａの全てのピクセルｘａについて、ポイントｘａ２００が深度マップｄｉにより塞がれる場合、ステップ４１２においてそのポイントの支持行列値が１だけ減らされる。
ｏ（ｘａ）≦ｆａ（ｘａ）の場合、ｓ（ｘａ）＝ｓ（ｘａ）−１に設定  （１）
【００２２】
ポイントｘａの支持行列値から１が差し引かれることにより、ポイントｘａはｄｉで表される表面により塞がれている、すなわち該表面より奥にあることになるので、本システムは、このポイントの目標融合深度マップに対してそれ以上大きな深度値を拒否する投票を登録する。図１、および図３のように、ポイントｘａ１１０および３００が適応された深度マップｄｉにより塞がれていない場合、ステップ４１４において、次の深度マップ値候補ｎ（ｘａ）が、ポイントｘａ１１０および３００について存在する次の深度マップ値候補と、ビューｄｉのビューａへの適応から得た最小深度マップ値行列要素との最小値に設定される。
ｎ（ｘａ）＝ｍｉｎ（ｎ（ｘａ），ｏ（ｘａ））に設定  （２）
【００２３】
次の深度マップ値候補ｎ（ｘａ）を設定した後、図１および図３のビューａ内のピクセルｘａ１１０および３００から深度ｆａ（ｘａ）へ射線を逆投影する。結果として生じるピクセルｘ１１０または３００を、ステップ４１６でビューｉ内に投影することにより、ビューｉ内のピクセルｒ１１２または３０２を得、またＰｉからｘ１１０または３００までの深度ｍを得る。ｘ３００が画像領域内に適切に収まり、またステップ４１８で判断されたようにｄｉ（ｘａ）がｍより大きい場合（図３）には、ｄｉはｘ３００を通過し、ステップ４２０においてそのピクセルの支持行列値を１だけ増加する。
ｓ（ｘａ）＝ｓ（ｘａ）＋１に設定  （３）
【００２４】
ピクセルの支持行列値に１を加えることにより、ピクセルｘａはｄｉで表される表面を通過する、すなわちピクセルｘａはｄｉで表される表面の手前にあることになるので、システムは、このピクセルの目標融合深度マップについて、もっと大きな深度値を許可する投票を登録する。図１のように、ピクセルｘａが表面ｄｉ上にあると判明した場合は、そのピクセルではそれよりも大きな、または小さな深度マップ値に投票する必要がないので、該ピクセルの支持行列値は同じままである。
【００２５】
ステップ４２２では、処理されるピクセルｘａ、１１０、２００、または３００が、現在のビューｉ内で処理されるべき最後のピクセルでない場合、 ビューａ内の次のピクセルについてステップ４１２に戻って処理を継続する。そうでない場合、ステップ４２４において、ｄｉがセット
【数１５】
0004679033.tif 000016
の最後の深度マップでない場合、セットの次の深度マップについてステップ４０８に戻って処理を継続する。最後の深度マップの最後のピクセルが処理されると、メジアン値融合深度マップの深度マップ値は、ステップ４２６において、ビューａの領域内の各ピクセルｘａ、１１０、２００，および３００の支持行列の値を次の式で評価することにより設定される。
ビューａ内の全ピクセルｘａについて、ｓ（ｘａ）＞０の場合、ｆａ（ｘａ）＝ｎ（ｘａ）に設定  （４）
【００２６】
ピクセルｘａにおける支持行列の値がゼロより大きい場合には、ビューａへ適応された既知の深度マップの処理からのネット投票は、最小深度値より大きな深度値を示し、該より大きな値はピクセルｘａの次の深度マップｎ（ｘａ）候補に算入されている。支持行列の値が０以下の場合は、適応された深度マップのネット処理により、ピクセルｘａについてより小さな深度マップ値が必要であり、ステップ４０４で計算されたｆａ（ｘａ）内の初期化された最小値が保持されると結論づけられる。融合深度マップｆａの値のセットが更新および精緻化されると、全深度マップの処理をステップ４０２に戻って再開し、深度マップの全セットを新たなビューａにｎ−１回にわたって適応するまで繰り返して、確実にステップ４０８から４２６の処理をｎ２回行ってから収束する。
【００２７】
図５は、本発明による例示的なメジアン値深度マップ融合システムの装置および通信リンクについて示している。図５の構成要素は、本発明のシステムに利用できる装置および経路を限定するものではなく、例示を目的としている。ビルディング５００は本発明によるビューの対象画像となりうる物体または景色を表し、カメラ５０２から５１０は物体５００を知覚することができ、その位置についての深度マップを得ることができる複数の視点または位置を表す。視点５１２は、そこからのビューについて本発明によるシステムがメジアン値融合深度マップを計算することができる新たな視点を表し、視点５１２に関連する較正データは既知である。視点５０２ないし５１０から撮影されたそれぞれの画像は、プロセッサ５１４に転送またはダウンロードされ、最終的にデータベース５１６に記憶される。対応する視点５０２ないし５１２についての較正情報は、プロセッサ５１４に転送することができ、プロセッサ５１８で計算することができ、および/またはデータベース記憶装置５１６から検索することができる。視点５０２ないし５１０についての深度マップを、複数の既知の深度マップ計算技術の１つにより計算または推定し、データベース５１６に記憶させる。或いは、プロセッサ５１４の処理機能とデータベース５１６の記憶機能を、プロセッサ５１８で表したパーソナルコンピュータのような単一の装置にまとめることができ、または複数のプロセッサ５１４、５１８、およびデータベース５１６に分散することもできる。
【００２８】
メジアン値融合深度マップの実際の計算はプロセッサ５１８で行われ、データはデータベース５１６から引き出され、また記憶される。本発明の他の実施形態では、データベース５１６による記憶装置をプロセッサ５１８に統合することができる。本発明の様々な機能特性、およびそれに対応するシステム内のメジアン値融合深度マップ計算のための装置部分である、初期化装置、選択装置、統合装置、およびプロセッサなどは、単一のプロセッサ５１８にまとめることもできるし、複数のプロセッサ５１８、および記憶装置５１６に分散することもできる。
【００２９】
メジアン値融合深度マップがプロセッサ５１８で計算され、データベース５１６に記憶されると、プロセッサ５２２を操作する任意の数の認可されたユーザーによりアクセス可能である。これらのユーザーは、メジアン値融合深度マップの２Ｄまたは３Ｄの描写を、プロセッサ５２２のスクリーンまたはグラフィックインターフェイスに表示できる、または同じ物をプリンタ５２４で印刷できる。
【００３０】
様々な機構構成要素を接続している図５の通信およびデータリンクは、無線または有線リンク、あるいはそれらの任意の組み合わせでよい。同様に、図５に示した本発明によるシステムは、本メジアン値深度マップ融合システムの進歩的特徴を損なうことなく、独立システムとして実行することができ、またはローカルエリア・ネットワーク、広域ネットワーク、イントラネット、またはインターネットのような、任意の既知のネットワーク上で、またはそのようなネットワークの組み合わせで、実行することができる。
【００３１】
上述で本発明による好適な実施例を示し、それについて記述したが、本明細書の請求の範囲とその均等物により定義される本発明の原理および精神から逸脱することなく、これらの実施形態に変更を加えることができることは、当業者にとって明らかである。
【図面の簡単な説明】
【図１】  ビューｉの深度マップを示し、図中のポイントｘはビューａの目標表面上に位置している。
【図２】  ビューｉの深度マップを示し、図中のポイントｘはビューａでは塞がれている。
【図３】  ビューｉの深度マップを示し、図中のポイントｘはビューａでは通過されている。
【図４】  ビューのメジアン値融合深度マップを構成するための例示的な方法のブロックフローチャートを示す。
【図５】  例示的なメジアン値深度マップ融合システムの装置および通信リンクを示す。
【図１】
0004679033.tif 000017
【図２】
0004679033.tif 000018
【図３】
0004679033.tif 000019
【図４】
0004679033.tif 000020
【図５】
0004679033.tif 000021