(57)【要約】画像シーケンスにおける複数の点についての深さデータを受け取るステップと、深さデータおよび、画像特性および相対位置の関数として深さ特性を確認するためのクラシファイヤを利用するステップと、画像特性を利用して画像シーケンスの少なくとも１つのフレームについての深さマップを創成するステップとを含む、画像シーケンスについての少なくとも１つの深さマップを創成する方法。
2005529417.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンスについての少なくとも１つの深さマップを創成する方法であって、
前記画像シーケンスにおける複数の点についての深さデータを受け取るステップと、
前記深さデータおよび、画像特性および相対位置の関数として深さ特性を確認するためのクラシファイヤを利用するステップと、
前記画像特性を利用して前記画像シーケンスの少なくとも１つのフレームについての深さマップを創成するステップとを含む、方法。
【請求項２】
前記画像特性はＲＧＢ値を含む、請求項１記載の方法。
【請求項３】
前記画像特性は相対ｘｙ位置を含む、請求項１または請求項２に記載の方法。
【請求項４】
前記画像シーケンス内の少なくとも所定の数の点についての深さデータを確認する初期ステップをさらに含む、いずれかの上記請求項に記載の方法。
【請求項５】
前記クラシファイヤをブートストラップする初期ステップを含む、請求項１〜３のうちのいずれか１つに記載の方法。
【請求項６】
画像シーケンスについての少なくとも１つの深さマップを創成する方法であって、
前記画像シーケンスを複数の画像ショットに分割するステップと、
前記画像ショットの少なくとも１つにおける複数の点についての深さデータを受け取るステップと、
前記深さデータおよび、画像特性および相対位置の関数として深さ特性を確認するためのクラシファイヤを利用するステップと、
前記画像特性を利用して前記少なくとも１つの画像ショットの少なくとも１つのフレームについての深さマップを創成するステップとを含む、方法。
【請求項７】
各ショットは対応するクラシファイヤを割り当てられる、請求項６記載の方法。
【請求項８】
少なくとも１つの対応するクラシファイヤが先行クラシファイヤと類似の状態に初期化される、請求項７記載の方法。
【請求項９】
画像シーケンスについての少なくとも１つの深さマップを創成する方法であって、
複数のフレームの画像データを受け取るステップと、
前記フレームのうちの少なくとも１つにおける複数の点の深さデータを受け取るステップと、
画像データの関数として深さ特性を確認するためのアルゴリズムを決定するために前記画像データおよび前記深さデータを利用するステップと、
前記アルゴリズムを利用して前記フレームのうちの前記少なくとも１つについての深さマップを決定するステップとを含む、方法。
【請求項１０】
前記画像データはＲＧＢ値を含む、請求項９記載の方法。
【請求項１１】
前記画像データは相対ｘｙ位置を含む、請求項９または請求項１０に記載の方法。
【請求項１２】
前記画像シーケンス内の少なくとも所定の数の点についての深さデータを確認する初期ステップをさらに含む、請求項９〜１１のうちのいずれか１つに記載の方法。
【請求項１３】
画像シーケンスについての少なくとも１つの深さマップを創成する方法であって、
前記画像シーケンスを複数の画像ショットに分割するステップと、
各画像ショットについて、複数の点についての深さデータを受け取り、前記深さデータおよび、画像特性および相対位置の関数として深さ特性を確認するための初期アルゴリズムを創成するためのそれぞれのクラシファイヤを利用するステップと、
複数の前記ショットからの少なくとも２つの初期アルゴリズムを結合することによって少なくとも１つの結合されたアルゴリズムを創成するステップと、
前記少なくとも１つの結合されたアルゴリズムを用いて前記画像シーケンスの少なくとも１つのフレームについての深さマップを創成するステップとを含む、方法。
【請求項１４】
前記画像特性はＲＧＢ値を含む、請求項１３記載の方法
【請求項１５】
前記画像特性は相対ｘｙ位置を含む、請求項１３または請求項１４に記載の方法。
【請求項１６】
前記画像シーケンス内の少なくとも所定の数の点についての深さデータを確認する初期ステップをさらに含む、請求項１３〜１５のうちのいずれか１つに記載の方法。
【請求項１７】
前記結合されたアルゴリズムは前記少なくとも２つの初期アルゴリズムの平均を用いて決定される、請求項１３〜１６のうちのいずれか１つに記載の方法。
【請求項１８】
前記結合されたアルゴリズムは前記少なくとも２つの初期アルゴリズムの加重平均を用いて決定される、請求項１３〜１６のうちのいずれか１つに記載の方法。
【請求項１９】
前記クラシファイヤをランダム状態に初期化する初期ステップを含む、請求項１３〜１８のうちのいずれか１つに記載の方法。
【請求項２０】
少なくとも１つの前記それぞれのクラシファイヤが先行クラシファイヤと類似の状態に初期化される、請求項１３〜１８のうちのいずれか１つに記載の方法。
【請求項２１】
添付図面の図２〜４に関して実質的に上述された方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２Ｄ画像から深さマップを導き出すための改善された技法に向けられており、詳細には、本発明は、画像シーケンスと関係づけられた１組の疎な３Ｄ点から稠密な深さマップを回復する方法に関する。
発明の背景
ストラクチャ・フロム・モーション（Structure-from-Motion（ＳｆＭ））は、カメラの平面２Ｄフィルムバックプレーン上に投影されたシーンの３Ｄ情報を回復する方法の集まりである。ＳｆＭアルゴリズムから導き出された構造情報は一般に、画像フレームごとに１つの投影マトリックスによる、画像平面における特定の２Ｄ点とその対応する３Ｄ点との関係を表現する、１組の投影マトリックスの形をとる。ＳｆＭアルゴリズムは、シーンに関するそのような構造情報を決定するために特定の画像特徴を追跡することに依拠する。一般的に言えば、画像のうちの少ないパーセンテージだけが正確に追跡され得るのであり、それらの点は通常、はっきりした強度の不連続が明確な追跡手がかりを付与する、縁端および角に存在する。
【０００２】
同様に、ステレオまたは多眼ディスパリティ分析が、２Ｄ画像から３Ｄ点を決定するために使用され得る。ＳｆＭ分析と同様に、３Ｄ点は、第２の画像との対応を明白に決定するために十分なコントラストが存在する場所で画像の少ないパーセンテージについて確定され得るにすぎない。
【０００３】
立体視画像レンダリング、ロボットナビゲーションおよび特殊効果アニメーションを含むが、これらに限らず、多くの用途において、そうした疎な３Ｄ点は不十分である。そうした用途は、画像における各２Ｄ点が３Ｄ点と関係づけられている稠密な深さマップを必要とする。
【０００４】
稠密な深さマップへの疎な３Ｄ点の変換のための先行技術は、疎な３Ｄデータの空間的補間かまたは、ＲＡＮＳＡＣアルゴリズムといった仮説−検証アプローチのどちらか一方に依拠する。これらの両方のアプローチは、各個別の画像フレームで利用可能な疎な３Ｄ点データを使用するにすぎない。これは２つの主要な欠点につながる。第一に、いずれかの単一の画像で利用可能な疎な点の数が、稠密な深さマップを正確に導き出すために十分でないかもしれず、第二に、１つのフレームから次のものへの深さマップの一貫性が低劣であり得る。本発明は、これらの欠点に対処する疎な３Ｄデータから稠密な深さマップを導き出す方法を開示する。
【０００５】
出願人は、その内容が参照によってここに開示される同時係属ＰＣＴ出願番号ＰＣＴ／ＡＵ０１／００９７５において、１つ以上の画像から深さマップを生成する方法を開示している。この方法は２つのステッププロセスを含んでいた。第１のステップにおいて、単一の画像と関係づけられた疎な深さデータが、その画像についての深さマップを生成するために使用された。第２段階では、画像シーケンスにおける各画像についての深さマップが、段階１で生成された結果を用いて生成された。この方法は理想的な状況ではうまく働くが、プロセスには多くの制限がある。出願人の先行出願では、画像シーケンスにおいて多数のキーフレームを選定することが必要であった。これらのキーフレームの各々について、対応する深さマップを生成するための式が生成され得るように、そのキーフレーム内の十分な数のピクセルについての深さデータがわかっていることが必要であった。すなわち、キーフレーム内の十分な数のピクセルについての深さが与えられれば、他のすべてのピクセルについての深さが決定され得るような関数が導き出すことができた。これらの関数がキーフレームについて生成されると、その後それらは、残りのフレームについての関数を順に生成するために使用することができた。
【０００６】
出願人の先行プロセスの制限のうちの１つは、２つの段階の必要性である。いかなる理由であれ第１段階で誤りが導入された場合、この誤りは第２段階全体に伝播されることが理解されるであろう。そうした状況において、結果として得られる深さマップは、満足なものではないかもしれない。
【０００７】
段階１が満足に完了されることはより大きな関心事であり、そのキーフレームについての深さマップを生成するための式を解くために、キーフレーム内の十分な数のピクセルについての深さがわかっていることが必要である。例えば、キーフレームが３５０，０００ピクセルを有する場合、理想的には、１７，５００ピクセル（つまりピクセルの総数の５％）についての深さが、深さマップのための関数を生成可能にするためにわかっているはずであろう。深さがわかっているピクセルの数が十分でない場合、結果として得られる深さマップの品質は妥当ではないはずである。キーフレームについての正確な深さマップを生成することができなければ、段階２がうまく完了され得ることはありそうもない。従って、深さマップの生成のための単純化された方法の必要性が存在する。
発明の目的
従って、本発明の目的は、２段階プロセスを要求せず、キーフレームにおける不可欠な数のピクセルが既知であるために深さに依存しない、２Ｄ画像シーケンスからの深さマップの生成のための改善されたシステムを提供することである。
発明の概要
上記の目的を意図して、本発明は１態様において、画像シーケンスについての少なくとも１つの深さマップを創成する方法であって、
複数のフレームの画像データを受け取るステップと、
前記複数のフレームのうちの少なくとも１つにおける複数の点の深さデータを受け取るステップと、
画像データの関数として深さ特性を確認するためのアルゴリズムを決定するために前記画像データおよび前記深さデータを利用するステップと、
前記アルゴリズムを利用して少なくとも１つの前記フレームについての深さマップを決定するステップとを含む、方法を提供する。
【０００８】
別の態様において、本発明は、複数のフレームを含む２Ｄ画像シーケンスについて少なくとも１つの深さマップを創成する方法を提供し、個々の前記フレームは複数の点を含んでおり、前記方法は、
少なくとも１つの前記フレームにおける複数の前記点についての深さデータを受け取るステップと、
前記深さデータを有する前記点について画像データを決定するステップと、
前記画像データと前記深さデータとの関係を符号化するためにクラシファイヤに前記深さデータおよび前記画像データを入力するステップと、
前記符号化された関係を利用して２Ｄ画像の少なくとも１つの前記フレームについての深さマップを導き出すステップとを含む。
【０００９】
また別の態様において、本発明は、画像シーケンスについての深さマップを創成する方法であって、
前記画像シーケンスにおける複数の点についての深さデータを受け取るステップと、
画像特性および相対位置の関数として深さ特性を確認するためのクラシファイヤを訓練するために前記深さデータを利用するステップと、
前記画像特性を利用して前記画像シーケンスの各フレームについての深さマップを創成するステップとを含む、方法を提供する。
【００１０】
さらに別の態様において、本発明は、画像シーケンスについての深さマップを創成する方法であって、
前記画像シーケンスを複数の画像ショットに分割するステップと、
各画像ショットについて、複数の点についての深さデータを受け取り、画像特性および相対位置の関数として深さ特性を確認するための初期アルゴリズムを創成するためのそれぞれのクラシファイヤを訓練するために前記深さデータを利用するステップと、
複数の前記ショットからの少なくとも２つの初期アルゴリズムを結合することによって少なくとも１つの結合されたアルゴリズムを創成するステップと、
前記少なくとも１つの結合されたアルゴリズムを用いて前記画像シーケンスの各フレームについての深さマップを創成するステップとを含む、方法を提供する。
【００１１】
別の態様において、本発明は、画像シーケンスについての少なくとも１つの深さマップを創成する方法であって、
前記画像シーケンスを複数の画像ショットに分割するステップと、
少なくとも１つの画像ショットにおける複数の点についての深さデータを受け取るステップと、
前記深さデータおよび、画像特性および相対位置の関数として深さ特性を確認するためのクラシファイヤを利用するステップと、
前記画像特性を利用して前記少なくとも１つの画像ショットの少なくとも１つのフレームについての深さマップを創成するステップとを含む、方法を提供する。
【００１２】
画像データは、個々の点またはピクセルについてのＲＧＢ値を含み得て、また相対ＸＹ位置を含み得る。本発明はまた、画像内の多数の点についての深さデータを決定する初期ステップを含み得る。深さデータは、手動、自動または、手動および自動手段の組合せのいずれかによって決定され得る。
【００１３】
画像シーケンスを一連のショットに分割する場合、本発明の好ましい実施形態は、各フレームの両側の２つのクラシファイヤの結果を結合するであろう。
発明の詳細な説明
深さマップは、特定の視点からのシーンの３Ｄ輪郭を表現する。稠密な深さマップが２Ｄ画像と関係づけられている場合、それは、画像をキャプチャするために使用されたカメラと画像における各ピクセルについて観察された物体との間の距離を符号化する。本発明の目的は、以下の手段のうちの１つから導き出され得る、３Ｄ点の疎な集合だけが与えられたとした時に深さマップを回復することである。
【００１４】
これを達成するために、多数の画像フレームを含んでいる画像シーケンスは、一連のショットに分解され得る。ショットは理想的には、フレーム間の差異が比較的小さい１つ以上の画像フレームを含む。画像シーケンスにおけるショット境界の頻度および配置は、そのシーケンスにおける動きに依存し得る。ショット境界は、オペレータによって手動で、またはショット検出アルゴリズムを用いて自動的に識別され得る。ショット検出アルゴリズムは、入力として画像フレームのシーケンスを受け取り、１つ以上のショット境界を出力する。ショット境界は、画像シーケンスを、任意のグループ内の連続する画像間の差異が比較的小さいものであるような１つ以上のグループに効果的に区分する。自動ショット検出アルゴリズムは一般に、画像差分化（image differencing）に基づく。例えば、ショット境界がシーケンスの２つの連続する画像間に挿入されるべきかどうかを決定するために、２つの画像の各ピクセル間の全差分が計算される。この差分が既定の閾値より上であれば、ショット境界が挿入される。
【００１５】
３Ｄ点は、カメラからの点の距離を表現する関係する深さ値を備える２Ｄ点として定義され得て、以下のプロセスのいずれか１つか、またはいずれかの組合せによって生成され得る。
【００１６】
１．ストラクチャ・フロム・モーション（Structure-from-Motion）アルゴリズム：そうしたアルゴリズムは、初めに第１の画像における多数の特徴点を識別し、以降の画像で同じ特徴点を見つけようとするであろう。物体の角または縁端といったハイコントラスト領域は一般に、追跡のために識別される最も信頼できる特徴である。十分な対応する２Ｄ点が突き止められると、３Ｄ点を導き出すことが可能である。例えば、２つの画像間で８つの対応する２Ｄ点が既知であれば、ロング・ヒギンズ（Longuet-Higgens）アルゴリズムが画像間のエピポーラ（epipolar）ジオメトリを回復するために使用され得る。カメラ較正マトリックスと組合せて、対応した２Ｄ点は、それらの回復された３Ｄ位置を見つけるために三角測量され得る。
【００１７】
２．ステレオまたは多眼アルゴリズム：画像シーケンスが固定した相対的構成で２台以上のカメラを用いてキャプチャされた場合、各カメラの画像間の対応が、三角測量（triangulation）によって深さ推定値を導き出すために使用され得る。ＳｆＭアルゴリズムと同様に、対応する点はハイコントラスト領域で確実に識別され得るにすぎず、そのようなアルゴリズムから決定され得る正確な３Ｄ点の数を制限する。
【００１８】
３．手動点対応または直接的な深さ割り当て：３Ｄ点は、２つ以上の画像における点間の対応を示すことによるか、深さ値を単一の２Ｄ点と直接関係づけることによるかのどちらか一方によって、手動で識別され得る。
【００１９】
本発明は、２Ｄ点（入力）と３Ｄ点（出力）との間の関係を符号化するためにクラシファイヤを使用する。クラシファイヤは、１組の入力と１組の出力との間の関係を符号化するアルゴリズムと考えることができる。クラシファイヤは、多数の異なる状態にあるとしてよい内部コンフィギュレーションを有する。監視された分類において、クラシファイヤは、その内部状態を入力と出力との間の関係の例を用いて適応させる。このプロセスは、クラシファイヤの訓練と呼ぶことができる。クラシファイヤは、上述したプロセスから導き出された３Ｄ点を用いて訓練され得る。代替として、訓練を必要としないクラシファイヤが選定され得る。
【００２０】
明快さの目的で、以下の画像シーケンス内で時間ｔに生起する画像における場所ｘ，ｙの２Ｄ点について説明する。
【００２１】
Ｐ｛ｘ，ｙ，ｔ，Ｉ｝
ここに、Ｉは点Ｐの画像特性の集合である。好ましい実施形態において、画像特性Ｉは、２Ｄ点Ｐの赤、緑および青の色成分から構成される。赤、緑および青色成分の線形または非線形の組合せ、または高次統計を含むが、それらに限らない、あらゆる他の画像特性もまた、本発明の性質に影響を及ぼすことなく使用され得る。
【００２２】
３Ｄ点は、次のように定義される。
【００２３】
Ｒ＝｛ｘ，ｙ，ｚ，ｔ，Ｉ｝
ここに、ｚは、深さまたは、点Ｒのカメラからの距離に対応する。上述した技法によって生成される３Ｄ点は、クラシファイヤを訓練するために使用され得る。クラシファイヤは、１組の２Ｄ点とそれらの対応する３Ｄ点との間の関係を符号化する。この関係が時間につれて変化すると、クラシファイヤは既定の時間間隔Ｔにわたり訓練される。好ましい実施形態において、この時間間隔は、ショット検出によって識別された通り、画像シーケンスの分解に一致する。単一の時間間隔Ｔが時間上隣接していない１つ以上のショットを含み得ることに留意しなければならない。画像シーケンスは、例えばカメラが交互にインタビューする人とインタビューされる人に焦点を合わせるニュースインタビューの間において、２つ以上の異なるシーン間で交番し得る。そうした状況では、時間間隔Ｔは、１つのシーンからの全部の画像を含み得る（例えばインタビュアー）。図３は、図の中央の３つのフレームが単一のショット２に属するように、ショット検出アルゴリズムを用いて分解された画像シーケンスを示している。フレーム１は先行ショット１４における画像であり、フレーム５は後続ショット１５における画像である。ショットにおける各画像フレームは、それと関係づけられた多数の３Ｄ点４を有する。各３Ｄ点についての深さＺが手動または自動で導き出されたかどうかは重要でなく、必要とされるのは、その深さがわかっている一連の点である。簡単のために、これらの３Ｄ点は、２Ｄ画像平面へのそれらの投影によって表現される。現在ショット内の全部の３Ｄ点は、それらがいずれのフレームにあるかに関わらず、訓練データとしてクラシファイヤに入力される。
【００２４】
訓練されたクラシファイヤ３は、時間間隔Ｔにわたり２Ｄ点Ｐと３Ｄ点Ｒとの間の関係またはマッピングを次のように表現することができる。
【００２５】
Ｃ｛Ｔ｝：Ｐ｛ｘ，ｙ，ｔ，Ｉ｝≡Ｒ｛ｘ，ｙ，ｚ，ｔ，Ｉ｝    ｔが間隔Ｔに該当する場合
言い換えると、画像フレームの特定の集合上で導き出された３Ｄ点を用いて訓練されたクラシファイヤはこの時、同じ時間間隔にわたるあらゆる他の２Ｄ点についての深さ値を回復するために使用され得る。
【００２６】
クラシファイヤを特定の時間間隔に制限することは、それが２Ｄ点から３Ｄ点を回復できる精度を向上させるが、時間につれて矛盾する結果につながり得る。それらの矛盾は一般に、２つのクラシファイヤの時間境界で現れる。
【００２７】
例えば、画像シーケンスが２つのショットに分解された状況を検討しよう。クラシファイヤは、各ショットにおける全部の３Ｄ点について訓練される。また、第１のショットがｔ１からｔ２まで（これらを含めて）の画像フレームを占有し、第２のショットがｔ３からｔ４まで（これらを含めて）の画像フレームを占有すると仮定する。ｔ２における画像フレームは第１のクラシファイヤを用いて分類され、ｔ３における画像フレームは第２のクラシファイヤを用いて分類される。特定の状況において、これは回復された深さマップにおける顕著な不連続を生じ得る。すなわち、第１のショットの物体は、分類の結果としてある特定の深さに現れるかもしれないが、第１のショットにおけるそれらの同じ物体が、第２のクラシファイヤの結果として第２のショットにおいて異なる深さに現れるかもしれない。この状況では、画像は見る人にとって跳びまわるように見える。
【００２８】
これが問題となり得る状況において、本発明の好ましい実施形態は、２つのやり方で一貫性の問題に対処する。
【００２９】
訓練の前に、クラシファイヤは一般に、いずれかのランダム状態に初期化される。クラシファイヤの性質に応じて、この初期状態は、訓練後のクラシファイヤの最終状態に重大な影響を及ぼし得る。Ｃ２がＣ１の後に生起する２つのクラシファイヤＣ１およびＣ２の間の一貫性を改善するために、Ｃ２は、クラシファイヤＣ１の初期状態と同じ状態に初期化され得る。代替として、Ｃ２は、クラシファイヤＣ１の一部または完全に訓練された状態を用いて初期化され得る。例えば、第１のクラシファイヤがランダム状態ｓ１に初期化されると仮定する。訓練の間、クラシファイヤは、その状態を例えばｓ１からｓ５０まで繰り返し変えるかもしれない。第１のクラシファイヤの後に第２のクラシファイヤは、例えばランダム状態の代わりに状態ｓ１０に初期化され得る。第２のクラシファイヤのいずれかの状態を伴い第１のクラシファイヤを初期化するプロセスは、第１のクラシファイヤのブートストラップと称する。ブートストラップは、開始状態が一般に最終的な訓練された状態に近いので、クラシファイヤが訓練され得る速度を増大させるという付加的な利益を有する。
【００３０】
結果の一貫性をさらに改善するために、２つ以上のクラシファイヤが、２Ｄ点から３Ｄ点を決定するために結合され得る。例えば、時間ｔ１から時間ｔ２までの時間間隔にわたって訓練されたクラシファイヤが、ｔ１とｔ２との間の中間点である時間上の特定の点に関係づけられていると考える。
【００３１】
３Ｄ点を決定したいと望むいずれかの点Ｐ｛ｘ，ｙ，ｔ，Ｉ｝について、その時間中間点が時間ｔの直前および直後に生起する２つの最も近いクラシファイヤを決定する。図４は、２つのショット１２および１３に分解された、多数の画像フレームよりなる画像シーケンスを示している。時間ｔは、個々の連続する画像フレームとともに左から右へ増す。画像シーケンスのショット１２内の画像７の一部である所与の２Ｄ点６について３Ｄ点を決定するために、２Ｄ点６の時間ｔの直前に時間中間点を備える第１のクラシファイヤ１４と、その直後に時間中間点を備える第２のクラシファイヤ１５が結合され得る。
【００３２】
第１のクラシファイヤ１４は３Ｄ点Ｒ１を出力し、第２のクラシファイヤ１５は３Ｄ点Ｒ２を出力すると仮定して、２Ｄ点Ｐが入力として与えられた場合、結合手段１８が、Ｒ１およびＲ２を結合することによって改善された３Ｄ点Ｒ３を生成することができる。結合手段１８は、Ｒ１とＲ２とを単純に平均することができるが、理想的にはその入力の重みつき結合を使用する。好ましい実施形態において、重みは、点Ｐとクラシファイヤの時間中間点との間の時間距離に基づく。このプロセスのさらなる例証として、ｔ１とｔ２との間の時間間隔にわたって訓練された第１のクラシファイヤ１４の時間中間点が、Ｔｍ１＝０．５＊（ｔ１＋ｔ２）として定義されると考える。同様に、ｔ３とｔ４との間の時間間隔にわたって訓練された第２のクラシファイヤ１０の時間中間点はＴｍ２＝０．５＊（ｔ３＋ｔ４）と定義される。
【００３３】
第１のクラシファイヤ１４についてｗ１＝（ｔ−ｔｍ１）／（ｔｍ２−ｔｍ１）および第２のクラシファイヤ１５についてｗ２＝（ｔｍ２−ｔ）／（ｔｍ２−ｔｍ１）のそれぞれの重みを計算することによって、２つのクラシファイヤの相対的寄与を決定することができる。その後、改善された３Ｄ点Ｒ３は次のように計算され得る。
【００３４】
Ｒ３＝ｗ１＊Ｒ１＋ｗ２＊Ｒ２
代替実施形態において、重みづけは、時間近接性に対する分類誤り推定値によって決定される。
【００３５】
本システムが、出願人の先行システムとは、従って画像シーケンスについての深さマップの生成のためのあらゆる他の方法とも著しく異なることは理解されるであろう。図１でわかるように、出願人の先行プロセスは、多数のキーフレームの選定および、各キーフレーム内の十分な数のピクセルに関する深さが既知であることを必要とした。各キーフレームについて、十分なピクセルが深さを割り当てられていると仮定すれば、その場合、深さマップが段階１で創成できた。各キーフレームの深さマップはその後、段階２において残りのフレームに関する以降の深さマップを開発するために使用された。このプロセスは、図２で例証されている本発明と著しく異なる。図２は、画像シーケンスからキーフレームを選定することがもはや不要であることを示している。さらに、特定のフレームまたはキーフレームが、十分な数のピクセルまたは点に割り当てられた深さを有することを保証することももはや不要である。そうではなく、本発明は、深さマップを創成するために多数のフレームにわたる多数のピクセルについての深さおよび画像データを受け取る。クラシファイヤのためのデータが、特にその画像シーケンスが静止物体のものである場合、単一のフレームに由来し得ることは理解されるであろうが、この状況においてさえ、２つのキーフレームについて２つの深さマップを生成し、その後それらのキーフレーム深さマップを使用して以降の深さマップを生成していた先行システムに代わり、クラシファイヤはショットの各フレームについて深さマップを生成するために使用されるという点で、それは出願人の先行出願とは異なる。
【００３６】
個々の場合において各ピクセルの画像データが既知であることは理解されるであろう。すなわち、ＲＧＢ成分を考えた場合、各ピクセルについて、システムは相対ＸＹ位置および、ＲＧＢ値を知っている。必要とされることは、ショットシーケンスにわたる多数のピクセルがそれらに割り当てられた深さを有することである。この深さは、手動または自動的に、または手動および自動の組合せで割り当てられ得る。この情報はその後、本発明のクラシファイヤに渡されて、それによってショットの各フレームに関する深さマップを創成し得る。
【００３７】
本発明のシステムは、隣接するショットにおけるクラシファイヤを利用することによってさらに改善され得る。すなわち、単一のクラシファイヤによってのみ生成された深さマップに頼るのではなく、隣接するクラシファイヤによって生成された深さへの参照がなされる。これはやはり図５において例証されている。この場合、第１のショット１２は４フレームを含み、それらのデータはクラシファイヤ１４に供給される。同様に、隣接するショット１３は６フレームを含み、それらのデータは第２のクラシファイヤ１５に供給される。フレーム１〜１０のいずれかにおけるいずれかの点、例えば第４フレーム１７における点１６についての深さを決定するために、両方のクラシファイヤからの出力は、その点における深さを決定するために結合される。理想的には、どちらか一方のクラシファイヤへの信頼は、いずれのフレームが考慮されているかに依存して、ある特定のクラシファイヤに有利に重みづけされる。例えば、図４の例において、クラシファイヤ１５の重みづけは、第１フレームに対して第５フレームにおいて相当に大きくなるはずである。同様に、クラシファイヤ１４の重みづけは、フレーム１０についてよりもフレーム５について大きくなるであろう。
【００３８】
重みづけは、画像内の物体の深さが時間につれて変化し得るという事実を考慮するように設計される。また、物体の深さは、物体の履歴的な深さに加え、物体の将来的な深さの両方に対する何らかの関連を有することも理解される。種々のクラシファイヤに重みづけすることによって、ショット間のより滑らかな移行が達成され得る。
【００３９】
より複雑なシステムでは、移行平滑化をさらに改善するために２超のクラシファイヤを結合することが可能となり得ることが理解されるはずである。例えば、ある特定のショットについてのクラシファイヤに加え、そのショットの両側の２つの隣接するクラシファイヤを含む、３つのクラシファイヤが使用され得る。
【００４０】
出願人の先行システムは、その時に知られていたものから著しい進歩を遂げたと考えられた。本システムは、出願人の先行システムからさらに著しい進歩を遂げている。いずれかの画像シーケンス内のフレームについて深さマップを決定するために２段階プロセスを実行することは、もはや不要である。さらに、段階１のための深さマップを導き出すために単一のフレーム内の十分な数のピクセルがわかっていることも、もはや不要である。逆に、本発明は、単一のフレームに依拠することもできるであろうが、一連のフレームから情報を導き出し、それによってそれらのフレームの各々についての深さマップを生成することができる。さらに、本システムは、例えば図４のフレーム９によって示されたように、たとえある特定のフレームについていかなる深さデータもわからない場合でさえ、実行することができるであろう。この状況では、クラシファイヤは残りのフレームにおける既知の深さデータを使用する。
【００４１】
本発明の方法および装置を例示的な適用によって要約し説明したが、多数の広範に異なる実施形態および応用が本発明の教示および範囲の内にあり、ここに提示された例は例証としてのものであるにすぎず、本発明の範囲を限定するものとして解釈してはならないことは、当業者には理解されるであろう。
【図面の簡単な説明】
【００４２】
【図１】は、出願人の同時係属特許出願の作業を例示している。
【図２】は、本発明の動作を例証している。
【図３】は、本発明の１実施形態におけるクラシファイヤの使用を例示している。
【図４】は、隣接クラシファイヤの使用による本発明の好ましい実施形態を例示している。
【図１】
2005529417.tif 000003
【図２】
2005529417.tif 000004
【図３】
2005529417.tif 000005
【図４】
2005529417.tif 000006
【国際調査報告】
2005529417.tif 000007
2005529417.tif 000008
2005529417.tif 000009