(57)【要約】制約された視点の３Ｄビデオブロードキャストが観察者位置により依存しなくさせる手段を提供するように、観察者の位置にマッチするように３Ｄビデオコンテンツを変換するためのシステムおよび方法。テレビジョン上の３Ｄビデオディスプレイは、１つの特定の観察者の視点を仮定してコード化される３Ｄビデオを取得すること、ディスプレイスクリーンに対して視聴者の実際の位置を感知すること、および実際の位置に適切のようなビデオイメージを変換することよって増される。本明細書に提供されるプロセスは、行われるべき変換に必要とされるオブジェクト深さを識別する計算的に激しい一部をショートカットするように、ＭＰＥＧ２  ３Ｄビデオストリームまたは類似な仕組みにはめ込まれた情報を用いて、好ましくインプリメントされる。
2012501506.tif 000002
【特許請求の範囲】
【請求項１】
観察者の位置にマッチするように３Ｄビデオコンテンツを変換するプロセスであって、
実際の観察者の位置を感知するステップと、
右および左のイメージペアの第１のシーケンスを、観察者の感知された位置の関数として、該右および左のイメージペアの第２のシーケンスに変換するステップであって、第２の右および左のイメージペアが、観察者の実際の観点から正しく見えるイメージを生成する、ステップと
を含む、プロセス。
【請求項２】
前記変換するステップは、
ビデオビットストリームの各フレームに対する右および左のイメージペアのシーケンスを受信するステップであって、該右および左のイメージペアのシーケンスが、時間的冗長性および空間的冗長性を減少する方法によって圧縮される、ステップと、
該右および左のイメージペアのシーケンスから、右および左のフレームに対する２Ｄ次元のイメージ、空間的な情報コンテンツならびに運動ベクトルを構文解析する、請求項１に記載のプロセス。
【請求項３】
前記時間的な冗長性が、構文解析された空間的な情報内にあることが考えられる疑わしくなる点を識別するステップをさらに含む、請求項２に記載のプロセス。
【請求項４】
構文解析された空間的な情報内に、ＤＣＴ係数分布の関数としてフォーカスマップを構築するステップをさらに含み、該フォーカスマップは、フォーカスの程度が類似しているイメージのエリアをグループ分けする、請求項３に記載のプロセス。
【請求項５】
現在値と格納された値とに基づいて、前記運動ベクトルを確認するステップをさらに含む、請求項４に記載のプロセス。
【請求項６】
３Ｄ運動ベクトルのテーブルを形成するために、前記右および左のフレームからの前記運動ベクトルを結合するステップをさらに含む、請求項５に記載のプロセス。
【請求項７】
現在のフレームに対する深さマップを導出するステップをさらに含む、請求項６に記載のプロセス。
【請求項８】
前記深さマップを導出するステップは、
時間的冗長性が疑わしくなる点、前記フォーカスマップ、前記３Ｄ運動ベクトル、格納された履歴の深さデータならびに前記右および左のフレームに対する前記２Ｄ次元イメージの関数として３つ以上の深さマップを生成するステップと、
該３つ以上の深さマップを該右および左のフレームに対する該２Ｄ次元イメージからの識別可能な特徴と比較するステップと、
該３つ以上の深さマップから深さマップを選択するステップと、
選択された深さマップを深さ履歴に加えるステップと
を含む、請求項７に記載のプロセス。
【請求項９】
前記観察者の実際の位置から、観察者に正しい観点を提供するように、前記選択された深さの関数として、前記右および左のフレームを出力するステップをさらに含む、請求項８に記載のプロセス。
【請求項１０】
前記右および左のフレームを出力するステップは、
前記選択された深さマップを３Ｄ座標空間に変換するステップと、
該変換された深さマップデータから該右および左のフレームを生成するステップであって、該右および左のフレームが、前記観察者の感知された位置から適切な観点で見える、ステップと
を含む、請求項９に記載のプロセス。
【請求項１１】
イメージの欠けている部分を修復するステップと、
ディスプレイスクリーン上に前記イメージをディスプレイするステップと
をさらに含む、請求項１０に記載のプロセス。
【発明の詳細な説明】
【技術分野】
【０００１】
（分野）
本明細書に記述される実施形態は、一般的に、３Ｄビデオコンテンツをディスプレイすることが可能なテレビジョンに関し、より具体的には、観察者位置にマッチする３Ｄビデオコンテンツの変換を容易にするシステムおよび方法に関する。
【背景技術】
【０００２】
（背景情報）
３次元（３Ｄ）ビデオディスプレイは、観察者の目の各々に対して、別個のイメージを提示することによって行われる。シャッターゴーグルを用いた時分割多重化された３Ｄディスプレイ技術と呼ばれるテレビジョンにおける３Ｄビデオディスプレイインプリメンテーションの一例が、図２で概略的に示される。時分割多重化された３Ｄディスプレイ技術に対して、本開示において参照が為されるが、他の３Ｄディスプレイインプリメンテーションは多数あり、当業者は、本明細書に記述される実施形態が同様に他の３Ｄディスプレイインプリメンテーションに適用可能であることを容易に認識する。
【０００３】
時分割多重化された３Ｄディスプレイインプリメンテーションにおいて、異なるイメージが、観察者の右の目と左の目とに送られる。図２に示されるように、ビデオ信号１００内のイメージは、ディスプレイのためにテレビジョンによって別個にデコード化される左右の対のイメージ１０１および１０２としてコード化される。イメージ１０１と１０２とは、ピクチャ１０５としてテレビジョン１０によって与えられている右のイメージ１０１と、ピクチャ１０６としてテレビジョン１０によって与えられている左のイメージ１０２と、ちょうどよい時間に交互ずらされる。テレビジョン１０は、観察者に着用される一対のＬＣＤシャッターゴーグルに同調信号を提供する。シャッターゴーグルは、左シャッターレンズ１０７と右シャッターレンズ１０８とを含む。シャッターゴーグルは、レンズ１０７と１０８の外にグレーによって説明される同調信号に一致して、光を選択的に防ぎ、かつ通過する。従って、観察者の右目９２はピクチャ１０５、右目９２に対して意図されたイメージをだけ見え、左目９０はピクチャ１０６、左目９０に対して意図されたイメージをだけ見える。２つの目９０と９２から受け取られた情報と、それらの間の異なりとから、観察者の脳は、示されるオブジェクトの３Ｄ表示、すなわち、イメージ１０９を復元する。
【０００４】
従来の３Ｄインプリメンテーションにおいて、右と左のイメージのシーケンス１０１／１０２、１０３、１０４は、３Ｄディスプレイのために生成され得、それらのシーケンスの配置は、テレビジョンスクリーン１８に対して、観察者の一定の定められる位置を仮定し、図３Ａに示されるように、一般的に前方および中央である。これは制約された視点の３Ｄビデオと呼ばれる。３Ｄ錯覚は維持され、すなわち、観察者の脳は、観察者の実際の位置であり、および観察者が基本的に静止である限り、正しい３Ｄイメージ１０９を復元する。しかし、観察者が、図３Ｂに示されるようにいくつかの他の角度から観察し、３Ｄイメージを観察する同時に部屋の周りを移動する場合、透視図は、歪められたようになる（すなわち、歪められたイメージ内のオブジェクト２０９が、３Ｄ効果をじゃまするように押しつぶし、および引き伸ばすように見える）。所望の視点が前方と中央の１つから外れるとき、数個ソースからのエラー（ビデオの量子化、透視図内の回復不可能なギャップ、およびビデオ自身内のあいまいな表示）は、所望のビデオフレームにますます大きな影響を有する。観察者の脳が比例して、これらの変化を理解しようことは、観察者がそのヘッドを移動するとき、テレビジョンスクリーンの平面で旋回する長いパイプを見えてくることを解釈し、オブジェクトが遠い終端で現れ、観察される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
与えられた右と左のイメージペアを、ユーザーの実際の透視図からの正しいビューを生成し、観察者がコード化に制約された視点からを観察するまたはいくつかの他の角度から観察する正しいイメージの透視図を維持するかどうかの一ペアに変換するシステムを有することは望ましい。
【課題を解決するための手段】
【０００６】
（要約）
本発明書に提供される実施形態は、観察者の位置にマッチするための変換３Ｄビデオコンテンツのためのシステムおよび方法を対象にする。より具体的に、本発明書に記述されるシステムおよび方法は、制約された視点３Ｄビデオブロードキャストが観察者位置により依存しなくさせるための手段を提供する。これは、ユーザーの実際の位置から正しい透視図を示すように、ビデオフレームを修正することによって達成される。修正は人間の３Ｄ視覚知覚の低いレベルを擬似するプロセスを用いて達成され、それにより、プロセスがエラーを作るとき、作られたエラーは観察者の目によって作られるエラーと同じになるようにする（および従ってエラーが観察者にとって目に見えなくなる）。その結果、テレビジョン上の３Ｄビデオディスプレイは、１つの特定の観察者の視点、すなわち、中央に位置する制約された視点を仮定してコード化される３Ｄビデオを取得すること、ディスプレイスクリーンに対して視聴者の実際の位置を感知すること、および実際の位置に適切のようなビデオイメージを変換することよって増される。
【０００７】
本明細書に提供されるプロセスは、行われるべき変換に必要とされるオブジェクト深さを識別する計算的に激しい一部をショートカットするように、ＭＰＥＧ２  ３Ｄビデオストリームまたは類似な仕組みにはめ込まれた情報を用いて、好ましくインプリメントされる。３Ｄモデリングのタスクを簡単化にするために、デコーダーからいくつかの中間情報を抽出すること（基本的な再利用作業がデコーダーによって既に行われる）は可能である。
【０００８】
例示の実施形態の他のシステム、方法、特徴および利点は、当業者にとって、次の図面
および詳細の記述の試験上に明白であり、または明白になる。
【０００９】
組み立て、構造、および作動を含む例示の実施形態の詳細は、同様の参照数字が同様の部分を指す添付の図面の調査によって、一部分で収集され得る。図面の部品は等縮尺である必要がなく、代わりに本発明の原理を説明するのに対して強調する。加えて、全部の説明図は、概念を伝えるつもりであり、相対的なサイズ、形状および他の詳細な属性が、厳密的または正確的より概要的に説明され得る。
【図面の簡単な説明】
【００１０】
【図１】図１は、テレビジョンおよびコントロールシステムの略図である。
【図２】図２は、シャッターゴーグルを用いた時分割多重化された３Ｄディスプレイ技術の例を説明する略図である。
【図３Ａ】図３Ａは、普通の３Ｄビデオコード化において仮定された一定の観察者位置に置かれ、観察者によって観察された３Ｄイメージを説明する略図である。
【図３Ｂ】図３Ｂは、普通の３Ｄビデオコード化において仮定された観察者位置より異なる観察者位置にいる観察者によって観察されて歪められた３Ｄイメージを説明する略図である。
【図４】図４は、３Ｄイメージコード化が観察者の実際の位置に対して修正されるとき、観察者によって観察された３Ｄイメージを説明する略図である。
【図５】図５は、観察者位置に対して３Ｄイメージコード化を修正するためのコントロールシステムの略図である。
【図６】図６は、観察者位置の感知における３Ｄビデオ観察システムを説明する概要的斜視図である。
【図７】図７は、圧縮されたビデオ信号から３Ｄビデオコード化を抽出するプロセスを説明するフローダイヤグラムである。
【図８】図８は、特徴深さの仮定生成およびテストプロセスを説明するフローダイヤグラムである。
【図９】図９は、エラーを評価し、ビデオイメージを変換するようにターゲット座標システムに変換するためのプロセスを説明するフローダイヤグラムである。
【００１１】
類似な構造または機能の要素が、図面の始終に説明目的のための同様な参照数字によって一般的に表示されることは注意されるべきである。図面がただ、好ましい実施形態の記述を容易にするように意図されることも注意されるべきである。
【発明を実施するための形態】
【００１２】
（詳細な記述）
本明細書に記述されるシステムおよび方法は、観察者の位置にマッチするように３Ｄビデオコンテンツを変換するためのシステムおよび方法を対象にする。より具体的に、本明細書に記述されるシステムおよび方法は、制約された視点３Ｄビデオブロードキャストが観察者位置により依存しなくさせるための手段を提供する。これは、ユーザーの実際の位置から正しい透視図を示すように、ビデオフレームを修正することによって達成される。修正は人間の３Ｄ視覚知覚の低いレベルを擬似するプロセスを用いて達成され、それにより、プロセスがエラーを作るとき、作られたエラーは観察者の目によって作られるエラーと同じになるようにする（および従ってエラーが目に見えなくなる）。その結果、テレビジョン上の３Ｄビデオディスプレイは、１つの特定の観察者の視点を仮定してコード化される３Ｄビデオを取得すること、ディスプレイスクリーンに対して視聴者の実際の位置を感知すること、および実際の位置に適切のようなビデオイメージを変換することよって増される。
【００１３】
本明細書に提供されるプロセスは、行われるべき変換に必要とされるオブジェクト深さを識別する計算的に激しい一部をショートカットするように、ＭＰＥＧ２  ３Ｄビデオストリームまたは類似な仕組みにはめ込まれた情報を用いて、好ましくインプリメントされる。３Ｄモデリングのタスクを簡単化にするために、デコーダーからいくつかの中間情報を抽出すること（基本的な再利用作業がデコーダーによって既に行われる）は可能である。
【００１４】
図面に対して詳細になると、図１はテレビジョン１０の実施形態の略図を描く。テレビジョン１０は、好ましくは、ビデオディスプレイスクリーン１８と、コントロールシステム１２と連結され、かつリモートコントロールユニット４０から受信したＩＲ信号を受信し、検出し、および処理するように適応されるＩＲ信号受信器または検出システム３０とを含む。コントロールシステム１２は、好ましくは、システムソフトウェアが格納されるマイクロプロセッサー２０および不揮発性メモリー２２と、マイクロプロセッサー２０と連結されるスクリーンディスプレイ（ＯＳＤ）コントローラ１４と、ＯＳＤコントローラ１４およびディスプレイスクリーン１８と連結されるイメージディスプレイエンジン１６とを含む。システムソフトウェアは、好ましくは、テレビジョン１０のセットアップ、作動およびコントロールを可能にするために、マイクロプロセッサー２０上に実行可能な命令のセットを含む。
【００１５】
改良された３Ｄディスプレイシステムは、図４に示され、センサー３０５が、コントロールシステム１２のマイクロプロセッサー２０（図１）と連結され、実際の観察者Ｖの位置を感知し、その位置の情報が、与えられた右と左イメージのペアを、観察者の実際の遠近図から正しいビューまたはイメージ３０９を生成するペアに変換するために使われる。
【００１６】
図５に描かれたように、右と左イメージのペアのオリジナル制約されたイメージ１０１と１０２は、プロセッサー４００によって、後で詳細に記述されるように、結果としてセンサー３０５によって検知されたような観察者の実際の位置から正しい３Ｄイメージ３０９をもたらすイメージ４０１と４０４の異なる右と左のペアに修正される。
【００１７】
図６は、観察者の位置を感知するためのシステム５００の例示の実施形態を説明する。２つのＩＲ  ＬＥＤ５０１と５０２は、２つの異なる位置でＬＣＤシャッターゴーグル５０３に取り付けられる。カメラまたは他の感知デバイス５０４（好ましくは、テレビジョン５０５自身に組み込まれる）は、ＬＥＤ５０１と５０２の位置を感知する。観察者のヘッド位置を感知する例は、ＰＣと安い消費者の器具（特に、ＩＲ  ＬＥＤと任天堂Ｗｉｉリモコン）を用いて実証された。例えば、ｈｔｔｐ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｊｄ３−ｅｉｉｄ−Ｕｗ＆ｅｕｒｌ＝ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｃｍｕ．ｅｄｕ／−Ｊｏｈｎｎｙ／ｐｒｏｊｅｃｔｓ／ｗｉｉ／を見る。この実演において、観察者は、自身のこめかみに赤外線ＬＥＤのペアを付ける。静止であるＩＲカメラおよびファームウェア「ＷｉｉＭｏｔｅ」は、それらの位置を感知し、観察者のヘッド位置を推測する。そのことから、ソフトウェアは、観察者の位置に適して、コンピューター生成３ｄシーンの２ｄビューを生成する。観察者がそのヘッドを移動するとき、スクリーン上のオブジェクトは、深さの錯覚を生成するために適するように移動する。
【００１８】
現在、大抵の３Ｄビデオは、観察者が前方および中央に座ることを仮定して生成され、視点制約された右と左イメージのペアがコード化され、ディスプレイのためのテレビジョンへ送られる。しかし、制約されたイメージの右と左ペアは、実際に、それらの間の視差においてシーンの深さ情報を含む（より遠いオブジェクトが右と左目に対して類似な場所で現れるが、近くのオブジェクトが２つのイメージの間のより多くの水平変位で現れる）。この異なりは、他の情報とともに、ビデオシーケンスから抽出され得、示されるシーンのための深さ情報を復元するために使われ得る。いったんそれが行われると、観察者の実際の位置に対して正しいである新しい右と左イメージのペアを生成することは可能になる。このことは、固定された前方および中央の透視図によって提供された３Ｄ効果を超えて、３Ｄ効果を増す。コスト効率プロセスは、次に利用可能な情報から３Ｄモデルを生成するために使われ得る。
【００１９】
ステレオイメージペアから深さ情報を抽出する問題は、基本的に、２つのイメージの間の特徴にマッチすること、各可能なマッチでのエラー機能を開発すること、および最も低いエラーでマッチを選択することの反復プロセスである。ビデオフレームのシーケンスにおいて、検索は各目に見えるピクセルでの深さの最初近似から始まり、より良い最初近似、より少ない続く反復が必要とされる。そのプロセスのための大抵の最適化は２つのカテゴリー、
（１）マッチする速度を上げるために検索空間を減少することと、
（２）不明瞭のところを処理し、結果をもたらすことと
に分かれる。
【００２０】
２つのことは、作られるべきより良い最初近似およびマッチする速度の向上を可能にする。第１、ビデオにおいて、右と左のペアの長いシーケンスは、いくつかの例外とともに、時間を通して同じシーンの連続するサンプルを表示する。一般的に、シーンにおいてオブジェクトの運動は、おおよそ連続である。その結果、前および後のフレームからの深さ情報は、現在のフレームの深さ情報上に直接の関係を有する。第２、ペアのイメージが、ＭＰＥＧ２または時間および空間のコード化をともに含む類似な仕組みを用いてコード化される場合、中間値は、回路が、
（１）イメージの異なる部分がどうやって１つのフレームから次のフレームへ移動するかを指示する、
（２）シーンの変化がビデオ内にどこで生じるかを指示する、
（３）異なるエリアでのカメラフォーカスのいくつかの程度を指示する
それらのフレームをデコード化するように利用可能である。
【００２１】
ＭＰＥＧ２運動ベクトルは、数個のフレームにわたって確認される場合、フレームの各々に生じるべき特定の特徴のかなり信頼可能な推定を与える。言い換えると、前のフレームの位置Ｘにある特定の特徴は、一定の座標に従って移動し、それゆえに、このフレームの位置Ｙにあるべきである。このことは、反復マッチするプロセスのために優れた最初近似を与える。
【００２２】
シーン変化の指針は、ＭＰＥＧ２フレーム内の情報コンテンツの測定で見つけられ得る。指針は、シーン変化にわたるように現れる運動推定を無効にするように使われ得、このように、指針にマッチするプロセスを混乱させないようにする。
【００２３】
「フォーカス」に関する情報は、別々のコサイン変換（ＤＣＴ）係数の分布内に含まれる。このことは、シーンにおいてオブジェクトの相対的な深さに対してもう１つの指針として与える（フォーカスが合う２つのオブジェクトが類似な深さであり得、そこで、フォーカスが合わないもう１つエリアが大抵異なる深さでありそう）。
【００２４】
続くセクションは、図５に描かれた復元／変換プロセッサー４００を話しかける。多くの３Ｄ情報は明白に不明瞭である。人間の目によって収集された深さ情報の多くも不明瞭である。強いられる場合、それは、いくつかの非常に複雑と思われるプロセスを用いて解決され得る。しかしそれらのプロセスが全時間で使われる場合、人はその環境を通して非常に遅く移動しなければならない。言い換えると、３Ｄ復元プロセスは、人間の目によって作られた決定およびそれらのより低い視覚システムに近似し、およびこのような視覚システムがする同じ間違いを作り、または人間の脳が３Ｄ情報を抽出しようとしない同じ不明瞭な場所から３Ｄ情報を抽出しようとしない（プロセスが、一般的に人にとって目に見えない間違いを生成する）。このことは、３次元のオブジェクトの厳密なマップを生成することとかなり異なりである。プロセスは、
（１）人間視覚システムの最も低いレベルによって使われた方法に対してできるだけ近い技術を用いて適切なモデルを識別すること、
（２）所望の視点に対してそのモデルを変換すること、および、
（３）結果を控えめに表示し（人間視覚システムを予測しようとしない）、および同じシーンに関して情報の第２、２つ以上のイメージの一部内に利用可能になる知識を用いてこれを行うこと
を含む。
【００２５】
最も優れた利用可能な研究は、人の目が、同時に、連続的に、世界の多数のモデルの予測を連続する瞬間に見えたものと比較し、かつ１つずつに対してそれらの正確さを比較する前に、非常に基礎の特徴の情報と世界の多数のモデルを操作する視覚処理の最も低いレベルとを報告することを示唆する。任意の与えられた瞬間で、人は、人が見るオブジェクトに関してより高いレベルの決定を作るように使われる「最も適した」モデルを有する。しかし、人はまた、同じ視覚情報を処理する多数の代替モデルを有し、より適するために連続的にチェックする。
【００２６】
このようなモデルは、世界のオブジェクトがどう働くかの知識を組み込む（例えば、現在からの瞬間において、特定の特徴が、多分、人が今それを見える場所によって予測される位置にあり、人がそれの運動について知るものによって変換される）。このことは、空間のそれの位置の優れた始まりの近似を提供し、この近似が、後で記述されるように、追加のヒントの考慮によってさらに改良され得る。運動から構造の計算は、そのタイプの情報を提供する。
【００２７】
観察者の脳は、同じオブジェクトの連続するビューから、時間にわたって深さ情報を蓄積する。脳は、この情報から、概略的なマップまたは多数の競争するマップを作る。次に、脳は、現在の右と左のペアの利用可能な深さ情報を用いて、適正のためにそれらのマップをテストする。任意のステージにおいて、大量の情報は利用不可能であり得る。しかし、比較的に正確な３Ｄモデルは、連続的にオブジェクトの実際の配置に関して多数の仮定を作り、および連続的に現在の知覚に対して仮定の正確さをテストすること、勝ったまたはより正確な仮定を選択すること、およびプロセスを続くことによって保持され得る。
【００２８】
２つのタイプの３Ｄ抽出（右と左のイメージペアからまたは時間を通る同じシーンの連続するビューから）は、イメージ間の特徴にマッチすることに依存する。このことは、一般的に、費用のかかる反復プロセスである。偶然に、多くのイメージ圧縮標準は、３Ｄマッチする問題に必要とされる作業をショートカットするための有用な情報をともに表す空間および時間の冗長性をともにコード化する方法を含む。
【００２９】
ＭＰＥＧ２標準に使われた方法は、このようなコード化の一例として示される。このような圧縮されたイメージは、デコーダーに対する命令として考えられ得、デコーダーにオリジナルに近似するイメージをどうやって作るかを伝える。それらの命令のうちのいくつかは、間近で３Ｄ復元タスクを簡単化することにおいて自分自身の値を有する。
【００３０】
多くのフレームにおいて、ＭＰＥＧ２デコーダーは、フレームをより小さい部分に分け、各部分に対して、前の（およびときどき次の）フレームの最も近い視覚マッチを用いて領域を識別する。このことは、典型的に、反復検索を用いて行われる。次に、デコーダーは、部分の間のＸ／Ｙ距離を計算し、「運動ベクトル」として異なりをコード化する。このことは、空間的にコード化されなければならない情報をずっと少なく残し、他の方法で必要とされるより少ないビットを用いてフレームの伝達を許可する。
【００３１】
ＭＰＥＧ２がこの時間の情報を「運動ベクトル」と呼ぶが、標準は、シーンのオブジェクトの実際の運動を示すこのベクトルを約束することを注意深く避ける。実際に、しかし、実際の運動との相関性は、非常に高く、着実によくなる。（例えば、Ｖｅｔｒｏら、「Ｔｒｕｅ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒｓ  ｆｏｒ  Ｒｏｂｕｓｔ  Ｖｉｄｅｏ  Ｔｒａｎｓｍｉｓｓｉｏｎ」、ＳＰＩＥ  ＶＰＩＣ、１９９９を見る、（ＭＰＥＧ２運動ベクトルを実際の運動にマッチした程度に対して、結果として圧縮されたビデオは、特定のデータレートでビデオの品質において１０％またはより大きな増大が見えるかもしれない。））これは、連続するフレームの対応する運動ベクトルの「チェーン」のためのチェックすることによってさらに確認され得、このようなチェーンが築かれる場合、これは多分、イメージの特徴の実際の運動を示す。その結果、このことは、３Ｄ抽出ステージのイメージマッチする問題のための非常に優れた始まりの近似を提供する。
【００３２】
ＭＰＥＧ２はさらに、フレーム内に空間の冗長性を削除する方法を用いてイメージのピクセル情報をコード化する。時間のコード化と一緒のように、デコーダーに対する命令として空間の情報をもたらすことを考えるのはまた可能である。しかし再び、それらの命令が自分自身で検討されるとき、それらは間近で問題に対して有用な寄与を作る。
【００３３】
（１）全部の情報コンテンツは、現在および前のフレームの間の異なりを表す。このことは、シーンの変化がビデオ内に生じるときに関していくつかの優れた近似を作ることのために許可し、およびその場合に連続するフレームから抽出された情報に対して少ない信用を与えることを許可する。
【００３４】
（２）フォーカス情報：これは、同じ深さに対して、イメージの割り当て部分のための有用なヒントであり得る。これは、背景から前景に伝え得なく、しかし知られる深さを有するあるものが１つのフレームおよび次のフレームにフォーカスが合う場合、次にその深さは多分、フレームの間にあまり変えない。
【００３５】
それゆえに、本明細書に記述されたプロセスは、以下のように要約され得る。
【００３６】
１、ビデオ圧縮器からのヒントは、時間の深さの抽出のための最初近似を提供するために使われる。
【００３７】
２、特徴の概略的な深さマップは、時間の変化と時間を通る右と左の不同との組み合わせからの３Ｄ運動ベクトルを用いて生成される。
【００３８】
３、現在のフレームの明確であるそれらの特徴を用いて、水平不同は、概略的な時間の深さ情報からの最もよい値を選択するために使われる。
【００３９】
４、結果として生じる３Ｄ情報は、所望の透視図で座標システムに変換され、結果として右と左のイメージペアは生成される。
【００４０】
５、それらのイメージのギャップは修復される。
【００４１】
６、および、ユーザーの透視図および与えられた透視図からのモデルエラー、ギャップエラーおよび偏差は、適用された透視図の調整の量を制限するために評価され、引き出された右と左のイメージを現実に保つ。
【００４２】
このプロセスは、図７、８および９に関連してより大きく詳細に記述される。図７は、プロセスの後のステージに使用のために圧縮された制約された視点３Ｄビデオビットストリームからの情報を収集する３Ｄ抽出プロセスの第１のステージ６００を説明する。描かれるように、入力ビットストリームは、ビデオの各フレームに対して、右と左のイメージペア６０１と６０２のシーケンスからなる。これらは、時間および空間の冗長性を減少するＭＰＥＧ２またはいくつかの他の方法を用いて、圧縮されるように仮定される。これらのフレームは、連続的にＭＰＥＧ２パーサ／デコーダー６０３か、または平行のデコーダーのペアかに供給される。本明細書に記載された増大なしに制約された視点ビデオを示すディスプレイにおいて、このステージの機能は、右と左のフレーム６０５と６０６を生成することを簡単にする。６００の部品は、フレームのシーケンスから追加の情報を抽出し、連続する計算ステージに対して利用可能なこの情報を作る。追加の情報を抽出する部品は、以下を含み、しかし以下に制限されない。
【００４３】
編集情報抽出器６１３は、シーンの変化および移行（時間の冗長性が疑わしくなるポイント）を識別するコード化されたビデオストリームの情報コンテンツの測定に作動する。この情報は、コントロール部品６１４に送られる。コントロール部品６１４の機能は、この機能が図７、８および９に説明された多数の部品をコントロールするように、プロセスの各ステージにわたる。
【００４４】
フォーカス情報抽出器６１５は、フォーカスの程度が類似であるイメージのエリアをグループ別にするフォーカスマップ６１６を作るために、別々のコサイン変換（ＤＣＴ）係数（ＭＰＥＧ−２の場合）の分布を検討する。
【００４５】
運動ベクトル確認器６０９は、右と左のシーン６１０と６１７の実際のオブジェクト運動のより信頼できる測定を引き出すために、運動ベクトルの現在値および格納された値に基づいて、コード化されたビデオストリーム内の運動ベクトル（ＭＶｓ）６０７をチェックする。ＭＶは、オブジェクトが移動するレートおよび方向を示す。確認器６０９は、オブジェクトがある場所を予測するためにＭＶを使い、次に、ＭＶの信頼性を確認するためにその場所をオブジェクトが実際にある場所と比較する。
【００４６】
ＭＶ履歴器６０８は、フレームのシーケンスからの運動ベクトル情報のメモリーである。このステージでのフレームの処理は、１つ以上のフレーム時間までに、観察者に対して３Ｄフレームの実際のディスプレイを優先する（このように、ＭＶ履歴器６０８が過去のフレームおよび（現在のフレームの透視図から）未来のフレームからの情報からなる）。この情報から、各運動ベクトルがシーンの実際の運動を現すある程度の確実性を引き出し、および明白な偏差を修正することは可能である。
【００４７】
２つの処理部品、編集情報抽出器６１３およびフォーカス情報抽出器６１５は、空間の測定情報を処理する。編集情報抽出器６１３は、シーンの変化および移行（時間の冗長性が疑わしくなるポイント）を識別する。この情報は、コントロール部品６１４に送られる。コントロール部品６１４の機能は、この機能が図７、８および９に説明された多数の部品をコントロールするように、プロセスの各ステージにわたる。
【００４８】
フォーカス情報抽出器６１５は、フォーカスの程度が類似であるイメージのエリアをグループ別にするフォーカスマップ６１６を作るために、ＤＣＴ係数の分布を検討する。
【００４９】
運動ベクトル（ＭＶｓ）６０７は、右と左のシーン６１０と６１７の実際のオブジェクト運動のより信頼できる測定を引き出すために、運動ベクトルの現在値および格納された値に基づいて、確認器６０９によって確認される。ＭＶは、オブジェクトが移動するレートおよび方向を示す。確認器６０９は、オブジェクトがある場所を予測するためにＭＶデータを使い、次に、ＭＶの信頼性を確認するためにその場所をオブジェクトが実際にある場所と比較する。ＭＶ履歴器６０８は、フレームのシーケンスからの運動ベクトル情報のメモリーである。このステージでのフレームの処理は、１つ以上のフレーム時間までに、観察者に対して３Ｄフレームの実際のディスプレイを優先する（このように、ＭＶ履歴器６０８が過去のフレームおよび（現在のフレームの透視図から）未来のフレームからの情報からなる）。この情報から、各運動ベクトルがシーンの実際の運動を現すある程度の確実性を引き出し、および明白な偏差を修正することは可能である。
【００５０】
右と左フレーム６１０と６１７からの運動ベクトルは、３Ｄ運動ベクトル６１２のテーブルを形成するために結合器６１１によって結合される。このテーブルは、このフレームの前および後で使われる「２Ｄ」運動ベクトルの確実性、および３ｄ運動ベクトルを生成するのに解決不可能な矛盾（シーンの変化で生じるように）を基づいて、確実性の測定に組み込む。
【００５１】
図８は、本明細書に提供された３Ｄ抽出プロセスの中間のステージ７００を説明する。中間のステージ７００の目的は、現在のフレームの情報に最もよく合う深さマップを引き出すためである。図７において制約された視点ストリームから抽出された情報６１６、６０５，６０６および６１２は、異なる深さモデル計算器の数Ｎ、深さモデル＿１  ７０１、深さモデル＿２  ７０２、・・・および深さモデルＮ＿  ７０３に対して、入力になる。各深さモデルは、各ポイントでの深さの推定および適切な場所を引き出し、またそれら自身の回答のある程度の確実性を引き出すために、前述の抽出された情報の特定セット、加えてそれら自身の特有なアルゴリズムを使う。このことは、以下でさらに記述される。
【００５２】
いったん深さモデルが各ポイントでのそれら自身の深さの推定を引き出されると、それらの結果はモデル評価器に供給される。この評価器は、後で記述されるように、正しく最も大きい可能性を有する深さマップを選択し、８００のレンダリングステージ（図９）へのその出力に対してその最もよいマップを使う。
【００５３】
深さモデル計算器７０１、７０２、・・・および７０３は、各自にステージ６００によって提供される情報の特定のサブセットに専心する。各深さモデル計算器は、次に、入力のそのサブセットに対して、その自身にとって特有なアルゴリズムを適用する。最後、各深さモデル計算器は、入力の各モデルの解釈を表して対応する深さマップ（深さマップ＿１  ７０８、深さマップ＿２  ７０９、・・・および深さマップ＿Ｎ  ７１０）を生成する。この深さマップは、右と左のフレーム６０５と６０６の目に見えるオブジェクトの位置の仮定である。
【００５４】
その深さマップとともに、いくつかの深さモデル計算器はまた、例えば「このオブジェクトがカメラの前方１６フィート、プラスまたはマイナス４フィートに位置すること」、その自身の深さモデルまたは仮定においてある程度の確実性（物理測定の許容範囲に類似する）を生成する。
【００５５】
一例示の実施形態において、深さモデル計算器およびモデル評価器は１つ以上の神経ネットワークとしてインプリメントされ得る。その場合において、深さモデル計算器は、以下のように作動する。
【００５６】
１、前の２つと次の２つの「左」フレームからの連続する運動ベクトルを比較し、５フレーム以上で現れている２ｄエリアにわたって、特定の目に見える特徴の運動を追跡しようとする。
【００５７】
２、右フレームに対してステップ１を繰り返す。
【００５８】
３、前述の相関の技術を用いて、ペアのフレームの同じ特徴を探し出すことによって、右と左のペアから視差情報を抽出する。
【００５９】
４、その運動ベクトルに第３の次元を加えるために視差情報を使う。
【００６０】
５、現在のフレームにあるべき各特徴を考える深さモデルの３次元内の場所を引き出すために、前のフレームにおいてモデル評価器によって選択された深さマップの３ｄ位置に３ｄ運動情報を適用する。
【００６１】
６、ベクトルの各々が前の推定にどのぐらい近くマッチするかを評価することによって一定の係数を引き出す。（多くの変化がある場合、次にその推定の確実性は低くなる。フレームのオブジェクトが評価されたフレームの予想された場所に生じた場合、次に確実性は比較的に高い。）
もう１つの例示の実施形態において、深さモデル計算器は、フォーカス情報抽出器６１５によって提供された結果と、前のフレームの特徴の最もよい推定とを完全に信頼する。それは、前のフレームにおいてフォーカスが合い、このフレームにおいて多分フォーカスが合うように残る図のそれらの部分を簡単に含み、またはそれらが連続するフレームにわたってフォーカスが合うようにゆっくり変わる場合、次に、同じ深さにあるように評価された全部のオブジェクトは、約同じレートでフォーカスが合うようにゆっくり変わるべき。このフォーカス優先の深さモデル計算器は、次のフレームにおいて同じフォーカスで残るフレームの特徴をかなり確信している。しかし、現在のフレームにおいてフォーカスが合わない特徴は、次のフレームにおいてそれらの深さに関して多くの情報を提供し得なく、それで、この深さモデル計算器は、その深さモデルのそれらの部分にあまり確信しないことを報告する。
【００６２】
モデル評価器７０４は、現実に最もよくマッチする１つの仮定を選択するために、現実に対して仮定を比較する。言い換えると、モデル評価器は、現在の右と左のペアにおいて識別可能である特徴に対して、競争する深さマップ７０８、７０９および７１０を比較し、現在の右／左のフレーム（６０５、６０６）においてそれが見えるものに最もよく説明し得る深さモデルを選択する。モデル評価器は、「われわれの視点が、６０５／６０６の制約された視点によって必要とされるように、前方および中央にある場合、これらの深さモデルのうちのどちらが、われわれがこの瞬間にそれらのフレーム（６０５、６０６）において見えるものと最もよく一致するか？」と述べている。
【００６３】
モデル評価器は、深さモデル計算器によって提供された適用可能な確実性の情報を考慮し得る。例えば、２つのモデルが本質的に同じ回答を与え、しかし１つの回答がもう１つよりもっと確実である場合、モデル評価器はより確信している１つに偏られ得る。これに反して、深さモデルの確実性は、他のモデルから孤立に展開され得、および他の計算器の深さモデルからかなり離れ（特にそれらの計算器が前のフレームにおいて修正されたように証明される場合）、次に、たとえ離れるモデルの確実性が高いだとしても、モデル評価器はそれに少ない重みを与え得る。
【００６４】
前の例に暗示的に示されるように、モデル評価器は、異なるモデルの性能の履歴を保持し、その選択肢を増すためにその自身のアルゴリズムを使い得る。モデル評価器は、コントロール部品６１４を介する編集情報抽出器６１３の出力のようないくつかの広範囲情報も内々に関与している。簡単の例のように、特定のモデルが前の６つのフレーム上に正しいである場合、次にシーンの変化を除いて、そのモデルは、現在のフレーム上に正しいであるように他のモデル計算器より有力である。
【００６５】
競争する深さマップから、「最もよい近似」の深さマップ７０５を選択する。最もよい近似の深さマップ７０５が現在のフレームのデータにどの程度で適するかを測定するエラー値７０６も引き出す。
【００６６】
計算器７０４の立場から、「われわれが、今見えるもの」は、最大の根拠で、深さモデル、７０１、７０２、・・・および７０３を判断するのに対して基準である。ただし、これは不完全な基準である。右と左のフレーム６０５と６０６の間の不同におけるいくつかの特徴は明確であり、およびそれらは競争するモデルを評価するのに有効である。他の特徴は、不明確であり得、評価のために使われない。モデル計算器７０４は、その評価を行うとき、その自身の確実性を測定し、その確実性はエラーパラメーター７０６の一部になり、コントロールブロック６１４へわたる。勝った深さモデルまたは最もよい近似の深さマップ７０５は、深さ履歴７０７、次のフレームを処理するときに深さモデル計算器に組み込まれるべきメモリー部品に加えられる。
【００６７】
図９は、プロセスの最終ステージ８００を示す。最終ステージ８００の出力は、観察者に、その実際の位置を与えられた正しい透視図を与える右と左のフレーム８０５と８０６である。図９において、最もよい近似の深さマップ７０５は、３Ｄ座標空間８０１に変換され、およびそこから、３０５によって感知されたような観察者の位置に適する右と左のフレーム８０３と８０４に線形変換８０２で変換される。もし変換された右と左のフレーム８０３と８０４の３Ｄオブジェクトの透視図が制約された視点と異なるならば、新しい透視図から目に見えるが、制約された視点から目に見えない現れたオブジェクトの部分であり得る。このことは、結果としてイメージのギャップをもたらす（今、オブジェクトの後ろのエッジでの断面が目に見える）。いくつかの程度に対して、これらは、オブジェクト上の目に見える特徴の付近からの表面情報から推測することによって修正され得る。それらの欠けている断片はまた、現在のフレームより以前のまたは次のビデオの他のフレームから利用可能であり得る。しかし、それが得られたら、ギャップ修正器８０５は、その能力の程度に対して、イメージの欠けている断片を修復する。ギャップは簡単に、その運動がだいたい知られているいくつかの３ｄオブジェクトの表面上のエリアであり、しかし、３ｄオブジェクトが、存在するシステムのメモリーの範囲内にあるフレーム内に見えられない。
【００６８】
例えば、ギャップが十分に狭い場合、空間内のギャップに隣接するオブジェクト上の構造またはパターンを繰り返すことは、十分に自然にギャップの「合成された」様子を保つように十分であり得、観察者の目がそれにひきつけられない。しかし、このパターン／構造の繰り返しが、ギャップ修正器にとって唯一の利用可能なツールである場合、これは、生成された視点が前方および中央からどのぐらい遠いであり得るかを、システムに対して大きすぎで明白に覆えないギャップを引き起こさなくて制約する。例えば、観察者が中央から１０度から離れている場合、ギャップは、ギャップを覆うための明白な表面の様子を容易に合成するのに十分に狭いであり得る。例えば、観察者が中央から４０度から離れて移動する場合、ギャップは広くなり、この種類の簡単な推測されたギャップの隠すアルゴリズムは、ギャップが目に見えるように保つことを不可能にし得る。このような場合において、ギャップ修正器に率直に失敗させることは好ましいであり得、不明白な表面を合成するより必要の時ギャップを示す。
【００６９】
より洗練されたギャップ終結アルゴリズムは、ｈｔｔｐ：／／ｗｗｗ．ｗｉｓｄｏｍ．ｗｅｉｚｍａｎｎ．ａｃ．ｉｌ／〜ｖｉｓｉｏｎ／ｃｏｕｒｓｅｓ／２００３＿２／４Ｂ＿０６．ｐｄｆでのＢｒａｎｄらの「Ｆｌｅｘｉｂｌｅ  Ｆｌｏｗ  ｆｏｒ  ３Ｄ  Ｎｏｎｒｉｇｉｄ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｓｈａｐｅ  Ｒｅｃｏｖｅｒｙ」、（２００１）、前記文献が本明細書で参照することにより組み込まれる。Ｂｒａｎｄにおいて、著者は、確立モデルを生成することによる２ｄフレームの系列からの３ｄオブジェクトをモデリングためのメカニズムを開発し、確立モデルの予測が、追加の２ｄビューに対してテスト、かつ再テストされる。いったん３ｄモデルが生成されると、合成された表面は、ますます大きくなるギャップのより明確な隠蔽を作るためのモデルにわたって包まれ得る。
【００７０】
コントロールブロック６１４は、編集器６１３に関する情報を受信する。シーンの変化において、利用可能な運動ベクトル履歴６０８はない。プロセスがすることを望み得るのに最もよいのは、新しいシーン内に見える第１のフレームの特徴にマッチすることであり、始まりのポイントとしてこれを使い、およびこれが利用可能なとき、３Ｄ運動ベクトルおよび他の情報を用いてそれを改良する。これらの状況下で、もっと多くの情報が利用可能になるまで、観察者に平らなまたはほぼ平らなイメージを表すことは最もよいであり得る。幸運にも、このことは、観察者の視覚プロセスが行う同じことであり、深さエラーは多分、注意されるべきではない。
【００７１】
コントロールブロック６１４は、また、プロセスにおける数個のステージからのエラー、すなわち、
（１）ギャップ修正器８０４からのギャップエラー、
（２）競争するモデルのうちの最もよいのは解決し得ない根本的なエラー７０６、
（３）および、現実的な３Ｄ運動ベクトルに結合され得ない右と左のイメージの２Ｄ運動ベクトルの不一致からのエラー６１８
を評価する。
【００７２】
このエラー情報から、コントロールブロック６１４は、現実的に変換されたビデオを生成するためのその能力を超えたフレームを復元しようとするときも決定し得る。これは、現実閾値と呼ばれる。前に述べられたように、これらのソースの各々からのエラーは、制約された視点と所望の１つの増大との間の不同のようにより激しくなる。それゆえに、コントロールブロックは、現実閾値で視点調整の座標を固定する（非現実的に見えない３Ｄビデオ生成するために正しい透視図を犠牲する）。
【００７３】
前の仕様において、本発明は、それの具体的な実施形態を参照することとともに記述される。しかし、多様な修正および変化が、本発明のより広い真意および範囲から外れることなしにそれに加えられ得ることは明白である。例えば、読者は、本明細書に記述されたプロセスフローダイヤグラムで示されるプロセス実行の具体的な順序および組み合わせが、単に例となり、述べたのと別でもよく、および本発明が、異なるまたは追加のプロセス実行、またはプロセス実行の異なる組み合わせまたは順序を用いて行われ得ることを理解し得る。もう１つの例のように、１つの実施形態の各特徴は、他の実施形態で示される他の特徴と混ぜられ、かつマッチされ得る。当業者に知られる特徴およびプロセスは、望まれるように類似に組み込まれ得る。さらにおよび明白的に、特徴は望まれるように追加され、かつ引かれ得る。従って、本発明は、添付の請求項およびそれらの同等物を考慮する以外に制限されるべきではない。
【図１】
2012501506.tif 000003
【図２】
2012501506.tif 000004
【図３Ａ】
2012501506.tif 000005
【図３Ｂ】
2012501506.tif 000006
【図４】
2012501506.tif 000007
【図５】
2012501506.tif 000008
【図６】
2012501506.tif 000009
【図７】
2012501506.tif 000010
【図８】
2012501506.tif 000011
【図９】
2012501506.tif 000012
【国際調査報告】
2012501506.tif 000013