(57)【特許請求の範囲】
【請求項１】
ビデオコーディングシステムによって実行される方法であって、
第１のビューにおける位置に対する第１のビューデプスインジケータを推定するステップと、
第２のビューにおける対応する位置に対する第２のビューデプスインジケータを推定するステップと、
を含み、
前記第１のビューデプスインジケータを推定する前記ステップ及び前記第２のビューデプスインジケータを推定する前記ステップが、対応する位置に対する前記第２のビューデプスインジケータに直接的に関わる前記第１のビューデプスインジケータに関係する制約を共に満たし、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータを推定する前記ステップは、
前記デプスインジケータが、前記制約によって提供された前記関係とは、デプスインジケータ閾値よりも大である値だけ異なる値を有することを判定するステップと、
前記第１のビューデプスインジケータに対する第１のビュー歪みを判定するステップと、
前記第２のビューデプスインジケータに対する第２のビュー歪みを判定するステップと、
前記第１のビューの歪みが前記第２のビューの歪みよりも歪み閾値だけ大である場合、前記第１のビューにおける前記位置をホールとして示すステップと、
前記第２のビューの歪みが前記第１のビューの歪みよりも前記歪み閾値だけ大である場合、前記第２のビューにおける前記対応する位置をホールとして示すステップと、
を含む、前記方法。
【請求項２】
前記示された位置に隣接する位置に対して、前記示された位置に隣接する位置のうち最大デプスを示すデプスインジケータを使用して、前記ホールを埋めるステップをさらに含む、請求項１に記載の方法。
【請求項３】
第１のビューにおける位置に対する第１のビューデプスインジケータを推定する手段と、
第２のビューにおける対応する位置に対する第２のビューデプスインジケータを推定する手段と、
を備えた装置であって、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータを推定する手段が、対応する位置に対する前記第２のビューデプスインジケータに直接的に関わる前記第１のビューデプスインジケータに関係する制約を共に満たし、
前記第１のビューデプスインジケータを推定する手段及び前記第２のビューデプスインジケータを推定する手段は、
前記デプスインジケータが、前記制約によって提供された前記関係とは、デプスインジケータ閾値よりも大である値だけ異なる値を有することを判定し、
前記第１のビューデプスインジケータに対する第１のビュー歪みを判定し、
前記第２のビューデプスインジケータに対する第２のビュー歪みを判定し、
前記第１のビューの歪みが前記第２のビューの歪みよりも歪み閾値だけ大である場合、前記第１のビューにおける前記位置をホールとして示し、
前記第２のビューの歪みが前記第１のビューの歪みよりも前記歪み閾値だけ大である場合、前記第２のビューにおける前記対応する位置をホールとして示す、
ためにそれぞれ構成されている、前記装置。
【請求項４】
第１のビューにおける位置に対する第１のビューデプスインジケータを推定することと、第２のビューにおける対応する位置に対する第２のビューデプスインジケータを推定することと、
をプロセッサに少なくとも実行させるための命令を記憶した非一時的プロセッサ可読記憶媒体であって、
前記第１のビューデプスインジケータを前記推定すること及び前記第２のビューデプスインジケータを前記推定することが、対応する位置に対する前記第２のビューデプスインジケータに直接的に関わる前記第１のビューデプスインジケータに関係する制約を共に満たし、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータを前記推定することは、
前記デプスインジケータが、前記制約によって提供された前記関係とは、デプスインジケータ閾値よりも大である値だけ異なる値を有することを判定することと、
前記第１のビューデプスインジケータに対する第１のビュー歪みを判定することと、
前記第２のビューデプスインジケータに対する第２のビュー歪みを判定することと、
前記第１のビューの歪みが前記第２のビューの歪みよりも歪み閾値だけ大である場合、前記第１のビューにおける前記位置をホールとして示すことと、
前記第２のビューの歪みが前記第１のビューの歪みよりも前記歪み閾値だけ大である場合、前記第２のビューにおける前記対応する位置をホールとして示すことと、
を含む、前記非一時的プロセッサ可読記憶媒体。
【請求項５】
第１のビューにおける位置に対する第１のビューデプスインジケータを推定することと、第２のビューにおける対応する位置に対する第２のビューデプスインジケータを推定することと、を少なくとも実行するように構成されたプロセッサを備えた装置であって、
前記第１のビューデプスインジケータを前記推定すること及び前記第２のビューデプスインジケータを前記推定することが、対応する位置に対する前記第２のビューデプスインジケータに直接的に関わる前記第１のビューデプスインジケータに関係する制約を共に満たし、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータを前記推定することは、
前記デプスインジケータが、前記制約によって提供された前記関係とは、デプスインジケータ閾値よりも大である値だけ異なる値を有することを判定することと、
前記第１のビューデプスインジケータに対する第１のビュー歪みを判定することと、
前記第２のビューデプスインジケータに対する第２のビュー歪みを判定することと、
前記第１のビューの歪みが前記第２のビューの歪みよりも歪み閾値だけ大である場合、前記第１のビューにおける前記位置をホールとして示すことと、
前記第２のビューの歪みが前記第１のビューの歪みよりも前記歪み閾値だけ大である場合、前記第２のビューにおける前記対応する位置をホールとして示すことと、
を含む、前記装置。
【請求項６】
第１のビューにおける位置に対する第１のビューデプスインジケータを推定するデプス推定器と、第２のビューにおける対応する位置に対する第２のビューデプスインジケータを推定するデプス推定器と、を備えた装置であって、
前記第１のビューデプスインジケータの前記推定及び前記第２のビューデプスインジケータの前記推定が、対応する位置に対する前記第２のビューデプスインジケータに直接的に関わる前記第１のビューデプスインジケータに関係する制約を共に満たし、
前記第１のビューデプスインジケータを推定する前記デプス推定器及び前記第２のビューデプスインジケータを推定する前記デプス推定器は、
前記デプスインジケータが、前記制約によって提供された前記関係とは、デプスインジケータ閾値よりも大である値だけ異なる値を有することを判定し、
前記第１のビューデプスインジケータに対する第１のビュー歪みを判定し、
前記第２のビューデプスインジケータに対する第２のビュー歪みを判定し、
前記第１のビューの歪みが前記第２のビューの歪みよりも歪み閾値だけ大である場合、前記第１のビューにおける前記位置をホールとして示し、
前記第２のビューの歪みが前記第１のビューの歪みよりも前記歪み閾値だけ大である場合、前記第２のビューにおける前記対応する位置をホールとして示す、
ためにそれぞれ構成されている、前記装置。
【請求項７】
第１のビューにおける位置に対する第１のビューデプスインジケータを推定するデプス推定器及び第２のビューにおける対応する位置に対する第２のビューデプスインジケータを推定するデプス推定器であって、前記第１のビューデプスインジケータの前記推定及び前記第２のビューデプスインジケータの前記推定が、対応する位置に対する前記第２のビューデプスインジケータに直接的に関わる前記第１のビューデプスインジケータに関係する制約を共に満たし、前記第１のビューデプスインジケータを推定する前記デプス推定器及び前記第２のビューデプスインジケータを推定する前記デプス推定器は、
前記デプスインジケータが、前記制約によって提供された前記関係とは、デプスインジケータ閾値よりも大である値だけ異なる値を有することを判定し、
前記第１のビューデプスインジケータに対する第１のビュー歪みを判定し、
前記第２のビューデプスインジケータに対する第２のビュー歪みを判定し、
前記第１のビューの歪みが前記第２のビューの歪みよりも歪み閾値だけ大である場合、前記第１のビューにおける前記位置をホールとして示し、
前記第２のビューの歪みが前記第１のビューの歪みよりも前記歪み閾値だけ大である場合、前記第２のビューにおける前記対応する位置をホールとして示す、
ためにそれぞれ構成されている、デプス推定器と、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータのうち１つまたは複数のエンコーディングを含む信号を変調する変調器と、
を備えた、装置。
【請求項８】
第１のビューからのビデオと第２のビューからのビデオとを含む信号を復調する復調器と、
前記第１のビューにおける位置に対する第１のビューデプスインジケータを推定するデプス推定器及び前記第２のビューにおける対応する位置に対する第２のビューデプスインジケータを推定するデプス推定器と、を備えた装置であって、
前記第１のビューデプスインジケータの前記推定及び前記第２のビューデプスインジケータの前記推定が、対応する位置に対する前記第２のビューデプスインジケータに直接的に関わる前記第１のビューデプスインジケータに関係する制約を共に満たし、
前記第１のビューデプスインジケータを推定する前記デプス推定器及び前記第２のビューデプスインジケータを推定する前記デプス推定器は、
前記デプスインジケータが、前記制約によって提供された前記関係とは、デプスインジケータ閾値よりも大である値だけ異なる値を有することを判定し、
前記第１のビューデプスインジケータに対する第１のビュー歪みを判定し、
前記第２のビューデプスインジケータに対する第２のビュー歪みを判定し、
前記第１のビューの歪みが前記第２のビューの歪みよりも歪み閾値だけ大である場合、前記第１のビューにおける前記位置をホールとして示し、
前記第２のビューの歪みが前記第１のビューの歪みよりも前記歪み閾値だけ大である場合、前記第２のビューにおける前記対応する位置をホールとして示す、
ためにそれぞれ構成されている、前記装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２００９年１月７日に出願され、「複数の視差マップの統合デプス推定」という発明の名称の米国仮特許出願第６１／２０４，４８５号の利益を主張するものであり、当該仮米国特許出願の全ての内容は、あらゆる目的で本明細書に組み込まれているものとする。
【０００２】
コーディングシステムに関するインプリメンテーションが説明されている。様々な特定のインプリメンテーションが、統合デプス推定に関する。
【背景技術】
【０００３】
三次元ビデオ（3DV:Three-dimensional video）は、受信機側で高品質な三次元レンダリングを作成することに指向されたフレームワークである。これにより、自動立体ディスプレイ、フリー画面ポイントアプリケーション及び立体ディスプレイの３Ｄ視覚体験が可能となる。３ＤＶアプリケーションにおいて、マルチビュープラスデプス（MVD: multi-view plus depth）と通常称される低減した数のビデオ画面及び対応するデプスマップは、伝送帯域幅での制限及び／又は記憶装置の制約条件に帰属して、送信され又は記憶される。受信機側で、追加画面が、利用可能な画面及びデプスマップを使用してレンダリングされる。
【発明の概要】
【課題を解決するための手段】
【０００４】
一般的な態様によれば、第１の画面(a first view)における位置に対する第１のビューデプスインジケータ(a first-view depth indicator)が推定され、第２の画面(a second view)における対応する位置に対する第２のビューデプスインジケータ(a second-view depth indicator)が推定される。前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの１つまたは複数を推定する該ステップは、制約に基づいている。当該制約は、前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとの関係を対応する位置に提供する。
【０００５】
１つまたは複数のインプリメンテーションの詳細が、添付の図面及び以下の説明において説明されている。１つの特定の手法において説明されているとしても、インプリメンテーションは、様々な手法において構成され且つ具現化されることが明確であろう。例えば、インプリメンテーションは、方法として実行され得るし、例えば、１セットの動作を実行するように構成された装置若しくは１セットの動作を実行する命令を記憶する装置等の装置として実施されるし、又は、信号において具現化され得る。他の態様及び特徴が添付する図面及び特許請求の範囲と併せて考察する時、以下の説明から明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１】左の参照画面からの左のデプスマップの実施例を示す図である。
【図２】右の参照画面からの右のデプスマップの実施例を示す図である。
【図３】デプス推定器のインプリメンテーションの図である。
【図４】ビデオ送信システムのインプリメンテーションの図である。
【図５】ビデオ受信システムのインプリメンテーションの図である。
【図６】ビデオプロセシングデバイスのインプリメンテーションの図である。
【図７Ａ】第１のデプス推定プロセスのインプリメンテーションの図である。
【図７Ｂ】第１のデプス推定プロセスのインプリメンテーションの図である。
【図８】第２のデプス推定プロセスのインプリメンテーションの図である。
【発明を実施するための形態】
【０００７】
多くの３ＤＶアプリケーションにおいて、中間的画像（仮想画面）が作成され得る。そして、かかる作成は、レンダリングと通常呼ばれている。レンダリングは、例えば、デプスイメージベースのレンダリング（DIBR: Depth Image Based Rendering）の技術を用いて、実行され得る。かかる技術によれば、送信され若しくは記憶された画面（参照画面）及び１ピクセルあたりの関連デプスマップが入力としてとられる。かかる入力は、例えば、ＭＶＤフォーマットによって提供され得る。デプスは、様々な技術のうちのいずれを用いてもキャプチャされ得る。しかしながら、多くの場合、ビデオのみが提供され、デプスが推定される。デプスマップを取得するために、デプス推定技術が、異なる画像から対応するものを見出すのに、多くの場合、用いられる。
【０００８】
仮想の画面を作成することは、特に、デプス推定を使用して入力デプスマップを取得するとき、挑戦的なタスクであり得る。これは、部分的には、推定されたデプスマップにノイズが存在し（正確でない）、シーンの三次元表面プロパティ等、利用可能な他の画像情報は全くないからである。ノイズのあるデプスマップは、正確なデプス値を有しないので、不正確であり得る。さらに、一連のノイズのあるデプスマップは、常に不正確でない不正確な値を有し得る。例えば、一定の実際のデプスにおけるオブジェクトは、低デプルの第１の画像において不正確に推定され得るし、高デプスの第２のピクチャにおいて不正確に推定される。
【０００９】
より高品位の画面レンダリングは、より多くの参照画面がＤＩＢＲに対して利用可能である場合に、通常達成され得る。例えば、２つの参照画面が中間的画面を表示するのに使用され得る。複数の参照画面の場合、各参照画面のデプスマップは、既知でないものの、推定される。しかしながら、異なる画面の複数のデプスマップは、互いに独立して通常推定される。上述したように、ＤＩＢＲ法の課題の一つは、推定されたデプスマップが全ての画面において、多くの場合、一致していないという事実である。これは、仮想の画面が２つ以上の不整合なデプスマップを用いて表示されるとき、低品位のレンダリングを生じさせる。
【００１０】
少なくとも１つのインプリメンテーションにおいて、我々は、統合デプス推定(joint depth estimation)を用いて、参照画面のデプスマップを推定することを提案する。統合デプス推定は、独立してというよりも、統合プロセスにおける複数の参照画面に対するデプス推定を実行する。統合デプス推定は、より整合性のある異なる画面の複数のデプスマップを取得して、ＤＩＢＲによってレンダリングされた画面がより高品位になる。
【００１１】
少なくとも１つのインプリメンテーションにおいて、２つのデプスマップは、中間的画面に基づいて作成される。インプリメンテーションは、２つのデプスマップにおける対応する位置間の関係を提供する制約を構築する。この制約は、２つのデプスマップの間の整合性を提供する様々な手法において使用され得る。
【００１２】
少なくとも１つのインプリメンテーションにおいて、統合デプス推定は、加算演算を伴う。当該加算演算は、２つ以上の画面において対応するピクセル位置間のディスパリティに対するそれぞれのディスパリティ推定コスト（歪み）において実行される。
【００１３】
少なくとも別のインプリメンテーションにおいて、統合デプス推定は、カメラの距離に基づく加算演算の実行を必要とする。
【００１４】
少なくとも１つのインプリメンテーションにおいて、加算演算は、カメラの距離に基づいて重み付けされる。
【００１５】
図１は、本原理の実施形態に係る、本原理が適用され得る「リービングラップトップ(Leaving Laptop)」として知られているＭＰＥＧテストシーケンスに対応する左参照画面に対して作成された例示的な左デプスマップを示している。図２は、本原理の実施形態に係る、本原理が適用され得る「リービングラップトップ(Leaving Laptop)」として知られているＭＰＥＧテストシーケンスに対応する右参照画面に対して作成された例示的な右デプスマップを示している。図から容易に明らかではないものの、幾つかの特定のエリアにおいて、一組のデプスマップにおけるデプスレベルが非常に異なり得るということが観測され得る。特に、その差は、図１と２の実施例において４０より大であり得る。かかる例において、理想的な差はゼロである。しかし、観測された差は、例えば、４０より大である。これは、整合性のあるデプスマップを有しない画面の実施例である。
【００１６】
１つのデプスマップを推定するのに要求される入力画面の数に関して、デプス推定アルゴリズムは、３つのカテゴリ、すなわち、単一の画面、立体画面、及び複数の画面に通常分類され得る。３つのカテゴリのすべてが、デプスマップがないことを推定し、１つまたは複数の画面からのビデオを使用してデプスマップを作成する。
【００１７】
典型的なインプリメンテーションにおいて、１つの単一の画面のみを入力として用いて、カメラフォーカスは、デプス推定のための平均であるとみなされる。「デプス‐フロム‐フォーカス（depth-from-focus）」と称される方法は、焦点のずれ及び不鮮明度の大きさに基づいて、デプスを決定するのに使用され得る。この方法は、多くの場合、焦点の推定が良好な結果を提供しないので、それほど信頼できるものではない。
【００１８】
立体視方法は、１組の画面を入力として使用して、画面の一つのデプスマップを推定し得る。エリアベースのステレオマッチング法において、かかる方法は、２つのイメージ間のウィンドウ内における隣接したピクセル値に通常一致させる。適切なウィンドウサイズを選択するのは、通常重要である。アプリケーションによっては、ウィンドウサイズ及び形状が、強度の局所的な変動及び現行のデプス推定に基づいて、反復して変更され得る。幾つかのグローバルな制約は、濃いデプスマップ、すなわち、固有な値を有し且つ至るところでほとんど連続的であるデプスマップを作成するのに利用され得る。
【００１９】
複数の画面コンテンツの出現と共に、デプス推定のために入力として多重画面を使用することが調査されてきた。１つの実行可能なアプローチは、中心画面のデプスを推定するために、３つの画面（左の画面、中心の画面及び右の画面）を入力として使用することである。
【００２０】
当技術分野における典型的な手法において、目的は、単一の蜜なデプスマップシーケンスを作成することである。１つより多いデプスマップシーケンスが推定される必要があるとき、デプス推定アルゴリズムのカテゴリにかかわらずデプス推定が各ターゲット画面に対して独立して実行される。したがって、画面の間における不整合性が、存在する可能性がある。
【００２１】
図３は、本原理の実施形態に係る、本原理が適用され得る例示的なデプス推定器３００を示している。デプス推定器３００は、ターゲット画面１，ターゲット画面２及び１つまたは複数の参照画面を入力として受信する。デプス推定器３００は、ターゲット画面１及びターゲット画面２に関して推定されたデプスを出力として提供する。デプス推定器３００の動作がさらに詳細に以下に説明されている。
【００２２】
より一般的には、デプス推定器３００は、ターゲット画面１に対して推定されたデプスインジケータ及びターゲット画面２に対して推定されたデプスインジケータを提供する。デプスインジケータは、デプス値又は全体的デプスマップであり得る。しかし、デプスインジケータは、或いは、例えば、相違値又は全体的デプスマップであり得る。以下のインプリメンテーション及び説明におけるデプスについて参照するときは、例えば、視差等の他のデプスインジケータを含むことを意図している。デプスインジケータは、例えば、全体のターゲット画面又はターゲット画面における位置に対するデプスインジケータを提供し得る。位置は、例えば、特定のピクセル、パーティション、サブマクロブロック、マクロブロック、スライス又はフィールドであり得る。
【００２３】
図４は、本原理のインプリメンテーションに係る、本原理が適用され得る例示的ビデオ送信システム４００を示している。ビデオ送信システム４００は、例えば、衛星、ケーブル、電話回線、又は地上放送波等様々な媒体のいずれをも使用して、信号を送信するためのヘッドエンド若しくは送信システムであり得る。送信は、インターネット又は幾つかの他のネットワーク上で提供され得る。
【００２４】
ビデオ送信システム４００は、デプスを有する圧縮ビデオを作成し且つ提供することができる。これは、デプス情報又は例えばデコーダを有し得る受信端末でデプス情報を統合するのに使用され得る情報を含む符号化された（複数の）信号を作成することによって、達成される。
【００２５】
ビデオ送信システム４００は、エンコーダ４１０と符号化された信号を送信できる送信機４２０を含む。エンコーダ４１０は、深ビデオ情報を受信し且つデプスを有する符号化された（複数の）信号を作成する。エンコーダ４１０は、情報の様々なピースを受信してその情報を記憶又は送信のために構造化されたフォーマットにアセンブルする例えばアセンブリユニットを含むサブモジュールを含み得る。情報の様々な部分は、例えば、符号化されたビデオ又は符号化されていないビデオ、符号化されたデプス情報又は符号化されていないデプス情報、及び、例えば、運動ベクトル、符号化モードインディケータ、シンタクス要素等の符号化された要素又は符号化されていない要素を含み得る。
【００２６】
送信機４２０は、例えば、符号化されたピクチャ及び／又はそれに関連する情報を表す１つまたは複数のビットストリームを有するプログラム信号を送信するように適合され得る。典型的な送信機は、例えば、エラー訂正コーディングを提供する機能、データを信号にインターリーブする機能、信号のエネルギーをランダム化する機能、及び信号を１つまたは複数のキャリヤに変調する機能のうちの１つまたは複数の機能を実行する。送信機は、アンテナ（図示せず）を含んで、それとインターフェースをとり得る。したがって、送信機４２０のインプリメンテーションは、変調器を含み得るが、これら条件に限定され得ない。
【００２７】
ビデオ送信システム４００は、様々なユーザデバイスにおいて、全体的に又は部分的に含まれ得る。かかるデバイスは、例えば、携帯電話、ラップトップ又は他のコンピュータ及びカムコーダを含む。
【００２８】
図５は、本原理の実施形態に係る、本原理が適用され得る例示的ビデオ受信システム５００を示している。ビデオ受信システム５００は、例えば、衛星、ケーブル、電話回線、又は地上放送波等の種々の媒体上の信号を受信するよう構成され得る。信号は、インターネット又は幾つかの他のネットワーク上で受信され得る。
【００２９】
ビデオ受信システム５００は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビ、又は、符号化されたビデオを受信し且つ例えばユーザに表示し若しくは記憶するための復号化されたビデオを提供する他のデバイスであり得る。したがって、ビデオ受信システム５００は、例えば、テレビのスクリーン、コンピュータモニタ、（記憶、処理又は表示のための）コンピュータ、又は、幾つかの他の記憶装置、プロセッシング、又は、表示装置へ自身の出力を供給し得る。
【００３０】
ビデオ受信システム５００は、ビデオ情報を含むビデオコンテンツを受信し且つ処理することが可能である。ビデオ受信システム５００は、例えばこのアプリケーションのインプリメンテーションにおいて記載された信号等符号化された信号を受信可能な受信機５１０及び受信信号を復号化可能なデコーダ５２０を含む。
【００３１】
ビデオ受信システム５００は、ビデオ情報を含むビデオコンテンツを受信し且つ処理することが可能である。ビデオ受信システム５００は、例えばこのアプリケーションのインプリメンテーションにおいて記載された信号等の符号化された信号を受信可能な受信機５１０及び受信信号を復号化可能なデコーダ５２０を含む。受信機５１０は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を送信するように適合され得る。典型的な送信機は、例えば、変調され且つ符号化されたデータ信号を受信する機能、データ信号を１つまたは複数のキャリヤから復調する機能、信号のエネルギーを非ランダム化する機能、データを信号に非インターリーブする機能、及び、信号をエラー修正復号化する機能のうちの１つまたは複数の機能を実行する。受信機５１０は、アンテナ（図示せず）を含んで、それとインターフェースをとり得る。受信機５１０のインプリメンテーションは、復調器を含み得るが、これに限定され得ない。デコーダ５２０は、例えばビデオ情報及び深さ情報を含むビデオ信号を出力する。
【００３２】
図６は、本原理の実施形態に係る、本原理が適用され得る例示的ビデオプロセシングデバイス６００を示している。ビデオ処理装置６００は、例えば、セットトップボックスであり得るし、または、符号化されたビデオを受信し且つ例えばユーザに表示し若しくは記憶するための復号化されたビデオを提供する他のデバイスであり得る。したがって、ビデオ処理装置６００は、テレビ、コンピュータモニタ、コンピュータ又は他の処理装置に対して自身の出力を供給し得る。
【００３３】
ビデオ処理装置６００は、フロントエンド（FE: front-end）デバイス６０５及びデコーダ６１０を含む。フロントエンドデバイス６０５は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信し且つ複数のビットストリームから復号化する１つまたは複数のビットストリームを選択するように適合された受信機であり得る。典型的な送信機は、例えば、変調され且つ符号化されたデータ信号を受信する機能、データ信号を復調する機能、データ信号のうち１つまたは複数のエンコード（例えば、チャネルコーディング及び／又はソースコーディング）を復号化する機能、及び／又は、データ信号のエラーを修正する機能のうちの１つまたは複数の機能を実行する。フロントエンドデバイス６０５は、例えば、アンテナ（図示せず）からのプログラム信号を受信し得る。フロントエンドデバイス６０５は、受信されたデータ信号をデコーダ６１０に供給する。
【００３４】
デコーダ６１０は、データ信号６２０を受信する。データ信号６２０は、例えば、一つ以上のアドバンスドビデオコーディング（AVC: Advanced Video Coding）、スケーラブルビデオコーディング（SVC: Scalable Video Coding）、又は、多視点映像符号化（MVC: Multi-view Video Coding）コンパチブルストリームを含み得る。
【００３５】
ＡＶＣは、より具体的には、既存の国際標準化機構/国際電気標準会議(ISO/IEC)ムービングピクチャーエクスパーツグループ−４（ＭＰＥＧ−４）パート１０アドバンスドビデオコーディング（ＡＶＣ）標準規格／国際電気通信連合、電気通信セクタ（ＩＴＵ−Ｔ）Ｈ．２６４勧告を意味する（本明細書においては、「Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ標準規格」等又は「ＡＶＣ標準規格」又は単に「ＡＶＣ」と称する）
ＭＶＣは、より詳しくは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ、ＭＶＣ拡張と称されるＡＶＣ標準規格のマルチビュービデオコーディング（「ＭＶＣ」）拡張（Ａｎｎｅｘ  Ｈ）（「ＭＶＣ拡張」又は単に「ＭＶＣ」）を意味する。
【００３６】
ＳＶＣは、より詳しくは、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ、ＳＶＣ拡張と称されるＡＶＣ標準規格のスケーラブルビデオコーディング（「ＳＶＣ」）拡張（Ａｎｎｅｘ  Ｇ）（「ＳＶＣ拡張」又は単に「ＳＶＣ」）を意味する。
【００３７】
デコーダ６１０は、受信された信号６２０のすべて又は一部を復号化し、復号化されたビデオ信号６３０を出力として提供する。デコード化されたビデオ６３０は、セレクタ６５０に提供され得る。デバイス６００は、ユーザ入力６７０を受信するユーザインターフェイス６６０をも含む。ユーザインターフェイス６６０は、ユーザ入力６７０に基づいて、ピクチャ選択信号６８０をセレクタ６５０に供給する。ピクチャ選択信号６８０及びユーザ入力６７０は、利用可能である解読されたデータの複数のピクチャ、シーケンス、スケーラブルなバージョン、画面、又は他の選択のうちユーザが表示したかったと望むのはどれなのかを示す。セレクタ６５０は、選択された（複数の）ピクチャを出力６９０として提供する。セレクタ６５０は、ピクチャ選択情報６８０を使用して、復号化されたビデオ６３０のピクチャのうちどれを出力６９０として提供するべきか選択する。
【００３８】
種々のインプリメンテーションにおいて、セレクタ６５０は、ユーザインターフェイス６６０を含む。他の実装において、ユーザインターフェイス６６０は、必要とされない。なぜならば、セレクタ６５０は実行される別々のインターフェース機能を伴うことなくユーザ入力６７０を直接受信するからである。セレクタ６５０は、例えば、ソフトウェアにおいて実装され得るし、又は、集積回路として実装され得る。一実施例において、セレクタ６５０は、デコーダ６１０に組み入れられる。別のインプリメンテーションにおいて、デコーダ６１０，セレクタ６５０及びユーザインターフェイス６６０は、すべて統合されている。
【００３９】
１つのアプリケーションにおいて、フロントエンド６０５は、様々なテレビ番組の放送を受信し、処理する１つを選択する。１つの番組の選択は、見たい所定チャンネルのユーザ入力に基づいている。フロントエンドデバイス６０５へのユーザ入力は図６に示されていないものの、フロントエンドデバイス６０５は、ユーザ入力６７０を受信する。フロントエンド６０５は、ブロードキャストを受信し、ブロードキャストスペクトルの関連部分を復調し、復調された番組のあらゆるアウターエンコーティングを復号化することによって、所望の番組を処理する。フロントエンド６０５は、復号化された番組をデコーダ６１０に提供する。デコーダ６１０は、デバイス６６０及び６５０を含む集積ユニットである。デコーダ６１０は、番組で見たい画面に関してユーザによって供給された指示であるユーザ入力を受信する。デコーダ６１０は、他の画面から選択された画面及びすべての必要な参照ピクチャをも復号化し、テレビ（図示せず）に表示するための復号化画面６９０を提供する。
【００４０】
上記アプリケーションについて続けると、ユーザは、表示される画面を切り換えたいと希望し得るし、新規入力をデコーダ６１０に供給し得る。ユーザからの「画面変更」を受信した後に、デコーダ６１０は、古い画面と新規画面の双方、及び、古い画面と新規画面の間におけるあらゆる画面をも復号化する。すなわち、デコーダ６１０は、カメラから取られたあらゆる画面をも復号化する。当該カメラは、カメラが撮像した古い画面とカメラが撮像した新規画面との間に物理的に位置づけられている。フロントエンドデバイス６０５は、古い画面、新規画面及びそれら画面の間にある画面を特定する情報をも受信する。かかる情報は、例えば、画面の位置に関する情報を有するコントローラ（図６に図示せず）又がデコーダ６１０によって提供され得る。他のインプリメンテーションは、フロントエンドデバイスと統合されたコントローラを有するフロントエンドデバイスを使用し得る。
【００４１】
デコーダ６１０は、これら復号化された画面のすべてを出力６９０として提供する。ポストプロセッサ（図６に図示せず）は、画面間で補間して、古い画面から新規画面までのスムースな移行を提供し、この変換をユーザに表示する。新規画面に移行した後に、ポストプロセッサは、デコーダ６１０と新規画面のみが必要とされているフロントエンドデバイス６０とに（図示されていない１つまたは複数の通信リンクを介して）知らせる。その後、デコーダ６１０は、出力６９０として新規画面を提供するにすぎない。
【００４２】
システム６００は、イメージのシーケンスの複数の画面を受信し且つ表示のための単一の画面を提示し且つスムースに様々な画面を切り換えるのに使用され得る。スムースな手法は、画面間で補間して、別の画面に移行することを必要とし得る。さらに、システム６００によって、ユーザは、オブジェクト又はシーンを回転させ又はオブジェクト又はシーンの立体的な表示を見ることが可能となる。オブジェクトの回転は、例えば、画面から画面へ移行させること及び画面の間で補間して、画面間でスムースに移行させ又は単に３次元表示を得ることに相当し得る。すなわち、ユーザは、表示されるべき補間された画面を「画面」として「選択」し得る。
【００４３】
少なくとも１つの上述のインプリメンテーションにおいて、独立してというよりも、統合的手法によりターゲット画面に対するデプス推定を実行することが提案されている。
【００４４】
カメラの幾何学的配置から、２つの画面の間のディスパリティ（ｄ）とオブジェクトのデプス（ｚ）は、数式（１）を用いて変換可能である。
【００４５】
【数１】
0005607716.tif 000002
【００４６】
数式（１）において、ｌはカメラレンズの焦点距離である。ｌは、（カメラ距離としても知られている）ベースラインスペーシングであり、ｄｕは主点オフセット(a principal point offset)における差である。
【００４７】
ｄｕについて簡潔に説明するために、ｕｉは、所定のカメラｉに対する、画像の中心と光学系の中心との差を示すものとする。すなわち、ｕiは、カメラｉに対する、光学系中心の中心からの画像の中心のオフセットである。ｄｕ、すなわち、より詳細には、ｄｕi、jは、ｕiとｕjとの差である。ここで、ｉ及びｊは、２つのカメラ／画面である。
【００４８】
ディスパリティは、１つの画面における位置と別の画面における対応する位置との間のシフト又は平行移動を意味する。デプスは、ビデオにおけるカカメラ面からオブジェクトまでの距離を意味している。ディスパリティとデプスの双方が、ピクセルによって異なり得る。デプスは、単一の画面に利用する値である。さらに、焦点距離は単一の画面に利用する。しかしながら、ディスパリティ及びｄｕは、２つの画面内の対応するピクセル間の関係を表す相対値である。さらに、ｌは、２つのカメラの間の距離を表しており、又は、より一般的には、ｌは、２つの画面の間の関係（距離）を表している（カメラは画面位置にある）。
【００４９】
なお、多くのデプス推定方法において、ディスパリティ（ｄ）は、最初に推定されて、ディスパリティは２つの画面の対応であるので、次にデプス（ｚ）に変換され、他の（複数の）画面において最も類似するピクセルを検索することによって、コスト関数（歪みとも称される）を用いて、特定され得る。当該コスト関数は、平均二乗誤差（MSE: mean-squared error）又は絶対値の差の和（SAD: sum of absolute difference）等である。
一般性を犠牲することなく、我々は、キャプチャされた画面に基づいてデプスマップがどのように作成されるかということに関する実施例を提供する。我々は、５つの画面、すなわち、画面１乃至画面５に対してビデオを有していると想定しており、我々は、画面２及び４のデプスマップを推定したい。１つの実行可能なプロセスにおいて、画面１，２及び３からのビデオは、画面２のデプスマップを推定するための入力として使用される。同様に、画面３，４及び５からのビデオは、画面４のデプスマップを推定するための入力として使用される。この様に、画面２及び画面４のデプスマップは、独立して作成される。なお、画面３は、我々が説明した２つのデプスマップの推定プロセスにおいて共有される。しかし、画面２及び４のデプス推定は、独立している。
【００５０】
我々は、画面３からビデオを使用して、２つの推定プロセスを以下の手法においてリンク付ける少なくとも１つの実施形態を提案する。画面３における各ピクセルに対して、ｄ32が画面３から画面２への視差を示しており、ｄ34が画面３から画面４への視差を示しているものとする。ピクセルが３つの画面のいずれにおいてもふさがれていないとき、すなわち、ｄ32及びｄ34が有効な視差であるとき、数式（１）のｄｕがゼロであり、カメラが均一に間隔を空けて配置されており（同一のｌ）、すべてのカメラが同じ焦点距離（ｆ）を共有する場合、それらは数式（２）を満たすものとする。数式（２）は以下の通りである。
【００５１】
【数２】
0005607716.tif 000003
【００５２】
ゼロのｄｕ、均等間隔のカメラ、及び同一の焦点距離に関して単純化することなく、数式（２）は、以下で説明するように、より複雑な式に置換され得る。言い換えると、ｄ32及びｄ34の関係は、判定され得る（すなわち、ｄ32及びｄ34が満たすべき制約が存在する）。
【００５３】
ｄ32及びｄ34が特定の制約を満たすという事実は、画面２のデプスマップ及び画面４のデプスマップの統合デプス推定に使用され得る。
【００５４】
若干より一般的な制約が、現在開発されている。
【００５５】
数式（１）から、以下の式が得られる。
【００５６】
【数３】
0005607716.tif 000004
【００５７】
数式（３）は以下のように再整理される。
【００５８】
【数４】
0005607716.tif 000005
【００５９】
同様に、数式（１）から、以下の式が得られる。
【００６０】
【数５】
0005607716.tif 000006
【００６１】
数式（５）は以下のように再整理される。
【００６２】
【数６】
0005607716.tif 000007
【００６３】
数式（４）及び（６）の右辺は、以下の式に等しい。
【００６４】
【数７】
0005607716.tif 000008
【００６５】
数式（７）は以下のように再整理される。
【００６６】
【数８】
0005607716.tif 000009
【００６７】
数式（８）は以下のように単純化される。
【００６８】
【数９】
0005607716.tif 000010
【００６９】
カメラが均等間隔に設置される場合、ｌ34＝−ｌ32となる。したがって、ｄｕ値がゼロであり且つカメラが等間隔に設けられる場合、数式（９）は、数式（２）に単純化される。しかしながら、数式（９）は、ｄ34とｄ34の間において、わずかに一般的な制約について例証している。もちろん、他の制約が可能であり、想定され得る。
【００７０】
数式（２）と（９）の双方が、１つの画面（例えば、ｄ32）のデプスインジケータ（ディスパリティ）と２つの画面における位置対応する別の画面（例えば、ｄ34）のデプスインジケータとの関係を提供する制約を表現している。位置は、実際のピクセルを通常いう。数式（２）と（９）におけるデプスインジケータは、デプスとして同等に表され得る。
【００７１】
制約は、例えば、ｄｕ34，ｄｕ32，ｌ34及びｌ32等の１つまたは複数のカメラパラメータに基づいている。ｄｕ32及びｄｕ34は、２つの画面の主点オフセットにおける差をとることによって、カメラパラメータから導き出され得る。主点オフセットは、本来的なカメラパラメータの１つである。さらに、ｆ（カメラレンズの焦点距離）もまた、本来的なカメラパラメータであり、他のインプリメンテーションにおける制約の一部であり得る。ｌ34及びｌ32（ベースラインカメラスペーシング）は、付随的なカメラパラメータから計算され得る。
【００７２】
実施形態１
この実施形態においては、４つのステップが提案されている。
しかしながら、変形例は、異なる数のステップを含み得る。
ステップ１．画面３における現在のピクセルに対して、ｄ32及びｄ34がそれぞれ推定され且つ記憶される。ｄ32及びｄ34の２つのディスパリティが、数式（２）で関係を満たす（又は所定の閾値内でほぼ満たす）場合、双方が信頼性があることを示し、例えば、以下に詳しく説明されるように数式（１０）を使用して、２つのディスパリティが更新されるだろう。そして、プロセスは、次のピクセルに移行し、ステップ１から実行する。数式（１０）は以下の通りである。
【００７３】
【数１０】
0005607716.tif 000011
【００７４】
あるいは、ｄ32及びｄ34が所定の閾値内において数式（２）を満たさない場合、ステップ２に進む。
【００７５】
あるいは、ｄ32及びｄ34が所定の閾値内において数式（２）を満たさない場合、ステップ２に進む。例えば、ｄ32等のディスパリティを推定するステップが、様々な手法において実行され得る。一実施例において、ブロックベースの比較が、画面３における現在のピクセルの中心にあるブロックと、選択されたピクセルの中心にある画面における同様のサイズのブロックとの間で実行される。選択されたピクセルは、特定のディスパリティを反映している。ブロックベースの比較は、例えば、ＳＡＤのＭＳＥの算定であり得る。歪み（又はコスト）は、特定のディスパリティに対して判定される。選択されたピクセル（特定のディスパリティ）は、変更され得る。新規ブロックベースの比較が、実行され得る。新規は歪みが判定でされ得る。一連の生じ得るディスパリティが評価され得る。最低な歪みを生じさせるディスパリティは、ｄ32に対する推定として選択され得る。
【００７６】
ステップ２．ステップ２は、ｄ32及びｄ34が所定の閾値内において数式（２）を満たさない場合に関連している。所定の閾値は、例えば、オフセット又はスケールファクタであり得る。一実施例において、ｄ32の推定値は、（例えば、数式（２）又は数式（９）によって予測されるように、）ｄ32の制限された値の４つのピクセル（閾オフセット）内になければならない。別のインプリメンテーションにおいて、ｄ32の推定値は、（例えば、数式（２）又は数式（９）によって予測されるように、）ｄ32の制限された値の５つのピクセル（閾オフセット）内になければならない。
【００７７】
Ｅ32及びＥ34がｄ32及びｄ34に対する推定コスト（歪み）をそれぞれ表しているものとする。例えば、ピクセル間のＭＳＥは、視差推定の典型的な推定コストである。すなわち、推定が完全ではないので、推定されたディスパリティに基づいて、新規画面をレンダリングする際にコスト（ペナルティ）がある。もちろん、本原理の精神を維持しつつ、他のコスト関数も利用され得る。我々は、ｄ32及びｄ34の推定のうち少なくとも１つがそれ／それらが数式（２）を満たし／満たさないので信頼性がないことを既に知っているので、Ｅ32及びＥ34のうち一方が他方よりも大幅に大である場合、より大なる推定コストを伴うディスパリティ推定は良好に一致するピクセルを見出すのに失敗していた可能性がある。我々は、その視差推定をディスパリティマップのホールとしてマークし、より小なる推定コストを伴うディスパリティのみを維持して、ステップ３に進むであろう。種々のインプリメンテーションにおいて、Ｅ32及びＥ34のうち一方が他方よりも大幅に大であるかどうかに関する判定は、Ｅ32及びＥ34の差が所定の閾値より大きいかどうかを判定することによってなされる。
【００７８】
Ｅ32及びＥ34が顕著には異ならない場合（例えば、Ｅ32とＥ34との差の絶対値が所定の閾値よりも大でない場合）、どのものに信頼性があるかを我々が判定することは、曖昧になる。我々は、ステップ１に戻るためにこのシナリオを提案し、更新後の検索パラメータを用いてディスパリティ推定を実行する。例えば、検索範囲は、より良好な合致を見出すために拡大され得る。ブロックサイズは、変更され得る。数式（２）は、我々がステップ３に進むことができるかどうかを判定するために、Ｅ32及びＥ34と同様に再びチェックされるだろう。反復回数は、無限の推定ループを避けるために監視されるべきである。所定数の反復が実行されたものの、プロセスが信頼性のある相違値をまだ見出すことができない場合、ホールピクセルは、各ディスパリティマップ（画面２及び画面４）に対してマークされ、方法は、ステップ３に進む。
【００７９】
なお、我々は、ディスパリティが制約を適切に満たすかどうかを判定するために、閾値を使用した。また、我々は、歪みが顕著に異なるかどうかを判定するために、閾値を使用した。しかしながら、他のインプリメンテーションは、信頼度を、これらのシナリオの１つまたは複数の一対の相違値に割り当てる。信頼の測定に基づいて、多くの操作のすべてがとられ得る。幾つかのインプリメンテーションは、信頼度の測定値をユーザ又はレンダリングデバイスに提供する。
【００８０】
ステップ３．処理されるべき残存するピクセルが存在する場合、次のピクセルに移行し、ステップ１に進む。さもなければ、ステップ４に進む。
【００８１】
ステップ４．ホールを埋める：画面２及び／又は画面４のディスパリティマップにおいてホールピクセルが存在する場合、ホール‐ピクセルは、このステップにおいて埋められる。一実施例において、ホールは、隣接するディスパリティピクセルに基づいた幾つかの補間アルゴリズムを使用して埋められ得る。他の実装において、ホールは、さらに、カメラから離れた（好ましくは背景）隣接しているデプスレベルを使用して埋められ得る（すなわち、単に、よりより小なるディスパリティ／より大なるデプスを選択する）。
【００８２】
なお、（例えば画面２に対する）ディスパリティを構築する上記プロセスは、画面３における位置に対応する画面２における位置に対してディスパリティを判定する。しかしながら、ループは、画面３における位置に引き継がれる。したがって、画面３における位置が対応する位置を有しない画面２において位置は存在し得る。画面２におけるかかる位置は、画面２のディスパリティマップにおけるホールとして単に維持される。
【００８３】
逆に、画面３における複数の位置は、画面２における同一の位置にマップするディスパリティを作成し得る。かかる場合、より大なるディスパリティ（より小なるデプス）が最前面のオブジェクトを示すので、好ましい。
【００８４】
実施形態１の処理手順が、図７に示されている。図７は、本原理の実施形態に係る、デプスを推定する例示的方法７００を示している。方法７００は、例えば、図３のデプス推定器３００によって実行され得る。なお、図７及び以下のテキストの画面番号は、単に図解／説明目的のためのものである。一般的概念が２つの画面のデプスマップを統合して推定するために適用され得る。ステップ７０５において、ピクセルｉが画面３における次のピクセルに設定される。ステップ７１０において、ディスパリティ推定は、ディスパリティｄ32を取得するためにターゲット画面２に対して実行される。ステップ７１５において、ディスパリティ推定は、ディスパリティｄ34を取得するためにターゲット画面４に対して実行される。ステップ７２０において、ｄ32及びｄ34が所定の閾値内において数式（２）を満たすか否かが判定される。そうである場合、方法は、ステップ７２５に進む。別の方法では、方法は、ステップ７３０に進む。ステップ７２５において、ｄ32及びｄ34が数式（１０）に従って、更新される。なお、このステップ７２５は、画面２及び４のデプスマップに対応する相違値に対する整合性を提供する。ステップ７３０において、推定コストＥ32及びＥ34が互いに近接する（例えば、閾値の範囲内にある）か否かが判定される。そうである場合、方法はステップ７３５に進む。さもなければ、方法はステップ７６０に進む。ステップ７３５において、ディスパリティ検索パラメータが更新される。ステップ７４０において、繰返し回数が閾値（繰り返し回数）よりも大であるか否かが判定される。そうである場合、方法はステップ７４５に進む。さもなければ、方法はステップ７１０及び７１５に戻る。ステップ７４５において、２つのディスパリティマップ画面２及び画面４におけるホールピクセルはマークされている。ステップ７６０において、より大なるディスパリティエラーに伴うディスパリティマップにおいて、ホールピクセルにマークが付されている。ステップ７５０において、画面３において処理されるべきより多くのピクセルが存在するか否かが判定される。そうである場合、方法は、ステップ７０５に戻る。さもなければ、方法は７５５に進む。ステップ７５５において、ディスパリティマップのホールピクセルが、存在する場合、満たされる。
【００８５】
実施形態２
実施形態１と異なり、我々は、２つのディスパリティ（ｄ32とｄ34）のサーチ処理手順が単一なものに組み合わされるよう統合評価コスト（歪み）関数を提案する。数式（２）で示された関係は、統合ディスパリティ検索プロセスを設計するのに使用される。すべての候補ディスパリティｄ32に対して、我々は、数式（２）に基づいて、対応するディスパリティｄ34を有して、ｄ32及びｄ34からの統合評価費用関数が計算され得る。例えば、統合推定コスト関数はＥ32とＥ34の合計と同じくらい単純である。Ｅjoint＝Ｅ32＋Ｅ34。ここで、ｄ32及びｄ34は、数式（２）を満たす。例えば、カメラの距離に基づく加重和等の高度な評価指標が、代替評価指標として使用され得る。異なるディスパリティペアが評価され、最低の推定コストＥjointを生じさせる一つが選択される。異なるディスパリティペアが、ｄ32に対する生じ得るディスパリティ値の所定の範囲にわたってループする実施形態１と同様に作成される。各ピクセルに対して、この実施形態において選択されたディスパリティは数式（２）を満たすディスパリティベクトルを生成して、２つのデプスマップにおいて整合性を生じさせるであろう。
【００８６】
実施形態２の処理手順が、図８に示されている。図８は、本原理の実施形態に係るデプスを推定する別の例示的な方法８００を示している。方法８００は、例えば、図３のデプス推定器３００によって実行され得る。なお、図８における画面番号及び以下のテキストは、単に図解／説明目的のためのものである。一般的概念が２つの画面のデプスマップを統合して推定するために適用され得る。ステップ８０５において、ピクセルｉが画面３における次のピクセルに設定される。ステップ８１０で、Ｅminは、最も大なる利用可能な整数であるINT_MAXに設定される。ステップ８１５において、次の候補ディスパリティｄ32及びｄ34に対して、ｄ34が数式（２）に基づいて計算される。ステップ８２０において、統合推定誤差Ｅは、ｄ32及びｄ34に基づいて、計算される。ステップ８２５において、ＥがＥminよりも小であるか否かが判定される。そうである場合、方法はステップ８３０に進む。さもなければ、方法は８３５に進む。ステップ８３０において、ｄ32ｂｅｓｔはｄ32に設定され、ｄ34ｂｅｓｔはｄ34に設定され、ＥminはＥに設定される。方法は８３５に進む。ステップ８３５において、評価されるべき候補ディスパリティが存在するか否かが判定される。そうである場合、方法は、ステップ８１５に戻る。さもなければ、方法は８４０に進む。ステップ８４０において、画面３にピクセルがあるか否かが判定される。そうである場合、方法は、ステップ８０５に戻る。さもなければ、方法は終了させられる。
【００８７】
実施形態１及び２は、同一のインプリメンテーションにおいて伴に使用される。例えば、実施形態１及び２は多くの条件において又はすべての条件において均一に良好に動作し得るものの、ホールがわずかしかない場合実施形態２は実施形態１よりも良好に動作し得ることが可能である。したがって、インプリメンテーションは実施形態１を、ホールが予想される領域において使用し、実施形態２を他の場所で使用する。
【００８８】
インプリメンテーションはエンコーダ又はデコーダで実行され得ることが明確であるべきである。一つの実施例において、デプス推定は、エンコーダ（例えば、プリプロセッサ）で実行され、推定されたデプスは、ビデオと伴に又はビデオを伴わないで送信される。別のインプリメンテーションにおいて、ビデオは、いかなるデプスを伴わないで送信され、受信器がデプス推定を実行する。
【００８９】
デプスがビデオの送信前に推定されて、デプスが送信されない場合において、様々なインプリメンテーションがカメラパラメータに関する情報を送信する。幾つかのインプリメンテーションにおいて、１つまたは複数の制約が送信されるので、受信機は、複数のデプスマップを統合して推定する際に使用する制約に関する情報を有する。かかる一つのインプリメンテーションにおいて、標準化されたフォーマットが、送信の際に使用されて、カメラの数、カメラの間のスペーシング、ｄｕ値、及び焦点距離を符号化し且つ送信する。別のインプリメンテーションにおいて、焦点距離が各カメラに対して同一であり且つｄｕ値が各カメラに対してゼロであるという仮定に帰属して、システムは、制約の判定のためにカメラの間の空間のみをエンコードし且つ送信する。
【００９０】
なお、複数のデプスマップに対する統合デプス推定は、実行され得る。当該統合デプス推定において、複数のマップが異なる画面又は同一の画面からのものである。例えば、複数のマップは、異なる時における同一の画面からのものであり得る。
【００９１】
さらに、インプリメンテーションは、所定画面からの共通のビデオ画像に関して、種々の相対的な位置におけるデプスマップを統合して推定し得る。例えば、幾つかのインプリメンテーションは、画面３からビデオを使用して、画面１及び２のデプスマップを統合して推定する。かかる一つのインプリメンテーションにおいて、画面３は、画面１と画面２との間に位置付けられる。別のかかるインプリメンテーションにおいて、画面３は、画面１−３の最も左側の画面として、位置付けられる。さらに別のかかるインプリメンテーションにおいて、画面３は、画面１−３の最右側の画面として、位置付けられる。
【００９２】
さらに、他のインプリメンテーションは、３つ以上のデプスマップを統合して推定する。かかるインプリメンテーションにおいて、３つ以上のデプスマップ間の関係を提供する１つまたは複数の制約が判定される。例えば、上記の実施例における画面３は、画面２及び４に対するデプスマップだけでなく、画面５に対するデプスマップをも判定するのに使用され得る。上記導出された数式を使用して、ｄ32、ｄ34、及びｄ35との関係を決定するのは、簡単である。
【００９３】
本出願において記載されたインプリメンテーション及び特徴の幾つかかが、H.264/MPEG-4 AVC (AVC)標準規格若しくはＭＶＣ拡張子を有するＡＶＣ標準規格若しくはＳＶＣ拡張子を有するＡＶＣ標準規格の内容で使用され得る。しかしながら、これらインプリメンテーション及び特徴は、（既存の又は将来的な）別の標準規格の内容において又は標準規格を伴わない内容において使用され得る。
【００９４】
よって、我々は、特定の特徴及び態様を有する１つまたは複数のインプリメンテーションを提供する。しかしながら、説明されたインプリメンテーションの特徴及び態様もまた、他のインプリメンテーションに適合され得る。
【００９５】
インプリメンテーションは、様々な技術を用いて情報を送信し得る。当該様々な技術は、ＳＥＩメッセージ、スライスヘッダ、他のハイレベルシンタクス、非ハイレベルシンタクス、帯域外情報、データストリームデータ及びインプリシットシグナリングを含むがこれらに限定されない。したがって、本明細書に記載されたインプリメンテーションは特定の内容において記載され得るものの、かかる記載は、特徴及び概念をかかるインプリメンテーション又は内容に限定するものとして捉えられるべきでない。
【００９６】
明細書における、本原理の「１つの実施形態」若しくは「実施形態」若しくは「１つのインプリメンテーション」若しくは「インプリメンテーション」及びそれらの他のバリエーションはという意味は、実施形態に関して説明した特定の特徴、構築物、特性等が本原理の少なくとも１つの実施形態において含まれることを意味している。したがって、明細書中に種々の箇所において現れる「１つの実施形態において」若しくは「実施形態において」若しくは「１つのインプリメンテーションにおいて」若しくは「インプリメンテーションにおいて」という語句、あらゆる他のバリエーションは、必ずしも同一の実施形態を意味しているものとは限られない。
【００９７】
例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢのうち少なくとも１つ」という場合における、「／」，「及び／又は」、並びに、「少なくとも１つ」という用語を用いることは、最初に挙げられたオプション（Ａ）のみの選択若しくは２番目に挙げられたオプション（Ｂ）のみの選択若しくは双方のオプション（Ａ及びＢ）の選択を包含することを意図されていることが十分理解されるべきである。更なる例として、「Ａ、Ｂ、及び／又Ｃ」及び「少なくともＡ、Ｂ、及びＣのうち１つ」という場合において、かかる語句は、最初に挙げられたオプション（Ａ）のみの選択若しくは２番目に挙げられたオプション（Ｂ）のみの選択若しくは３番目に挙げられたオプション（Ｂ）のみの選択若しくは最初及び２番目に挙げられたプション（Ａ及びＢ）のみの選択若しくは最初及び３番目に挙げられたオプション（Ａ及びＣ）のみの選択若しくは２番目及び３番目に挙げられたオプション（Ｂ及びＣ）のみの選択若しくは３つのオプション（Ａ、Ｂ、及びＣ）のすべての選択を包含することを意図されている。これは、本技術及び関連技術の当業者であれば容易に理解されるように、挙げられた同じくらい多くのアイテムに対して、拡張され得る。
【００９８】
また、本明細書に使用されるように、その単語は、「ピクチャ」及び「画像」という用語は、同義的に使用されており、ビデオシーケンスからの静止画像又はピクチャを意味する。知られているように、画像は、フレーム又はフィールドであり得る。
【００９９】
本明細書に記載されたインプリメンテーションは、例えば、方法、プロセス、機器、ソフトウェアプログラム、データストリーム又は信号において実装され得る。（例えば、方法としてのみ説明された）インプリメンテーションの単一の形態の内容にて説明されたに過ぎないものの、上述した特徴のインプリメンテーションは、他の形態（例えば、機器又はプログラム）においても実装され得る。機器は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実装され得る。方法は、例えば、処理装置を意味するプロセッサ等の機器において実装され得る。当該処理装置は、一般に、例えばコンピュータ、マイクロプロセッサ、集積回路又はプログラム可能な論理デバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話、携帯用／パーソナル情報端末（「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイス等の通信装置をも含む。
【０１００】
本明細書に記載された種々のプロセス及び特徴のインプリメンテーションは、特に、例えば、データ符号化及びデータ復号化に関連付けられた装置又はアプリケーション等の様々な異なる装置又はアプリケーションにおいて具現化され得る。かかる装置の実施例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信装置を含む。明確であるように、装置は、可動であり得るし、可動車両にインストールされ得る。
【０１０１】
さらに、方法は、プロセッサが実行する命令によって実装され得る。そして、かかる命令（及び／又はインプリメンテーションで作成されたデータ値）は、例えば、集積回路、ソフトウェアキャリヤ等のプロセッサ可読記憶媒体、例えば、ハードディスク、コンパクトディスク、ランダムアクセスメモリ（「ＲＡＭ」）、又はリードオンリメモリ（「ＲＯＭ」）等の他の記憶装置に記憶され得る。命令は、プロセッサ可読記憶媒体においてタンジブルに具現化されるアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せにおいて存在し得る。命令は、例えば、オペレーティングシステム、別々のアプリケーション、又はそれら２つの組合せにおいて見出され得る。プロセッサは、したがって、例えば、プロセスを行うよう構成されたデバイス及びプロセスを行うための命令を有するプロセッサ可読記憶媒体（記憶装置等）を含むデバイスの双方として特徴付けられ得る。さらに、プロセッサ可読記憶媒体は、命令に加えて又は命令に代えて、インプリメンテーションによって作成されたデータ値を記憶し得る。
【０１０２】
当業者にとって明らかなように、インプリメンテーションは、例えば、記憶され又は送信され得る情報を伝えるようにフォーマットされた様々な信号を作成し得る。情報は、例えば、方法又は上述のインプリメンテーションのうちの１つによって作成されたデータを実行する命令を含み得る。例えば、信号は、上述の実施形態のシンタクスを読み書きする命令をデータとして伝え、又は、上述の実施形態によって書かれた実際のシンタクス値をデータとして伝えるようフォーマットされ得る。かかる信号は、例えば、（例えば、スペクトルの無線周波部分を使用して、）電磁波として又はベースバンド信号としてフォーマットされ得る。当該フォーマットは、例えば、データストリームを符号化すること、符号化されたデータストリームと伴にキャリヤを変調することを含み得る。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であり得る。信号は、周知の様々な異なる有線若しくは無線リンク上で送信され得る。信号は、プロセッサ可読記憶媒体において記憶され得る。
【０１０３】
多くのインプリメンテーションが説明されてきた。それにもかかわらず、様々な変更がなされ得ることが理解されるであろう。例えば、異なるインプリメンテーションの要素は、組み合わされ、補なわれ、変更され又は削除されて、他のインプリメンテーションが生み出され得る。さらに、当業者であれば、他の構造及びプロセスがこれら開示されたものと置換され得るし、得られたインプリメンテーションは、実質的に同一の（複数の）手法において少なくとも実質的に同一の（複数の）機能を実行し、開示されたインプリメンテーションと少なくとも実質的に同一の（複数の）結果が得られるであろうことを理解するであろう。したがって、これらインプリメンテーション及び他のインプリメンテーションは、本出願において想定されており、以下の特許請求の範囲内にある。
本発明は、以下の態様を含む。
［付記１］
第１の画面における位置に対する第１のビューデプスインジケータ、及び、第２の画面における対応する位置に対する第２のビューデプスインジケータを推定するステップを含む方法であって、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの１つまたは複数を推定する該ステップが、前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとの関係を対応する位置に提供する制約に基づいていることを特徴とする方法。
［付記２］
前記制約は、１つまたは複数のカメラパラメータに基づいていることを特徴とする付記１に記載の方法。
［付記３］
前記１つまたは複数のカメラパラメータは、第１のビューカメラの位置、第２のビューカメラの位置、第３のビューカメラの位置、前記第１のビューカメラの主点オフセット、前記第２のビューカメラの主点オフセット又は第３のビューカメラの主点オフセットのうち少なくとも一つを含むことを特徴とする付記２に記載の方法。
［付記４］
前記第１のビューデプスインジケータは前記第１の画面からのビデオと前記第３の画面からのビデオに基づいており、前記第２のビューデプスインジケータは前記第２の画面からのビデオと前記第３の画面からのビデオとに基づいていることを特徴とする付記１に記載の方法。
［付記５］
前記推定するステップは、
前記第１のビューデプスインジケータに対する予備値を決定するステップ、
前記第２のビューデプスインジケータに対する予備値を決定するステップ、及び、
前記第１のビューデプスインジケータに対する前記予備値及び前記第２のビューデプスインジケータに対する前記予備値が、前記制約を満たす所定の閾値の範囲内にある場合、前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータのうちの少なくとも１つを、前記制約に基づいて更新するステップ
を含むことを特徴とする付記１に記載の方法。
［付記６］
前記第１のビューデプスインジケータに対する前記予備値を決定する前記ステップは、
前記第１の画面に対する前記ビデオと前記第３の画面に対する前記ビデオに関して複数のブロックベースの比較を実行するステップ、
前記ブロックベースの比較を生じさせる前記第１のビューデプスインジケータに対する歪み最小化値を、前記複数のブロックベースの比較のうち最低の歪みを有する比較から決定するステップ、及び、
前記第１のビューデプスインジケータに対する前記予備値を、当該決定された歪み最小化値に設定するステップ
を含み、
前記複数のブロックベースの比較を実行する前記ステップにおいて、各ブロックベースの比較は、前記第１のビューデプスインジケータに対する相違値に基づいており、歪みを生じさせることを特徴とする付記５に記載の方法。
［付記７］
前記更新するステップは、前記第１のビューデプスインジケータを、前記第１のビューデプスインジケータに対する前記予備値の絶対値及び前記第２のビューデプスインジケータに対する前記予備値の絶対値との平均に基づいた更新された値に設定するステップを含むことを特徴とする付記５に記載の方法。
［付記８］
前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとを比較するステップ、及び、該比較に基づいて、前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの双方に対して、信頼度の測定値を割り当てるステップをさらに含み、
前記信頼度の測定値は、前記第１及び第２のビューデプスインジケータが類似であるときは高く、非類似であるときは低いことを特徴とする付記１に記載の方法。
［付記９］
前記推定するステップは、
前記デプスインジケータが、前記制約によって提供された前記関係とは、デプスインジケータ閾値よりも大である値だけ異なる値を有することを判定するステップ、
前記第１のビューデプスインジケータに対する第１のビュー歪みを決定するステップ、
前記第２のビューデプスインジケータに対する第２のビュー歪みを決定するステップ、
前記第１の画面の歪みが前記第２の画面の歪みよりも歪み閾値だけ大である場合、前記第１の画面における前記位置をホールとして示すステップ、及び、
前記第２の画面の歪みが前記第１の画面の歪みよりも前記歪み閾値だけ大である場合、前記第２の画面における前記対応する位置をホールとして示すステップ
を含むことを特徴とする付記１に記載の方法。
［付記１０］
前記マークを付された位置に隣接する位置に対して、前記マークを付された位置に隣接する位置のうち最大デプスを示すデプスインジケータを使用して、前記ホールを埋めるステップをさらに含む付記９に記載の方法。
［付記１１］
前記推定するステップは、前記第１のビューデプスインジケータに対する予備値を決定するステップ、及び、前記第１のビューデプスインジケータに対する前記予備値及び前記制約に基づいて、前記第２のビューデプスインジケータに対する予備値を決定するステップを含むことを特徴とする付記１に記載の方法。
［付記１２］
前記第１のビューデプスインジケータに対する前記予備値及び前記第２のビューデプスインジケータに対する前記予備値の統合歪みを判定するステップ、及び、前記統合歪みに基づいて、前記第１のビューデプスインジケータに対する前記予備値を前記推定された第１のビューデプスインジケータとして選択するべきか、及び、前記第２のビューデプスインジケータに対する前記予備値を前記推定された第２のビューデプスインジケータとして選択するべきかを判定するステップをさらに含むことを特徴とする付記１１に記載の方法。
［付記１３］
前記統合歪みを判定するステップは、前記第１のビューデプスインジケータに対する前記予備値の歪みと、前記第２のビューデプスインジケータに対する前記予備値の歪みを合計するステップを含むことを特徴とする付記１２に記載の方法。
［付記１４］
前記統合歪みを判定するステップは、前記第１のビューデプスインジケータに対する前記予備値の歪みと、前記第２のビューデプスインジケータに対する前記予備値の歪みとの加重和を計算するステップを含み、
前記加重和は、第１のビューカメラ、第２のビューカメラ及び第３のビューカメラを含むグループ内のカメラの間の少なくとも１つの距離に基づいていることを特徴とする付記１２に記載の方法。
［付記１５］
ビデオエンコーダ又はビデオデコーダのうち少なくとも１つにおいて実装されることを特徴とする付記１に記載の方法。
［付記１６］
前記第１のビューデプスインジケータは、前記第１の画面における前記位置のデプス値又は前記第１の画面における前記位置と別の画面における対応位置との間のディスパリティのディスパリティ値のうち１つまたは複数を含むことを特徴とする付記１に記載の方法。
［付記１７］
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータのうち１つまたは複数に基づいて、追加画面をレンダリングするステップをさらに含む付記１に記載の方法。
［付記１８］
前記第１の画面における前記位置は、前記第１の画面におけるピクセル、前記第１の画面におけるパーティション、前記第１の画面におけるサブマクロブロック、前記第１の画面におけるマクロブロック、前記第１の画面におけるスライス又は前記第１の画面におけるフィールドのうちの１つであることを特徴とする付記１に記載の方法。
［付記１９］
第１の画面における位置に対する第１のビューデプスインジケータ、及び、第２の画面における対応する位置に対する第２のビューデプスインジケータを推定する手段を備えた装置であって、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの１つまたは複数の該推定が、前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとの関係を対応する位置に提供する制約に基づいていることを特徴とする装置。
［付記２０］
命令を記憶しているプロセッサ可読記憶媒体であって、
該命令がプロセッサに、第１の画面における位置に対する第１のビューデプスインジケータ、及び、第２の画面における対応する位置に対する第２のビューデプスインジケータを推定するステップを実行させ、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの１つまたは複数を推定する該ステップが、前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとの関係を対応する位置に提供する制約に基づいていることを特徴とするプロセッサ可読記憶媒体。
［付記２１］
第１の画面における位置に対する第１のビューデプスインジケータ及び第２の画面における対応する位置に対する第２のビューデプスインジケータを推定するステップを実行するように構成されたプロセッサを備えた装置であって、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの１つまたは複数を推定する該ステップが、前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとの関係を対応する位置に提供する制約に基づいていることを特徴とする装置。
［付記２２］
第１の画面における位置に対する第１のビューデプスインジケータ、及び、第２の画面における対応する位置に対する第２のビューデプスインジケータを推定するデプス推定器を備えた装置であって、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの１つまたは複数の該推定が、前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとの関係を対応する位置に提供する制約に基づいていることを特徴とする装置。
［付記２３］
第１の画面における位置に対する第１のビューデプスインジケータ、及び、第２の画面における対応する位置に対する第２のビューデプスインジケータを推定するデプス推定器、及び、前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータのうち１つまたは複数のエンコーディングを含む信号を変調する変調器を備えた装置であって、
前記デプス推定器において、前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの１つまたは複数の前記推定が、前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとの関係を対応する位置に提供する制約に基づいていることを特徴とする装置。
［付記２４］
第１の画面からのビデオと第２の画面からのビデオを含む信号を復調する復調器、及び、前記第１の画面における位置に対する第１のビューデプスインジケータ及び前記第２の画面における対応する位置に対する第２のビューデプスインジケータを推定するデプス推定器を備えた装置であって、
前記第１のビューデプスインジケータ及び前記第２のビューデプスインジケータの１つまたは複数の該推定が、前記第１のビューデプスインジケータと前記第２のビューデプスインジケータとの関係を対応する位置に提供する制約に基づいていることを特徴とする装置。
［付記２５］
カメラの位置に基づいて、１つまたは複数の制約を用いて、所定のピクセル位置の一対のデプスを推定するステップを含む方法であって、
第１の画面における前記所定のピクセル位置のデプスが前記第１の画面からのビデオ及び第３の画面からのビデオを使用して推定され、及び、第２の画面における前記所定のピクセル位置のデプスが前記第２の画面からのビデオ及び前記第３の画面からの前記ビデオを用いて推定されることを特徴とする方法。
【図１】
0005607716.tif 000012
【図２】
0005607716.tif 000013
【図３】
0005607716.tif 000014
【図４】
0005607716.tif 000015
【図５】
0005607716.tif 000016
【図６】
0005607716.tif 000017
【図７Ａ】
0005607716.tif 000018
【図７Ｂ】
0005607716.tif 000019
【図８】
0005607716.tif 000020