(57)【要約】様々な実施の形態が記載される。幾つかの実現は、3Dビデオ（3DV）応用向けのヒューリスティックなビューブレンディングによるビュー合成に関する。１態様によれば、少なくとも１つの参照画像又はその一部は、少なくとも１つの基準のビューの位置から仮想的なビューの位置に瞬間移動され、少なくとも１つの瞬間移動された参照画像が生成される。第一の候補となる画素と第二の候補となる画素とが少なくとも１つの瞬間移動された参照画像において識別される。第一の候補となる画素と第二の候補となる画素は、仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補である。目標となる画素の位置の画素値は、第一の候補となる画素と第二の候補となる画素の値に基づいて決定される。
2012501494.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの参照画像又は該参照画像の一部を、少なくとも１つの基準のビューの位置から仮想的なビューの位置に移動し、少なくとも１つの移動された参照画像を生成するステップと、
前記少なくとも１つの移動された参照画像における第一の候補となる画素及び第二の候補となる画素を識別するステップと、前記第一の候補となる画素及び前記第二の候補となる画素は、前記仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補であり、
前記第一の候補となる画素と前記第二の候補となる画素の値に基づいて前記目標となる画素の位置での画素の値を決定するステップと、
を含むことを特徴とする方法。
【請求項２】
前記値を決定するステップは、前記第一の候補となる画素の値と前記第二の候補となる画素の値から前記目標となる画素の値を補間するステップを含む、
請求項１記載の方法。
【請求項３】
前記補間するステップは、前記第一の候補となる画素の値と前記第二の候補となる画素の値から目標となる画素の値を線形補間するステップを含む、
請求項２記載の方法。
【請求項４】
前記補間するステップは、前記第一の候補となる画素と前記第二の候補となる画素のそれぞれについて、重み付け要素を使用するステップを含む、
請求項２記載の方法。
【請求項５】
前記重み付け要素は、カメラのパラメータにより決定される、
請求項４記載の方法。
【請求項６】
前記少なくとも１つの移動された参照画像は、第一の移動された参照画像と第二の移動された参照画像とを含み、前記少なくとも１つの基準のビューの位置は、前記第一の移動された参照画像に対応する第一の基準のビューの位置と、前記第二の移動された参照画像に対応する第二の基準のビューの位置とを含み、前記重み付け要素は、前記第一の基準のビューの位置と前記仮想的なビューの位置との間の第一の距離と、前記第二の基準のビューの位置と前記仮想的なビューの位置との間の第二の距離とに基づいて決定される、
請求項５記載の方法。
【請求項７】
前記重み付け要素は、前記第一の候補となる画素の位置と前記目標となる画素の位置との間の距離により決定される、
請求項４記載の方法。
【請求項８】
前記重み付け要素は、前記第一の候補となる画素に関連する奥行きにより決定される、
請求項４記載の方法。
【請求項９】
前記第一の候補となる画素を識別するステップは、前記第一の候補となる画素の位置と前記目標となる画素の位置との間の距離に基づいて前記第一の候補となる画素を識別するステップを含む、
請求項１記載の方法。
【請求項１０】
前記距離は閾値以下である、
請求項９記載の方法。
【請求項１１】
前記第一の候補となる画素を識別するステップは、前記第一の候補となる画素に関連する奥行きに基づいて前記第一の候補となる画素を識別するステップを含む、
請求項１記載の方法。
【請求項１２】
前記第一の候補となる画素を識別するステップは、前記少なくとも１つの移動された参照画像における複数の画素から前記第一の候補となる画素を選択するステップを含み、前記複数の画素は、前記目標となる画素の位置の距離の閾値内に全て含まれ、前記第一の候補となる画素は、カメラに最も近い前記第一の候補となる画素の奥行きに基づいて決定される、
請求項１記載の方法。
【請求項１３】
前記複数の画素から更なる画素を、前記更なる画素が前記第一の候補となる画素の奥行きの閾値内の奥行きを有するかに基づいて、更なる候補として選択するステップを更に含み、
前記目標となる画素の位置の画素の値を決定するステップは、前記更なる候補となる画素の値に更に基づく、
請求項１２記載の方法。
【請求項１４】
前記補間するステップは、重み付け要素を使用するステップを含み、
前記第一の候補となる画素について、前記重み付け要素のそれぞれの要素は、対応する基準となるビューの光学的な焦点の中心、前記仮想イメージに対応する仮想的なビューの光学的な中心及び前記第一の候補となる画素に対応する３次元ポイントにより決定される角度に基づく、
請求項２記載の方法。
【請求項１５】
前記重み付け要素を使用するステップは、前記第一の候補となる画素と前記第二の候補となる画素の重み付け要素を使用するステップを含む、
請求項１４記載の方法。
【請求項１６】
前記仮想イメージにおける全てのサブピクセルの位置でそれぞれの新たな目標となる画素を挿入して、複数の新たな目標となる画素を取得するステップと、
前記第一の候補となる画素と前記第二の候補となる画素のそれぞれに関連するそれぞれの奥行きに基づいて、前記複数の新たな目標とする画素のそれぞれの値を予測するステップと、
前記ダウンサンプリングを使用して前記仮想イメージに対応する最終的な仮想的なビューを生成するステップと、
を更に含む請求項１記載の方法。
【請求項１７】
前記挿入するステップは、前記仮想イメージにおける全ての残りのサブピクセルの位置で更なるそれぞれの新たな目標となる画素を挿入するステップを更に含む、
請求項１６記載の方法。
【請求項１８】
前記複数の新たな目標となる画素のそれぞれの値を予測するステップは、カメラに最も近い前記第一の候補となる画素及び前記第二の候補となる画素のそれぞれに関連するそれぞれの奥行きに基づく、
請求項１６記載の方法。
【請求項１９】
前記仮想イメージにおけるそれぞれの残りの目標とする画素について、
前記少なくとも１つの移動された参照画像から、１以上の候補となる画素を識別するステップと、
前記１以上の候補となる画素の値に基づいて前記残りの目標となる画素での画素の値を決定するステップと、
を更に含む請求項１記載の方法。
【請求項２０】
前記少なくとも１つの参照画像と前記仮想イメージの１以上を符号化するステップを更に含む、
請求項１記載の方法。
【請求項２１】
前記少なくとも１つの基準のビューの位置からの前記少なくとも１つの参照画像は、第一の基準のビューの位置からの第一の参照画像と第二の基準のビューの位置からの第二の参照画像とを含む、
請求項１記載の方法。
【請求項２２】
少なくとも１つの参照画像又は該参照画像の一部を、少なくとも１つの基準のビューの位置から仮想的なビューの位置に移動し、少なくとも１つの移動された参照画像を生成する手段と、
前記少なくとも１つの移動された参照画像において第一の候補となる画素と第二の候補となる画素とを識別する手段と、前記第一の候補となる画素と前記第二の候補となる画素は、前記仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補であり、
前記第一の候補となる画素及び前記第二の候補となる画素の値に基づいて前記目標となる画素の位置での画素の値を決定する手段と、
を備えることを特徴とする装置。
【請求項２３】
プロセッサに、
少なくとも１つの参照画像又は該参照画像の一部を、少なくとも１つの基準のビューの位置から仮想的なビューの位置に移動し、少なくとも１つの移動された参照画像を生成するステップと、
前記少なくとも１つの移動された参照画像において第一の候補となる画素と第二の候補となる画素とを識別するステップと、前記第一の候補となる画素と前記第二の候補となる画素は、前記仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補であり、
前記第一の候補となる画素及び前記第二の候補となる画素の値に基づいて前記目標となる画素の位置での画素の値を決定するステップと、
を実行させる命令を記憶したプロセッサ読み取り可能な記憶媒体。
【請求項２４】
少なくとも１つの参照画像又は該参照画像の一部を、少なくとも１つの基準のビューの位置から仮想的なビューの位置に移動し、少なくとも１つの移動された参照画像を生成するステップと、
前記少なくとも１つの移動された参照画像において第一の候補となる画素と第二の候補となる画素とを識別するステップと、前記第一の候補となる画素と前記第二の候補となる画素は、前記仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補であり、
前記第一の候補となる画素及び前記第二の候補となる画素の値に基づいて前記目標となる画素の位置での画素の値を決定するステップと、
を実行するプロセッサを備える装置。
【請求項２５】
少なくとも１つの参照画像又は該参照画像の一部を、少なくとも１つの基準のビューの位置から仮想的なビューの位置に移動し、少なくとも１つの移動された参照画像を生成するフォワードワーピング手段と、
前記少なくとも１つの移動された参照画像において、前記仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補である第一の候補となる画素と第二の候補となる画素とを識別し、前記第一の候補となる画素及び前記第二の候補となる画素の値に基づいて前記目標となる画素の位置での画素の値を決定するビューブレンド手段と、
を備える装置。
【請求項２６】
当該装置は、エンコーダを備える、
請求項２５記載の装置。
【請求項２７】
当該装置は、デコーダを備える、
請求項２５記載の装置。
【請求項２８】
少なくとも１つの参照画像又は該参照画像の一部を、少なくとも１つの基準のビューの位置から仮想的なビューの位置に移動し、少なくとも１つの移動された参照画像を生成するフォワードワーピング手段と、
前記少なくとも１つの移動された参照画像において、前記仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補である第一の候補となる画素と第二の候補となる画素とを識別し、前記第一の候補となる画素及び前記第二の候補となる画素の値に基づいて前記目標となる画素の位置での画素の値を決定するビューブレンド手段と、
前記少なくとも１つの参照画像の符号化と前記仮想イメージの符号化の１以上を含む信号を変調する変調手段と、
を備える装置。
【請求項２９】
少なくとも１つの参照画像と仮想イメージの符号化の１以上を含む信号を復調する復調手段と、
少なくとも１つの参照画像又は該参照画像の一部を、少なくとも１つの基準のビューの位置から仮想的なビューの位置に移動し、少なくとも１つの移動された参照画像を生成するフォワードワーピング手段と、
前記少なくとも１つの移動された参照画像において、前記仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補である第一の候補となる画素と第二の候補となる画素とを識別し、前記第一の候補となる画素及び前記第二の候補となる画素の値に基づいて前記目標となる画素の位置での画素の値を決定するビューブレンド手段と、
を備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化システムに関する。  
様々な特定の実現は、3D映像（3DV）応用向けのヒューリスティックなビューブレンディングによるビュー合成に関する。  
本出願は、（1）“View  Synthesis  with  Boundary-Splatting  and  Heuristic  View  Merging  for  3DV  Applications”と題された2008年9月19日に提出された米国特許仮出願61/192612、及び（2）“View  Synthesis  with  Adaptive  Splatting  for  3D  Video(3DV)  Application”と題された2008年8月29日に提出された米国特許仮出願61/092967の両者の利益を特許請求するものである。これらの米国特許仮出願の内容は、引用によりそれらの完全な形で本明細書に盛り込まれる。
【背景技術】
【０００２】
３次元映像（3DV）は、多視点映像及び奥行き情報の符号化表現を含み、たとえば受信での高品質3Dレンダリングの生成を狙いとする新たなフレームワークである。これにより、オートステレオスコピックディスプレイによる3Dの視覚的な体験、自由視点応用及び立体ディスプレイを可能にする。更なるビューを生成する更なる技術を有することが望まれる。
【発明の概要】
【課題を解決するための手段】
【０００３】
一般的な態様によれば、少なくとも１つの参照画像又はその一部は、少なくとも１つの基準のビューの位置から仮想的なビューの位置に瞬間移動（ワープ）され、少なくとも１つの瞬間移動された参照画像が生成される。第一の候補となる画素及び第二の候補となる画素は、少なくとも１つの瞬間移動された参照画像において識別される。第一の候補となる画素及び第二の候補となる画素は、仮想的なビューの位置からの仮想イメージにおける目標となる画素の位置の候補である。目標となる画素の位置での画素の値は、第一及び第二の候補となる画素の値に基づいて決定される。
【０００４】
１以上の実現の詳細は、添付図面及び以下の詳細な説明において述べられる。１つの特定のやり方で記載されるとしても、実現は様々なやり方で構成又は実施される場合があることが明らかである。たとえば、実現は、方法として実行されるか、たとえば動作のセットを実行するためにコンフィギュされる装置又は動作のセットを実行する命令を記憶する装置として実施されるか、或いは信号で実施される場合がある。他の態様及び特徴は、添付図面及び特許請求の範囲と共に考慮される以下の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【０００５】
【図１Ａ】補正されないビュー合成の実現に関する図である。
【図１Ｂ】補正されたビュー合成の実現に関する図である。
【図２】ビューシンセンサイザの実現に関する図である。
【図３】ビデオ送信システムの実現に関する図である。
【図４】ビデオ受信システムの実現に関する図である。
【図５】ビデオ処理装置の実現に関する図である。
【図６】奥行き情報をもつ多視点映像を送信及び受信するシステムの実現に関する図である。
【図７】ビュー合成プロセスの実現に関する図である。
【図８】補正されているビューのビューブレンディングプロセスの実現に関する図である。
【図９】3DポイントOri-Pi-OSにより決定される角度に関する図である。
【図１０Ａ】補正されているビューのアップサンプリングの実現に関する図である。
【図１０Ｂ】アップサンプリング及びZバッファリングに基づくブレンディングプロセスの実現に関する図である。
【発明を実施するための形態】
【０００６】
幾つかの3DV応用は、入力ビューに厳密な制約を課す。入力ビューは、ある画素があるビューから別のビューにどのように移動されるかを１次元（1D）の視差が表すことができるように、典型的に良好に補正される必要がある。
【０００７】
DIBR（Depth-Image-Based  Rendering）は、多数の較正されたカメラから捕捉された多数の画像及び関連する画素当たりの立体情報を使用するビュー合成の技術である。概念的に、このビュー生成方法は、（１）3Dイメージワーピング及び（２）再構成及びリサンプリング、といった２ステッププロセスとして理解することができる。３Dイメージワーピングに関して、参照画像からの画素を適切な3D位置に投影せずに、それらを新たな画像空間に再投影するため、奥行きデータ及び関連するカメラパラメータが使用される。再構成及びリサンプリングに関して、合成されたビューにおける画素値の決定が含まれる。
【０００８】
レンダリング方法は、画素に基づくか（splatting）又はメッシュに基づく（triangular）ことができる。3DVについて、レーザレンジのスキャニング又はコンピュータグラフィックスモデルから生成されるのではなく、ステレオのような受動的なコンピュータビジョン技術により１画素当たりの奥行きが典型的に推定される。したがって、3DVにおけるリアルタイム処理について、雑音のある奥行き情報のみが与えられた場合、複雑且つ計算コストが高いメッシュ生成を回避するために、画素に基づく方法が好まれるべきである。これは、ロバストな3D  triangulation（表面再構成）は、困難な幾何学的な問題であるためである。
【０００９】
既存のスプラッティングアルゴリズムは、幾つかの非常に印象的な結果を達成する。しかし、高い精度の奥行きで動作するように設計され、低品質の奥行きについて十分ではない場合がある。さらに、3DVに存在しない、１画素当たりの正常な表面又は3Dにおける曇り点のような、多くの既存のアルゴリズムが当然のこととする態様が存在する。そこで、これらの特定の問題に対処するため、新たな合成アルゴリズムが望まれる。
【００１０】
奥行き情報及びカメラパラメータが与えられると、参照画像を合成されたビューにワープさせることは簡単である。大部分の重要な問題は、ワープされた参照画像の画素から目標となるビューにおける画素値をどのように予測するかである。図１Ａ及び図１Ｂは、この基本的な問題を例示する。図１Ａは、補正されていないビュー合成１００を示す。図１Ｂは、補正されたビュー合成１５０を示す。図１Ａ及び図１Ｂでは、文字“Ｘ”は、推定されるべき目標とするビューにおける画素を表し、円及び四角は、異なる基準とするビューからワープされた画素を表す。この場合、異なる形状は、異なる基準とするビューを示す。
【００１１】
簡単な方法は、ワープされたサンプルを、目標とするビューにおけるその最も近い画素の位置に丸めることである。多数の画素が合成されたビューにおける同じ位置にマッピングされたとき、Ｚバッファリングは典型的なソリューションであり、すなわちカメラに最も近い画素が選択される。この（最も近い画素の位置に丸める）方式は、特にオブジェクトの境界に沿って、僅かにアンダーサンプルされた任意の表面においてピンホールを生じさせる可能性がある。このピンホールの問題に対処する最も一般的な方法は、基準とするビューにおけるある画素を目標とするビューにおける幾つかの画素にマッピングすることである。このプロセスは、スプラッティング（splatting）と呼ばれる。
【００１２】
基準とする画素が目標とするビューにおける多数の周囲の目標とする画素にマッピングされる場合、大部分のピンホールを除去することができる。しかし、幾つかの画像の詳細が失われる。ピンホールの除去と詳細の損失との間の同じトレードオフは、トランスペアレントなスプラット型の再構成カーネルを使用するときに生じる。問題は、「スプラッティングの程度をどのように制御するか」である。たとえば、それぞれのワープされた画素について、全ての周囲の目標とする画素にマッピングするか、そのワープされた画素に最も近い画素にマップするか、である。この問題は、概して、文献において対処されていない。
【００１３】
多数の基準とするビューが使用されるとき、一般的な方法は、それぞれの基準とするビューからの合成を個別に処理し、次いで、多数の合成されたビューを互いに合成する。問題は、それらをどのようにマージすべきかであり、たとえば、ある種の重み付け方式が使用される場合がある。たとえば、角距離、画像の解像度等に基づいて異なる基準とするビューに異なる重みが適用される場合がある。なお、これらの問題は、雑音が多い奥行き情報に対してロバストであるやり方で対処されるべきである。
【００１４】
DIBRを使用して、この文脈では基準とするビューとも呼ばれる、捕捉されたビューから仮想的なビューが生成される。仮想的なビューの生成は、特に入力の奥行き情報が雑音が多く且つシーンの3D表面特性のような他のシーン情報が既知ではないときに骨が折れる作業である。
【００１５】
最も困難な問題の１つは、基準とするビューにおけるサンプルの画素がワープされた後に、合成されたビューにおけるそれぞれの画素の値をどのように推定すべきかである。たとえば、それぞれの目標とする合成された画素について、どのような基準とする画素が利用されるべきか、及びそれらをどのように結合すべきか。
【００１６】
少なくとも１つの実現では、3DV応用のためにニューリスティックなビューブレンディングによるビュー合成のフレームワークを提案する。本発明者は、仮想的なビューの生成を含む（たとえばDIBRを使用した）3DV応用において、係る生成は、特に入力の奥行き情報が雑音が多く且つシーンの3D表面特性のような他のシーン情報が既知ではないときに骨が折れる作業であると述べた。
【００１７】
本発明者は、係る仮想的なビューを生成することにおける顕著な問題は、基準となるビューにおけるサンプル画素がワープされた後に、合成ビューにおけるそれぞれの画素の値をどのように推定すべきかであると更に述べた。たとえば、それぞれの目標とされる合成された画素について、どのような基準となる画素が利用されるべきか、それらをどのように結合するべきか、である。
【００１８】
従って、少なくとも１つの実現では、たとえばそれらの奥行き情報、それらのワープされた2D画像位置及びカメラパラメータに基づいて多数のワープされた基準となる画素をブレンドするヒューリスティックな方法が提供される。勿論、本発明は、先の点にのみ限定されるものではなく、他のアイテム（情報、位置、パラメータ等）は、本発明の精神を維持しつつ、多数のワープされた基準となる画素をブレンドするために使用される場合がある。提案されるスキームは、どの位多くの基準となるビューが入力として使用されるかに関する制約を有さず、カメラのビューが補正されているか否かを問わずに適用することができる。
【００１９】
少なくとも１つの実現では、１つのビューの合成及びマージングを１つのブレンディングスキームに結合することが可能となる。
【００２０】
さらに、本発明者は、基準とするビューから仮想的なビューを合成するため、３つのステップが一般的に必要とされることを述べた。すなわち、（１）フォワードワーピング（forward  warping）、（２）ブレンディング（blending:  単一視点の合成及び多視点のマージング）及び（３）ホールフィリング（hole-filling）である。少なくとも１つの実現は、雑音の多い奥行き情報により生じる問題に対処するため、ブレンディングを改善する幾つかのアルゴリズムに寄与する。本発明のシミュレーションは、3DVにおける幾つかの既存のスキームに比較して優れた品質を示している。
【００２１】
基準とするビューから仮想的なビューを合成することに関して、上述された３つのステップのワープステップに関して、基本的に、どのようにワープ結果が処理されるか、すなわちマージング及びブレンディングに関して、２つのオプションを考慮することができる。
【００２２】
マージングに関して、それぞれのビューを完全にワープさせて、それぞれの基準について最終的にワープされたビューを形成することができる。次いで、これらの最終的にワープされたビューを「マージ」して、１つの実際に最終の合成されたビューを得ることができる。「マージング（merging）」とは、たとえば（N個の最終的にワープされたビューを想定して）N個の候補の間で選択すること、又はそれらを幾つかのやり方で結合することを含む。勿論、目標とする画素値を決定するために使用される候補の数は、ワープされるビューの数と同じである必要はない。すなわち、多数の候補（又は全くなし）は、単一のビューから到来する場合がある。
【００２３】
ブレンディングに関して、それぞれのビューを更にワープさせるが、それぞれの基準について最終的にワープされたビューを形成しない。最終的にワープされたビューに進まないことで、ブレンディングするときに更なるオプションを維持する。これは、幾つかの場合、異なるビューは合成された目標とするビューの異なる部分について最良の情報を提供する場合があるので都合がよい。従って、ブレンディングは、それぞれの画素での異なるビューからの情報の正しい結合を選択する柔軟性を提供する。従って、マージングは、２ステップのブレンディングの特別のケースとして考慮され、それぞれのビューからの候補は、はじめに個別に処理され、次いで結果が結合される。
【００２４】
図１Ａを再び参照して、図１Ａは、典型的なブレンディング動作への入力を示すように解釈することができる。これは、図１Ａが異なる基準とするビュー（円及び四角形のそれぞれ）からワープされた画素を含むためである。対照的に、典型的なマージングアプリケーションについて、円又は四角のいずれかのみを見ることを期待する。これは、それぞれの基準とするビューが典型的に個別にワープされ、次いで、それぞれの基準について最終的にワープされたビューを形成するために処理されるためである。次いで、多数の基準について最終的にワープされたビューは、典型的なマージングアプリケーションにおいて結合される。
【００２５】
ブレンディングに戻り、ブレンディングに関連する１つの可能なオプション／検討事項として、全てのホールを充填するのを望まないため、スプラッティングを実行しない場合がある。これらのオプション及び他のオプションは、本発明の精神を維持しつつ、当業者により容易に決定される。
【００２６】
従って、本発明の１以上の実施の形態は、マージングに向けられる一方で、本発明の他の実施の形態は、ブレンディングに向けられる場合があることを理解されたい。勿論、更なる実施の形態は、マージング及びブレンディングの組み合わせを含む場合がある。本出願で説明される特徴及び概念は、ブレンディング又はマージングのうちの１つのみの文脈でのみ議論されるとしても、ブレンディング及びマージングの両者に適用される場合がある。本実施の形態で提供される本発明の教示が与えられると、当業者であれば、本発明の精神を維持しつつ、マージング及び／又はブレンディングに関する様々な応用を容易に予期するであろう。
【００２７】
本発明は、一般に、通信システム、より詳細には、たとえば地上波放送、セルラー方式、Wi-Fi（Wireless-Fidelty）、衛星等のような無線システムに関することを理解されたい。さらに、本発明は、たとえばエンコーダ、デコーダ、プリプロセッサ、ポストプロセッサ、及び（これらの１以上を含む）受信機で実現される場合があることを理解されたい。たとえば、符号化目的で使用するために仮想イメージを生成することが望まれる応用では、本発明は、エンコーダで実現される場合がある。エンコーダに関する更なる例として、係るエンコーダは、その仮想的なビューの位置からの実際の画像を符号化するか、又は仮想的なビューの位置に近い仮想的な位置からの画像を符号化するため、仮想的なビューを合成するために使用される。２つの参照画像を含む実現では、両者は、仮想的なビューに対応する仮想イメージと共に符号化される。勿論、本明細書で提供される本発明の原理の教示が与えられると、当業者であれば、本発明の精神を維持しつつ、先に記載の応用に対する変形例と同様に、これらの応用及び他の応用を考えるであろう。
【００２８】
更に、１以上の実施の形態はH.264/MPEG-4  AVC(AVC)標準に関して本実施の形態で記載されるが、本発明はこれに限定されるものではなく、本実施の形態で提供される本発明の教示が与えられると、本発明の精神を維持しつつ、多視点映像符号化（MVC）、他の映像符号化標準、仕様、及び／又は勧告と同様に、現在及び将来的な3DV標準に容易に適用される場合があることを理解されたい。
【００２９】
「スプラッティング」は、基準とするビューからの１つのワープされた画素を目標とするビューにおける幾つかの画素にマッピングするプロセスを示す。
【００３０】
「奥行き情報」は、奥行きに関する様々な種類の情報を示す一般的な用語である。あるタイプの奥行き情報は、「奥行きマップ」であり、この奥行きマップは、１画素当たりの奥行き画像を一般的に示す。他のタイプの奥行き情報は、たとえば、それぞれの符号化画素ではなく、それぞれの符号化ブロックについて単一の深度値を使用することを含む。
【００３１】
図２Ａは、本発明の実施の形態に係る、本発明が適用される例示的なビューシンセサイザ２００を示す。ビューシンセサイザ２００は、フォワードワーパ（forward  warper）２１０−１〜２１０−Ｋ、ビューブレンダ（view  blender）２２０及びホールフィラー（hole-filler）２３０を含む。フォワードワーパ２１０−１〜２１０−Ｋのそれぞれの出力は、ビューブレンダ２２０の第一の入力と接続される。ビューブレンダ２２０の出力は、ホールフィラー２３０の第一の入力と接続される。フォワードワーパ２１０−１〜２１０−Ｋの第一のそれぞれの入力は、基準とするビュー１〜Ｋを受信するビューシンセサイザ２００の入力として利用可能である。フォワードワーパ２１０−１〜２１０−Ｋの第二のそれぞれの入力は、ビュー１及び目標とするビューの奥行きマップ並びにこれらに対応するカメラパラメータから、ビューＫ及び目標とするビューの奥行きマップ並びにこれらに対応するカメラパラメータまでをそれぞれ受信するため、ビューシンセサイザ２００の入力として利用可能である。ビューブレンダ２２０の第二の入力は、全てのビューの奥行きマップ及びカメラパラメータを受信するため、ビューシンセサイザの入力として利用可能である。ホールフィラー２３０の第二の（任意の）入力は、全てのビューの奥行きマップ及びカメラパラメータを受信するため、ビューシンセサイザ２００の入力として利用可能である。ホールフィラー２３０の出力は、目標とするビューを出力するため、ビューシンセサイザ２００の出力として利用可能である。
【００３２】
ビューブレンダ２２０は、様々な機能及び動作の１以上を実行する。たとえば、実現では、ビューブレンダ２２０は、少なくとも１つのワープされた参照画像において第一の候補となる画素及び第二の候補となる画素を識別する。この第一の候補となる画素及び第二の候補となる画素は、仮想的なビューの位置からの仮想イメージにおける目標となる画素の位置の候補である。さらに、実現では、ビューブレンダ２２０は、第一の候補となる画素及び第二の候補となる画素の値に基づいて、目標となる画素の位置での画素の値を決定する。
【００３３】
たとえばフォワードワーパ２１０、ビューブレンダ２２０のような図２の他のエレメントは、様々なやり方で実現される場合がある。たとえば、フォワードワーピング又はビューブレンディングの機能を実行するソフトウェアアルゴリズムは、汎用コンピュータ又はビデオエンコーダのような専用マシン、又は（特定用途向け集積回路（ASIC）のような）専用集積回路で実現される場合がある。実現は、ソフトウェア、ハードウェア及びファームウェアの組み合わせを使用する場合がある。フォワードワーピング及びビューブレンディングの一般的な機能は、当業者により知られている。係る一般的な機能は、本出願で記載されるフォワードワーピング及びビューブレンディング動作を実行するために本出願において変更される場合がある。
【００３４】
図３は、本発明の実現に係る、本発明が適用される例示的なビデオ送信システム３００を示す。ビデオ送信システム３００は、たとえば衛星、ケーブル、電話回線又は地上波放送のような様々な媒体の何れかを使用した信号を送信するヘッドエンド又は送信システムである場合がある。この送信は、インターネット又は幾つかの他のネットワークを通して提供される場合がある。
【００３５】
ビデオ送信システム３００は、奥行きによる視点間のスキップモードを使用して符号化されたビデオコンテンツを生成及び転送可能である。これは、奥行き情報を含む符号化信号であるか、又はたとえばデコーダを有する受信機のエンドで奥行き情報を合成するために使用可能な情報を生成することで達成される。
【００３６】
ビデオ送信システム３００は、符号化された信号を送信可能であるエンコーダ３１０及び送信機３２０を含む。エンコーダ３１０は、ビデオ情報を受信し、奥行きによる視点間のスキップモードを使用して、符号化された信号を生成する。エンコーダ３１０は、たとえばAVCエンコーダである場合がある。エンコーダ３１０は、様々な情報の部分を受信して、記憶又は送信用の構造化されたフォーマットにアセンブルすることを含むアセンブリユニットを含むサブモジュールを含む場合がある。様々な情報の部分は、たとえば、符号化又は非符号化されたビデオ、符号化又は非符号化された奥行き情報、及びたとえば動きベクトル、符号化モードインジケータ及びシンタックスエレメントのような符号化又は非符号化エレメントを含む場合がある。
【００３７】
送信機３２０は、たとえば符号化画像及び／又は該符号化画像に関連する情報を表す１以上のビットストリームを有するプログラム信号を送信する場合がある。典型的な送信機は、たとえば誤り訂正符号化を提供すること、信号におけるデータをインタリーブすること、信号におけるエネルギーをランダム化すること、及び信号を１以上のキャリアに変調すること、のうちの１つ以上のような機能を実行する。送信機は、アンテナ（図示せず）を含んでおり、アンテナと連動する。従って、送信機３２０の実現は、変調器を含んでいる。
【００３８】
図４は、本発明の実施の形態に係る、本発明が適用される例示的なビデオ受信システム４００を示す。ビデオ受信システム４００は、たとえば衛星、ケーブル、電話回線又は地上波放送のような様々な媒体を通して信号を受信する。信号は、インターネット又は幾つかの他のネットワークを通して受信される場合がある。
【００３９】
ビデオ受信システム４００は、たとえば携帯電話、コンピュータ、セットトップボックス、テレビジョン、又はたとえば符号化されたビデオを受信し、ユーザに表示のため又は記憶のために復号化されたビデオを提供する他の装置である場合がある。従って、ビデオ受信システム４００は、その出力を、たとえばテレビジョンのスクリーン、コンピュータのモニタ、（記憶、処理又は表示向け）コンピュータ、又は他の記憶、処理又は表示装置に提供する。
【００４０】
ビデオ受信システム４００は、ビデオ情報を含むビデオコンテンツを受信及び処理可能である。ビデオ受信システム４００は、本出願の実現において記載される信号のような符号化された信号を受信可能な受信機４１０、及び受信された信号を復号化可能なデコーダ４２０を含む。
【００４１】
受信機４１０は、符号化された画像を表す複数のビットストリームを有するプログラム信号を受信する。典型的な受信機は、たとえば変調及び符号化されたデータ信号を受信すること、１以上の搬送波からデータ信号を復調すること、信号におけるエネルギーを逆ランダム化すること、信号におけるデータをデインタリーブすること、信号を誤り訂正復号化すること、のうちの１以上のような機能を実行する。受信機４１０は、たとえばアンテナ（図示せず）を含んでいる。受信機４１０の実現は、復調器を含んでいる場合がある。
【００４２】
デコーダ４２０は、ビデオ情報及び奥行き情報を含むビデオ信号を出力する。デコーダ４２０は、たとえばAVCデコーダである場合がある。
【００４３】
図５は、本発明の実施の形態に係る、本発明が適用される例示的なビデオ処理装置５００を示す。ビデオ処理装置５００は、たとえばセットトップボックス、又は符号化されたビデオを受信し、ユーザへの表示のために又は記憶のために復号化されたビデオを提供する他の装置である場合がある。従って、ビデオ処理装置５００は、その出力を、テレビジョン、コンピュータモニタ、コンピュータ或いは他の処理装置に提供する場合がある。
【００４４】
ビデオ処理装置５００は、フロントエンド（FE）装置５０５及びデコーダ５１０を含む。フロントエンド装置５０５は、たとえば符号化された画像を表す複数のビットストリームを有するプログラム信号を受信し、複数のビットストリームから復号化のために１以上のビットストリームを選択する。典型的な受信機は、たとえば変調及び符号化されたデータ信号を受信すること、データ信号を復調すること、データ信号の１以上の符号化（たとえばチャネル符号化及び／又はソース符号化）を復号化すること、及び／又はデータ信号を誤り訂正すること、のうちの１以上のような機能を実行する。フロントエンド装置５０５は、たとえばアンテナ（図示せず）からプログラム信号を受信する。フロントエンド装置５０５は、受信されたデータ信号をデコーダ５１０に供給する。
【００４５】
デコーダ５１０は、データ信号５２０を受信する。データ信号５２０は、たとえば１以上のAVC（Advanced  Video  Coding）、SVC（Scalable  Video  Coding）又はMVC（Multi-view  Video  Coding）に互換性のあるストリームを含む場合がある。
【００４６】
AVCは、既存のISO/IEC（International  Organization  for  Standardization/International  Electrotechnical  Commission）MPEG-4（Moving  Picture  Experts  Group-4）Part10  AVC（Advanced  Video  Coding）標準／ITU-T（International  Telecomminication  Union  Telecommunication  Sector）H.264勧告（以下、「H.264/MPEG-4  AVC標準」、或いはその変形である「AVC標準」又は単に「AVC」と呼ぶ）においてより詳細に説明されている。
【００４７】
MVCは、H.264/MPEG-4  AVC  MVC拡張（「MVC拡張」又は単に「MVC」）と呼ばれるAVC標準の多視点映像符号化（MVC）拡張（Annex  H）においてより詳細に説明されている。
【００４８】
SVCは、H.264/MPEG-4  AVC  SVC拡張（「SVC拡張」又は単に「SVC」）と呼ばれるAVC標準のスケーラブルビデオ符号化（SVC）拡張（Annex  G）においてより詳細に説明されている。
【００４９】
デコーダ５１０は、受信された信号５２０の全部又は一部を復号化し、復号化されたビデオ信号５３０を出力として供給する。復号化されたビデオ５３０は、セレクタ５５０に供給される。装置５００は、ユーザ入力５７０を受信するユーザインタフェース５６０を含む。ユーザインタフェース５６０は、ユーザ入力５７０に基づいて、画像選択信号５８０をセレクタ５５０に供給する。画像選択信号５８０及びユーザ入力５７０は、複数の画像のうちのどの画像を、複数の系列のうちのどの系列を、複数のスケーラブルバージョンのうちのどのバージョンで、複数のビューのうちのどのビューで、複数の利用可能な復号化されたデータの他の選択のうちのどの選択で、ユーザが表示させるのを望むかを示す。セレクタ５５０は、選択された画像を出力５９０として提供する。セレクタ５５０は、画像選択情報５８０を使用して、復号化されたビデオ５３０におけるどの画像を選択して出力５９０として供給するかを選択する。
【００５０】
様々な実現では、セレクタ５５０は、ユーザインタフェース５６０を含んでおり、他の実現では、個別のインタフェース機能が実行される必要なしにセレクタ５５０はユーザ入力５７０を受信するので、ユーザインタフェース５６０は必要とされない。セレクタ５５０は、たとえば、ソフトウェアで実現されるか、又は集積回路として実現される場合がある。１実現では、セレクタ５５０は、デコーダ５１０と組み合わされ、別の実現では、デコーダ５１０、セレクタ５５０及びユーザインタフェース５６０が全て統合される。
【００５１】
１つの応用では、フロントエンド５０５は、様々なテレビ番組の放送を受信し、そのうちの１つを処理のために選択する。ある番組の選択は、視聴すべき所望のチャネルのユーザ入力に基づく。フロントエンド装置５０５へのユーザ入力は図５に示されていないが、フロントエンド装置５０５は、ユーザ入力５７０を受信する。フロントエンド装置５０５は、ブロードキャストを受信し、ブロードキャストされたスペクトルの関連する部分を復調して、復調された番組の外側の符号化を復号化することで、所望の番組を処理する。フロントエンド装置５０５は、復号化された番組をデコーダ５１０に供給する。デコーダ５１０は、装置５６０及び５５０を含む集積ユニットである。従って、デコーダ５１０は、番組において視聴すべき所望のビューのユーザが供給した情報であるユーザ入力を受信する。デコーダ５１０は、他のビューからの任意の必要とされる参照画像と同様に、選択されたビューを復号化し、テレビジョン（図示せず）に表示のために復号化されたビュー５９０を供給する。
【００５２】
引き続き、ユーザは、表示されるビューを切り替えるのを望み、次いで、新たな入力をデコーダ５１０に供給する場合がある。ユーザから「ビューの切り替え」を受けた後、デコーダ５１０は、古いビューと新たなビューとの間にあるビューと同様に、古いビューと新たなビューの両者を復号化する。すなわち、デコーダ５１０は、古いビューを撮影するカメラと新たなビューを撮影するカメラとの間に物理的に位置されるカメラで撮影されたビューを復号化する。また、フロントエンド装置５０５は、古いビュー、新たなビュー、及びその間にあるビューを識別する情報を受ける。係る情報は、たとえばビューの位置に関する情報を有するコントローラ（図５に図示せず）、又はデコーダ５１０により供給される場合がある。他の実現は、フロントエンド装置と統合されるコントローラを有するフロントエンド装置を使用する場合がある。
【００５３】
デコーダ５１０は、出力５９０としてこれらの復号化されたビューの全てを供給する。ポストプロセッサ（図５に図示せず）は、古いビューから新たなビューへの滑らかな遷移を提供するためにビュー間を補間して、この遷移をユーザに表示する。新たなビューへの遷移の後、ポストプロセッサは、（図示しない１以上の通信リンクを通して）デコーダ５１０及びフロントエンド装置５０５に、新たなビューのみが望まれることを通知する。その後、デコーダ５１０は、新たなビューを出力５９０として供給する。
【００５４】
システム５００は、画像の系列からなる複数のビューを受信し、表示用に１つのビューを提示し、滑らかなやり方で様々なビュー間で切り替えを行うために使用される。滑らかなやり方は、別のビューに移るために、ビュー間を補間することを含む場合がある。さらに、システム５００は、オブジェクト又はシーンをユーザが回転するのを可能にするか、さもなければオブジェクト又はシーンの３次元表示をユーザが見るのを可能にする。たとえばオブジェクトの回転は、あるビューから別のビューに移り、ビュー間の滑らかな遷移を得るか又は単に３次元表示を得るためにビュー間を補間することに対応する。すなわち、ユーザは、表示すべき「ビュー」として補間されたビューを「選択する」場合がある。
【００５５】
図２のエレメントは、図３〜５における様々な位置で組み込まれる。たとえば、図２の１以上のエレメントは、エンコーダ３１０及びデコーダ４２０に位置される。更なる例として、ビデオ処理装置５００の実現は、図２の１以上のエレメントをデコーダ５１０に含むか、図５の説明で言及されたポストプロセッサに含む場合があり、このポストプロセッサは、受信されたビュー間を補間する。
【００５６】
本発明及び本発明が適用される場合がある環境の説明に戻り、有利なことに、本発明は3Dビデオ（3DV）に適用されることを理解されたい。3Dビデオは、多視点映像及び奥行き情報の符号化された表現を含み、受信機での高品質の3Dレンダリングの生成を狙いとする新たなフレームワークである。これにより、オートマルチスコピックディスプレイによる3Dの視覚的体験を可能にする。
【００５７】
図６は、本発明の実施の形態に係る、本発明が適用される、奥行き情報をもつ多視点映像を送信及び受信する例示的なシステム６００を示す。図６では、ビデオデータは、実線で示されており、奥行きデータは、破線により示されており、メタデータは、点線により示されている。システム６００は、たとえば限定されるものではないが、自由視点のテレビジョンシステムである場合がある。送信機側６１０で、システム６００は、それぞれの複数のソースからの１以上のビデオ、奥行き及びメタデータを受信する複数の入力を有する３次元（3D）コンテンツプロデューサ６２０を含む。係るソースは、限定されるものではないが、ステレオカメラ６１１、奥行きカメラ６１２、マルチカメラセットアップ６１３及び２次元／３次元（2D/3D）変換プロセス６１４を含む。１以上のネットワーク６３０は、多視点映像符号化（MVC）及びデジタルビデオ放送（DVB）に関連する１以上のビデオ、奥行き、及びメタデータを送信するために使用される場合がある。
【００５８】
受信機側６４０で、奥行き画像に基づくレンダリング手段（depth  image-based  renderer）６５０は、奥行き画像に基づくレンダリングを実行して、信号を様々なタイプのディスプレイに投影する。本出願のシナリオは、狭角（＜20°）での取得のような特定の制約を課す場合がある。奥行き画像に基づくレンダリング手段６５０は、ディスプレイコンフィギュレーション情報及びユーザプリファレンスを受信可能である。奥行き画像に基づくレンダリング手段６５０の出力は、１以上の2Dディスプレイ６６１、M視点3Dディスプレイ６６２及び／又はヘッドトラックステレオディスプレイ６６３に供給される場合がある。
【００５９】
図７は、本発明の実施の形態に係る、ビュー合成の方法７００を示す。ステップ７０５で、第一の最小画像又はその一部は、第一の基準となるビューの位置から第二の基準となるビューの位置にワープされ、第一のワープされた参照画像が生成される。
【００６０】
ステップ７１０で、第一のワープされた参照画像における第一の候補となる画素が識別される。第一の候補となる画素は、仮想的なビューの位置からの仮想イメージにおける目標となる画素の位置の候補である。ステップ７１０は、たとえば第一の候補となる画素の位置と目標となる画素の位置との距離に基づいて第一の候補となる画素を識別することを含み、係る距離は、（たとえば距離が閾値以下である、といった）閾値を任意に含む場合があることを理解されたい。さらに、ステップ７１０は、たとえば第一の候補となる画素に関連する奥行きに基づいて第一の候補となる画素を識別することを含む場合があることを理解されたい。また、ステップ７１０は、カメラに最も近い距離である、目標となる画素の位置からの距離の閾値である、第一のワープされた参照画像における複数の画素のなかから（第一の候補となる画素として）選択された画像の距離に基づいて第一の候補となる画素を識別することを含む場合があることを理解されたい。
【００６１】
ステップ７１５で、第二の参照画像又はその一部は、第二の基準となるビューの位置から仮想的なビューの位置にワープされ、第二のワープされた参照画像が生成される。ステップ７２０で、第二のワープされた参照画像における第二の候補となる画素が識別される。第二の候補となる画素は、仮想的なビューの位置からの仮想イメージにおける目標となる画素の位置の候補である。
【００６２】
ステップ７２５で、目標となる画素の位置にある画素の値は、第一の候補となる画素及び第二の候補となる画素の値に基づいて決定される。ステップ７２５は、たとえば第一の及び第二の画素の値を線形に補間することを含めて、第一の及び第二の画素の値を補間することを含む場合がある。さらに、ステップ７２５は、たとえば候補となる画素のそれぞれについて、重み付け要素を使用することを含む場合がある。係る重み付け要素は、たとえば第一の基準となるビューの位置と仮想的なビューの位置との間の第一の距離と、第二の基準となるビューの位置と仮想的なビューの位置との間の第二の距離とを含むカメラパラメータに基づいて決定される場合がある。また、係る重み要素は、たとえば（以下に実施の形態２に関して詳細に更に記載されるように）３次元ポイントOri-Pi-OSにより決定される角度により基づいて決定される場合がある。さらに、ステップ７２５は、第一の候補となる画素の奥行きの閾値内である選択された画素の奥行きに基づいて、（目標となる画素の位置からの距離の閾値である）第一のワープされた参照画像における多数の画素のなかから選択された更なる候補となる画素の値に基づく場合があることを理解されたい。
【００６３】
ステップ７３０で、１以上の第一の参照画像、第二の参照画像及び仮想イメージが符号化される。
【００６４】
図７の実施の形態は、第一の参照画像及び第二の参照画像を含んでいるが、本実施の形態で提供された本発明の教示が与えられると、当業者であれば、本発明の精神を維持しつつ、１つの参照画像又は２を超える参照画像を含む実施の形態に本発明を容易に適用可能であることを理解されたい。更なる可能な変形例として、１つの参照画像の場合、１つの基準となるビューの位置は、同じ１つの基準となるビューの位置の使用にも関わらず、第一の候補となる画素及び第二の候補となる画素の異なる値を得るために、ワークピングプロセスへの幾つかの変更により、第一の候補となる画素及び第二の候補となる画素を生成するために使用される場合がある。１つの参照画像の場合を含む他の実施の形態では、２以上の（異なる）基準となるビューの位置が使用される場合がある。本発明のこれらの変形及び他の変形は、本発明の精神を維持しつつ、本実施の形態で提供される本発明の居時が与えられると、当業者により容易に考えられるであろう。
【００６５】
先に述べたように、少なくとも１つの実現では、たとえばそれらの奥行き情報、それらのワープされた2D画像の位置及びカメラパラメータに基づいて、複数のワープされた基準となる画素／ビューをブレンドするヒューリスティックな方法が提供される。
【００６６】
3DV応用では、送信帯域又は記憶の制約における制限のため、低減された数のビューと奥行きマップが送信され、記憶される。実際のビュー間における仮想的なビューをレンダリングする願望が存在するので、中間的なビューを生成するために、奥行き画像に基づくレンダリング（DIBR）が使用される。
【００６７】
基準となるビューからの仮想的なビューを合成するため、（1）フォワードワーピング、（2）ブレンディング（コンポジション）及び（3）ホールフィリング、といった３つのステップが典型的に実行される。少なくとも１つの実現では、雑音が多い奥行き情報により生じた問題に対処するヒューリスティックなブレンディングスキームが提供される。このシミュレーションは、3DVにおける幾つかの既存のスキームに比較して優れた品質が達成されることが示される。
【００６８】
［１．背景情報−フォワードパーピング］
ビュー合成の実行における第一のステップは、フォワードワーピングであり、これは、基準となるビューにおけるそれぞれの画素について、目標となるビューにおけるその対応する位置を発見することを含む。この3Dイメージワーピングは、コンピュータグラフィックで知られている。入力ビューが補正されているか否かに依存して、異なる式を使用することができる。
【００６９】
（ａ）補正されていないビュー（non-rectified  view）
その同次座標Ｐ＝［ｘ,ｙ,ｚ,ｌ］Tにより3Dポイントを定義する場合、且つその基準とする画像平面における透視投影（すなわち2D画像位置）がｐr＝［ｕr,νr,ｌ］Tである場合、以下の式を有する。
【００７０】
【数１】
2012501494.tif 000003
ここでｗrは奥行き要素であり、PPMrは、カメラパラメータから知られる3×4の透視投影マトリクスである。それに応じて、以下のような合成された（目標とする）ビューの式を得る。
【００７１】
【数２】
2012501494.tif 000004
PPMrの12個の要素をｑijとして示す。ここでi＝1,2,3及びj＝1,2,3,4である。画像ポイントｐr及びその奥行きｚから、3DポイントPの他の２つの成分は、以下のように線形方程式により推定することができる。
【００７２】
【数３】
2012501494.tif 000005
なお、基準とするビューにおけるそれぞれの画素の入力の奥行きレベルは、3DVにおいて８ビットに量子化される（すなわち256レベル、この場合、大きな値は、カメラに近いことを示す）。ワーピングの間に使用される奥行き要素ｚは、以下の式により入力の奥行きレベルYに直接にリンクされる。
【００７３】
【数４】
2012501494.tif 000006
ここでZnear及びZfarは、そのシーンにおける最も近い画素及び最も遠い画素の奥行き要素にそれぞれ対応する。奥行き情報を量子化するために8ビットを超える（又は8ビット未満の）ビット数が使用されるとき、式（４）における値255は、Bをビット深度として２B−１で置き換えられる。
【００７４】
Pの3D位置が既知であり、且つこの3D位置を合成された画像平面に式（２）により投影し直すとき、目標とするビューｐSにおけるその位置（すなわちワープされた画素の位置）を得る。
【００７５】
（ｂ）補正されているビュー（rectified  view）
補正されているビューについて、（典型的に水平線に沿った）1Dの視差は、ある画素があるビューから別のビューにどのように移動されるかを示す。以下のカメラパラメータが与えられるとする。  
（i）f：カメラレンズの焦点距離
（ii）l：カメラ距離としても知られるベースライン間隔
（iii）du：主点のオフセットにおける差。
【００７６】
入力ビューが良好に補正されていると考えると、基準とするビューにおける画素ｐr＝［ｕr,νr,ｌ］Tから、目標とするビューにおけるワープされた位置ｐS＝［ｕS,νS,ｌ］Tを計算するために以下の式を使用することができる。
【００７７】
【数５】
2012501494.tif 000007
［２．提案される方法：ビューブレンディング］
ビューワーピングの結果は、図１Ａ及び図１Ｂに例示される。このステップでは、その周囲のワープされる基準となる画素（候補となる画素）から目標となるビューにおける画素値をどのように推定すべきかに関する問題が対処される。少なくとも１つの実現では、先に述べたように、それらの奥行き情報、ワープされた画素の位置及びカメラのパラメータに基づいて、幾つかのワープされた基準となる画素をブレンドするヒューリスティックな方法が提案される。
【００７８】
［実施の形態１：補正されているビュー］
単純化のため、補正されたビュー合成が例として使用され、すなわち、同じ水平線上の候補となる画素からの目標となる画素値が推定される（図１Ｂ）。
【００７９】
それぞれの目標となる画素について、この目標となる画素から±ａの画素の距離内にあるワープされた画素は、候補となる画素として選択される。（バーチャルカメラに最も近い）最大の奥行きレベルmaxYをもつ画素が発見される。ここでパラメータａは、重要である。ａが余りに小さい場合、ピンホールが現れる。ａが余りに大きい場合、画像の詳細が失われる。このａは、たとえば奥行きの雑音の分散を使用して、シーン又は入力の奥行きの精度に関する事前情報が既知である場合に調節することができる。事前情報が既知でない場合、値１が殆どの時間で機能する。
【００８０】
典型的なZバッファリングアルゴリズムでは、最大の奥行きレベル（すなわちカメラに最も近い）の候補は、目標となる位置での画素値を決定する。ここで、他の候補となる画素は、それらの奥行きレベルが最大の奥行きにかなり近い限り保持され、すなわち（Y≧maxY−thresY）であり、ここでthresYは、閾値となるパラメータである。実験では、thresYは、10に設定される。このthresYは、maxYの大きさ又は入力の奥行きの精度に関する幾つかの事前情報に従って変動する。これまで発見された候補となる画素の数をｍで示す。
【００８１】
画像の詳細を更に保持するため、目標となる画素から±a/2の画素距離内にある候補の「十分な」数が存在する場合、これらの候補のみが、目標となる画素の色を推定するために使用される。係る候補となる画素の数をｎとして定義する。ｎが十分であるかを判定するため、以下のような差の基準を使用することができる。
【００８２】
（i）ｎ≧Ｎである場合、すなわちｎが予め設定された閾値Nよりも大きい場合（thresYが１０に設定され且つ２つの基準となるビューが存在するとき、ｎを４に設定する）。これは、図８に示されるように推薦される基準である。
【００８３】
（ii）Ｍを予め設定された閾値として、ｍ−ｎ＜Ｍである場合、ｍがｎよりも著しく大きくない場合。
【００８４】
勿論、本発明は先の異なる基準に限定されるものではなく、本発明の精神を維持しつつ、他の基準が使用される場合がある。
【００８５】
ｎpの候補となる画素が選択された後、次のタスクは、目標となる画素値ＣSを補間することである。候補となる画素ｉの値をＣiとして定義する。この値は、基準となるビューｒiからワープされ、目標となる画素への対応する距離は、ｄiである。以下の線形の補間は、非常に良好に機能する。
【００８６】
【数６】
2012501494.tif 000008
ここでＷ(ｒi,ｉ)は、異なるビューに割り当てられる重み付け要素である。この重み付け要素は、１に設定される。補正されたビューについて、この重み付け要素は、ベースライン間隔ｌr（ビューｒiと目標となるビューとの間のカメラ距離）に基づいて設定され、たとえばＷ(ｒi,ｉ)＝１／ｌrである。
【００８７】
図８は、本発明の実施の形態に係る、補正されたビューについて提案されるビューリスティックなビューを示す。ステップ８０５で、目標となる画素から±ａの画素距離をもつ候補となる画素のみが選択され、最大の奥行きレベルmaxYを持つ（すなわちカメラに最も近い）画素が選択される。ステップ８１０で、その奥行きレベルYがY<maxY−thresYである候補となる画素が除かれる（すなわち背景の画素が除かれる）。ステップ８１５で、全体の候補となる画素数ｍがカウントされ、目標となる画素から±a/2内にある候補となる画素の数ｎがカウントされる。ステップ８２０で、ｎ≧Ｎであるか否かが判定される。ｎ≧Ｎである場合、制御がステップ８２５に移る。さもなければ、制御はステップ８３０に移る。ステップ８２５で、目標となる画素から±a/2内の候補となる画素のみが保持される。ステップ８３０で、式（6）により線形補間を通して、目標となる画素の色ＣSが推定される。
【００８８】
［実施の形態２：補正されていないビュー］
図８におけるブレンディングスキームは、補正されていないビューの場合に容易に拡張される。唯一の違いは、候補となる画素が目標となる画素の同じライン上にないことである（図１Ａ）。しかし、それらの奥行き及び目標となる画素へのそれらの距離に基づいて候補となる画素を選択する同じ原理を適用することができる。
【００８９】
同じ補間スキーム、すなわち式（6）を使用することもできる。より正確な重み付けのため、Ｗ(ｒi,ｉ)は、画素レベルで更に決定される。たとえば、3DポイントOri-Pi-OSにより決定される角度が使用される。ここで、Piは、（式（3）により推定される）画素Ｉに対応するポイントの3D位置であり、Ori，OSは、それぞれ、（既知のパラメータから知られる）基準となるビューｒiの光学的な焦点の中心及び合成されたビューである。Ｗ(ｒi,ｉ)＝１／angle(Ori-Pi-OS)又はｑ＞２についてＷ(ｒi,ｉ)＝cosq（angle(Ori-Pi-OS)）と推薦される。図９は、本発明の実施の形態に係る、3DポイントOri-Pi-OSにより決定される角度９００を示す。図７の方法７００のステップ７２５は、１実施の形態に係る、角度９００に基づく重み付け要素の決定を示す。
【００９０】
［実施の形態３：アップサンプリングによる近似］
２つの先の実施の形態におけるスキームは、幾つかの応用について余りに複雑であるように見える。高速な実現のために、これらのスキームを近似する方法が存在する。図１０Ａは、本発明の実施の形態に係る、補正されるビューの場合について簡略化されたアップサンプリング１０００を示す。図１０Ａでは、“＋”は、半画素の位置に挿入される新たな目標となる画素を表す。図１０Ｂは、本発明の実施の形態に係る、Zバッファリングに基づいたブレンディングスキーム１０５０を示す。ステップ１０５５で、（たとえば図１０Ａを通したアップサンプリングといった）それぞれの水平線にある半画素の位置で、新たなスキームが形成される。ステップ１０６０で、目標となる画素から±1/2内の候補となる画素から、最大の奥行きレベルを持つ画素が発見され、その色は、目標となる画素ＣSの色として適用される（すなわちZバッファリング）。ステップ１０６５で、フィルタ（たとえば｛1,2,1｝）によるダウンサンプリングが実行される。
【００９１】
合成されたビューにおいて、はじめに、新たな目標となる画素が半画素の位置で挿入され（図１０Ａ）、すなわち水平方向に沿ったアップサンプリングが行われる。ついで、それぞれの目標となる画素について、その値を推定するためにZバッファリングスキームが適用される。これは、一般化の場合（図８）におけるthresY＝0を設定することと等価である。最終的に合成されたビューを生成するため、ダウンサンプリングフィルタ（たとえば｛1,2,1｝）が使用される。このフィルタは、式（6）で定義される重みｗiを近似する。
【００９２】
補正されていないビューについて、同じアプローチを適用することもできる。唯一の違いは、水平及び垂直方向の両者に沿って画像がアップサンプリングされることである。
【００９３】
１以上の実施の形態は、半画素及び半画素の位置に関して記載されたが、本発明は、本発明の精神を維持しつつ、任意のサイズのサブピクセル（及びサブピクセルの位置）に容易に適用可能である。
【００９４】
［実施の形態４：２ステップのブレンディング］
これまで説明されたブレンディングスキームは、２つの基準となるビューが3DVで典型的に使用されるが、どのくらい多数のビューが入力として供給されるかに関する制約を有さない。提案されるスキームを実現のために容易にするため、提案されるスキームは、２つのステップに変換するものであり、すなわち（たとえば上述されたスキームを使用して）仮想イメージをそれぞれの基準となるビューと個別に合成し、次いで全ての合成された画像をマージする。実施の形態３の１実施の形態について、実現は、アップサンプリングされた画像を使用してマージし、次いでマージされた画像をダウンサンプリングする。
【００９５】
マージング部分について、Zバッファリングスキームを使用することができる（すなわち異なるビューからの候補となる画素により、カメラに近い画素が選択される）。代替的に、Ｗ(ｒi,ｉ)に関して上述された重み付けスキームを使用することもできる。勿論、マージングの間に、別の他の既存のビューの重み付けスキームを適用することができる。
【００９６】
［３．ポストプロセッシング：ホールフィリング］
目標となるビューにおける幾つかの画素には、ブレンディングステップの間にある値が決して割り当てられない。これらの位置は、ホールと呼ばれ、ディスオクルージョン（dis-occlusions）（基準となるビューにおける前の目に見えないシーンポイントが合成されたビューにおいて発見される）により生じることがある。最も簡単なアプローチは、ホールに隣接する画素を推定し、これたの隣接する画素の幾つかを使用してホールを充填することである。このステップは、提案されるブレンディングスキームに関連しないので、任意の既存のホールフィリングスキームを適用することができる。
【００９７】
従って、要約すると、１以上の実現では、（１）それらの奥行きレベル及びそれらのワープされた画像の位置に基づいて候補となる画素を選択すること、（２）ワープされた画像の位置及びカメラパラメータにより決定される重み付け要素による線形補間を使用すること、によるヒューリスティックなブレンディングスキームが提案される。
【００９８】
このアプローチはヒューリスティックであるが、多くの潜在的な変形例が存在する。たとえば、実施の形態１及び２では、候補となる画素が十分に存在する場合、目標となる画素から±a/2内にある候補となる画素のみが選択される。容易な実現のために1/2の画素距離が使用される。実際に、任意の値ｋについて1/kである。一方で、１以上の選択のレベルが追加され、たとえば目標となる画素から±a/3，±a/4，又は±a/6の画素距離内にある候補となる画素のみが発見される。代替的に、このステップバイステップの選択プロセスをスキップするため、候補となる画素は、それらが十分の存在するまで、最も近い画素から開始して目標となる画素まで選択される。別の更に一般的なオプションは、目標となる画素へのそれらの距離に基づいて候補となる画素をクラスタリングし、最も近いクラスタを候補として使用することである。
【００９９】
別の例として、実施の形態３では、目標となるビューは、最終的なダウンサンプリングの間に線形補間を近似するために半画素の位置にアップサンプリングされる。更なる複雑さを犠牲にして、より微細な精度を達成するために、より多くのアップサンプリングのレベルが導入される。さらに、水平及び垂直方向に沿ったアップサンプリングレベルは、異なるものとすることができる。
【０１００】
少なくとも１つの実現が記載され、この実現では、少なくとも１つの基準となるビューの位置から仮想的なビューの位置に少なくとも１つの参照画像又はその一部をワープして、少なくとも１つのワープされた参照画像が生成される。係る実現では、少なくとも１つのワープされた参照画像において第一の候補となる画素及び第二の候補となる画素が識別され、第一の候補となる画素及び第二の候補となる画素は、仮想的なビューの位置から仮想イメージにおける目標となる画素の位置の候補である。さらに、実現では、第一及び第二の候補となる画素の値に基づいて目標となる画素の位置である画素の値が決定される。この実現は、多くの変形例を受け入れる。たとえば、第一の変形例では、１つの基準となる画像は、１つのワープされた参照画像を生成するためにワープされ、このワープされた参照画像から、２つの候補となる画素が取得され、目標となる画素位置での画素の値を決定するために使用される。別の例として、第二の変形例では、多数のワープされた参照画像を生成するために多数の参照画像がワープされ、１つの候補となる画素がそれぞれのワープされた参照画像から取得され、目標となる画素の位置で画素の値を決定するために使用される。
【０１０１】
様々な実施の形態が記載された。上述した内容を考慮して、上述した内容は本発明の原理を単に例示するものであって、当業者であれば、本実施の形態において明示的に記載されていないが、本発明を実施する様々な代替となるアレンジメントであって、本発明の精神及び範囲にあるアレンジメントを考えることができることを理解されたい。従って、特定の特徴及び態様を有する１以上の実現が提供された。しかし、記載された実現の特徴及び態様は、他の実現について適応される場合がある。これに応じて、本実施の形態で記載される実現が特定の文脈において記載されたが、係る記載は、特徴及び概念を係る実現又はコンテキストに限定するものとして解釈されるべきではない。
【０１０２】
本発明の「１実施の形態」、「実施の形態」、「１実現」又は「実現」といった明細書における参照は、その他の変形と同様に、実施の形態に関して記載された特定の特徴、構造、特性等が本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書を通して様々な位置で現れる他の変形例と同様に、記載「１実施の形態では」、「実施の形態では」、「１実現では」又は「実現では」の出現は、必ずしも同じ実施の形態を全て参照するものではない。
【０１０３】
以下の「／」、「及び／又は」、及び「少なくとも１つ」の使用について、たとえば「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合では、最初に列挙されたオプション（Ａ）のみの選択、第二に列挙されたオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を包含することが意図されることを理解されたい。更なる例として、「Ａ，Ｂ及び／又はＣ」、「Ａ、Ｂ及びＣの少なくとも１つ」の場合、係る記載は、最初に列挙されたオプション（Ａ）のみの選択、第二に列挙されたオプション（Ｂ）のみの選択、第三に列挙されたオプション（Ｃ）のみの選択、第一及び第二のオプション（Ａ及びＢ）の選択、第一及び第三のオプション（Ａ及びＣ）の選択、第二及び第三のオプション（Ｂ及びＣ）の選択、又は第一、第二及び第三のオプション（Ａ、Ｂ及びＣ）の選択を包含することが意図される。これは、多数の列挙されるアイテムについて、当業者により容易に明らかであるように拡張される場合がある。
【０１０４】
実現は、限定されるものではないが、帯域内情報、帯域外情報、データストリームのデータ、暗黙的なシグナリング及び明示的なシグナリングを含む様々な技術を使用して情報を伝送する場合がある。帯域内の情報及び明示的なシグナリングは、様々な実現及び／標準について、スライスヘッダ、SEIメッセージ、他の高水準シンタックス、及び非高水準シンタックスを含む場合がある。本実施の形態で記載される実現は特定のコンテキストで記載される場合があるが、係る記載は、特徴及び概念を係る実現又はコンテキストに限定するものとして解釈されるべきではない。
【０１０５】
本実施の形態で記載される実現及び特徴は、MPEG-4  AVC標準、又はMVC拡張によるMPEG-4  AVC標準、又はSVC拡張によるMPEG-4  AVC標準のコンテキストで使用される場合がある。しかし、これらの実現及び特徴は、（既存の又は将来的な）別の標準及び／又は勧告のコンテキストで使用されるか、標準及び／又は勧告を含まないコンテキストで使用される場合がある。
【０１０６】
本実施の形態で記載された実現は、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム又は信号で実現される場合がある。（たとえば、方法としてのみ記載された）実現の１つの形式のコンテキストでのみ記載されたとしても、記載された特徴の実現は、（たとえば装置又はプログラムといった）他の形式で実現される場合がある。装置は、たとえば適切なハードウェア、ソフトウェア及びファームウェアで実現される場合がある。本方法は、たとえばコンピュータ、マイクロプセッサ、集積回路、又はプログラマブルロジックデバイスを含む、一般の処理装置を示すプロセッサのような装置で実現される場合がある。また、プロセッサは、たとえばコンピュータ、携帯電話、携帯用／パーソナルデジタルアシスタント（PDA）、及びエンドユーザ間の情報の伝達を容易にする他の装置のような通信装置を含む。
【０１０７】
本実施の形態で記載された様々なプロセス及び特徴の実現は、たとえば、データ符号化及び復号化に関連する機器又はアプリケーションといった、様々な異なる機器又はアプリケーションで実施される場合がある。係る機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を供給するプロプロセッサ、ビデオコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA及び他の通信装置を含む。明らかであるように、機器は、移動体であり、移動車両にインストールされる場合もある。
【０１０８】
さらに、本方法は、プロセッサにより実行される命令により実現される場合があり、係る命令（及び／又は実現により生成されるデータ値）は、たとえば集積回路、ソフトウェアキャリア、又はたとえばハードディスク、コンパクトディスク、ランダムアクセスメモリ（RAM）又はリードオンリメモリ（ROM）のような他の記憶装置、のようなプロセッサが読み取り可能な媒体に記憶される場合がある。命令は、プロセッサにより読み取り可能な媒体で実施されるアプリケーションプログラムを形成する場合がある。命令は、たとえばハードウェア、ファームウェア、ソフトウェア又はその組み合わせである場合がある。命令は、たとえばオペレーティングシステム、個別のアプリケーション又は両者の組み合わせで発見される場合がある。プロセッサは、プロセスを実行するようにコンフィグされる装置及びプロセスを実行する命令を有する（記憶装置のような）プロセッサ読み取り可能な媒体を含む装置の両者として特徴付けされる場合がある。さらに、プロセッサ読み取り可能な媒体は、命令に加えて又は命令の代わりに、実現により生成されるデータ値を記憶する場合がある。
【０１０９】
当業者にとって明らかであるように、たとえば記憶又は送信される情報を搬送するためにフォーマット化される様々な信号が実現において生成される場合がある。たとえば、情報は、方法を実行する命令、又は記載された実現のうちの１つにより生成されるデータを含む場合がある。たとえばワープされた基準とするビューをブレンド又はマージするデータ、又はワープされた基準とするビューをブレンド又はマージするアルゴリズムを搬送する信号がフォーマット化される場合がある。係る信号は、たとえば（スペクトルの無線周波部分を使用した）電磁波として、又はベースバンド信号としてフォーマット化される場合がある。フォーマット化は、たとえばデータストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含む場合がある。信号が搬送する情報は、たとえばアナログ又はデジタル情報である場合がある。知られているように、様々な異なる有線又は無線リンクを通して信号が送信される。信号は、プロセッサ読み取り可能な媒体に記憶される場合がある。
【０１１０】
多数の実現が記載された。しかし、様々な変更が行われる場合があることが理解される。たとえば、異なる実現のエレメントが結合、補充、変更、又は除去されて他の実現を生成する場合がある。さらに、当業者であれば、他の構造及び処理が開示された構造又は処理と置き換えられること、結果的に得られる実現は、少なくとも実質的に開示される実現と同じ結果を達成するため、少なくとも実質的に同じやり方で、少なくとも実質的に同じ機能を実行することを理解されるであろう。従って、これらの実現及び他の実現は、本出願により考えられ、以下の特許請求の範囲に包含されるものである。
【図１Ａ】
2012501494.tif 000009
【図１Ｂ】
2012501494.tif 000010
【図２】
2012501494.tif 000011
2012501494.tif 000012
【図３】
2012501494.tif 000013
【図４】
2012501494.tif 000014
【図５】
2012501494.tif 000015
【図６】
2012501494.tif 000016
【図７】
2012501494.tif 000017
【図８】
2012501494.tif 000018
【図９】
2012501494.tif 000019
【図１０Ａ】
2012501494.tif 000020
【図１０Ｂ】
2012501494.tif 000021
【国際調査報告】
2012501494.tif 000022
2012501494.tif 000023