(57)【要約】      （修正有）【課題】仮想カメラを用いて可能となる無制限透視画(遠近）法および可変フレーム速度を実現する。【解決手段】システム初期化ステップ１００、所望仮想カメラの射影マトリクスを計算する仮想カメラ定義ステップ１０２、フレーム内の全ての画素を目標とする仮想カメラに投影する投影ステップ１０４、目標とする視点に関する相対的重み付け合成を行う混合（ブレンディング）ステップ１０６、残留閉塞を充填する閉塞解決ステップ１０８、境界をマッティングして人工的な不自然部分を隠す境界マッティングステップ１１０、生成フレームをリアルに見えるようにするフィルタ処理ステップ１１２を備え、自由視点レンダリングを視聴者の両目それぞれに対して並列的に行う。【選択図】図２
2010045776.tif 000002
【特許請求の範囲】
【請求項１】
マルチ視点カメラシステムを用いて取得するシーンのソース視点に属するソースフレームから開始する映像フレームの自由視点映像合成プロセスを実行する方法において、
前記合成のため、少なくとも１つの目標仮想視点を規定し、また前記目標仮想視点のための対応する射影マトリクスを計算するステップと、
各ソース視点のための対応する射影マトリクスを計算するステップと、
前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、前記ソース視点から前記目標仮想視点に、前記ソースフレームの画素を投影する投影ステップであって、前記投影は、前記ソース視点および前記目標仮想視点に対応する前記射影マトリクスを用いて行う、該投影ステップと、
前記得られる映像フレームへの前記寄与を結合するステップであって、前記投影ステップおよび結合ステップから派生する可能性がある閉塞箇所およびアーチファクトを伴うステップと、および
前記閉塞箇所を充填し、前記得られる映像フレームにおける前記アーチファクトに対処する充填ステップと、
を有する方法。
【請求項２】
請求項１に記載の方法において、さらに、前記目標仮想視点が映像シーケンス中に変化する度毎に、前記目標仮想視点に対応する射影マトリクスを計算するステップを有する方法。
【請求項３】
請求項１に記載の方法において、さらに、前記ソースフレームから奥行き情報を抽出するステップを有し、前記奥行き情報を用いることによって、画素を前記ソースフレームから前記目標仮想視点に投影する方法。
【請求項４】
請求項３に記載の方法において、前記ソースフレームから奥行き情報を抽出する前記ステップは、前記ソースフレームの立体画像のセグメント化アルゴリズムを使用するステップを有する方法。
【請求項５】
請求項１に記載の方法において、画素を前記ソースフレームから前記目標仮想視点に投影するステップは、ピンホールカメラモデル（ＰＣＭ：Pinhole Camera Model）を用いることによって行う方法。
【請求項６】
請求項１に記載の方法において、さらに、残留アーチファクトを隠し、また前記得られる映像フレーム中の前記投影ステップによるピクセル化効果を軽減するすためのフィルタ処理操作を有する方法。
【請求項７】
請求項１に記載の方法において、前記得られる映像フレームへの前記寄与を結合する前記ステップは、前記目標仮想視点に関する相対的重み付けで前記寄与を混合するステップを有する方法。
【請求項８】
請求項７に記載の方法において、前記混合ステップの混合は、以下のグループ
・均一混合であって、前記寄与を均一に加重する混合、
・非均一混合であって、前記寄与は前記目標仮想視点への対応するソース視点の距離の関数として加重する混合、および
・レイヤード混合であって、前記目標仮想視点に等距離で近接する前記寄与を用いてレイヤ毎に閉塞を充填する混合、
からなるグループから選択することを特徴とする方法。
【請求項９】
請求項７に記載の方法において、前記混合ステップは、
・前記目標仮想視点にいたるそれぞれの距離の逆数による前記寄与の加重、
・前記目標仮想視点にいたるそれぞれの距離の２乗の逆数による前記寄与の加重、および
・２進係数を用いることによる前記目標仮想視点にいたるそれぞれの距離の逆数による前記寄与の加重、
のうち１つを含む非均一混合ステップを有する方法。
【請求項１０】
請求項９に記載の方法において、さらに、前記２進係数を改良し２進桁送りによる前記寄与に重み付けする加重ステップを有する方法。
【請求項１１】
請求項１に記載の方法において、前記閉塞箇所を充填する前記充填ステップは、
・画素背景充填であって、閉塞領域における当該画素のために最も奥行きが深い隣接画素を識別し、識別した前記隣接画素の同一色で前記当該画素を充填することを含む充填、
・領域背景充填であって、閉塞領域中の前記画素の中で最も奥行きが深い画素を識別し、その中で最も奥行きが深い前記画素の色で閉塞領域中の前記画素を充填することを含む充填、
よりなるグループから選択することを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、前記得られる映像フレーム内の前記アーチファクトに対処するよう境界をマッティングするステップを有する方法。
【請求項１３】
請求項１２に記載の方法において、前記境界のマッティングは、
前記ソースフレーム中の奥行き値の不連続部分を検索する不連続検索ステップであって、前記不連続部分は、より高い奥行き値を有しフォアグラウンド境界中に含まれる画素と、より低い奥行き値を有し背景境界に含まれる画素との間における不連続部分とする、該不連続検索ステップと、
より低い奥行き値を有する前記画素の前記寄与を結合して前記フレーム中において背景境界を画定するステップと、および
前記背景境界上にマッティングを適用するステップと、
を有する方法。
【請求項１４】
請求項１２に記載の方法において、前記境界をマッティングするステップは、パラメトリックフィルタを適用して、前記ソースフレーム中の被写体周囲のアーチファクトを削減するステップを有する方法。
【請求項１５】
請求項６に記載の方法において、前記フィルタ処理操作は、
・平均化フィルタ処理、および
・ガウシアンフィルタ処理、
のうち１つを含むものとした方法。
【請求項１６】
請求項６に記載の方法において、前記フィルタ処理操作は、パラメトリックフィルタ処理を含むものとした方法。
【請求項１７】
請求項６に記載の方法において、前記フィルタ処理操作は、サイズおよび標準偏差をパラメータとする、ガウシアンフィルタ処理を含むものとした方法。
【請求項１８】
請求項１に記載の方法において、前記寄与は、前記ソースフレームから画素を投影する整数丸め処理による孔を含み、該方法は、前記孔の２つの端部に位置する画素の平均値を孔中の１画素または複数画素に割り当てることによって前記孔を充填するステップを有する方法。
【請求項１９】
請求項１８に記載の方法において、前記得られる映像フレームへの前記寄与を結合した後、前記孔を充填するステップを有する方法。
【請求項２０】
請求項１に記載の方法において、前記得られる映像フレーム内のアーチファクトに対処する前記ステップは、前記ソースフレーム内の被写体周囲の境界における画素の投影を選択的に省略すること含む方法。
【請求項２１】
請求項２０に記載の方法において、画素投影を省略する前記境界の厚さをパラメータとした方法。
【請求項２２】
請求項１に記載の方法において、前記ソースフレーム中において移動中の被写体の色境界を配置するステップ、および前記得られる映像フレーム上に前記色境界を適用するステップを有する方法。
【請求項２３】
請求項２２に記載の方法において、前記得られる映像フレーム上に適用する前記境界の厚さをパラメータとした方法。
【請求項２４】
請求項２２に記載の方法において、前記色境界の適用は、
・前記得られる映像フレーム上への前記色境界の複写、
・前記得られる映像フレーム中の既存色を用いた前記色境界の平均化、
のうち１つを含むものとした方法。
【請求項２５】
請求項１に記載の方法において、前記ソースフレームから前記目標仮想視点に画素を投影する前記投影ステップは、同一奥行き値を有するソースフレームの同一行または列中の連続画素シーケンスがある場合、
前記シーケンス中の最初および最終画素の投影を計算するステップと、および
前記連続画素が、投影された後、前記ソースフレーム中と同一距離を有するとき、前記シーケンス中の残り全ての画素を前記２投影画素間の前記目標仮想視点に複写するステップと、
を有する方法。
【請求項２６】
請求項２５に記載の方法において、
前記連続画素が、投影された後、同一距離を有さないとき、前記シーケンス長さの半分の長さを有する連続画素の新シーケンスの計算を反復し、また
前記新シーケンスの前記連続画素が、投影された後、前記ソースフレーム中と同一距離を有するとき、前記新シーケンスにおける残りの全ての画素を前記新シーケンスにおける前記２つの投影画素間の目標仮想視点に複写する、
ステップを有する方法。
【請求項２７】
請求項１に記載の方法において、前記ソースフレームから奥行き情報を抽出し整数形式で前記奥行き情報を保存するステップを有する方法。
【請求項２８】
請求項１に記載の方法において、さらに、前記得られる映像フレームを表示するステップを有する方法。
【請求項２９】
マルチ視点カメラシステムを用いて取得するシーンのソース視点に属するソースフレームから開始する映像フレームの自由視点映像合成プロセスを実行する方法において、
前記合成のため、少なくとも１つの目標仮想視点を規定し、また前記目標仮想視点のために対応する射影マトリクスを計算するステップと、
各ソース視点のために対応する射影マトリクスを計算するステップと、
前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、前記ソース視点から前記目標仮想視点に、前記ソースフレームの画素を投影する投影ステップであって、前記投影は、前記ソース視点および前記目標仮想視点に対応する射影マトリクスを用いて行う、該投影ステップと、
前記得られる映像フレームへの前記寄与を結合するステップであって、前記投影ステップおよび結合ステップから派生する可能性がある閉塞箇所およびアーチファクトを伴うステップと、
前記閉塞箇所を充填し、前記得られる映像フレーム内の前記アーチファクトに対処するステップと、および
２つの目標仮想視点のために映像フレームの前記自由視点合成プロセスを２回実行するステップと、
を有する方法。
【請求項３０】
請求項２９に記載の方法において、さらに、前記得られる映像フレームを表示するステップを有する方法。
【請求項３１】
請求項２９に記載の方法において、互いに約６．５ｃｍ離して配置した２視点のための前記自由視点合成プロセスを２回実行するステップを有する方法。
【請求項３２】
マルチ視点カメラシステムを用いて取得するシーンのソースフレームから開始する映像フレームを合成するための処理システムにおいて、
少なくとも１つの目標仮想視点を規定し、前記目標仮想視点のための対応する射影マトリクスおよび各ソース視点のための対応する射影マトリクスを計算するよう構成した仮想カメラと、
ソースフレームの画素を、前記射影マトリクスを用いて、得られる映像フレームにそれぞれ寄与するものとして、前記ソース視点から前記目標仮想視点に投影するよう構成した投影モジュールと、
前記得られる映像フレームへの前記寄与を結合するよう構成した結合モジュールと、
前記得られる映像フレーム内の閉塞箇所を充填するよう構成した閉塞解決モジュールと、および
前記得られる映像フレーム内のアーチファクトに対処するよう構成したアーチファクト対処モジュールと、
を備えたシステム。
【請求項３３】
請求項３２に記載のシステムにおいて、前記アーチファクト対処モジュールは、境界をマッティングするよう構成した境界マッティング段を有することを特徴とするシステム。
【請求項３４】
請求項３２に記載のシステムにおいて、前記投影モジュールは、前記アーチファクト対処モジュールの制御下における前記ソースフレーム内における被写体周囲の境界上の画素の投影を選択的に省略するよう構成したシステム。
【請求項３５】
請求項３２に記載のシステムにおいて、残留アーチファクトを隠し、また前記得られる映像フレーム内における前記投影によるピクセル化効果を削減するよう構成したフィルタ処理モジュールを有するシステム。
【請求項３６】
請求項３２に記載のシステムにおいて、該システムは、パイプライン型プロセッサの形式で構成したシステム。
【請求項３７】
請求項３６に記載のシステムにおいて、
前記パイプライン型プロセッサにおける第１段は、前記仮想カメラおよび前記投影モジュールを有し、
前記パイプライン型プロセッサにおける第２段は、前記結合モジュールを有し、また
前記パイプライン型プロセッサにおける第３段階は、前記閉塞解決段を有する、
システム。
【請求項３８】
請求項３７に記載のシステムにおいて、前記パイプライン型プロセッサにおける前記第３段は、さらに、前記得られる映像フレーム中のアーチファクトに対処するため、境界をマッティングするよう構成した境界マッティングモジュールを組み込んだシステム。
【請求項３９】
請求項３７に記載のシステムにおいて、前記パイプライン型プロセッサにおける前記第３段は、さらに、残留アーチファクトを隠し、前記得られる映像フレーム中の前記投影によるピクセル化効果を削減するよう構成したフィルタ処理モジュールを組み込んだシステム。
【請求項４０】
少なくとも１つのコンピュータのメモリ内にロード可能であり、マルチ視点カメラシステムから取得するシーンのソース視点のソースフレームから開始する映像フレームをレンダリングする方法を実行するためのソフトウェアコード部分を含む、コンピュータプログラム製品において、該方法は、
合成のため、少なくとも１つの目標仮想視点を規定し、また前記目標仮想視点のための対応する射影マトリクスを計算するステップと、
各ソース視点のために対応する射影マトリクスを計算するするステップと、
前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、前記ソース視点から前記目標仮想視点に、前記ソースフレームの画素を投影する投影ステップであって、前記投影は、前記ソース視点および前記目標仮想視点に対応する前記射影マトリクスを用いて行う、該投影ステップと、
前記得られる映像フレームへの前記寄与を結合するステップであって、前記投影ステップおよび結合ステップから派生する可能性がある閉塞箇所およびアーチファクトを伴うステップと、および
前記閉塞箇所を充填し、前記得られる映像フレームにおける前記アーチファクトに対処する充填ステップと、
を有するものとした、コンピュータプログラム製品。
【請求項４１】
マルチ視点カメラシステムから取得するソースフレームから映像をレンダリングするための映像レンダリングシステムにおいて、
仮想カメラ射影マトリクスを計算し、前記仮想カメラ射影マトリクスに基づいて画素を目標仮想視点中に投影するよう構成した投影モジュールと、
多重ソース画像の寄与を同時に混合して出力フレームを得るよう構成した混合モジュールと、および
前記出力フレーム中の閉塞箇所を充填するよう構成した精緻化モジュールと、
を備えた映像レンダリングシステム。
【請求項４２】
請求項４１に記載の映像レンダリングシステムにおいて、前記投影モジュールは、入力テクスチャフレームの境界を検出するよう構成した映像レンダリングシステム。
【請求項４３】
請求項４１に記載の映像レンダリングシステムにおいて、前記投影モジュールは、奥行き情報に基づいて画素を目標仮想視点中に投影するよう構成した映像レンダリングシステム。
【請求項４４】
請求項４１に記載の映像レンダリングシステムにおいて、前記精緻化モジュールは、前記出力フレームをフィルタリングするよう構成した映像レンダリングシステム。
【請求項４５】
請求項４１に記載の映像レンダリングシステムにおいて、前記精緻化モジュールは、アーチファクトを隠すために境界情報を処理するよう構成した映像レンダリングシステム。
【請求項４６】
請求項４１に記載の映像レンダリングシステムにおいて、前記投影モジュールは、前記目標仮想視点に対応する各ソース画像用の１組の射影マトリクスよりなる射影マトリクスセットに基づいて、画素を目標仮想視点に投影するよう構成した映像レンダリングシステム。
【請求項４７】
マルチ視点カメラシステムを用いて取得するシーンのソースフレームから開始する映像フレームのレンダリング方法において、
レンダリングのため、少なくとも１つの目標仮想視点を規定し、また前記目標仮想視点に対応する前記映像フレームのための射影マトリクスを計算するステップと、
前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、前記ソースフレームから前記目標仮想視点にソースフレームの画素を投影する投影ステップであって、前記投影は、前記射影マトリクスに基づいて行う、該投影ステップと、
前記得られる映像フレームへの前記寄与を結合するステップと、および
閉塞箇所を充填し、前記得られる映像フレーム中のアーチファクトに対処するステップと、
を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像（ビデオ）レンダリングの技術に関する。本発明は、映像レンダリングの利用可能な用途、例えばビデオデータ流を入力として受信することができるディスプレイ装置の上流に構成したビデオ再生システムに傾注して開発された。
【背景技術】
【０００２】
自由視点映像（ＦＶＶ：Free Viewpoint Video）は、映像信号のレンダリング／表示中に視点を対話形式で制御するためのレンダリングエンジンの機能の呼称である。
【０００３】
３次元映像（３ＤＶ：Three-Dimensional Video）は、映像を見ているときに、視聴者に３Ｄの印象を与える表示システム／装置の機能の呼称である。
【０００４】
ＦＶＶは次世代テレビジョンの最も刺激的な用途のうちの１つであり、従来のＴＶ視聴方法にさらなる自由度を付加するものである。
【０００５】
例えば、非特許文献１は、動的シーンと、および合成視点を実時間ユーザーによる対話セッション中にオンザフライで生成することができるレンダリングアルゴリズムと、を同時に取得するための、マルチカメラシステムを記載している。
【０００６】
このような効果を得ることができるこの技術は、以下の２つの基本的な種類、すなわち、
・モデルベースレンダリングであって、シーンの幾何モデルに基づいて操作し、またコンピュータグラフィクス（ＣＧ：Computer Graphics）によりシーンを変換するモデルレンダリング、
・画像ベースレンダリングであって、画素レベルで操作し、カメラからのシーンの距離に関連したある種の情報を用いることによって画像を歪ませる画像ベースレンダリング、
に分類することができる。
【０００７】
前者の手法は、通常、計算的観点からより高価であり、グラフィックカードを用いて膨大な量の計算を実行することができ、明らかに、実環境シーンよりも合成データの操作に適している。
【０００８】
後者の手法は各画素を別々に扱い、実体を記述するために数学的モデルを用いない枠組み内で操作する。したがって、これは実環境シーンにより適している。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Ｃ．Ｌ．ジトニック（C.L.Zitnick），Ｓ．Ｂ．カン（S.B.Kang），Ｍ．ウィッテンデール（M.Uyttendaele），Ｓ．ウィンダー（S.Winder），Ｒ．ゼリスキー（R.Szeliski），「層状表示を用いた高品質映像表示補間(High-Quality Video View Interpolation Using a Layered Representaion)」，ＡＣＭ  ＳＩＧＧＲＡＰＨ  ａｎｄ  ＡＣＭ  Ｔｒａｎｓ．ｏｎ  Ｇｒａｐｈｉｃｓ，ロサンゼルス，ＣＡ，米国，２００４年８月
【非特許文献２】Ａ．ヴェトロ（A.Vetro），「ＭＶＣに関するＢｏＧ議論の要約（Summary of BoG Discussions on MVC）」，ＪＶＴ-Ｘ１０３，ジェネバ，スイス，２００７年７月
【非特許文献３】ＩＳＯ／ＩＥＣ  ＭＰＥＧ＆ＩＴＵ-Ｔ  ＶＣＥＧの接合映像チーム（Joint Video Team），「画像補間（マルチ画像映像コーディングＣＥ３）に関する主要実験の報告（Report of core experiment on View Interpolation(Multi-view Video Coding CE3））」，ＪＶＴＴ１１９，クラゲンフルト，オーストリア，２００６年７月
【非特許文献４】Ｚ．チャン（Z.Zhang），「カメラ較正のためのフレキシブルな新技術（A flexible new technique for camera calibration）」，ＩＥＥＥ  パターン解析および機械知能に関する会議（Transactions on Pattern Analysis and Machine Intelligence），２２，１１，１３３０-１３３４
【非特許文献５】ＩＳＯ／ＩＥＣ  ＭＰＥＧ＆ＩＴＵ-Ｔ  ＶＣＥＧの接合映像チーム（Joint Video Team），「画像奥行き情報の考察（Consideration of image depth information）」，ＪＶＴ-Ｘ０５３，ジェノバ，スイス，２００７年６月
【非特許文献６】ＩＳＯ／ＩＥＣ  ＭＰＥＧ＆ＩＴＵ-Ｔ  ＶＣＥＧの接合映像チーム（Joint Video Team），「ＭＶＣ：多重画像映像プラス奥行きのコーディングに関する実験（Experiments on Coding of Multi-view Video plus Depth）」，ＪＶＴ-Ｘ０６４，ジェネバ，スイス，２００７年６月
【非特許文献７】Ｐ．カウフ（P.Kauff），Ｎ．アツパディン（N.Atzpadin），Ｃ．フェン（C.Fehn），Ｍ．ミュラー（M.Muller），Ｏ．シュリール（O.Schreer），Ａ．スモリック（A.Smolic），およびＲ．タンジャー（R.Tanger），「相互運用性および拡張性を提供する先端３ＤＴＶサービスのための奥行きマップ生成および画像ベースレンダリング（Depth Map Creation and Image Based Rendering for Advanced 3DTV Services Providing Interoperability and Scalability）」，信号処理（Signal Processing）：画像通信（Image Communication）．３ＤＴＶに関する特集号，２００７年２月
【非特許文献８】Ｋ．シューメイク（K.Shoemake），「四元数曲線を用いた動画回転（Animating Rotation with Quaternion Curves）」，ＡＣＭ  ＳＩＧＧＲＡＰＨ，サンフランシスコ，米国、１９８５年７月
【発明の概要】
【発明が解決しようとする課題】
【００１０】
３ＤＶの機能性は、立体鏡の原理を考慮してＦＶＶと同一の方法で達成することができる。３次元の印象は、視聴者の両目に、互いにおよそ６．５センチメートル離れた２つの位置に関連した同一シーンの２つの隣接画像を伝達することによって、得ることができ、６．５センチメートルは人間の両目間の平均距離に対応する。
【課題を解決するための手段】
【００１１】
ある実施形態においては、マルチ視点カメラシステムを用いて取得するシーンのソース視点に属するソースフレームから開始する映像フレームの自由視点映像合成プロセスを実行する方法は、合成のため、少なくとも１つの目標仮想視点を規定し、その目標仮想視点のための対応する射影マトリクスを計算するステップと、各ソース視点のための対応する射影マトリクスを計算するステップと、前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、ソース視点から目標仮想視点に、ソースフレームの画素を投影する投影ステップであって、この投影は、ソース視点および目標仮想視点に対応する射影マトリクスを用いて行う、該投影ステップと、得られる映像フレームへの寄与を結合するステップであって、投影ステップおよび結合ステップから派生する可能性がある閉塞箇所およびアーチファクトを伴うステップと、および閉塞箇所を充填し、得られる映像フレームにおけるアーチファクトに対処するステップと、を備える。ある実施形態においては、方法はさらに、映像シーケンス中に目標仮想視点が変化する度毎に、目標仮想視点に対応する射影マトリクスを計算するステップを備える。ある実施形態においては、方法は、さらに、ソースフレームから奥行き情報を抽出するステップを有し、その奥行き情報を用いることによって、画素をソースフレームから目標仮想視点に投影する。ある実施形態ににおいては、ソースフレームから奥行き情報を抽出するステップは、ソースフレームの立体画像のセグメント化アルゴリズムを用いるステップを有する。ある実施形態においては、方法は、画素を前記ソースフレームから前記目標仮想視点に投影するステップは、ピンホールカメラモデル（ＰＣＭ：Pinhole Camera Model）を用いることによって行う。ある実施形態においては、方法は、さらに、残留アーチファクトを隠し、また得られる映像フレームにおける投影ステップによるピクセル化効果を減少させるためのフィリタリング操作を備える。ある実施形態においては、得られる映像フレームへの寄与を結合するステップは、目標仮想視点に関する重み付けに従って寄与を混合するステップを有する。ある実施形態においては、この混合ステップの混合は、寄与を均一に加重する均一混合、寄与を目標仮想視点への対応するソース視点の距離の関数として加重する不均一混合、目標仮想視点と等しく近接する寄与を用いてレイヤ毎に閉塞箇所を充填するレイヤード混合、からなるグループから選択するものとする。ある実施形態においては、混合ステップは、目標仮想視点にいたるそれぞれの距離の逆数で加重するステップ、目標仮想視点にいたるそれぞれの距離の２乗の逆数で加重するステップ、および２進係数を用いることによって目標仮想視点にいたるそれぞれの距離の逆数で寄与を加重するステップ、のうち１つのステップを備える不均一混合ステップを備えるものとする。ある実施形態においては、方法はさらに、２進係数を改良し、２進桁送りによって寄与に重み付けする加重ステップを有する。ある実施形態においては、閉塞箇所を充填するステップは、閉塞領域における各当該画素のために奥行き方向に最も遠い周辺画素を識別し、当該画素を識別した周辺画素と同一色で充填す���ステップを備える画素背景充填、および閉塞領域内の画素中で奥行き方向に最も遠い画素を識別し、閉塞領域内の画素をそれらの中で奥行き方向に最も遠い画素の色で充填するステップを備える領域背景充填、よりなるグループから選択するものとする。ある実施形態においては、方法は、得られる映像フレーム内のアーチファクトに対処するよう、境界をマッティング（matting）するステップを有する。ある実施形態においては、境界をマッティングするステップは、ソースフレーム内の奥行き値における不連続部分を検索する不連続検索ステップであって、不連続部分は高い奥行き値を有し前景（フォアグラウンド）境界に含まれる画素と、低い奥行き値を有し背景（バックグラウンド）境界に含まれる画素との間における不連続部分とする、該不連続検索ステップと、低い奥行き値を有する画素の寄与を結合してフレーム内の背景境界を規定するステップと、および背景境界にマッティングを適用するステップと、を有する。ある実施形態においては、境界をマッティングするステップは、パラメトリックフィルタを適用して、ソースフレーム内の物体周辺のアーチファクトを減少させるステップを有する。ある実施形態においては、フィリタ処理操作は、平均化フィルタ処理、およびガウシアンフィルタ処理、のうちの１つを備える。ある実施形態においては、フィルタ処理操作は、パラメトリックフィルタ処理を備える。ある実施形態においては、フィルタリング操作は、サイズおよび標準偏差をパラメータとする、ガウシアンフィルタ処理を備える。ある実施形態においては、寄与は、ソースフレームから画素を投影する整数丸め処理による孔を含み、方法は、孔の２つの端部に位置する画素の平均値を孔中の１画素または複数画素に割り当てることによってホールを充填するステップを備える。ある実施形態においては、方法は得られる映像フレームへの寄与を結合した後、孔を充填するステップを備える。ある実施形態においては、得られる映像フレーム内のアーチファクトに対処するステップは、ソースフレーム内の物体周辺の境界における画素の投影を選択的に省略するステップを備える。ある実施形態においては、方法は、画素投影を省略するための境界厚さをパラメータとするステップを備える。ある実施形態においては、方法は、ソースフレーム内で移動する物体の色境界を配置するステップおよび得られる映像フレーム上に色境界を適用するステップとを備える。ある実施形態においては、方法は、得られる映像フレーム上に適用する境界厚さをパラメータとするステップを備える。ある実施形態においては、色境界を適用するステップは、得られる映像フレーム上への色境界の複写、および得られる映像フレーム内に存在する色を用いた色境界の平均化、のうちの１つを備える。ある実施形態においては、ソースフレームから目標仮想視点へ画素を投影する投影ステップは、同一の奥行き値を有するソースフレームの同一行または列における連続画素シーケンスがある場合、シーケンス中の最初および最後の画素の投影を計算するステップ、および、連続画素が、投影された後、ソースフレーム内と同一距離を有するとき、シーケンス中の他の全ての画素を２つの投影画素間の目標仮想視点に複写するステップと、を有する。ある実施形態においては、方法は、連続画素が、投影された後、同一距離を有さないとき、シーケンス長さの半分の長さを有する連続画素の新シーケンスの計算を反復し、また、新シーケンスの連続画素が、投影された後、ソースフレーム内と同一距離を有するとき、新シーケンス中における他の全ての画素を新シーケンスにおける２つの投影画素間の目標仮想視点に複写するステップと、を有する。ある実施形態においては、方法はソースフレームから奥行き情報を抽出し、整数形式で奥行き情報を保存するステップを有する。ある実施形態においては、方法は得られる映像フレームを表示するステップを有する。
【００１２】
ある実施形態においては、マルチ視点カメラシステムを用いて取得するシーンのソース視点に属するソースフレームから開始する映像フレームの自由視点映像合成プロセスを実行する方法は、合成のため、少なくとも１つの目標仮想視点を規定し、また目標仮想視点のための対応する射影マトリクスを計算するステップと、各ソース視点のための対応する射影マトリクスを計算するステップと、前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、ソース視点から目標仮想視点に、ソースフレームの画素を投影する投影ステップであって、この投影は、ソース視点および目標仮想視点に対応する射影マトリクスを用いて行う、該投影ステップと、得られる映像フレームへの寄与を結合するステップであって、投影ステップおよび結合ステップから派生する可能性がある閉塞箇所およびアーチファクトを伴うステップと、閉塞を充填し、得られる映像フレーム内のアーチファクトに対処するステップと、および２つの目標仮想視点のために映像フレーム自由視点合成プロセスを２回実行するステップと、を有する。ある実施形態においては、方法はさらに、得られる映像フレームを表示するステップを有する。ある実施形態においては、方法は、互いに約６．５センチメートル離して配置した２つの視点のために、自由視点合成プロセスを２回実行するステップを有する。
【００１３】
ある実施形態においては、マルチ視点カメラシステムを用いて取得するシーンのソースフレームから開始する映像フレームを合成するための処理システムは、少なくとも１つの目標仮想視点を規定し、その目標仮想視点のための対応する射影マトリクスおよび各ソース視点のための対応する射影マトリクスを計算するよう構成した仮想カメラと、ソースフレームの画素を、射影マトリクスを用いて、得られる映像フレームにそれぞれ寄与するものとして、ソース視点から目標仮想視点に投影するよう構成した投影モジュールと、得られる映像フレームへの寄与を結合するよう構成した結合モジュールと、得られる映像フレーム内の閉塞を充填するよう構成した閉塞解決モジュールと、および得られる映像フレーム内のアーチファクトに対処するよう構成したアーチファクト対処モジュールと、を備える。ある実施形態においては、アーチファクト対処モジュールは、境界をマッティングするよう構成した境界マッティング段を有する。ある実施形態においては、投影モジュールは、アーチファクト対処モジュールの制御下においてソースフレーム内における被写体周辺の境界上の画素の投影を選択的に省略するよう構成する。ある実施形態においては、システムは、残留アーチファクトを隠し、また得られる映像フレーム内における投影によるピクセル化効果を減少させるよう構成したフィルタ処理モジュールを有する。ある実施形態においては、システムは、パイプライン型プロセッサの形式で構成する。ある実施形態においては、パイプライン型プロセッサにおける第１段は仮想カメラおよび投影モジュールを有し、パイプライン型プロセッサにおける第２段は結合モジュールを有し、さらにパイプライン型プロセッサにおける第３段は閉塞解決段を有する。ある実施形態においては、パイプライン型プロセッサにおける第３段は、さらに、得られる映像フレーム内のアーチファクトに対処するため、境界をマッティングするよう構成した境界マッティングモジュールを組み込む。ある実施形態においては、パイプライン型プロセッサにおける第３段は、さらに、残留アーチファクトを隠し、得られる映像フレーム内における投影によるピクセル化効果を減少させるよう構成したフィルタ処理モジュールを組み込む。
【００１４】
ある実施形態においては、コンピュータプログラムは、少なくとも１つのコンピュータのメモリ内でロード可能とし、およびマルチ視点カメラシステムから取得するシーンのソース視点のソースフレームから開始するレンダリング映像フレームの方法を実行するためのソフトウェアコードの部分を備え、この方法は、合成のため、少なくとも１つの目標仮想視点を規定し、またその目標仮想視点のための対応する射影マトリクスを計算するステップと、各ソース視点のための対応する射影マトリクスを計算するステップと、前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、ソース視点から目標仮想視点に、ソースフレームの画素を投影する投影ステップであって、この投影は、ソース視点および目標仮想視点に対応する射影マトリクスを用いて行う、該投影ステップと、得られる映像フレームへの寄与を結合するステップであって、投影ステップおよび結合ステップから派生する可能性がある閉塞箇所およびアーチファクトを伴うステップと、および閉塞箇所を充填し、得られる映像フレームからアーチファクトに対処するステップと、を有するものとする。
【００１５】
ある実施形態ににおいては、マルチ視点カメラシステムから取得するソースフレームから映像をレンダリングするための映像レンダリングシステムは、仮想カメラ射影マトリクスを計算し、画素を仮想カメラ射影マトリクスに基づいて目標仮想視点中に投影するよう構成した投影モジュールと、多重ソース画像の寄与を一緒に混合して出力フレームを得るよう構成した混合モジュールと、および出力フレーム中の閉塞箇所を充填するよう構成した精緻化モジュールと、を備える。ある実施形態においては、投影モジュールは、入力テクスチャフレームの境界を検出するよう構成する。ある実施形態においては、投影モジュールは、画素を奥行き情報に基づいて目標仮想視点中に投影するよう構成する。ある実施形態においては、精緻化モジュールは、出力フレームをフィルタリングするよう構成する。ある実施形態においては、精緻化モジュールは、アーチファクトを隠すために境界情報を処理するよう構成する。ある実施形態においては、投影モジュールは、目標仮想視点に対応する各ソース画像用の１組の射影マトリクスよりなる射影マトリクスセットに基づいて、画素を目標仮想視点に投影するよう構成する。
【００１６】
ある実施形態においては、マルチ視点カメラシステムを用いて取得するシーンのソースフレームから開始する映像フレームをレンダリングする方法は、レンダリングのため、少なくとも１つの目標仮想視点を規定し、また目標仮想視点に対応する映像フレームのための射影マトリクスを計算するステップと、前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、ソースフレームから目標仮想視点に画素を投影する投影ステップであって、投影は、射影マトリクスに基づいて行う投影ステップと、得られる映像フレームへの寄与を結合するステップと、および閉塞箇所を充填し、得られる映像フレーム内のアーチファクトに対処するステップと、を有する。
【００１７】
ある実施形態においては、マルチ視点カメラシステムを用いて取得するシーンのソースフレームから開始する映像フレームのレンダリングの方法は自由視点映像（ＦＶＶ：Free Viewpoint Video）合成プロセスを備える。ある実施形態においては、プロセスは、レンダリングのための目標仮想視点を規定し、対応する射影マトリクスを計算するステップと、各ソース視点のための対応する射影マトリクスを計算するステップと、前記ソースフレームの画素が、それぞれ得られる映像フレームに寄与するものとして、ソース視点から目標仮想視点に、ソースフレームの画素を投影するステップと、得られる映像フレームへの様々な寄与を結合するステップであって、投影ステップおよび結合ステップから派生する可能性がある閉塞箇所およびアーチファクトを伴うステップと、および閉塞を充填し、得られる映像フレーム内のアーチファクトに対処するステップと、を備える。ある実施形態においては、ＦＶＶ合成プロセスは２つの目標仮想視点のために２回、視聴者の各目のために１回実行して、接合ＦＶＶ３ＤＶ機能性を得るために３次元映像（３ＤＶ：Three Dimensional Video）を生成することができる。
【００１８】
実施形態の目的は、前述で議論した技術の改良を得るにあり、特にＦＶＶおよび３ＤＶ機能性を統合する可能性に関連するものであるが、それに限定しないものではない。
【００１９】
特許請求の範囲は、本明細書行う開示に不可欠な部分である。
以下に、添付図面につき、単に例示目的のための実施形態を説明する。
【図面の簡単な説明】
【００２０】
【図１ａ】本明細書に記載した構成を組み込んだ処理システムの機能的ブロック図である。
【図１ｂ】本明細書に記載した構成を組み込んだ処理システムの機能的ブロック図である。
【図１ｃ】本明細書に記載した構成を組み込んだ処理システムの機能的ブロック図である。
【図２】本明細書に記載したレンダリングチェーン中のデータフローを表す機能的ブロック図である。
【図３】本明細書に記載したレンダリングコアを表すブロック図である。
【図４】図３に示したレンダリングコア中における、図２に示すレンダリングデータフローの、考えうる実装を表す別の機能的ブロック図である。
【図５】ＭＶＣ（マルチ視点映像コーディング）およびＭＶＤ（マルチ視点映像プラス奥行き）の比較図である。
【図６】仮想カメラの線図的説明図である。
【図７】カメラと実環境との関係を示す説明図である。
【図８】ピンホールカメラモデル（ＰＣＭ：Pinhole Camera Model）の説明図である。
【図９】ピンホールカメラモデル（ＰＣＭ：Pinhole Camera Model）の説明図である。
【発明を実施するための形態】
【００２１】
以下の説明において、多くの特定の詳細を実施形態の大まかな理解を得るために設ける。実施形態は１つまたはそれ以上の特定の詳細なしで、または他の方法、成分、材料その他で、実行することができる。他の例では、良く知られた構造、材料、または操作は、実施形態の態様を分かりにくくすることを回避するためにその詳細を図示または記載しない。
【００２２】
本明細書を通して、「ある実施形態」または「１実施形態」を参照することは、その実施形態に関連して記載した特定の特徴、構造、または特性が少なくとも１つの実施形態に含まれることを意味する。つまり、本明細書を通して様々な箇所に「ある実施形態においては」または「１実施形態においては」という語句が出現しても、必ずしも全て同一の実施形態を参照しない。さらに、特定の特徴、構造、または特性は１つまたはそれ以上の実施形態において任意の適切な方法で組み合わせることができる。
【００２３】
本明細書で与える見出しは簡便のみのためであり、実施形態の範囲または意味と解釈してはならない。
【００２４】
ＦＶＶおよび３ＤＶの機能性を、３次元レンダリングとともに、「タイムスライス効果（time-slice effect）」（時間の停止）および「ビュレットタイム効果（bullet-time effect）」（超スローモーション）のようなものを実現することによる連続画像のレンダリングの可能性と組み合わせることができることは、特に商業的観点から、例えばエンターテイメント（娯楽）産業にとって、魅力的である。この枠組み内において、時間変更（例えば、飛んでいる弾丸のような、通常は感知できず撮影できないイベントを示す）および空間変更（カメラの角度を変化させる、つまりイベントがスローダウンする間に視聴者の視点を通常の速度でそのシーンに沿って移動させることによる）の「置換」を制御することができる。
【００２５】
この結果は、物理カメラは不可能なほど速く動かさなければならないので、従来のスローモーションで達成することはほとんど不可能である。これは「仮想」カメラのみがビュレットタイム型の瞬間を「撮影」（実際には、「合成」）することができることを意味する。このような機能性には、ビュレットタイム効果が、被写体を包囲する一連の静止カメラを用いることによって、過去に写真的に実現されてきた、例えば映画のような、用途がある。カメラは同時または順次にトリガし、各静止カメラから取得した個別のフレームを、配列しまた連続的に表示して、アクションの軌道移動する視点を再生する。
【００２６】
本発明技術は、仮想カメラを用いて可能となる無制限透視画（遠近）法および可変フレーム速度を提案する。現実のカメラを用いて実行する静止アレー処理は割り当てたパスに制限されることがよくある。例えば、映画「マトリックス（The Matrix）」においては、「タイムスライスフォトグラフィ」として知られる旧写真技術の改良版が用いられた。これは、被写体周囲に多数のカメラを配置し、カメラをほぼ同時に「発射」させることにある。各カメラは静止カメラとし、映画撮影用カメラとせず、１フレームをシーケンスに寄与させる。場面のシーケンスを映画として見るとき、視聴者は、例えば、像の周囲を歩行中に異なる角度から像がどう見えるかを観察するような、実生活で生じる３次元シーンの、事実上一連の２次元スライスを見ることができる。「マトリックス」のあるシーンは完全に静止した登場人物および被写体を用いたタイムスライス効果を特色としている。
【００２７】
さらに、補間技術を用いてカメラの動きの流動性を改良し、この効果をさらに拡張して「ビュレットタイム」効果を生成して、完全に静止させず、シーンがゆっくり変わりながら動いて進むようにした。
【００２８】
表示の観点から、近代の３Ｄディスプレイは立体鏡の原理を利用して、複数のユーザーにヘッドモーション視差効果をもたらすことができる。各ユーザーはこうして、現実であるかのように、３Ｄで被写体周囲を見る効果を体験することができる。
【００２９】
いくつかの技術を用いて、この結果、いわゆる「自動立体」ディスプレイシステムを実現することができる。
【００３０】
これらのディスプレイシステムは、特定画素平面パターンおよび特定方向に各画像の光ビームを向けることができる傾斜したレンズ状スクリーンを用いることによって、同時に連続画像を表示させるというコンセプトに基づいている。視聴者の目に、適正な（立体）画像対が達し、これにより、各視聴者が各人の視点に関して適正な３Ｄシーンを見ることができるようになる。
【００３１】
この効果は使用される画像数が増加するにつれ、より広くなる。例えば、オランダのコーニンクレッカ・フィリップス・エレクトロニクス社（Koninklijke Philips Electronics N.V.）から市販されている自動立体ディスプレイシステムＷＯＷｖｘ４２″は、同時に９つの画像を見せることができる。
【００３２】
３Ｄ効果を生成する別の方法としては、ホログラフィック技術がある。３Ｄホログラフィックディスプレイと同種のシステムは、ハンガリー、ブタペストのホログラフィカ社（Holografika Kft）からのものが現在利用可能である。これは、単に、膨大な量の重複情報を処理するホログラフィックシステムではなく、空間的視野の主要素を再構築することに眼目を置いたホログラフィック幾何学的原理に基づいている。ホログラフィックスクリーンの画素（またはむしろボクセル）は、様々な方向に異なる強度および色の光ビームを発生する。これらのボクセルで構成された発光表面は、極めて効果的な方法で３Ｄシーンを見せることができるデジタルウィンドウ（窓）として作用する。多くのオリジナル（原）画像を取得し、また伝送することは、極めて非効率であり、コンピュータ操作上のオーバーヘッドにより不可能であることがよくある。連続出力画像のレンダリングを可能とするコンパクト３Ｄ表現フォーマットはより効率的である。
【００３３】
マルチ画像映像コーディング（ＭＶＣ：Multi-views Video Coding）は、３Ｄおよびマルチ画像映像を使用する場合に最適化した新規ツールを開発することによってＨ．２６４／ＭＰＥＧ４-ＡＶＣ標準規格を拡張するために、ジョイント映像チーム（ＪＶＴ：Joint Video Team）によって標準化への努力が現在行われている。非特許文献２および非特許文献３のような論文はこれらの努力の代表例である。
【００３４】
ＪＶＴは、現在、以下の２つの作業、すなわち、
・画像合成予測（ＶＳＰ：View Synthesis Prediction）／既存画像の合成版を予測として用いることによってコーディング効率を向上させる手法、
・マルチ画像映像プラス奥行き（ＭＶＤ：Multi-view Video plus Depth）コーディングを用いることによる中間画像合成／ある種の奥行き情報を用いて新規画像を生成する手法、
を開発中である。
【００３５】
同一アルゴリズム、つまり、奥行きベースの３Ｄワーピングは、一般的に双方の場合に適用することができるが、基本的な差異は奥行き情報の役割にある。
【００３６】
ＶＳＰの場合、奥行きは圧縮効率を向上させるための付加的情報であり、デコーダ側における新規画像の生成と関連が僅かしかない、または全くない。つまりこれを用いて、エンコード済みの画像から開始する既存画像を合成し、ビットレートスペースを節約するために、合成画像と対応するオリジナル画像との間における差異のみ（オリジナル画像に代えて）をエンコードする。このことは、従来の映像コーディングにおける動きベクトルに類似する。画像合成は、圧縮効率が向上する限り、極めてリアルに、または高品質にする必要がない。
【００３７】
反対に、ＭＶＤの場合、奥行き情報はデコーダ側において（仮想カメラからの）新規画像の合成によってＦＴＶ機能性を助成することを可能とする。デコーダは、可能な十分な品質において完全な奥行き情報を受信し、したがって、奥行き情報は伝達すべきデータの不可欠な部分である。ＭＶＣ，ＭＶＤおよび中間画像合成も実行する関連手法間に、関係性があることが分かる。画像合成機能性は、ビットレートスペースを節約する上で極めて有用である。
【００３８】
ＦＶＶ／３ＤＶレンダリングチェーンの説明は、とくに、このチェーンにおけるデータフローに傾注して行う。つぎにパイプライン型レンダリングコアの形式についての実施形態を説明する。この後、レンダリングプロセスの各コア段階を説明する。
【００３９】
図１ａ，図１ｂおよび図１ｃに示した例示的なデータフローは、ソースシーケンスを取得し、またそれらをディスプレイ装置に表示するプロセスの実施形態におけるステップ／段階のシーケンスに関連する。
【００４０】
画像合成のレンダリングエンジンは、３Ｄ空間のある領域内の映像を見る間、ユーザーが視点をインタラクティブに変化させることを可能とする。仮想画像の合成はソースで（リアルタイムで）取得した画像の利用可能性によって促進される。
【００４１】
図１ａは、マルチ画像エンコーダ（例えばＨ．２６４／ＭＶＣ-マルチ画像コーディング-準拠）００１に対して、画像および関連奥行き情報を供給する１組のＮ同期ソースカメラによるカメラセット（「マルチカメラ取得システム」／０００）で構成した、あり得る実施形態を示す。奥行き情報は、例えば、２進数（例えば、１画素当たり８ビット）として表現した、カメラから見積もったまたは計算した距離で各画素を関連付けする、各利用可能なフレームのマップを意味する。エンコーダによって生成したビット流を、伝送チャネルを経て記憶装置００２に送信または記憶する。他方、準拠デコーダ００３はこのビット流を受信し、またデコードする。すなわち、取得したフレームおよび奥行き情報を、本明細書に記載するように、「ＦＶＶレンダリング」ブロック００４によって処理し、取得したフレーム（または、３Ｄ視覚化の場合、フレーム対）を、モニタのディスプレイ００５に転送し、ユーザーに提示する。ユーザーは、所望視点を選択することによって、「ＦＶＶレンダリング」ブロック００４に対して直接対話的なやりとりをすることができる。この実施形態においては、「ＦＶＶレンダリング」ブロック００４は、例えば、デコーダブロックのポストプロセッサ（デコーダブロック内に組み込む）、またはディスプレイブロックのプレプロセッサ（ディスプレイブロック内に組み込む）もしくは独立型のドングルとしてのプレプロセッサ（ハードウェアもしくはソフトウェアによる解決手法、またはそれらハードウェアおよびソフトウェアの組み合わせで実行する）、またはそれらの組み合わせとすることができる。
【００４２】
図１ｂは別の実施形態を示しており、この場合、「ＦＶＶレンダリング」ブロックは取得したシーケンスを用いて直接操作し、仮想視点は、ユーザーがセットトップボックス００３により選択し、このセットトップボックス００３は、選択した仮想視点を、フィードバックチャネル００６によりＦＶＶレンダリングブロックに伝送する。
【００４３】
図１ｃは、図１ａの実施形態と同様な簡略化した実施形態を示しているが、圧縮−伝送−解凍プロセスを省略しており、したがって、「ＦＶＶレンダリング」ブロック００４はオリジナルのシーケンスおよび奥行き情報を用いて直接動作し、ディスプレイシステム００５に合成画像を供給する。
【００４４】
図２は、イメージに基づく手法のＦＶＶ／３ＤＶチェーンの好適例を示し、この場合、同期ソースカメラによって直接供給する、または専用デコーダ００３によってデコードする、または記憶装置００２から読み出すことで供給する、入力ソースデータＬ（総称的な「左」位置から生じるシーケンス）およびＲ（総称的な「右」位置から生じるシーケンス）は、テクスチャ（実際に「表示可能な」画像画素）を上述（図１ａ参照）したようなそれらと関連する奥行き情報と一緒に備える一組の実環境フレームよりなる実環境フレームセットとする。２つの「Ｌ」および「Ｒ」入力シーケンスのために本明細書に記載する例示的なプロセスは、「Ｎ」を利用可能なソース画像の総数として、２≦Ｍ≦Ｎである、入力シーケンスの任意の個数Ｍに拡張することができる。
【００４５】
図２における説明は、極めて包括的であり、したがって、多くの可能な実施例を説明するために、上位概念レベルで行うものであり、例えば、
・ソフトウェアプログラムとしてこのような方法論を実行することに適したパーソナルコンピュータまたは複雑なＧＰＵ（Graphic Processing Unit：画像処理ユニット）のようなハードウェアアキーテクチャ、
・例えば、独立したスタンド・アローンのプロダクトを意図した、またはより複雑なシステム（例えばセットトップボックス）に組み込んだ、例えば、映像エンコーダの前処理ブロックまたは映像デコーダの後処理ブロックのとすることができる、専用ハードウェアセル、
があり得る。
【００４６】
図２の例示的なシーケンスは、マルチ画像カメラシステムを用いることでシーンを取得するとともに、カメラに関するパラメータを追跡することによって映像取り込みを行うことを仮定している。奥行き情報は、よく知られているものと仮定し、また、例えば、立体画像上で動作する任意のアルゴリズムを用いることによって計算する、またはカメラ自体を通してもしくはこのスコープに割り当てた任意の外部機器を通して同様に取得することができる。
【００４７】
以下に説明するレンダリングエンジン００４は、目標とする用途に関して所望仮想フレーム／画像を合成し、また、レンダリングステップからの出力フォームを最終的に（さらなるデータ圧縮／解凍、画質向上等のステップ間で、任意の追加処理を施して、または施さずに）適切なディスプレイに表示するが、このディスプレイは、生成シーケンスがまさにＦＶＶシーケンスである場合は２次元の、それ以外の場合は３次元のディスプレイとすることができる。
【００４８】
目標とする用途が、例えばネット上におけるような、コンテンツ転送段階を要さない場合、エンコーディング（データ圧縮）、チャネル上の終点への伝送および選択データ解凍のステップはバイパスすることができる。
【００４９】
図２は各タスクを実行するアルゴリズムと一緒に、仮想視点フレームを合成する例示的な手順の詳細を示す。
【００５０】
この例示的な手順は、以下のステップ、すなわち
・システム初期化ステップ１００、
・仮想カメラ定義ステップ１０２：所望仮想カメラの射影マトリクスを計算する（ある実施形態においては、このステップは同一仮想視点で生成する最初のフレームのためのみに行うことができる）ステップ、
・投影ステップ１０４：例えば、ピンホールカメラモデル（ＰＣＭ：Pinhole Camera Model、以下に詳述する）および奥行き情報を用いることによって、（通常、目標とする視点に最も近接した状態で）利用可能な／特定ソース画像毎に、フレーム内の全ての画素を目標とする仮想カメラに投影するステップ、
・混合（ブレンディング）ステップ１０６：全ての寄与は目標とする視点に関する相対的重み付け（目標カメラＬ≦Ｔ≦Ｒ）を考慮することによって合成するステップ、
・閉塞解決ステップ１０８：残留閉塞を充填するステップ、
・境界マッティングステップ１１０：境界をマッティングして投影および結合（マージング）による人工的な不自然部分を隠すステップ、
・フィルタ処理ステップ１１２：生成フレームをフィルタ処理してよりリアルに見えるようにするステップ、
がある。
【００５１】
このような手法は、ＦＶＶおよび３ＤＶの２つの機能性を単独のレンダリングエンジンとして統合することを助成する。これは、一旦自由視点合成プロセスが作動すると、３Ｄ効果は自由視点レンダリングを、各視聴者の両目のそれぞれに対して並列的に（同時、または少なくともほぼ同時に、すなわち、時分割またはリソース分割技術を用いることによって）１回ずつ、２回実行することによって得ることができる。
【００５２】
仮想カメラステップ１０２は、数学的手法を用いて、一組の存在するカメラセットと一致する幾何学的に正確な射影マトリクスを計算する。投影ステップ１０４は同じ数学的枠組みで取り扱うことができ、コンピュータ操作的に言って、最も関連のある段階である。
【００５３】
混合（ブレンディング）ステップ１０６および閉塞解決ステップ１０８は最終フレーム内で生ずる人工的不自然部分（アーチファクト）の危険に対処する。閉塞解決ステップは、コンテンツに関する情報がソース画像のいずれからも得られない全てのフレーム領域をきちんと「充填」する。
【００５４】
フィルタ処理ステップ１１２は、人工的不自然部分（アーチファクト）を隠し、「ピクセル化」効果を減少させることによって合成フレームの質を向上させ、フーレムに対して、よりリアルな印象を与えることができる。
【００５５】
上述の処理シーケンスはセットトップボックスに、またより一般的には、（「未加工」タイプの）マルチ画像映像ストリームを入力として受け取るよう構成したディスプレイ装置の上流における任意の映像レンダリングシステムに、組み込むことができる。さらにまた、この処理シーケンスは、単独スタンド・アローン型のプロダクトセルとして実装することもできる。
【００５６】
図３および４は、図２の様々な処理ステップを、３つの主要な同質の段階またはフェーズにグループ化することができる例を示し、すなわち、
・投影フェーズ２００（図２の初期化ステップ１００、仮想カメラステップ１０２、および投影ステップ１０４をグループ化する）、
・混合（ブレンディング）フェーズ３００（基本的に図２の混合ステップ１０６に対応する）、および
・精緻化フェーズ４００（図２の閉塞解決ステップ１０８、境界処理ステップ１１０、およびフィルタ処理ステップ１１２をグループ化する）
にグループ分けする。
【００５７】
様々な異なるハードウェア解決策を用いてこのような処理フェーズ／ステップを実装することができる。
【００５８】
図３は、ＨＷ３段パイプラインの形式におけるレンダリングコアの例示的実施形態であり、パイプライン中の各段階は上述のフェーズ２００，３００，４００の１つを実装する。図２は、２つの入力画像（つまり、「左」および「右」）のみを含む実施形態を示すが、より多くの画像を含む一般的な場合に関して包括性を失うものではない。
【００５９】
図３のブロック図において、参照符号５００および８００は、パイプラインおよびシステムバス４５０間に配置した、それぞれ、入力および出力メモリを表す。参照符号６００および７００は、パイプラインにおける段間に配置した中間通信メモリ（Ｃｏｍｍ  Ｍｅｍ１-６００およびＣｏｍｍ  Ｍｅｍ２-７００）を示す。システムバス４５０は外部メモリレンダリングコアと接続する主要バスとする。
【００６０】
通信メモリ６００および７００は、処理ユニットを減結合（デカップリング）し、データの全パイプライン処理を促進する。このようにして、得られる出力を通信メモリに書き込むことによって入力処理が完了するとすぐに、各段階はその後の膨大な量のデータの処理を開始する。
【００６１】
一例として、処理の開始時（Ｔ＝０）において、投影段階２００は入力フレーム０（左および右）を処理し、通信メモリ６００にその結果を書き込む。Ｔ＝１の時点で、混合段階３００は投影段階２００の前の出力を処理し、一方投影段階２００はフレーム１の処理を開始する、などとする。Ｔ＝３の時点で、パイプラインは完全にロードする、つまり段階４００はフレーム０に関連する段階３００の出力を処理し、段階３００はフレーム１に関連する段階２００の出力を処理し、段階２００はフレーム２に関連する入力を処理する、などとする。
【００６２】
投影段階２００は、仮想カメラの射影マトリクスを計算するよう構成し、入力テクスチャフレームの境界を検出し、射影マトリクスおよび奥行きフレームを用いることによって、各画素を目標仮想視点に投影する。
【００６３】
混合段階３００は、ソース画像の全ての要因を一緒に混合し、単独のフレームを得る。
【００６４】
精緻化段階４００は、テクスチャフレームを処理して残留閉塞を解決し、またフィルタ処理／境界処理作業を実行して人工的不自然部分（アーチファクト）を隠す。
【００６５】
図４の機能的ブロック図は、パイプライン型手法がレンダリング手順の基本段階を直列化することを可能とする方法を強調している。処理データは、処理の実時間要求に対処することによっても、段階的にその値を増加させる。特に、図４はパイプライン型プロセッサアーキテクチャのを示し、このアーキテクチャは、以下の段階、すなわち、
・第１段階２００／初期化段階１００に加えて、仮想カメラ段階１０２および投影段階１０４を統合する段階、
・第２段階３００／結合（混合）段階３００を統合する段階、および
・第３段階４００／閉塞解決段階１０８（場合によってはこれにプラスして、境界処理およびフィルタ処理段階１１０および１１２）を統合する段階、
を有するものとする。
【００６６】
上述した様々な処理ステップ／段階を、以下にさらに詳述する。導入として、本明細書に記載する構成においてある実施形態に付随するあるステップ／段階の概観を簡潔に説明する。
【００６７】
映像取得（キャプチャ）
マルチ画像カメラシステムを用いるシーンを記録するステップは多数の装置を用いる。カメラは、各取得セッション前に較正することができる。効果的な較正技術は、非特許文献４に記載されている。この技術は平坦なプレート上に取り付ける較正パターンに基づくもので、この平坦なプレートを全てのカメラの前方で移動する。カメラは、必要時に同時に撮影（ショット）するよう同期化し、これによって定義したすべての視点からのシーンを表す一貫性を得る。カメラパラメータを記録し、これにより、レンダリングエンジンが所望仮想視点への射影マトリクスを計算できるようになる。このデータは高速記憶装置に記憶することができ、取得（キャプチャ）速度が高速である場合、１つまたはそれ以上の集中装置を用いてでも、記憶することができる。
【００６８】
カメラ数を増加させることでカバーする３Ｄ空間を拡大することができ、カメラ間の間隔を減少させることで中間画像をレンダリングするときに閉塞操作を少なくすることができる。また、カメラによって取得する１秒当たりのフレーム数を増加させることによって、時間遷移のレンダリングをより滑らかにすることができるとともに、カメラの解像度を向上させることで得られるシーンにより高品質を得ることができる。
【００６９】
２〜２０個のカメラよりなるカメラセットを通常マルチカメラ記録システムで用いるが、より多くのカメラ（例えば１００個のカメラを直線状に、半円状に、および平面アレーとして配置する）を用いる多数カメラの構成を使用することもできる。
【００７０】
奥行き抽出
正確な奥行き情報は、強い印象を与えることができるＦＶＶ用途を提供する上で有用である。実施形態は、記録したシーンの奥行き情報を記憶し、実際の被写体のサイズおよびカメラからの距離に関する情報維持する上での問題に対処することができる。
【００７１】
奥行きデータ表現の２つの基本的タイプがあり、例えば、
・格差（disparity）：視差（parallax）情報としても知られ、２つの異なるカメラから見た同一被写体のずれの差、
・奥行き：カメラからの被写体の実際の距離、
を採用することができる。
【００７２】
格差または視差は、実際の被写体距離Ｚ（奥行き）を測定せずに立体画像から抽出することができる。例えば非特許文献５を参照されたい。
【００７３】
並列カメラの状況では、視差ｄは次式の比である。すなわち、
【数１】
2010045776.tif 000003
ただし、ｆは焦点距離、Ｂは２個のカメラのベースライン間における距離とする。被写体が無限遠の距離にあるとき（これは特に自然のシーンで生じる）、奥行きも無限遠となる。そのため、あるアプリケーションにおいては、奥行き情報はＺの逆数として記憶する。
【００７４】
情報のこれらアイテム間の直感的相関関係は以下の通りである。すなわち、あるカメラから別のカメラに移動する際、カメラ間における被写体のスクリーン画素座標における視差は被写体の奥行きに依存する、つまりカメラに近い方の１被写体はカメラから遠い被写体よりも、より一層動くことになる。
【００７５】
少なくとも２タイプの方法を用いてカラーシーンの奥行き情報を得ることができる、すなわち、
・レンジカメラ：被写体に変調した光を照射し、そして反射光の位相（時間）遅延を測定することによって、シーンの記録中に奥行き情報を直接抽出するカメラであって、この奥行きは、単独のカメラによって測定し、またカメラのベースライン長さまたはカメラの焦点距離に依存しないカメラ、
・ステレオマッチングアルゴリズム：関連する奥行きマップを有さない（立体）シーケンスのために、上述の情報アイテムの双方は、ステレオマッチングアルゴリズムを用いて、同一シーンの画像対から抽出することができ、数学的枠組みが、２つのソース画像における画素間のマッピングを記述する関係を定義するアルゴリズム。
を使用することができる。
【００７６】
例えば、非特許文献１はセグメント化ベースのステレオマッチング手法を採用して、取得したカラーシーケンスから奥行き情報を抽出し、これら奥行き情報を８ビット解像度の単色シーケンスとして保存する。さらに、非特許文献１は、カメラパラメータ、ならびに奥行きの生データｐ（Ｚの双曲線表記を表す画素値）を実環境奥行きＺに変換するための関数として次式の数学的表現を記載している。すなわち、
【数２】
2010045776.tif 000004
【００７７】
非特許文献６においては、映像プラス奥行きフォーマットの実施例が記載されており、これらは画像および画像に関連する８ビット奥行きマップで構成されている。
【００７８】
この種のデータの利用可能性は、ＭＶＤ、つまり、「多重画像映像プラス奥行き」（Ｎ個のテクスチャ、プラスＮ個の奥行き）表現、の定義をもたらす。これは、従来のカラー映像フォーマットの拡張であり、新しい画像合成に適し、ナビゲーション範囲を大幅に拡張する。例えば、非特許文献１を再度、または非特許文献７を参照されたい。
【００７９】
図５は、マルチ画像映像コーディング（ＭＶＣ、できれば、やはり画像合成予測とともに用いて）およびマルチ画像映像プラス奥行きコーディング（ＭＶＤ、できれば、やはり画像合成予測とともに用いて）のための、代表的挙動（視聴者が知覚する品質に対する映像ビットレートに関する）を示す。
【００８０】
コーディング実験に現在利用可能なほとんどのマルチ画像映像シーケンスには、それらに対応する奥行き情報を提供しない。従って、オリジナルのカラーマップから十分に正確な奥行きマップを抽出することは有利である。
【００８１】
データ圧縮、転送、および選択的データ解凍
目標とするアプリケーションがネット上でコンテンツの転送を必要とする場合、先行ステップ中に生成するデータ（カラーおよび奥行きデータ）の量は圧縮する必要がある。この場合、ＭＶＣ／ＭＶＤのようなマルチ画像コーディング標準規格を用いることができる。
【００８２】
これは様々な問題を有する複写（コピー）を容易にする。例えば、１つ以上の画像をエンコードするとき、多重画像ストリームは同期化する必要があり、また好適には、得られるデータの量を圧縮して効率的に転送する。さらに、例えば、既存予測構造を用い、メモリ、コーディング遅延、計算時間およびコーディング効率間でトレードオフを設けることによって、中間画像統計学的冗長を利用してビットストリームを節約することができる。
【００８３】
マルチ画像映像プラスデータは、カラーシーケンスのＹＵＶ４：２：０フォーマット、および奥行きシーケンスのＹＵＶ４：０：０フォーマットに変換し、ネット上で転送する単独のビットストリームに圧縮することができる。一旦終ホストが受信した後、ビットストリームはデコーダによって解凍することができる。ソース画像のサブセットが目標とするアプリケーションにとって十分である場合、効率的な手法は、必要最小限のフレーム／画像セットを選択的に抽出することである。
【００８４】
ディスプレイ
ディスプレイは、映像コンテンツ成果物における、最後の、決して重要度が低くない要素である。本明細書に記載するＦＶＶ／３ＤＶの文脈においては、生成シーケンスがまさにＦＶＶシーケンスである場合の映像ディスプレイは２次元ディスプレイとし、３Ｄ効果を含む場合は３次元ディスプレイとする。３Ｄの場合、ディスプレイは、一般向け３Ｄテレビジョン（３ＤＴＶ）の評価および成功を決定する、システム連鎖全体における最も目立つ局面である。
【００８５】
３Ｄディスプレイの技術は、多数のアプリケーション、例えば科学的な可視化および測定、医学画像、テレプレゼンス（tele-presence）、ゲーム、映画およびテレビジョン自体においてますます高まる重要な役割を担っている。いろいろな３Ｄディスプレイがこの十数年で提案されてきた。２０世紀末の３Ｄ画像およびディスプレイにおける発展はホログラフィの発明によって促進され、これは自動立体視および容積測定方法に著しい進化をもたらした。仮想現実技術の最新の開発はコンピュータおよび光学産業を促進し、ヘッドマウント型ディスプレイおよび他の３Ｄディスプレイが製品化された。立体視３Ｄディスプレイは、左および右の眼に異なる遠近画像を供給する。自然の視覚のように、遠近感の差異を用いて、自然およびコンピュータ生成のシーンに、鮮明かつリアルな奥行きの感覚を生成することができる。
【００８６】
映像通信（例えば、コンサートおよびスポーツイベント放送、ＤＶＤ映画、携帯コンテンツ）とは別に、３Ｄディスプレイは、迅速かつ正確な奥行き認知が特に重要なアプリケーション（例えば、危険環境下における自動車およびロボットアームの遠隔操作、内視鏡手術における器具の操作および調整）において特に有用であることが分かっている。さらに、３Ｄディスプレイは、教育（例えば、博物館、シミュレータベースのトレーニング、ティーチング）、工学（例えば、コンピュータ支援設計（ＣＡＤ：Computer Aided Design）および製造（ＣＡＭ：Computer Aided Manufacturing）、仮想プロトタイピング、建築）、および他の科学アプリーケーション（例えば、複雑なタンパク質分子の表示、構造ベースの薬剤設計）に、個別スタンド・アローンの装置および遠隔連携ネットワークシステムの双方としても、ますます有用となっている。
【００８７】
３Ｄディスプレイは、視差、運動視差、および眼球調節のような一連の奥行きの手がかりを用いることによって、奥行きまたは距離の錯覚を生成することができる。追加の手がかりも画像認識に用いるとともに、画像解像度、視野、輝度、シングルもしくはマルチユーザーのいずれか、視聴距離およびコストのような局面もかなり重要な役割を担う。
【００８８】
本発明が考慮するＦＶＶ／３ＤＶのチェーン（連鎖）に戻ると、レンダリング段階およびその性能が生成画像の最終品質に影響を及ぼす。
【００８９】
レンダリングエンジンは、目標とするアプリケーションに関して所望仮想フレーム／画像を合成することができる、例えば
・純粋な自由視点映像効果用：シーン内部を動く仮想カメラの各位置につき１個のフレーム、
・純粋な３Ｄ映像効果用：２つの隣接（例えば、６．５センチメートル離れる）立体フレーム（この手順は、極めて効率的な閉塞解決アルゴリズムとともに用いる場合、「２Ｄコンテンツプラス奥行き」を３Ｄコンテンツに変換するためのツールとしてさえも用いることができる）、
・完全なＦＶＶプラス３ＤＶ効果用：レンダリングエンジンは仮想カメラ／視点の各位置に２つの（立体）フレームを生成する（レンダリングプロセスの各段階中、ソースデータは連続的に変形する。これらの段階の詳細は以下に記載する。）
のフレーム／画像を合成することができる。
【００９０】
上述したように、ピンホールカメラモデル（ＰＣＭ：Pinhole Camera Model）を画像合成プロセスで用いることができる。ＰＣＭについては以下にさらに詳述するが、第１ステップとして、このモデルは投影に関わる各カメラ、つまりソースカメラおよび目標仮想カメラ、のためのいわゆる射影マトリクスＰを利用することを考慮することができる。
【００９１】
ＦＶＶアプリケーションにおいて対処すべき第１の課題は、図６に図式的に示した任意の視野範囲内に配置したＮ個のオリジナルカメラ画像から開始する（つまり、仮想カメラステップ１０２を実行する）仮想目標画像の射影マトリクスを見つけることである。これは、特定の視点に現実カメラを１つも配置せず、そのパラメータに関する情報が記録されないからである。
【００９２】
ある手法は、例えば非特許文献８に記載されているような、球状線形補間と称される、四元数曲線理論から得られる方法を用いるものとする。この方法は、２つのオリジナルカメラ間における線形経路上の任意の中間画像の射影マトリクスを直接計算することを助成することができる。
【００９３】
別の可能な方法としては、これらパラメータを見積もるためにニューラルネットワーク、または、画像パラメータ、例えば
・利用可能な実体物に合致するパラメータ、および
・幾何学的に正確なパラメータ（例えば、正規直交の回転マトリクス）
を生成することができる他の任意の手法を用いることができる。
【００９４】
投影（つまり、ステップ１４０）に関しては、幾何学が３次元世界において重要なツールである。しかし、画像ベースＦＶＶ枠組みで利用可能なソースマテリアルは画像であり、幾何学モデルではない。それにも関わらず、画像中の各画素と関連する情報は、その位置、およびその色（または、単色画像には、輝度）の２つがある。したがって、幾何学を用いて、現実カメラ視点から仮想カメラ視点に各画素を投影することができる。
【００９５】
ピンホールカメラモデル（ＰＣＭ：Pinhole Camera Model）を用いて、特定カメラによって記録するフレーム内部のシーンにおける特定点の位置を決定する。これは、三次元座標（ｘ，ｙ，ｚ）に位置する３Ｄ点Ｍと対応するフレーム座標（ｕ，ｖ）に位置する２Ｄ画素点ｍの発見およびその逆を可能とする射影マトリクスＰを次式に基づいて計算することを意味する。
【数３】
2010045776.tif 000005
ここでαはスケーリング係数である。
【００９６】
３次元枠組みにおいて、各カメラの位置は、単一予定義基準座標系Ｗ（Ｘ，Ｙ，Ｚ）、すなわち任意の現実カメラの基準座標系に対応することができる「ワールド（空間）」、について記述する。
【００９７】
カメラＣに対して、射影マトリクスＰを抽出する手順は、３つのステップに分割することができる。
【００９８】
第１ステップは、３Ｄ空間点Ｍをカメラの基準座標系Ｃに変換するステップとし、これは、以下の２つの要素、すなわち、
ｔ（Ｃ）：並進ベクトルであって、Ｗに対するＣの変位を記述する
Ｒ（Ｃ）：回転マトリクスであって、Ｗに対するＣの方向を記述する
によって集約される、ＣおよびＷ間の関係性を発見することを意味する。
【００９９】
この概念は図７に示す。
【０１００】
ｔ（Ｃ）およびＲ（Ｃ）が分かると、３Ｄ空間点Ｍは、Ｍ′としてカメラの基準座標系Ｃにおける同次座標（Ｘ′，Ｙ′，Ｚ′）で次式のように表現することができる。
【数４】
2010045776.tif 000006
【０１０１】
第２ステップは、カメラの画像平面上に点を投影するステップとする。現実カメラで生じることを図８および９に示す。
【０１０２】
まず、いくつかの要素、例えば、
・光学的中心Ｃ（カメラ投影中心としても知られる）
・Ｃを含む、主平面（または焦点面）
・主平面に平行で投影画像を含む、画像平面
・画像平面から主平面への距離に対応する、焦点距離ｆ
・画像平面に直交するＣからのラインとしての、光軸
を認識することができる。
【０１０３】
このようにして、カメラ基準座標系の座標（ｘ′，ｙ′，ｚ′）に配置する３Ｄ点Ｍ′を画像平面座標（ｕ′，ｖ′）に位置する２Ｄ点に写像する。
【数５】
2010045776.tif 000007
【０１０４】
同次座標を用いると、これは線形変換で次式のように表現することができる。
【数６】
2010045776.tif 000008
ここで、λは比ｚ′／ｆとする。
【０１０５】
第３ステップは、点を画像座標に写像するステップとする。ｍ′を記録画像の座標として表現する際、画像基準座標系の原点およびカメラのスケーリング係数を考慮する。較正マトリクスＫは、カメラ座標から画素座標に変換をエンコードし、いわゆる固有パラメータである、
・（上述の）焦点距離ｆ、
・画素（ｕ０，ｖ０）における主点座標であって、光軸が画像平面と交差する点、
・カメラ光センサの２つの軸線に沿った画素スケーリング係数（ｋｘ，ｋｙ）
に依存する。
【０１０６】
同次座標を用いて、点ｍ′を、次式の関係によって目標画素点ｍに写像する。
【数７】
2010045776.tif 000009
ここで第２要素の最左マトリクスは較正マトリクスＫとする。
【０１０７】
カメラのより適切なモデルのために、例えば放射状歪みのような、追加パラメータを考慮することができるが、本願人が行った実験は、高品質の結果でさえ、これは必須でないことを示している。
【０１０８】
３次元座標（ｘ，ｙ，ｚ）に位置する３Ｄ点Ｍに対応するフレーム座標（ｕ，ｖ）における２Ｄ画素点ｍの関係は、次式のように表現される。すなわち、
【数８】
2010045776.tif 000010
【０１０９】
同次座標の場合、これは、次式のように書き換えることができる。
【数９】
2010045776.tif 000011
【０１１０】
射影マトリクスＰは、次式で与えられる。すなわち、
【数１０】
2010045776.tif 000012
【０１１１】
回転マトリクスは、正規直交なので、ＲＴ＝Ｒ-１である。
【０１１２】
水平線形カメラ配列（恐らく、ＦＶＶの最も一般的な場合）において新画像を合成するために、画像の各水平側（左および右）の少なくとも１つの現実画像を用いる。各側の画像数の増加は寄与の合成後の閉塞作業の減少をもたらす。ソース画像はＰＣＭを適用することによって目標仮想視点中に投影する。
【０１１３】
ＰＣＭは各画像画素の奥行き情報に基づくので、１サンプル当たりの奥行きマップ（以降参照）を各ソースカメラに用いる。これらから、仮想中間画像を２つの隣接カメラ間における任意の位置からレンダリングすることができ、したがって、例えば非特許文献６に例示されるような、進化したＦＶＶ機能性を提供することができる。
【０１１４】
生成画像の質は、閉塞作業および他の問題のために、現実カメラからの距離とともに低下する。
【０１１５】
より詳述すると、生成すべき目標カメラＣＴおよび一般的ソースカメラＣＳとして、以下の要素を画像合成に用いる。すなわち、
・Ｋ（ＣＳ），Ｒ（ＣＳ），ｔ（ＣＳ）：ソースカメラの固有および非固有パラメータ
・Ｋ（ＣＴ），Ｒ（ＣＴ），ｔ（ＣＴ）：目標カメラの固有および非固有パラメータ
・Ｉ（ＣＳ，ｕ，ｖ）：ソースカメラの色の強度
・Ｄ（ＣＳ，ｕ，ｖ）：ソースカメラの奥行きマップ
【０１１６】
ＩおよびＤは時間に関して合同とする。
【０１１７】
目標画像の１フレームの合成を実行する手順を以下に要約する。
【０１１８】
各ソース画像ＣＳに、ソース画像の各画素（ｕ，ｖ）において
ｉ）ソースカメラの射影マトリクスの逆マトリクスを用いることによって画素位置をワールド（空間）基準座標系に投影する。このことは、次式で表現できる。
【数１１】
2010045776.tif 000013
または等価的に
【数１２】
2010045776.tif 000014
であり、ただし、ｚ′Ｓ＝Ｄ（ＣＳ，ｕＳ，ｖＳ）とする。
ii）目標カメラの射影マトリクスを用いることによってワールド（空間）座標系を目標カメラの座標系に投影する。このことは、次式で表すことができる。すなわち、
【数１３】
2010045776.tif 000015
または等価的に
【数１４】
2010045776.tif 000016
となる。
iii）同次形式に変換し、目標フレーム内で画素位置を得る。このことは、次式で表すことができる。すなわち、
【数１５】
2010045776.tif 000017
iv）ソース強度を合成フレーム内の目標画素位置に割り当てる。このことは、次式のように表すことができる。すなわち、
【数１６】
2010045776.tif 000018
【０１１９】
その結果、各ソース画像に、目標視点中への相対ソースフレームの投影に対応する、新しいフレームを得る。
【０１２０】
投影（ステップ１０４）の効果は、投影の効果を明確にする実施例を参照することによって最も良く理解することができる。
【０１２１】
非特許文献１で考案された「ブレークダンサー（Breakdancers）」シーケンス（１０２４×７６８＠１５ｆｐｓ，１００フレーム）のような、Ｃ０（最右端）〜Ｃ７（最左端）のカメラを用いた、８画像で構成する半円カメラ配列を想定することができる。
【０１２２】
レンダリングプロセスの各段階を見積もるために、目標視点を、例えばカメラＣ３にとり、例えば各側方のカメラ、すなわちＣ２およびＣ４を用いることによってシーケンスの第１フレームを生成することができる。これら２つのソースフレーム（左：Ｃ４，右：Ｃ２）を目標視点（Ｃ３）へ投影した結果を考慮するとき、各投影は、ソースフレーム内の対応する閉塞領域による、充填されていない多くのフレーム領域を残すことが分かる。例えば、Ｃ４を目標画像の左側に位置するので、ソースフレームの投影はコンテンツを左方に移動し、各移動物体の右に充填されていない領域を生じることになる。その逆も同様で、Ｃ２は目標画像の右側に位置しており、この結果、ソースフレームの投影はコンテンツを右方に移動し、各移動物体の左側に充填されていない領域を生じることになる。
【０１２３】
混合（ステップ１０６）は投影の結果とし、１つの得られるフレーム内でソース画像の寄与を合成することを目的とする。ある実施形態においては、左の投影画像内の充填されていない領域は右の投影画像内において充填し、その逆も同様とする。したがって、眼目は、１つ以上の投影画像内で充填される領域をいかに合成するかにある。
【０１２４】
均一な混合は最も簡易な解決策であり、投影画像は均一に加重（重み付け）する。この解決策は、十分満足のいく結果は得られず、とくにソース画像数が多いときには満足できないものとなる。
【０１２５】
不均一混合（例えば、目標画像への距離に関して画像を加重する）は、均一混合よりも満足のいく結果を得ることができる。
【０１２６】
本明細書に記載する構成の実施形態は、３つの方策、すなわち、
・距離の逆数：投影画像は目標画像までの距離の逆数で加重する
・距離の２乗の逆数：投影画像は目標画像までの距離の２乗の逆数で加重する
・距離の２進数の逆数：投影画像は２進係数を用いることによって目標画像までの距離の逆数で加重する
のうち１つを実行する。
【０１２７】
第１および第２の方策は、ほとんど同じ方法において実行するが、第３の戦略は混合位相をより速くレンダリングすることが分かった。実際、各画素において全ての寄与が浮動小数点除算を用いて平均化する場合、混合ステップ／段階１０６はコンピュータ操作の観点から面倒なことが判明している（画素が輝度およびクロミナンスの２成分から構成されると仮定する場合、操作は３倍になる）。
【０１２８】
ある実施形態においては、２進数変換を用いて平均的計算に含まれる除算操作をより少ないクロック周期に減少させる。これは除数が２の冪乗の場合好適であり、そのため、それらの和（および除数）を２の冪乗に等しくするために、画像の加重係数を選択する。片側につき５画像の番号を付して、典型的加重を以下の表１に示し、負の値は左画像、および正の値は右画像を表す。
【０１２９】
【表１】
2010045776.tif 000019
【０１３０】
純粋な２進数加重は係数の非２進数和をもたらすことに留意されたい（つまり、２×（１＋２＋４＋８＋１６）＝６２）。この問題を克服するために、２つの近接画像はそれぞれの重みに「１」を加え、和を２進数値（つまり、「６４」）とし、２進数桁送り（binary shifting）を用いて除算を計算することができるようにする（つまり、「６４」による除算はＬＳＢに向けた「６」ビットの２進数桁送り、つまり「ｌｏｇ２（６４）」、に対応する）。
【０１３１】
ほとんどの場合においてソース画像数は偶数であり、またほとんどの画素位置は投影フレーム毎で充填すると仮定すると、結果として、ほとんどの平均化操作において、２進数桁送りを用いて除算を計算することが可能となり、残りの全ての場合においては、浮動除算を用いる。この手法の恩恵は、ソース画像数（合計で偶数）の増大とともに大きいものとなる。
【０１３２】
ある実施形態においては、レイヤード（層状）混合を用いることができる。この手法を用いて、目標画像に等しく近接する投影画像を用いて閉塞をレイヤ（層）ごとに充填する。必ずしも投影フレームの全ての画素ではなく、閉塞を充填するために必要なものだけ用いる。言い換えると、カメラは、目標カメラへの距離を参照して投影する前に「レイヤ（層）」内にグループ集合し、それらの寄与を用いてレイヤごとに閉塞を充填する。
【０１３３】
再度、この手法は、上述した「ブレークダンサー」シーケンス（１０２４×７６８＠１５ｆｐｓ，１００フレーム）に言及する別の実施例を用いて、最も良く理解することができる。
【０１３４】
Ｃ３を目標カメラと見なす場合、以下のレイヤ
Ｌ１＝｛Ｃ２，Ｃ４｝
Ｌ２＝｛Ｃ１，Ｃ５｝
Ｌ３＝｛Ｃ０，Ｃ６｝
Ｌ４＝｛Ｃ７｝
を有するものとする。
【０１３５】
投影後、第１レイヤ（Ｌ１）に属する画像を合成する、つまり残留閉塞領域を充填するために、次のレイヤに属するフレームの画素を用い、最後の利用可能なレイヤまで同様とする。各ステップにおいて、含まれるフレームは均一に混合し、第１レイヤに属する画像のみがそれらの全ての画素とともに寄与する、また他の画像は、まさに前のアルゴリズム反復後に残っている閉塞領域を充填する必要があるそれらの画素とともに関与する。
【０１３６】
上述した５つの方法の実行レベルは若干異なり、以下の表に要約する。表中の結果は、ソース画像数を変化させて、カメラＣ３から記録したシーケンスの第１フレームの合成することよりなるテストを示している。
【０１３７】
【表２】
2010045776.tif 000020
【０１３８】
表２中の性能レベルは、Ｃ３から捕捉したオリジナルフレームを表すＰＳＮＲ値の項目である。この段階後、必ずしも全ての閉塞は充填されず、それらは全ての混合方法において同一であり、したがって、ＰＳＮＲ値はほぼ一定である。
【０１３９】
表２は、各側方の１画像（ソース画像＝２）を混合した結果は、加重は全ての場合において単項とするので、各混合方法において同一であることを示している。距離と関連した加重を用いる技術は、「均一」および「レイヤード」方法より性能が高い。特に、ソースとして４画像を用いるとき「距離の逆数」が最適、一方、６ソース画像を用いるときは「距離の２進逆数」が最適（輝度の点で）と考えられる。
【０１４０】
以下の表に要約するように、各側方に１つ以上の画像を用いることは混合後の充填フレームの割合に直接的に影響を与える。
【０１４１】
【表３】
2010045776.tif 000021
【０１４２】
本明細書に記載する構成のある実施形態においては、２つの技術、とくに、
・画素背景充填
・領域背景充填
を用いて、混合後に残っている閉塞を充填する（閉塞解決ステップ１１０）ために、用いることができる。
【０１４３】
両技術は同一の概念を利用する、つまり、ギャップを背景で充填する。正確な背景を識別することは閉塞が誤った色で充填されないことを確実とする。
【０１４４】
画素背景充填は、閉塞領域の各画素を検索して（奥行きにおいて）最も遠い隣接画素を見つけ出し、当該閉塞画素を識別したものと同一の色で充填する。例えば、画像のラスター走査を、例えば左上隅から右下隅へ、実行するとき、アルゴリズムは閉塞に属する画素に遭遇する典型的な場合を考えることができる。アルゴリズムは最遠を検索する８隣接画素の走査を開始する。このステップを可能とするために、投影段階中、各投影画像のフレームを、投影画素の奥行き値、つまり、先に考慮した奥行きの典型的公式におけるｚ′Ｔ値も含めて、記録する。最遠画素の検索は、当該画素周辺の小領域において生じ、アルゴリズムは閉塞の他の画素においてその色を伝播するが、これは縞模様領域を生じる可能性が高い。さらに、その結果は、ラスター走査方向に影響を受け、したがって、この方法では正しい背景を見つけ出すことに失敗することさえある。
【０１４５】
したがって、本明細書に記載する構成のある実施形態は領域背景充填を採用する。この技術は、ギャップ領域の輪郭に位置する画素中から最遠画素（つまり、背景）を検索するステップを有する。見つけ出したとき、最遠画素の色は全非充填画素に割り当てる。充填領域は均一に「塗り」、正しい背景とより類似するようにするとともに、理論上では非現実的であるが、この効果は最終フィルタ処理によってうまく隠す。ＰＳＮＲの項目では、非充填領域が画像の小部分を覆う限りにおいて、２つの方法（以下の表４参照）間に実質的な差異はない。しかし、質の差異は画像を見ることにより、場合によって知覚することができる。
【０１４６】
【表４】
2010045776.tif 000022
【０１４７】
処理のこの時点におけるフレーム内に生じる可能性がある人工的不自然部分（アーチファクト）は動いている被写体周辺の非現実的な境界である。
【０１４８】
この効果を隠すために、マッティングフィルタ（境界マッティングステップ１１０）を境界画素上に適用する。望ましくない境界が、非充填領域に面する背景着色画素上に生じる。
【０１４９】
これら画素はアルゴリズムを用いて識別し、（例えば全ての関連画像の）ソース奥行きフレームを検索して奥行き値に不連続部分を探すことによって、被写体の境界を見つけ出す。特定閾値より大きい不連続部分が見つかるとき、より高い奥行き値を有する画素（つまり、前述で導いた変換のために、より近くなる画素）は、いわゆる「前景（フォアグラウンド）境界」の一部となる。その逆もまた同様で、より低い奥行きを有する画素は（つまり最も遠い）いわゆる「背景（バックグラウンド）境界」一部となる。
【０１５０】
このようにして、投影段階中、トレースをこれら境界の（目標視点内の）最終位置に保持する。例えば、上述した「ブレークダンサー」シーケンスを再度参照すれば、Ｃ２が目標カメラの右側に位置する場合、フレームを投射する間に被写体は右に移動し、被写体の左側に非充填領域を残す。それゆえ、投影前に存在する必ずしも全ての背景画素が投影後に可視ではなく、この理由はそれらの一部は移動した被写体によって覆われるからである。両方の境界は移動するが、背景境界はフォアグラウンド境界より少ししか移動せず、それは背景境界を（定義によって）カメラからより遠いものとしているからである。全ての境界寄与を合成することによって、目標背景およびフォアグラウンド境界を見つけることが可能となる。
【０１５１】
この時点において、マッティング画素を目標フレームの背景上、つまりアーチファクトが現れる箇所に適用することができる。
【０１５２】
ある実施形態においては、フィルタは垂直および水平方向に閾値を有するパラメトリックｎ-タップＦＩＲフィルタとする。
【０１５３】
フィルタは被写体周囲の厄介なアーチファクトの削減に有効であるとともに、境界のトレースは依然として顕著である。
【０１５４】
これは、この境界が背景境界（１画素の厚さ）と正確に同じ厚さでないために生じ、実際に約２または３画素の厚さ（またはある不利な場合においてはもっと多い）であり、その結果単一フィルタで完全に隠すことができない。
【０１５５】
本明細書に記載するレンダリングチェーン（連鎖）の最終ステップは、フィルタ処理（ステップ１１２）であり、これは合成フレームによりリアルな印象を付与することに役立つ。
【０１５６】
フィルタ処理は、全ての残留アーチファクトを隠すこと、および投影によるピクセル化効果を削減することを意図する。
【０１５７】
フィルタの考え得る実施形態としては、
・平均化フィルタ、
・ガウシアンフィルタ
がある。
【０１５８】
両方のフィルタはサイズをパラメータとし、２番目のフィルタは標準偏差でさえもパラメータとする。比較するために、カメラＣ３の第１フレームをレンダリングする間、可能な全ての最良なツールを用いて、これらのフィルタを前述のレンダリングチェーンの出力に適用する。
【０１５９】
第１の方法（サイズ３）は表５に示すように、第２の方法（サイズ３、シグマ０．７）より高いスコアに達し、輝度（ルミネッセンス）の最高品質は側方に２画像を用いるときに得られる。
【０１６０】
【表５】
2010045776.tif 000023
【０１６１】
図１に示す完全なデータフローは、２ソース画像から開始する目標フレームのレンダリングを解析し、またレンダリングチェーンの各ブロックの入力／出力データを強調する。
【０１６２】
用いる表記法は、Ｉ（ＣＮ）：色フレーム、Ｄ（ＣＮ）：奥行きフレームを含む。さらに、ＢＢＧ（ＣＮ）は背景境界とし、全ての下付き文字は適切な段階を指すものとする（例えば、「Ｐ」は「Ｐｒｏｊｅｃｔｉｏｎ（投影）」を示す）。図１の左側は１ソースカメラ当たりのフレームバッファ（ＦＢ／ＳＣ）の項目でメモリ割り当てを示し、フレームバッファは１レイヤマトリクス（つまり、まさにルミネッセンス）とすることを目的とする。
【０１６３】
本明細書に記載する構成のある実施形態としては、
・丸め処理による孔の充填方法、
・得られるフレーム中のアーチファクトへの対処に境界マッティングを代替的に用いるスマート投影方法、
・レンダリングしたフレームの最終品質を改善するための方法、
がある。
【０１６４】
丸め処理による孔の充填は、多くの場合、１または２画素のサイズの、小さい非充填領域の存在に役立つ。これらのギャップはフレーム内の位置（ｕ，ｖ）を投影画素に割り当てる整数丸め処理による。得られる位置が（フレームの同一行に位置する）前の位置より大きい少なくとも２単位元であるとき、１画素サイズ領域は非充填のまま残る。
【０１６５】
多く場合、混合段階１０６はこれらギャップのほとんどの充填に成功するが、この理由は、同一画素位置は全投影フレーム中において非充填のまま残り得ないからである。
【０１６６】
さらに、この確率を減少するために、孔サイズおよび画素色の特定閾値を用いて、孔における２個の端部に位置する画素の平均値を、孔内の１画素または複数の画素に割り当てることによって処理することができる。この手法を採用するとき、表５で用いる同一条件において、側方につき２ソース画像を用いると、ＰＳＮＲは、
・平均化フィルタ用に関して、（３４．０２，４２．５３，４４．０４）から（３４．０４，４２．５３，４３．９９）［ｄＢ］に、
ガウシアンフィルタ用に関して、（３３．８０，４２．６８，４４．１９）から（３３．８４，４２．６９，４４．１６）［ｄＢ］に、
変化する。
【０１６７】
ＰＳＮＲの増加がそれほど高くない場合でさえ、この手法は望ましくないアーチファクトの解決に役立ち、なおも不完全な奥行きマップに関係する。フレームを投影する間、マッティング段階における境界の発見を担当するアルゴリズムによって境界として識別することができない背景奥行きに関して、被写体が奥行きにほんの小さな差しかない場合、得られる効果は、色閾値を設定することによって隠すことができる。この方法は望ましくないアーチファクトを隠し、混合段階中に背景色で誤って充填した任意の小さいギャップを回避する。
【０１６８】
段階１１０のマッティングフィルタが動いている被写体の境界中周囲のアーチファクトを削減するが、これらアーチファクトは依然として最終フレームの品質に悪影響を与える。これらアーチファクトは色フレームに関連する不完全な奥行きマップによるものである。被写体に関係する奥行き領域が色フレーム中において被写体そのものよりわずかに小さい場合、色フレーム中の被写体に属する極端な境界は背景の奥行きを有し、有すべき被写体の奥行きを有していない。
【０１６９】
第１フェーズにおいてフレームを投影するとき、正確な奥行きを有する色画素を正確な位置に投影するとともに、この境界に属する色画素は被写体から遠くに投影されるが、この理由は、それら色画素がソースフレーム内で背景の奥行きを有するからである。
【０１７０】
本明細書に記載する構成の実施形態は、誤った奥行き値を有するソースフレーム中の画素を投影せず、これにより、境界を形成する被写体から遠くに投影されないようにする。
【０１７１】
誤った奥行き値を有する被写体周囲の境界の厚さは予測できないが、これは厚さがシーケンスから奥行きを抽出するために用いる（ステレオマッチング）アルゴリズムの信頼性に依存するからである。しかし、レンダリングエンジンが投影しないソースフレームに属する境界（「スキップ境界」）の厚さはパラメータとすることができる。
【０１７２】
例えば、スキップ境界の厚さは「３」画素に設定することができる。
【０１７３】
前景（フォアグラウンド）境界は、前述と同一とし、背景（バックグラウンド）境界はそれから遠くに移動して新しいスキップ境界に場所を残す。いくつかのソース画素を投影しないことの影響は投影フレーム中の情報がより少なくなる、つまり非充填領域が大きくなることである。いずれの場合においても、これら非充填ギャップは混合段階中に部分的に充填し、スキップ境界が過剰でない場合、残留閉塞領域は充填アルゴリズムによって処理することができる。この方法は、背景境界に沿ってマッティングフィルタを適用する必要をなくすることができる。
【０１７４】
ＰＳＮＲの項目で、以下の表６（この結果は繰り返し上述した「ブレークダンサー」の実施例におけるカメラＣ３のフレーム「８９」の合成を参照している）は、マッティングフィルタは本明細書で考察した手法より高いスコアに達していることを示しているが、本明細書で考察した手法はよりリアルなフレームを生成することが判明した。
【０１７５】
【表６】
2010045776.tif 000024
【０１７６】
レンダリングしたフレームの最終品質は、スマート投影アルゴリズムから得られる技術を採用することによってさらに改善することができ、ＦＶＶシーケンスを見るとき、カメラも移動している間に移動する被写体の境界に近接するアーチファクトを見ることは容易であるので、ソースフレーム中の移動被写体の色境界は、よりリアルな効果を維持するために、目標フレーム上に適用（例えば複写）することができる。
【０１７７】
したがって、意図するところは、上述したアルゴリズムにより、フォアグラウンド境界（つまり、任意の移動被写体の極限境界）、およびいわゆる「拡張境界」（つまり、実質的にスキップ境界と同一であるが、異なる厚さ値に設定することができるので意図的に他の呼称とした）を見つけることである。影フレームを結合した後、拡張境界色は目標フレーム上に複写する。ある実施形態においては、これは適正に複写せず、既存の色で平均化するものとする。
【０１７８】
少なくとも３種類の平均化、すなわち、
・均一、
・距離の逆数、
・距離の２乗の逆数、
の平均化が利用可能である。
【０１７９】
拡張境界厚さは所望値に設定することができるので、「距離」はフォアグラウンド境界への拡張境界の画素の距離を意味する。良い結果が「２」または「３」画素の厚さサイズを用いて得ることができる。表７に示すように、通常、均一混合はあまり好ましくない結果をもたらし、他の２つの混合プロセスも程度の差はあるが同様に働く。表７においては、結果は、「ブレークダンサー」実施例のカメラＣ３のフレーム「８９」の合成についてのものである。
【０１８０】
【表７】
2010045776.tif 000025
【０１８１】
最終ステップは、やはり最終フィルタ処理ステップ１１２である。
【０１８２】
これら最後の３つの随意的改良ステップの最終品質への有効性は、以下の表でしめす、実験によって検査した。
【表８】
2010045776.tif 000026
【表９】
2010045776.tif 000027
【０１８３】
これら実験は、「デフォルト投影」（１．ｃ）を「スマート投影」（２．ｃ）に「丸め処理による孔の充填」（２．ｄ）と一緒に置き換え、「マッティング境界」（１．ｆ）を「拡張境界」（２．ｇ）に置き換えた点で異なる。
【０１８４】
これらの実験のＰＳＮＲ結果は以下の表１０に報告する。
【０１８５】
【表１０】
2010045776.tif 000028
【０１８６】
ＰＳＮＲ値の増加はあまり高くないが、生成画像を見ることによって認識される品質は明白に改善されている。
【０１８７】
ソフトウェア実装の観点において、記載する構成は少なくとも２つのバージョン、すなわち、
・「高速投影」バージョン、
・「メモリ削減」バージョン、
に役立つ。
【０１８８】
高速投影バージョンは、以下のアイデアに基づいたソース画素を投影するというコンセプトを採用している。そのアイデアにおいては、画素ごとにフレームを投影する代わりに、（同一行に位置する）「ｎ」連続画素が同一の奥行き値を有することが見つかる場合、第１および最終画素の投影のみを計算する、またこれらの画素の最終位置がソースフレーム中に有していたものと同一距離を有する場合、ソースフレーム中の全内部画素は（投影の代わりに）２つの投影画素間の目標フレームへ複写する。そうでない場合、高速投影を同一連続画素の２分割したシーケンス長さに試す、つまりアルゴリズムは最小長さ（例えば、３画素、これは、成功する場合、１画素投影を省略することに対応する）までシーケンスを２分割し続ける。同一列上に位置する連続画素を検索することによって、投影を（行の代わりに）列で実行する場合も、同一の原理が成立する。このアルゴリズムは丸め処理による孔さえ考慮に入れる。
【０１８９】
表１１はカメラＣ３の全シーケンス（１００フレーム）の合成の結果を示す。
【０１９０】
【表１１】
2010045776.tif 000029
【０１９１】
この技術は、２ソース画像において３３％および６ソース画像において１７％の（全レンダリング鎖の）総計算時間の節約に成功している。スキップ画素（投影を行わない画素）の項目においては、これは２ソース画像において総画素の最大６２％の投影を回避することに対応している。
【０１９２】
「メモリ削減」バージョンはメモリ節約の方法に関係する。これは「ワールド（環境）」の奥行き値のトレースを浮動小数点形式の代わりに整数形式で保持することを含む。
【０１９３】
この方法の有効性を測定するために、前述と同一の「実験２」を、標準および改良バージョン双方で反復した。これはメモリ占有の点から最も重たい構成であり、この理由は、全ての最良なツールを有効にするからである。この方法は標準的な方法より適切ではないが、ソース画像数に関係なく約３０％のメモリ節約を可能とする。
【０１９４】
【表１２】
2010045776.tif 000030
【０１９５】
表１２は、形式を変えることによって、ほんの僅かな時間でも節約できることを示している。
【０１９６】
ある実施形態においては、本明細書に記載する装置は、ｇｃｃバージョン４を搭載したリナックスプラットフォーム（Linux platform）で開発された、ＡＮＳＩ-Ｃ準拠ソフトウェアで動作する。有効となる作業の例としては、
・固定視点合成、すなわち、固定視点に位置する新フレームまたはシーケンス（全てまたはその一部）の生成、
・自由視点合成、特に３Ｄ空間内のカメラ軌道を特定することによる実自由視点シーケンスの生成、
・投影検査、これは、ソースフレーム中にある奥行き（ｗ）を有する特定の２Ｄ点（ｕ，ｖ）を目標フレーム内に投影する場所を知るために、点の投影を実行することを意味する検査、
がある。
【０１９７】
ある実施形態においては、ソフトウェアリソースは、以下の２つの入力ファイル上で動作する、すなわち、
・環境設定（configuration）ファイル、つまり、コマンド列が仮想カメラの軌道を特定するレンダリングプロセスで用いるパラメータを含むファイル、
・較正（calibration）ファイル、つまり、カメラに関係するパラメータを含むファイル、
である。  
【０１９８】
環境設定ファイルは、目標シーケンスを越えて生成すべき出力を特定することを可能とし、つまり目標奥行きシーケンス、目標境界シーケンス、部分シーケンス、および部分境界シーケンス（投影前および投影後の）がある。
【０１９９】
したがって、本明細書に記載する構成の実施形態は、例えばＦＴＶ（Free Viewpoint Television：自由視点テレビ）コンテクストにおいて用いる全レンダリングプロセスを実装する自由視点映像／３Ｄ映像フレームワーク中のレンダリングチェーンとする。この構成は、人間の目の距離に配置する仮想画像対（カップル）を生成する、３Ｄ支援で自由視点ナビゲーションを可能とする仮想カメラ投影マトリクスの自動計算の観点における実装に役立つ。この構成は、（ステレオ／マルチ画像シーケンスから奥行きデータを抽出するセグメント化アルゴリズムを含む、または含まない）奥行きデータおよび新画像レンダリングを支援するＭＶＣ（Multi-view Video Coding：マルチ画像映像コーディング，ＭＰＥＧ４-パート１０）エンコードおよびデコーダにも適合するものとする。
【０２００】
さらに、ソフトウェアは、ユーザーが対話形式で目標視点を（例えばマウスによって）動かす、またはオフラインで生成するシーケンスを実行するＦＶＶプレーヤーに適合するものとする。
【０２０１】
実施形態の説明における根底原理に対する先入観なしに、細部および実施形態は、単なる例示として説明したものに対して、著しくさえ、変更することができる。
【０２０２】
本明細書で使用した、用語「コンピュータプログラム製品」とは、例えば、実施形態の方法の性能を調和させるようコンピュータシステムを制御するための命令を含むコンピュータ可読媒体に相当するものであることを意図する。コンピュータ、コンピュータシステムまたは少なくとも１つのコンピュータとは、分散型／モジュール式の方法における実施形態を実装する可能性を含む。
【０２０３】
上述のさまざまな実施形態は組み合わせてさらに別の実施形態を提供することができる。本明細書において言及したおよび／またはアプリケーションデータシートに列挙した全ての米国特許、米国公開特許公報、米国特許出願、外国特許、外国特許出願および非特許出版物は、参考として本明細書に付記した。さらに実施形態を提供するために様々な特許、出願および広報のコンセプトを用いる必要がある場合、本実施形態の態様を改良することができる。
【０２０４】
これらおよび他の変更を、上述した説明に照らし合わせて本実施形態に加えることができる。通常、添付ん特許請求の範囲において、使用する用語は、請求項を明細書および請求項で開示する特定の実施形態に制限するものと解釈すべきではなく、請求項が権利を有する等価なものの全ての範囲に沿って全ての可能な実施形態を含むものと解釈すべきである。従って、特許請求の範囲は本明細書の開示に制限されないものである。
【図１ａ】
2010045776.tif 000031
【図１ｂ】
2010045776.tif 000032
【図１ｃ】
2010045776.tif 000033
【図２】
2010045776.tif 000034
【図３】
2010045776.tif 000035
【図４】
2010045776.tif 000036
【図５】
2010045776.tif 000037
【図６】
2010045776.tif 000038
【図７】
2010045776.tif 000039
【図８】
2010045776.tif 000040
【図９】
2010045776.tif 000041
【外国語明細書】
2010045776000001.pdf