(57)【特許請求の範囲】
【請求項１】
複数の撮影装置によりそれぞれ異なる方向から撮影することで得られる複数の画像に基づいて、仮想カメラの位置及び向きに応じた仮想画像を生成する画像処理システムであって、
前記仮想カメラの視野内のオブジェクトに適用される画像効果を、前記オブジェクトの位置と前記仮想カメラの位置とに基づいて決定する決定手段と、
前記決定手段により決定された画像効果が前記オブジェクトに適用された前記仮想画像を、前記複数の画像に基づいて生成する生成手段と
を有し、
前記決定手段は、前記画像効果を適用させるための条件を、前記仮想カメラの視野内において複数のオブジェクトの軌道が交差することによる当該複数のオブジェクトの相互作用に基づいて変更することを特徴とする画像処理システム。
【請求項２】
前記決定手段は、前記オブジェクトに適用される画像効果を、前記オブジェクトの軌道と、当該軌道上における前記オブジェクトの位置とに基づいて決定することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記画像効果は、前記オブジェクトの表示有無の変更、フェードイン、フェードアウト、透明化、色変換、混色、明度の変更、彩度の変更、テクスチャの変更、及びスタイルの変更のうち少なくとも１つを含むことを特徴とする請求項１又は２に記載の画像処理システム。
【請求項４】
前記画像効果は、前記仮想カメラの視野内の他のオブジェクトに基づいて決定されることを特徴とする請求項１乃至３の何れか１項に記載の画像処理システム。
【請求項５】
前記画像効果は、前記オブジェクトのオクルージョン評価量の経時的な変動に基づいて決定されることを特徴とする請求項１乃至４の何れか１項に記載の画像処理システム。
【請求項６】
前記オクルージョン評価量は、前記仮想カメラの視野における前記オブジェクトによるオクルージョンの度合いの評価量であることを特徴とする請求項５に記載の画像処理システム。
【請求項７】
前記オクルージョン評価量の前記変動は、前記オブジェクトの軌道に基づいて求められることを特徴とする請求項５又は６に記載の画像処理システム。
【請求項８】
前記オクルージョン評価量の前記変動は、２つ以上のオブジェクトが前記仮想カメラの視野内に存在する場合に、オブジェクトごとに求められることを特徴とする請求項５乃至７の何れか１項に記載の画像処理システム。
【請求項９】
前記オクルージョン評価量は、前記仮想カメラの視野に対する前記オブジェクトのサイズに基づいて求められることを特徴とする請求項５乃至８の何れか１項に記載の画像処理システム。
【請求項１０】
前記画像効果は、前記オブジェクトのタイプに基づいて決定されることを特徴とする請求項１乃至９の何れか１項に記載の画像処理システム。
【請求項１１】
前記画像効果は、前記仮想カメラに関連付けられたクリッピング平面に対する前記オブジェクトの位置に基づいて決定されることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理システム。
【請求項１２】
前記画像効果は、前記オブジェクトが前記仮想カメラの視野内に存在する時間の量に基づいて決定されることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理システム。
【請求項１３】
前記画像効果は、前記オブジェクトが前記仮想カメラの視野内に存在する時間の量を閾値と比較することによって決定されることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理システム。
【請求項１４】
前記画像効果は、前記オクルージョン評価量が閾値に応じた条件を満たすことに基づいて適用されることを特徴とする請求項５に記載の画像処理システム。
【請求項１５】
前記画像効果は、前記オクルージョン評価量が第１の閾値に応じた条件を満たすときに適用され、前記オクルージョン評価量が第２の閾値に応じた条件を満たすときに完了することを特徴とする請求項５に記載の画像処理システム。
【請求項１６】
前記画像効果は、前記オクルージョン評価量が少なくとも１つの閾値に応じた条件を満たすことに基づいて適用され、該少なくとも１つの閾値は、前記オブジェクトが前記仮想カメラの視野内の別のオブジェクトと相互作用することに基づいて変更されることを特徴とする請求項５に記載の画像処理システム。
【請求項１７】
前記画像効果は視覚効果であることを特徴とする請求項１に記載の画像処理システム。
【請求項１８】
前記決定手段は、前記オブジェクトに適用される前記画像効果を、前記オブジェクトの軌道上における前記オブジェクトの予測された位置に基づいて決定することを特徴とする請求項１乃至１７の何れか１項に記載の画像処理システム。
【請求項１９】
前記生成手段により生成された前記仮想画像を表示装置に表示させる表示制御手段を有することを特徴とする請求項１乃至１８の何れか１項に記載の画像処理システム。
【請求項２０】
前記決定手段は、前記オブジェクトの位置と前記仮想カメラの位置との距離が所定距離未満になった場合に前記オブジェクトが透明化されるように、前記オブジェクトに適用される画像効果を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項２１】
前記決定手段は、前記オブジェクトが前記仮想カメラの視野内において前記仮想カメラの位置の近傍から遠ざかる方向に移動する場合に、前記仮想画像において前記オブジェクトが徐々に可視化されるように、前記オブジェクトに適用される画像効果を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項２２】
コンピュータを、請求項１乃至２１のいずれか１項に記載の画像処理システムとして機能させるためのプログラム。
【請求項２３】
複数の撮影装置によりそれぞれ異なる方向から撮影することで得られる複数の画像に基づいて、仮想カメラの位置及び向きに応じた仮想画像を生成する画像処理方法であって、
前記仮想カメラの視野内のオブジェクトに適用される画像効果を、前記オブジェクトの位置と前記仮想カメラの位置とに基づいて決定する決定工程と、
前記決定工程において決定された画像効果が前記オブジェクトに適用された前記仮想画像を、前記複数の画像に基づいて生成する生成工程と
を有し、
前記決定工程は、前記画像効果を適用させるための条件を、前記仮想カメラの視野内において複数のオブジェクトの軌道が交差することによる当該複数のオブジェクトの相互作用に基づいて変更することを特徴とする画像処理方法。
【請求項２４】
前記決定工程は、前記オブジェクトの位置と前記仮想カメラの位置との距離が所定距離未満になった場合に前記オブジェクトが透明化されるように、前記オブジェクトに適用される画像効果を決定することを特徴とする請求項２３に記載の画像処理方法。
【請求項２５】
前記決定工程は、前記オブジェクトが前記仮想カメラの視野内において前記仮想カメラの位置の近傍から遠ざかる方向に移動する場合に、前記仮想画像において前記オブジェクトが徐々に可視化されるように、前記オブジェクトに適用される画像効果を決定することを特徴とする請求項２３に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本出願は、２０１７年１２月２０日に出願された米国特許出願第１５／３８５１９１号のパリ条約の優先権を主張する。この米国特許出願の全内容は、引用することによってその全体が本明細書の一部をなす。
【０００２】
本発明は、仮想カメラに係る画像を処理するシステム及び方法に関する。
【背景技術】
【０００３】
物理世界において物理カメラを操作するとき、カメラオペレーターには、物理カメラの周囲の他の物理物体（例えば、フィールド上の人々）が見え、カメラオペレーターは、それらの物理物体と衝突しないようにすることができる。さらに、フィールド上の人々には、物理カメラ及びカメラオペレーターが見え、それらの人々は、カメラ又はオペレーターと衝突しないようにすることができる。カメラオペレーターが、物理世界を仮想的に復元した世界に仮想的に存在するカメラである仮想カメラを制御しているシステムでは、同じアフォーダンスは存在しない。
【０００４】
仮想カメラシステムの目的は、現実世界において物理カメラを物体と極めて近接させるという実際問題を伴わずに物理カメラをシミュレーションするカメラフッテージ（camera footage）をキャプチャーすることである。物理カメラは、幾つかの状況では、シーン内で発生しているものと干渉する可能性がある。仮想カメラシステムの目標は、物理カメラの視覚特性を維持しながら仮想カメラの利点を利用することである。例えば、仮想カメラシステムは、カメラオペレーターが所望する場合には、視野を対象物体で満たすことが可能であり得る。
【０００５】
仮想カメラシステムは、通常、クリッピング平面、例えば、ニアクリッピング平面及びファークリッピング平面に関連付けられている。クリッピング平面は、通常、仮想カメラの画像平面に平行に向けられ、ニアクリッピング平面については仮想カメラの近くに位置決めされ、ファークリッピング平面については離れた距離に位置決めされている。クリッピング平面は、仮想カメラの視野に対する制約を提供し、物体メッシュのポリゴンが仮想カメラに可視になり、仮想カメラによってレンダリングされる箇所を規定する。ニアクリッピング平面の距離は、物体が仮想カメラに接近することを可能にする一方、物体が大きく歪んで見えないように設定される。実際には、カメラオペレーターが、この距離を知り、対象物体をニアクリッピング平面のすぐ前方に維持することは困難である。多くの場合、仮想カメラビュー内の物体は、ニアクリッピング平面と衝突し、物体のメッシュは、物体がクリッピング平面を通過するときにスライスされる。仮想カメラは、結果として、物体メッシュの内部の一部分もレンダリングしながら、物体のメッシュの一部分のみをレンダリングする。物体とクリッピング平面との衝突は、特に、仮想カメラシステムが現実的なカメラフッテージを生成するように意図されている場合に、望ましくない結果をもたらす。
【０００６】
物理世界における人々は、仮想カメラの位置を感知することができず、その結果、仮想カメラと自由に衝突する可能性がある。同じことは、仮想カメラを制御するカメラオペレーターにも当てはまる。カメラオペレーターは、モニター画面を介して仮想カメラを制御する可能性が高く、状況認識のレベルが低下し、仮想カメラの周囲の物体を感知することができない。状況認識の欠如は、物体が仮想カメラを後方から通過する可能性があることを意味する。物体は、当初、カメラオペレーターの視界の外部に存在し、仮想カメラのニアクリッピング平面を通過するとき、仮想カメラの視野を即座に満たす。仮想カメラビューを即座に満たすこの侵入物体は、仮想カメラの視野において別の物体の構成を試みているときに中断を引き起こす。
【０００７】
仮想物体がクリッピング平面によって視覚的にクリッピングされることに対処することが必要とされている。また、物体が仮想カメラの近くでフレームに突然現れることによって引き起こされる撹乱的（disruptive）オクルージョンを低減する方法を提案することが必要とされている。
【０００８】
ビデオゲーム業界は、同様の問題に遭遇しており、上述した問題に対処する標準的な方法を開発してきた。１つの既知の方法は、物体がまず第１に互いに衝突しないことを確保する衝突半径を物体の周囲に実現するものである。衝突半径を用いることによって、物体がカメラと衝突すると、カメラは物体に当たって跳ね返ることになり、カメラオペレーターの構成が望ましくなく調整される。別の既知の方法は、物体がカメラの周囲の距離閾値を通過すると、物体をフェードアウトするものである。この方法は、全ての物体を等しく扱い、そのため、カメラの前方からカメラを通過する物体は、後方からカメラを通過する物体と同じ距離にわたってフェードアウトすることになる。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、現在の構成の少なくとも１つの不利点を実質的に克服するか又は少なくとも改善することである。
【課題を解決するための手段】
【００１０】
本開示の１つの態様は、複数の撮影装置によりそれぞれ異なる方向から撮影することで得られる複数の画像に基づいて、仮想カメラの位置及び向きに応じた仮想画像を生成する画像処理システムであって、前記仮想カメラの視野内のオブジェクトに適用される画像効果を、前記オブジェクトの位置と前記仮想カメラの位置とに基づいて決定する決定手段と、前記決定手段により決定された画像効果が前記オブジェクトに適用された前記仮想画像を、前記複数の画像に基づいて生成する生成手段とを有し、前記決定手段は、前記画像効果を適用させるための条件を、前記仮想カメラの視野内において複数のオブジェクトの軌道が交差することによる当該複数のオブジェクトの相互作用に基づいて変更する。
【図面の簡単な説明】
【００４８】
【図１】スポーツスタジアムを取り囲むとともに処理システムにビデオデータを供給するネットワーク化されたビデオカメラのシステムの一例を示す図である。
【図２】仮想カメラの一例を示す図である。
【図３】１つの例示の実施形態による、仮想ビューに物体をレンダリングする方法の概略フロー図である。
【図４】図３の方法において用いられるようなオクルージョン測定量を求める方法の概略フロー図である。
【図５】仮想カメラの視野内の物体のオクルージョンプロファイルをプロットした一例示のグラフである。
【図６Ａ】物体が仮想カメラの前方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
【図６Ｂ】物体が仮想カメラの前方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
【図６Ｃ】物体が仮想カメラの前方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
【図６Ｄ】物体が仮想カメラの前方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
【図７Ａ】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
【図７Ｂ】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
【図７Ｃ】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
【図７Ｄ】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する一例を示す図である。
【図８Ａ】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する代替例を示す図である。
【図８Ｂ】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する代替例を示す図である。
【図８Ｃ】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する代替例を示す図である。
【図８Ｄ】物体が仮想カメラの後方から接近しているときにオクルージョン測定量に基づいて遷移効果を適用する代替例を示す図である。
【図９Ａ】物体が仮想カメラの近くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図９Ｂ】物体が仮想カメラの近くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図９Ｃ】物体が仮想カメラの近くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図９Ｄ】物体が仮想カメラの近くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１０Ａ】物体が仮想カメラから遠くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１０Ｂ】物体が仮想カメラから遠くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１０Ｃ】物体が仮想カメラから遠くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１０Ｄ】物体が仮想カメラから遠くにおいて仮想カメラの視野に対して垂直に接近しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１１Ａ】物体が仮想カメラから遠くにおいて仮想カメラの視野を横断しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１１Ｂ】物体が仮想カメラから遠くにおいて仮想カメラの視野を横断しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１１Ｃ】物体が仮想カメラから遠くにおいて仮想カメラの視野を横断しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１１Ｄ】物体が仮想カメラから遠くにおいて仮想カメラの視野を横断しているときに、オクルージョン測定量に基づいて遷移効果を適用する一例示のシナリオを示す図である。
【図１２Ａ】２つの物体が仮想カメラの前方で相互作用するときに物体をレンダリングする一例示のシナリオを示す図である。
【図１２Ｂ】２つの物体が仮想カメラの前方で相互作用するときに物体をレンダリングする一例示のシナリオを示す図である。
【図１２Ｃ】２つの物体が仮想カメラの前方で相互作用するときに物体をレンダリングする一例示のシナリオを示す図である。
【図１２Ｄ】２つの物体が仮想カメラの前方で相互作用するときに物体をレンダリングする一例示のシナリオを示す図である。
【図１３Ａ】記載の構成を実施することができる汎用コンピューターシステムの概略ブロック図である。
【図１３Ｂ】記載の構成を実施することができる汎用コンピューターシステムの概略ブロック図である。
【発明を実施するための形態】
【００４９】
本開示は、仮想環境、並びに、仮想物体が仮想カメラ及びニアクリッピング平面に近接しているときに、仮想物体が仮想カメラの視野とどのように相互作用するのかに関する。記載の構成は、オクルージョンがカメラオペレーターの考えられ得る意図を反映していると判断された場合に、物体が視野の大部分をオクルードすることを可能にすることに関する。
【００５０】
本明細書に記載の構成は、図１に例示されるようなパフォーマンス競技場の状況で用いられることを意図している。図１に示すように、システム１００は、ほぼ長方形、長円形又は円形の競技フィールドが中央にあると仮定される競技場１１０を含み、１つ以上の環状に並んだカメラ１２０Ａ〜１２０Ｘが、競技場１１０を取り囲むことが可能になっている。図１に見られるように、競技場１１０は、単一の環状に並んだカメラ１２０Ａ〜１２０Ｘを備える。複数のカメラ１２０Ａ〜１２０Ｘのそれぞれは、競技場１１０に対して所定のロケーションに配置されている。記載の構成では、競技場１１０はフィールドであるが、他の構成では、競技場１１０は、音楽ステージ、シアター、公共の会場又は私有の会場とすることができる。図１の例におけるフィールド１１０は、少なくとも１つの物体１４０を含む。物体１４０は、単数若しくは複数の人、ボール、車両又は任意の構造物とすることができる。
【００５１】
図１に示すカメラ１２０Ａ〜１２０Ｘは、フィールド１１０上の全ての点が多数の視点から同時にキャプチャーされるように同じ時点でフレームを取得するよう同期される。幾つかの変形形態では、図１に示す環状に並んだカメラ１２０Ａ〜１２０Ｘ全てが用いられるわけではなく、逆に、競技場１１０の全周の幾つかのサブセットが用いられる。環状に並んだカメラ全てを用いない構成は、幾つかの特定の視点が事前に不要であると分かっているときに有利であり得る。
【００５２】
カメラ１２０Ａ〜１２０Ｘによってキャプチャーされたビデオフレームは、ネットワーク接続１３２１（図１３Ａ参照）を介して処理ユニット１３０５（図１３Ａ及び図１３Ｂ参照）に利用可能にされる前に、カメラのうちの１つ、例えばカメラ１２０Ａの近くで処理及び一時的に記憶される。処理ユニット１３０５は、フィールド１１０内の仮想カメラ１５０の位置、向き、ズーム及び場合によっては他のシミュレーションされたカメラ特徴を指定する制御入力をコントローラー１８０から受信する。コントローラー１８０は、通常、システム１００のユーザーによって操作され、カメラ１２０Ａ〜１２０Ｘのパラメーターを設定するのに適した任意のコントローラーとすることができる。図１３Ａに見られるように、処理ユニット１３０５は、コンピューターモジュール１３０１内に構成される。ただし、代替の実施態様では、分離したビデオ処理ユニットを用いて、記載の構成を実施することができる。
【００５３】
プロセッサとも呼ばれる処理ユニット１３０５は、フィールド１１０を取り囲むカメラ１２０Ａ〜１２０Ｘからの処理ユニット１３０５に利用可能なビデオストリームに基づいて、指定された仮想カメラビュー１９０を合成又は生成するように構成される。
【００５４】
「仮想カメラ」という表現は、計算的に得られた機能を有するカメラに関するものである。この機能は、単に任意の単一の物理カメラの出力ではなく、物理カメラ（カメラ１２０Ａ〜１２０Ｘ等）の間の補間等の方法によって、又は、シーンを取り囲む物理カメラ（１２０Ａ〜１２０Ｘ）からのデータを用いて構築されるモデル化された３Ｄシーンからのレンダリングによって、計算的に得られる。仮想カメラは、１つ以上の物理カメラから取得されたピクセルデータを用いて、仮想ビュー、例えばビデオシーケンスをレンダリングすることに関係している。仮想ビューは、仮想カメラの視野に関するものである。物理カメラ１２０Ａ〜１２０Ｘは、画像データ又はビデオデータをキャプチャーすることが可能な任意の画像キャプチャーデバイス、例えば、デジタルカメラ又はビデオカメラとすることができる。カメラ１２０Ａ〜１２０Ｘは、好ましくは、例えば、スポーツ放送の放送ビデオの生成に適した高解像度カメラである。
【００５５】
仮想カメラ位置の入力は、人間の仮想カメラオペレーターが生成することができ、ジョイスティック、図１３Ａのマウス１３０３等のマウス、又は複数の入力構成要素を備える専用コントローラーを含むコントローラー１８０等の同様のコントローラー等のユーザーインターフェースデバイスからの入力に基づくことができる。代替的に、仮想カメラ位置は、ゲームプレーの解析に基づいて完全自動で生成することができる。カメラの位置決めの幾つかの態様が人間のオペレーターによって指示され、それ以外が自動化アルゴリズムによって指示されるハイブリッド制御構成も可能である。例えば、粗い位置決めは、人間のオペレーターが実行することができ、安定化及び経路平滑化を含む微細な位置決めは、プロセッサ１３０５上で実行される自動化アルゴリズムが実行することができる。
【００５６】
処理ユニット１３０５は、当該技術において知られている画像ベースレンダリング方法を用いて、フレーム合成を実現する、すなわち、仮想カメラビューをレンダリングする、ように構成されている。画像ベースレンダリング方法は、既知の幾何学的配置の一組のカメラからのピクセルデータをサンプリングし、サンプリングされたピクセル情報を合成されたフレームに組み合わせることに基づいている。要求されたフレームのサンプルベースレンダリングに加えて、処理ユニット１３０５は、必要に応じて、サンプリングの不備をカバーして高品質の視覚的外観のフレームを作成する領域の合成、３Ｄモデリング、インペインティング又は補間を行うように構成することもできる。カメラ位置制御信号を生成するコントローラーデバイス１８０が、処理システム１００の実用的限界を認識することができるように、プロセッサ１３０５は、フレーム品質又は要求された視点のカメラカバレッジの完全性の形でフィードバックを提供するように構成することもできる。処理ユニット１３０５によって作成又はレンダリングされた仮想ビュー１９０のビデオストリームは、その後、制作デスク（図示せず）に提供することができる。これらのビデオストリームは、制作デスクにおいて合わせて編集され、放送ビデオが形成される。代替的に、ビデオストリームは、未編集のまま放送することもできるし、後の編纂に備えて記憶することもできる。
【００５７】
上述したシステム１００によって与えられる柔軟性は、スポーツカバレッジ等の放送送信においてこれまで予想されていなかった副次的な一組の問題を提起する。例えば、仮想カメラ１５０は、物理物体又はカメラオペレーターが特定の位置に存在する必要なく、フィールド１１０上で位置及び／又は向きを自由に移動させることができる。さらに、上述したように、仮想ビューにおける物体のクリッピングが発生する可能性がある。
【００５８】
上述したように、仮想カメラに関係した幾つかの既知の方法は、クリッピングを回避するために閾値距離を規定する。閾値距離を規定することによって、対象物体が視野を満たすことを可能にする問題と、仮想カメラの後方から接近する物体が視野を満たし、任意の可能な対象物体をオクルードすることを防止する問題とを同時に解決することは困難である。
【００５９】
図１３Ａ及び図１３Ｂは、様々な記載の構成を実施することができる汎用コンピューターシステム１３００を示している。
【００６０】
図１３Ａに見られるように、コンピューターシステム１３００は、コンピューターモジュール１３０１と、キーボード１３０２、マウスポインターデバイス１３０３、スキャナー１３２６、カメラ１３２７、及びマイクロフォン１３８０等の入力デバイスと、プリンター１３１５、ディスプレイデバイス１３１４及びラウドスピーカー１３１７を含む出力デバイスとを備える。外部変復調器（モデム）送受信機デバイス１３１６は、コンピューターモジュール１３０１が接続１３２１を介して通信ネットワーク１３２０に対して通信するのに用いることができる。通信ネットワーク１３２０は、インターネット、セルラー電気通信ネットワーク、又はプライベートＷＡＮ等のワイドエリアネットワーク（ＷＡＮ）とすることができる。接続１３２１が電話回線である場合、モデム１３１６は従来の「ダイヤルアップ」モデムとすることができる。代替的に、接続１３２１が高容量（例えば、ケーブル）接続である場合、モデム１３１６はブロードバンドモデムとすることができる。通信ネットワーク１３２０への無線接続には、無線モデムも用いることができる。
【００６１】
コンピューターモジュール１３０１は、通常、少なくとも１つのプロセッサユニット１３０５及びメモリユニット１３０６を備える。例えば、メモリユニット１３０６は、半導体ランダムアクセスメモリ（ＲＡＭ）及び半導体リードオンリーメモリ（ＲＯＭ）を有することができる。コンピューターモジュール１３０１は、ビデオディスプレイ１３１４、ラウドスピーカー１３１７及びマイクロフォン１３８０に結合するオーディオビデオインターフェース１３０７と、キーボード１３０２、マウス１３０３、スキャナー１３２６、カメラ１３２７、コントローラー１８０及び任意選択でジョイスティック又は他のヒューマンインターフェースデバイス（図示せず）に結合するＩ／Ｏインターフェース１３１３と、外部モデム１３１６及びプリンター１３１５のインターフェース１３０８とを含む複数の入力／出力（Ｉ／Ｏ）インターフェースも備える。幾つかの実施態様では、モデム１３１６は、コンピューターモジュール１３０１内、例えば、インターフェース１３０８内に組み込むことができる。コンピューターモジュール１３０１は、コンピューターシステム１３００を、ローカルエリアネットワーク（ＬＡＮ）として知られているようなローカルエリア通信ネットワーク１３２２に接続１３２３を介して結合することを可能にするローカルネットワークインターフェース１３１１も有する。図１３Ａに示すように、ローカル通信ネットワーク１３２２は、いわゆる「ファイアウォール」デバイス又は同様の機能のデバイスを通常は備える接続１３２４を介してワイドネットワーク１３２０にも結合することができる。ローカルネットワークインターフェース１３１１は、イーサネット回路カード、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線装置又はＩＥＥＥ８０２．１１無線装置を含むことができるが、非常に多くの他のタイプのインターフェースをインターフェース１３１１として実施することができる。
【００６２】
Ｉ／Ｏインターフェース１３０８及び１３１３は、シリアル接続及びパラレル接続のいずれか又は双方を提供することができる。シリアル接続は、通常、ユニバーサルシリアルバス（ＵＳＢ）標準規格に従って実施され、対応するＵＳＢコネクタ（図示せず）を有する。記憶デバイス１３０９が設けられ、通常、ハードディスクドライブ（ＨＤＤ）１３１０を備える。フロッピーディスクドライブ及び磁気テープドライブ（図示せず）等の他の記憶デバイスも用いることができる。不揮発性データ源として機能する光ディスクドライブ１３１２が通常設けられる。例えば、ポータブルメモリデバイス、そのような光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（商標））、ＵＳＢ−ＲＡＭ、ポータブル外部ハードドライブ、及びフロッピーディスクをシステム１３００への適切なデータ源として用いることができる。
【００６３】
コンピューターモジュール１３０１の構成要素１３０５〜１３１３は、通常、相互接続バス１３０４を介して、当業者に知られているコンピューターシステム１３００の従来の動作モードをもたらすように通信する。例えば、プロセッサ１３０５は、接続１３１８を用いてシステムバス１３０４に結合される。同様に、メモリ１３０６及び光ディスクドライブ１３１２は、接続１３１９によってシステムバス１３０４に結合される。記載の構成を実施することができるコンピューターの例は、ＩＢＭ−ＰＣ及び互換機、Ｓｕｎ  Ｓｐａｒｃｓｔａｔｉｏｎ、Ａｐｐｌｅ  Ｍａｃ（商標）又は同様のコンピューターシステムを含む。
【００６４】
記載の方法は、コンピューターシステム１３００を用いて実施することができ、説明される図３及び図４のプロセスは、コンピューターシステム１３００内で実行可能な１つ以上のソフトウェアアプリケーションプログラム１３３３として実施することができる。特に、図３及び図４の方法のステップは、コンピューターシステム１３００内で実行されるソフトウェア１３３３における命令１３３１（図１３Ｂ参照）によって実行される。ソフトウェア命令１３３１は、１つ以上の特定のタスクをそれぞれ実行する１つ以上のコードモジュールとして形成することができる。このソフトウェアは、２つの個別の部分に分割することもでき、第１の部分及び対応するコードモジュールは、記載の方法を実行し、第２の部分及び対応するコードモジュールは、第１の部分とユーザーとの間のユーザーインターフェースを管理する。
【００６５】
ソフトウェアは、例えば、以下で説明される記憶デバイスを含むコンピューター可読媒体に記憶することができる。ソフトウェアは、コンピューター可読媒体からコンピューターシステム１３００内にロードされ、その後、コンピューターシステム１３００によって実行される。そのようなソフトウェア又はコンピュータープログラムが記録されたコンピューター可読媒体は、コンピュータープログラム製品である。コンピューターシステム１３００におけるコンピュータープログラム製品の使用は、好ましくは、記載の構成を実施する有利な装置をもたらす。
【００６６】
ソフトウェア１３３３は、通常、ＨＤＤ１３１０又はメモリ１３０６に記憶される。ソフトウェアは、コンピューター可読媒体からコンピューターシステム１３００にロードされ、コンピューターシステム１３００によって実行される。したがって、例えば、ソフトウェア１３３３は、光ディスクドライブ１３１２によって読み出される光学的可読ディスク記憶媒体（例えば、ＣＤ−ＲＯＭ）１３２５に記憶することができる。そのようなソフトウェア又はコンピュータープログラムが記録されているコンピューター可読媒体は、コンピュータープログラム製品である。コンピューターシステム１３００においてコンピュータープログラム製品を用いることによって、好ましくは、記載の方法を実施する装置がもたらされる。
【００６７】
幾つかの場合には、アプリケーションプログラム１３３３は、１つ以上のＣＤ−ＲＯＭ１３２５上でコード化され、対応するドライブ１３１２を介して読み出されることでユーザーに供給することもできるし、代替的に、ユーザーがネットワーク１３２０又は１３２２から読み出すこともできる。またさらに、ソフトウェアは、他のコンピューター可読媒体からコンピューターシステム１３００内にロードすることができる。コンピューター可読記憶媒体は、記録された命令及び／又はデータを実行及び／又は処理のためにコンピューターシステム１３００に提供する任意の非一時的有形記憶媒体を指す。そのような記憶媒体の例は、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ（商標）ディスク、ハードディスクドライブ、ＲＯＭ若しくは集積回路、ＵＳＢメモリ、光磁気ディスク、又はＰＣＭＣＩＡカード等のコンピューター可読カードを含み、そのようなデバイスがコンピューターモジュール１３０１の内部にあるのか又は外部にあるのかを問わない。ソフトウェア、アプリケーションプログラム、命令及び／又はデータをコンピューターモジュール１３０１に提供することに同様に関与することができる一時的コンピューター可読伝送媒体又は非有形コンピューター可読伝送媒体の例には、無線伝送チャネル又は赤外線伝送チャネル、並びに別のコンピューター又はネットワーク化デバイスへのネットワーク接続、及び電子メール送信及びウェブサイト等に記録された情報を含むインターネット又はイントラネットが含まれる。
【００６８】
上述したアプリケーションプログラム１３３３の第２の部分及び対応するコードモジュールは、ディスプレイ１３１４上にレンダリング又は別の方法で表される１つ以上のグラフィカルユーザーインターフェース（ＧＵＩ）を実施するように実行することができる。通常はキーボード１３０２及びマウス１３０３の操作を通じて、コンピューターシステム１３００及びアプリケーションのユーザーは、機能的に適合可能な方法でインターフェースを操作して、ＧＵＩ（複数の場合もある）に関連したアプリケーションに制御コマンド及び／又は入力を提供することができる。ラウドスピーカー１３１７を介して出力される音声プロンプト及びマイクロフォン１３８０を介して入力されるユーザー音声コマンドを利用するオーディオインターフェース等の他の形態の機能的に適合可能なユーザーインターフェースも実施することができる。
【００６９】
図１３Ｂは、プロセッサ１３０５及び「メモリ」１３３４の詳細な概略ブロック図である。メモリ１３３４は、図１３Ａにおけるコンピューターモジュール１３０１がアクセスすることができる全てのメモリモジュール（ＨＤＤ１３０９及び半導体メモリ１３０６を含む）を論理的に集約したものを表している。
【００７０】
コンピューターモジュール１３０１に最初に電源が投入されると、パワーオンセルフテスト（ＰＯＳＴ）プログラム１３５０が実行される。ＰＯＳＴプログラム１３５０は、通常、図１３Ａの半導体メモリ１３０６のＲＯＭ１３４９に記憶されている。ソフトウェアを記憶するＲＯＭ１３４９等のハードウェアデバイスは、ファームウェアと呼ばれることがある。ＰＯＳＴプログラム１３５０は、適切に機能することを確保するためにコンピューターモジュール１３０１内のハードウェアを検査し、通常、プロセッサ１３０５、メモリ１３３４（１３０９、１３０６）、及び通常は同様にＲＯＭ１３４９に記憶された基本入出力システムソフトウェア（ＢＩＯＳ）モジュール１３５１が正常に動作するか否かを調べる。ＰＯＳＴプログラム１３５０の実行に成功すると、ＢＩＯＳ１３５１は、図１３Ａのハードディスクドライブ１３１０を起動する。ハードディスクドライブ１３１０の起動によって、ハードディスクドライブ１３１０に常駐するブートストラップローダープログラム１３５２が、プロセッサ１３０５を介して実行される。これによって、オペレーティングシステム１３５３がＲＡＭメモリ１３０６内にロードされ、ロードされると、オペレーティングシステム１３５３が動作を開始する。オペレーティングシステム１３５３は、プロセッサ管理、メモリ管理、デバイス管理、記憶装置管理、ソフトウェアアプリケーションインターフェース、及び汎用ユーザーインターフェースを含む様々な高レベル機能を実現するようにプロセッサ１３０５によって実行可能なシステムレベルアプリケーションである。
【００７１】
オペレーティングシステム１３５３は、コンピューターモジュール１３０１において動作する各プロセス又は各アプリケーションが、別のプロセスに配分されたメモリと衝突することなく実行されるのに十分なメモリを有することを確保するために、メモリ１３３４（１３０９、１３０６）を管理する。さらに、各プロセスが有効に動作することができるように、図１３Ａのシステム１３００において利用可能な種々のタイプのメモリは、適切に用いられなければならない。したがって、集約されたメモリ１３３４は、（別段の言及がない限り）メモリの特定のセグメントがどのように配分されるのかを示すことを意図したものではなく、コンピューターシステム１３００によってアクセス可能なメモリの全体図及びそのようなものがどのように用いられるのかを提供することを意図したものである。
【００７２】
図１３Ｂに示すように、プロセッサ１３０５は、制御ユニット１３３９、算術論理ユニット（ＡＬＵ）１３４０、及びキャッシュメモリと呼ばれることがあるローカルメモリ又は内部メモリ１３４８を含む複数の機能モジュールを備える。キャッシュメモリ１３４８は、通常、レジスタセクションに複数の記憶レジスタ１３４４〜１３４６を備える。１つ以上の内部バス１３４１は、これらの機能モジュールを機能的に相互接続する。プロセッサ１３０５は、通常、接続１３１８を用いて、システムバス１３０４を介して外部のデバイスと通信する１つ以上のインターフェース１３４２も有する。メモリ１３３４は、接続１３１９を用いてバス１３０４に結合される。
【００７３】
アプリケーションプログラム１３３３は、条件付き分岐命令及びループ命令を含むことができる命令シーケンス１３３１を含む。プログラム１３３３は、当該プログラム１３３３の実行に用いられるデータ１３３２も含むことができる。命令１３３１及びデータ１３３２は、メモリロケーション１３２８、１３２９、１３３０及び１３３５、１３３６、１３３７にそれぞれ記憶される。命令１３３１及びメモリロケーション１３２８〜１３３０の相対サイズに応じて、特定の命令は、メモリロケーション１３３０に示す命令によって示されるように単一のメモリロケーションに記憶することができる。代替的に、命令は、複数の部分にセグメンテーションすることができ、これらの部分のそれぞれは、メモリロケーション１３２８及び１３２９に示す命令セグメントによって示されるように、個別のメモリロケーションに記憶される。
【００７４】
一般に、プロセッサ１３０５には、当該プロセッサにおいて実行される一組の命令が与えられる。プロセッサ１３０５は、後続の入力を待機し、プロセッサ１３０５は、別の一組の命令を実行することによってこの入力に対処する。各入力は、入力デバイス１３０２、１３０３のうちの１つ以上によって生成されたデータ、ネットワーク１３２０、１３０２のうちの一方にわたる外部ソースから受信されたデータ、記憶デバイス１３０６、１３０９のうちの一方から取り出されたデータ、又は対応するリーダー１３１２内に挿入された記憶媒体１３２５から取り出されたデータを含む複数のソースのうちの１つ以上から提供することができる。これらは全て図１３Ａに示されている。幾つかの場合には、これらの一組の命令の実行によって、データが出力される場合がある。実行は、メモリ１３３４へのデータ又は変数の記憶を伴う場合もある。
【００７５】
記載された構成は、メモリ１３３４内の対応するメモリロケーション１３５５、１３５６、１３５７に記憶された入力変数１３５４を用いる。記載された構成は、メモリ１３３４内の対応するメモリロケーション１３６２、１３６３、１３６４に記憶される出力変数１３６１を生成する。中間変数１３５８は、メモリロケーション１３５９、１３６０、１３６６及び１３６７に記憶することができる。
【００７６】
図１３Ｂのプロセッサ１３０５を参照すると、レジスタ１３４４、１３４５、１３４６、算術論理ユニット（ＡＬＵ）１３４０、及び制御ユニット１３３９は、プログラム１３３３を構成する命令セット内の命令ごとに「フェッチ、デコード、及び実行」のサイクルを実行するのに必要とされるマイクロオペレーションのシーケンスを実行するようにともに動作する。フェッチ、デコード、及び実行の各サイクルは、
メモリロケーション１３２８、１３２９、１３３０から命令１３３１をフェッチするか又は読み出すフェッチ動作と、
どの命令がフェッチされたのかを制御ユニット１３３９が判断するデコード動作と、
制御ユニット１３３９及び／又はＡＬＵ１３４０が命令を実行する実行動作と、
を含む。
【００７７】
その後、次の命令の更なるフェッチ、デコード、及び実行のサイクルを実行することができる。同様に、制御ユニット１３３９が値をメモリロケーション１３３２に記憶するか又は書き込む記憶サイクルを実行することができる。
【００７８】
図３及び図４のプロセスにおける各ステップ又は各サブプロセスは、プログラム１３３３の１つ以上のセグメントに関連付けられ、ともに動作するプロセッサ１３０５内のレジスタセクション１３４４、１３４５、１３４７、ＡＬＵ１３４０、及び制御ユニット１３３９によって実行され、プログラム１３３３の上記セグメントの命令セット内の命令ごとにフェッチ、デコード、及び実行のサイクルが実行される。
【００７９】
記載の方法は、代替的に、図３及び図４の機能又はサブ機能を実行する１つ以上の集積回路等の専用ハードウェアで実施することができる。そのような専用ハードウェアは、グラフィックプロセッサ、デジタル信号プロセッサ、又は１つ以上のマイクロプロセッサと、関連メモリとを備えることができる。
【００８０】
図２は、記載の構成において用いられる仮想カメラ２１０（仮想カメラ１５０と同様のもの）の正投影図である。仮想カメラ２１０は視野２５０を有する。視野２５０は、エッジ２２０、ニアクリッピング平面２３０及びファークリッピング平面２４０によって制限される。視野２５０に入る物体は、仮想カメラ２１０に可視になる。ニアクリッピング平面２３０は、仮想カメラ２１０に近接した深度に設定される一方、ファークリッピング平面２４０は、カメラ２１０から相対的に遠方の深度に設定される。仮想カメラ２１０がファークリッピング平面２４０を有していても、記載の構成は、ニアクリッピング平面２３０に関係する。参照を容易にするために、以下の全ての表現は、ニアクリッピング平面、例えばニアクリッピング平面２３０のみに関する仮想カメラ、例えば仮想カメラ２１０を描写したものである。
【００８１】
フィールド１１０を動き回っている物体は、カメラオペレーターが認識することなく、あらゆる方向から仮想カメラ２１０の視野２５０に入る可能性があり、目的とする対象物体のカメラオペレーターのフレーミングを撹乱するオクルージョンを引き起こす。
【００８２】
記載の構成は、物体の軌道及び仮想カメラの視野から導出される求められたオクルージョン測定量に基づいて仮想ビューに物体をレンダリングする方法に関する。遷移効果を物体に適用することによって、物体がニアクリッピング平面によってクリッピングされているとき、仮想カメラが物体をレンダリングしないことが確保される。オクルージョン測定量を求めると、記載の構成は、視野を撹乱的にオクルードする物体に、撹乱的オクルージョンを低減する遷移効果を適用することが可能になる。本開示の文脈において、撹乱的オクルージョンは、対象となる可能性のある物体をオクルードすること又は視野の所定の部分、例えば、視野の５０％よりも多くをオクルードすることに関する。
【００８３】
図３は、仮想カメラ視野に物体をレンダリングする方法３００を示している。方法３００は、通常、ハードドライブ１３１０に記憶されるとともにプロセッサ１３０５の制御下で実行されるアプリケーション１３３３の１つ以上のモジュールとして実施される。
【００８４】
方法３００は、取得ステップ３１０から開始する。ステップ３１０において、仮想カメラ２１０の視野２２０を反映したデータが取得される。この視野データは、プロセッサ１３０５が図１の例における物理カメラ１２０Ａ〜１２０Ｘから受信されたビデオデータを用いることによって仮想カメラを構築することから取得される。視野データは、カメラオペレーターが、適切な場合に、コントローラー１８０からの入力データを用いて物理カメラ１２０Ａ〜１２０Ｘのパラメーターに対して行った変更を反映するように更新される。
【００８５】
方法３００は、プロセッサ１３０５の実行下で、ステップ３１０から取得ステップ３２０に続く。ステップ３２０において、フィールド１１０上の物体の位置データが取得される。１つの構成では、物体は、スポーツフィールド上の人である。他の構成では、物体は、人ではなく、ボール若しくは車両又は或る他のタイプの物体とすることができる。物体の位置データを取得する１つの方法は、物体に取り付けられた追跡デバイス（図示せず）によるものである。追跡デバイスは、無線接続、例えば、ＩＥＥＥ８０２．１１又はＲＦＩＤを通じて物体の座標を中央ロケーションに送信するＧＰＳ受信機を備える。代替の構成では、位置データは、ビデオフレームを再構築したものから抽出することができ、一例は、カメラ１２０Ａ〜１２０Ｘのアレイ及び対応するビューを用いることである。アプリケーション１３３３は、光学式文字認識（ＯＣＲ）を用いて、名前及びプレーヤーの番号等の識別特徴を物体から抽出する。代替の構成では、位置データを、構築された３Ｄモデルから抽出することができる。競技場が空であり、ベースラインを提供しているときに、システム１００を最初に始動させることができる。物体が競技場に入場し、３Ｄモデルに表されると、現在の３Ｄモデルとベースライン３Ｄモデルとの間の相違が、物体の位置を示す。他の構成では、アプリケーション１３３３は、物体のサイズ、移動スピード、及び位置に基づく一組のルールに従って、モデルにおいて特定される物体のタイプを分類する。例えば、競技場の表面及び上空を高速に動く相対的に小さな物体は、ボールとして分類され、地面に沿って動くほぼ１．７ｍの高さの中程度のサイズの物体は、人として分類される。
【００８６】
方法３００は、プロセッサ１３０５の実行下で、ステップ３２０から決定ステップ３３０に続く。ステップ３３０において、物体の軌道が求められる。物体の軌道を求める実施態様がある。１つの構成では、アプリケーション１３３３は、以前にキャプチャーされたイベントを仮想的に再構築したもの（リプレー）を生成し、この場合、物体の移動は知られている。別の構成では、アプリケーション１３３は、仮想的に再構築したもの（ライブ）をリアルタイムで生成し、この場合、物体の軌道は、予測軌道である。予測軌道は、例えば、現在の軌道に基づいて、現在の位置並びに現在のスピード及び速度を用い、次に、その後の時点を外挿して求められる。
【００８７】
方法３００は、プロセッサ１３０５の実行下で、ステップ３３０から決定ステップ３４０に続く。ステップ３４０において、物体のオクルージョン測定量が求められる。ステップ３４０において実施されるオクルージョン測定量を求める方法４００が、図４に関して以下で説明される。オクルージョン測定量を求める際、ステップ３４０は、視覚効果である遷移効果を選択するようにも動作する。
【００８８】
方法３００は、プロセッサ１３０５の実行下で、ステップ３４０から適用ステップ３５０に続く。ステップ３５０において、遷移効果が、求められたオクルージョン測定量に基づいて物体に適用される。遷移効果は、軌道に沿って動く物体の位置に従って適用される。遷移効果の適用は、ビュー１９０等の仮想ビューに物体をレンダリングするように動作する。１つの構成では、透明遷移効果が物体に適用される。一方、他の構成は、物体の表示の有無の選択、フェードイン、フェードアウト、色変換、混色、明度、彩度、テクスチャ、視覚効果、又はスタイルの変更又は変換等の遷移効果のうちの１つ又は組み合わせを適用する。遷移効果は、物体のタイプ及び物体の相対サイズに基づくこともできる。例えば、透明遷移効果は、人に用いることができ、テクスチャ遷移効果は、ゴールポストのような構造物に用いることができ、色遷移効果は、ボールに用いることができる。
【００８９】
図４は、物体のオクルージョン測定量を求める方法４００を示している。方法４００は、通常、ハードドライブ１３１０に記憶されるとともにプロセッサ１３０５の制御下で実行されるアプリケーション１３３３の１つ以上のモジュールとして実施される。
【００９０】
方法４００は、決定ステップ４１０から開始する。ステップ４１０において、物体のオクルージョン比が、物体が存在すると予測される仮想カメラ視野の各フレームについて求められる。オクルージョン比は、物体がシーンの背景をどの程度オクルードするのかの比に関するものである。
【００９１】
オクルージョン比は、問題の物体がビュー内の唯一の物体であるかのように、（物体追跡方法を通じて）物体ごとに求められる。物体ごとにオクルージョン比を求める際、オクルージョン比を求めることは、どれくらいの量のオクルージョンが生成されたかの視聴者の印象に影響を与え得る、主要な物体の前方にある他の物体によって影響されない。
【００９２】
方法４００は、ステップ４１０から生成ステップ４２０に続く。ステップ４２０において、アプリケーション１３３３は、オクルージョン比の経時的な変化に基づいて、オクルージョン測定量とも呼ばれるオクルージョンプロファイルを生成するように実行される。オクルージョンプロファイル（量）は、物体による仮想ビューのオクルージョンの評価量を表す。オクルージョンプロファイルの変動が、物体の軌道に基づいて求められる。オクルージョンプロファイルの態様が、図５に関して説明される。オクルージョン比は、物体が仮想ビューをどの程度オクルードするのかの比に関するものであるので、オクルージョンプロファイルは、物体のサイズに関するものである。
【００９３】
方法４００は、ステップ４２０から割り当てステップ４３０に続く。ステップ４３０において、オクルージョン測定量が、オクルージョンプロファイルに基づいて物体に割り当てられる。例えば、選択されたオクルージョン測定量は、仮想カメラを表すデータに関連付けてメモリ１３０９に記憶することができる。方法４００は、ステップ４３０の後に終了する。
【００９４】
図５は、オクルージョンプロファイルのグラフ５００の一例を示している。グラフ５００は、視野に対する物体のオクルージョン比の経時的な変化をチャートにしている。ｘ軸５０１は、時間をマッピングしている。時間は、フレーム数に関して測定することもできるし、標準タイムコードで測定することもできる。ｙ軸５０２は、オクルージョン比に基づくオクルージョンの量をグラフ化している。ライン５０３は、物体のオクルージョンの経時的な変化をプロファイル化することによるオクルージョンプロファイルを表している。ライン５０４は、物体が０よりも大きなオクルージョンを有して以降、物体がピークオクルージョンに達するまでの時間の量を示している。
【００９５】
ライン５０４の一方の端部における矢印５０９は、オクルージョンプロファイルの端部がグラフ５００の境界を越えていることを示している。ライン５０５は、物体のピークオクルージョン以降、物体のオクルージョンが０に達する（例えば、クリッピング平面２３０によって完全にクリッピングされる）までの時間の量を示している。ライン５０４及び５０５によって示される時間は加算されて、物体が視野２５０内に存在する全時間が求められる。ライン５０４及び５０５によって示される時間の量は、物体のオクルージョン測定量を求める際に用いられる。２つの点線ライン５０６及び５０７は、それぞれ上側オクルージョン閾値及び下側オクルージョン閾値を表す。上側オクルージョン閾値５０６及び下側オクルージョン閾値５０７は、通常、ユーザーが特定の状況（例えば、スポーツのタイプ）又は競技場を調べることによって決定される。上側オクルージョン閾値５０６及び下側オクルージョン閾値５０７は、遷移効果を物体に適用する際に用いられる。
【００９６】
図６Ａ〜図６Ｄは、この場合には人である物体が仮想カメラの視野内から仮想カメラに接近している一例示のシナリオを示している。
【００９７】
図６Ａは、シーン６００のトップダウンビューを示している。物体６０１は、軌道６０２に従って仮想カメラ６０３に接近している。仮想カメラ６０３は視野６６０を有する。点Ａ  ６０５、Ｂ  ６０６、Ｃ  ６０７及びＤ  ６０８は、軌道６０２に沿って移動する物体６０１の連続した時点をそれぞれ表している。点Ａ  ６０５、Ｂ  ６０６、Ｃ  ６０７は、物体６０１がカメラ６０３のニアクリッピング平面６０４の前方にあるときの時点に関するものである。点Ｄ  ６０８は、物体６０１がニアクリッピング平面６０４を通過したときの時点に関するものである。仮想カメラビューのファークリッピング平面は、参照を容易にするために図６Ａから（同様に図７Ａ〜図１２Ａからも）除外されている。
【００９８】
シーケンス６２０（図６Ｂ）は、物体６０１が点Ａ  ６０５、Ｂ  ６０６、Ｃ  ６０７及びＤ  ６０８にあり、記載の構成が実施されないときに、仮想カメラ６０３によってキャプチャー又はレンダリングされたビデオフレームを参考として示している。シーケンス６２０のフレームＡ  ６２１、Ｂ  ６２２、Ｃ  ６２３及びＤ  ６２４はそれぞれ、点Ａ、Ｂ、Ｃ、及びＤ（６０５〜６０８）における仮想カメラ６０３に接近している物体６２５（物体６０１に対応する）を示している。物体６２５は、フレームＣ  ６２３とＤ  ６２４との間のフレームにおいてニアクリッピング平面６０４によって視覚的にクリッピングされる。
【００９９】
図６Ｃは、ステップ４２０の実行の結果としての物体６０１のオクルージョンプロファイルの対応するグラフ６３０を示している。オクルージョンプロファイル６３１は、物体６０１が引き起こすオクルージョンの量を視野６６０に対して経時的に示している。物体６０１はカメラ６０３の視野に既に存在するので、少量のオクルージョンがプロファイル６３１の開始時に存在する。図６Ａの点Ａ  ６０５、Ｂ  ６０６、Ｃ  ６０７及びＤ  ６０８は、それぞれマーキングＡ  ６３２、Ｂ  ６３３、Ｃ  ６３４及びＤ  ６３５としてオクルージョンプロファイル６３１に表される。マーキングＣ  ６３４は、クリッピング平面６０４による物体６０１のクリッピングが開始され、その結果、物体のオクルージョンが低下する前のピークオクルージョンの時点を表している。マーキングＤ  ６３５は、物体６０１による瞬間オクルージョンが０に達し、物体６０１がビューから完全にクリッピングされたことを表している。図６Ｃに示すように、オクルージョンプロファイル（測定量）６３１は、物体６０１による仮想視野のオクルージョンの評価量を表し、プロファイル６３１の変動は、物体６０１の軌道６０２に基づいて求められる。
【０１００】
ステップ４３０の実行によって、オクルージョン測定量が、オクルージョンプロファイル６３１の求められた変動に基づいて物体に割り当てられる。ライン６３６及び６３７によって示される時間の量を加算することによって、物体が視野６６０に存在する全時間が求められる。図６Ａ〜図６Ｄのシナリオにおいて、アプリケーション１３３３は、遷移効果が、クリッピング平面６０４に引き起こされるあらゆる物体クリッピングを隠すことによって適用される前に、物体が視野６６０の可能な限り多くをオクルードすることを可能にするように実行される。物体は、ライン６３６によって示される時間の量を求めることによって、視野の可能な限り多くをオクルードすることを可能にされる。ライン６３６によって示される時間の量が、所定の閾値、例えば１秒を上回っている場合、物体６０１は、視野６６０における存在が確立しており、遷移効果を適用する時刻に達するまで存在し続ける。所定の閾値は、通常、ユーザーがシステム１００を調べることによって決定される。物体の遷移効果がステップ４３０において求められると、ステップ３５０において、オクルージョン閾値６３８及び６３９を用いて、遷移効果が適用される。ステップ４３０は、透明等の遷移効果と、仮想カメラ６０３によって生成されたビデオシーケンスに遷移効果を適用する時とを選択することによって、オクルージョン測定量を割り当てるように動作する。
【０１０１】
ステップ３５０の実行における遷移効果の適用は、オクルージョン閾値６３８及び６３９（図５のオクルージョン閾値５０６及び５０７と同様のもの）に関係している。図６Ａ〜図６Ｄの例では、アプリケーション１３３３は、オクルージョンプロファイル６３１が、マークＢ  ６３３において上側オクルージョン閾値６３８を横切ったときに、遷移効果を開始し、マークＣ  ６３４において遷移効果を完了する。図６Ａ〜図６Ｄの例では、遷移効果は、マーキングＤ  ６３５において用いられない。したがって、遷移効果は、物体６０１が軌道６０２に沿って移動するときの物体６０１の位置に従って適用される。
【０１０２】
シーケンス６５０（図６Ｄ）は、物体６０１が点Ａ  ６０５、Ｂ  ６０６、Ｃ  ６０７及びＤ  ６０８に存在し、記載の構成が適用されたときに、仮想カメラ６０３によってキャプチャーされたフレームを示している。シーケンス６５０のフレームＡ  ６５１、Ｂ  ６５２、Ｃ  ６５３及びＤ  ６５４は、仮想カメラ６０３に接近している物体６５５（物体６０１に対応する）をそれぞれ示している。ステップ３５０の実行の結果として、フレームＢ  ６５２において、物体６５５は可視であり、フレームＣ  ６５３では、物体６５６（６５５に対応する）が透明となり視聴者に知覚できない（点線によって示す）ように、遷移効果が適用される。フレームＣ  ６５３とＤ  ６５４との間において、物体６０１はクリッピングされるが、物体６０１は透明であるので、仮想カメラ６０３は物体６０１をレンダリングしない。
【０１０３】
図７Ａ〜図７Ｄは、この場合には人である物体が、仮想カメラの後方から仮想カメラに接近し、仮想カメラの視野内に入っていく一例示のシナリオを示している。
【０１０４】
図７Ａは、シーン７００のトップダウンビューを示している。物体７０１は、軌道７０２に従って仮想カメラ７０３に接近している。仮想カメラ７０３は視野７６０を有する。点Ａ  ７０５、Ｂ  ７０６、Ｃ  ７０７及びＤ  ７０８は、軌道７０２に沿って移動する物体７０１の連続した時点をそれぞれ表している。点Ａ  ７０５は、物体７０１が仮想カメラ７０３のニアクリッピング平面７０４の後方にあるときの時点に関するものである。点Ｂ  ７０６、Ｃ  ７０７及びＤ  ７０８は、物体７０１がニアクリッピング平面７０４を通過した時点に関するものである。
【０１０５】
図７Ｂのシーケンス７２０は、物体７０１がそれぞれ点Ａ  ７０５、Ｂ  ７０６、Ｃ  ７０７及びＤ  ７０８にあり、記載の構成が実施されないときに、仮想カメラ７０３によってキャプチャーされたビデオフレームを参考として示している。シーケンス７２０のフレームＡ  ７２１、Ｂ  ７２２、Ｃ  ７２３及びＤ  ７２４は、物体７２５（物体７０１に対応する）が視野７６０に入り、仮想カメラ７０３から遠ざかっていることをそれぞれ示している。物体７２５は、フレームＡ  ７２１とＢ  ７２２との間のフレームにおいてニアクリッピング平面７０４によって視覚的にクリッピングされる。
【０１０６】
図７Ｃは、ステップ４２０の実行の結果としての物体７０１のオクルージョンプロファイルの対応するグラフ７３０を示している。オクルージョンプロファイル７３１は、物体７０１が引き起こすオクルージョンの量を経時的に示している。点Ａ  ７０５、Ｂ  ７０６、Ｃ  ７０７及びＤ  ７０８は、オクルージョンプロファイル７３１にそれぞれマーキングＡ  ７３２、Ｂ  ７３３、Ｃ  ７３４及びＤ  ７３５として表される。物体７０１は、視野７６０の外部で始動するので、プロファイル７３１は、点Ａ  ７３２によって表されるようにゼロオクルージョンから開始する。マーキングＢ  ７３３は、物体７０１が視野７６０に入り、クリッピング平面７０４によるクリッピングが停止した後のピークオクルージョンの時点を表している。
【０１０７】
ステップ４３０は、人７０１の遷移効果を選択することによってオクルージョン測定量を割り当てるように実行される。ステップ４３０においてライン７３６及び７３７によって示される時間の量を加算することによって、物体７０１が視野７６０に存在する全時間が求められる。図７Ａ〜図７Ｄでは、記載の構成は、物体７０１が視野７６０に入ることによって引き起こされるあらゆる物体クリッピングを隠すように動作するが、物体７０１が視野７６０に入るときに撹乱的オクルージョンを引き起こすことを防止するようにも動作する。アプリケーション１３３は、ライン７３６によって示される時間の量に基づいて、物体７０１が撹乱的オクルージョンを引き起こすと判断する。ライン７３６によって示される時間の量が、閾値、例えば１秒未満である場合、ステップ４３０の実行によって、物体７０１が視野７６０に突然現れることによって視野７６０に撹乱が引き起こされると判断される。物体７０１を視野７６０に徐々に導入する遷移効果が割り当てられる。したがって、この遷移効果は、クリッピング平面７４０に対する物体７０１の位置に基づいて決定される。
【０１０８】
遷移効果が決定されると、ステップ３５０において、オクルージョン閾値７３８及び７３９を用いて、遷移効果が適用される。図７Ａ〜図７Ｄの例では、ステップ３５０における遷移効果の適用は、オクルージョンプロファイル７３１が第１の閾値要件を満たす（マークＣ  ７３４において上側オクルージョン閾値７３８を横切る）と開始し、オクルージョンプロファイルが第２の閾値要件を満たす（マークＤ  ７３５において下側閾値を横切る）と完了する。
【０１０９】
図７Ｄのシーケンス７５０は、物体７０１が点Ａ  ７０５、Ｂ  ７０６、Ｃ  ７０７及びＤ  ７０８に存在し、記載の構成が実施されたときに、仮想カメラ７０３によってレンダリングされたビデオフレーム７５１〜７５４を示している。シーケンス７５０のフレームＡ  ７５１、Ｂ  ７５２、Ｃ  ７５３及びＤ  ７５４は、仮想カメラ７０３の後方から仮想カメラ７０３に接近し、その後、仮想カメラ７０３から離れていく物体７５５（物体７０１に対応する）をそれぞれ示している。ステップ３５０の実行の結果、フレームＣ  ７５３では、物体７５５は、透明となるように又は視聴者に知覚できないようにレンダリングされ（点線によって示す）、フレームＤ  ７５４では、物体７５６（物体７５５に対応する）は可視である。フレームＢ  ７５２とＣ  ７５３との間で、物体７０１はクリッピングされるが、物体７０１が実質的に透明又は不可視になるように遷移効果が適用されるので、仮想カメラ７０３は、物体７０１をレンダリングしない。
【０１１０】
図８Ａ〜図８Ｄは、この場合は人である物体が、仮想カメラの後方から当該カメラに接近し、当該仮想カメラの視野内に斜めに入っていく一例示のシナリオを示している。
【０１１１】
図８Ａは、シーン８００のトップダウンビューを示している。人である物体８０１は、軌道８０２に従って仮想カメラ８０３に接近している。カメラ８０３は視野８６０を有する。点Ａ  ８０５、Ｂ  ８０６、Ｃ  ８０７及びＤ  ８０８は、軌道８０２に沿って移動する物体８０１の連続した時点をそれぞれ表している。点Ａ  ８０５は、物体８０１がニアクリッピング平面８０４の後方にあるときの時点を表している。点Ｂ  ８０６、Ｃ  ８０７及びＤ  ８０８は、物体８０１がニアクリッピング平面８０４を通過した時点を表している。
【０１１２】
図８Ｂのシーケンス８２０は、物体８０１が点Ａ  ８０５、Ｂ  ８０６、Ｃ  ８０７及びＤ  ８０８にあり、記載の方法が実施されないときに、仮想カメラ８０３によってキャプチャーされたビデオフレームを参考として示している。シーケンス８２０のフレームＡ  ８２１、Ｂ  ８２２、Ｃ  ８２３及びＤ  ８２４は、物体８２５（物体８０１に対応する）が視野８６０に斜めに入り、仮想カメラ８０３から遠ざかっていることをそれぞれ示している。物体８２５は、フレームＡ  ８２１とフレームＢ  ８２２との間のフレームにおいてニアクリッピング平面８０４によって視覚的にクリッピングされる。
【０１１３】
図８Ｃは、ステップ４２０の実行の結果としての物体８０１のオクルージョンプロファイルの対応するグラフ８３０を示している。オクルージョンプロファイル８３１は、物体８０１が引き起こすオクルージョンの量を視野８６０に対して経時的に示している。図８Ａの点Ａ  ８０５、Ｂ  ８０６、Ｃ  ８０７及びＤ  ８０８は、オクルージョンプロファイル８３１にそれぞれマーキングＡ  ８３２、Ｂ  ８３３、Ｃ  ８３４及びＤ  ８３５として表される。物体８０１は、視野８６０の外部で開始するので、プロファイル８３１は、点Ａ  ８３２によって表されるようにゼロオクルージョンから開始する。マーキングＢ  ８３３は、物体８０１が視野８６０に入り、クリッピング平面８０４によるクリッピングが停止した後のピークオクルージョンの時点を表している。
【０１１４】
方法４００は、ステップ４３０に続き、物体７０１の遷移効果を決定する。ステップ４３０においてライン８３６及び８３７によって示される時間の量を加算することによって、物体８０１が視野８６０に存在する全時間が求められる。図８Ａ〜図８Ｄの例では、記載の構成は、物体８０１が視野８６０に入ることによって引き起こされるあらゆる物体クリッピングを隠すように遷移効果を選択するよう動作する。図８Ａ及び図８Ｂでは、物体は、撹乱的オクルージョンを引き起こさない。なぜならば、ライン８３６によって示される時間の量が時間閾値（例えば、図８Ｃでは１秒）未満であっても、ピークオクルージョン（マークＢ  ８３３）は、許容可能な限度内にあるからである。許容可能な限度は、上側オクルージョン閾値８３８未満で発生するオクルージョンに関するものである。
【０１１５】
選択された遷移効果は、ステップ３５０において適用される。アプリケーション１３３３が物体８０１の遷移効果を決定すると、オクルージョン閾値８３８及び８３９を用いて、遷移効果が適用される。ステップ３５０において、アプリケーション１３３３は、オクルージョンプロファイル８３１がオクルージョン閾値８３８未満でピークに達するので、マークＢ  ８３３において遷移効果を開始する。アプリケーション１３３３は、オクルージョンプロファイル８３１がマークＣ  ８３４において下側閾値８３９を横切ると、遷移を完了する。したがって、遷移効果は、オクルージョンプロファイル（量）８３１が少なくとも１つの閾値を満たすことに基づいて適用される。
【０１１６】
図８Ｄのシーケンス８５０は、物体８０１が点Ａ  ８０５、Ｂ  ８０６、Ｃ  ８０７及びＤ  ８０８に存在し、記載の構成が実施されたときに、仮想カメラ８０３によってキャプチャーされたビデオフレームを示している。シーケンス８５０のフレームＡ  ８５１、Ｂ  ８５２、Ｃ  ８５３及びＤ  ８５４は、視野８６０に斜めに入り、カメラ８０３から遠ざかっていく物体８５５（物体８０１に対応する）をそれぞれ示している。ステップ３５０の実行の結果として、物体８５５は、フレームＢ  ８５２において物体８５５を不可視にレンダリングする遷移効果（点線によって示される）が適用され、物体８５６は、フレームＣ  ８５３において可視である。フレームＡ  ８５１とＢ  ８５２との間において、物体８５５はクリッピングされるが、カメラ８０３は、選択された遷移効果が透明又は不可視に関するものであるので、物体８５５をレンダリングしない。
【０１１７】
図９Ａ〜図９Ｄは、この場合は人である物体が、仮想カメラに相対的に近接して、仮想カメラの視野を横断して移動している一例示のシナリオを示している。
【０１１８】
図９Ａは、シーン９００のトップダウンビューを示している。物体９０１は、軌道９０２に従って仮想カメラ９０３に接近している。仮想カメラ９０３は視野９６０を有する。点Ａ  ９０５、Ｂ  ９０６及びＣ  ９０７は、軌道９０２に沿って移動する物体９０１の連続した時点をそれぞれ表している。点Ａ  ９０５は、物体９０１が視野９６０に入る時点を表している。点Ｂ  ９０６は、物体９０１が視野９６０に完全に現れている時点を表している。点Ｃ  ９０７は、物体９０１が視野９６０から出て行く時点を表している。
【０１１９】
図９Ｂのシーケンス９２０は、物体９０１が点Ａ  ９０５、Ｂ  ９０６及びＣ  ９０７にあり、記載の構成が実施されないときに、仮想カメラ９０３によってキャプチャーされたビデオフレームを参考として示している。シーケンス９２０のフレームＡ  ９２１、Ｂ  ９２２及びＣ  ９２３は、視野９６０に入り、視野９６０を横断して移動する物体９２４（物体９０１に対応する）を点Ａ  ９０５、Ｂ  ９０６及びＣ  ９０７においてそれぞれ示している。物体９２５は、視野９６０に高速に入り、その後、去って行き、フレームＡ  ９２１、Ｂ  ９２２及びＣ  ９２３においてオクルージョンを引き起こす。
【０１２０】
図９Ｃは、ステップ４２０の実行の結果としての物体９０１のオクルージョンプロファイルのグラフ９３０を示している。オクルージョンプロファイル９３１は、物体９０１が視野９６０に引き起こすオクルージョンの量を経時的に示している。点Ａ  ９０５、Ｂ  ９０６及びＣ  ９０７は、オクルージョンプロファイル９３１にそれぞれマーキングＡ  ９３２、Ｂ  ９３３及びＣ  ９３４として表される。マーキングＢ  ９３３は、物体９０１が視野９６０に入った後のピークオクルージョンの時点を表している。
【０１２１】
ステップ４３０は、物体９０１に遷移効果を割り当てるように実行される。ステップ４３０においてライン９３６及び９３７によって示される時間の量を加算することによって、物体９０１が視野９６０に存在する全時間が求められる。図９Ａ〜図９Ｄの例では、記載の構成は、物体９０１が、視野９６０に入るときに、撹乱的オクルージョンを引き起こすことを防止するように動作する。アプリケーション１３３３は、オクルージョンプロファイル９３１が上側オクルージョン閾値９３８を越えていると判断することによって、物体９０１が撹乱的オクルージョンを引き起こすと判断する。物体９０１がオクルージョンを引き起こすと判断した後、ライン９３６及び９３７によって示される時間の量が組み合わされ、全時間が最小出現閾値（例えば、１秒）未満であると判断される。オクルージョンプロファイル８３１は、物体９０１がオクルージョンを引き起こし、視野９６０に相対的に高速に入って出て行くことを示しているので、アプリケーション１３３３は、物体９０１を視野９６０内に移行させないことを選択する。遷移効果は、物体９０１が視野９６０に関連した仮想ビューに存在する時間の量に基づいて効果的に決定される。さらに、遷移効果は、物体が仮想ビューに存在する時間の量を１秒の閾値と比較することによって決定される。閾値は、幾つかの構成では、ユーザー又は視聴者を調べることによって求めることができる。ステップ４３０は、「表示しない」という遷移効果、又は、幾つかの構成では透明の遷移効果を適用するように動作する。
【０１２２】
ステップ３５０は、決定された透明を適用するように実行される。図９Ｄにおけるシーケンス９５０は、物体９０１が点Ａ  ９０５、Ｂ  ９０６及びＣ  ９０７に存在し、記載の構成が実施されたときに、仮想カメラ９０３によってキャプチャーされたビデオフレームを示している。ステップ３５０の実行の結果として、フレームＡ  ９５１、Ｂ  ９５２及びＣ  ９５３において、物体９５４は、（点線９５４によって示されるように）透明としてレンダリングされる。図９Ｄの例では、遷移効果は、オクルージョンプロファイル９３１がオクルージョン閾値９３８と９３９との間にあるフレームではなく、シーケンス９５０における全てのフレームについて適用される。
【０１２３】
図１０Ａ〜図１０Ｄは、この場合はボールである物体が、カメラに近接して、カメラの視野を横断して移動している一例示のシナリオを示している。
【０１２４】
図１０Ａは、シーン１０００のトップダウンビューを示している。物体１００１であるボールは、軌道１００２に従って仮想カメラ１００３に接近している。仮想カメラ１００３は視野１０６０を有する。点Ａ  １００５、Ｂ  １００６及びＣ  １００７は、軌道１００２に沿って移動するボール１００１の連続した時点をそれぞれ表している。点Ａ  １００５は、物体１００１が視野１０６０に入る時点に関するものである。点Ｂ  １００６は、物体１００１が視野１０６０に完全に現れている時点を表している。点Ｃ  １００７は、物体が視野１０６０から出て行く時点に関するものである。仮想カメラ１００３はニアクリッピング平面１００４を有する。点Ａ  １００５、Ｂ  １００６及びＣ  １００７は、全てクリッピング平面１００４の外側にある。
【０１２５】
図１０Ｂは、物体１００１が点Ａ  １００５、Ｂ  １００６及びＣ  １００７にあり、記載の構成が実施されないときに、仮想カメラ１００３によってキャプチャーされたビデオフレームのシーケンス１０２０を参考として示している。シーケンス１０２０のフレームＡ  １０２１、Ｂ  １０２２及びＣ  １０２３は、視野１０６０に入り、視野１０６０を横断して移動する物体１０２４（ボール１００１に対応する）を点Ａ  １００５、Ｂ  １００６及びＣ  １００７においてそれぞれ示している。物体１０２４は、視野１０６０に高速に入り、その後、去って行く。
【０１２６】
図１０Ｃは、ステップ４２０を実行した結果としての物体１００１のオクルージョンプロファイルのグラフ１０３０を示している。オクルージョンプロファイル１０３１は、物体１００１が引き起こすオクルージョンの量を経時的に示している。図１０Ａの点Ａ  １００５、Ｂ  １００６及びＣ  １００７は、オクルージョンプロファイル１０３１にそれぞれマーキングＡ  １０３２、Ｂ  １０３３及びＣ  １０３４として表される。マーキングＢ  １０３３は、物体１００１が視野１０６０に入った後のピークオクルージョンの時点を表している。
【０１２７】
ステップ４３０は、ボール１００１に遷移効果又は遷移を割り当てるように実行される。ステップ４３０においてライン１０３６及び１０３７によって示される時間の量を加算することによって、物体１００１が視野１０６０に存在する全時間が求められる。マーキングＢ  １０３３によって示されるピークオクルージョンの量は、上側オクルージョン閾値１０３８よりも低く、物体１００１が負のオクルージョン（negative occlusion）を引き起こさないことを示している。物体１００１が視野１０６０に存在する時間の量が相対的に短いにもかかわらず、負のオクルージョンは引き起こされない。アプリケーション１３３３は、物体１００１が視野１０６０に入ると直ちに、物体１００１を可視にする遷移効果を割り当てる。
【０１２８】
図１０Ｄのシーケンス１０５０は、物体１００１が図１０Ａの点Ａ  １００５、Ｂ  １００６及びＣ  １００７に存在し、記載の構成が実施されたときに、仮想カメラ１００３によってキャプチャーされたビデオフレームを示している。ステップ３５０の実行の結果として、物体１０５４（ボール１００１に対応する）は、シーケンス１０５０のフレームＡ  １０５１、Ｂ  １０５２及びＣ  １０５３のそれぞれにおいて可視になる（表示される）ようにレンダリングされる。
【０１２９】
図１１Ａ〜図１１Ｄは、この場合は人である物体が、仮想カメラから遠くにおいて、仮想カメラの視野を横断して移動している一例示のシナリオを示している。
【０１３０】
図１１Ａは、シーン１１００のトップダウンビューを示している。人である物体１１０１は、軌道１１０２に従って仮想カメラ１１０３に接近している。仮想カメラ１１０３は視野１１６０を有する。点Ａ  １１０５、Ｂ  １１０６及びＣ  １１０７は、軌道１１０２に沿って移動する物体１１０１の連続した時点をそれぞれ表している。点Ａ  １１０５は、物体が視野１１６０に入る時点に関するものである。点Ｂ  １１０６は、物体１１０１が視野１１６０に完全に現れている時点に関するものである。点Ｃ  １１０７は、物体１１０１が視野１１６０から出て行く時点に関するものである。
【０１３１】
図１１Ｂは、物体１１０１が点Ａ  １１０５、Ｂ  １１０６及びＣ  １１０７にあり、記載の構成が実施されないときに、仮想カメラ１１０３によってキャプチャーされたビデオフレームのシーケンスを参考として示している。シーケンス１１２０のフレームＡ  １１２１、Ｂ  １１２２及びＣ  １１２３は、視野１１６０に入り、視野１１６０を横断して移動する物体１１２４（人１１０１に対応する）を点Ａ  １１０５、Ｂ  １１０６及びＣ  １１０７においてそれぞれ示している。物体１１２４は、視野１１６０に入り、その後、撹乱的オクルージョンを引き起こすことなく、去って行く。
【０１３２】
図１１Ｃは、ステップ４２０を実行した結果としての物体１１０１のオクルージョンプロファイルのグラフ１１３０を示している。オクルージョンプロファイル１１３１は、物体１１０１が引き起こすオクルージョンの量を経時的に示している。図１１Ａの点Ａ  １１０５、Ｂ  １１０６及びＣ  １１０７は、オクルージョンプロファイル１１３１にそれぞれマーキングＡ  １１３２、Ｂ  １１３３及びＣ  １１３４として表される。マーキングＢ  １１３３は、物体１１０１が視野１１６０に入った後のピークオクルージョンの時点を表している。
【０１３３】
ステップ４３０は、人１１０１の遷移効果を割り当てるように又は決定するように実行される。ライン１１３６及び１１３７によって示される時間の量を加算することによって、物体１１０１が視野１１６０に存在する全時間が求められる。マーキングＢ  １１３３によって示されるピークオクルージョンの量は、上側オクルージョン閾値１１３８よりも低く、物体１１０１が撹乱的オクルージョンを引き起こさないことを示している。撹乱的オクルージョンは引き起こされないので、ステップ４３０は、物体１１０１が視野１１６０に入ると直ちに物体１１０１を可視にする遷移効果を決定するように実行される。
【０１３４】
図１１Ｄのシーケンス１１５０は、物体１１０１が点Ａ  １１０５、Ｂ  １１０６及びＣ  １１０７に存在し、記載の構成が実施されたときに、カメラ１１０３によってキャプチャーされたビデオフレームを示している。ステップ３５０の実行の結果として、物体１１５４（物体１１０１に対応する）は、シーケンス１１５０のフレームＡ  １１５１、Ｂ  １１５２及びＣ  １１５３のそれぞれにおいて可視としてレンダリングされる。
【０１３５】
図１２Ａ〜図１２Ｄは、仮想カメラの視野において互いに近づく軌道上に２つの物体が存在する一例示のシナリオを示している。求められた軌道によって、これらの２つの物体の間に相互作用が生じる可能性がある。これらの物体のうちの第１のものは、仮想カメラの前方から視野内に入り仮想カメラに接近する人である。第２の物体は、カメラの後方から視野内に入り仮想カメラに接近する人である。アプリケーション１３３３は、各物体の軌道を求めるとともに軌道が交差すると判断することによって、２つの物体が互いにどのように相互作用するのかを求めるように実行される。
【０１３６】
図１２Ａは、シーン１２００のトップダウンビューを示している。人である第１の物体１２０１は、軌道１２０２に従って後方から仮想カメラ１２０５に接近している。仮想カメラ１２０５は視野１２６０を有する。第２の物体１２０３は、軌道１２０４に従って前方から仮想カメラ１２０５に接近している。点Ａ  １２０７、Ｂ  １２０８及びＣ  １２０９は、軌道１２０２に沿って移動する物体の第１の物体１２０１に関連した連続した時点をそれぞれ表している。点Ａ  １２０７は、物体１２０１がカメラ１２０５のニアクリッピング平面１２０６の後方に存在する時点に関するものである。点Ｂ  １２０８及びＣ  １２０９は、物体１２０１がニアクリッピング平面１２０４を通過した時点に関するものである。
【０１３７】
図１２Ｂにおけるシーケンス１２２０は、記載の構成が実施されていないときに、点Ａ  １２０７、Ｂ  １２０８及びＣ  １２０９からカメラ１２０５によってキャプチャーされたビデオフレームを参考として示している。シーケンス１２２０のフレームＡ  １２２１は、視野１２６０内の第２の物体１２２５（人１２０３に対応する）のみを示している。シーケンス１２２０のフレームＢ  １２２２は、視野１２６０に入った後、第２の物体１２２５の前方にいる第１の物体１２２４（人１２０１に対応する）を示している。フレームＡ  １２２１とＢ  １２２２との間において、第１の物体１２２４のクリッピングは、仮想カメラ１２０５によってレンダリングされたビデオデータにおいて可視である。シーケンス１２２０のフレームＣ  １２２３は、第１の物体１２２４及び第２の物体１２２５が相互作用していることを示している。
【０１３８】
物体１２０１及び１２０３を個別に扱うために、第１の物体１２０１は、図７Ａ〜図７Ｄに関して説明した人７０１と同様の方法で遷移効果が選択及び適用される。第２の物体１２０３の遷移効果が、図６Ａ〜図６Ｄにおいて説明した手法と同様の手法を用いて割り当てられ、適用される。図６Ａ〜図６Ｄ及び図７Ａ〜図７Ｄにおいて用いられた方法が同時に実施された場合、代替のフレームＣ−Ａｌｔ１２２６が、時点Ｃ  １２０９において仮想カメラ１２０５によってキャプチャーされる。相互作用点Ｃ  １２０９の時点において、第１の物体１２２７（物体１２２４に対応する）は、視聴者に不可視である一方、第２の物体１２２５は、視聴者に可視である。図１２Ａ〜図１２Ｄにおいて、物体１２０１及び１２０３を個別に扱うことによって、好ましくない結果が生み出される。
【０１３９】
図１２Ｃは、ステップ４２０の実行の結果としての図１２Ａの第１の物体１２０１及び第２の物体１２０３のオクルージョンプロファイルのグラフ１２３０を示している。第１の物体１２０１のオクルージョンプロファイル１２３１は、物体１２０１が引き起こすオクルージョンの量を経時的に示している。図１Ａの点Ａ  １２０７、Ｂ  １２０８及びＣ  １２０９は、オクルージョンプロファイル１２３１においてそれぞれマーキングＡ  １２３３、Ｂ  １２３４及びＣ  １２３５として表される。第１の物体１２０１は、視野１２６０の外側で始動するので、プロファイル１２３１は、点Ａ  １２３３によって表されるようにゼロオクルージョンから開始する。マーキングＢ  １２３４は、物体１２０１が視野１２６０に入り、クリッピング平面１２０６によるクリッピングが停止した後のピークオクルージョンの時点を表している。
【０１４０】
アプリケーション１３３３は、ステップ４３０を実行して、遷移効果を割り当てるか又は選択する。ライン１２３６及び１２３７によって示される時間の量を加算することによって、物体１２０１が視野１２６０に存在する全時間が求められる。図１２Ａ〜図１２Ｄの例では、アプリケーション１３３３は、第１の物体１２０１が視野１２６０に入ることによって引き起こされるあらゆる物体クリッピングを最初に隠す遷移効果を選択して適用するように実行される。アプリケーション１３３３は、第１の物体１２０１が視野１２６０に入った際に撹乱的オクルージョンを引き起こすことを防止するが、第１の物体１２０１が２つの物体１２０１及び１２０３の間の相互作用の時点まで可視であることも確保する遷移効果を選択して適用するようにも実行される。前述した例で言及した上側オクルージョン閾値及び下側オクルージョン閾値は、物体が互いに相互作用することに基づいて変更される。アプリケーション１３３は、ステップ４３０において、第１の物体１２０１がもはやクリッピングされない点に上側オクルージョン閾値１２３８を変更するように実行される。アプリケーション１３３は、マークＣ  １２３５によって表される相互作用点におけるオクルージョンのレベルに下側閾値１２３９を変更するようにも実行される。したがって、遷移効果は、仮想カメラ１２０５によってレンダリングされた仮想ビュー内の他の物体に基づいて決定される。
【０１４１】
第１の物体１２０１の遷移効果が割り当てられると、アプリケーション１３３３は、ステップ３５０において、変更されたオクルージョン閾値１２３８及び１２３９を用いてこの遷移効果を適用する。図１２Ａ及び図１２Ｂの例では、ステップ３５０において、遷移効果は、上側オクルージョン閾値１２３８と一致するマークＢ  １２３４において適用される。アプリケーション１３３３は、マークＣ  １２３５によって表される相互作用点において遷移効果を完了する。マークＣは、ここでは、下側オクルージョン閾値１２３９と一致する。図１２Ａ〜図１２Ｄの例では、遷移効果は、オクルージョンプロファイル１２３１が変更された閾値を満たすことに基づいて適用される。
【０１４２】
図１２Ｄは、物体１２０３が点Ａ  １２０７、Ｂ  １２０８及びＣ  １２０９に存在し、記載の構成が実施されたときに、仮想カメラ１２０５によってキャプチャーされたビデオフレームのシーケンスを示している。フレームＡ  １２５１は、視野１２６０内の第２の物体１２５４（物体１２０３に対応する）のみを示している。フレームＢ  １２５２は、視野１２６０に入った後、第２の物体１２０３の前方において実質的に透明又は不可視である第１の物体１２５５（人１２０１に対応する）を示している。フレームＣ  １２５３は、視野１２６０内で相互作用する、可視である第１の物体１２５６及び第２の物体１２５４を示している。
【０１４３】
記載の構成は、コンピューター業界及びデータ処理業界、特にライブ放送業界等の放送業界に適用可能である。
【０１４４】
上述した実施態様においてオクルージョンプロファイルを求め、遷移効果を選択して適用するとき、記載の構成は、仮想ビューの生成の際のクリッピング効果を削減する利点をもたらす。その結果得られるレンダリングされた仮想ビュー（例えば、ビデオデータ）は、通常、視聴者に与える不快感（jarring）が少ない。さらに、オクルージョンプロファイルを用いることによって、遷移効果は、物体の特定の軌道に従って選択される。競技場１１０における物体１４０等の撮影環境の状況は維持される。コントローラー１８０のオペレーターの作業負荷は効果的に削減される。なぜならば、オペレーターは、カメラの視野の内外の双方において物体の周囲の仮想カメラの位置及び近傍を絶えず管理する必要がないと同時に、コンペリングフッテージ（compelling footage）をキャプチャーするよう作業する必要もないからである。
【０１４５】
上記内容は、本発明の幾つかの実施形態しか説明しておらず、本発明の範囲及び趣旨から逸脱することなく、それらの実施形態に対して変更及び／又は変形を行うことができる。実施形態は例示であって、限定ではない。
【図１】
0006891283.tif 000002
【図２】
0006891283.tif 000003
【図３】
0006891283.tif 000004
【図４】
0006891283.tif 000005
【図５】
0006891283.tif 000006
【図６Ａ】
0006891283.tif 000007
【図６Ｂ】
0006891283.tif 000008
【図６Ｃ】
0006891283.tif 000009
【図６Ｄ】
0006891283.tif 000010
【図７Ａ】
0006891283.tif 000011
【図７Ｂ】
0006891283.tif 000012
【図７Ｃ】
0006891283.tif 000013
【図７Ｄ】
0006891283.tif 000014
【図８Ａ】
0006891283.tif 000015
【図８Ｂ】
0006891283.tif 000016
【図８Ｃ】
0006891283.tif 000017
【図８Ｄ】
0006891283.tif 000018
【図９Ａ】
0006891283.tif 000019
【図９Ｂ】
0006891283.tif 000020
【図９Ｃ】
0006891283.tif 000021
【図９Ｄ】
0006891283.tif 000022
【図１０Ａ】
0006891283.tif 000023
【図１０Ｂ】
0006891283.tif 000024
【図１０Ｃ】
0006891283.tif 000025
【図１０Ｄ】
0006891283.tif 000026
【図１１Ａ】
0006891283.tif 000027
【図１１Ｂ】
0006891283.tif 000028
【図１１Ｃ】
0006891283.tif 000029
【図１１Ｄ】
0006891283.tif 000030
【図１２Ａ】
0006891283.tif 000031
【図１２Ｂ】
0006891283.tif 000032
【図１２Ｃ】
0006891283.tif 000033
【図１２Ｄ】
0006891283.tif 000034
【図１３Ａ】
0006891283.tif 000035
【図１３Ｂ】
0006891283.tif 000036