(57)【特許請求の範囲】
【請求項１】
入力解像度（Ｒｉ１、Ｒｉ２、Ｒｉ３…Ｒｉｍ）に対応付けられた入力フレーム毎にある数の画素を有する各入力フレームシーケンス（Ｓｉ１[ｎ]、Ｓｉ２[ｎ]、Ｓｉ３[ｎ]…Ｓｉｍ[ｎ]）からなる複数の入力ビデオ信号（Ｓｉ１、Ｓｉ２、Ｓｉ３…Ｓｉｍ）から、出力解像度（Ｒｏ）に対応付けられた出力フレーム毎に所定数の画素を有する出力フレームシーケンス（Ｓｏ[ｎ]）からなる出力ビデオ信号（Ｓｏ）を構成する方法であって、
各入力フレームシーケンスの各フレームの各画素（ｐ）に対応付けられた三次元座標（Ｘ、Ｙ、Ｚ）を有する点群により形成される三次元仮想空間（１）上の空間表面を決定し、
三次元仮想空間において可視化ポイント（Ｘ０、Ｙ０、Ｚ０）および可視化ウィンドウ（３）を定め、三次元仮想空間において可視化錐体（４）を決定し、可視化ウィンドウに投影される入力シーケンスのフレームの投影像から出力フレームを形成し、
出力解像度（Ｒｏ）および可視化ウィンドウの対応する空間的な次元から、可視化ウィンドウにおける画素について対応する閾値画素密度を算出し、
可視化ウィンドウにおいてフレームの組み合わせ毎に投影像が少なくとも部分的に重なる入力フレームの組み合わせを決定し、
フレームの各組み合わせのうち、可視化ウィンドウに投影されたときに重なる部分全体の画素密度が閾値画素密度以上となるフレームを選択する、あるいは、それが存在しない場合、可視化ウィンドウに投影されたときに画素密度が閾値画素密度に最も近くなるフレームを選択して、重なる出力フレーム部分を形成すること、
を含む方法。
【請求項２】
請求項１に記載の方法であって、三次元仮想空間上の空間表面を決定するステップを、先立つコンフィギュレーションステップにおいて行うことを特徴とする方法。
【請求項３】
請求項１または２に記載の方法であって、三次元仮想空間において可視化ポイント（Ｘ０、Ｙ０、Ｚ０）および可視化ウィンドウを定めるステップを、先立つコンフィギュレーションステップにおいて行うことを特徴とする方法。
【請求項４】
請求項１から３のいずれかに記載の方法であって、空間表面は三次元的なものであることを特徴とする方法。
【請求項５】
請求項４に記載の方法であって、フレームの組み合わせのうちのいずれかにおいて、可視化ウィンドウに投影されたときに重なる部分全体の画素密度が閾値画素密度以上となる複数のフレームが存在する場合、可視化ウィンドウに投影されたときに画素密度が閾値画素密度に最も近くなるフレームを、この組み合わせから選択することを特徴とする方法。
【請求項６】
請求項１から５のいずれかに記載の方法であって、重なる出力フレームの部分を形成するために、フレームの各組み合わせから選択したフレームと、同じフレームの組み合わせのうちの少なくとも１つの別のフレームとを合成することを特徴とする方法。
【請求項７】
請求項１から５のいずれかに記載の方法であって、重なる出力フレームの部分を形成するために、フレームの各組み合わせから選択したフレームのみを用いることを特徴とする方法。
【請求項８】
請求項１から７のいずれかに記載の方法であって、可視化ウィンドウに投影された各フレームの画素密度を、そのフレームの画素群の投影像から算出することを特徴とする方法。
【請求項９】
請求項１から８のいずれかに記載の方法であって、フレームの各組み合わせからフレームを選択するステップを、低解像度の入力フレームから始めて高解像度の入力フレームで終わるように漸次的にフレームを評価して実現することを特徴とする方法。
【請求項１０】
請求項１から９のいずれかに記載の方法であって、三次元仮想空間（１）における各入力フレームシーケンスの各フレームの各画素に対応付けられた空間表面は、球体の内部に相当する表面を形成することを特徴とする方法。
【請求項１１】
請求項１から１０のいずれかに記載の方法であって、入力ビデオ信号のうち少なくとも１つは、ビデオカメラにより生成されるビデオ信号であることを特徴とする方法。
【請求項１２】
請求項１から１１のいずれかに記載の方法であって、ビデオ信号のうちの少なくとも２つを用いて、同じ内容の少なくとも一部分を有する異なる解像度のフレームシーケンスを形成することを特徴とする方法。
【請求項１３】
請求項１２に記載の方法であって、ビデオ信号のうちの少なくとも２つを用いて、同じ内容を有する異なる解像度のフレームシーケンスを形成することを特徴とする方法。
【請求項１４】
請求項１から１３のいずれかに記載の方法であって、少なくとも２つのビデオ信号が同じビデオカメラから発生することを特徴とする方法。
【請求項１５】
請求項１から１４のいずれかに記載の方法であって、ビデオ信号群のうちの少なくとも１つのビデオ信号を用いてフレームを形成し、フレームの内容は、ビデオ信号群のうちの別の１つのビデオ信号のフレームの内容の少なくとも一部の合成画像であることを特徴とする方法。
【請求項１６】
請求項１から１５のいずれかに記載の方法を実現するために用いるコンピュータプログラム。
【請求項１７】
請求項１から１５のいずれかに記載の方法を行う手段を備えるデータ処理装置。
【請求項１８】
請求項１７に記載の装置と、その装置に接続されて入力ビデオ信号を供給する少なくとも１つのビデオカメラと、を備える設備。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の入力ビデオ信号から出力ビデオ信号を構成する方法、装置および設備に関する。
【背景技術】
【０００２】
複数の入力ビデオ信号、例えば、異なるビデオカメラから発生し、あるシーンの一部を可視化する複数の入力ビデオ信号から出力ビデオ信号を構成する方法が知られている。これらの方法では、ビデオスティッチングとして知られる技術により、各入力ビデオ信号のフレームをキャンバスのように仮想空間に配置して、ユーザが可視化ウィンドウを介してキャンバスを可視化できるようにする。可視化ウィンドウを通して可視化された内容を適宜符号化して、所定解像度の出力信号を形成する。
【０００３】
しかし、特許文献１に記載されているような既知の方法では、各入力ビデオ信号の全フレームを符号化することにより出力信号が得られるので、すべての入力ビデオ信号の復号化および再符号化を行う必要がある。このため、高解像度の入力信号の復号化および再符号化を行い、出力信号の遅延を回避するのに、高い処理能力が必要となる場合がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００７／００７６０９９号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、本発明の目的は、複数の入力ビデオ信号からリアルタイムでビデオ信号を生成することができるとともに、必ずしも遅延の蓄積を伴ったり、高い演算能力を必要としたりせずに高解像度の入力信号を使用することができる方法、装置および設備を示すことである。
【課題を解決するための手段】
【０００６】
本発明の出力ビデオ信号構成方法は、入力解像度が対応付けられた入力フレーム毎にある数の画素を有する各入力フレームシーケンスからなる複数の入力ビデオ信号から、出力ビデオ信号を構成することができる方法のひとつであり、出力ビデオ信号は、出力解像度が対応付けられた出力フレーム毎に所定数の画素を有する出力フレームシーケンスからなる。この方法は、例えば、あるシーンの異なる部分を表す異なるビデオ信号から、入力信号のフレームの部分からフレーム毎に所定数の画素により、可能な限り高品質で出力ビデオ信号を形成することができるという利点がある。このようにして、異なる解像度の入力ビデオ信号から始めて、最良の品質で所定解像度の出力ビデオ信号を得る。
【０００７】
本方法は、各入力フレームシーケンスの各フレームの各画素に対応付けられた三次元座標を持つ点群により形成される三次元仮想空間上の空間表面を決定し、三次元仮想空間において可視化ポイントおよび「ビューポート」としても知られる可視化ウィンドウを定め、三次元仮想空間において「錐台」としても知られる可視化錐体を決定し、可視化ウィンドウにて投影される入力シーケンスのフレームの投影像から出力フレームを形成し、出力解像度および可視化ウィンドウの対応する空間次元から、可視化ウィンドウにおける画素について対応する閾値画素密度を算出し、可視化ウィンドウにおいてフレームの組み合わせ毎に投影像が少なくとも部分的に重なる入力フレームの組み合わせを決定し、フレームの各組み合わせのうち、可視化ウィンドウに投影されたときに重なる部分全体の画素密度が閾値画素密度以上となるフレームを選択する、あるいは、それが存在しない場合、可視化ウィンドウに投影されたときに画素密度がより高くなるフレームを選択して、重なる出力フレーム部分を形成する。このように、品質を損なわずに所要の出力解像度で出力信号を編成するのに使用できる低解像度の入力信号が既に存在するため、高解像度の入力信号の内容を出力信号の編成に使用しないので、これらを処理しなくてもよいという利点がある。
【０００８】
一実施変形例において、三次元仮想空間上の空間表面を決定する、および／または、三次元仮想空間において可視化ポイントおよび可視化ウィンドウを定めるステップは、それに先立つコンフィギュレーションステップにおいてコンフィギュレーションオペレータにより行われ、オペレータが、カメラまたは仮想カメラのように可視化ウィンドウを移動させて出力ビデオ信号を構成し、可視化ウィンドウが複数ある場合は、複数の仮想カメラのように複数の出力ビデオ信号を構成すればよい。もちろん、例えば、フレームシーケンスが適切に配置されていない場合、あるいは、例えば、入力ビデオ信号を供給するカメラのうちの１つに何かがぶつかり、そのカメラが僅かに移動した場合、フレームシーケンスの位置をさらに調整することも考えられる。また、可視化の際に、新たな可視化ポイントを対応する可視化ウィンドウに追加して、例えば、追加の仮想カメラを組み込むことも考えられる。
【０００９】
好ましい変形例において、空間表面は三次元であり、その表面は、入力ビデオシーケンスからフレームが配置される三次元仮想空間上のキャンバスのように配置される。フレームは、コンフィギュレーションオペレータにより定められた三次元空間を形成するように配置される。フレームは、例えば家屋の壁や、例えば三次元走査装置により既知の方法で事前に撮影された三次元モデル等、好適な三次元形状をなぞって配置されてもよい。一般に空間表面は仮想空間の三次元に広がるが、表面が二次元にのみ広がり、すなわち、平面となり、例えば解像度が異なるフレームシーケンスからのフレームや、表面の異なる部分を占める、あるいは、重なり合うフレームシーケンスからのフレーム等、異なるフレームシーケンスからのフレームが平面上に配置された場合、本発明の方法により、可視化ウィンドウの配置に基づいて、最良の解像度の出力ビデオ信号の生成を可能にするフレームを選択することも考えられる。
【００１０】
別の実施変形例において、フレームの組み合わせのうちのいくつかにおいて、可視化ウィンドウに投影されたときに重なる部分全体の画素密度が閾値画素密度以上となる複数のフレームが存在する場合、可視化ウィンドウに投影されたときに画素密度が閾値画素密度に最も近くなるフレームが、これら複数のフレームから選択される。このように、十分な解像度が得られる複数のフレームがある場合、閾値画素密度より高いフレームのみを採用し、これにより処理を容易に行うことができる。
【００１１】
可視化ポイントおよび可視化ウィンドウのサイズ、すなわち、可視化錐体を例えば既知の方法でユーザから受けるＰＴＺ制御等の制御により修正したり、トラッキングショットや、三次元のうちのいずれかの次元で可視化ポイントを変更する別の移動方法であって、実際の物理的なカメラで行うのと類似した移動方法によって、三次元仮想空間内で可視化錐体を移動させたりして、可視化ウィンドウを変位させ、三次元空間の他の領域を可視化ウィンドウに投影することで、三次元仮想空間の仮想可視化カメラとして動作できるようにすることも考えられる。もちろん、三次元空間の可視化ポイント、ウィンドウサイズ、または、可視化錐体が変化したとき、フレームの組み合わせからフレームを選択しなおして、出力信号が好適な解像度となるようにしなければならない場合がある。したがって、計算をしなおして、出力ビデオ信号が最も好適な入力ビデオ信号から確実に構成されるようにすることが望ましい。また、例えば、２人以上のユーザが三次元仮想空間の可視化を行わなければならない場合、三次元仮想空間の仮想可視化カメラを２つ以上とすることができることも考えられる。この場合、出力ビデオ信号の構成方法は、各ユーザに送られる出力信号について行わなければならない。
【００１２】
別の実施変形例によれば、例えば、２つ以上の入力フレームが部分的にのみ重なって出力ウィンドウに投影され、例えば、出力フレームを形成する異なる入力フレーム間の漸進的な勾配またはバイナリマスクとして遷移を実現する場合、重なる出力フレームの部分を形成するために、フレームの各組み合わせから選択したフレームと、同じフレームの組み合わせのうちの少なくとも１つの別のフレームとを合成する。この遷移は、重なる部分の端部にてのみ行うことができる。
【００１３】
別の実施変形例によれば、例えば、フレームの各組み合わせから選択されるフレームが可視化ウィンドウ全体を占め、遷移を行う必要がない場合、重なる出力フレーム部分を形成するのに、フレームの各組み合わせから選択されるフレームのみを用いる。
【００１４】
別の実施変形例によれば、可視化ウィンドウに投影された各フレームの画素密度を、そのフレームの画素群の投影像から算出し、好ましくは、画素群は各フレームのうちの三角形の区画とすることができる。
【００１５】
別の実施変形例によれば、フレームの各組み合わせからフレームを選択するステップは、低解像度の入力フレームから始めて高解像度の入力フレームで終わるように漸次的にフレームを評価して行い、より短時間で処理できる低解像度のフレームを先に処理することとする。
【００１６】
別の実施変形例によれば、仮想三次元空間における各入力フレームシーケンスの各フレームの各画素に対応付けられた空間表面は、球体の内部を形成し、各フレームが可視化ポイントから等距離となるようにする。
【００１７】
別の実施変形例によれば、入力ビデオ信号のうち少なくとも１つは、あるシーンからビデオカメラにより生成されるビデオ信号であり、出力信号が、リアルタイムで撮影されるフレームを組み込むようにする。
【００１８】
別の実施変形例によれば、少なくとも２つのビデオ信号を用いて、同じ内容の少なくとも一部分を有し解像度が異なるフレームシーケンスを形成することで、１つのビデオ信号があるシーンの全体図を表すとともに別のビデオ信号がシーンの詳細部を高解像度で表す場合、例えば、可視化ウィンドウが狭いとき等、出力信号がシーン全体図と同様の解像度を有することが望ましいときは、詳細部である別のビデオ信号を処理する必要がない。同様に、シーンの詳細部を拡大して、可視化ウィンドウを広くし、シーンの詳細部のみを可視化することが望ましいときは、詳細部である別のビデオ信号を使用して、出力信号を形成する必要がある。
【００１９】
別の実施変形例によれば、ビデオ信号のうちの少なくとも２つは、同じ内容で異なる解像度のフレームシーケンスを決定し、１つのビデオ信号が別のビデオ信号を完全に置換して、出力信号を形成することができる。
【００２０】
好ましい変形例によれば、少なくとも２つのビデオ信号が同じビデオカメラから発生し、出力を、異なる解像度でカメラに対して入力信号として用いることができる。
【００２１】
一実施変形例によれば、ビデオ信号のうちの少なくとも１つを用いてフレームを形成し、フレームの内容は、ビデオ信号のうちの別の１つのビデオ信号のフレームの内容の少なくとも一部の仮想表現であり、この仮想表現を、データセット、ベクトル要素、または、三次元モデルから生成して、仮想表現の解像度を所望程度に高くすることができる。このように、ビデオカメラの撮影により発生するビデオ信号のフレームの内容の一部が所定の画像を有し、この部分をモデル化できることがわかっている場合、このモデル化部分を別のビデオ信号として供給することができ、出力解像度が得られない場合に、このモデル化部分を供給して、同じ内容を有するフレームの一部を置換するようにする。例えば、仮想表現は、別の入力信号の別のフレームにおいて一般的な方法で可視化される画面の内容とすればよく、必要な場合、この一般的な可視化の画面内容を仮想表現で置き換えることができる。
【００２２】
本発明の方法は、符号化してコンピュータプログラムとすることができる。このコンピュータプログラムは、コンピュータで実行されることで本方法を実現するものである。
【００２３】
また、本発明の方法を実現する手段を備えるデータ処理装置を示す。これは少なくも１つのビデオカメラを備えた設備における装置を形成することが可能であり、ビデオカメラの出力が、装置の入力信号のうちの１つを表す。
【図面の簡単な説明】
【００２４】
説明を補足するため、また、本発明の特徴の理解を促進する目的で、本明細書に一連の図面を添付する。図面において、例示的かつ非限定的に以下の図を示す。
【図１】本発明の方法を実施するシステムの機能図である。
【図２】可視化ウィンドウのコンフィギュレーションフェーズに従った三次元仮想空間を示す図である。
【図３】図２の可視化ウィンドウの内容を示す図である。
【図４ａ】閾値画素密度と、図３の可視化ウィンドウにおける各フレームの画素密度との比較を示す図である。
【図４ｂ】閾値画素密度と、図３の可視化ウィンドウにおける各フレームの画素密度との比較を示す図である。
【図５】図３の可視化ウィンドウの内容から形成される出力フレームの構成を示す図である。
【図６】図２の三次元仮想空間の別の可視化ウィンドウによる可視化を示す図である。
【図７】図６の可視化ウィンドウの内容を示す図である。
【図８ａ】閾値画素密度と、図７の可視化ウィンドウにおける各フレームの画素密度との比較を示す図である。
【図８ｂ】閾値画素密度と、図７の可視化ウィンドウにおける各フレームの画素密度との比較を示す図である。
【図９】図７の可視化ウィンドウの内容から形成される出力フレームの構成を示す図である。
【図１０】可視化ウィンドウのコンフィギュレーションフェーズに従った別の三次元仮想空間を示す図である。
【図１１】図１０の可視化ウィンドウの内容を示す図である。
【図１２】図１１の可視化ウィンドウの内容から形成される出力フレームの構成を示す図である。
【発明を実施するための形態】
【００２５】
図１は、本発明の方法を実施するシステムの機能図である。本システムは、入力解像度Ｒｉ１、Ｒｉ２、Ｒｉ３…Ｒｉｍに対応付けられた入力フレーム毎にある数の画素を有する異なる時間空間における各入力フレームシーケンスＳｉ１[ｎ]、Ｓｉ２[ｎ]、Ｓｉ３[ｎ]…Ｓｉｍ[ｎ]からなる複数の入力ビデオ信号Ｓｉ１、Ｓｉ２、Ｓｉ３…Ｓｉｍから、出力ビデオ信号Ｓｏを構成することができる。出力信号Ｓｏは、出力解像度Ｒｏに対応付けられた出力フレーム毎に所定数の画素を有する出力フレームシーケンスＳｏ[ｎ]からなる。入力解像度Ｒｉ１、Ｒｉ２、Ｒｉ３…Ｒｉｍは出力解像度Ｒｏとは異なっていてもよい。
【００２６】
本発明の範囲において、解像度とは、ビデオ信号のフレームシーケンスのうちの１フレームから得られる垂直方向の画素および水平方向の画素として通常示される最大画素数であると考えられる。
【００２７】
あるフレームが例えば画面上に描写されるときの単位長あたりのフレームの画素数の関数として、別のパラメータである画素密度を決定することができる。通常、画素密度を指定するために使用する単位は、１インチあたりの画素数（ｐｐｉ）であるが、実際の長さまたは仮想の長さを示す他のいかなる測量を用いてもかまわない。したがって、画素密度は、画素を占める長さの単位となる画素サイズに反比例する。もちろん、この画素密度および画素サイズは、以下に示すように三次元仮想空間にフレームを描写するときに算出してもよい。
【００２８】
ここで説明する例では、フレーム毎にある画素数を有する各入力フレームシーケンスＳｉ１[ｎ]、Ｓｉ２[ｎ]、Ｓｉ３[ｎ]…Ｓｉｍ[ｎ]からなる複数の入力ビデオ信号Ｓｉ１、Ｓｉ２、Ｓｉ３…Ｓｉｍを示す。もちろん、他のいかなる数の入力ビデオ信号を用いてもよく、種々の解像度を有することが考えられる。
【００２９】
本発明の方法は図１に示すシステムにより実施されるが、本方法により、異なる解像度の各入力フレームシーケンスＳｉ１[ｎ]、Ｓｉ２[ｎ]、Ｓｉ３[ｎ]…Ｓｉｍ[ｎ]からなる入力ビデオ信号Ｓｉ１、Ｓｉ２、Ｓｉ３…Ｓｉｍから始めて、出力ビデオ信号Ｓｏの編成を実現する。出力信号のフレームは、出力解像度Ｒｏを決定する所定数の垂直方向および水平方向の画素により構成される。この出力解像度Ｒｏは、オペレータが予め決めるか、あるいは、システムの動作中に選択することができる。可能な解像度の例としては、入力解像度Ｒｉ１、Ｒｉ２、Ｒｉ３…Ｒｉｍと出力解像度Ｒｏのいずれについても、従来技術において知られているものとする。このような解像度は、通常、同じ解像度の画面に表示するために用意されるものあり、高品位および低品位と考えられる解像度の両方、例えば、４８０ｉ（２４３×２４３画素）、５７６ｉ（２８８×２８８画素）、４８０ｐ（７２０×４８０画素）、５７６ｐ（７２０×５７６）、７２０ｐ（１２８０×７２０画素）、１０８０ｉまたは１０８０ｐ（１９２０×１０８０画素）、２１６０ｐ（３８４０×２１６０画素）、４Ｋ  ＵＨＤ、４３２０ｐ（７６８０×４３２０画素）、８Ｋ  ＵＨＤ等のほか、他のいずれの解像度であってもよい。
【００３０】
図２からわかるように、コンフィギュレーションステップで、各入力フレームシーケンスの各フレームの各画素に対応付けられた三次元座標Ｘ、Ｙ、Ｚを有する点群により形成される三次元仮想空間１上の空間表面を決定する。例として、空間表面は、図示の入力フレームシーケンスのフレームが占める表面であるが、本発明の説明をわかりやすくするために平面に配置する。もちろん、以下に説明するように、他の図形に沿って空間表面を配置することもできる。この形状は、例えば、球体の内部に沿うものであってもよく、可視化ポイントが球体の中心に配置されてもよい。あるいは、部屋等の領域の仮想モデルにより形状を与えてもよく、異なる入力ビデオ信号がその部屋の部分から発生する場合、その仮想部屋の部分にフレームを配置することができ、オペレータが、仮想部屋の中を仮想カメラとして移動し、コンフィギュレーションステップにて三次元モデルに配置されていたカメラから発生するフレームシーケンスのそれぞれの可視化角度を好適に調整することができるようにしてもよい。もちろん、例えば、コンフィギュレーションステップにてフレームシーケンスの位置が適切に配置されなかった場合や、例えば、入力ビデオ信号を供給するカメラのうちの１つに何かがぶつかって、そのカメラが僅かに移動した場合、フレームシーケンスの位置を調整することも考えられる。また、可視化の際に、新たな可視化ポイントをそれらに対応する可視化ウィンドウに沿って追加し、例えば、追加の仮想カメラを組み込むことも考えられる。
【００３１】
また、本方法を広い場所での監視機能に用いることも考えられる。このような広い場所としては、その場所の異なる部分から異なる解像度の入力ビデオ信号を供給する種々のカメラを配置する必要があり、カメラは互いに重複して、入力ビデオ信号のフレームが仮想場所の各部分について配置されるようにしてもよい。例えば、サッカースタジアムや空港等がこれに相当する。高解像度入力ビデオ信号が可能なカメラにより、その場所のうちの最も重要な部分を撮影し、オペレータが、本発明において詳細に説明する方法で、より高解像度のビデオ信号を用いて、これら重要な部分を可視化し、適宜出力信号を生成することができるようにすることも考えられる。
【００３２】
もちろん、異なる入力ビデオ信号と三次元仮想空間におけるそれらの配置とを記憶することも考えられる。後でそれら異なる入力ビデオ信号と三次元空間におけるそれらの配置とを再生し、例えば、別の可視化ポイントから、あるいは、別の詳細度で、三次元空間を可視化してもよい。
【００３３】
三次元仮想空間を可視化するため、図２に示すように、三次元仮想空間において可視化ポイント（Ｘ０、Ｙ０、Ｚ０）および「ビューポート」としても知られる可視化ウィンドウ３を定め、三次元仮想空間において錐台としても知られる可視化錐体４を決定する。このようにして、好適に符号化されて同じ瞬間に可視化ウィンドウ３に投影された入力シーケンスのフレームの投影像から出力フレームを形成する。可視化ウィンドウ３に投影された入力信号の１秒あたりのフレーム数が、出力信号の１秒あたりのフレーム数と異なる場合、既知の方法により、いくつかの入力フレームが出力信号の１秒あたりのフレーム数よりも短い（quicker）ならば、それらの入力フレームを廃棄するか、あるいは、入力フレーム群が出力信号の１秒あたりのフレーム数よりも短い（quicker）ならば、それらの入力フレームを一瞬より長く維持しなければならない。
【００３４】
本方法は、フレームを与える入力信号であって、そのフレームの投影像Ｓｉ１’［ｎ］、Ｓｉ２’［ｎ］が投影ウィンドウで目視できる入力信号のみを復号化すれば、出力ビデオ信号を形成することができるという利点がある。さらに、投影像が可視化ウィンドウ３において少なくとも部分的に重なったままである入力フレームの組み合わせがある場合、重なるフレームの入力信号をすべて処理しなくても、つまり、復号化しなくても、入力信号を再符号化することが可能である。
【００３５】
例えば、図３に示す可視化ウィンドウ３のように、入力フレームの組み合わせがある場合、まず、可視化ウィンドウ３の画素について、出力解像度Ｒｏと可視化ウィンドウ３の対応する空間的な次元（寸法）とから、対応する閾値画素密度ｄ（Ｓｏ［ｎ］）を算出しなければならない。この閾値画素密度は、図３、４ａおよび４ｂにおいて、出力解像度によって与えられる画素数と可視化ウィンドウ３の表面との関係である。つまり、出力解像度に相当する全画素数を、三次元仮想空間において可視化ウィンドウ３を占める表面で分割する。このように閾値画素密度ｄ（Ｓｏ［ｎ］）を得て、投影像よりも高い画素密度のみが得られる場合、画素を補間する必要があるが、これにより出力信号が劣化する。このため、常に使用する投影フレームＳｉ１’［ｎ］、Ｓｉ２’［ｎ］の画素密度が、所望の出力解像度が得られるような画素密度であることが非常に重要である。もちろん、他の実施変形例において、この常に使用する投影フレーム、例えばＳｉ１’［ｎ］、Ｓｉ２’［ｎ］を、重なる領域の残りのフレームと組み合わせて、可視化ウィンドウ３内の重なる領域において、あるいは、重なる領域の端部にて、異なる解像度のフレーム間で漸次的な遷移を形成して、ユーザが急激な遷移を目にする可能性を回避すればよい。ただし、このようにすると、この領域の出力フレームの品質を犠牲にしなければならない。これは、急激な品質の変化よりも漸次的遷移を実現するための品質低下の方が、ユーザは許容しやすいと考えられるからである。
【００３６】
入力フレームの組み合わせが存在する可視化ウィンドウ３のこの領域に、常に高解像度のフレームが来るのは好都合ではない。これは、入力信号のフレームの品質が常に得られる最良のものであることが確実であっても、そのようにすることで処理コストが発生し、投影フレームの画素密度がより好適である別の入力信号が存在する場合、このコストは不要となるからである。
【００３７】
したがって、まず、フレームの各組み合わせについて、図３に示すように、可視化ウィンドウ３において投影像が少なくとも部分的に重なる入力フレームの組み合わせを決定し、フレームの各組み合わせのうち、可視化ウィンドウ３に投影されたときに、重なる部分全体において三次元仮想空間１の単位面積あたりの画素数で表わされる画素密度ｄ（Ｓｉ１’［ｎ］）、ｄ（Ｓｉ２’［ｎ］）が、閾値画素密度ｄ（Ｓｏ’［ｎ］）以上となるフレームを選択し、あるいは、それが存在しない場合は、可視化ウィンドウ３に投影されたときに、より高い画素密度を有するフレームを選択して、重なる出力フレームの部分を形成することが必要である。
【００３８】
図３の重なるフレームから、図４ａおよび４ｂは、閾値画素密度ｄ（Ｓｏ’［ｎ］）と、フレームのそれぞれの投影像の画素密度ｄ（Ｓｉ１’［ｎ］）、ｄ（Ｓｉ２’［ｎ］）との比較を示す。これらの画素密度は、可視化ウィンドウ３毎に、図４ａに見られるように、第１の信号のフレームの投影像により得られる画素密度ｄ（Ｓｉ１’［ｎ］）が閾値画素密度ｄ（Ｓｏ’［ｎ］）より低く、図４ｂに見られるように、第２の信号のフレームの投影像により得られる画素密度ｄ（Ｓｉ２’［ｎ］）が閾値画素密度ｄ（Ｓｏ’［ｎ］）より高くなるように決定される。
【００３９】
したがって、第２の信号のフレームの投影像Ｓｉ２’［ｎ］を用いて、出力信号Ｓｏ’［ｎ］において投影像が部分的に重なる部分Ｓｉ２”［ｎ］を形成することが、より好都合である。これは、第２の投影信号の画素密度が、取りうる画素密度の閾値よりも高い唯一の画素密度であって、可視化ウィンドウ３の残りの部分については、第１の入力信号Ｓｉ１の情報しか得られない場合、図５に示すように、第１の入力信号Ｓｉ１から出力フレームシーケンスのうちの対応するフレームの画素を形成して、Ｓｉ１”［ｎ］としなければならないからである。
【００４０】
図６は、同じ三次元仮想空間の別の可視化例を示す。ここでは、図７に示す可視化ウィンドウ３における投影像から、図８ａおよび８ｂにてそれぞれ比較される入力信号のうちのいずれも、画素密度が閾値画素密度ｄ（Ｓｏ’［ｎ］）以上にならない。これは、図８ａに示すように、第１の信号のフレームの投影像により得られる画素密度ｄ（Ｓｉ１’［ｎ］）が、閾値画素密度ｄ（Ｓｏ’［ｎ］）よりさらに低く、図８ｂに示すように、第２の信号のフレームの投影像により得られる画素密度ｄ（Ｓｉ２’［ｎ］）も、閾値画素密度ｄ（Ｓｏ’［ｎ］）より低いからである。
【００４１】
したがって、この場合、フレームの組み合わせについて、より高い画素密度で投影されるフレームの組み合わせからフレームを選択する。この場合、第２の入力信号Ｓｉ２”のフレームである。
【００４２】
可視化ウィンドウ３に投影された各フレームの画素密度は、画素毎に算出することもできるし、フレームの画素群５の投影像から算出することもできる。もちろん、画素毎の密度を算出する場合、演算コストは高くなるが、より高い画素密度またはより低い画素密度のフレームを使用しなければならないポイントが、より良好に決定される。例えば、図１０の仮想空間に示すように、三角形の区画としての画素群５を用いることで、良好な画素密度の推定が達成されることがわかる。図１０では、第３および第４の入力信号Ｓｉ３、Ｓｉ４のフレームを用いている。可視化ウィンドウ３に投影されるそれらの信号の内容を図１１に示す。もちろん、この三次元仮想空間１の場合、画素群５’の投影像が有する遠近感を考慮しなくてはならない。図１０に示す例では、図１１の可視化ウィンドウ３に示す出力解像度Ｒｏが低く、その結果、閾値画素密度が同じように低く、投影像Ｓｉ３’［ｎ］およびＳｉ４’［ｎ］の画素密度よりも低くなっているのがわかる。したがって、低解像度の入力フレームから始めて高解像度の入力フレームで終わる漸次的フレーム評価において、フレームＳｉ３、Ｓｉ４の組み合わせのうち、可視化ウィンドウ３に投影されるフレームＳｉ３は、重なる部分全体において画素密度ｄ（Ｓｉ３’［ｎ］）が閾値画素密度ｄ（Ｓｏ’［ｎ］）以上となると判断される。別のフレームの画素密度ｄ（Ｓｉ４’［ｎ］）がさらに高い場合、このフレームのみを採用する。このフレームは、可視化ウィンドウに投影されたときに、画素密度が閾値画素密度、すなわち、ｄ（Ｓｉ３’［ｎ］）に近くなる。
【００４３】
したがって、図１２に示すように、出力信号のフレームＳｏ［ｎ］の画素は、出力解像度Ｒｏにて再符号化されたフレーム投影像Ｓｉ３’［ｎ］、つまり、Ｓｉ３”［ｎ］、のみから形成される。
【００４４】
本発明の方法は、１つまたは種々のビデオカメラにより生成された入力ビデオ信号を組み合わせるのに用いることができるという利点がある。入力ビデオ信号は、例えば、あるシーンの一部等、同じ内容の少なくとも一部を異なる解像度で表わすものであり、これら入力ビデオ信号を組み合わせて、三次元仮想空間においてビデオスティッチングとしても知られる合成映像を形成する。また、ビデオ信号は、同じ内容を異なる解像度で表わすことも可能であり、コンフィギュレーションステップで三次元仮想空間において重なるように配置される。
【００４５】
また、ビデオ信号のうち少なくとも１つを用いて、合成画像を内容とするフレーム、すなわち、ベクトルやデータから、あるいは、画素密度が実際は無限である三次元モデルから、コンピュータにより形成されたフレームを形成することができる、ということも考えられる。
【図１】
0006655717.tif 000002
【図２】
0006655717.tif 000003
【図３】
0006655717.tif 000004
【図４ａ】
0006655717.tif 000005
【図４ｂ】
0006655717.tif 000006
【図５】
0006655717.tif 000007
【図６】
0006655717.tif 000008
【図７】
0006655717.tif 000009
【図８ａ】
0006655717.tif 000010
【図８ｂ】
0006655717.tif 000011
【図９】
0006655717.tif 000012
【図１０】
0006655717.tif 000013
【図１１】
0006655717.tif 000014
【図１２】
0006655717.tif 000015