テレビ放映された事象からビデオシーケンスを自動的に生成するために、即時再生用のコンピュータ実行画像処理方法であって、少なくとも1台のソースカメラ9は、ある場面8のソース画像シーケンス10を提供し、前記カメラの姿勢および光学設定は、前記カメラのビューを規定するとともに、ある組のカメラパラメータによって記述され、前記方法は、前記方法のオンラインフェーズにおいて、前記ソース画像シーケンス10からの基準ビューから基準キーフレームを規定するユーザ入力を入力するステップ71を備え、前記基準キーフレームは後に生成された仮想再生が行なわれてほしいとユーザが思う時点からのビデオ画像であり、前記方法は、前記ソース画像シーケンス10の記録から前記基準キーフレームを抽出するとともに72、場面8のさらなるソース画像シーケンス10′の記録から、さらなるビューからの1つ以上のさらなるキーフレームを任意に抽出するステップをさらに備え、各さらなるキーフレームは、前記基準キーフレームの時点と同じ時点で記録されており、後でキーフレーム点と呼ばれ、前記方法は、1組以上の仮想カメラパラメータを自動的に算出するステップ73をさらに備え、各組は仮想カメラ11による前記場面8の仮想ビューを記述し、前記方法は、2組以上の仮想カメラパラメータが算出された場合74、後の処理ステップ用に一組を選択し75、前記仮想ビューは、後で選択された仮想ビューと呼ばれる選択された組によって規定され、または1組の仮想カメラパラメータしか算出されない場合、対応する仮想ビューを前記選択された仮想ビューとして使用するステップと、経時的仮想カメラパラメータの変化によって記述されるとともに、前記仮想カメラ11の動きおよび前記仮想ビューの対応する変化を規定する、仮想カメラフライト経路20を生成するステップ76をさらに備え、前記仮想ビューは、第1のビューから前記選択された仮想ビューに変わり、前記第1のビューは前記基準ビューまたは任意的にさらなるビューの1つであり、次に、前記仮想ビューは、前記選択された仮想ビューから第2のビューに変わり、前記第2のビューは前記基準ビューまたは任意的に前記さらなるビューの1つであり、前記方法は、仮想カメラフライト経路によって規定される仮想ビデオストリームVをレンダリングするステップ77と、仮想ビデオストリームVをコンピュータ読取可能記憶装置に記憶すること、および仮想ビデオストリームVを通信リンク24を通して送信すること、の少なくとも一方を行なうステップ78とをさらに備える、方法。前記1組以上の仮想カメラパラメータを自動的に算出するステップは、前記場面8におけるオブジェクト14の位置を自動的に算出するステップと、前記場面8で観察される状況の分類を、特にこの分類を特定するユーザ入力を抽出することにより定めるステップと、前記場面8におけるオブジェクト14の位置および前記状況の分類に基づき、少なくとも1組の仮想カメラパラメータを自動的に算出するステップとを含む、請求項1に記載の方法。前記後の処理ステップ用に選択された仮想ビューを規定する仮想カメラパラメータの組のうちの1つを選択するステップは、各仮想カメラパラメータの組に対して、後でこの時点での仮想キーフレームと呼ばれる前記場面8の対応する仮想ビューおよび対応する仮想画像を自動的に生成するステップと、前記仮想キーフレームを画像表示装置上に表示するとともに、前記仮想キーフレームの1つを示すユーザの選択を入力し、さらに関連する仮想ビューを後の処理ステップ用の選択された仮想ビューとして用いるステップとを含む、請求項1または2に記載の方法。前記方法は、前記オンラインフェーズより前の準備フェーズで実行される、以下の、特徴モデル、特に前景オブジェクトの異なるクラスに対応するカラーモデルを含む前景オブジェクトを背景に対して検出および分離するためのカラーモデルを作成するステップと、既知の特徴7を有する場面8を観察しているカメラから得られる複数の画像から、後のビデオ取込みの間に変化しない固定カメラパラメータを定めるステップと、後の画像処理において抽出および用いるために、前記特徴モデルおよび固前記定カメラパラメータをコンピュータ読取可能記憶手段に記憶するステップとをさらに備える、請求項1から3のいずれか1項に記載の方法。前記方法は、前記オンラインフェーズより前の準備フェーズで実行される、以下の、潜在的カメラ構成空間を網羅するビューから複数の画像をサンプリングし、これらの画像における特徴の位置を定めて識別し、これらのビューに対応するカメラパラメータを定め、基準情報としてそれぞれの画像に対する前記特徴および特徴位置を記憶し、前記基準情報の前記カメラパラメータに対する関連を、画像特徴に基づく迅速なカメラ較正のために後で抽出するために、コンピュータ読取可能記憶手段に記憶するステップをさらに備える、請求項1から4のいずれか1項に記載の方法。前記方法は、準備フェーズにおいて、チームの競技方向、および前記競技方向が有効である時間を特定する関連する時間情報についての情報を入力するステップをさらに備える、請求項1から5のいずれか1項に記載の方法。少なくとも2台のソースカメラ9、9′から少なくとも2つのソース画像シーケンス10、10′が処理される場合、前記ソース画像シーケンス10の1つから抽出された前景オブジェクトを1つ以上の残りのソース画像シーケンス10′の前景オブジェクトと自動的に同一視するとともに、さらに自動的に、ユーザ相互作用なしで、前記場面8におけるこれらの前景オブジェクトの位置を定めるステップをさらに含む、請求項1から6のいずれか1項に記載の方法。前記仮想カメラフライト経路20を生成するステップにおいて、前記第1のビューおよび前記第2のビューを自動的に定めるために、1つのソース画像シーケンス10のみが利用可能である場合、前記第1および第2のビューを前記基準ビューと同じであるとして選択するステップと、2つのソース画像シーケンス10が利用可能である場合、少なくとも1つのビューを、他のソースカメラよりも観察場面により近くにあるソースカメラ9からのものであるとして選択するステップとを実行する、請求項1から7のいずれか1項に記載の方法。前記ソースカメラ9、9′の1つが主要カメラであると指定され、前記主要カメラのビュー方向に従い、前記第1および第2のビューの少なくとも一方に用いられるソースカメラを自動的に選択し、これは好ましくは前記主要カメラが向いている、前記主要カメラの側に位置付けられるカメラとして前記ソースカメラを選択することによりなされる、請求項1から8のいずれか1項に記載の方法。仮想カメラフライト経路20を生成するために、第1のビュー、仮想ビュー、および第2のビューの異なる組合せに対して1組の仮想カメラフライト経路を生成するステップと、各仮想カメラフライト経路の組について図形表示を画像表示装置上に表示し、仮想カメラフライト経路の1つを示すユーザ選択を入力するステップと、選択された前記仮想カメラフライト経路を用いて仮想ビデオストリームをレンダリングするステップとが実行される、請求項1から9のいずれか1項に記載の方法。前記仮想カメラフライト経路20を生成するステップは、前記選択された仮想ビュー、前記第1のビュー、および前記第2のビューが与えられると、これらのビューを記述するカメラパラメータの組を抽出するステップと、前記第1のビューに対応するカメラパラメータの組からの値から始まって、前記選択された仮想ビューに対応するカメラパラメータの組の値に変わり、さらに前記第2のビューに対応するカメラパラメータの組の値に変わるよう、仮想カメラパラメータの組を補間するステップと、前記仮想カメラフライト経路20に沿ったビューのすべてまたはサブセットに対して、前記ビューのそれぞれの画像が、前記利用可能なキーフレームから画像情報がない領域を含むか否かを検証するステップと、これら1つ以上のビューにおいて欠落している画像情報の量が所定の限界を超えた場合、自動的にまたはユーザ相互作用の手段により、欠落している画像情報の量が、欠落している情報を有するビューよりも小さいかまたはゼロである1つ以上の中間キービューを定めるとともに、これらキービューを通過するように、前記仮想カメラフライト経路20を算出するステップとを含む、請求項1から10のいずれか1項に記載の方法。前記仮想カメラフライト経路20を生成するステップは、仮想カメラパラメータの組を補間する場合、前記仮想フライト経路のビューのシーケンスにおいて、前記場面8における静止または移動している対象点について平滑な動きを維持するステップを含む、請求項11に記載の方法。前記方法は、選択された画像ビューまたは満足のいく仮想カメラフライト経路20が仮想再生ユニット13によって定められていない、またはユーザによって選択されていない場合、前記基準キーフレームからまたはさらなるキーフレームの1つから強調した静止画を生成し、引き続いて強調した静止画を前記仮想ビデオストリームの代わりに用いるステップをさらに備える、請求項1から12のいずれか1項に記載の方法。前記方法は、連結されたビデオシーケンスaS1-V-cS2を生成するステップをさらに備え、前記連結されたビデオシーケンスは、第1のソースカメラ9から、第1のビューのキーフレームに至りかつそこで終わる第1のビデオシーケンスaS1と、前記第1のビューのキーフレームから始まり、前記第2のビューのキーフレームで終わる前記仮想ビデオストリームVと、第2のソースカメラ9′から、前記第2のビューにおけるキーフレームから始まる第2のビデオシーケンスcS2とをこの順序で含む、請求項1から13のいずれか1項に記載の方法。前記方法は、仮想再生ユニット13と相互作用するビデオサーバ15によって実施され、前記ビデオサーバ15は、ビデオ入力ストリーム21を記録および記憶するよう構成されるとともに、入来するおよび記憶されたビデオ入力ストリーム21からなるビデオ出力ストリーム22を出力するよう制御可能であり、前記仮想再生ユニット13は、同じ時点における前記場面8の異なるビューに対応する1つ以上のキーフレームから、前記仮想ビデオストリームVを生成するよう構成されており、前記方法は、前記ビデオサーバ15が前記仮想再生ユニット13に、ビデオ出力ストリーム22の1つまたは別個の通信リンク25のどちらかによって、1つ以上のキーフレームを送信するステップと、前記仮想再生ユニット13が前記仮想ビデオストリームVを生成するステップとを備える、請求項1から14のいずれか1項に記載の方法。前記仮想再生ユニット13は、前記仮想再生ユニット13に1つ以上のキーフレームすなわち、前記基準キーフレームおよび任意のさらなるキーフレームを送信するようビデオサーバ15を制御し、さらに以下の、前記仮想再生ユニット13が、前記仮想ビデオストリームVを算出した後、前記第1のビデオシーケンスaS1および前記第2のビデオシーケンスcS2を前記仮想再生ユニット13に送信するように前記ビデオサーバ15を制御し、前記仮想再生ユニット13は、前記第1のビデオシーケンスaS1、前記仮想ビデオストリームV、および前記第2のビデオシーケンスcS2を連結するか、または前記仮想再生ユニット13が、前記仮想ビデオストリームVを算出した後、前記仮想ビデオストリームVを前記ビデオサーバ15に送信し、前記第1のビデオシーケンスaS1、前記仮想ビデオストリームV、および前記第2のビデオシーケンスcS2を連結するよう前記ビデオサーバ15を制御するかの、2つのグループのステップのうちの一方を実行する、請求項14または15に記載の方法。前記ビデオサーバ15は、前記仮想再生ユニット13に1つ以上のキーフレームを送信し、前記ビデオサーバ15は、好ましくは仮想ビデオストリームVを算出するように前記仮想再生ユニット13をトリガすることによって前記仮想ビデオストリームVを算出するように前記仮想再生ユニット13を制御し、さらに以下の、前記ビデオサーバ15が前記仮想再生ユニット13に、前記第1のビデオシーケンスaS1および前記第2のビデオシーケンスcS2を送信し、前記ビデオサーバ15が、前記第1のビデオシーケンスaS1、前記仮想ビデオストリームV、および前記第2のビデオシーケンスcS2を連結するよう前記仮想再生ユニット13を制御するか、または前記仮想再生ユニット13が、前記仮想ビデオストリームを算出した後、前記仮想ビデオストリームVを前記ビデオサーバ15に送信し、前記第1のビデオシーケンスaS1、前記仮想ビデオストリームV、および前記第2のビデオシーケンスcS2を連結するよう前記ビデオサーバ15を制御するかの、2つのグループのステップのうちの一方を実行する、請求項14から16のいずれか1項に記載の方法。即時再生用の画像処理のための仮想再生ユニット13であって、1つ以上のプログラム可能コンピュータデータ処理ユニットを備え、1つ以上のキーフレームを入力するように、前記方法クレームのいずれかに従う方法におけるステップを実行するように、さらに方法クレームに従って生成された少なくとも1つの仮想ビデオストリームを出力するように、プログラミングされている、仮想再生ユニット。発明の説明本発明の目的は、上記の不利点を克服するために、上記の種類の即時再生用の画像処理方法および装置をもたらすことである。これらの目的は、対応する独立クレームに従い、即時再生用の画像処理方法および装置によって達成される。したがって、コンピュータ実行画像処理方法は、テレビ放映された事象からビデオシーケンスを自動的に生成するために、即時再生用に向けられており、少なくとも1台のソースカメラはある場面のソース画像シーケンスを提供する。カメラの姿勢および光学設定はカメラのビューを規定し、1組のカメラパラメータによって記述される。本方法は、オンラインフェーズにおいて、以下のステップを備える:入力ユニットは、ソース画像シーケンスからの基準ビューから基準キーフレームを規定するユーザ入力を受取り、基準キーフレームは、後に生成される仮想再生が行なわれてほしいとユーザが思う時点からのビデオ画像であり、画像取得ユニットは、ソース画像シーケンスの記録から基準キーフレームを抽出し、場面のさらなるソース画像シーケンスの記録からのさらなるビューから1つ以上のさらなるキーフレームを選択的に抽出し、各さらなるキーフレームは後でキーフレーム点と呼ばれる、基準キーフレームと同じ時点で記録され、パラメータ算出ユニットは1組以上の仮想カメラパラメータを自動的に算出し、各組は仮想カメラによる場面の仮想ビューを記述し、2組以上の仮想カメラパラメータが算出された場合、選択ユニットは後の処理ステップ用に1組を選択し、選択された組によって規定され仮想ビューは、後に選択された仮想ビューと呼ばれ、1組の仮想カメラパラメータしか算出されていない場合、対応する仮想ビューを選択された仮想ビューとして使用し、生成ユニットは、経時的仮想カメラパラメータの変化によって記述され、仮想カメラの動きおよび仮想ビューの対応する変化を規定する、仮想カメラフライト経路を生成し、■第1のビューから選択された仮想ビューに変わり、第1のビューは基準ビューまたは任意的にさらなるビューの1つであり、つぎに■選択された仮想ビューから第2のビューに変わり、第2のビューは基準ビューまたは任意的にさらなるビューの1つであり、レンダリングユニットは仮想カメラフライト経路によって規定される仮想ビデオストリームをレンダリングし、出力ユニットは、コンピュータ読取可能記憶装置に仮想ビデオストリームを記憶すること、および通信リンクを通して仮想ビデオストリームを送信すること、の少なくとも一方を行なう。本発明は、総合システムを提供するために、既知の要素を新たに確立された方法と組み合わせ、総合システムでは、ある時点の一つの選択が与えられると、さらなるユーザの相互作用に依存することなく、仮想ビューを生成し、実際のリアルビューから仮想ビューへと、さらにオリジナルのビューまたは別のリアルビューに戻る、完全な仮想フライトを作成する。仮想ビューおよび仮想フライト経路と関連する画像ストリームの生成を、ユーザの相互作用なしで完全に自動化する機能は、さらなる好ましい実施例のベースとなる。ユーザの相互作用は、好ましくは代替の解析タイプ、ビュー、またはフライト経路の中から選択するために導入される。この種のユーザの相互作用すなわち、所与の組のオプションからの選択は非常に速く、即時再生の邪魔とはならない。たとえば、1つ以上の仮想ビューが自動的に生成されて、選択のためにユーザに提示される。ユーザは瞬時に異なるビューを見て選択することができる。仮想フライトは仮想ビューとともに、または特定の仮想ビューが選択された後で、そのビューのために生成され得る。本発明の好ましい実施例において、場面の動きは、仮想ビューに入りそして出るまでの仮想フライトの間はフリーズされる停止時間。しかし、本発明の別の好ましい実施例では、仮想ビューへの仮想INフライトは、キーフレーム点に至るまでの間、場面の動きを見せるおよびキーフレーム点の後の仮想OUTフライトも同様。このような動きのある仮想フライトは、停止時の仮想フライトと同じキーフレームおよび任意にカメラを選択するための決定処理を辿ることによって作成することができる。主な違いは、仮想フライトは小さい組の画像、極端には一つのキーフレームから生成されるのではなく、INおよびOUTフライトの間の場面を表わす1つ以上のビデオシーケンスから生成されることである。姿勢、すなわち実際のカメラまたは仮想カメラの位置および配向またはビュー方向、ならびにビューアングルおよび/またはズーム係数などのようなカメラの任意のパラメータは、カメラパラメータの組によって記述される。これらのパラメータが与えられると、場面のビューが定義される。ビューは、カメラパラメータがカメラによって変化する、すなわち、パン、ズーム、ムーブなどにより、経時的に変わり得る。ビューは、ビデオ処理に照らして、ビデオストリームに、またはビデオストリームの一つの画像もしくはフレームに対応する。選び出すことができる重要なフレームはキーフレームと呼ばれる。したがって、本発明の好ましい実施例において、仮想カメラフライト経路は、第1のビューから選択された仮想ビューへ、次に第1のビューに戻る仮想ビューの変化を規定する。すなわち、第1および第2のビューは同じである。本発明の別の好ましい実施例において、第2のビューは第1のビューと異なる。本発明は迅速なユーザ相互作用を提供し、最小の転換時間で迅速なユーザ決定をサポートする。本発明の好ましい実施例において、1組以上の仮想カメラパラメータを自動的に算出するステップは以下のステップを含む:場面におけるオブジェクトの位置を自動的に算出し、場面で観察される状況の分類を、特にこの分類を指定するユーザ入力を抽出することにより、定め、場面のオブジェクトの位置および状況の分類に基づき、少なくとも1組の仮想カメラパラメータを自動的に算出する。分類は、観察される状況に対して行なわれるべき解析タイプに対応する。分類または解析タイプがあってもなくても、本発明の好ましい実施例において、システムは所与の場面について異なる視点またはビューを自動的に定める。たとえば戦術解析用に鳥瞰的ビュー、オフサイドビュー、ショット解析用に競技者ビュー、ゴールキーパービューなどを定めることができる。システムは対応する1つ以上のビューをレンダリングし、これらを潜在的に興味のある仮想ビューpotentiallyinterestingvirtualviewPIVVとしてユーザに表示して、ユーザが1つを選択できるようにする。分類がなければ、システムは予め定められた標準ビュータイプの組からビューを生成してユーザが選択できるようにしてもよい。本発明の好ましい実施例において、後続の処理ステップ用に選択された仮想ビューを規定する仮想カメラパラメータの組のうちの1つを選択するステップは、以下のステップを含む:各仮想カメラパラメータの組に対して、場面の対応する仮想ビューおよび対応する仮想画像を自動的に生成し、これは後にこの時点における仮想キーフレームと呼ばれ、仮想キーフレームを画像表示装置に表示し、仮想キーフレームの1つを示すユーザの選択を入力し、関連する仮想ビューを後続の処理ステップ用の選択された仮想ビューとして用いる。これは、所与のオプションの組からユーザが迅速に選択できる上記のプロセスに対応する。本発明のさらに好ましい実施例において、本方法はオンラインフェーズに先行する準備フェーズで実行される以下のステップをさらに備える:特徴モデル、特に前景オブジェクトを背景に対して検出および分離するためのカラーモデルを作成し、これは前景オブジェクトの異なるクラスに対応するカラーモデルを含み、既知の特徴を有する場面を観察しているカメラから得られる複数の画像から、後のビデオ獲得の間変化しない固定カメラパラメータを定め、さらに後の画像処理において抽出しおよび使用するために、特徴モデルおよび固定カメラパラメータをコンピュータ読取可能記憶手段に記憶する。前景オブジェクトの異なるクラスは、ゲームにおける異なるチーム、さらにレフリー、ボール、ゴールポストなどに対応する。固定カメラパラメータを記憶することは、変化するカメラパラメータを予測するためのオンラインの作業を減らす。本発明の好ましい実施例において、本発明はオンラインフェーズの前に、準備フェーズで実行される以下のステップをさらに備える:潜在的カメラ構成空間を網羅するビューから複数の画像をサンプリングし、これらの画像における特徴の位置を定めて識別し、これらのビューに対応するカメラパラメータを定め、基準情報としてそれぞれの画像に対する特徴および特徴の位置を記憶し、基準情報のカメラパラメータについての関連を画像特徴に基づく迅速なカメラ較正のために後で抽出するためにコンピュータ読取可能記憶手段に記憶する。これにより、オンライン画像が与えられると、画像における特定された特徴の位置から、カメラパラメータまたはカメラ較正の最初の予測値を抽出することができる。本発明の好ましい実施例において、本方法は、準備フェーズにおいて、チームの競技方向および対応する時間情報についての情報を入力し、競技方向が有効である時間を特定することを含む。これにより、競技状況を正しく識別または解析することができる。たとえば、競技方向を知り、かつカメラが競技場のどの側から撮影しているのかを知ることにより、オフサイド状況にある競技者が攻撃側またはディフェンス側のチームであるのか分類することができ、オフサイドのラインはユーザの相互作用なしで適切に定めることができる。本発明のさらに好ましい実施例において、少なくとも2台のソースカメラから少なくとも2つのソース画像シーケンスが処理される。それにより、1つのソース画像シーケンスから抽出された前景オブジェクトは、1つ以上の残りのソース画像シーケンスの前景オブジェクトと自動的に識別され、さらに自動的に、ユーザの相互作用なしで、場面におけるこれら前景オブジェクトの位置を定めることができる。このステップは、ユーザの助けなしで、マルチカメラオブジェクト検出と呼ばれるものを達成し、個々のオブジェクト/競技者の適切な位置付けおよびそれに基づく状況の解析を迅速にする。本発明のさらに好ましい実施例において、仮想カメラフライト経路を生成するステップにおいて、第1のビューおよび第2のビューを自動的に定めるために以下のステップが実行される:1つのソース画像シーケンスしかない場合、第1および第2のビューを基準ビューと同じであるとして選択し;2つのソース画像シーケンスがある場合、少なくとも1つのビューを、他のソースカメラよりも観察場面により近くにあるソースカメラからのものであるとして選択する。これにより、情報があればより興味のあるフライト経路を与え、他方ではより少ない情報しかない場合でも、満足できるフライト経路を与えることができる。本発明の好ましい実施例において、ソースカメラのうちの一台は主要カメラであると指定され、主要カメラのビュー方向に従い、第1および第2のビューの少なくとも一方に用いられるソースカメラは自動的に選択され、これは好ましくは主要カメラが向いている方向に、主要カメラの側に位置付けられるカメラとして前記ソースカメラを選択することによりなされる。このステップにより、ユーザが手動で第2のカメラを選択する必要がなくなる。たとえば、主要カメラが右側を見ている場合、対象の場面は主要カメラから見て競技場の右側にあることが示され、主要カメラの右側にあるソースカメラが、仮想カメラフライト経路からのまたは仮想カメラフライト経路に進む、2つのカメラの1つであるとして選択される。これら2つのカメラの他方は、主要カメラである、または他にあるのなら別のカメラであり得る。本発明の好ましい実施例において、仮想カメラフライト経路を生成するために、以下のステップが実行される:第1のビュー、仮想ビューおよび第2のビューの異なる組み合わせに対して1組の仮想カメラフライト経路を生成し、各仮想カメラフライト経路の組について図形表示を画像表示装置に表示し、仮想カメラフライト経路の1つを示すユーザの選択を入力し、さらに選択された仮想カメラフライト経路を用いて、仮想ビデオストリームをレンダリングする。この実施例により、システムを用いる場合により柔軟となりながら、ある組のオプションから1つだけを選択するよう、ユーザの相互作用を減らす。図形的表示は、各フライト経路について、仮想フライト経路に沿った1組の画像、またはフライト経路にかかわるカメラの記号的表示であり、たとえばカメラAからカメラBへのフライト経路についてはA-B、A-A、およびB-Aなどとなる。オプションは視覚的に表示されるので、選択は直感的に、かつ非常に迅速に行なうことができる。所望の選択を指示装置によって選択することにより、またはその選択に伴う専用の入力キーを叩くことにより、システムに入力することができる。完全な仮想カメラフライト経路を生成し、仮想ビデオストリームをレンダリングするステップは、時間および利用可能な算出力に依存して、ユーザの選択が入力される前に行なうことができ、それによりユーザは結果についての事前映像を見ることができる。または、ユーザに選択を提示している間に、行なうことができる。この場合、システムはユーザの入力を待ちながら、事前に一部またはすべてのビデオストリームを算出し、後では必要ないビデオストリームを捨てる。代替的に、選択されたビデオストリームは、選択がなされた後のみ算出してもよい。本発明の好ましい実施例において、仮想再生ユニットは、カメラ、仮想ビュー、およびフライト経路変形を選択するための柔軟性のない決定ツリーを提供しない。むしろ、異なる選択を表わすフライト経路またはキービューの多数の変形はできるだけ長く維持され、オペレータまたは指示者などにさらなる選択の自由度を可能にする。本発明の好ましい実施例において、仮想カメラフライト経路を生成するステップは以下のステップを含む:選択された仮想ビュー、第1のビューおよび第2のビューが与えられると、これらのビューを記述するカメラパラメータの組を抽出し、仮想カメラパラメータの組を補間し、これは第1のビューに対応するカメラパラメータの組からの値から始まり、選択された仮想ビューに対応するカメラパラメータの組の値に変化させ、さらに第2のビューに対応するカメラパラメータの組の値に変化させ、仮想カメラフライト経路に沿ったビューのすべてについて、またはサブセットについて、ビューのそれぞれの画像が、利用可能なキーフレームから画像情報がない領域を含むか否かをチェックし、これら1つ以上のビューにおいて欠落している画像情報の量たとえば、領域が所定の限界を超えた場合、自動的にまたはユーザの相互作用により、欠落している画像情報の量が、欠落している情報を有するビューよりも小さいかまたはゼロである1つ以上の中間キービューを定め、これらキービューを通過するように、仮想カメラフライト経路を算出する。これにより、仮想ビューにおけるブラックホールをなくす、すなわちソース画像から利用できる情報がない画像領域をなくす。たとえば、1つ以上の中間キービューは、以下により、既存の仮想カメラフライト経路から生成することができる:仮想カメラを上昇させる、すなわち、画面のより大きな鳥瞰的ビューを提供する、仮想カメラを場面により近く動かす、ズームインする、すなわち、仮想カメラの視角を減少させる、上記のうちの2つ以上の組み合わせ。一般に、上記のアプローチは、画像ビューからの画像がキーフレームから完全に生成できない可能性を減らす傾向にある。本発明の好ましい実施例において、仮想再生ユニットはキーフレームの時点より別の時点で別の方向に向いているソースカメラで撮られた画像に基づき、場面の少なくとも背景のモデルを維持および更新させる。仮想再生ユニットはこの時間がずれた情報を用いて、背景に関する欠落している画像情報を埋める。本発明の好ましい実施例において、仮想カメラフライト経路を生成するステップは、仮想カメラパラメータの組を補間する場合、仮想フライト経路のビューのシーケンスにおいて、場面における静止または動いている対象点について平滑な動きを維持する。興味の点は、ビュワが見ると予期される点、たとえばボールの位置または画像内で見える競技者の活動の中心であるたとえば、競技場での視認可能な競技者のそれぞれの位置の中心によって定められる。ビューおよびフライト経路の生成は、以下を考慮した最適化問題として見ることできる:-興味の点の平滑な動き、-画像のほぼ中央にある興味の対象点、-2台以上のカメラによって可視可能な興味の点、および-オプションであって、対応するソース画像情報がない画像領域を最小化する。本発明の好ましい実施例において、本方法は、選択された仮想ビューまたは満足のいく仮想カメラフライト経路が仮想再生ユニットによって定められていない、またはユーザによって選択されない場合、基準キーフレームからまたは1つのさらなるキーフレームから強調した静止画を生成し、後で仮想ビデオストリームの代わりに強調した静止画を用いる。これにより、即時再生用のビデオシーケンスを提供する最初のタスクに対する許容可能な代替策となる。この強調は、たとえば画像に挿入されるオフサイドラインであり得る。このような静止画像および仮想フライトからの仮想ビデオシーケンスならびに仮想ビデオシーケンスと連結されたビデオシーケンスは、主要競技者のマーキング、距離または移動方向を示す矢印などのような画像強調要素をさらに含むことができる。好ましくは、このような要素は、連結されたシーケンスが実際のシーケンスから仮想のシーケンスに変わる、および仮想のシーケンスから実際のシーケンスに変わる際に、シームレスに表示される。本発明のさらに好ましい実施例において、本方法は連結されたビデオシーケンスを生成するステップを備え、ビデオシーケンスは、第1のソースカメラから、第1のビューのキーフレームに至り、そこで終了する第1のビデオシーケンスと、第1のビューのキーフレームで始まり、第2のビューのキーフレームで終わる仮想ビデオストリームと、第2のソースカメラから、第2のビューのキーフレームで始まるの第2のビデオシーケンスとを、この順序で含む。このような態様で、仮想ビデオシーケンスは実際のビデオシーケンスと結合されて、仮想静止または動きのあるフライトを実際のシーケンスにリンクする、シームレスな複合または連結シーケンスを形成する。本発明のさらに好ましい実施例において、本方法は仮想再生ユニットと相互作用するビデオサーバによって実施される。ビデオサーバは、ビデオ入力ストリームを記録および記憶するよう構成されており、入来のおよび記憶されたビデオ入力ストリームからなるビデオ出力ストリームを出力するよう制御可能である。仮想再生ユニットは、同じ時点における場面の異なるビューに対応する1つ以上のキーフレームから、仮想ビデオストリームを生成するよう構成されている。本方法は以下のステップを備える:ビデオサーバは、1つのビデオ出力ストリームによって、または別の通信リンクによって、1つ以上のキーフレームを仮想再生ユニットに送信し、さらに仮想再生ユニットは仮想ビデオストリームを生成する。こうして、ビデオサーバおよび仮想再生ユニットは別個の搬送可能および操作可能な装置であり、これらは異なる場所で単独で用いることができ、必要なら組合せて用いることができる。本発明のさらに好ましい実施例において、仮想再生ユニットはビデオサーバを制御して、1つ以上のキーフレームすなわち、基準キーフレームおよび任意のさらなるキーフレームを仮想再生ユニットに送り、以下の2つのグループのステップのうちの一方が実行される:仮想再生ユニットは、仮想ビデオストリームを算出した後、第1のビデオシーケンスおよび第2のビデオシーケンスを仮想再生ユニットに送信するようにビデオサーバを制御し、仮想再生ユニットは、第1のビデオシーケンス、仮想ビデオストリームおよび第2のビデオシーケンスを連結する;または仮想再生ユニットは、仮想ビデオストリームを算出した後、仮想ビデオストリームをビデオサーバに送信し、第1のビデオシーケンス、仮想ビデオストリーム、および第2のビデオシーケンスを連結するようにビデオサーバを制御する。本発明のさらに好ましい実施例において、ビデオサーバは仮想再生ユニットに1つ以上のキーフレームを送り、ビデオサーバは仮想ビデオストリームを算出するように仮想再生ユニットを制御し、好ましくは仮想ビデオストリームを算出するように仮想再生ユニットをトリガし、さらに以下の2つのグループのステップのうちの1つが実行される:ビデオサーバは、仮想再生ユニットに、第1のビデオシーケンスおよび第2のビデオシーケンスを送り、ビデオサーバは、第1のビデオシーケンス、仮想ビデオストリーム、および第2のビデオシーケンスを連結するよう仮想再生ユニットを制御し;または仮想再生ユニットは、仮想ビデオストリームを算出した後、仮想ビデオストリームをビデオサーバに送り、ビデオシーケンス、仮想ビデオストリーム、および第2のビデオシーケンスを連結するようビデオサーバを制御する。上記で用いられた制御の表現は、ある動作または算出の始動に対応する、または制御エンティティによる制御命令の発行に対応し、命令の実行は制御されるエンティティで行なわれる。本発明による即時再生用の画像処理のためのコンピュータプログラムプロダクトは、デジタルコンピュータの内部メモリにロード可能であり、コンピュータプログラムコード手段を備え、前記コンピュータプログラムコード手段がコンピュータにロードされた場合、コンピュータに本発明の方法を実行させる。本発明の好ましい実施例において、コンピュータプログラムプロダクトは一時的ではないコンピュータ読取可能媒体を含み、コンピュータプログラムコード手段がそこに記録されている。仮想再生ユニットは1つ以上のプログラム可能コンピュータデータ処理ユニットを含み、1つ以上のキーフレームを入力するよう、本発明による方法のステップを行なうよう、さらに前記方法に従って生成された少なくとも1つの仮想ビデオストリームを出力するよう、プログラミングされている。さらなる好ましい実施例は、従属の請求項から明らかである。方法クレームの特徴は、装置クレームの特徴と組合せることができ、その逆も可能である。図面の簡単な説明本発明の主題は、添付の図面に示される好ましい例示的実施例を参照して、以下でより詳細に説明される。図面で用いられる参照記号およびその意味は、参照符号のリストにおいてまとめて示される。原則として同じ部分は図面において同じ参照記号が用いられる。好ましい実施例の詳細な説明図1はある場面を観察しているビデオ生成および処理ユニットの構成を概略的に示す。1台以上のソースカメラ9、9′が配置されて、競技場での競技者のグループなどのようなある場面8を観察する。競技場および他の静止要素は背景であると考えられ、競技者は動く実世界オブジェクト14であると考えられる。各ソースカメラ9、9′はソースビデオストリームを生成し、より一般的にはソース画像シーケンス10、10′を生成し、これはビデオ入力ストリーム21としてビデオサーバ15に入力され、典型的にはデジタル形式で、ハードディスクまたは均等の不揮発性記憶装置において、記憶ユニット16に記憶される。インターフェイスユニット19は仮想再生ユニット13およびビデオサーバ15を制御するものとして示される。インターフェイスユニット19は、ビデオサーバ15の動作を主に携わる制御コンソールであってもよく、特定の専用の制御命令は直接仮想再生ユニット13に、またはビデオサーバ15によって仮想再生ユニット13に送られる。別の好ましい実施例において、2つの物理的に別個のインターフェイスユニット19が仮想再生ユニット13およびビデオサーバ15用に設けられる。仮想再生ユニット13が自分のインターフェイスユニット19を有する場合、仮想再生ユニット13はビデオサーバ15を制御するための専用の命令を発行するように構成されることができ、命令は仮想再生ユニット13によって自動的に、および/またはインターフェイスユニット19においてユーザ入力に基づいて、生成される。ビデオサーバ15は一般にビデオ出力ストリーム22を生成するような機能が備わっており、仮想再生ユニットは一般に自分のビデオストリーム出力24を生成する機能が備わっている。これらのビデオストリームは、ビデオ表示装置18に表示され、および/または送信機17を介して送信される。仮想再生ユニット13は概念的に1つ以上の仮想カメラ11を場面8に加え、ソース画像シーケンス10、10′に基づき、物理的なソースカメラ9、9′がない場所から見られるような場面8の仮想画像および仮想ビデオストリームを作成する。仮想再生ユニット13の視点から、カメラは場面8を観察している1つ以上の物理ソースカメラ9、9′の1つ、または仮想カメラ11であり得る。仮想画像およびビデオストリームは、場面8の仮想ビューに対応する。仮想ビューは仮想カメラパラメータによって記述される。仮想カメラフライト経路20は、仮想ビューの配列であり、模擬時間経過に従う仮想カメラパラメータの変化またはコースまたは軌跡によって記述することができ、仮想カメラ11の移動を規定する。経時的に変わる物理的カメラのカメラパラメータを定める処理は、カメラ較正と呼ばれる。原理的に、これは専用のハードウェアによってパラメータを測定することによって行なうことができる。実際には、較正は好ましくはカメラのビデオストリームだけに基づいて行なわれ、たとえば以下の組み合わせを用いることによって行なわれる:特徴的場面部分、たとえば競技場のマーキングラインの位置、コーナー、円などの検出に基づき、前処理段階で生成される事前位置情報、同様に特徴的場面部分に基づく、および/またはビデオストリームのフレーム間の違いに基づく、オンライン配向情報。図2は異なるビデオストリームからのビデオシーケンスの連結を概略的に示す。個々にa、b、cおよびdと示される、記憶されたソース画像シーケンス10、10′が与えられると、オペレータはソース画像シーケンス10、10′のうちの1つからフレームを選択し、それにより対応するある時点またはキーフレーム点tkを選択する。選択されたフレームは、基準キーフレームと呼ばれる。同じときに撮られた他のソース画像シーケンス10、10′からのフレームは、さらなるキーフレームと呼ばれる。ビデオストリームは、a、b、cおよびdと示される。個々のフレームは、a_t、b_tなどと示され、tはフレームが記録された時間である。キーフレームについて、時間またはキーフレーム時点はtkによって示される。ビデオシーケンス、すなわちビデオストリームの短い数秒または数分の連続するサブセクションは、aS1、cS2、V図2の左半分として示される。仮想再生ユニット13は、仮想カメラ11から見た仮想ビデオストリームVを生成し、これをキーフレーム点に至る導入ビデオシーケンスaS1と、キーフレーム点の後短い時間続く後のビデオシーケンスcS2と結合する図2の右半分。好ましくは、仮想ビデオストリームVは、仮想カメラフライト経路20に沿って、一方のソースカメラ9から別のソースカメラ9′への姿勢からの仮想カメラ11の動きに対応する。仮想カメラ11の動きは、実世界のオブジェクト14の動きが停止して行なわれる。すなわち、仮想カメラフライト経路20に沿って生成される仮想ビューはすべて、同じ時点キーフレーム点での場面8を示す。さらに、仮想カメラ11の動きは好ましくは、仮想カメラフライト経路20に沿って1つ以上の停止点で停止し、それにより、そのキーフレーム時点でのこれらの停止点から見た場面8の静止画像がもたらされる。仮想カメラフライト経路に沿って、および/または停止の際に、仮想ビューをレンダリングする場合、仮想ビューは強調することができる。たとえば、マーカ、特徴的線たとえば、オフサイドライン、ファーストダウンラインなど、コメンテータによって生成された注釈などを自動的にまたは手動で挿入することができる。図3-図6は、相互作用する仮想再生ユニットおよびビデオサーバの異なる構成を示す。すべての構成において、ビデオサーバ15はビデオ入力ストリーム21を受取り、ビデオ出力ストリーム22を生成する。仮想再生ユニット13は少なくともキーフレームa_tk、c_tkを受取り、一部の構成ではすべてのビデオシーケンスaS1、cS2を受取る。これは、1つのビデオ出力ストリーム22に接続されるビデオストリーム入力23、またはたとえばイーサネット登録商標に基づき得る通信リンク25を通して行なわれる。図3および図4の構成において、仮想再生ユニット13は第1の制御リンク26を介してビデオサーバ15を制御するよう構成されている。仮想再生ユニット13は、図1に関連して記載されるインターフェイスユニット19と同一または一部であり得る再生ユニット制御インターフェイス28を含み、これは選択されたキーフレーム点についての即時再生シーケンスの生成を少なくとも始動させる働きがある。第1の制御リンク26を介して送信される制御命令により、ビデオサーバ15は選択されたビデオ入力ストリーム21から1つ以上のキーフレームa_tk、c_tk、...を送信する。本発明の図3の好ましい実施例に従い、仮想ビデオストリームVが仮想再生ユニット13によって生成された後、仮想再生ユニット13は第1の制御リング26を介してさらなる命令を出し、それによりビデオサーバ15は導入ビデオシーケンスaS1および後続のビデオシーケンスcS2を仮想再生ユニット13に送り、そこで上記のように仮想ビデオストリームVと連結され、ビデオストリーム出力24において結合されたシーケンスを提供する。本発明の図4の好ましい実施例において、仮想再生ユニット13はビデオストリーム出力24を介して仮想ビデオストリームVをビデオサーバ15に送り、第1の制御リンク26によってビデオサーバ15を制御して、ビデオサーバ15に記憶されている導入ビデオシーケンスaS1および後のビデオシーケンスcS2との連結を行なう。図5および図6の構成において、ビデオサーバ15は第2の制御リンク27を介して仮想再生ユニット13を制御するよう構成されている。ビデオサーバ15は、図1に関連して記載されるインターフェイスユニット19と同じまたはその一部であり得るサーバ制御インターフェイス29を含み、これは選択されたキーフレーム点についての即時再生シーケンスの生成を少なくとも始動させる働きがある。第2の制御リンク27を通して送信される制御命令により、仮想再生ユニット13はビデオサーバ15から受取られた1つ以上のキーフレームa_tk、c_tk、...を処理する。本発明の図5の好ましい実施例に従い、仮想ビデオストリームVが仮想再生ユニット13によって生成された後、ビデオサーバ15は第2の制御リンク27を介してさらなる命令を発行し、それにより仮想再生ユニット13はビデオサーバ15によって送られた導入ビデオシーケンスaS1および後続のビデオシーケンスcS2を受取り、上記のように仮想ビデオストリームVと連結させ、結合されたシーケンスをビデオストリーム出力24で提供する。本発明の図6の好ましい実施例において、自動的にまたは第2の制御リンク27によって始動されて、仮想再生ユニット13はビデオストリーム出力24を通して仮想ビデオストリームVをビデオサーバ15に送る。ビデオサーバ15はビデオサーバ15に記憶されている導入ビデオシーケンスaS1および後続のビデオシーケンスcS2との連結を行なう。図7は本発明に従う方法のフロー図であり、以下のステップを含む:ユーザ入力を入力し71、基準キーフレームを抽出し72、1組以上の仮想カメラパラメータを自動的に算出し73、2組以上の仮想カメラパラメータが算出された場合には実行を分岐し74、1組を選択し75、仮想カメラフライト経路を生成し76、仮想ビデオストリームをレンダリングし77、仮想ビデオストリームを格納または送信する78。図8は本発明の方法を実施する仮想再生ユニット13の構造および主要データフローを示し、入力ユニット81、画像取得ユニット82、パラメータ算出ユニット83、任意のユーザ選択入力84aを用いる選択ユニット84、生成ユニット85、レンダリングユニット86、および出力ユニット87を有する。最小ワークフロー記述仮想解析用準備ステップオフラインオペレータは、1つ以上の仮想ビューを生成するために、ある場面についての後の迅速な処理を可能にする、必要な情報を生成するために以下のステップを行なう:○区分けのための特徴モデル作成。すなわち背景典型的には競技場に対して前景オブジェクト典型的には競技者の検出および分離。以下において、主にカラーモデルについて述べるが、形状モデルやエッジモデルのような他の特徴モデルをカラーモデルの代わりに、または組合せて、区分けのために用いることができる。■これは異なるチームの競技者を区別するために、異なるチームについての異なるカラーモデルを含み、それぞれのチームを各オブジェクトに割当てる。カラーモデルは、特定のクラスのオブジェクトについてのピクセルカラー分布用の確率モデルである。たとえば、カラーモデルはガウス混合モデルであり得る。■さらに、ゴールなどのような物理的オブジェクトのカラーモデルをも含む。○オンライン処理の際の後の迅速較正検出のために、潜在的に利用可能なビューの組についてのカメラ較正:■出力:各物理カメラに対して1つのカメラモデル。カメラモデルは、ある場面に対するカメラの位置および配向を記述するパラメータ、およびカメラの光学パラメータを含む。このようなパラメータの典型的な組は以下を含む:COPすなわち、投影中心の位置:パン、ロールおよびティルト角度;ズームまたは焦点距離;異なる内部パラメータたとえば画像歪みを特徴付ける1つ以上のパラメータ。同じ情報を表わす他の組のパラメータも代替的に用いることができる。本明細書において、カメラ較正およびカメラパラメータの用語は入れ換え可能に用いられる。較正または較正検出としての動詞は、カメラパラメータを定める作業を意味する。■カメラモデルは固定カメラパラメータ、すなわち後のビデオ取込みおよび処理で変わらないパラメータを含む。これら固定パラメータの決定は、好ましくは場面の複数のビューに基づいて行なわれ、競技場のマーキングなどのような場面の既知の特徴が検出される。画像のこれらの特徴の位置が与えられると、カメラパラメータが算出される。これらのパラメータのうち、固定パラメータは典型的には、COP、内部パラメータ歪み、およびさらにロール角を含む。これら固定パラメータの値が与えられると、処理の際に後で行なわれるパラメータ予測は、より効率的にかつより安定して、行なうことができる。■コンピュータ読取可能カメラデータベースが作成され、これはカメラモデルと、特にある場面の処理の際に後で抽出される固定カメラパラメータを含む。■処理の際のカメラ較正を加速するために、好ましくは複数のビューを表わす複数の画像が分析され、各画像に対して画像におけるフィールドマーキングのような特徴についての場所および特定カメラがこの画像で何を見ているのか、ならびに関連するカメラパラメータこの画像においてカメラはどこを見ているのかを与える。好ましくはさらなるカメラ較正データベースが作成され、これは特徴の位置および識別、さらにそれに関連付けられるカメラパラメータを含む。この情報が与えられると、後続の処理では、所与の画像における特徴を検出した後、カメラパラメータの初期予測値を抽出することができる。すなわち、較正データベースは、細かくサンプリングされた潜在的カメラ構成空間にある既知の部分の特徴、特に画像内におけるその場所を表わし、これはカメラパラメータに関連付けられる。○サッカーの各ハーフタイムにおいて:■どのチームがどの方向に競技しているのかを手動で示し、または■初期の情報に基づき、かつゲーム開始から経過した時間に従い、競技方向を算出する。場面の処理オンライン入力:少なくとも1つのアングルまたはビューからあるスポーツ場面のビデオシーケンス。分析のために、特定のフレームまたは特定のシーケンスを示す、オペレータからの入力基準キーフレーム、または単にKEYFRAME。出力:新しいビデオシーケンスは、所定の時間プレシーケンス長さの間KEYFRAME前の場面を示し、停止させて所与のビューのうちの一つから、すなわち所与の角度から、実際のカメラと異なる完全に仮想視点で仮想カメラのフライトを表示し、好ましくはタイム-フリーズシーケンスであり、つぎに仮想カメラのフライトは最初の所与のビューに戻るまたは別のカメラのビューに進み、つぎに対応する実カメラで再生を続ける。自動処理ステップ以下で、オンライン処理がより詳細に説明される:オプション:キーフレーム選択1つ以上のビデオストリームから、オペレータは異なる視点からの同じ瞬間を示す1つ以上のフレームを選択する=KEYFRAME。○予め同期化された複数のストリームすなわち、対応する時間情報を有するビデオストリームであって、自動的にまたはストリーム間の既知の時間オフセットから生成があれば、オペレータは1つのストリームにおいてフレームを1つだけ選択し、さらに任意的に異なるストリームを選択するだけである。これは、タイムコードが既知であるので、これらのストリームにおける正確なフレームを示す必要がないからである。出力:KEYFRAME○オプション:以下のビデオインフラストラクチャ付加情報に依存:■KEYFRAMEごとのカメラソース識別。このソース識別は、マルチサーバ環境において特定のビデオストリームを一意的に識別するために、ネットワークまたはサーバ情報を含むことができる。■KEYFRAMEごとのタイムコード情報。本発明の好ましい実施例において、仮想再生ユニット13はビデオサーバ15と動作可能に接続されている。キーフレーム定義は以下の態様で行なうことができる:一般的セットアップまたは構造:○ビデオサーバ15インフラストラクチャが1つ以上の分離されたカメラストリームを並行に記録することができるのなら、仮想再生ユニット13は一つの点からこれらをアクセスすることができる:■これは、たとえば1つの出力ストリーム概念的にプレーヤと呼ぶまたはビデオ出力ストリーム22を提供するビデオサーバ15の通信リンク25を通したネットワーク接続により行なわれる。仮想再生ユニット13はコントローラメカニズムまたは再生ユニット制御インターフェイス28たとえば、コントローラケーブルおよびコントローラ通信プロトコルを用いて1つ以上の出力ストリーム/プレーヤを制御して、仮想再生ユニット13によって定義されるビデオ信号を与える。コントローラメカニズム28はユーザの制御により、以下を行なうようビデオサーバ15を制御する:再生、早送り、早巻戻し、特定のタイムコードフレームへのジャンプにより、現在のビデオ出力を変える。入力ソースを異なる入来分離カメラストリームまたはクリップに変えることにより、現在のビデオを変える。○ネットワーク化環境において、ストリームは遠隔装置からも来ることができる。クリップを作成する。■コントローラメカニズムは、ビデオサーバ15が自分のコントローラによって、および並行に仮想再生ユニット13によって操作されるよう設定できる。KEYFRAMEを定義するため、プッシュまたはプル方法を実施することができる:○プッシュ:ビデオサーバ15インフラストラクチャは、情報を仮想再生ユニット13にプッシュする手段を有することができる。たとえば、ビデオサーバ15制御ユニット29でのボタンを押すことにより、現在のフレームは、待ちモードにある仮想再生ユニット13にプッシュされる。■変形a:システムは次の処理ステップのために、他のソース画像シーケンス10、10′から残りのキーフレームの1つ以上の映像を受取る。■変形b:仮想再生ユニット13はカメラおよびタイムコード情報を受取り、ビデオサーバを制御して定義されたキーフレーム点でのビデオフレームを与える。■変形c:各該当するビデオストリームはタイミング情報を含み、潜在的に対象となるカメラソースの選択された組複数のビデオソースからは既に規定されている、同期化前のセットアップ時なので、仮想再生ユニット13はタイムコード情報しか受取らない。ビデオサーバ15から潜在的に対象であるキーフレームを抽出するのに、この情報で十分である。○プル:■ユーザはビデオサーバ15および/または仮想再生ユニット13のコントローラユニット28、29を用いて、処理するべき基準キーフレームを与え、たとえば、仮想再生ユニット13に取り付けられるキーボード上のボタンを押下することにより処理を開始させる。■このようなコントローラユニット28、29は、たとえばEVSコントローラ、マウスキーボード、USBシャトル、または他の標準ビデオコントローラであり得る。■ビデオサーバ15インフラストラクチャが複数の分離されたカメラストリームを並行に提供しているのなら、仮想再生ユニット13は他の予め規定されたカメラストリームをアクセスし、後で処理するために複数のキーフレームから集めることができる。キーフレーム映像の取込み入力:ビデオストリームおよびKEYFRAME○オプション:カメラソースおよび/またはキーフレームごとのタイムコード情報処理:システムは、さらなるキーフレームとして、KEYFRAMEのビデオシーケンスの映像を抽出する。オプション:ビデオサーバ15からの1つ以上の格納されているソース画像シーケンス10、10′から、キーフレームの前後からビデオ情報を、プレイアウトステップのために仮想再生ユニット13に取込む。出力:1つ以上のキーフレーム映像、ならびにもしあればタイムコードおよびキーフレーム情報、すなわちソースカメラまたはキーフレーム用のビデオストリーム識別。較正検出入力:キーフレーム映像、準備ステップからのカメラモデル。任意出力:○所与のキーフレーム映像がどの物理カメラからなのかの知識。遠隔作成環境では、ビデオソースはカメラに対して1:1の関係を示す。すなわち、各ビデオソースは1つの指定された物理カメラから来る、または一つの指定された物理カメラに接続される。したがって、ビデオソース識別が既知であるのなら、物理カメラも自動的に既知となる。ただしユーザがこの関係を前処理段階で規定していなければならない。○または、物理カメラをビューに割当てるユーザの入力。○または、カメラ特定データベースへの最適マッチを見つける。処理:映像および格納されたカメラモデル情報から、システムは各所与の入力映像に対するカメラ較正情報較正行列を検出する手動による微調整も可能。これは映像を解析し、特徴とも呼ばれるランドマークたとえばライン、交差線、円、特徴的パターン...のような競技場マーキングを探すことにより行なわれる。特徴部分の位置、配向、大きさおよび/または他の特性に基づき、システムは較正データベースをサーチし、似通っている組の特徴を探す。最も似ているビューを見つけると、システムは対応するカメラパラメータを用意したカメラ較正データベースから抽出する。これらのパラメータはさらなる処理においてそのまま用いることができる、または自動特徴位置微調整によって改めることができる。データベースに含まれないカメラパラメータは予測され、データベース情報がないことに比べてより正確にかつ効率よく算出される。出力:各キーフレーム映像用のカメラ較正情報、すなわち、キーフレーム映像を有するビューのカメラパラメータ。オプション:自動カメラビュー選択入力:キーフレーム映像任意入力:較正情報複数のビューがあるのなら、システムは好ましくは2つで働く。システムはユーザの好みに基づき利用可能なビューのうちの2つたとえば、先立ってメインカメラ、左18ヤード、右18ヤードを選択し、任意に、較正またはカメラパラメータからのビューにより選択するたとえば、右側に向いている場合、メインおよび右18ヤード。他の種類の優先は、目の前のゲーム状況に基づく。たとえば、フリーキックの場合、ゴールが他の2つのカメラで完全に見えなければ、ゴール後ろのカメラが選択される。別の状況では、対象の場面に最も近いカメラが選択される。出力:2つ以上の好ましいカメラビュー○2つしかない場合、これらを自動的に、仮想フライト補間用の開始および終了ビューとして選択することができる。オブジェクト検出入力:キーフレーム映像、特徴たとえば色モデル情報、較正情報。処理:マルチビューオブジェクト競技者、ボール、ゴールなど検出。システムはカラーモデル情報、ヒストグラム統計値、較正情報、および既知のゲーム/人員制約たとえば、1チームの最大競技者数、最大ボディサイズを用いて、各映像のオブジェクト境界ボックスOBBを定め、そのOBBをオブジェクトタイプたとえば、競技者、チーム、レフリー、ゴールなどに割当てる。異なるキーフレーム映像において同じオブジェクトを示すOBBは一緒にリンクされる、すなわち互いに同一視される。本発明のある好ましい実施例に従い、これはオブジェクトが平らな背景面上にあると見なし、かつ画像におけるOBBまたは区分けされたオブジェクトの位置から行なうことができ、オブジェクトを背景面に投影し、背景面上のオブジェクトの位置を定めることによって行なう。異なるソースカメラ9、9′で見られる2つのオブジェクトであって、背景面上で同じ位置にあると定められた2つのオブジェクトは、同じ実世界オブジェクト14であると見なされる。オペレータによる任意の入力繰返される○1つのビューにおいて相互作用でオブジェクトまたはチーム割当てを変える。→他のビューでも自動的に更新される。○自動的に見つけだされないオブジェクトを、たとえばある画像上でクリックすることにより加える。これにより、クリックによって規定される場所でのオブジェクトをシステムに識別させようとする。これは自動オブジェクト検出で用いられるよりも低い制限の識別基準を用いる。カラーモデルに基づき、対応するクラスのオブジェクトすなわちチームは、自動的にシステムによって推測できる。○オブジェクトがオペレータによって見られない場所で見つけたOBBを取除く。これは、あるビューにおいてオペレータがOBBをクリックし、このビューでのOBBを削除するための命令を入力する、またはOBBおよび他のビューの対応するOBBを削除する別の命令を入力することによって行なわれる。好ましくは、オペレータがあるOBBをクリックすると、システムは他のビューからの表示画像における対応するOBBも自動的に強調表示する。○限度が既知であるのなら、特定の種類または所与のタイプのオブジェクトの最大数を制限する。たとえば、あるタイプのオブジェクトに対応して各チームの最大競技者数が既知であり、さらに多くて1人のレフリーおよび1つのボールがある。ある種のオブジェクトの最大数を超えるものが検出されると、まず最も可能性のあるオブジェクトをその種類に割当て、残りのオブジェクトを、カラーモデルおよび/またはチームのヒストグラムといった他の情報が十分に近いものであるのなら、別の種類に割当てる。○OBBの自動サイズ調整。OBBのサイズを大きくするまたは小さくする。ただし、他のOBBとの重なりがなく、OBB内の切出されたセグメントはOBBのボーダーを横切るまたは接触している。出力:各キーフレーム映像におけるオブジェクトに対するOBB。互いに連結される/互いに割当てられて物理的オブジェクト14たとえば、競技者を表わす。オブジェクト分離入力:OBBおよび特徴たとえばカラーモデル情報自動切出しおよびブロブ検出任意のユーザ入力:○OBB映像に描画して、前景または背景である部分を記す。○OBB更新:小さすぎる、大きすぎる、または形が損なわれているのなら、OBBの大きさを変える。出力:OBBにおける各ピクセルに対して、前景-背景の関係を記す、分離マスクを有するOBB。適用可能なアルゴリズムはたとえばグラフカットGraph-Cutである。○オプション:前景すなわち、実世界オブジェクト14または背景に属する尤度で各ピクセルを記す。背景穴埋め入力:分離されたオブジェクト、キーフレーム画像出力:オブジェクトがない、穴が埋められた背景画像処理:以下を用いた自動穴埋め○背景画像からの情報○前のまたは後の入力画像からの情報、および/または他のソースカメラ9、9′による画像からの情報。仮想フライト作成入力:キーフレーム映像、カメラ較正、分離マスクを含むOBB。さらに、解析タイプが予め定められる、またはユーザによって入力されてもよい。解析タイプは典型的にはゲーム状況に関連しており、1つ以上の潜在的な興味のある仮想ビューPIVVに関連付けられる。処理:仮想再生ユニット13は以下を行なう:○未知の部分の可視を避けて、潜在的に興味のある解析タイプに依存仮想ビューを定める。○開始カメラビューから仮想ビューへの仮想カメラフライト経路20カメラビュー補間Aを作成する。○仮想ビューから終了カメラビューへの仮想カメラフライト経路20カメラビュー補間Bを作成する。○オプション:レンダリングがキーフレーム映像情報によってのみ依存する場合、環境の既知の部分は制限され、可能なフライト経路20も制限される。このため、本発明の好ましい実施例において以下が行なわれる:■仮想再生ユニット13は、フライトが環境の未知の部分を示すフレームを含むか否かをチェックし、つぎに以下の1つ以上を行なう:人であるオペレータに知らせ、フライト経路20を修正する機会を与える。未知の部分が見えなくなるよう、フライトを変更する中間キービューを加えることにより、フライトを自動的に変える。中間キービューは、生成されたフライトがぶれのないビデオをもたらすよう、好ましくは加えられる。すなわち、画像に見られる対象点は全体のフライト中、出力ビデオに対して滑らかな経路を辿ることを意味する。対象点は、観察者が焦点を合わせると予期される画像または場面の点であり、たとえばボール、またはボールのおおよその場所、または特定の競技者または競技者のグループである。このフライトは対象点をほぼ画像の中央に保つ、または画像のシーケンスにおいて、対象点の場所が突然変わることを避ける。すなわち、平滑な対象点の移動を作成する。対象点が結果のビデオ内にあるよう、さらなるビューを選択することができる。対象点は特定の規則に従って自動的に、またはオペレータによって手動で入力、たとえばポインティングデバイス位置指示装置によって定めることができる。自動検出は、単にボールの検出、または競技状況や、検出された競技者位置の配置および所望の解析タイプに基づくことができる。たとえば、オフサイド状況を解析しているとき、システムはボールを持っている競技者が含められるようにしながら、コンピュータ生成オフサイドライン画像に自動的に挿入を画像の半分のところに位置付けようとする。これらの規則は、場面の情報不足により、仮想カメラの位置直しの際に破棄されてもよい。任意の事例:○仮想再生ユニット13は複数の潜在的に興味のある典型的には、キーフレーム点での仮想ビューを定め、これをオペレータに表示して、そのうちの1つを選択させることができる。たとえば、ハイ、ノーマル、またはロービューもしくは角度、もしくはすべての競技者を含むビューなど。○仮想再生ユニット13はフライトについていくつかの潜在的に興味のある仮想ビューを作成する。たとえばA→V1→V2→V3→Bであって、V1、V2およびV3は付加的、中間仮想ビューである。たとえば、このような第1のビューはオフサイドラインに沿ったものであり、第2のビューは第1のビューよりも高い位置からのものである。仮想フライトはこれらのビューのうちの一つのビューで停止することができ、注釈を付けたりコメントを付けたり、停止することなく他のビューを通過することもできる。特に、フライトが最初のビューAに戻ると、フライトがキーフレームビューへのフライトと異なるよう戻させる中間ビューを有することが好ましい。○仮想再生ユニット13は、異なる開始および終了ビューの組み合わせを有する複数の仮想フライトを定めるたとえば、カメラA→カメラA、A→B、B→A、および/または異なる変形頭上フライト、フライトダウン、直接フライトを与え、オペレータに提供されたもののうちから最も適切なものを選択する可能性を与える。○オプション:仮想ビューが自動的に、またはオペレータ入力により定義されると、ビューはレンダリングされて、システム出力で示されるビデオ供給。たとえば、プロデューサー、編集者、ディレクター、仲介者、評論家はプリビューを判断してそのビューを用いることができる。○オプション:仮想ビューが自動的に、またはオペレータ入力により定義されると、ビューはレンダリングされて、システム出力で示されるビデオ供給。たとえば、プロデューサー、編集者、ディレクター、仲介者、評論家はプリビューを判断してそのビューを用いることができる。○オプション:場面に仮想図形要素を加える。場面に依存して、システムは自動的に、またはオペレータによって手動で仮想図形要素を場面に加えることができる。これらは、フットボールでのオフサイドライン、アメリカンフットボールでのファーストダウンライン、矢印、距離情報たとえば、矢印または円を含む距離測定値を含むが、これらに限定されない。■オプション:動画図形注釈。■オプション:3D図形要素■オプション:模擬図形注釈たとえば、物理的に基づいたもの。本発明の好ましい実施例において、自動仮想カメラ位置付けが、フットボールでのオフサイド状況について行なわれる:○解析型オフサイドラインにおいて、潜在的に興味のある仮想ビューPIVVは、オフサイドラインの上にあるとして、すなわち、オフサイドラインの延長線上から競技場の境界上までまたは超えているとして、自動的に定められる。すなわち少なくとも線審のビューにほぼ対応する。■カメラの位置および配向は、実世界オブジェクト14および未知の部分の配置に従い選択される。実世界オブジェクト14が既知でなければ、位置はオフサイドラインの延長上の、競技場側にあり、仮想カメラはオフサイドラインに沿って見下ろすように配向が選択される。任意に、攻撃方向が、たとえば右側であるのなら、オフサイドラインは画像の右半分に表示でき、オフサイドラインの左側により大きい領域を、潜在的に興味のある競技者の配置用に残す。■カメラ配向を変えることにより、オフサイドラインは画像上で常に正確に縦に上下にレンダリングされるように、他のカメラパラメータを自動的に訂正する。したがって、仮想カメラが縦軸の周りをパンする場合、オフサイド線を縦に配向したままにするために、対応する距離で競技場に沿って横に移動する。■オプション:ボールは仮想ビューにおいて可視可能であることが必要になるかもしれない。ボールが確実に検出できるのなら、これはオプションである。○オフサイドラインは最初の準備ステップからの知識時間に依存する、チームの競技方向およびカメラの方向によって定められる。■カメラが競技場の右側に向いている場合、右側で守備を行なうチームは、オフサイドラインを規定し、その逆も同様である。■オフサイドラインの位置は規則に従い、サッカーのルール、およびオブジェクト/競技者14の位置によって定められる。○オプション:オペレータはたとえばマウスのホイールを用いて、映像を指示する、または他の入力手段により、オフサイドラインの場所を変えることができる。○オプション:提案されているPIVVは、仮想カメラを移動させることによって迅速に修正することができ、その間オフサイドラインは画像境界線に対して常時自動的に垂直のまま残る。○オプション:システムの出力がオペレータ、プロデューサー、編集者、ディレクター、仲介者、または評論家の要件に合わない場合、仮想再生ユニット13は代替的に前の既知のシステムと同じ出力を生成することができ、たとえば任意の動画のオフサイドラインが重ねられて、ソースカメラ9からのキーフレームを示す。○オプション:オフサイドラインを直線として、または領域として、または3D映像として、またはその組み合わせとして、表示する図形的注釈。○オプション:オフサイドラインの動画。他の特殊なケース、ゲーム状況、解析タイプおよび関連する可能なPIVVは以下のとおりである:○フリーキック:■PIVVは、ボールの後ろであって、ゴールに向いている;ゴールの後ろであって、ボールに向いている、または鳥瞰的視点。■図形的注釈は、距離円、ゴールまでの距離であり得る。○ゴール:■PIVVは、ゴールの後ろであってボールに向いている;ゴールに向いている攻撃側の競技者の後ろ、ゴールに向いている攻撃側競技者の後ろであって、高い鳥瞰的視点。○ミスしたゴールチャンス:■PIVVは、鳥瞰的視点であって、シュートをしている攻撃側の競技者および可能ならアシストしている競技者を含めて、ゴール方向に配向される。■ゴールに向いている攻撃側競技者の後ろ。○レフリー決定解析用のレフリービュー○フォワードのビュー○オブジェクトボール、競技者、レフリーなどを追う○ユーザが定義した経路を追う競技場上の二次元または三次元○ユーザが定義したまたは自動的に定められた可視点たとえば、競技者、領域など○アメリカンフットボール:■アメリカンフットボールでのファーストダウンラインは、最初の準備ステップ時間に依存するチームの競技方向およびゲームのルールに従ったゲーム状況ボールを持つチーム、およびオブジェクト/競技者14の位置からの知識によって定められる。フライト経路生成を実施するための方法は、上記のオフサイド状況の場合と本質的に同じである。■他に該当するPIVVは、クォーターバックのビュー、ランニングバックのビュー、ディフェンスセンターのビューである。○アイスホッケーなど...■アイスホッケーでのブルーラインは最初の準備ステップ時間に依存するチームの競技方向およびゲームのルールに従ったゲーム状況パックを持っているチームおよびオブジェクト/競技者14の位置からの知識によって定められる。フライト経路生成を実施するための方法は、上記のオフサイド状況の場合と本質的に同じである。ビデオプレイアウト入力:PIVVを含めてリアルタイムでレンダリングするためのフライト動画情報○オプション:開始カメラおよびフレームINカメラ、INフレーム:併せてIN点を規定○オプション:終了カメラOUTカメラ○オプション:キーフレームタイムコード処理:○INカメラが規定されていなければ、システムは以下のようにINカメラを選択する:■第1の利用可能なカメラをINカメラとして選択する。■またはカメラパラメータ、すなわちカメラがどこにあり、どこを向いているかたとえばその配向または向いている競技場の部分によって特徴付けられるならびに発見的決定ルールの組を用いることにより、選択する。たとえば、INカメラは、競技場の中央当たりでの位置を有するメインゲームカメラであると自動的に定められ得る任意的に、このカメラがキーフレームによって規定される対象の場面に向いていることをチェックする。メインカメラが適さない場合、対象の場面により近い次のカメラを用いる。さらに、たとえばオペレータによって特定されるゲーム状況を用いて、好ましいカメラを決定することができる。決定ルールは、決定ツリーによってまたは以下の態様で最も高いスコアのカメラを選択することによって実施することができる:異なる基準にそれぞれ1点を割り当て、各カメラの合計点をたとえばその加重和として算出できる。■または、オペレータに仮想再生ユニット13上またはビデオサーバ制御ユニット上でカメラを選択するよう求める。○IN点が規定されていなければ、システムは以下のようにINフレームを選択する:■所定数のフレームを巻戻すことにより、■または、オペレータに、仮想再生ユニット13上、またはビデオサーバ15の制御ユニット28、29上で、選択されたINカメラシーケンスの現在のフレームを続ける前のINフレームに移動させることを求める。○OUTカメラが規定されなければ、システムは以下のようにOUTカメラを選択する:■第1の利用可能なカメラを、OUTカメラとして選択する。■または、INカメラではない第1の利用可能なカメラを、OUTカメラとして選択する、■またはINカメラと本質的に同じ発見的態様で、OUTカメラはこのフライト用に選択されたINカメラと異なるというさらなる規則を有して、カメラパラメータを用いることにより、選択する。■または、オペレータにシステムまたはビデオサーバ制御ユニット上でカメラを選択することを求める。○任意に、フライトをINカメラからPIVVに、および次にOUTカメラに、予めレンダリングする。出力:所与の状況のビデオシーケンス再生であって、以下を含む:○プリクリップ:IN点からシーケンスのKEYFRAMEまでのビデオシーケンス。任意的に、KEYFRAME前のビデオの再生の速度を落とす。○INカメラから1つ以上の仮想視点へのフライト、およびOUTカメラへのフライト。■動画のあるまたは模擬の自動または手動による図形注釈で任意的に強調。■所与の時間の間、仮想ビューにおけるフライトを任意的に止める。■最後のOUTカメラに戻る前に、他のビューに任意的に飛ぶ。○任意的に、次のKEYFRAMEに行く。○ポストクリップ:必要なだけの長さのKEYFRAMEからのOUTカメラのビデオシーケンス利用可能なビデオクリップによって制限またはオペレータによって停止することができる。○任意的に、出力の速度を落とすことができる。○任意の出力:■たとえば、プロデューサーがある状況の所与の仮想ビューが満足できるものではないと判断すれば、システムは仮想フライトなしで、見方において注釈のみを有し、クロマキー従来のシステムと類似されているビデオシーケンスをプレイアウトすることができる。オフサイド例:INからKEYFRAMEまでの再生、停止、ラインツーポジションを動画化、ラインアウトを動画化、KEYFRAMEからOUTまで再生。フリーキック例:INからKEYFRAMEまでの再生、停止、ゴールまでの距離円または距離または双方を動画化、注釈を動画化し消去、KEYFRAMEからOUTまで再生。本発明は現在の好ましい実施例で記載されているが、本発明はこれに限定されず、本発明の請求項の範囲内において他の態様で実現および実施することができる。