【手続補正書】
【提出日】平成26年6月26日(2014.6.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオシーケンスを自動的に生成するために、即時再生用のコンピュータ実行画像処理方法であって、前記方法は、前記方法のオンラインフェーズにおいて、
ある場面のソース画像シーケンスを提供するように適合された少なくとも１台のソースカメラを提供または可能化するステップを備え、前記カメラの姿勢および光学設定は、前記カメラのビューを規定するとともに、ある組のカメラパラメータによって記述され、
前記方法は、
前記ソース画像シーケンスからの基準ビューから基準キーフレームを規定するユーザ入力を入力するステップを備え、前記基準キーフレームは後に生成された仮想再生が行なわれてほしいとユーザが思う時点からのビデオ画像であり、
前記方法は、
前記ソース画像シーケンスの記録から前記基準キーフレームを抽出するとともに、場面のさらなるソース画像シーケンスの記録から、さらなるビューからの１つ以上のさらなるキーフレームを任意に抽出するステップをさらに備え、各さらなるキーフレームは、前記基準キーフレームの時点と同じ時点で記録されており、後でキーフレーム点と呼ばれ、
前記方法は、
１組以上の仮想カメラパラメータを自動的に算出するステップをさらに備え、各組は仮想カメラによる前記場面の仮想ビューを記述し、
前記方法は、
２組以上の仮想カメラパラメータが算出された場合、後の処理ステップ用に一組を選択し、前記仮想ビューは、後で選択された仮想ビューと呼ばれる選択された組によって規定され、または１組の仮想カメラパラメータしか算出されない場合、対応する仮想ビューを前記選択された仮想ビューとして使用するステップと、
経時的仮想カメラパラメータの変化によって記述されるとともに、前記仮想カメラの動きおよび前記仮想ビューの対応する変化を規定する、仮想カメラフライト経路を生成するステップとをさらに備え、
前記仮想ビューは、
第１のビューから前記選択された仮想ビューに変わり、前記第１のビューは前記基準ビューまたは任意的にさらなるビューの１つであり、次に、前記仮想ビューは、
前記選択された仮想ビューから第２のビューに変わり、前記第２のビューは前記基準ビューまたは任意的に前記さらなるビューの１つであり、
前記方法は、
仮想カメラフライト経路によって規定される仮想ビデオストリームをレンダリングするステップと、
仮想ビデオストリームをコンピュータ読取可能記憶装置に記憶すること、および仮想ビデオストリームを通信リンクを通して送信すること、の少なくとも一方を行なうステップとをさらに備える、方法。
【請求項２】
前記１組以上の仮想カメラパラメータを自動的に算出するステップは、
前記場面におけるオブジェクトの位置を自動的に算出するステップと、
前記場面で観察される状況の分類を、特にこの分類を特定するユーザ入力を抽出することにより定めるステップと、
前記場面におけるオブジェクトの位置および前記状況の分類に基づき、少なくとも１組の仮想カメラパラメータを自動的に算出するステップとを含む、請求項１に記載の方法。
【請求項３】
前記後の処理ステップ用に選択された仮想ビューを規定する仮想カメラパラメータの組のうちの１つを選択するステップは、
各仮想カメラパラメータの組に対して、後でこの時点での仮想キーフレームと呼ばれる前記場面の対応する仮想ビューおよび対応する仮想画像を自動的に生成するステップと、
前記仮想キーフレームを画像表示装置上に表示するとともに、前記仮想キーフレームの１つを示すユーザの選択を入力し、さらに関連する仮想ビューを後の処理ステップ用の選択された仮想ビューとして用いるステップとを含む、請求項１に記載の方法。
【請求項４】
前記後の処理ステップ用に選択された仮想ビューを規定する仮想カメラパラメータの組のうちの１つを選択するステップは、
各仮想カメラパラメータの組に対して、後でこの時点での仮想キーフレームと呼ばれる前記場面の対応する仮想ビューおよび対応する仮想画像を自動的に生成するステップと、
前記仮想キーフレームを画像表示装置上に表示するとともに、前記仮想キーフレームの１つを示すユーザの選択を入力し、さらに関連する仮想ビューを後の処理ステップ用の選択された仮想ビューとして用いるステップとを含む、請求項２に記載の方法。
【請求項５】
前記方法は、前記オンラインフェーズより前の準備フェーズで実行される、以下の、
前景オブジェクトを背景に対して検出および分離するための特徴モデルを作成するステップと、
既知の特徴を有する場面を観察しているカメラから得られる複数の画像から、後のビデオ取込みの間に変化しない固定カメラパラメータを定めるステップと、
後の画像処理において抽出および用いるために、前記特徴モデルおよび固前記定カメラパラメータをコンピュータ読取可能記憶手段に記憶するステップとをさらに備える、請求項１に記載の方法。
【請求項６】
前記特徴モデルはカラーモデルであり、前景オブジェクトの異なるクラスに対応するカラーモデルをを含む、請求項５に記載の方法。
【請求項７】
前記方法は、前記オンラインフェーズより前の準備フェーズで実行される、以下の、
潜在的カメラ構成空間を網羅するビューから複数の画像をサンプリングするステップと、
これらの画像における特徴の位置を定めて識別するステップと、
これらのビューに対応するカメラパラメータを定めるステップと、
基準情報としてそれぞれの画像に対する前記特徴および特徴位置を記憶するステップと、
前記基準情報の前記カメラパラメータに対する関連を、画像特徴に基づく迅速なカメラ較正のために後で抽出するために、コンピュータ読取可能記憶手段に記憶するステップをさらに備える、請求項１に記載の方法。
【請求項８】
前記方法は、準備フェーズにおいて、チームの競技方向、および前記競技方向が有効である時間を特定する関連する時間情報についての情報を入力するステップをさらに備える、請求項１に記載の方法。
【請求項９】
少なくとも２台のソースカメラから少なくとも２つのソース画像シーケンスが処理される場合、前記ソース画像シーケンスの１つから抽出された前景オブジェクトを１つ以上の残りのソース画像シーケンスの前景オブジェクトと自動的に同一視するステップと、
自動的に、ユーザ相互作用なしで、前記場面におけるこれらの前景オブジェクトの位置を定めるステップをさらに含む、請求項１に記載の方法。
【請求項１０】
前記仮想カメラフライト経路を生成するステップにおいて、前記第１のビューおよび前記第２のビューを自動的に定めるために、
１つのソース画像シーケンスのみが利用可能である場合、前記第１および第２のビューを前記基準ビューと同じであるとして選択するステップと、
２つのソース画像シーケンスが利用可能である場合、少なくとも１つのビューを、他のソースカメラよりも観察場面により近くにあるソースカメラからのものであるとして選択するステップとを実行する、請求項１に記載の方法。
【請求項１１】
前記ソースカメラの１つが主要カメラであると指定するステップと、
前記主要カメラのビュー方向に従い、前記第１および第２のビューの少なくとも一方に用いられるソースカメラを自動的に選択するステップとをさらに備え、
選択された前記ソースカメラは、好ましくは、前記主要カメラが向いている、前記主要カメラの側に位置付けられるカメラである、請求項１に記載の方法。
【請求項１２】
仮想カメラフライト経路を生成するために、
第１のビュー、仮想ビュー、および第２のビューの異なる組合せに対して１組の仮想カメラフライト経路を生成するステップと、
各仮想カメラフライト経路の組について図形表示を画像表示装置上に表示し、仮想カメラフライト経路の１つを示すユーザ選択を入力するステップと、
選択された前記仮想カメラフライト経路を用いて仮想ビデオストリームをレンダリングするステップとが実行される、請求項１に記載の方法。
【請求項１３】
前記仮想カメラフライト経路を生成するステップは、
前記選択された仮想ビュー、前記第１のビュー、および前記第２のビューが与えられると、これらのビューを記述するカメラパラメータの組を抽出するステップと、
前記第１のビューに対応するカメラパラメータの組からの値から始まって、前記選択された仮想ビューに対応するカメラパラメータの組の値に変わり、さらに前記第２のビューに対応するカメラパラメータの組の値に変わるよう、仮想カメラパラメータの組を補間するステップと、
前記仮想カメラフライト経路に沿ったビューのすべてまたはサブセットに対して、前記ビューのそれぞれの画像が、前記利用可能なキーフレームから画像情報がない領域を含むか否かを検証するステップと、
これら１つ以上のビューにおいて欠落している画像情報の量が所定の限界を超えた場合、自動的にまたはユーザ相互作用の手段により、欠落している画像情報の量が、欠落している情報を有するビューよりも小さいかまたはゼロである１つ以上の中間キービューを定めるとともに、これらキービューを通過するように、前記仮想カメラフライト経路を算出するステップとを含む、請求項１に記載の方法。
【請求項１４】
前記仮想カメラフライト経路を生成するステップは、
仮想カメラパラメータの組を補間する場合、前記仮想フライト経路のビューのシーケンスにおいて、前記場面における静止または移動している対象点について平滑な動きを維持するステップを含む、請求項１２に記載の方法。
【請求項１５】
前記方法は、選択された画像ビューまたは満足のいく仮想カメラフライト経路が仮想再生ユニットによって定められていない、またはユーザによって選択されていない場合、前記基準キーフレームからまたはさらなるキーフレームの１つから強調した静止画を生成するステップと、
前記仮想ビデオストリームの代わりに強調した静止画を引き続いて用いるステップをさらに備える、請求項１に記載の方法。
【請求項１６】
前記方法は、連結されたビデオシーケンスを生成するステップをさらに備え、前記連結されたビデオシーケンスは、
第１のソースカメラから、第１のビューのキーフレームに至りかつそこで終わる第１のビデオシーケンスと、
前記第１のビューのキーフレームから始まり、前記第２のビューのキーフレームで終わる前記仮想ビデオストリームと、
第２のソースカメラから、前記第２のビューにおけるキーフレームから始まる第２のビデオシーケンスとをこの順序で含む、請求項１に記載の方法。
【請求項１７】
前記方法は、仮想再生ユニットと相互作用するビデオサーバによって実施され、前記ビデオサーバは、ビデオ入力ストリームを記録および記憶するよう構成されるとともに、入来するおよび記憶されたビデオ入力ストリームからなるビデオ出力ストリームを出力するよう制御可能であり、前記仮想再生ユニットは、同じ時点における前記場面の異なるビューに対応する１つ以上のキーフレームから、前記仮想ビデオストリームを生成するよう構成されており、前記方法は、
前記ビデオサーバが前記仮想再生ユニットに、ビデオ出力ストリームの１つまたは別個の通信リンクのどちらかによって、１つ以上のキーフレームを送信するステップと、
前記仮想再生ユニットが前記仮想ビデオストリームを生成するステップとを備える、請求項１または１６に記載の方法。
【請求項１８】
前記仮想再生ユニットは、前記仮想再生ユニットに１つ以上のキーフレーム（すなわち、前記基準キーフレームおよび任意のさらなるキーフレーム）を送信するようビデオサーバを制御し、さらに
以下の、
前記仮想再生ユニットが、前記仮想ビデオストリームを算出した後、第１のビデオシーケンスおよび第２のビデオシーケンスを前記仮想再生ユニットに送信するように前記ビデオサーバを制御し、前記仮想再生ユニットは、前記第１のビデオシーケンス、前記仮想ビデオストリーム、および前記第２のビデオシーケンスを連結するか、または
前記仮想再生ユニットが、前記仮想ビデオストリームを算出した後、前記仮想ビデオストリームを前記ビデオサーバに送信し、前記第１のビデオシーケンス、前記仮想ビデオストリーム、および前記第２のビデオシーケンスを連結するよう前記ビデオサーバを制御するかの、２つのグループのステップのうちの一方のみを実行する、請求項１７に記載の方法。
【請求項１９】
前記ビデオサーバは、前記仮想再生ユニットに１つ以上のキーフレームを送信し、
前記ビデオサーバは、好ましくは仮想ビデオストリームを算出するように前記仮想再生ユニットをトリガすることによって前記仮想ビデオストリームを算出するように前記仮想再生ユニットを制御し、さらに
以下の、
前記ビデオサーバが前記仮想再生ユニットに、第１のビデオシーケンスおよび第２のビデオシーケンスを送信し、前記ビデオサーバが、前記第１のビデオシーケンス、前記仮想ビデオストリーム、および前記第２のビデオシーケンスを連結するよう前記仮想再生ユニットを制御するか、または
前記仮想再生ユニットが、前記仮想ビデオストリームを算出した後、前記仮想ビデオストリームを前記ビデオサーバに送信し、前記第１のビデオシーケンス、前記仮想ビデオストリーム、および前記第２のビデオシーケンスを連結するよう前記ビデオサーバを制御するかの、２つのグループのステップのうちの一方のみを実行する、請求項１７または１８に記載の方法。
【請求項２０】
即時再生用の画像処理のための仮想再生ユニットであって、１つ以上のプログラム可能コンピュータデータ処理ユニットを備え、１つ以上のキーフレームを入力し、請求項１に記載の方法におけるステップを実行し、さらに前記ステップの実行に従って生成された少なくとも１つの仮想ビデオストリームを出力するように、プログラミングされている、仮想再生ユニット。
【請求項２１】
持続性コンピュータ読取可能媒体であって、
前記媒体上に記録されたコンピュータプログラムコードを含み、
前記プログラムコードがコンピュータにローディングされると、前記コンピュータは、請求項１に記載の方法を実現するための前記ステップを実行する、持続性コンピュータ読取可能媒体。