(57)【要約】【課題】時間経過に伴って動く被写体を映像として高精度に提示する。【解決手段】複数の撮像手段により撮影された動く被写体の映像から予め設定された条件に基づいて所定の映像を生成する映像生成装置において、出力する映像の内容を設定する出力映像設定手段と、前記出力映像設定手段により得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像の被写体領域を抽出する被写体領域抽出手段と、前記被写体領域抽出手段により抽出された被写体領域を所定の背景画像に合成する画像合成手段と、前記出力映像設定手段により得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像を所定の順序で切り替えて多視点映像を生成する多視点映像生成手段と、前記画像合成手段及び前記多視点映像生成手段により得られる映像から出力映像を生成する出力映像生成手段とを有する。【選択図】図１
2008187678.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段により撮影された動く被写体の映像から予め設定された条件に基づいて所定の映像を生成する映像生成装置において、
出力する映像の内容を設定する出力映像設定手段と、
前記出力映像設定手段により得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像の被写体領域を抽出する被写体領域抽出手段と、
前記被写体領域抽出手段により抽出された被写体領域を所定の背景画像に合成する画像合成手段と、
前記出力映像設定手段により得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像を所定の順序で切り替えて多視点映像を生成する多視点映像生成手段と、
前記画像合成手段及び前記多視点映像生成手段により得られる映像から出力映像を生成する出力映像生成手段とを有することを特徴とする映像生成装置。
【請求項２】
前記画像合成手段は、
前記被写体領域抽出手段により抽出された複数の被写体領域画像を、所定の順序で前記背景画像に合成することを特徴とする請求項１に映像生成装置。
【請求項３】
前記画像合成手段は、
前記複数の撮像手段におけるカメラパラメータにより得られる前記撮像手段から被写体領域までの距離情報に基づいた順序で前記背景画像に合成することを特徴とする請求項２に記載の映像生成装置。
【請求項４】
前記撮像手段は、
前記出力映像設定手段により設定される出力映像に使用する映像を撮影する撮像手段からの映像のみを取得することを特徴とする請求項１乃至３の何れか１項に記載の映像生成装置。
【請求項５】
前記画像合成手段は、
前記出力映像設定手段により得られる設定条件に基づいて、同一の画像に合成する被写体の数が異なる画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の映像生成装置。
【請求項６】
複数の撮像手段により撮影された動く被写体の映像から予め設定された条件に基づいて所定の映像を生成する映像生成処理をコンピュータに実行させるための映像生成プログラムにおいて、
出力する映像の内容を設定する出力映像設定ステップと、
前記出力映像設定ステップにより得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像の被写体領域を抽出する被写体領域抽出ステップと、
前記被写体領域抽出ステップにより抽出された被写体領域を所定の背景画像に合成する画像合成ステップと、
前記出力映像設定ステップにより得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像を所定の順序で切り替えて多視点映像を生成する多視点映像生成ステップと、
前記画像合成ステップ及び前記多視点映像生成ステップにより得られる映像から出力映像を生成する出力映像生成ステップとをコンピュータに実行させるための映像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像生成装置及び映像生成プログラムに係り、特に時間経過に伴って動く被写体を映像として高精度に提示するための映像生成装置及び映像生成プログラムに関する。
【背景技術】
【０００２】
近年、映画やＣＭ等において、被写体を取り囲むように配置した複数台のカメラで同期撮影した映像を利用し、被写体が空中に跳びあがった瞬間の映像をカメラの配列に従って切り替えて提示することで、あたかも１台のカメラがその空中に浮いた被写体の周りを移動しながら撮影したかのような映像を表示する技術が盛んに用いられている。
【０００３】
このような映像表示技術は、多視点映像表示技術といい、例えばスポーツ中継等に応用され、試合の流れや選手の動きを多視点映像によって伝える技術として知られている（例えば、特許文献１、非特許文献１等参照。）。
【０００４】
一方で、１台のカメラで撮影した映像から、映像フレーム毎に動く被写体領域を抽出し、それらを背景画像に合成表示することで、時間経過に沿った被写体の動きを１枚の映像で表現することができるマルチモーション映像表示技術も用いられており、例えばスポーツ中継等において選手の動きをわかり易く解説する手法として知られている（例えば、特許文献２、非特許文献２、３等参照。）。
【特許文献１】特開２００６−１１５２９８号公報
【非特許文献１】伊佐憲一他４名，「最新スポーツ中継技術  世界初！プロ野球中継におけるＥｙｅＶｉｓｏｎＴＭ（アイビジョン）の活用」，放送技術，兼六館出版，２００１年１１月  ｐ．９６−ｐ．１０５．
【特許文献２】特開２００６−５４５２号公報
【非特許文献２】李他２名、「体操選手のフォーム・軌跡表示システム」、映像情報メディア学会誌、Ｖｏｌ．５１  Ｎｏ．１１  ｐ．１８８１−ｐ．１８８７（１９９７年）．
【非特許文献３】加藤他３名，「スーパーマルチモーション」，映像情報メディア学会誌，Ｖｏｌ．５７  Ｎｏ．８  ｐ．９３６−ｐ．９３８（２００３年）．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した従来手法は、多視点映像表示技術又はマルチモーション映像表示技術のうち、何れか一方を用いた被写体の表示技術である。しかしながら、時間経過に伴って動く被写体を映像として高精度に提示するためには、時間経過に沿った被写体の動きを複数の視点から見ることができる多視点マルチモーション映像を提示することが好ましいが、このような映像提示技術に関してはこれまで前例がない。
【０００６】
更に、違和感のないマルチモーション映像を生成するためには、撮影するカメラと被写体の位置関係を考慮し、映像フレーム毎に抽出した被写体領域画像を所定の背景画像に合成する順序を決定する必要があるが、これらを自動的に制御するための手法も提案されていない。
【０００７】
本発明は、上述した問題点に鑑みなされたものであり、時間経過に伴って動く被写体を映像として高精度に提示するための映像生成装置及び映像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
請求項１に記載された発明は、複数の撮像手段により撮影された動く被写体の映像から予め設定された条件に基づいて所定の映像を生成する映像生成装置において、出力する映像の内容を設定する出力映像設定手段と、前記出力映像設定手段により得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像の被写体領域を抽出する被写体領域抽出手段と、前記被写体領域抽出手段により抽出された被写体領域を所定の背景画像に合成する画像合成手段と、前記出力映像設定手段により得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像を所定の順序で切り替えて多視点映像を生成する多視点映像生成手段と、前記画像合成手段及び前記多視点映像生成手段により得られる映像から出力映像を生成する出力映像生成手段とを有することを特徴とする。
【００１０】
請求項１記載の発明によれば、時間経過に伴って動く被写体を映像として高精度に提示することができる。
【００１１】
請求項２に記載された発明は、前記画像合成手段は、前記被写体領域抽出手段により抽出された複数の被写体領域画像を、所定の順序で前記背景画像に合成することを特徴とする。
【００１２】
請求項２記載の発明によれば、所定の順序に従って画像を合成するため、効率的に高精度な合成画像を生成することができる。
【００１３】
請求項３に記載された発明は、前記画像合成手段は、前記複数の撮像手段におけるカメラパラメータにより得られる前記撮像手段から被写体領域までの距離情報に基づいた順序で前記背景画像に合成することを特徴とする。
【００１４】
請求項３記載の発明によれば、各撮像手段と被写体までの距離を高精度に取得することができるため、例えば被写体が同一画像上で重なる場合に、距離情報に基づいた順序で高精度に合成画像を生成することができる。また、合成する順序を自動化することができ、映像生成の運用性を向上させることができる。
【００１５】
請求項４に記載された発明は、前記撮像手段は、前記出力映像設定手段により設定される出力映像に使用する映像を撮影する撮像手段からの映像のみを取得することを特徴とする。
【００１６】
請求項４記載の発明によれば、無駄な映像を蓄積することがなく、記録容量を削減することができる。また、必要な映像のみを効率的に取得することができる。
【００１７】
請求項５に記載された発明は、前記画像合成手段は、前記出力映像設定手段により得られる設定条件に基づいて、同一の画像に合成する被写体の数が異なる画像を生成することを特徴とする。
【００１８】
請求項５記載の発明によれば、多種の多視点マルチモーション画像を生成することができる。これにより、例えばスポーツ選手等の被写体の動きをよりわかり易く表現した斬新な映像を提示することができる。したがって、より高精度な出力映像を提供することができる。
【００１９】
請求項６に記載された発明は、複数の撮像手段により撮影された動く被写体の映像から予め設定された条件に基づいて所定の映像を生成する映像生成処理をコンピュータに実行させるための映像生成プログラムにおいて、出力する映像の内容を設定する出力映像設定ステップと、前記出力映像設定ステップにより得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像の被写体領域を抽出する被写体領域抽出ステップと、前記被写体領域抽出ステップにより抽出された被写体領域を所定の背景画像に合成する画像合成ステップと、前記出力映像設定ステップにより得られる設定条件に基づいて、前記複数の撮像手段により撮影した映像から選択された映像を所定の順序で切り替えて多視点映像を生成する多視点映像生成ステップと、前記画像合成ステップ及び前記多視点映像生成ステップにより得られる映像から出力映像を生成する出力映像生成ステップとをコンピュータに実行させる。
【００２０】
請求項６記載の発明によれば、時間経過に伴って動く被写体を映像として高精度に提示することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に映像生成を実現することができる。
【発明の効果】
【００２１】
本発明によれば、時間経過に伴って動く被写体を映像として高精度に提示することができる。
【発明を実施するための最良の形態】
【００２２】
＜本発明の概要＞
本発明では、多視点映像表示と、マルチモーション映像表示を組み合わせることで、予め設定された生成すべき映像の形態に基づいて制御を行い、時間経過に沿った被写体の動きを複数の視点から見ることができる多視点マルチモーション映像を提示する。これにより、例えばスポーツ選手等の被写体の動きをよりわかり易く表現した斬新な映像を提示することができる。
【００２３】
また、本発明では、複数台のカメラで被写体を撮影した映像と、複数台のカメラのカメラパラメータを利用して、各カメラから動く被写体までの距離情報を計算し、この距離情報に基づいた順序で、カメラ毎に抽出した複数の映像フレームの被写体領域画像を所定の背景画像に合成する。これにより、例えば被写体が同一画像上で重なる場合に、距離情報に基づいた順序で高精度に合成画像を生成することができる。また、合成する順序を自動化することができ、映像生成の運用性を向上させることができる。
【００２４】
＜実施の形態＞
次に、上述した特徴を有する本発明における映像生成装置及び映像生成プログラムを好適に実施した形態について、図面を用いて説明する。
【００２５】
＜映像生成装置：機能構成例＞
まず、本発明における映像生成装置の機能構成例について図を用いて説明する。図１は、本発明における映像生成装置の一構成例を示す図である。
【００２６】
図１に示す映像生成装置１０は、撮像手段１１と、入力手段１２と、出力手段１３と、蓄積手段１４と、出力映像設定手段１５と、被写体領域抽出手段１６と
画像合成手段１７と、多視点映像生成手段１８と、出力映像生成手段１９と、送受信手段２０と、制御手段２１とを有するよう構成されている。
【００２７】
撮像手段１１は、何らかの動作を行う被写体を撮影し、映像を取得する。また、撮像手段１１は、取得した映像を蓄積手段１４に蓄積する。ここで、撮像手段１１は、例えば複数の高精細カメラや市販のデジタルビデオカメラ等を用い、所定の位置に固定されているものとする。また、複数のカメラで撮影する場合には、それぞれが異なる位置から被写体の動きを撮影する。
【００２８】
更に、撮像手段１１は、撮影したときの時間情報や、撮影したときのカメラの撮影位置、撮影方向、フォーカス調整等のカメラパラメータ等を取得する。
【００２９】
なお、撮像手段１１は、出力映像設定手段１５からの設定条件に基づいて、出力映像に使用する映像を撮影する撮像手段からの映像のみを取得するようにしてもよい。これにより、無駄な映像を蓄積することがなく、記録容量を削減することができる。また、必要な映像のみを効率的に取得することができる。
【００３０】
入力手段１２は、撮像手段１１から得られる何らかの動作を行う被写体の映像の取得指示や、蓄積手段１４から所定のデータを読み出したり、書き込むための指示、どのような映像を出力するかの設定、映像からの被写体領域の抽出、映像の合成、出力映像の生成等における各指示等の入力を受け付ける。なお、入力手段１２は、例えばキーボードやマウス等のポインティングデバイス、マイク等の音声入力インターフェース等からなる。
【００３１】
また、出力手段１３は、入力手段１２により入力された指示内容や指示内容に基づいて各構成より得られる実行された出力映像設定結果、被写体領域抽出結果、画像合成結果、多視点映像生成結果、出力映像、撮像手段１１により撮影された被写体映像等の各種データを表示及び／又は音声にて出力する。なお、出力手段１３は、ディスプレイやスピーカ等からなる。
【００３２】
蓄積手段１４は、撮像手段１１により得られる映像や、出力映像設定手段１５により得られる出力映像設定結果、被写体領域抽出手段１６により得られる被写体領域抽出結果、画像合成手段１７により得られる合成画像、多視点映像生成手段１８により得られる多視点映像データ等の各種データを蓄積する。
【００３３】
出力映像設定手段１５は、撮像手段１１により得られた映像に基づいて、どのような映像を出力するかの設定を行う。具体的には、時間情報やカメラパラメータ等に基づいて、どの時点（フレーム）で合成画像や多視点映像を用いるか、また所定時間毎に合成する被写体の数や合成する背景画像の設定等を行う。これにより、複数のカメラを用いて多視点マルチモーション映像を実現することができる。つまり、複数のカメラを用いて、様々な視点から被写体を見ることができるため、例えばスポーツ中継や運動解析等の分野において、視覚的にわかり易い運動情報を提示することができる。
【００３４】
被写体領域抽出手段１６は、複数のカメラから撮影された複数のカメラ映像から動く被写体領域を抽出した被写体領域画像を生成する。なお、被写体領域抽出手段１６における抽出手法については後述する。
【００３５】
画像合成手段１７は、被写体領域抽出手段１６において抽出された被写体領域と、カメラ毎の所定の背景画像とを利用して、カメラ毎に得られる映像に対して、所定の映像フレームの背景画像に複数の映像フレームの被写体領域画像を合成したマルチモーション画像を生成する。なお、どの映像フレームを背景画像として合成を行うかについては、上述した出力映像設定手段１５において、設定された最終的な多視点マルチモーション映像の出力設定条件に基づいて、必要な合成画像を生成する。なお、画像合成手段１７における合成処理の具体例については後述する。また、画像合成手段１７において合成された画像は、蓄積手段１４に一時的に蓄積される。
【００３６】
多視点映像生成手段１８は、出力映像設定手段１５からの設定条件に基づいて、画像合成手段１７から得られるマルチモーション映像を所定の順序で切り替えながら多視点マルチモーション映像を生成する。また、多視点映像生成手段１８は、複数の撮像手段１１から得られる同期映像を所定の順序で切り替えながら多視点映像を生成することもできる。なお、多視点映像生成手段１８における多視点マルチモーション映像生成の具体例については後述する。また、多視点映像生成手段１８において生成された映像は、蓄積手段１４に一時的に蓄積される。
【００３７】
出力映像生成手段１９は、出力映像設定手段１５における設定情報に基づいて画像合成手段１７において合成された画像、及び多視点映像生成手段１８により得られる多視点マルチモーション映像や多視点映像等を時間情報を基準として結合し、出力映像を生成する。なお、出力映像生成手段１９における映像生成の具体例については後述する。
【００３８】
送受信手段２０は、通信ネットワークを介して他の外部装置等から動く被写体の映像等を取得したり、本発明により得られる出力映像（多視点マルチモーション映像等）や上述した映像生成装置１０における各構成等で取得した各種データを外部端末に送信するための通信インターフェースである。
【００３９】
制御手段２１は、映像生成装置１０における各機能構成全体の制御を行う。具体的には、制御手段２１は、取得した映像から被写体領域の抽出を行ったり、入力手段１２により入力されたユーザからの入力情報等に基づいて、画像合成を行ったり、多視点映像の生成を行ったり、出力映像の生成を行ったり、各処理における結果の画面を生成して表示したり、上述したそれぞれの処理で生成された各種データを蓄積する等の制御を行う。
【００４０】
＜多視点映像の取得例＞
次に、上述した撮像手段１１による多視点映像の取得例について図を用いて説明する。
【００４１】
図２は、多視点映像を取得するための一例を示す図である。また、図３は、図２に対応して得られる映像フレームの一例を示す図である。図２に示すように、本実施形態においては、動く被写体３０を撮影するために、複数のカメラ３１−１〜３１−８が三脚等により所定の位置に設置されている。
【００４２】
ここで、時間の経過に伴って動く被写体３０を複数のカメラ３１−１〜３１−８で撮影した映像をそれぞれＩｍ１〜Ｉｍ８とする。また、カメラ３１−１〜３１−８により撮影される映像は、それぞれ１秒毎に所定枚数分のフレームを有している。つまり、図２に示す複数台のカメラ３１−１〜３１−８のそれぞれにより、図３に示すように複数の映像フレームが生成される。
【００４３】
なお、各カメラ３１−１〜３１−８から取得する情報としては、映像フレームと映像に対応する時間情報等とからなる映像情報の他にカメラの方向や、画角等のカメラパラメータ等を取得することができる。
【００４４】
＜出力映像設定手段１５＞
次に、出力映像設定手段１５における設定条件について説明する。出力映像設定手段１５では具体的に上述した図３に示す映像フレームから合成映像や多視点映像をどのタイミングで出力させるか等の設定を行う。
【００４５】
具体的には、出力映像設定手段１５は、予めカメラ等の撮像手段１１より得られる映像に対応する時間情報に基づいて、どの時間帯でどの位置を基準（背景画像）にした合成画像を出力し、またどの時間帯にどの順序で切り替えを行う多視点映像を出力するか等の設定を行う。更に、出力映像設定手段１５は、出力対象となるフレームを選択したり、時間経過と共に合成する被写体の数を変えたり、時間経過と共に合成する被写体を取得するカメラを変える等の設定を行うこともできる。これにより、ユーザ等は、複雑な映像編集を実現することができる。
【００４６】
＜被写体領域抽出手段１６＞
次に、被写体領域抽出手段１６における抽出内容について説明する。ここでは、上述した複数のカメラ３１―１〜３１−８から得られる映像Ｉｍ１〜Ｉｍ８に存在する動く被写体の領域を抽出した被写体領域画像（ＳｉｌＩｍ１〜ＳｉｌＩｍ８）を生成する。
【００４７】
例えば、全てのカメラや一部のカメラにより撮影された複数の映像フレームのうち、出力映像設定手段１５により予め設定された映像フレーム（例えば、映像フレーム１、３，５，７，９，１１，・・・）から、カメラ毎に対応した複数の映像フレームの被写体領域画像を出力する。ここで、図４は、被写体領域画像の映像信号の一例を示す図である。図４に示す被写体領域画像は、例えば各画素を基準として動く被写体領域３２に「１」を割り当て、また、それ以外の背景領域３３に「０」を割り当てたものであり、キー信号となるものである。つまり、被写体領域抽出手段１６は、図４に示すようなキー信号を元の映像信号に重畳した映像信号等によって被写体領域を抽出する。
【００４８】
なお、上述した動く被写体領域を抽出する手法としては、例えば背景画像と対象となる映像の差分から、映像の動領域のみを抽出する背景差分法や、隣接する映像フレームの映像と対象となる映像の差分から動領域を抽出するフレーム間差分法等がある。
【００４９】
上述の背景差分法では、動く物体（被写体）がない状態の画像を固定カメラで背景画像として取り込み、動く物体が入った画像から背景画像を差分し、動く物体の領域が「０」以外の値を持った差分画像を取得する。次に、その差分画像の画素値に対して閾値処理を行い２値画像を取得する。また、得られた２値画像は、小さな穴や小さな連結成分を含んでいるため、これらを取り除いて動く物体の領域を取得する。そして、この２値画像を利用して対象物体の領域に位置する画素を取り出すことにより動く物体の画像を得る。
【００５０】
また、上述のフレーム間差分法は、例えば動く物体を撮影した異なる時間の３枚の画像を用いて動く物体領域を取得する。つまり、３枚の画像Ａ、Ｂ、Ｃにおいて背景は変化がないものとし、ＡとＢ、ＢとＣの差分画像ＡＢ、ＢＣを作成し、閾値処理を行い２値画像を取得する。次に、２値画像ＡＢ、ＢＣの論理積処理（ＡＮＤ処理）を行い、ＡＢ、ＢＣの共通領域を取り出すことにより、画像Ｂにおける動く物体の領域を取得する。
【００５１】
また、被写体領域を抽出するその他の手法としては、Ａｄｏｂｅ  ＰｈｏｔｏＳｈｏｐ等のソフトウェアによってユーザが自らマニュアル操作で抽出する手法等がある。
【００５２】
＜画像合成手段１７＞
次に、画像合成手段１７における画像合成内容について説明する。画像合成手段１７は、出力映像設定手段１５により設定された最終的に出力される映像に対応する合成画像を生成するため、被写体領域抽出手段１６により抽出された被写体に対して、対応する被写体を選択し、選択した画像を用いて合成を行う。
【００５３】
つまり、ここでは、被写体領域抽出手段１６から出力される被写体領域画像（ＳｉｌＩｍ１〜ＳｉｌＩｍ８）と、対応するカメラ毎に選択される所定の背景画像（ＢｇＩｍ１〜ＢｇＩｍ８）とを利用して、カメラ毎に所定の背景画像（ＢｇＩｍ１〜ＢｇＩｍ８）に複数の映像フレームの被写体領域画像（ＳｉｌＩｍ１〜ＳｉｌＩｍ８）を合成したマルチモーション画像（ＭｍＩｍ１〜ＭｍＩｍ８）を生成する。
【００５４】
例えば、背景画像として用いる映像フレームを各カメラの１３フレームの画像とし、そこに被写体領域抽出手段１６で抽出した映像フレーム（例えば、１，３，５，７，９，１１）の被写体領域画像を合成する。そして、カメラ毎に複数の映像フレームの被写体領域の画像が合成表示されたマルチモーション画像（ＭｍＩｍ１〜ＭｍＩｍ８）を生成する。
【００５５】
ここで、図５は、合成画像の一例を示す図である。図５では、被写体を合成した画像からなるマルチモーションの合成画像４０の一例を示しており、所定の位置に設置された１台のカメラで撮影された映像フレームのうち、予め設定された条件により選択された５つの映像フレームから得られる被写体４１〜１〜４１−５が背景画像４２上に表示されている。
【００５６】
なお、被写体４１〜１〜４１−５のうち何れか１つは、背景画像４２中に含まれている被写体である。つまり、図５の例では、被写体４１−５を含む映像フレームを背景画像４２とし、その背景画像４２に被写体領域抽出手段１６で抽出した被写体４１〜１〜４１−４が合成されている。
【００５７】
この所定の背景画像に被写体領域画像を合成する手法としては、上述した被写体領域画像のキー信号に基づいて合成するキー合成手法等がある。ここで、キー合成手法とは、例えば、２枚の画像を合成して１枚の画像を作成する際、どの部分をどちらの画像から取ってくるかということを指定したい場合に、その画像を画素毎に「１」，「０」で指定した画像（マスク画像）を作成し、それに基づいて画像合成を行う。これは、画像間演算の一種とみなすことができる。
【００５８】
また、マスク画像の生成法としてよく利用されるものにクロマキーがある。これは、各画素をその色情報に基づいて切り捨てる処理を行う。
【００５９】
＜画像合成：第１の具体例＞
ここで、画像合成手段１７における画像合成の第１の具体例について説明する。画像合成手段１７は、被写体領域抽出手段１６から出力される各カメラ３１−１〜３１−８からの被写体領域画像（ＳｉｌＩｍ１〜ＳｉｌＩｍ８）と、カメラ毎の所定の背景画像（ＢｇＩｍ１〜ＢｇＩｍ８）と、予め設定されたカメラ毎に被写体領域画像を所定の背景画像に合成する順番（Ｏｒｄｅｒ１〜Ｏｒｄｅｒ８）とに基づいて、カメラ毎に所定の背景画像（ＢｇＩｍ１〜ＢｇＩｍ８）に複数の映像フレームの被写体領域画像（ＳｉｌＩｍ１〜ＳｉｌＩｍ８）を合成したマルチモーション画像（ＭｍＩｍ１〜ＭｍＩｍ８）を生成する。
【００６０】
例えば、所定の背景画像を所定のカメラの１３フレームの映像とし、そこに被写体領域抽出手段１６で抽出した映像フレーム１，３，５，７，９，１１の被写体領域画像を合成する場合、カメラ３１−１のマルチモーション映像（ＭｍＩｍ１）を生成する場合について、カメラ３１−１の合成する順番（Ｏｒｄｅｒ１）が予め映像フレーム１１→９→７→５→３→１の順となっていたとする。
【００６１】
このとき、カメラ３１−１の背景画像（１３フレームの映像）に、カメラ３１−１の映像フレーム１１の被写体領域画像をキー信号に基づき合成した合成映像を生成する。また、この合成映像に、カメラ３１−１の映像フレーム９の被写体領域画像をキー信号に基づき合成する。
【００６２】
同様に、映像フレーム７，５，３，１の順に被写体領域画像を合成し、カメラ３１−１のマルチモーション画像（ＭｍＩｍ１）を生成する。なお、カメラ３１−１以外の他のカメラについても同様の処理を行い、カメラ台数分のマルチモーション画像（ＭｍＩｍ１〜ＭｍＩｍ８）を生成する。
【００６３】
＜画像合成：第２の具体例＞
次に、画像合成手段１７における画像合成の第２の具体例について説明する。第２の具体例では、画像合成手段１７に距離情報計算手段を設ける。具体的には、画像合成手段１７は、動く被写体を各カメラ３１−１〜３１−８で撮影した映像（Ｉｍ１〜Ｉｍ８）と複数のカメラのそれぞれのカメラパラメータ（Ｃａｌｉｂ１〜Ｃａｌｉｂ８）から、各カメラから複数の映像フレームの動く被写体領域までの距離情報を取得する。また、カメラ毎に複数の映像フレームの動く被写体領域までの距離情報の大小を比較し、カメラ毎に被写体領域画像（ＳｉｌＩｍ１〜ＳｉｌＩｍ８）を所定の背景画像に合成する順番（Ｏｒｄｅｒ１〜Ｏｒｄｅｒ８）を決定し、その結果に基づいて画像合成を行う。
【００６４】
ここで、上述した距離情報を取得するには、例えば被写体の位置をある３次元座標で表し、その３次元座標から距離を測定する。例えば、映像フレーム１，３，５，７，９，１１の動く被写体までのそれぞれの距離情報をカメラ毎に計算する場合、例えばカメラ３１−１、カメラ３１−８の映像フレーム１の映像間で映っている共通の被写体領域の点（頭の中心、腹部の中心等の注視点）の映像中の座標（ｕ１，ｖ１）、（ｕ８，ｖ８）を与える。そして、この座標値と、カメラ３１−１、カメラ３１−８のカメラパラメータＣａｌｉｂ１、Ｃａｌｉｂ８を用いて注視点の３次元座標を計算する。なお、上述の手法は、例えば冨山仁博他２名，「多視点ハイビジョン映像生成システムの試作−全日本体操選手権での中継番組利用−」，社団法人  電子情報通信学会，信学技法  ２００６−１２,Ｐ．４３〜４５．等に記載されている。
【００６５】
具体的に説明すると、３次元座標は、以下の座標変換式（１）〜（３）をカメラ毎に定義することにより求める。
【００６６】
【数１】
2008187678.tif 000003
ここで、ωは画像距離を示し、Ａｍはカメラｍの内部パラメータ行列を示し、ａは画像のアスペクト比を示し、Ｆｍはカメラｍの焦点距離を示し、γはスキューを示し、（Ｃｘ,Ｃｙ）はカメラ光軸と画像面の交点を示し、Ｒｍはカメラｍの回転行列を示し、Ｔｍはカメラｍの平行移動ベクトルを示している。
【００６７】
つまり、複数のカメラで撮影した対象領域である被写体からユーザが選択した注視点を中心とした多視点映像を生成することを目的としている。全てのカメラ画像を、選択した注視点が中心となるように仮想的に、パンやチルト等を行った画像に射影変換し、それらを連続して提示することで、注視点を中心としたシームレスな多視点映像を生成することができる。
【００６８】
そこで、この射影変換処理で必要となる各カメラのカメラパラメータをカメラキャリブレーションによって求める。ここでは、上述した座標変換式（１）〜（３）を用いてユーザが選択した注視点の世界座標を求め、中心の３次元座標と各カメラの光学中心を結ぶ直線が画像中心を通るように射影変換を行う。
【００６９】
また、注視点を決定する際には、まず、ユーザが選択した注視点が画像の中心となるような射影変換を行うために、注視点の世界座標を算出する。まず、複数台のカメラの中からある１台のカメラ画像を選択し、注視点（ｕｋ，ｖｋ）を与える。次に、他のカメラの中から１台を選択し、同じ注視点の画像座標（ｕ１，ｖ１）を与える。これらの２台のカメラの注視点の画像座標と、座標変換式（１）〜（３）から、注視点の３次元座標（Ｘ１，Ｙ１，Ｚ１）は、以下の（４）式の最小二乗法によって求めることができる。
【００７０】
【数２】
2008187678.tif 000004
ここで、ｐｉｊｍは座標変換式（１）の変換行列Ｐｍのｉ行ｊ列目の要素を表す。
【００７１】
次に、計算した被写体領域の点の３次元座標と、各カメラまでの距離を計算することで、各カメラから映像フレーム１の動く被写体領域までの距離を計算することができる。
【００７２】
ここで、画像合成手段１７は、カメラ３１−１〜３１−８から、映像フレーム１の動く被写体領域までのそれぞれの距離値をｄｉｓｔ＿ｃ１＿ｆ１〜ｄｉｓｔ＿ｃ８＿ｆ１として求める。同様に、各カメラ３１−１〜３１−８における映像フレーム３，５，７，９，１１の動く被写体領域までの距離情報、ｄｉｓｔ＿ｃ１＿ｆ３〜ｄｉｓｔ＿ｃ８＿ｆ３、ｄｉｓｔ＿ｃ１＿ｆ５〜ｄｉｓｔ＿ｃ８＿ｆ５、ｄｉｓｔ＿ｃ１＿ｆ７〜ｄｉｓｔ＿ｃ８＿ｆ７、ｄｉｓｔ＿ｃ１＿ｆ９〜ｄｉｓｔ＿ｃ８＿ｆ９、ｄｉｓｔ＿ｃ１＿ｆ１１〜ｄｉｓｔ＿ｃ８＿ｆ１１を求める。
【００７３】
次に、カメラ毎に映像フレーム毎（１，３，５，７，９，１１）の距離情報の大小を比較し、距離が大きい順に被写体領域画像を合成表示する順番（Ｏｒｄｅｒ１〜Ｏｒｄｅｒ８）を決定する。例えば、カメラ３１−１に関して、映像フレーム毎の距離情報が、「ｄｉｓｔ＿ｃ１＿ｆ１１＞ｄｉｓｔ＿ｃ１＿ｆ９＞ｄｉｓｔ＿ｃ１＿ｆ７＞ｄｉｓｔ＿ｃ１＿ｆ５＞ｄｉｓｔ＿ｃ１＿ｆ３＞ｄｉｓｔ＿ｃ１＿ｆ１」という大小関係にある場合、カメラ３１−１の所定の背景画像に合成する被写体領域画像の順番（Ｏｒｄｅｒ１）は、映像フレーム１１→９→７→５→３→１となる。
【００７４】
つまり、背景として用いられるカメラに対して遠いカメラの画像から近いカメラの画像を順番に合成する。これにより、時間経過に伴って動く被写体を映像として高精度に提示することができる。
【００７５】
＜画像合成：第３の具体例＞
次に、画像合成手段１７における画像合成の第３の具体例について説明する。画像合成手段１７は、被写体領域抽出手段１６から出力される被写体領域画像（ＳｉｌＩｍ１〜ＳｉｌＩｍ８）と、カメラ毎の所定の背景画像（ＢｇＩｍ１〜ＢｇＩｍ８）と、上述した第２の具体例に示した距離情報計算手段により得られる距離情報により決定したカメラ毎に被写体領域画像を所定の背景画像に合成する順番（Ｏｒｄｅｒ１〜Ｏｒｄｅｒ８）を利用して、カメラ毎に、所定の背景画像（ＢｇＩｍ１〜ＢｇＩｍ８）に複数の映像フレームの被写体領域画像を合成した、マルチモーション画像（ＭｍＩｍ１〜ＭｍＩｍ８）を生成し、生成した映像を出力する。
【００７６】
例えば、所定の背景画像を各カメラの１３フレームの映像とし、そこに、被写体領域抽出手段１６で抽出した映像フレーム１，３，５，７，９，１１の被写体領域画像を合成する際、カメラ３１−１におけるマルチモーション画像（ＭｍＩｍ１）を生成する場合については、カメラ３１−１の合成する順番（Ｏｒｄｅｒ１）が映像フレーム１１→９→７→５→３→１の順にとなっていたとする。このとき、カメラ３１−１の背景画像（１３フレームの映像）にカメラ３１−１の映像フレーム１１の被写体領域画像をキー信号に基づき合成した合成映像を生成する。
【００７７】
次に、この合成映像に、カメラ１の映像フレーム９の被写体領域画像をキー信号に基づき合成する。同様に、映像フレーム７，５，３，１の順に被写体領域画像を合成し、カメラ３１−１のマルチモーション映像（ＭｍＩｍ１）を生成し、生成した画像を出力する。
【００７８】
また、画像合成手段１７は、出力映像設定手段１５により得られる設定条件に基づいて、必要に応じてカメラ３１−１以外の他のカメラについても同様の処理を行い、カメラ台数分のマルチモーション映像（ＭｍＩｍ１〜ＭｍＩｍ８）を生成し、生成した映像を出力する。
【００７９】
＜多視点映像生成手段１８＞
多視点映像生成手段１８は、出力映像設定手段１５における設定条件に基づいて、複数台のカメラ３１−１〜３１−８から選択される所定のカメラにより同期して撮影された映像を、所定の時間をずらして順次表示させることにより多視点映像を生成する。
【００８０】
なお、多視点映像生成手段１８は、出力映像設定手段１５により得られる設定条件に基づいて、例えば画像合成手段１７から出力されるカメラ台数分のマルチモーション画像（ＭｍＩｍ１〜ＭｍＩｍ８）や選択された所定のマルチモーション画像、あるいは複数の撮像手段１１により得られる合成していない映像等から、例えばカメラの配列順に画像を切り替えて多視点マルチモーション映像（ＯｕｔＩｍ）を生成する。
【００８１】
例えば、カメラ３１−１〜カメラ３１−８の順に左から右にカメラが設置されている場合、以下のようなフレーム順でマルチモーション映像を連続して切り替えて多視点マルチモーション映像（ＯｕｔＩｍ）を生成する。なお、この場合には、出力映像設定手段１５により設定される切り替え順序や切り替え時間間隔等の設定条件に基づいて多視点映像の生成を行う。
【００８２】
つまり、多視点映像生成手段１８は、例えば１フレーム〜８フレームで、ＭｍＩｍ１〜ＭｍＩｍ８の多視点マルチモーション映像（又は多視点映像）を出力することができる。
【００８３】
＜出力映像生成手段１９＞
次に、出力映像生成手段１９における出力映像の生成内容について説明する。出力映像生成手段１９は、画像合成手段１７により得られる合成画像と、多視点映像生成手段１８により得られる多視点マルチモーション映像等と、出力映像設定手段１５により設定された出力映像の設定条件に基づいて、所定のタイミングで、出力映像を生成する。
【００８４】
＜出力映像：第１の実施例＞
ここで、出力映像生成手段１９における出力映像の具体的な実施例について図を用いて説明する。図６は、出力映像生成の第１の実施例を説明するための図である。図６に示す出力映像は、各フレーム５０−１〜５０−８（図６（ａ）〜（ｈ））の順序で所定の時間間隔で出力される。また、各フレーム５０−１〜５０−８には、複数のカメラのうち、予め設定されたカメラからの背景画像５１−１〜５１−８がそれぞれ選択される。
【００８５】
また、各背景画像５１−１〜５１−８には、上述した画像合成手段１７により、所定のカメラで撮影された複数の映像フレームのうち、選択された５つのフレームから得られる被写体５２−１〜５２−５が合成されている。なお、５つのフレームのうち、１つは背景画像としても用いられる。また、フレーム５０−１〜５０−８における合成画像の被写体は、各フレーム５０−１〜５０−８でそれぞれ選択された所定のカメラにより撮影された映像フレームのうち、選択される５つのフレームから取得する。
【００８６】
このように、第１の実施例によれば、図６に示すように、高精度な多視点マルチモーション画像を実現し、ディスプレイ等の出力手段１３により表示することができる。
【００８７】
＜出力映像：第２の実施例＞
次に、本実施の形態における出力映像生成の第２の実施例について図を用いて説明する。図７は、出力映像生成の第２の実施例を説明するための図である。図７に示す出力映像は、各フレーム６０−１〜６０−１０（図７（ａ）〜（ｊ））の順序で出力される。なお、図７に示すフレームは、説明上、実際の出力映像のフレームから所定のフレームを選択して抽出したものを用いているが、実際、連続的な被写体のモーション映像をディスプレイ等の出力手段１３により表示させることができる。また、各フレーム６０−１〜６０−１０には、複数のカメラのうち予め設定されたカメラから、背景画像６１が選択され、その背景画像に被写体画像が合成されることになる。
【００８８】
ここで、図７（ａ）では、出力映像設定手段１５により予め設定された１台のカメラで撮影された複数の映像フレームのうち、設定により選択される２つのフレームからそれぞれ得られる２つの被写体６２−１ａ,６２−１ｂのみが合成され、表示されている。また、図７（ｂ）では、図７（ａ）と比較して、予め設定された１台のカメラでそれぞれ撮影された複数の映像フレームのうち、更に図７（ａ）で用いたフレームとは異なる２つのフレームから得られる被写体を含め、計４つの被写体６２−２ａ〜６２−２ｄが表示されている。
【００８９】
また、図７（ｃ）〜（ｈ）については、出力映像設定手段１５により予め設定された６台のカメラでそれぞれ撮影された複数の映像フレームのうち、設定により選択される５つのフレームから得られる被写体６２−３ａ〜６２−３ｅ，・・・，６２−８ａ〜６２−８ｅが合成され、更にそれぞれが出力映像設定手段１５により予め設定された時間間隔に基づいて多視点映像生成手段１８により生成された多視点映像が出力される。なお、図７（ｃ）〜（ｈ）に対する映像の再生時には、実際に撮影した時間自体は停止している（被写体自体は動いていない）状態となる。これにより、図７に示すように被写体に対して異なる角度から回り込むような映像を生成することができ、この映像を例えばディスプレイ等の出力手段１３に表示することができる。
【００９０】
また、図７（ｉ）では、出力映像設定手段１５により予め設定された１台のカメラで撮影された複数の映像フレームのうち、設定により選択される３つのフレームから得られる被写体６２−９ａ〜６２−９ｃが表示されている。
【００９１】
更に、図７（ｊ）では、時間が経過し、ある所定のカメラで撮影されたフレーム画像（合成のない画像）のみが出力される。なお、このような画像は、予め出力映像設定手段１５により設定された出力条件に基づいて、予め画像合成手段１７及び多視点映像生成手段１８等により生成された各種画像を蓄積手段１４に一時的に蓄積しておき、それらの画像を用いて出力映像生成手段１９において出力映像を生成する。
【００９２】
このように、出力映像設定手段１５により設定された画像を用いることにより、合成画像や、多視点映像を組み合わせて被写体の軌跡や、被写体の動作の流れを高精度に取得してディスプレイ等の出力手段１３により表示することができる。これにより、１２台のカメラ映像を切り替えて表示することにより立体感のあるダイナミックな映像を生成することができる。
【００９３】
＜出力映像：第３の実施例＞
次に、本実施の形態における出力映像生成の第３の実施例について図を用いて説明する。第３の実施例としては、上述の第１の実施例及び第２の実施例を組み合わせて出力映像を生成する。
【００９４】
例えば、上述した図６を用いて説明すると、図６（ａ）では被写体５２−１ｅのみ表示された画像を表示し、図６（ｂ）では設定により選択される２つのフレームから得られる被写体５２−２ｄ、５２−２ｅのみ表示された画像を表示する。
【００９５】
また、図６（ｃ）〜図６（ｇ）についても図６（ｂ）と同様に、設定により選択される２つのフレームから得られる被写体のみ表示する。具体的には、図６（ｃ）では被写体５２−３ｄ、５２−３ｅのみ表示された画像を表示し、図６（ｄ）では被写体５２−４ｃ、５２−４ｄのみ表示された画像を表示し、図６（ｅ）では被写体５２−５ｂ、５２−５ｃのみ表示された画像を表示し、図６（ｆ）では被写体５２−６ｂ、５２−６ｃのみ表示された画像を表示し、図６（ｇ）では被写体５２−７ａ、５２−７ｂのみ表示された画像を表示する。
【００９６】
更に、図６（ｈ）では被写体５２−８ａのみ表示された画像をディスプレイ等の出力手段１３により表示するようにする。これにより、被写体が動きながら、被写体に対して異なる角度から回り込むような映像を表示することができるため、多視点映像において、あたかも時間が経過しているような合成画像を表示することができる。これにより、より高精度な出力映像を提供することができる。上述した映像生成装置１０により、時間経過に伴って動く被写体を映像として高精度に提示することができる。
【００９７】
＜実行プログラム＞
ここで、上述した映像生成装置１０は、上述した専用の装置構成等を用いて本発明における映像生成を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る映像生成を実現することができる。
【００９８】
＜ハードウェア構成＞
ここで、本発明における映像生成処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図８は、本発明における映像生成処理が実現可能なハードウェア構成の一例を示す図である。
【００９９】
図８におけるコンピュータ本体には、入力装置７１と、出力装置７２と、ドライブ装置７３と、補助記憶装置７４と、メモリ装置７５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７６と、ネットワーク接続装置７７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【０１００】
入力装置７１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや音声入力デバイス等を有しており、ユーザ等からのプログラムの実行指示等、各種操作信号、音声信号を入力する。出力装置７２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイやスピーカ等を有し、ＣＰＵ７６が有する制御プログラムにより実行経過や結果等を表示又は音声出力することができる。
【０１０１】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭやＤＶＤ等の記録媒体７８等により提供される。プログラムを記録した記録媒体７８は、ドライブ装置７３にセット可能であり、記録媒体７８に含まれる実行プログラムが、記録媒体７８からドライブ装置７３を介して補助記憶装置７４にインストールされる。
【０１０２】
また、ドライブ装置７３は、本発明に係る実行プログラムを記録媒体７８に記録することができる。これにより、その記録媒体７８を用いて、他の複数のコンピュータに容易にインストールすることができ、容易に映像生成処理を実現することができる。
【０１０３】
補助記憶装置７４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、補助記憶装置７４は、上述した動き出力映像の設定条件や、被写体領域抽出結果、合成画像、多視点映像、出力映像、カメラパラメータ、生成される表示画面等を蓄積する蓄積手段として用いることもできる。
【０１０４】
メモリ装置７５は、ＣＰＵ７６により補助記憶装置７４から読み出された実行プログラム等を格納する。なお、メモリ装置７５は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等からなる。
【０１０５】
ＣＰＵ７６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及び補助記憶装置７４から読み出されメモリ装置７５に格納されている実行プログラム等に基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、映像生成における各処理を実現することができる。また、プログラムの実行中に必要な各種情報等は、補助記憶装置７４から取得することができ、また格納することもできる。
【０１０６】
ネットワーク接続装置７７は、電話回線やＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブル等の通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。
【０１０７】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで映像生成処理を実現することができる。また、プログラムをインストールすることにより、容易に映像生成処理を実現することができる。次に、本発明における実行プログラムを用いた処理手順についてフローチャートを用いて説明する。
【０１０８】
＜映像生成処理＞
図９は、本発明における映像生成処理手順の一例を示すフローチャートである。図９において、まず撮像手段としてのカメラ等を用いて動く被写体を撮影した映像を取得する（Ｓ０１）。なお、Ｓ０１の処理では、設置位置の異なる複数のカメラから撮影された映像を用いるものとする。また、Ｓ０１の処理では、映像（画像）そのもののデータ（フレーム）だけでなく、撮影時間、各カメラのカメラパラメータ等を取得する。
【０１０９】
次に、最終的にどのような映像を出力するか、その出力映像の設定を行う（Ｓ０２）。具体的には、どの時間帯で、どのカメラのフレームや背景画像を用いて、どのカメラから抽出された被写体を合成し、また複数のカメラから多視点映像を生成し、それらの合成した画像や映像を所定の時間帯で繋ぎ合わせて１つの映像を生成するための各種条件を設定する。なお、これらの設定条件は、例えば蓄積手段１４等に蓄積しておくことができ、また任意に設定を変更することもできる。
【０１１０】
次に、カメラから撮影された映像のうち、Ｓ０２の処理により設定された条件により出力される映像から被写体領域を抽出し（Ｓ０３）、抽出した被写体と、Ｓ０２の処理において設定された出力映像の設定条件に対応する所定のカメラから得られた背景画像（被写体も含む）とを合成し、合成画像を生成する（Ｓ０４）。
【０１１１】
更に、Ｓ０２の処理において設定された出力映像の条件に対応する多視点映像を生成する（Ｓ０５）。次に、Ｓ０４の処理により得られる合成画像と、Ｓ０５の処理により得られる多視点映像とを用いて、Ｓ０２における出力映像の設定条件に基づいて、出力映像を生成し（Ｓ０６）、生成した映像を画面に出力する（Ｓ０７）。なお、生成した映像は、例えば蓄積手段１４等に蓄積させてもよい。
【０１１２】
ここで、上述した処理手順においては、上述のＳ０１の処理とＳ０２の処理とを逆にしてもよい。つまり、予め設定された出力映像の設定条件に対応する映像のみを所定のカメラから取得することもできる。これにより、無駄な映像を蓄積することがなく、記録容量を削減することができる。また、必要な映像のみを効率的に取得することができる。また、Ｓ０４の処理における合成画像生成や、Ｓ０５の処理における多視点映像生成を逆の順序で行ってよい。上述した映像生成処理により、時間経過に伴って動く被写体を映像として高精度に提示することができる。
【０１１３】
上述したように本発明によれば、時間経過に伴って動く被写体を映像として高精度に提示することができる。また、本発明によれば、例えばスポーツ選手等の時間経過に沿った動きを、様々な視点から見ることができるため、スポーツ中継や運動解析等において視覚的にわかりやすい運動情報の提示を行うことができる。
【０１１４】
以上本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１１５】
【図１】本発明における映像生成装置の一構成例を示す図である。
【図２】多視点映像を取得するための一例を示す図である。
【図３】図２に対応して得られる映像フレームの一例を示す図である。
【図４】被写体領域画像の映像信号の一例を示す図である。
【図５】合成画像の一例を示す図である。
【図６】出力映像生成の第１の実施例を説明するための図である。
【図７】出力映像生成の第２の実施例を説明するための図である。
【図８】本発明における映像生成処理が実現可能なハードウェア構成の一例を示す図である。
【図９】本発明における映像生成処理手順の一例を示すフローチャートである。
【符号の説明】
【０１１６】
１０  映像生成装置
１１  撮像手段
１２  入力手段
１３  出力手段
１４  蓄積手段
１５  出力映像設定手段
１６  被写体領域抽出手段
１７  画像合成手段
１８  多視点映像生成手段
１９  出力映像生成手段
２０  送受信手段
２１  制御手段
３０，４１、５２，６２  被写体
３１  カメラ
３２  被写体領域
３３  背景領域
４０  合成画像
４２，５１，６１  背景画像
５０，６０  フレーム
７１  入力装置
７２  出力装置
７３  ドライブ装置
７４  補助記憶装置
７５  メモリ装置
７６  ＣＰＵ
７７  ネットワーク接続装置
７８  記録媒体
【図１】
2008187678.tif 000005
【図２】
2008187678.tif 000006
【図３】
2008187678.tif 000007
【図８】
2008187678.tif 000008
【図９】
2008187678.tif 000009
【図４】
2008187678.tif 000010
【図５】
2008187678.tif 000011
【図６】
2008187678.tif 000012
【図７】
2008187678.tif 000013