(57)【要約】【課題】  仮想視点画像に係る視点の設定を容易にするための技術を提供することを目的とする。【解決手段】  複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置であって、仮想視点画像の生成に係るシーンを判定する判定手段と前記判定手段により判定されたシーンに基づいて、前記判定手段により判定されたシーンにおける仮想視点画像に係る視点の位置を決定する決定手段と、を有することを特徴とする。【選択図】  図１
2019045995.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置であって、
仮想視点画像の生成に係るシーンを判定する判定手段と、
前記判定手段により判定されたシーンに基づいて、前記判定手段により判定されたシーンにおける仮想視点画像に係る視点の位置を決定する決定手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記決定手段は、視点の位置を決定するための条件であって、前記判定手段により判定されたシーンに関連付けられた条件に基づいて、前記判定手段により判定されたシーンにおける仮想視点画像に係る視点の位置を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記決定手段は、前記判定手段により判定されたシーンに関連付けられた複数の条件のうちユーザ操作に基づいて選択された条件を満たす視点の位置を、生成される仮想視点画像に係る視点の位置として決定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記判定手段により判定されたシーンに関連付けられた視点の位置を決定するための条件に基づいて、前記判定手段により判定されたシーンの仮想視点画像に係る視線の方向を決定することを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記判定手段が判定するシーンは、ゴールシーン、シュートシーン及びファウルシーンのうち少なくとも何れか一つを含むことを特徴とする請求項１から４までの何れか１項に記載の情報処理装置。
【請求項６】
前記判定手段は、ユーザ操作に基づいて選択されたシーンを判定することを特徴とする請求項１から５までに記載の情報処理装置。
【請求項７】
前記判定手段により判定されるシーンは、生成する仮想視点画像に係る撮影時間、生成する仮想視点画像により写される場所及び生成する仮想視点画像により写される事象のうち少なくとも何れか一つを特定することを特徴とする請求項１から６までに記載の情報処理装置。
【請求項８】
複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置であって、
視点の位置を決定するための複数の条件からユーザ操作に基づいて選択された条件を判定する判定手段と、
前記判定手段により判定された条件に基づいて、生成される仮想視点画像に係る視点の位置を決定する決定手段と、
を有することを特徴とする情報処理装置。
【請求項９】
前記決定手段により決定された仮想視点画像に係る視点の位置に応じた仮想視点画像を生成する生成手段をさらに有することを特徴とする請求項２または８に記載の情報処理装置。
【請求項１０】
前記生成手段により生成された仮想視点画像を出力する出力手段をさらに有することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記決定手段は、前記判定手段により判定された条件に基づいて、生成される仮想視点画像に係る視線の方向を決定することを特徴とする請求項８に記載の情報処理装置。
【請求項１２】
前記複数の画像に写る特定の被写体の位置情報を取得する取得手段を有し、
前記条件は、前記取得手段により取得される前記特定の被写体の位置情報に基づく条件であることを特徴とする請求項２または８に記載の情報処理装置。
【請求項１３】
前記条件は、人物の目線を仮想視点画像に係る視点及び視線の方向とするための条件であることを特徴とする請求項２または８に記載の情報処理装置。
【請求項１４】
前記条件は、仮想視点画像に係る視点を、所定の位置を中心に回転させるための条件であることを特徴とする請求項２または８に記載の情報処理装置。
【請求項１５】
前記所定の位置は、所定の人物の位置であることを特徴とする請求項１４に記載の情報処理装置。
【請求項１６】
複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理システムであって、
仮想視点画像の生成に係るシーンを判定する判定手段と、
前記判定手段により判定されたシーンに基づいて、前記判定手段により判定されたシーンにおける仮想視点画像に係る視点の位置を決定する決定手段と、
を有することを特徴とする情報処理システム。
【請求項１７】
複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理システムであって、
視点の位置を決定するための複数の条件からユーザ操作に基づいて選択された条件を判定する判定手段と、
前記判定手段により判定された条件に基づいて、生成される仮想視点画像に係る視点の位置を決定する決定手段と、
を有することを特徴とする情報処理システム。
【請求項１８】
複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置の制御方法であって、
仮想視点画像の生成に係るシーンを判定する判定工程と、
前記判定工程において判定されたシーンに基づいて、前記判定工程において判定されたシーンにおける仮想視点画像に係る視点の位置を決定する決定工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１９】
複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置の制御方法であって、
視点の位置を決定するための複数の条件からユーザ操作に基づいて選択された条件を判定する判定工程と、
前記判定工程において判定された条件に基づいて、生成される仮想視点画像に係る視点の位置を決定する決定工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項２０】
コンピュータを請求項１から１５までの何れか１項に記載の情報処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像を生成する技術に関するものである。
【背景技術】
【０００２】
複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた多視点画像を用いて仮想視点画像を生成する技術がある。特許文献１には、複数の撮像装置により撮影された画像から仮想視点画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０１５７５６号広報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、スタジアムでのスポーツ競技の仮想視点画像をユーザが視聴する場合を考える。この場合、ユーザにより設定された視点に応じた仮想視点画像を生成することにより、ユーザは、自身の好みの視点で試合を観戦することができる。例えば、サッカーやバスケットボールなどのゴールシーンでは、ゴールを決めた選手が写る視点でそのプレーを観戦することが望まれ得るし、ゴールシーン以外のシーンでは、ボールの軌道を追えるような俯瞰する視点でそのプレーを観戦することが望まれ得る。しかしながら、仮想視点画像に係る視点の設定に慣れていないユーザでは、シーンごとに適した視点の設定に時間がかかってしまったり、所望の位置に視点を設定できなかったりする恐れがあった。なお、仮想視点画像に係る視聴対象は、スポーツ競技に限らず、コンサートや他のイベントでも同様な問題が生じ得る。
【０００５】
上述の課題を鑑みて、本発明は、仮想視点画像に係る視点の設定を容易にするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置であって、
仮想視点画像の生成に係るシーンを判定する判定手段と、
前記判定手段により判定されたシーンに基づいて、前記判定手段により判定されたシーンにおける仮想視点画像に係る視点の位置を決定する決定手段と、を有することを特徴とする。
【０００７】
また、本発明の他の態様は、複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置であって、
視点の位置を決定するための複数の条件からユーザ操作に基づいて選択された条件を判定する判定手段と、
前記判定手段により判定された条件に基づいて、生成される仮想視点画像に係る視点の位置を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想視点画像に係る視点の設定を容易に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの構成を示す図である。
【図２】イベント情報の例を示す図である。
【図３】仮想視点画像生成処理のシーケンス図である。
【図４】ユーザ端末の画面例を示す図である。
【図５】被写体リスト作成処理の流れを示すフローチャートである。
【図６】被写体リストが作成されるまでの例を示す図である。
【図７】構図シナリオリスト作成処理の流れを示すフローチャートである。
【図８】構図シナリオの例を示す図である。
【図９】仮想カメラパス条件の一例を示す図である。
【図１０】仮想カメラパス条件の具体例を示す図である。
【図１１】仮想カメラパス算出処理の流れを示すフローチャートである。
【図１２】シーン選択画面例を示す図である。
【図１３】装置のハードウェアの構成を示す図である。
【図１４】画像処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施形態を説明する。図１は、本実施形態の画像処理システムの一例を示す図である。図１に示す画像処理システムは、例えば、競技等を実際に行うフィールドなどの撮影対象を複数のカメラの撮影により得た複数の画像から仮想視点画像を生成する情報処理システムである。仮想視点画像は、複数の視点から撮影した画像を用いて生成される画像であって、任意の視点や任意の視線方向からの仮想的な撮影結果を表現する画像である。
【００１１】
図１に示すように画像処理システムは、記憶装置１００と、画像処理装置３００と、ユーザ端末４００とを有する。記憶装置１００は、例えば、スタジアムに設置した複数のカメラの撮影により得た複数の画像や仮想視点画像に係る視点の自動設定のために必要な情報を記憶する。画像処理装置３００は、仮想視点画像に係る視点の位置を決定したり、仮想視点画像を生成したりする情報処理装置である。画像処理装置３００は、決定した視点の位置から仮想的な撮影結果を表現する仮想視画像を生成する。また、画像処理装置３００は、決定した視線の方向に仮想的なカメラを向けた場合の撮影結果を表現する仮想視画像を生成してもよい。画像処理装置３００は、記憶装置１００に蓄積された複数のカメラの撮影により得た複数の画像を用いて仮想視点画像を生成する。画像処理装置３００は、生成した仮想視点画像をユーザ端末４００に伝送する。
【００１２】
ユーザ端末４００は、画像処理装置３００から出力される仮想視点画像をユーザ端末４００が備える表示画面に表示する。また、ユーザ端末４００は、ユーザの入力に基づいて、例えば、仮想視点画像に係る視点の位置の移動、仮想視点画像に係る視線方向の変更および視点の切り替えの指示を受け付け、その内容を示す伝送信号を仮想視点情報として画像処理装置３００へ伝送する。また、ユーザ端末４００は、後述する構図シナリオに基づく仮想視点の自動設定を画像処理装置３００に要求する。
【００１３】
次に、記憶装置１００、画像処理装置３００及びユーザ端末４００の構成の一例について説明する。図１３は、記憶装置１００、画像処理装置３００及びユーザ端末４００のハードウェアの構成の一例を示す図である。装置７０００（記憶装置１００、画像処理装置３００及びユーザ端末４００）は、コントローラユニット７００、操作ユニット７０９、および表示装置７１０を含む。
【００１４】
コントローラユニット７００は、ＣＰＵ７０１を有する。ＣＰＵ７０１は、ＲＯＭ７０２に格納されているブートプログラムによりＯＳ（ＯＰＥＲＡＴＩＮＧ  ＳＹＳＴＥＭ）を起動する。ＣＰＵ７０１は、このＯＳ上で、ＨＤＤ（ＨＡＲＤ  ＤＩＳＫ  ＤＲＩＶＥ）７０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ７０１は、アプリケーションプログラムの実行によって各種処理を実現する。ＣＰＵ７０１の作業領域としてはＲＡＭ７０３が用いられる。ＨＤＤ７０４は、アプリケーションプログラムなどを格納する。なお、ＣＰＵ７０１は、一つのプロセッサーであっても、複数のプロセッサーであってもよい。
【００１５】
ＣＰＵ７０１は、システムバス７０８を介して、ＲＯＭ７０２、ＲＡＭ７０３、操作部Ｉ／Ｆ７０５、表示部Ｉ／Ｆ７０６、および通信Ｉ／Ｆ７０７と相互に接続される。操作部Ｉ／Ｆ７０５は、操作ユニット７０９とのインターフェースである。操作部Ｉ／Ｆ７０５は、操作ユニット７０９によってユーザにより入力された情報をＣＰＵ７０１に送出する。操作ユニット７０９は、例えば、マウスおよびキーボードなどを有する。表示部Ｉ／Ｆ７０６は、表示装置７１０に表示すべき画像データを表示装置７１０に対して出力する。表示装置７１０は、液晶ディスプレイなどのディスプレイを有する。通信Ｉ／Ｆ７０７は、例えばイーサネット（登録商標）などの通信を行うためのインターフェースであり、伝送ケーブルに接続される。通信Ｉ／Ｆ７０７は、伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信Ｉ／Ｆ７０７は、無線通信を行うための回路やアンテナであってもよい。また、装置７０００は、ケーブルやネットワークを介して接続された外部の表示装置７１０に画像を表示させる表示制御を行うことも可能である。この場合、装置７０００は、表示データを表示装置７１０に出力することで表示制御を実現する。なお、図１３で示した構成のすべてが記憶装置１００、画像処理装置３００またはユーザ端末４００において必須の構成とは限らない。例えば、記憶装置１００及び画像処理装置３００において、表示装置７１０は必須の構成ではない。なお、コントローラユニット７００が、ＣＰＵ７０１を有するものとして説明を行ったが、これに限らない。例えば、コントローラユニット７００は、ＣＰＵ７０１の代わりに、または、ＣＰＵ７０１と共に、ＡＳＩＣやＦＰＧＡなどのハードウェアを有していてもよい。この場合、ＡＳＩＣやＦＰＧＡなどのハードウェアが、ＣＰＵ７０１が行うべき処理の一部または全てを行ってもよい。
【００１６】
次に、図１を参照して、記憶装置１００、画像処理装置３００及びユーザ端末４００の機能構成の一例を説明する。図１に示す各構成は、図１３のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図１に示す各構成は、一部またはすべてを、専用のハードウェアにより実現されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。
【００１７】
記憶装置１００の機能構成の一例を説明する。記憶装置１００は、画像保持部１０と、イベント情報保持部２０とを有する。画像保持部１０は、競技フィールド等を取り囲むように設置された複数台のカメラによって同期撮影された複数の画像を保持する。画像保持部１０が保持するデータは、静止画像を示すデータであっても、動画像を示すデータであっても、静止画像および動画像の双方を含むデータであってもよい。本実施形態では、画像という文言を特に断りがない限り静止画および動画を含むものとして説明を行う。
【００１８】
イベント情報保持部２０は、画像保持部１０が保持している複数の画像に関するイベント情報を保持している。ここでイベント情報とは、撮影対象であるイベントの名称や開催日や開催地といった基本情報、イベントの出演者や主催者や参加者といった人物情報、イベント中に発生した事象を時系列に記録したログ情報とを含む。なお、イベント情報は、これらに限定されず、これらのうちの一部や他の情報を含んでもよい。図２にイベントをサッカー試合とした場合のイベント情報の例を示す。イベント基本情報には、図２（ａ）に示す、イベントの名称、イベントの開催日付、イベントの開催施設及び対戦するチーム名に関する情報が含まれてもよい。イベント人物情報には、図２（ｂ）に示す、チーム名、色や柄等のユニフォームの特徴といったチーム情報が含まれてもよい。また、イベント人物情報には、図２（ｂ）に示す、選手の氏名や背番号といった選手情報が含まれてもよい。また、イベント人物情報には、撮影対象のイベントが相撲であれば、対戦する力士名を含めてもよい。また、イベント人物情報には、撮影対象のイベントがフィギュアスケートであれば、演技する選手名を含めてもよい。
【００１９】
イベントログ情報には、事象の名称および発生時刻が含まれる。図２（ｃ）に示す例において、イベントログ情報には、「前半０３分」といった試合開始（イベント開始）からの経過時間など、基準時間からの経過時間で事象の発生時間を示す情報が含まれてもよい。図２（ｃ）に示す例において、イベントログ情報には、選手名などの、事象の主体や事象に関連する人物を特定するための情報など補足情報が含まれてもよい。また、図２（ｃ）に示す例において、イベントログ情報には、事象発生時のスコアを示すスコア情報などの、事象の発生時間における状況を示す情報が含まれてもよい。また、図２（ｃ）に示す例において、イベントログ情報には、事象の開始時間やシーン継続時間が含まれてもよい。また、イベントログ情報には、事象の開始時間と、事象の終了時間とが含まれてもよい。
【００２０】
イベントログ情報により示される事象は、撮影対象のイベントがサッカーなどの球技であれば、「シュート（得点成功）」、「シュート（得点失敗）」、「パス」、「コーナーキック」、「ファウル」、「反則（オフサイドなど）」があり得る。また、イベントログ情報により示される事象は、「ゴール」、「ペナルティキック」、「前半終了」、「ハーフタイム」または「後半開始」などがあり得る。また、イベントログ情報により示される事象は、撮影対象のイベントがコンサートであれば、演奏される曲名であり得る。また、イベントログ情報により示される事象は、撮影対象のイベントがスポーツであれば、スポーツの種目名であり得る。なお、記憶装置１００の上述の機能構成の一部乃至全てが、画像処理装置３００またはユーザ端末４００が有していてもよい。
【００２１】
次に、画像処理装置３００の機能構成の一例を説明する。画像処理装置３００は、生成部３０１、位置情報取得部３０２、算出部３０３、イベント情報取得部３０４および作成部３０５を有している。
【００２２】
生成部３０１は、画像保持部１０から取得した複数の画像から三次元モデルを生成し、算出部３０３から取得した仮想視点画像に係る視点でテクスチャをマッピングするモデルベースレンダリングにより仮想視点画像を生成する。モデルベースレンダリングは、視体積交差法、ＭＵＬＴＩ−ＶＩＥＷ−ＳＴＥＲＥＯ（ＭＶＳ）などの三次元形状復元手法により得られた対象の三次元形状（モデル）を利用する。そして、モデルベースレンダリングは、生成した三次元形状を用いて、仮想視点画像に係る視点から仮想的なカメラにより撮影された画像を生成する技術である。なお、仮想視点画像を生成する方式は、例えば、イメージベースレンダリングなどの他の方式を用いてもよい。イメージベースレンダリングは、モデリング（幾何学図形を使用して物体の形状を作成する過程）をしないで、複数視点の撮影画像から仮想視点画像を生成するレンダリング方法である。また、生成部３０１は、生成した仮想視点画像をユーザ端末４００にネットワークを介して出力する。
【００２３】
位置情報取得部３０２は、撮影画像を解析し、特定の被写体の位置情報を取得する。位置情報取得部３０２は、例えば、生成部３０１が生成した三次元モデルに基づいて、特定の被写体の位置情報を取得する。また、位置情報取得部３０２は、生成部３０１が生成した三次元モデルに基づいて、特定の被写体の向きを示す情報を取得する。特定の被写体とは、スポーツ競技の場合、特定の選手や審判などの人物またはボールであってよい。
【００２４】
算出部３０３は、生成する仮想視点画像に係る視点の位置及び／または視線の方向を算出する。なお、本実施形態において、生成する仮想視点画像を撮影する仮想的なカメラを見立て、生成する仮想視点画像に係る視点の位置及び／または視線の方向を設定することを、仮想カメラの位置姿勢を設定するとも呼ぶ。また、仮想カメラの位置姿勢の連続的な遷移を仮想カメラパスと呼ぶ。即ち、画像処理装置３００は、設定した仮想カメラパスに基づいて、複数の仮想視点画像を生成し得る。また、画像処理装置３００は、設定した仮想カメラパスに基づいて生成した複数の仮想視点画像を一つの動画として生成し得る。
【００２５】
算出部３０３は、ユーザ端末４００からユーザの操作に基づく仮想視点情報を取得した場合、仮想視点情報に対応する位置と方向を出力する仮想視点画像に係る視点や視線の方向として決定する。仮想視点情報には、位置情報と方向情報とが少なくとも含まれる。算出部３０３は、ユーザ端末４００から仮想カメラパスを決定するための条件である構図シナリオを示す情報を取得した場合、構図シナリオを示す情報に基づいて、仮想カメラパスを算出する。算出部３０３は、構図シナリオを示す情報に基づいて、位置情報取得部３０２から取得した被写体位置情報を利用し、時間的に連続する仮想カメラパスを算出する。なお、算出部３０３は、仮想カメラパスを、仮想カメラパラメータを設定することにより設定する。仮想カメラパラメータとは、フレーム番号ないしタイムコードと関連づけられた、仮想カメラの位置及び／または向きを含む。算出部３０３は、仮想カメラパラメータとして、仮想カメラの画角、焦点距離またはズーム倍率なども設定してもよい。
【００２６】
イベント情報取得部３０４は、イベント情報保持部２０からイベント情報を取得する。作成部３０５は、位置情報取得部３０２が取得した被写体の位置情報それぞれについて、イベント情報保持部２０から取得したイベント人物情報と画像保持部１０から取得した複数の画像とから被写体リストを作成する。ここで被写体リストとは、仮想視点画像を生成するシーンにおいて、選手やボールといった被写体それぞれに関連する視点で、仮想視点画像を生成可能か否かを示すリストである。被写体リストの詳細については後述する。
【００２７】
また、作成部３０５は、ユーザ端末４００から取得した、ユーザが仮想視点画像の生成を要求するシーンと当該シーンにおいて生じた事象と被写体リストから構図シナリオリストを作成する。構図シナリオは、仮想カメラパスを設定するための条件や考え方を示す。構図シナリオは、仮想カメラをどのような位置や向きに配置するかの条件を定めたテンプレートやルールである。構図シナリオリストは、指定されたシーンにおいて選択可能な構図シナリオのリストである。構図シナリオリストの詳細については後述する。なお、作成部３０５は、後述するシーン選択画面を生成する機能を有していていもよい。また、画像処理装置３００の上述の機能構成の一部乃至全てが、記憶装置１００またはユーザ端末４００が有していてもよい。
【００２８】
次に、ユーザ端末４００の機能構成の一例を説明する。ユーザ端末４００は、表示部４０１、判定部４０２、選択部４０３および設定部４０４を有している。
【００２９】
表示部４０１は、画像処理装置３００からネットワーク等を介して取得した仮想視点画像や様々な情報を表示する。判定部４０２は、撮影されたイベントを複数のシーンとして分けるための判定を行う。
【００３０】
判定部４０２は、複数のシーンを選択肢として示すシーン選択画面を作成し、作成したシーン選択画面を表示部４０１において表示させる。判定部４０２は、イベント情報に基づいて、撮影されたイベントを複数のシーンに分ける。判定部４０２は、イベント情報に基づいて分けた複数のシーンの夫々を選択肢とし、仮想視点画像を生成するシーンをユーザに選択させるためのシーン選択画面を表示部４０１に表示させる。なお、ユーザ端末４００は、シーン選択画面を画像処理装置３００から受信し、受信したシーン選択画面を表示部４０１において表示させてもよい。また、判定部４０２は、ユーザの操作に基づいて特定された、仮想視点画像の生成に係るシーンを判定する。また、判定部４０２は、ユーザからの操作に基づいて特定された、仮想視点画像の生成に係るシーンを示す情報を、画像処理装置３００にネットワークを介して送信してもよい。判定部４０２は、判定されたシーンに係る時間、場所及び生じる事象のうち少なくとも何れかを特定する。また、判定部４０２は、判定されたシーンに基づいて、生成する仮想視点画像の撮影時間、生成する仮想視点画像に係る場所及び生成する仮想視点画像により写される事象のうち少なくとも何れか一つを特定してもよい。
【００３１】
選択部４０３は、作成部３０５が作成した構図シナリオリストから構図シナリオ選択画面を作成し、作成した構図シナリオ選択画面を表示部４０１において表示させる。なお、ユーザ端末４００は、構図シナリオ選択画面を画像処理装置３００から受信し、受信した構図シナリオ選択画面を表示部４０１において表示させてもよい。また、選択部４０３は、ユーザの操作に基づいて構図シナリオリストから特定された、仮想視点画像の生成に係る構図シナリオを選択する。また、選択部４０３は、選択された構図シナリオが被写体の指定が必要な場合、画像処理装置から取得した被写体リストから、被写体選択画面を作成し、表示部４０１において表示させる。なお、ユーザ端末４００は、被写体選択画面を画像処理装置３００から受信し、受信した被写体選択画面を表示部４０１において表示させてもよい。
【００３２】
設定部４０４は、ユーザが選択した構図シナリオや被写体に基づき、仮想カメラパス条件を設定し、設定した仮想カメラパス条件を画像処理装置３００にネットワークを介して送信する。ここで仮想カメラパス条件とは、仮想視点画像の生成に係るシーンにおいて、仮想カメラパラメータである仮想カメラの位置および向きを決定するための条件である。仮想カメラパス条件は、例えば、ある事象が生じた時間において、ある被写体を、どのような位置や向きの仮想カメラで撮影するかを規定するための条件である。なお、ユーザ端末４００の上述の機能構成の一部乃至全てが、記憶装置１００または画像処理装置３００が有していてもよい。また、画像処理システムが３台の装置で構成されるものとして説明を行うが、１台、２台または４台以上であってもよい。
【００３３】
以上の構成を有する画像処理システムの動作について説明する。
【００３４】
図３は、画像処理システムによる仮想視点画像生成処理のシーケンス図である。画像処理システムは、ユーザ端末４００が仮想視点画像視聴アプリケーションを起動することで、仮想視点画像生成処理を開始する。ユーザ端末４００は、仮想視点画像視聴アプリケーションを起動し、シーン選択画面提示処理を開始する（Ｓ４００１）。ユーザ端末４００は、イベント情報を画像処理装置３００に要求する（Ｓ４００２）。
【００３５】
画像処理装置３００は、ユーザ端末４００からイベント情報の要求を受信すると、イベント情報保持部２０が保持するイベント情報を取得する。そして、画像処理装置３００は、取得したイベント情報をユーザ端末４００に送信する。（Ｓ３００１）。ユーザ端末４００は、取得したイベント情報に基づいてシーン選択画面を生成し、シーン選択画面を表示する。
【００３６】
ここで、ユーザ端末４００が取得するイベント情報を図２（ｃ）とし、当該イベントログ情報に基づいて表示されるシーン選択画面の例を図４（ａ）に示す。図４（ａ）に示した例では、イベント情報に含まれる情報のうち、事象の発生時間を示す情報、事象名、スコア変動の可能性のある事象についてはスコア情報をシーン選択画面において提示している。なお、これらの情報のうち一部を提示するシーン選択画面であってもよい。また、例えば、図４（ａ）に示すシーン選択画面を画像処理装置３００が生成し、ユーザ端末４００がシーン選択画面を画像処理装置３００から取得して表示してもよい。
【００３７】
ユーザ端末４００は、シーン選択画面を表示し、ユーザからのシーンの選択を受け付ける（Ｓ４００３）。ユーザ端末４００は、ユーザからのシーンの選択を受け付けることで、仮想視点画像を生成する、時間、場面及び状況を示すシーンを特定する。
【００３８】
ユーザ端末４００は、構図シナリオ選択画面を表示するための構図シナリオ選択画面提示処理を開始する（Ｓ４００４）。ユーザ端末４００は、ユーザから選択されたシーンを特定するための情報とともに、当該シーンに係る構図シナリオリストを画像処理装置３００に要求する（Ｓ４００５）。画像処理装置３００は、選択されたシーンに関する被写体リストを作成する（Ｓ３００２）。画像処理装置３００は、選択されたシーンに関する構図シナリオリストを作成部３０５により作成する（Ｓ３００３）。
【００３９】
ここで、Ｓ３００２の被写体リスト作成処理及びＳ３００３の構図シナリオ作成処理について詳細に説明する。図５（ａ）は、画像処理装置３００の作成部３０５による被写体リスト作成処理の流れを示すフローチャートである。図５（ａ）に示すフローチャートは、構図シナリオリストの取得要求を受信することで開始される。なお、以降に説明するフローチャート示す処理は、画像処理装置３００のＣＰＵ７０１が情報の演算や各ハードウェアを制御することで実現される。なお、フローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。
【００４０】
作成部３０５は、構図シナリオリストの取得要求をユーザ端末４００から受けることで被写体リスト作成処理を開始する。ここで被写体リストとは、選手やボールといった各被写体に関する仮想視点画像の生成が可能か否かを、指定されたシーンに対応する開始時間から終了までの各フレームについて示したしたものである。なお、複数のカメラの設置の状況に応じて、特定の位置に存在する被写体の仮想視点画像が生成できない場合が生じ得る。したがって、例えば、選手などの被写体は、撮影対象のフィールドの位置に応じて、その被写体が写る仮想視点画像が生成できない時間が生じ得る。
【００４１】
作成部３０５は、指定されたシーンに関する被写体位置情報を位置情報取得部３０２より取得する（Ｓ１５０１）。被写体位置情報は、特定の被写体の位置を示す情報である。また、被写体位置情報は、指定されたシーンにおいて、仮想視点画像に写すことができる被写体に関する情報であってもよい。また、被写体位置情報は、指定されたシーンにおいて、被写体の目線などその被写体に関連する視点で仮想視点画像に写すことができる被写体に関する情報であってもよい。被写体位置情報には、時間と関連付けて、各被写体の位置及び向きとその被写体を識別するための情報とが含まれてもよい。また、被写体位置情報には、個々の被写体のＩＤが含まれてもよい。
【００４２】
図５（ｂ）は、位置情報取得部３０２による被写体位置情報取得処理の流れを示すフローチャート図である。位置情報取得部３０２は、作成部３０５より被写体位置情報の取得要求を受けることで被写体位置情報取得処理を開始する。位置情報取得部３０２は、指定されたシーンの開始時間における三次元モデルを生成部３０１より取得する（Ｓ２５０１）。次いで、位置情報取得部３０２は、シーンの開始時間の三次元モデルに含まれる全ての特定の被写体の位置を取得する（Ｓ２５０２）。なお、処理量を低下させるために、Ｓ４００３で選択されたシーンにおいて生じる事象の発生する位置を含む所定の範囲の領域の三次元モデルに含まれる特定の被写体の位置を取得する構成としてもよい。
【００４３】
位置情報取得部３０２は、仮想視点画像を生成可能な領域内に位置する各被写体について、個々を区別できるようＩＤを付与する（Ｓ２５０３）。シーンの開始時間における被写体の位置が図６（ｂ）に示した例である場合、仮想視点画像を生成可能な領域である点線で囲まれた円の内側にはチェック柄の選手３人と縞模様の選手３人とボール１つがあるので、ＩＤ０１からＩＤ０７が付与される。次いで、位置情報取得部３０２は、生成する仮想視点画像の次フレームに対応する時間の三次元モデルを生成部３０１より取得する（Ｓ２５０４）。位置情報取得部３０２は、取得した次フレームに対応する時間の三次元モデルに含まれる全ての被写体の位置を取得する（Ｓ２５０５）。
【００４４】
位置情報取得部３０２は、次フレームに対応する時間の仮想視点画像を生成可能な領域内に位置する被写体それぞれについて、前フレームに対応する時間での位置差が最も近いものを特定する。そして、位置情報取得部３０２は、位置差が所定値以下であったものに前フレームと同一のＩＤを付与する（Ｓ２５０６）。また、位置情報取得部３０２は、次フレームに対応する時間の仮想視点画像を生成可能な領域内に位置する被写体のうち、前フレームに対応する時間との位置差が所定値以下であるものが存在しない被写体があれば、新しいＩＤを付与する（Ｓ２５０７）。次のフレームに対応する時間における被写体位置が図６（ｃ）に示した例である場合、仮想視点画像を生成可能な領域である点線円内にチェック柄の選手３人と縞模様の選手３人とボール１つがある。当該フレームと、前フレームに対応する時間との位置差から、それぞれの被写体にＩＤ０１からＩＤ０６までの同一ＩＤが付与される。図６（ｃ）で示した例において、右下のチェック柄の選手は、開始フレームの円内から円外へ移動したためＩＤを付与されず、右上のチェック柄選手は、開始フレームの円外から円内へ移動したため新しいＩＤ０８が付与される。位置情報取得部３０２は、Ｓ２５０４〜Ｓ２５０７の処理を、仮想視点画像を生成するシーンの終了時間になるまで繰り返し行う。位置情報取得部３０２は、シーンの終了時間に対応する分まで処理を終えた場合（Ｓ２５０８のｙｅｓ）、被写体位置情報取得処理を終了する。
【００４５】
図５（ａ）の説明に戻り、作成部３０５は、イベント情報保持部２０よりイベント人物情報を取得する（Ｓ１５０２）。作成部３０５は、画像保持部１０より取得した多視点映像を解析し、ユニフォームの色や柄や背番号といった特徴をＩＤで区別された個々の被写体について抽出する（Ｓ１５０３）。次いで、作成部３０５は、イベント人物情報に含まれるユニフォームの色や柄や背番号といった特徴と抽出した特徴とを照合することで、ＩＤで区別された個々の被写体について人物を特定する（Ｓ１５０４）。ボール等の人物ではない被写体については、形状や大きさといった特徴を作成部３０５で保持しておくことによって、被写体を特定する。なお、Ｓ１５０２の処理順序は、Ｓ１５０４より前であればよいので、Ｓ１５０１の前やＳ１５０３の後であってもよい。
【００４６】
次いで、作成部３０５は、被写体リストを作成する（Ｓ１５０５）。図６（ａ）に被写体リストの例を示す。図６（ａ）に示した例では、仮想視点画像を生成可能な領域内にシーンの開始から終了までの全フレームに渡って位置していたのは選手５人とボール１つであり、選手２人は一部のフレームにおいて仮想視点画像を生成可能な領域外に位置していたことが判る。
【００４７】
続いて、Ｓ３００３の構図シナリオ作成処理について詳細に説明する。図７は、作成部３０５による構図シナリオリスト作成処理の流れを示すフローチャートである。作成部３０５は、被写体リスト作成の処理が終了することで、構図シナリオリスト作成処理を開始する。作成部３０５は、シーン内容に依存しない共通の構図シナリオを設定する（Ｓ１７０１）。イベントをサッカー試合とした場合、シーン内容に依存しない共通の構図シナリオの例として、図８に示したような「真上からシーン全体の動きを見る」がある。この構図シナリオでは、選択されたシーンがシュートシーンでもファウルシーンでもその他どのようなシーンであっても、仮想カメラを上空に配置した俯瞰映像での仮想視点画像が生成される。なお、シーン内容に依存しない共通の構図シナリオとして、例えば「サイドラインからボールを中心となるように見る」などでもよい。なお、シーン内容に依存しない共通の構図シナリオとして、例えば、「ボールの位置を視点としてゴール方向を見る」などでもよい。
【００４８】
次いで、作成部３０５は、選択されたシーンの種類を特定する（Ｓ１７０２）。作成部３０５は、例えば、イベントをサッカー試合とした場合、仮想視点画像を生成するシーンを、得点成功、得点失敗、オフサイドまたはファウルの何れかの種類に分類してもよい。この場合、作成部３０５は、シュートやコーナーキックやペナルティキック等のシーンのシーン種類を、得点成功か得点失敗のどちらかに分類する。オフサイドやファウルのシーンのシーン種類は、それぞれオフサイドやファウルとなる。
【００４９】
作成部３０５は、特定されたシーン種類に依存する構図シナリオを追加する（Ｓ１７０３）。イベントをサッカー試合とした場合、シーン種類が得点成功の構図シナリオの例を図８に示す。図８において、構図シナリオの例として、「＊の最前列でボールを追う（＊はディフェンス、オフェンス等）」や「＊地点でシュートが決まる様子を見る（＊はキック、ヘディング、ゴール等）」がある。「オフェンス最前列でボールを追う」構図シナリオでは、ボールに触れる攻撃側選手を仮想カメラが順次追うような仮想視点画像が生成される。このような構図シナリオは、シーンの開始から終了までの各フレームにおけるボールと複数の攻撃側選手との位置関係から仮想カメラの位置や向きを決めるような構図シナリオの例である。
【００５０】
「ゴール地点でシュートが決まる様子を見る」構図シナリオでは、ボールがキックされた地点からゴールラインを割る地点までの直線上のゴール裏に仮想カメラを据え、ボールが飛び込んでくる様子を捉えた仮想視点画像が生成される。このような構図シナリオは、キックシーンやゴールシーンといった特定の時間におけるボールや選手の位置関係から仮想カメラの位置や向きを決めるような構図シナリオの例である。
【００５１】
また、図８に示したような「ファウルの瞬間をじっくり見る」構図シナリオでは、ファウルが発生したフレームで時間を止めたままファウル発生位置を中心に仮想カメラを回転し、ファウルの瞬間を３６０度で観察するような仮想視点画像が生成される。このような構図シナリオは、特定フレームにおける選手位置に基づき、時間を止めた状態で仮想カメラを動かすような構図シナリオの例である。即ち、この場合、ある特定の時間における被写体を様々な視点から写した複数の仮想視点画像が生成される。
【００５２】
なお、上述の例は一例であり、他の構図シナリオを用いてもよい。また、シーンを種類に分類することなく、シーンに関連する構図シナリオを用いてもよい。例えば、仮想視点画像を生成するシーンにおいて生じる事象が「シュート（得点成功）」または「シュート（得点失敗）」である場合、「キーパの目線で見る」または「シュートした人の目線で見る」を構図シナリオとして用いてもよい。また、例えば、仮想視点画像を生成するシーンにおいて生じる事象が「パス」である場合、「パスを受ける人の目線で見る」または「パスを出す人の目線で見る」を構図シナリオとして用いてもよい。また、シーンに関連する構図シナリオをユーザの入力により定めてもよい。
【００５３】
続いて、作成部３０５は、被写体リストを確認し（Ｓ１７０４）、人物指定シナリオを追加するか否かを判定する。Ｓ１７０４では、例えば、作成部３０５は、シーン開始から終了までの全フレームに渡って仮想視点画像を生成可能な領域に位置する人物がいるか判定する。作成部３０５は、全フレームに渡って仮想視点画像を生成可能な領域に位置する人物がいる場合、人物指定シナリオを追加すると判定し、全フレームに渡って仮想視点画像を生成可能な領域に位置する人物がいない場合、人物指定シナリオを追加すると判定しない。また、例えば、Ｓ１７０４において、作成部３０５は、シーン開始から終了まで人物が被写体リストに登場するか否かを判定する。作成部３０５は、シーン開始から終了までの間に人物が被写体リストに登場する場合、人物指定シナリオを追加すると判定し、シーン開始から終了までの間に人物が被写体リストに登場しない場合、人物指定シナリオを追加すると判定しない。なお、シーンの全フレームに渡って仮想視点画像を生成可能な領域に位置する人物がいる場合に人物指定シナリオを追加すると判定するとして説明を行うがこれに限定されない。例えば、シーンの所定数以上のフレームに渡って仮想視点画像を生成可能な領域に位置する人物がいる場合に人物指定シナリオを追加すると判定する構成としてもよい。また、例えば、シーンにおいて生じる事象の発生地点を向いている人物がいる場合に人物指定シナリオを追加すると判定する構成としてもよい。また、シーンにおいて、目線で仮想視点画像が生成できる人物がいる場合に人物指定シナリオを追加すると判定する構成としてもよい。また、Ｓ１７０５の処理を省略し、常に人物指定シナリオを追加すると判定する構成としてもよい。
【００５４】
続いて、作成部３０５は、人物指定シナリオを追加すると判定すれば（Ｓ１７０５のｙｅｓ）、人物指定の構図シナリオを追加する（Ｓ１７０６）。人物指定シナリオの一例としては、イベントをサッカー試合とした場合、図８に示したような「選んだ選手と同じ目線で見る」や「選んだ選手を＊から追い続ける（＊は背後、正面等）」がある。「選んだ選手と同じ目線で見る」構図シナリオでは、特定選手の位置と顔の向きを仮想カメラの位置と向きにした特定選手の視界を再現するような仮想視点画像が生成される。このような構図シナリオは、１人の特定選手の全フレームでの位置や向きから仮想カメラの位置や向きを決めるような構図シナリオの例である。また、仮想視点画像を生成するシーンに関連づいた人物の人物指定の構図シナリオを追加する構成としてもよい。例えば、仮想視点画像を生成するシーンにおいて、ボールに接触した選手の人物指定の構図シナリオを追加する構成としてもよい。
【００５５】
次いで、作成部３０５は、追加した構図シナリオそれぞれについて選択されたシーンで仮想視点画像を生成可能か否か検査する（Ｓ１７０７）。イベントをサッカー試合とした場合、例えば得点成功の構図シナリオ「ヘディング地点でシュートが決まる様子を見る」は、キックによるシュートであれば成立しないので仮想視点画像を生成できないと判断される。作成部３０５は、仮想視点画像を生成できないと判断された構図シナリオを除外する。作成部３０５は、仮想視点画像を生成できると判断された構図シナリオから構図シナリオリストを作成する（Ｓ１７０８）。作成部３０５が作成した構図シナリオリストは、ユーザ端末４００に送信され、構図シナリオ選択画面としてユーザに提示される。
【００５６】
選択されたシーンが図２（ｃ）に示した例での「前半０３分  シュート（１−０）」等の得点成功シーン種類であって、人物指定シナリオを追加した場合の、構図シナリオ選択画面の一例を図４（ｂ）に示す。図４（ｂ）において、仮想カメラパスを設定するための条件である複数の構図シナリオが選択可能にユーザに提示される。
【００５７】
図３の説明に戻り、ユーザ端末４００は、構図シナリオリストに基づいて、例えば図４（ｂ）に示すような構図シナリオ選択画面を表示する。ユーザ端末４００は、ユーザからの指定に基づき構図シナリオ選択画面から特定された構図シナリオを選択する（Ｓ４００６）。ユーザ端末４００は、選択された構図シナリオが人物に関連する場合、被写体選択画面を提示する（Ｓ４００７）。ユーザ端末４００は、被写体リストに基づいて、例えば図４（ｃ）に示すような被写体選択画面を表示する。図４（ｃ）は、図４（ｂ）で示した構図シナリオ選択画面において「選んだ選手と同じ目線で見る」を視聴者が選択した場合の、被写体選択画面の例である。図４（ｃ）において、仮想カメラパスを設定するための条件として複数の人物が選択可能にユーザに提示される。また、被写体選択画面には、人物の氏名、背番号、チーム名、および顔写真などの付加情報が含まれていてもよい。
【００５８】
ユーザ端末４００は、ユーザからの指定に基づき、人物シナリオ選択画面から特定の人物を選択する（Ｓ４００９）。次いで、ユーザ端末４００は、仮想視点画像作成処理を開始する（Ｓ４０１０）。ユーザ端末４００の設定部４０４は、選択部４０３より受け取った選択されたシーン、構図シナリオおよび人物に基づいて仮想カメラパス条件を設定する（Ｓ４０１１）。仮想カメラパス条件とは、構図シナリオを実現するための、仮想カメラの位置および向きと、被写体の位置情報との関係を規定する条件である。
【００５９】
図９は、構図シナリオリストを図８で示した例とした場合の設定部４０４による仮想カメラパス条件の設定例である。例えば、イベントがサッカー試合の場合、構図シナリオ「真上からシーン全体の動きを見る」における仮想カメラ位置は「ボール移動経路を内包する円の中心８メートル上空」となり、仮想カメラ向きは「真下」となる。なお、これらの具体的な数字は一例あり、構図シナリオ「真上からシーン全体の動きを見る」における仮想カメラ位置は、他の位置であってもよい。
【００６０】
ここで、仮想カメラパス条件の具体例を、図１０を用いて説明する。仮想視点画像を生成するシーンにおいて、図１０（ａ）で示すように、生成する仮想視点画像の開始フレームに対応する時間でＩＤ０２の選手がＩＤ０３のボールを蹴り、ＩＤ０６の選手にパスを行う。また、パスを受けたＩＤ０６の選手は、シュートを行う。ＩＤ０６の選手がシュートを行った時間に対応する仮想視点画像のフレームをシュートフレームとする。
【００６１】
ＩＤ０６の選手がシュートしたボールは、ゴールラインを割る。ゴールラインを割った時間に対応する仮想視点画像のフレームをゴールフレームとする。生成する仮想視点画像を終了する時間に対応する仮想視点画像のフレームを終了フレームとする。
【００６２】
開始フレームから終了フレームまでのボールの移動経路５２は図１０（ｂ）で示すようになる。この場合のボールの移動経路５２を内包する円５３は図１０（ｂ）で示すようになる。したがって、構図シナリオ「真上からシーン全体の動きを見る」の仮想カメラパス条件を満たす仮想カメラの位置は円５３の中心８メートル上空となる。このように、設定部４０４は、算出部３０３がボールの移動経路を用いて仮想カメラの位置および向きを決定できるよう、どの被写体の位置情報をどう利用するかを仮想カメラパスの条件として設定する。
【００６３】
続いて、図１０（ａ）に示すシーンを用いて、構図シナリオ「ゴール地点でシュートが決まる様子を見る」の仮想カメラ条件の一例を説明する。構図シナリオ「ゴール地点でシュートが決まる様子を見る」における仮想カメラ位置は、「ゴール地点の３メートル後方」であり、仮想カメラ向きはシュート前が「ボール」とし、シュート後が「シュート地点」とする。仮想カメラ５１の位置は、図１０（ｃ）で示すように、シュートフレームでのボール位置からゴールフレームでのボール位置までの直線を３メートル延長した位置となる。また仮想カメラ５１の向きは、図１０（ｃ）で示すように、開始フレームからシュートフレームまではボールが画面中央となるよう仮想カメラの向きを設定し、シュートフレーム以降は終了フレームまでシュート地点を向いた状態で固定する。このように、設定部４０４は、算出部３０３が仮想カメラ位置を決定できるよう、被写体の位置情報を利用し、どのフレームでどの位置に仮想カメラを配置し、仮想カメラをどの向きにするかの条件を設定する。なお、これらの具体的な数字や具体的な位置は一例あり、構図シナリオ「ゴール地点でシュートが決まる様子を見る」における仮想カメラ位置は、他の位置であってもよい。
【００６４】
続いて、ファウルシーンにおいて、構図シナリオ「ファウルの瞬間をじっくり見る」の仮想カメラ条件の一例を説明する。構図シナリオ「ファウルの瞬間をじっくり見る」における仮想カメラの位置は、開始からファウル発生までは、副審位置とする。また、仮想カメラの向きは、開始からファウル発生までは、ファウルする選手が写るよう設定される。ファウルが発生した場合、仮想カメラの位置は、ファウルの発生タイミングにおいて（ファウル発生時間のまま）、ファウルする選手を中心に時計回り仮想カメラを３６０度回転する。即ち、仮想視点画像において、ファウルの発生タイミングを様々な角度から写すことができる。仮想カメラが副審位置に戻ったら、仮想カメラを固定してシーンの時間経過を再開する。このように、設定部４０４は、仮想視点画像において時間経過を停止する静止するタイミングと仮想視点カメラの回転状態を決定できるよう、仮想カメラをどの時間で静止してどの被写体を中心にどの被写体位置からどの向きに回転するかの条件を設定する。なお、これらの具体的な数字や具体的な位置は一例あり、構図シナリオ「ファウルの瞬間をじっくり見る」における仮想カメラ位置は、他の位置であってもよい。なお、シュートする選手を中心に、シュートを行う時間で、同様に仮想視点カメラを回転状態する構図シナリオを設けてもよい。
【００６５】
図９に示した上述以外の構図シナリオについても、設定部４０４は、どのフレームのどの被写体の位置情報をどう利用するかを仮想カメラパスの条件として設定する。なお、ユーザ端末４００が仮想カメラパス条件を設定する例を説明したが、ユーザ端末４００が仮想カメラパス条件を設定することなく、画像処理装置３００が仮想カメラパスを算出する構成としてもよい。この場合、ユーザ端末４００は、選択したシーン、構図シナリオおよび人物を識別するための情報を画像処理装置３００に送信してもよい。そして、画像処理装置３００は、受信した選択したシーン、構図シナリオおよび人物を識別するための情報に基づいて、仮想カメラパスを設定する構成としてもよい。
【００６６】
図３の説明に戻り、ユーザ端末４００は、選択したシーン、構図シナリオ、人物を識別するための情報及び仮想カメラ条件を示す情報を含む仮想視点画像の作成依頼を画像処理装置３００に送信する（Ｓ４０１２）。画像処理装置３００は、ユーザ端末４００から仮想視点画像の作成依頼を受信すると、受信した情報に基づいて仮想視点画像を作成する。
【００６７】
ここで、図１１を用いて画像処理装置３００の仮想カメラパス算出処理について説明する。図１１は、画像処理装置３００の算出部３０３による仮想カメラパス算出処理の流れを示すフローチャートである。
【００６８】
画像処理装置３００の算出部３０３は、ユーザ端末４００からの仮想視点画像作成依頼に含まれる仮想カメラパス条件を受け取ることで、仮想カメラパス算出処理を開始する。算出部３０３は、仮想カメラパス条件を取得する（Ｓ１１０１）。算出部３０３は、仮想カメラパス条件により示される仮想カメラパスを設定する際に利用する被写体の位置情報を特定する（Ｓ１１０２）。例えば、仮想カメラパス条件が図９で示した例のうちの仮想カメラの位置が「ボール移動経路を内包する円の中心８メートル上空」で、仮想カメラの向きが「真下」であった場合、算出部３０３は、開始から終了までボールを、位置を利用する被写体と特定する。また、仮想カメラパス条件が図９で示した例のうちの仮想カメラの位置が「ゴール地点の３メートル後方」である場合を考える。この場合において、仮想カメラの向きが「ボール／キック地点」であった場合、算出部３０３は、開始から選手がシュートを行うまでのボールおよびゴールフレームにおけるボールを位置利用する被写体と特定する。また、この場合、シュートを行う選手を位置利用する被写体と特定してもよい。
【００６９】
算出部３０３は、シュートを行う時間やゴールが決まる時間など、仮想カメラパスを設定する際に用いる時間情報をイベント情報保持部２０のイベントログ情報から特定してもよいし、得点した選手やゴールラインとボールの位置関係から特定してもよい。また、シュートを行う時間やゴールが決まる時間など、仮想カメラパスを設定する際に用いる時間情報を、撮影画像の画像処理によるシーン判定に基づき特定してもよい。例えば、シュートを行う時間は、得点した選手からボールが離れたことを画像処理により判別して、その画像の撮影時から取得されてよい。ボールが離れたことを判別する画像処理は、撮影画像のフレーム間で、得点した選手とボールの位置差が所定値以下となる最後のフレームを見つけることで特定する構成としてよい。また、例えば、ゴールが決まる時間は、ボールがゴールラインの内側になった最初のフレームを判別し、そのフレームの撮影時間により特定される。
【００７０】
このように算出部３０３は、仮想カメラパス条件に基づき、どの撮影時間のどの被写体について位置利用するかを特定する。算出部３０３は、シュート地点が仮想視点画像を生成可能な範囲外だった等により、位置利用する被写体を特定できなければ（Ｓ１１０３のｎｏ）、ユーザ端末４００にエラー通知し（Ｓ１１０８）、仮想カメラパス算出処理を終える。算出部３０３は、位置情報を利用する被写体を特定できれば（Ｓ１１０３のｙｅｓ）、特定時間における被写体の位置情報を位置情報取得部３０２より取得する（Ｓ１１０４）。算出部３０３は、取得した被写体の位置情報と、仮想カメラパス条件とに基づいて、生成する仮想視点画像のフレーム毎の仮想カメラの位置および向きを決定する（Ｓ１１０５）。構図シナリオが図９で示した例のうちの「真上からシーン全体の動きを見る」であった場合、シーン開始から終了までの全フレームに渡って、図１０（ｂ）の例で示した円５３の中心の上空８メートルから真下を向いたような仮想カメラパラパスとなる。構図シナリオが図９で示した例のうちの「ゴール地点でシュートが決まる様子を見る」であった場合、図１０（ｃ）の例で示した仮想カメラ５１の位置で、ボールを追って左から右へパンしていき選手がシュートする位置でパンが止まる仮想カメラパスとなる。このように算出部３０３は、仮想カメラパス条件を満たすようシーン開始から終了までの仮想カメラパスを構成するための仮想カメラパラメータを全フレームについて決定することで、仮想カメラパスを自動的に算出する。ここで決定される仮想カメラパラメータとは、例えば、生成される仮想視点画像のフレームごとの視点の位置及び／視線の方向である。
【００７１】
なお、算出部３０３は、算出した仮想カメラの動きが所定の閾値を超える場合、視聴者が仮想視点画像を見やすいよう再生速度を半分にする等の再生速度を仮想カメラパラメータとして設定してもよい。
【００７２】
次いで、算出部３０３は、算出した仮想カメラパスにより特定される各フレームの仮想カメラの位置を結んだ線を平滑化し、平滑化した線上の座標を仮想カメラの位置として特定する（Ｓ１１０６）。仮想カメラパスの平滑化は、仮想カメラが小刻みに動いて生成される仮想視点画像が手振れしたかのようになり、視聴者が映像酔いになるのを抑えるために行う。なお、Ｓ１１０６の処理は省略してもよい。次いで、算出部３０３は、算出した仮想カメラパスに応じた仮想視点画像生成を生成部３０１に依頼する（Ｓ１１０７）。
【００７３】
図３の説明に戻り、画像処理装置３００の生成部３０１は、算出部３０３が算出した仮想カメラパスの仮想カメラパラメータを満たす仮想視点画像を生成する。即ち、生成部３０１は、構図シナリオに応じて決定された仮想視点画像に係る視点の位置及び／または視線の方向に応じた仮想視点画像を生成する。
【００７４】
画像処理装置３００は、生成した仮想視点画像をユーザ端末４００に出力する。ユーザ端末４００は、受信した仮想視点画像を表示部４０１において表示する。ユーザ端末４００は、受信した仮想視点画像を表示部４０１で再生して視聴者に提示する（Ｓ４０１３）。
【００７５】
以上説明したように、本実施形態によれば、イベントを撮影し、その撮影結果から仮想視点画像を生成する場合、イベントを複数のシーンに分けて、複数のシーンから仮想視点画像を生成するシーンをユーザは選択することができる。したがって、ユーザは煩雑な操作を行わなくとも、イベントにおける所望の時間、場所または事象に係る仮想視点画像を生成することができる。また、本実施形態によれば、選択したシーンに関連づいた条件であって、仮想視点画像に係る視点の位置を決定するための複数の条件から所望の条件を選択することで、視点を設定するための煩雑な操作を行うことなく仮想視点画像が生成される。したがって、ユーザは、煩雑な操作なく、自分の好みに適した仮想カメラパスで選択したシーンの仮想視点画像を閲覧することができる。また、ユーザは、煩雑な操作なく、選択したシーンに適した仮想カメラパスで仮想視点画像を閲覧することができる。また、選択されたシーンおよび構図シナリオおよび人物から仮想カメラパス条件を設定し、シーン開始から終了までの仮想カメラパスを自動算出することで、１つの被写体の位置や向きに限った構図でなくても、仮想視点画像を視聴者に提供できるようになる。このように、本実施形態によれば、仮想視点画像に係る視点の設定に慣れていないユーザであっても、仮想視点画像に係る視点の設定を容易に行うことができる。
【００７６】
なお、上述の実施形態において、選択されたシーンに関する構図シナリオ数を確認し、１つであれば、構図シナリオ選択画面をユーザに提示することなく、その構図シナリオを自動で選択する構成としてもよい。
【００７７】
また、上述の実施形態において、ユーザ端末４００がイベントログ情報を取得して、シーンを判別したり、シーン選択画面を生成したりする構成を説明した。しかしながら、これに限らず、画像処理装置３００がイベントログ情報を取得して、シーンを判別したり、シーン選択画面を生成したりしてもよい。
【００７８】
また、ユーザ端末４００において、ユーザの操作に基づいて、時間や期間を指定することで仮想視点画像の生成に係るシーンを特定する構成としてもよい。時間や期間を指定することで仮想視点画像の生成に係るシーンを特定するための、ユーザの指示を受け付けるための画面例を図１２に示す。図１２において、シーン開始時刻とシーン終了までの長さの少なくとも２つについて指定するような画面である。また、シーン開始時刻とシー終了時刻を受け付ける画面であってもよい。また、どのようなシーンが指定されたかを特定しやすいよう、シーン終了までの長さは所定値以内と制限してもよい。また、画像処理装置３００またはユーザ端末４００は、イベントログ情報から、特定する構成としてもよい。指定されたシーンが図１２で示した例のように１０：０３：４８から８秒後の１０：０３：５６までとすると、イベントログ情報が図２（ｃ）で示した例では、指定シーン開始２秒後の１０：０３：５０にシュートによる得点シーンが含まれていることがわかる。
【００７９】
（変形例）
上述の実施形態の変形例を図１４に示す画像処理装置３００の動作の流れを示すフローチャートを用いて説明する。なお、変形例における各装置の構成は上述の実施形態と同様である。
【００８０】
Ｓ１９０１において、画像処理装置３００は、仮想視点画像を生成する候補となる複数のシーンをユーザに提示する。なお、画像処理装置３００は、イベント情報に基づいて上述のシーン選択画面を作成し、ユーザ端末４００にシーン選択画面を送信する。
【００８１】
Ｓ１９０２において、画像処理装置３００は、ユーザ操作による指定により仮想視点画像を生成するシーンを特定したか否かをユーザ端末４００から受信する情報に基づいて判定する。画像処理装置３００は、ユーザ端末４００からシーンを特定する情報を受信した場合、仮想視点画像を生成するシーンを特定したと判定する。
【００８２】
仮想視点画像を生成するシーンを特定した場合、Ｓ１９０３において、画像処理装置３００は、特定したシーンの場所、時間及び事象をイベント情報に基づいて特定する。例えば、画像処理装置３００は、特定したシーンがシュートシーンである場合、シュート位置に基づく場所をシーンの場所、シュートを行う一連のプレー時間を特定したシーンの時間、シュートをシーンにおいて生じた事象であると判定する。
【００８３】
仮想視点画像を生成するシーンを特定した場合、Ｓ１９０４において、画像処理装置３００は、Ｓ１９０３にて特定したシーンの場所、時間及び事象に関連する人物を特定する。例えば、画像処理装置３００は、特定したシーンがシュートシーンである場合、シュートを行った選手、キーパ及びシュートを行った選手に最も近い相手選手を関連する人物であると特定する。
【００８４】
Ｓ１９０５において、画像処理装置３００は、特定したシーンの場所、時間及び事象の少なくとも何れか一つに関連する構図シナリオ及びＳ１９０３で特定した被写体に関連する構図シナリオを取得する。画像処理装置３００は、特定したシーンがシュートシーンである場合、特定したシーンの場所、時間及び事象の少なくとも何れか一つに関連する構図シナリオとして、例えば、図９に示した「ゴール地点でシュートが決まる様子を見る」を取得する。また、画像処理装置３００は、Ｓ１９０３で特定した被写体に関連する構図シナリオとして、「シュートを行った選手、キーパまたはシュートを行った選手に最も近い相手選手の目線から見る」を取得する。画像処理装置３００は、取得した構図シナリオを選択するための構図シナリオ選択画面を作成し、ユーザに提示するためにユーザ端末４００に送信する。
【００８５】
Ｓ１９０６において、画像処理装置３００は、ユーザ操作による指定により、生成する仮想視点画像に係る構図シナリオを特定したか否かをユーザ端末４００から受信する情報に基づいて判定する。画像処理装置３００は、ユーザ端末４００から構図シナリオを特定する情報を受信した場合、構図シナリオを特定したと判定する。
【００８６】
生成する仮想視点画像に係る構図シナリオを特定した場合、Ｓ１９０７において、画像処理装置３００は、特定した構図シナリオに基づいて仮想カメラパラメータを特定する。例えば、生成する仮想視点画像に係る構図シナリオとして、「シュートを行った選手の目線から見る」が特定された場合、画像処理装置３００は、生成するシーンにおけるシュートを行った選手の位置情報と、向きとを位置情報取得部３０２により取得する。画像処理装置３００は、生成するシーンにおけるシュートを行った選手の位置情報と、向きとを仮想視点パスとする仮想視点パラメータを設定する。
【００８７】
Ｓ１９０８において、画像処理装置３００は、特定した仮想カメラパラメータに基づいて仮想視点画像を生成し、Ｓ１９０９において、画像処理装置３００は、生成した仮想視点画像をユーザ端末４００に出力する。
【００８８】
このように、変形例においても、仮想視点画像に係る視点の設定に慣れていないユーザであっても、仮想視点画像に係る視点の設定を容易に行うことができる。
【００８９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００９０】
１００  記憶装置
３００  画像処理装置
４００  ユーザ端末
３０１  生成部
３０２  位置情報取得部
３０３  算出部
３０４  イベント情報取得部
３０５  作成部
４０１  表示部
４０２  判定部
４０３  選択部
４０４  設定部
【図１】
2019045995.tif 000003
【図２】
2019045995.tif 000004
【図３】
2019045995.tif 000005
【図４】
2019045995.tif 000006
【図５】
2019045995.tif 000007
【図６】
2019045995.tif 000008
【図７】
2019045995.tif 000009
【図８】
2019045995.tif 000010
【図９】
2019045995.tif 000011
【図１０】
2019045995.tif 000012
【図１１】
2019045995.tif 000013
【図１２】
2019045995.tif 000014
【図１３】
2019045995.tif 000015
【図１４】
2019045995.tif 000016