(57)【要約】【課題】仮想視点の変更に係る操作を行うことなく、好適な仮想視点画像を生成する。【解決手段】本発明は、複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置であって、ユーザの位置を取得する第１の取得手段と、前記複数の撮影装置のうち、少なくともいずれかの撮影装置により撮影された画像から注視点の位置を取得する第２の取得手段と、前記ユーザの位置と前記注視点の位置に基づいて、仮想視点の動線、及び当該動線上を移動する仮想視点の視線方向を決定する動線決定手段と、前記仮想視点の動線、及び前記仮想視点の視線方向に基づいて、前記仮想視点画像を生成する生成手段とを備える。【選択図】図４
2020042407.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置であって、
ユーザに関する位置情報を取得する第１の取得手段と、
前記仮想視点画像に映すべき注視点に関する位置情報を取得する第２の取得手段と、
前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定手段と、
前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記動線決定手段は、前記仮想視点を前記ユーザの位置から前記注視点の位置に向けて移動させるように、前記動線を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記動線決定手段は、前記仮想視点が前記注視点の位置から所定の距離に到達すると、当該到達した位置からの前記動線を前記注視点の位置に基づいて決定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記動線決定手段は、前記仮想視点が前記注視点の位置から所定の距離に到達すると、前記仮想視点を前記注視点の位置を中心に旋回させるように、前記動線を決定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記動線決定手段は、
前記注視点の位置を中心に前記仮想視点を所定の半径の円状に旋回させ、
さらに、前記注視点の位置の周辺の状況に応じて、前記所定の半径を変動させることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記動線決定手段は、前記動線上を移動する仮想視点において、前記仮想視点の視線方向が前記注視点の位置に向けられるように、前記視線方向を決定することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記第１の取得手段は、前記ユーザの所持するユーザ端末から前記ユーザの位置を取得することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記第１の取得手段は、前記ユーザ端末がＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）により取得した前記ユーザの位置を前記ユーザ端末から取得することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記第１の取得手段は、前記ユーザ端末に記憶された客席番号を前記ユーザ端末から取得することを特徴とする請求項７に記載の情報処理装置。
【請求項１０】
前記第２の取得手段は、前記注視点の位置として、特定のオブジェクトの位置又は所定の固定位置を取得することを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記特定のオブジェクトは、人物又はボールであることを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記所定の固定位置は、フィールドにおける任意の位置であることを特徴とする請求項１０に記載の情報処理装置。
【請求項１３】
前記ユーザの所持するユーザ端末に前記生成手段により生成された仮想視点画像を出力する画像出力手段をさらに備えることを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
【請求項１４】
複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置における情報処理方法であって、
ユーザに関する位置情報を取得する第１の取得ステップと、
前記仮想視点画像に映すべき注視点に関する位置情報を取得する第２の取得ステップと、
前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定ステップと、
前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成ステップと
を含むことを特徴とする情報処理方法。
【請求項１５】
前記ユーザの所持するユーザ端末から前記仮想視点画像の再生要求を受信する受信ステップをさらに含むことを特徴とする請求項１４に記載の情報処理方法。
【請求項１６】
所定のイベントが発生したときのイベントトリガー信号を受信する受信ステップをさらに含むことを特徴とする請求項１４に記載の情報処理方法。
【請求項１７】
前記ユーザの所持するユーザ端末に前記生成ステップにおいて生成された前記仮想視点画像を出力する画像出力ステップをさらに含むことを特徴とする請求項１４から１６のいずれか１項に記載の情報処理方法。
【請求項１８】
コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像を生成するための技術に関するものである。
【背景技術】
【０００２】
近年、複数のカメラを異なる位置に設置して同期撮影し、その撮影により得られた複数視点画像を用いて、仮想視点画像を生成する技術が注目されている。この複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理装置に集約し、画像処理装置において、仮想視点に基づくレンダリング等の処理を施し、ユーザ端末に仮想視点画像を表示することで実現される。なお、仮想視点画像の生成において、複数のカメラは撮影対象の空間内の特定の位置（以下、注視点と称する場合がある）に向けられる。
【０００３】
そして、このような仮想視点画像を用いたサービスでは、例えば、サッカー、バスケットボール等における特定のシーンを様々な角度から視聴することができるため、従来の撮影画像と比較して、ユーザに高臨場感を与えることができる。ここで、特許文献１には、ユーザ端末の位置及び方向に基づいて仮想視点の位置及び方向を決定し、その決定した仮想視点の位置及び方向に基づいて仮想視点画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２２５５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、特定のシーンを好適に視聴する上で、配信された仮想視点画像がユーザ端末に表示された後、ユーザの操作により、ユーザ端末から注視点付近まで仮想視点を変更（移動）させる必要がある。例えば、撮影対象がサッカーのゴールシーンである場合、ユーザは、ゴールを決めた選手に向けて仮想視点を近付ける操作を行う必要がある。そのため、例えば、競技がリアルタイムで進行している場合等には、ユーザ（特に、仮想視点の操作に慣れていないユーザ）は、仮想視点の操作に気を取られ、競技そのものを見逃してしまう可能性がある。なお、スポーツ競技に限らず、コンサートやその他のイベントにおいても同様の問題が生じ得る。
【０００６】
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、仮想視点の変更に係る操作を容易にすることである。
【課題を解決するための手段】
【０００７】
本発明は、複数の撮影装置により撮影された画像に基づいて仮想視点画像を生成する情報処理装置であって、ユーザに関する位置情報を取得する第１の取得手段と、前記仮想視点画像に映すべき注視点に関する位置情報を取得する第２の取得手段と、前記ユーザに関する位置情報と前記注視点に関する位置情報に基づいて、仮想視点の動線を決定する動線決定手段と、前記仮想視点の動線に基づいて、前記仮想視点画像を生成する生成手段と
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想視点の変更に係る操作が容易になる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの概略図である。
【図２】画像処理システムの概略構成図である。
【図３】画像生成装置のハードウェア構成図である。
【図４】情報処理装置の機能構成図である。
【図５】画像生成装置の機能構成図である。
【図６】注視点データの構成を示すデータ構造図である。
【図７】動線決定部における処理の手順を示すフローチャートである。
【図８】動線決定部により決定された仮想視点の動線を示す模式図である。
【図９】動線決定部により決定された仮想視点の動線を示す模式図である。
【図１０】動線決定部により決定された仮想視点の動線を示す模式図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。
（画像処理システム）
【００１１】
図１は、画像処理システムの概略図である。図１に示されるように、スタジアム１２には、観客席１４と競技等を実際に行うフィールド１６があり、複数のカメラ１８が設置されている。複数のカメラ１８は、各々のカメラ１８が撮影対象であるフィールド１６の少なくとも一部を撮影するように、かつ、カメラ１８間で画角に重なりができるように配置される。例えば、複数のカメラ１８は、観客席１４とフィールド１６とを囲むように設置される。
【００１２】
また、ユーザ１０は観客席１４から競技（ここでは、その一例としてサッカー）を観戦している。ユーザ１０は、ユーザ端末を所持し、ライブで観戦を楽しむと共に、必要に応じてユーザ端末を操作してシュートシーン、ゴールシーン、反則を犯したシーン等のイベントシーンを再生して確認する。本実施形態では、このユーザ端末の操作（具体的には、ユーザ端末における再生の指示）に応じて、適切なイベントシーンの仮想視点画像がユーザ端末に提供される。
【００１３】
図２は、画像処理システムの概略構成図である。図２に示されるように、画像処理システムは、スタジアム１２に設置された複数のカメラ１８と、画像生成装置２００と、情報処理装置１００と、ユーザ端末３００を備える。
【００１４】
複数のカメラ１８は、スタジアム１２の全て又は一部の範囲が複数のカメラ１８で撮影されるように配置され、伝送ケーブルを介して相互に接続される。また、カメラ１８は、予め設定された１又は複数の実カメラ注視点に向けて設置される。つまり、１又は複数の実カメラ注視点の各々は２以上のカメラ１８により異なる方向から撮影される。また、カメラ１８の各々は、画像生成装置２００にも接続され、スタジアム１２を撮影することにより取得した画像を画像生成装置２００に伝送する。
【００１５】
なお、複数のカメラ１８は、静止画像を撮影するカメラであっても、動画像を撮影するカメラであっても、静止画像及び動画像の双方を撮影するカメラであってもよい。また、本実施形態において、特に断りがない限り、画像という用語は、動画と静止画の両方の概念を含むものとする。
【００１６】
画像生成装置２００は、仮想視点画像を生成する装置である。画像生成装置２００は、複数のカメラ１８により撮影された画像（以下、撮影画像と称する場合がある）を記憶する。画像生成装置２００は、撮影画像を用いて、仮想視点画像群を生成する。なお、仮想視点画像群とは、異なる仮想視点に基づく複数の仮想視点画像の集合のことである。
【００１７】
画像生成装置２００は、生成した仮想視点画像群と注視点データを情報処理装置１００に伝送する。なお、注視点データは、撮影対象のスタジアム１２内に設定された１又は複数の注視点の位置等を示す情報である。特定の選手やボールやゴールなどのオブジェクトが注視点となりうる。また、サッカーコートのコーナー位置やペナルティキックのキック位置なども注視点となりうる。注視点データにより表される注視点は、上述の実カメラ注視点とは異なる概念であることに留意されたい。但し、注視点データにより表される注視点の１つとして、実カメラ注視点が管理されるようにしてもよい。
【００１８】
また、画像生成装置２００は、例えば、サーバ装置等であり、上述の仮想視点画像を生成するための画像処理機能に加えて、複数の撮影画像や生成した仮想視点画像群を記憶するデータベースとしての機能も有する。その他、スタジアム１２内の複数のカメラ１８と画像生成装置２００は、有線又は無線の通信ネットワーク回線や、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）等のケーブル回線で接続されている。画像生成装置２００は、この回線を通じて、複数のカメラ１８から撮影画像を受信してデータベースに格納する。なお、注視点データの詳細については、後述する。
【００１９】
情報処理装置１００は、画像生成装置２００で生成される仮想視点画像群から、ユーザ端末３００に提供する仮想視点画像を選択する。より詳細には、情報処理装置１００は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及びその動線上を移動する仮想視点の視線方向に基づいて、ユーザ端末３００に提供する仮想視点画像を選択する。なお、動線とは仮想視点を任意の位置まで移動させるときの経路のことである。
【００２０】
情報処理装置１００は、画像生成装置２００から取得した注視点データが示す１又は複数の注視点から１つの注視点を選択する。また、情報処理装置１００は、ユーザ端末３００からユーザ端末情報を取得する。そして、情報処理装置１００は、選択した注視点とユーザ端末３００から取得したユーザ端末情報に基づいて、生成すべき仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する。なお、ユーザ端末情報には、例えば、操作内容を示す端末操作情報や端末の位置を示す位置情報等が含まれる。また、端末操作情報には、例えば、仮想視点の指定や仮想視点画像の再生等の操作を示す情報等が含まれる。
【００２１】
情報処理装置１００は、決定した仮想視点画像に係る仮想視点の動線、及びその動線上を移動する仮想視点の視線方向に基づいて、画像生成装置２００により生成された仮想視点画像群から仮想視点画像を選択し、ユーザ端末３００に出力する。
【００２２】
なお、これに限らず、情報処理装置１００により決定された注視点と仮想視点の指定を示す情報（例えば、仮想視点の位置、仮想視点の視線方向等に関する情報）を画像生成装置２００に送信してもよい。この場合、画像生成装置２００は、スタジアム１２に設置された複数のカメラ１８による撮影画像から、情報処理装置１００により決定された注視点に対応するカメラ群による撮影画像を選択する。その後、画像生成装置２００は、選択された撮影画像を、仮想視点の指定を示す情報に基づいて処理することで、仮想視点に応じた仮想視点画像を生成して情報処理装置１００に出力する。
【００２３】
また、以下のように仮想視点画像が提供されるようにしてもよい。即ち、画像生成装置２００は、ユーザ端末から当該ユーザ端末の位置に関する情報と、注視点に関する情報を取得し、当該取得された情報に基づいて仮想視点の動線を決定する。そして、画像生成装置２００は、決定した動線に応じた仮想視点画像を、複数のカメラ１８から取得した複数の撮影画像に基づいて生成する。この例においては、仮想視点画像群の生成は必須ではない。なお、本実施形態では、情報処理装置１００と画像生成装置２００が別の装置である場合の例を中心に説明しているが、これらが一体であってもよい。また、本実施形態で画像生成装置２００が複数のカメラ１８から撮影画像を取得する例を中心に説明しているが、これに限らず、複数のカメラ１８が撮影画像に対して、仮想視点画像を生成するための処理の一部を行ってもよい。この場合、画像生成装置２００が取得する画像データは、撮影画像そのものではなく、加工済み画像データとなりうる。この場合、画像生成装置２００による仮想視点画像の生成負荷が低減されうる。
【００２４】
補足として、情報処理装置１００は、例えば、パーソナルコンピュータ等である。なお、情報処理装置１００は、画像生成装置２００に組み込まれていてもよく、ユーザ端末３００に組み込まれていてもよい。また、その逆であってもよい。したがって、例えば、画像生成装置２００は、情報処理装置１００に組み込まれてもよい（即ち、情報処理装置１００は、画像生成装置２００の機能を備えてもよい）。このように、情報処理装置１００と画像生成装置２００は一体の装置であってもよいし、また、情報処理装置１００とユーザ端末３００は一体の装置であってもよい。
【００２５】
ユーザ端末３００は、ユーザ１０の入力に基づいて、例えば、仮想視点の位置の移動、仮想視点の視線方向の変更、及び視点の切り替え等の指示を受け付ける。ユーザ端末３００は、ユーザ１０からの指示を受け付けると、その受け付けた指示の内容を示す仮想視点情報を含む伝送信号を生成し、情報処理装置１００に伝送する。また、ユーザ端末３００は、位置情報に基づく仮想視点の自動設定を情報処理装置１００に要求する。
【００２６】
なお、ユーザ端末３００には、ユーザ１０に固有のＩＤを関連付けるようにしてもよい。また、ユーザ端末３００は、例えば、パーソナルコンピュータであってもよく、又はスマートフォンやタブレット等の携帯端末であってもよい。その他、ユーザ端末３００は、マウス、キーボード、６軸コントローラ、及びタッチパネルの少なくとも１つを有する。また、ユーザ端末３００は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等により位置情報を取得する機能を有する。
【００２７】
画像生成装置２００、情報処理装置１００及びユーザ端末３００は、例えば、インターネット等のネットワークを介して相互に情報をやり取りすることができる。なお、装置間の通信は、無線通信であってもよいし、有線通信であってもよい。
（画像生成装置のハードウェア構成）
【００２８】
図３は、画像生成装置２００のハードウェア構成を示す図である。なお、情報処理装置１００、ユーザ端末３００についても、図３に示されるハードウェア構成と同様のハードウェア構成を有する。画像生成装置２００は、図３に示されるように、コントローラユニット５００、操作ユニット５０９、及び表示装置５１０を有する。
【００２９】
コントローラユニット５００は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤＤ５０４、操作部Ｉ／Ｆ（インターフェース）５０５、表示部Ｉ／Ｆ５０６、通信部Ｉ／Ｆ５０７を有する。また、これらは、システムバス５０８を介して、相互に接続される。
【００３０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を起動する。ＣＰＵ５０１は、その起動したＯＳ上で、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）５０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ５０１は、アプリケーションプログラムを実行することによって、各種処理を実現する。ＨＤＤ５０４は、上述のように、アプリケーションプログラム等を格納する。なお、ＣＰＵ５０１の作業領域として、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３が用いられる。また、ＣＰＵ５０１は、１つのプロセッサで構成されても、複数のプロセッサで構成されてもよい。
【００３１】
操作部Ｉ／Ｆ５０５は、操作ユニット５０９とのインターフェースである。操作部Ｉ／Ｆ５０５は、操作ユニット５０９においてユーザにより入力された情報をＣＰＵ５０１に送出する。操作ユニット５０９は、例えば、マウス、キーボード等を有する。表示部Ｉ／Ｆ５０６は、表示装置５１０に表示する画像データを表示装置５１０に出力する。表示装置５１０は、液晶ディスプレイ等のディスプレイを有する。
【００３２】
通信部Ｉ／Ｆ５０７は、例えば、イーサネット（登録商標）等の通信を行うためのインターフェースである。通信部Ｉ／Ｆ５０７は、伝送ケーブルに接続され、その伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信部Ｉ／Ｆ５０７は、無線通信を行うための回路やアンテナであってもよい。また、コントローラユニット５００は、ケーブルやネットワークを介して接続された外部の表示装置（不図示）に画像を表示させる表示制御を行うことも可能である。この場合、コントローラユニット５００は、表示データを外部の表示装置に出力することで表示制御を実現する。
【００３３】
以上、図３を用いて画像生成装置２００のハードウェア構成について説明したが、図３に示される構成は、いずれも必須の構成ではない。例えば、画像生成装置２００において、表示装置５１０は必須の構成ではない。また、上述の説明では、コントローラユニット５００がＣＰＵ５０１を有するものとして説明したが、必ずしもこれに限定されない。例えば、コントローラユニット５００は、ＣＰＵ５０１の代わりに、又は、ＣＰＵ５０１に加えて、ＡＳＩＣやＦＰＧＡ等のハードウェアを有していてもよい。この場合、ＡＳＩＣやＦＰＧＡ等のハードウェアが、ＣＰＵ５０１が行うべき処理の一部又は全てを行ってもよい。なお、ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略であり、ＦＰＧＡはＦｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略である。
（情報処理装置の機能構成）
【００３４】
図４は、情報処理装置１００の機能構成を示すブロック図である。なお、図４に示す各機能は、例えば、図３のＣＰＵ５０１がＲＯＭ５０２に記憶された各種プログラムを読み出して各部の制御を実行することにより実現される。また、図４に示す構成の一部又はすべてを例えば、ＡＳＩＣやＦＰＧＡ等の専用のハードウェアにより実現してもよい。
【００３５】
情報処理装置１００は、図４に示されるように、制御部１０１、記憶部１０２、分離部１０３、ユーザ情報取得部１０４、注視点決定部１０５、動線決定部１０６、画像取得部１０７及び画像出力部１０８を有する。また、これらは、内部バス１０９によって相互に接続され、制御部１０１による制御の下、相互にデータを送受信することができる。
【００３６】
制御部１０１は、記憶部１０２に格納されているコンピュータプログラムに従って、情報処理装置１００全体の動作を制御する。記憶部１０２は、不揮発性メモリで構成され、各種データやプログラム（例えば、情報処理装置１００全体の動作を制御するコンピュータプログラム等）を記憶する。
【００３７】
分離部１０３は、画像生成装置２００から取得した仮想視点画像群と注視点データを分離して出力する。ユーザ情報取得部１０４は、ユーザ１０に関する位置情報を含むユーザ端末情報をユーザ端末３００から取得する。なお、ユーザ情報取得部１０４は、ユーザ端末３００がＧＰＳで取得した位置情報を、ユーザ１０に関する位置情報としてユーザ端末３００から取得してもよい。また、ユーザ情報取得部１０４は、例えば、スタジアム１２の観客席１４の客席番号等の位置を示す情報をユーザ端末３００から取得し、その取得した情報に基づいてユーザ１０の位置を特定してもよい。
【００３８】
注視点決定部１０５は、画像生成装置２００から取得した注視点データから１つの注視点を決定する。注視点決定部１０５は、例えば、ゴールを決めた選手、反則を犯した選手等を選択し、注視点として決定する。また、注視点決定部１０５は、ユーザ端末３００から入力される操作情報（例えば、ユーザによる注視点の選択操作に応じた情報、ユーザによる仮想視点の指定操作に応じた情報等）に基づいて、注視点を決定してもよい。
【００３９】
動線決定部１０６は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する。なお、以下、本実施形態において、動線決定部１０６は、動線上を移動する各仮想視点の位置として三次元座標上の位置を決定するものとして説明する。但し、その他の実施形態においては、動線決定部１０６は、動線上を移動する各仮想視点の位置として二次元座標上の位置を決定するものとしてもよい。また、この場合、動線決定部１０６は、仮想視点画像に係る仮想視点の位置の高さを、ユーザ情報取得部１０４が取得した位置情報を用いることなく、任意の値又は固定値として決定してもよい。
【００４０】
動線決定部１０６は、ユーザ情報取得部１０４によりユーザ端末３００からユーザ端末情報が取得された場合、注視点決定部１０５で決定した注視点と、ユーザ端末情報に含まれる位置情報に基づいて、仮想視点の動線を決定する。また、動線決定部１０６は、動線上を移動する各仮想視点の視線方向を、注視点決定部１０５で決定した注視点に向けられるように決定する。
【００４１】
画像取得部１０７は、動線決定部１０６において決定された仮想視点の動線、及び動線上を移動する各仮想視点の視線方向に対応する仮想視点画像を取得する。なお、画像取得部１０７は、画像生成装置２００から受信した情報に基づいて、レンダリングにより仮想視点画像を生成する機能を有していてもよい。画像出力部１０８は、画像取得部１０７により取得された仮想視点画像を、ユーザ端末３００に出力する。
（画像生成装置の機能構成）
【００４２】
図５は、画像生成装置２００の機能構成を示すブロック図である。画像生成装置２００は、図５に示されるように、制御部２０１、情報記憶部２０２、撮影画像入力部２０３、画像記憶部２０４、仮想視点画像生成部２０５、注視点データ生成部２０６、画像解析部２０７、データ出力部２０８を有する。また、これらは、内部バス２０９によって相互に接続され、制御部２０１による制御の下、相互にデータを送受信することができる。
【００４３】
制御部２０１は、情報記憶部２０２に格納されているコンピュータプログラムに従って、画像生成装置２００全体の動作を制御する。情報記憶部２０２は、不揮発性メモリで構成され、プログラム（例えば、画像生成装置２００全体の動作を制御するコンピュータプログラム等）や各種データ等の情報を記憶する。
【００４４】
撮影画像入力部２０３は、スタジアム１２に設置された複数のカメラ１８により撮影された画像を所定のフレームレートで取得し、画像記憶部２０４に出力する。なお、撮影画像入力部２０３は、有線若しくは無線の通信モジュール、又はＳＤＩ等の画像伝送モジュールにより撮影画像を取得する。
【００４５】
画像記憶部２０４は、例えば、磁気ディスク、光ディスク、半導体メモリ等の大容量の記憶装置であり、撮影画像入力部２０３より取得した撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群を記憶する。なお、画像記憶部２０４は、画像生成装置２００に対して物理的に外部に設けてもよい。また、画像記憶部２０４に記憶されている撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群は、画像フォーマットとして例えば、ＭＸＦ形式（Ｍａｔｅｒｉａｌ  ｅＸｃｈａｎｇｅ  Ｆｏｒｍａｔ）等で記憶される。加えて、画像記憶部２０４に記憶されている撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群は、例えば、ＭＰＥＧ２形式等で圧縮される。但し、データの形式は、必ずしもこれらに限定されない。
【００４６】
仮想視点画像生成部２０５は、画像記憶部２０４に記憶される複数の撮影画像から仮想視点画像群を生成する。仮想視点画像群を生成する方式として、例えば、イメージベースレンダリングを用いる方式等が挙げられる。イメージベースレンダリングは、モデリング工程（即ち、幾何学図形を用いて物体の形状を作成する工程）を実施しないで、複数の実際の視点から撮影された画像から仮想視点画像を生成するレンダリング方法である。
【００４７】
なお、仮想視点画像群を生成する方法は、イメージベースレンダリングに限られず、モデルベースレンダリング（ＭＯＤＥＬ−ＢＡＳＥＤ  ＲＥＮＤＥＲＩＮＧ：ＭＢＲ）を用いてもよい。ここで、ＭＢＲとは、被写体を複数の方向から撮影することで取得される複数の撮影画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成するレンダリング方法である。具体的には、ＭＢＲは、視体積交差法、ＭＵＬＴＩ−ＶＩＥＷ−ＳＴＥＲＥＯ（ＭＶＳ）等の三次元形状復元方法により取得される対象シーンの三次元形状（モデル）を用いて、仮想視点からのその対象シーンの見えを画像として生成するレンダリング方法である。
【００４８】
仮想視点画像生成部２０５は、生成した仮想視点画像群に含まれる各仮想視点画像に、その仮想視点画像に対応する仮想視点（仮想視点の位置）、視線の方向、及び注視点データ生成部２０６により生成される注視点を示すデータ（注視点データ）を付与する。仮想視点画像生成部２０５は、例えば、仮想視点、視線の方向、及び注視点を示すデータを含むメタデータを注視点データとして仮想視点画像（又は、仮想視点画像群）に付与する。
【００４９】
なお、生成される仮想視点画像群は様々な仮想視点、視線の方向、及び注視点の仮想視点画像を含んでおり、本実施形態において、そのような仮想視点画像群は１つの画像ストリームとして空間方向及び時間方向に圧縮符号化されているものとする。但し、その他の実施形態においては、仮想視点画像群は、１つの画像ストリームではなく、各々が独立した複数の画像から構成されてもよい。或いは、仮想視点画像群は、圧縮符号化されていなくてもよい。
【００５０】
また、画像生成装置２００は、仮想視点画像群に代えて、例えば、三次元モデルを示す情報、その三次元モデルにマッピングするための画像等の仮想視点画像を生成するための情報を生成してもよい。即ち、仮想視点画像生成部２０５は、レンダリングされた仮想視点画像を生成することに代えて、情報処理装置１００又はユーザ端末３００において仮想視点画像をレンダリングするために必要な情報を生成してもよい。
【００５１】
注視点データ生成部２０６は、画像解析部２０７により取得される１又は複数のオブジェクトの位置情報、及び／又は、所定の固定位置の位置情報を用いて注視点データを生成し、その生成した注視点データを仮想視点画像生成部２０５に出力する。ここで、図６を用いて、注視点データについて説明を補足する。
【００５２】
図６は、注視点データの構成を示すデータ構造図である。注視点データは、図６に示されるように、例えば、注視点ＩＤ、位置情報、及び半径で構成される。なお、注視点データは、注視点の位置を特定可能な情報であればよく、必ずしも図６に示される構成（内容）に限定されない。
【００５３】
注視点ＩＤは、例えば、アルファベット、数字等で構成され、すべての注視点に割り振られる識別番号である。位置情報は、注視点の中心座標の緯度及び経度を、Ｄｅｇｒｅｅ形式を用いて示したものである。半径は、注視点の中心座標からの距離であり、仮想視点画像を生成するときに有効な範囲を示したものである。なお、以下、この中心座標と半径で規定される有効な範囲を示す円状の領域を注視点ユニットと称する。
【００５４】
なお、本実施形態において注視点とは、仮想視点画像に映すべき点のことであり、典型的には、ユーザにより選択される点である。また、注視点は、特定の選手やボールやゴール等のオブジェクトに対応しうる。また、注視点は、サッカーコートのコーナーやペナルティキックのペナルティマーク等も対応しうる。さらに、注視点データには、上述の実カメラ注視点の情報が含まれてもよい。図６の半径の情報は、注視点が実カメラ注視点である場合に有効な情報である。つまり、半径の情報は必須ではない。
【００５５】
その他、ある１つの実カメラ注視点に向けられた複数のカメラ１８による撮影画像を用いて仮想視点画像を生成する場合、生成対象がその実カメラ注視点に対応する注視点ユニットに含まれる領域の仮想視点画像であれば、より高画質に生成することができる。また、注視点データは、画像解析部２０７による撮影画像の解析により取得されるものに限定されず、画像生成装置２００、情報処理装置１００に事前に登録されていてもよい。
【００５６】
図５に戻り、画像解析部２０７は、撮影画像入力部２０３に入力された撮影画像を解析し、注視点の位置情報を取得する。画像解析部２０７は、例えば、ビジュアルハル等の技術を用いて、特定のオブジェクトの位置又は所定の固定位置の位置情報を注視点の位置情報として取得する。特定のオブジェクトとは、特定の選手や審判等の人物、又はボール等である。また、注視点は、フィールド中央、ゴール前、ペナルティマーク等のフィールド１６上の所定の固定位置であってもよい。その他、複数のカメラ１８の光軸を共通の位置に向けるようにカメラ１８を設置した場合、注視点はその共通の位置であってもよい。データ出力部２０８は、仮想視点画像生成部２０５において生成された仮想視点画像群を情報処理装置１００に所定のフレームレートで出力する。
（動線決定処理）
【００５７】
図７は、動線決定部１０６における処理の手順を示すフローチャートである。より詳細には、図７は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する処理の手順を示すフローチャートである。なお、このフローチャートの処理は、情報処理装置１００がユーザ端末３００から仮想視点画像の再生要求を受け付けると実行される。また、以下において、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。
【００５８】
Ｓ７０１において、動線決定部１０６は、注視点決定部１０５により決定された注視点を取得する。また、動線決定部１０６は、ユーザ情報取得部１０４を介して、ユーザ端末情報を取得する。
【００５９】
Ｓ７０２において、動線決定部１０６は、注視点決定部１０５により決定された注視点と、ユーザ端末情報に含まれるユーザ端末３００の位置情報に基づいて、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線を決定する。ここで、図８を用いて、仮想視点の動線について説明を補足する。
【００６０】
図８は、動線決定部１０６により決定された仮想視点の動線を示す模式図である。図８において、符号８０１は注視点であり、例えば、ゴールを決めた選手である。また、図８において、動線決定部１０６は、ユーザ１０の位置から注視点８０１の位置に向けて直線的に結んだ線を動線として決定している。なお、ユーザ１０の位置及び注視点の位置は三次元座標で示されることから、動線決定部１０６は、水平垂直方向の経路だけでなく、図示していない高さ方向の経路も含めた動線を決定する。
【００６１】
次に、その他の例について、図９を用いて説明を補足する。図９は、動線決定部１０６により決定された仮想視点の動線を示す模式図である。図９において、符号９０１は、注視点８０１を中心に、仮想視点を旋回させる上での始点であり、注視点８０１から所定の距離だけ離間した位置にある。また、符号９０２は、仮想視点を始点９０１から１８０度旋回させたときの終点である。動線決定部１０６は、仮想視点が始点９０１に到達すると、ユーザ１０から注視点８０１に向けて直線的に結ばれた動線から、注視点８０１を中心に旋回させる動線に切り替え、その旋回の終点９０２まで旋回させるように動線を決定する。
【００６２】
なお、図９では、仮想視点の動線としてユーザ１０から注視点８０１に向けた直線的な動線を用いて説明したが、仮想視点の動線は、必ずしもこれに限定されず、例えば、波線等、直線以外の線でもよい。また、仮想視点を旋回させるときの円の半径は、注視点８０１の周辺の状況に応じて変動させてもよい。例えば、注視点８０１の周辺にいる選手の密集度によって、円の半径を変動させてもよい。この場合、具体的には、注視点８０１の周辺にいる選手の密集度が高い場合、円の半径を短くし、注視点８０１に動線を近づけるようにする。
【００６３】
加えて、仮想視点を旋回させるときの形状は必ずしも円に限定されず、楕円や多角形等の他の形状であってもよい。また、仮想視点を旋回させる方向に関して必ずしも水平方向に限定されず、注視点８０１を中心とした球体の全方位に旋回可能なようにしてもよい。例えば、注視点８０１として選択された選手がオーバーヘッドキックでゴールを決めた場合、その選手の頭上で仮想視点を旋回させたり、その選手の正面側を旋回させたりするようにしてもよい。その他、仮想視点を旋回させるときの回転角度は１８０度に限定されず、任意の角度で旋回させることができる。
【００６４】
図７に戻り、Ｓ７０３において、動線決定部１０６は、Ｓ７０２において決定された動線上を移動する仮想視点の視線方向を決定する。ここで、図１０を用いて、仮想視点の視線方向について説明を補足する。
【００６５】
図１０は、動線決定部１０６により決定された仮想視点の視線方向を示す模式図である。図１０において、符号１００１から符号１００７は仮想視点であり、動線の始点から終点に向けて動線上を仮想視点が移動している。動線決定部１０６は、動線上を移動する仮想視点の視線方向が注視点８０１に向けられるように、各仮想視点の視線方向を決定する。即ち、符号１００１から符号１００７までのすべての仮想視点の視線方向は、注視点８０１に向けられる。
【００６６】
以上、説明したように、本実施形態によれば、ユーザの位置と注視点の位置に基づいて仮想視点の動線、及び動線上を移動する各仮想視点の視線方向を決定し、動線及び視線方向に基づいた仮想視点画像を生成することができる。そのため、ユーザは、仮想視点画像を視聴するための開始操作を行うだけで、ユーザ端末から注視点まで仮想視点を移動させた仮想視点画像を視聴することができる。また、ユーザは、仮想視点の動線を、注視点を中心に旋回させる動線に切り替えることができるので、より好適な仮想視点画像を視聴することができる。
（その他の実施形態）
【００６７】
上述の実施形態では、ユーザ端末３００から仮想視点画像の再生要求を受け付けると、図７に示されるフローチャートの処理が実行（開始）されるものとして説明したが、図７に示されるフローチャートの処理の実行は必ずしもこれに限定されない。したがって、例えば、動線決定部１０６は、情報処理装置１００の受信部（不図示）を介して、シュート、反則等のイベントが発生したときのイベントトリガー信号を受信する度に、図７に示されるフローチャートの処理を実行してもよい。
【００６８】
なお、この場合、情報処理装置１００は、その都度、決定された仮想視点の動線、及び動線上を移動する仮想視点の視線方向に基づいて仮想視点画像を生成し、ユーザ端末３００に送信する。ユーザ端末３００は、仮想視点画像を受信すると、表示を仮想視点画像の再生に切り替える。或いは、ユーザ端末３００は、仮想視点画像の再生を促す通知を画面に表示してもよい。このようにすることで、ユーザは、直近に発生したイベントに係る仮想視点画像を見逃すことなく、視聴することができる。また、上述の実施形態では、サッカーの試合を撮影する場合を例示したが、撮影対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。
【００６９】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７０】
１００  情報処理装置
２００  画像生成装置
１０４  ユーザ情報取得部
１０６  動線決定部
【図１】
2020042407.tif 000003
【図２】
2020042407.tif 000004
【図３】
2020042407.tif 000005
【図４】
2020042407.tif 000006
【図５】
2020042407.tif 000007
【図６】
2020042407.tif 000008
【図７】
2020042407.tif 000009
【図８】
2020042407.tif 000010
【図９】
2020042407.tif 000011
【図１０】
2020042407.tif 000012