(57)【要約】【課題】  複数アングルの同じシーンの映像を、簡単に得るための仕組みを提供する。【解決手段】  定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理装置であって、前記仮想視点映像を生成するための情報を取得する取得手段と、前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段とを備えることを特徴とする情報処理装置。【選択図】図９
2020021104.tif 000002
【特許請求の範囲】
【請求項１】
定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理装置であって、
前記仮想視点映像を生成するための情報を取得する取得手段と、
前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、
前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記生成手段は、それぞれ視点の角度が異なる同じ被写体を含んだ前記第１の仮想視点の仮想視点映像と前記第２の仮想視点の仮想視点映像とを、生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の仮想視点と前記第２の仮想視点とのうち、いずれか一方を変更する指示を受付ける受付手段を更に備え、
前記設定手段は、前記受付手段で変更を受付けた一方の仮想視点に対応させて、もう一方の仮想視点を変更することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記受付手段は、仮想視点の位置または画角のうち少なくともいずれか一つを変更する指示を受付ける可能に設けられていることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記設定手段で設定される仮想視点は、所定の被写体に対応して定められる所定の基準に基づいて定められ、
前記生成手段で生成される前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とには、前記被写体が含まれることを特徴とする請求項１乃至４のうちいずれか１項に記載の情報処理装置。
【請求項６】
前記設定手段は、前記第１の仮想視点と前記第２の仮想視点とが、前記所定の基準と該同じ距離になるよう仮想視点を設定することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記設定手段は、前記第１の仮想視点と前記第２の仮想視点とが、前記所定の基準と交差する軸を中心とした同心円の周囲近傍となるように仮想視点を設定することを特徴とする請求項５または６に記載の情報処理装置。
【請求項８】
前記生成手段は、前記所定の基準と交差する軸をとした同心円の中心と前記第１の仮想視点とを結んだ線と、当該中心と前記第２の仮想視点とを結んだ線との角度が所定の範囲の角度であった場合には、左右反転させた前記第１の仮想視点の仮想視点映像と、左右反転させた前記第２の仮想視点映像とのうち、少なくともいずれか１つの仮想視点映像を生成することを特徴とする請求項５乃至７のうちいずれか１項に記載の情報処理装置。
【請求項９】
前記生成手段で生成される、左右反転させた仮想視点映像は、左右反転させていない仮想視点映像に切り替えて表示が可能であることを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記生成手段で生成される映像は、互いに異なる方向から被写体を撮像する複数の撮像装置により撮像された複数の映像に基づく仮想視点映像であることを特徴とする請求項１乃至９のうちいずれか１項に記載の情報処理装置。
【請求項１１】
定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理装置における制御方法であって、
前記情報処理装置の取得手段が、前記仮想視点映像を生成するための情報を取得する取得工程と、
前記情報処理装置の設定手段が、前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定工程と、
前記情報処理装置の生成手段が、前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成工程とを含むことを特徴とする制御方法。
【請求項１２】
定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理装置で読み取り実行が可能なプログラムであって、
前記情報処理装置を
前記仮想視点映像を生成するための情報を取得する取得手段と、
前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、
前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段として機能させることを特徴とするプログラム。
【請求項１３】
定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理のシステムであって、
前記仮想視点映像を生成するための情報を取得する取得手段と、
前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、
前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段とを備えることを特徴とする情報処理のシステム。
【請求項１４】
定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理のシステムにおける制御方法であって、
前記情報処理のシステムの取得手段が、前記仮想視点映像を生成するための情報を取得する取得工程と、
前記情報処理のシステムの設定手段が、前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定工程と、
前記情報処理のシステムの生成手段が、前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成工程とを含むことを特徴とする制御方法。
【請求項１５】
定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理のシステムで読み取り実行が可能なプログラムであって、
前記情報処理のシステムを
前記仮想視点映像を生成するための情報を取得する取得手段と、
前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、
前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理のシステム、およびそれらの制御方法、プログラムに関する。
【背景技術】
【０００２】
昨今、仮想視点映像（あるいは自由視点映像）と呼ばれる複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、任意の視点（仮想視点、自由視点、カメラアングル）の映像を生成する技術が注目されている。そして、この技術により、ユーザは、例えば、サッカーやラグビー等のハイライトシーンを様々な角度から視聴することができる。しかしながら、仮想視点は任意に設定できるゆえに、同じ被写体を適切な複数の仮想視点の映像を見ようとすると、映像の数だけ都度適切な仮想視点を設定しなければならなくなり、その分操作者の負担が大きくなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−３６９５５号公報
【特許文献２】特開２０１８−３６９５６号公報
【特許文献３】ＷＯ２００４／００６５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１や２には、仮想視点の操作時におけるの、第１の視点に基づいて、第２の視点を決定する方法が示されている。そして、この方法を用いれば、視点の設定は一か所で済むため、操作者の視点設定の負担が軽減できる。しかし、これら方法は、被写体の取り逃がしを低減することを目的としており、一つの被写体を「アップでとらえた映像」と、その映像から被写体がフレームアウトした場合のための「似たような角度からとらえた引きの画像」しか得ることができない。つまり、同じ被写体のシーンを、同じくらいのサイズ感で、角度を変えて見比べる映像を得ることができない点に課題が残る。
【０００５】
特許文献３には、同一の被写体を別の角度から見たい場合に、基準となる映像データから、関連性の高い映像を自動的に選出し、それらの複数の映像を統合的に扱うことが可能な仕組みが示されている。つまり、同じ被写体のシーンを、角度を変えて見比べる映像を得ることができる。
【０００６】
しかしながらこの方法は、単に一つの定点カメラに対応する他の定点カメラの中を抽出して表示しているに過ぎない。したがって、仮想視点映像における一つの仮想視点に基づいて、別の適切な仮想視点を決定することはできない。さらに、「同じくらいのサイズ感の映像」が得られるかどうかは、選出される映像を撮影するカメラのハード性能や、撮影条件、被写体の位置等様々な条件に依存してしまう。つまり、ユーザの希望する視点の映像が得られるかどうかが、様々な条件に左右されやすい仕組みであると言える。
【０００７】
本発明は、複数アングルの同じシーンの映像を、簡単に得るための仕組みを提供する。
【課題を解決するための手段】
【０００８】
本発明は、定められる視点に基づいて生成される映像である仮想視点映像を生成する情報処理装置であって、前記仮想視点映像を生成するための情報を取得する取得手段と、前記仮想視点映像の仮想視点であって、第１の仮想視点の指定を受付けるとともに、当該第１の仮想視点に対応する第２の仮想視点を設定する設定手段と、前記設定手段で設定された前記第１の仮想視点の仮想視点映像と、前記第２の仮想視点の仮想視点映像とを生成する生成手段とを備えることを特徴とする。
【発明の効果】
【０００９】
このように設けることで、複数アングルの同じシーンの映像を、簡単に得るための仕組みを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明のシステム構成の一例を示した構成図である。
【図２】本発明のハードウエアの構成の一例を示した構成図である。
【図３】情報処理装置１１０で生成する映像の仮想視点を決定するための条件を受付けるための受付画面の一例を示した構成図である。
【図４】表示映像の開始点の指定を受付けるための画面の一例を示した構成図である。
【図５】仮想視点表示画面４０１を介してユーザから仮想視点の変更指示を受付ける一連の流れの一例を示した構成図である。
【図６】仮想視点表示画面４０１を介してユーザから仮想視点の変更指示を受付ける一連の流れの一例を示した構成図である。
【図７】図６（ｇ）のケースにおける、表示映像の開始点の指定を受付けるための画面の一例を示した構成図である。
【図８】図６（ｇ）のケースにおける、表示映像の終了点の指定を受付けるための画面の一例を示した構成図である。
【図９】図６（ｇ）のケースにおける、表示映像の終了点の指定を受付けるための画面の一例を示した構成図である。
【図１０】図９の変形例の一例を示した構成図である。
【図１１】仮想視点を始点と終点が時間変化に応じて、どのように変化するかを管理するためのデータテーブルの一例と、それを説明するための説明図を示した構成図である。
【図１２】本発明のフローの一例を示した構成図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１２】
図１は、本発明のシステム構成の一例を示した構成図である。
【００１３】
情報処理装置１１０は、仮想視点コンテンツを生成するための情報処理を行う装置である。本発明の実施例では、複数のカメラ（撮影装置１２０）を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する情報処理装置１１０について説明する。
【００１４】
また、このシステムは、「トラッキング機能」を有しており、トラッキングする対象となる被写体を任意に指定して映像を生成することができる。例えば、サッカーボールをトラッキングするよう指定した場合、これを主被写体としたサッカーボールが含まれるような、映像を、連続的に生成することができる。
【００１５】
撮影装置１２０は、情報処理装置１１０で仮想視点コンテンツを生成するための映像を撮影するための装置である。撮影装置１２０は、異なる位置に複数され、多視点で同期撮影しできるよう、設けられている。
【００１６】
表示端末１３０は、情報処理装置１１０で生成された仮想視点コンテンツを受信して、表示可能な端末で、例えば、パーソナルコンピュータ、各種モニタ、ヘッドマウントディスプレイ、タブレット端末など、コンテンツの表示できる様々な情報処理端末が含まれる。
【００１７】
本実施例のハードウエアは、情報処理装置１１０、撮影装置１２０、表示端末１３０は、１または複数設置されている。各ハードウエアの台数は、発明の実施に必要なだけの台数を準備できるものとする。また、各ハードウエアの役割の一部または全部は、他のハードウエアが兼ねる構成であっても構わない。
【００１８】
通信ネットワーク１４０は、本発明の実施にあたって必要となるハードウエア同士（情報処理装置１１０、撮影装置１２０、表示端末１３０など）を、通信可能に接続するネットワークである。
【００１９】
また、通信ネットワーク１４０の通信方法は、既存の様々な技術を用いることができる。さらに、有線であっても無線であってもよく、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であってもＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であってもよい。
【００２０】
図２は、本発明のハードウエアの構成の一例を示した構成図である。本発明におけるハードウエアは、情報処理装置１１０、撮影装置１２０、表示端末１３０である。
【００２１】
２０１はＣＰＵで、ＲＯＭ２０２のプログラム用ＲＯＭや外部メモリ２１１に記憶されたプログラムをＲＡＭ２０３にロードして実行することによりシステムバス２０４に接続された各デバイスを制御する。また、このＲＯＭ２０２のフォント用ＲＯＭにはフォントデータ等を記憶し、ＲＯＭ２０２のデータ用ＲＯＭには各種データを記憶する。２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。２０２はキーボードコントローラ（入力コントローラ）で、２０９や図示しないポインティングデバイス、例えばタッチパッドからの入力を制御する。
【００２２】
入力コントローラ２０５は入力デバイス２０９を制御する。なお入力デバイス２０９には、タッチパネルも含まれ、その場合は、入力デバイス２０９が表示部２１０（映像を表示する表示画面を映すための表示装置）を兼ねているケースもある。２０６はビデオカード（ＶＣ）で、表示部２１０の表示を制御する。
【００２３】
２０７はメモリコントローラで、外部メモリ２１１（ハードディスク等）とのアクセスを制御する。２０８はネットワークインターフェースカード（ＮＩＣ）で、通信ネットワーク１４０上の通信を制御する。
【００２４】
撮像ユニットコントローラ２２０は、撮影装置１２０に備えられたユニットで、撮像ユニット２２１を制御するコントローラである。
【００２５】
撮像ユニット２２１は、撮影装置１２０に備えられたユニットで、映像を撮影するためのユニットである。ユニットの構成は、特段限定されず、様々な利用形態がとれるものとするが、テレビカメラ、ネットワークカメラ、監視カメラといった撮影機器が有する映像撮影用のユニットであることが望ましい。
【００２６】
図３は、情報処理装置１１０で生成する映像の仮想視点を決定するための条件を受付けるための受付画面の一例を示した構成図である。
【００２７】
トラッキング選択メニュー３０１は、トラッキングする主被写体の指定を受付けるオブジェクトである。具体的なトラッキングの方法は、既存の様々な方法を用いることができる。また、主被写体の選択も様々な方法が利用できる。例えば、予め登録された被写体をプルダウンメニューで選択するような形式や、映像内のどの被写体をトラッキングするかをユーザから受付けるような形式等が考えられる。
【００２８】
図４は、表示映像の開始点の指定を受付けるための画面の一例を示した構成図である。
【００２９】
仮想視点表示画面４０１は、ユーザから仮想視点映像の仮想視点の指定を受付けるための領域である。ここでは、トラッキング対象はサッカーボールである。そして、図４では、ボールを中心とした半径２ｍの距離に、プレーヤの進行方向（右方向）を正面として、正面と右側面の２か所に、フィールドからの高さ１．５ｍ、高さ画角９０°の仮想視点が設定されている。図４では、サッカーボールの座標と、それぞれの仮想視点とを結んだ線から構成される角度は、一例としてデフォルト値で９０°としてる。そして、このように、同じ被写体を異なる角度（上記は一例として２つの９０度をデフォルト値にしているが、変更可能）で捉えた複数の自由視点映像を得られる点が、本実施例の特徴の一つである。これは、「複数アングルの同じシーンの映像を、簡単に得るための仕組み」を実現する上で、役に立つ。操作の詳細については、図５、図６にて後述する。
【００３０】
映像表示画面４０２は、仮想視点表示画面４０１で受付けた仮想視点に基づいて構成された仮想視点映像を、表示する画面である。図４では、仮想視点が２つなので、２つの映像表示画面４０２が並べて表示されている。しかし、仮想視点の数に対応して、より多くの表示画面を備えていたり、１つの画面をタブ等で切り替えられるよう設けられていたりしてもよい（不図示）。
【００３１】
始点終点設定タイムライン４０３は、ユーザから仮想視点の表示映像の開始点あるいは終了点の指定を受付けるためのスライドバーである。図４では、タイムライン表示の一例としてバーの時間表示がキックオフを０：００としたサッカーの試合経過時間が表示されている。つまり、この図４の場合、試合開始から１２：３５が経過していることになる。
【００３２】
図５及び図６は、仮想視点表示画面４０１を介してユーザから仮想視点の変更指示を受付ける一連の流れの一例を示した構成図である。
【００３３】
図５（ａ）は、図４の仮想視点表示画面である。本実施例では一例としてサッカースタジアムの仮想視点映像を生成する装置を想定しており、ゴールは左右方向にあるものとする。
【００３４】
図５（ａ）の上半分は、フィールドを上から見下ろした様子を示した図であり、下半分は、フィールドを横手前方向から見た様子を示した図である。
【００３５】
主被写体５０１は、トラッキング選択メニュー３０１で指定されたトラッキング対象を示すオブジェクトで、本実施例では一例としてサッカーボールが指定されている。
【００３６】
プレーヤオブジェクト５０２は、ボールを持ったプレーヤを示すオブジェクトである。
【００３７】
仮想視点オブジェクト５０３は、仮想視点の位置を示したオブジェクトである。
【００３８】
仮想視点オブジェクト５０３には様々な補助表示が示されている。図５（ａ）の場合、主被写体５０１から２ｍ離れた距離にあり、１．５ｍ高い位置にあること、画角は９０°であること、主被写体５０１と２つの仮想視点オブジェクト５０３それぞれとを結んだ線の角度が９０°であること等が表示されている。
このように、図５（ａ）では、第１の仮想視点（５０３ａ）と前記第２の仮想視点（５０３ｂ）とが、トラッキング対象（所定の基準）とフィールド面とに交差する軸を中心とした同心円の周囲近傍（半径２ｍ）に設定されている。
【００３９】
図５（ｂ）は、ユーザから仮想視点オブジェクト５０３ａの高さの変更指示を受付ける様子の一例を示した構成図である。本実施例では、タッチパネル操作によって様々な指示を受付ける想定で構成図を示しているが、マウスのドラッグや、キーボード操作など、指示の受付は様々な形態があってよい。
【００４０】
図５（ｂ）では、ユーザのスライド操作に基づいて、仮想視点オブジェクト５０３ａの高さを、１．５ｍから１．３ｍに変更する旨の指示を受付ける様子を示している。そして、これに伴い、仮想視点オブジェクト５０３ｂの高さも、連動して同じ高さに変更されている様子を示している。
【００４１】
図５（ｃ）は、ユーザのスライド操作に基づいて、主被写体５０１と仮想視点オブジェクト５０３ａとの距離を、２．０ｍから２．５ｍに変更する旨の指示を受付ける様子を示している。そして、これに伴い、主被写体５０１と仮想視点オブジェクト５０３ｂとの距離も、連動して同じ距離に変更されている様子を示している。
【００４２】
図５（ｄ）は、ユーザのスライド操作に基づいて、仮想視点オブジェクト５０３ａの角度を、主被写体５０１を中心として反時計方向に４５°変更する旨の指示を受付ける様子を示している。そして、これに伴い、仮想視点オブジェクト５０３ｂの角度も連動して、主被写体５０１を中心に同じ角度だけ変更されている様子を示している。
【００４３】
図６（ｅ）は、ユーザのピンチ操作に基づいて、仮想視点オブジェクト５０３ａの画角を、９０°から６０°に変更する旨の指示を受付ける様子を示している。そして、これに伴い、仮想視点オブジェクト５０３ｂの高さも、連動して同じ高さに変更されている。様子を示している。
【００４４】
図６（ｆ）及び図６（ｇ）は、ユーザのタッチ操作とスライド操作とに基づいて、主被写体５０１を基準とした仮想視点オブジェクト５０３ａと仮想視点オブジェクト５０３ｂととから成る角度を変更する旨の指示を受付ける様子を示している。具体的には、一方の仮想視点オブジェクト５０３をタッチしつつ、もう一方の仮想視点オブジェクト５０３を、時計回りあるいは反時計回りにスライドしている。例えば、図６（ｆ）では、仮想視点オブジェクト５０３ａをタッチしつつ、仮想視点オブジェクト５０３ｂを、反時計回りにスライドし、角度を９０°から６０°に変更している。また、図６（ｇ）では、仮想視点オブジェクト５０３ｂをタッチしつつ、仮想視点オブジェクト５０３ａを、反時計回りにスライドし、角度を９０°から１８０°に変更している。
【００４５】
画像反転ゾーン６０１は、図６（ｆ）や図６（ｇ）のような、仮想視点オブジェクト５０３の角度を変更する際に補助表示されるオブジェクトである。そして、このエリア内に仮想視点オブジェクト５０３が移動した場合、映像表示画面４０２に表示される仮想視点映像は、左右方向を反転させた映像を表示する処理を行う。
このように、トラッキング対象を基準とする軸の同心円状に配置された、２つの仮想視点と、中心とを結んだ線の角度が、所定の範囲の角度であった場合には、少なくともいずれか１つの左右を反転させた仮想視点映像を生成するよう設けている。この機能は、被写体（トラッキング対象）を挟むような２つの視点の映像を並べてみるときに有効である。したがって、「所定の角度」は、被写体（トラッキング対象）を挟むような２つの視点の角度の範囲で設定することが望ましい。つまり、画像反転ゾーン６０１は、その「所定の範囲の角度」がどこにあるのかを識別可能に表示するオブジェクトなのである。そして、画像反転ゾーン６０１の設けられる「所定の角度」とは１８０°±４５°程度が好適な角度であると考えられる。しかし、画像反転ゾーン６０１は、発明の実施状況に合わせて任意に設定できればよい。
【００４６】
図７は、図６（ｇ）のケースにおける、表示映像の開始点の指定を受付けるための画面の一例を示した構成図である。図７は、始点終点設定タイムライン４０３を介して、ユーザから、仮想視点の表示映像の開始点を、１２：３５とする指示を受付けている様子の一例を示している。そして、映像表示画面４０２には、始点終点設定タイムライン４０３で受付けたの指定時間と、仮想視点表示画面４０１で受付けた仮想視点映像の仮想視点に対応する仮想視点の仮想視点映像が表示されている。
【００４７】
図７では、仮想視点オブジェクト５０３ａが、画像反転ゾーン６０１にあるため、これに対応して、映像表示画面４０２の左半分に、仮想視点オブジェクト５０３ａの仮想視点映像の左右反転映像が、表示されている。一方、映像表示画面４０２の右半分には、仮想視点オブジェクト５０３ｂの仮想視点映像が、左右反転されることなく表示されている。
【００４８】
このように設ける目的は、被写体を挟み込むような２つの視点で得られた映像を、比較して見やすくするためである。仮にこの仕組みがなかった場合、左半分には左方向に向かってボールを蹴りだすプレーヤの映像が表示されることになる。一方、右半分には右方向に向かってボールを蹴りだすプレーヤの映像が表示されることになる。このように、２つの映像のボールを蹴りだす方向が見かけ上逆向きになってしまうので、見比べにくくなってしまうのである。
【００４９】
以上のような、使いにくさを解消するために、上記の仕組みが設けられているため、画像反転ゾーン６０１の角度は、用途やユーザの見やすさに応じて適宜変更することができるよう設けられてることが望ましい（不図示）。
【００５０】
図８は、図６（ｇ）のケースにおける、表示映像の終了点の指定を受付けるための画面の一例を示した構成図である。図８は、始点終点設定タイムライン４０３を介して、ユーザから、仮想視点の表示映像の終了点を、１２：３８とする指示を受付けている様子の一例を示している。そして、映像表示画面４０２には、始点終点設定タイムライン４０３で受付けたの指定時間と、仮想視点表示画面４０１で受付けた仮想視点映像の仮想視点に対応する仮想視点の仮想視点映像が表示されている。
【００５１】
反転ボタン８０１は、映像表示画面４０２に表示されている映像が、左右反転していることを示すオブジェクトである。また、反転ボタン８０１は、ユーザの押下を受付けると、映像表示画面４０２に表示している仮想視点オブジェクト５０３の仮想視点映像の左右反転映像を、左右反転していない映像に切替える指示を受付けることもできる。つまり、図８で、ユーザから反転ボタン８０１の押下を受付けると、映像表示画面４０２の左半分に、左右反転されていない仮想視点オブジェクト５０３ａの仮想視点映像の映像が表示される。そして、右半分に、左右反転されていない仮想視点オブジェクト５０３ｂの仮想視点映像の映像が表示されることになる。
【００５２】
両転ボタン８０２は、映像表示画面４０２に表示されている映像の、左右反転している映像をしていない映像に切替える指示と、左右反転していない映像をしている映像に切り替える指示とを、一度に受付けるためのオブジェクトである。つまり、図８で、ユーザから両転ボタン８０２の押下を受付けると、映像表示画面４０２の左半分に、左右反転されていない仮想視点オブジェクト５０３ａの仮想視点の映像が表示されることになる。そして、右半分に、左右反転された仮想視点オブジェクト５０３ｂの仮想視点映像の映像が、表示されることになる。
【００５３】
仮想視点映像生成ボタン８０３は、上記のようなユーザから受付けた仮想視点映像生成の始点・終点、仮想視点やその軌道等の指示に基づいて、仮想視点映像を生成する指示を、ユーザから受付けるボタンである。
【００５４】
図９は、図６（ｇ）のケースにおける、表示映像の終了点の指定を受付けるための画面の一例を示した構成図である。図９は、図８の変形例の一例であり、仮想視点表示画面４０１を介して、仮想視点映像の開始点（始点）から終了点（終了点）タイムラインの遷移に従って、仮想視点を変化させる指示を、ユーザから受付ける様子の一例を示している。
【００５５】
まず、ユーザは仮想視点オブジェクト５０３ａをタッチする。次に、ユーザは仮想視点オブジェクト５０３ａを、仮想視点オブジェクト５０３ａ´の位置まで点線の円に沿って、スライドさせてタッチ解除する。
【００５６】
上記のような指示を受付けることで、以下のような映像を生成するための指示を受付ける。（１）第１の仮想視点の映像は、１２：３５を開始点、１２：３８を終了点とする。（２）トラッキング対象（サッカーボール）を中心として、反時計周りに９０°仮想視点が回転しながら遷移する。
この実施例に対応する、仮想視点映像の座標変化を示すデータテーブルの例については、図１１（ａ）に、仮想視点映像の座標変化を説明する図は図１１（ｂ）に、それぞれ示してる。
【００５７】
そして、上記の指定に対応する形で、第２の仮想視点映像についても、仮想視点映像の開始点（始点）から終了点（終了点）タイムラインの遷移に従って、どのように変化させるかが設定されることになる。具体的には、図９の場合、第２の仮想視点映像は、第１の仮想視点映像に対してトラッキング対象を軸として対照的に、反時計周りに９０°仮想視点が回転しながら遷移する映像を生成する設定がなされたことになる。（詳細な仮想視点の座標の変化は図１１（ａ）を参照）
なお、図９では、フィールドの面に対して鉛直方向（高さ方向）は、変更する指示は、ユーザから受付けていない。しかし、図１０に示あるように、仮想視点表示画面４０１を介して、図５（ｂ）のようなスライド操作をユーザから受付けることによって、終点側の仮想視点の高さ（フィールド鉛直方向の距離）をを変化させる指示を受け継画可能である。同様に、図５（ｃ）のようなスライド操作をユーザから受付けることによって、トラッキング対象との仮想視点の距離を変化させる指示を受付けることも可能である。また、図６（ｅ）のようなピンチ操作をユーザから受付けることによって、カメラの画角を変化させる指示を受付けることも可能である。
【００５８】
仮想視点移動表示オブジェクト９０１は、始点から終点まで仮想視点がどのように変化するかを、仮想視点表示画面４０１に識別可能紙示したオブジェクトである。矢印の元が始点の位置、先端が終点の位置、線が軌道をそれぞれ示しており、四角内の数字は、遷移の時間を示している。つまり、図９の場合は、３秒かかることが示されている。
【００５９】
図１０は、図９の変形例の一例を示した構成図である。図１０は、図９で述べたような、終点の仮想視点映像の、高さ、トラッキング対象との距離、画角、回転方向の角度等を、組み合わせて変化させる指示を受付けたケースの一例を示した構成図である。
【００６０】
図９と同様に、第１または第２の仮想視点のうち、いずれか一方の仮想視点を変化させる指示を受付けることによって、もう一方仮想視点も指示を受付けた側の仮想視点に対応する形で、仮想視点が変化するよう設定される。そして、本実施例ではトラッキング対象を中心とした点対称あるいは線対称の対応例を挙げたが、対応の基準は、本発明の実施形態に応じて様々に設定できるものとして、必ずしもトラッキング対象だけである必要はない。
例えば、フィールド面に対して垂直方向の視点のブレを抑制するために、ＸＹ軸は（フィールド面に対しての縦横方向）は、トラッキング対象を仮想視点を変化させるための基準とし、高さ方向は所定の高さに固定する、といった方法も考えられる。また、サッカーボールをププレーヤが所定の時間保持している場合には、トラッキング対象をボールではなく、ボールをキープしているプレーヤに切り替え、そのプレーヤを仮想視点を変化させる基準とする、といった方法も、考えられる。
【００６１】
図１１は、仮想視点を始点と終点が時間変化に応じて、どのように変化するかを管理するためのデータテーブルの一例と、それを説明するための説明図を示した構成図である。
【００６２】
図１１（ａ）は、仮想視点を始点と終点が時間変化に応じて、どのように変化するかを管理するためのデータテーブルの一例である。図１１（ａ）は、図９において、第１の仮想視点映像の仮想視点を始点と終点とで変化させる指示を受付けたことに対応して、どのように視点を変化させるか示したデータテーブルの一例を示している。図９において、第１の仮想視点は、キックオフから１２分３５秒を始点、キックオフから１２分３８秒を終点としている。そして、始点の座標は、トラッキング対象を原点として、図９の上方向を「Ｙ方向」、右方向を「Ｘ方向」鉛直方向を「Ｚ方向」とした場合、Ｘ方向に０．００ｍ，Ｙ方向に２。００ｍ、フィールドから１．５ｍ（Ｚ方向）である。そして、これを起点に反時計回りに仮想視点が変化し、終点の座標は、トラッキング対象を原点として、Ｘ方向に−２．００ｍ，Ｙ方向に０．００ｍ、フィールドから１．５ｍ（Ｚ方向）である。
【００６３】
したがって、例えば、第１の仮想視点の始点の座標は、Ｘ＝２ｍ×ＣＯＳ９０°＝０，Ｙ＝２ｍ×ＳＩＮ９０°＝２ｍである。そして、第１の仮想視点の始点と終点との中間地点（１２分３６秒５０におけるＸＹ座標）の座標は、Ｘ＝２ｍ×ＣＯＳ１３５°≒１．４１ｍ，Ｙ＝２ｍ×ＳＩＮ１３５°≒−１．４１ｍ，となる。そして、終点の第１の仮想視点の座標は、Ｘ＝２ｍ×ＣＯＳ９０°＝０，Ｙ＝２ｍ×ＳＩＮ９０°＝２ｍとなる。
【００６４】
同様に、第２の仮想視点の始点の座標は、Ｘ＝２ｍ×ＣＯＳ２７０°＝０，Ｙ＝２ｍ×ＳＩＮ２７０°＝−２ｍである。そして、第１の仮想視点の始点と終点との中間地点（１２分３６秒５０におけるＸＹ座標）の座標は、Ｘ＝２ｍ×ＣＯＳ３１５°≒１．４１ｍ，Ｙ＝２ｍ×ＳＩＮ３１５°≒−１．４１ｍ，となる。そして、終点の第１の仮想視点の座標は、Ｘ＝２ｍ×ＣＯＳ０°＝２ｍ，Ｙ＝２ｍ×ＳＩＮ０°＝０ｍとなる。
【００６５】
なお、上記の仮想視点映像の座標は、トラッキング対象のＸＹ座標を、中心とした相対的な座標である。トラッキング対象自体はフィールド内で移動するため、仮想視点画像の絶対的な座標は、トラッキング対象の絶対的な座標の移動に対応して変化するものである。
【００６６】
以上、予め取得した仮想視点画像の元となる情報に基づいて仮想視点映像（仮想視点映像）を生成するやり方が第１の実施例である。そして、変形例として、仮想視点画像の元となる情報が、リアルタイムに送信されてくるケースも想定できる。そしてこのようなケースの場合は、リアルタイムに、複数の仮想視点のうち１の仮想視点の切換えをユーザから受付け、その指示に基づいて他の１または複数の仮想視点の切換えを行ない、それらの視点に基づいた仮想視点映像を生成することになる。
【００６７】
図１２は、本発明のフローの一例を示した構成図である。本時実施例のフローの説明においては、具体的には、ＣＰＵ２０１が外部メモリに記憶された制御プログラムをＲＡＭ２０３にロードして実行することにより行われるものである。しかし、簡易な表現とすべく情報処理装置１１０、撮影装置１２０、表示端末１３０を主体として説明する。
【００６８】
また、ユーザからの指示の受付の方法は、ここまでの説明では、主にタッチパネルを想定して例を挙げてきたが、特に限定されるものではなく、既存の様々な方法を用いることができるものとする。具体的には、例えば、入力デバイス２０９（ＫＢ／ボタン／タッチパネル等）や表示部２１０を介して受けつける方法が含まれる。
【００６９】
ステップＳ１２０１では、撮影装置１２０は、仮想視点映像を生成するための映像情報を取得する。具体的には、例えば、各カメラの撮像ユニット２２１を用いて映像を撮影する。
【００７０】
ステップＳ１２０２では、撮影装置１２０は、ステップＳ１２０１で取得した映像情報を情報処理装置１１０に送信する。
【００７１】
ステップＳ１２０３では、撮影装置１２０は、フローを終了するか否かの判定を行う。そして、フローを終了すると判定した場合には、本フローを終了する。一方、撮影装置１２０は、フフローを終了すると判定しなかった場合には、ステップＳ１２０１に遷移する。
【００７２】
なお、フローを終了するか否かの判定をどのように行うかは、特段限定しないが、例えば、ユーザから終了指示を受付けたか否か、処理フローにエラーが出たか否か等、適切にフローを処理するために必要な様々なケースが想定される。（不図示）これは、後述のステップＳ１２１１やステップＳ１２１４も同様である。
【００７３】
ステップＳ１２０４では、情報処理装置１１０は、ステップＳ１２０２で撮影装置１２０から送信された仮想視点映像を生成するための映像情報を受信する。
【００７４】
ステップＳ１２０５では、情報処理装置１１０は、図３の画面を介してトラッキング対象の指定を受付ける。
【００７５】
ステップＳ１２０６では、情報処理装置１１０は、図４や図７の画面を介して、仮想視点映像の始点の設定指示をユーザから受付ける。具体的には、仮想視点映像の始まるタイミングや、開始時の仮想視点などである。
【００７６】
ステップＳ１２０７では、情報処理装置１１０は、図８乃至図１０の画面を介して、仮想視点映像の終点の設定指示と、仮想視点映像の生成指示とをユーザから受付ける。具体的には、仮想視点映像の終了のタイミングや、開始から終了に至る仮想視点の軌道の受付、などである。
【００７７】
また、リアルタイムに配信される映像情報に基づいて連続的に仮想視点映像を生成する場合には、ステップＳ１２０６とステップＳ１２０７とは一つにまとめることもできる。その場合には、仮想視点映像の開始や終了のタイミングの指定受付は省かれ、仮想視点の変更指示を、仮想視点映像を生成（ステップＳ１２０９）しつつ連続的に受付けることになる。
【００７８】
ステップＳ１２０８では、情報処理装置１１０は、ステップＳ１２０７で仮想視点映像を生成する指示を、受付けたか否かの判定を行う。そして、情報処理装置１１０は、仮想視点映像を生成する指示を、受付けたと判定した場合には、ステップＳ１２０９に遷移する。一方、情報処理装置１１０は、仮想視点映像を生成する指示を、受付けたと判定しなかった場合には、ステップＳ１２０４に遷移する。
【００７９】
このステップの判定は、具体的には、例えば、仮想視点映像生成ボタン８０３の押下を受けつけたか否かの判定である。また、リアルタイムに配信される映像情報に基づいて連続的に仮想視点映像を生成する場合には、このステップは省かれる。
【００８０】
ステップＳ１２０９では、情報処理装置１１０は、ステップＳ１２０４で受信した映像情報と、ステップＳ１２０５乃至ステップＳ１１２０７で受付けた条件に基づいて、仮想視点映像を生成する。生成される映像は、図８乃至図１０にて説明があったように、所定の条件下おいては、複数の仮想視点映像のうち、少なくとも一つ以上の左右反転映像が含まれる。また、好ましくは、表示端末１３０側においても、左右反転映像とそうでない映像とが切り替え可能な仮想視点映像であることが望ましい。
【００８１】
ステップＳ１２１０では、情報処理装置１１０は、ステップＳ１２０９で生成した仮想視点映像を、表示端末１３０に送信する。
【００８２】
ステップＳ１２１１では、情報処理装置１１０は、フローを終了するか否かの判定を行う。そして、フローを終了すると判定した場合には、情報処理装置１１０は、本フローを終了する。一方、フローを終了すると判定しなかった場合には、情報処理装置１１０は、ステップＳ１２０４に遷移する。
【００８３】
ステップＳ１２１２では、表示端末１３０は、ステップＳ１２１０で情報処理装置１１０から送信された仮想視点映像を、受信する。
【００８４】
ステップＳ１２１３では、表示端末１３０は、ステップＳ１２１２にて受信した由視点映像を、表示する。また、左右反転映像が含まれる場合には、左右反転映像の切換え指示も受け付ける。受付け方は例えば、図８のような反転ボタン８０１や両転ボタン８０２のようなオブジェクトを介する方法が考えられるが、冒頭に説明したように、利用形態に合わせた様々な指示受付方法があってよい。
【００８５】
ステップＳ１２１４では、表示端末１３０は、フローを終了するか否かの判定を行う。そして、表示端末１３０は、フローを終了すると判定した場合には、本フローを終了する。一方、表示端末１３０は、フローを終了すると判定しなかった場合には、ステップＳ１２１２に遷移する。
【００８６】
以上説明したように、本発明は、複数アングルの同じシーンの映像を、簡単に得るための仕組みを提供することができる。
【００８７】
また、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００８８】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【００８９】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【００９０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９２】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００９３】
１１０      情報処理装置
１２０      撮影装置
１３０      表示端末
１４０      通信ネットワーク
２０１      ＣＰＵ
２０２      ＲＯＭ
２０３      ＲＡＭ
２０４      システムバス
２０５      入力コントローラ
２０６      ビデオコントローラ
２０７      メモリコントローラ
２０８      通信Ｉ／Ｆコントローラ
２０９      入力デバイス（ＫＢ／ボタン／タッチパネルなど）
２１０      表示端末（表示部）
２１１      外部メモリ
２２０      撮像ユニットコントローラ
２２１      撮像ユニット
３０１      トラッキング選択メニュー映像表示画面
４０１      仮想視点表示画面
４０２      映像表示画面
４０３      始点終点設定タイムライン
５０１        主被写体
５０２      プレーヤオブジェクト
５０３      仮想視点オブジェクト
６０１      画像反転ゾーン
８０１      反転ボタン
８０２      両転ボタン
８０３      仮想視点映像生成ボタン
９０１      仮想視点移動表示オブジェクト
【図１】
2020021104.tif 000003
【図２】
2020021104.tif 000004
【図３】
2020021104.tif 000005
【図４】
2020021104.tif 000006
【図５】
2020021104.tif 000007
【図６】
2020021104.tif 000008
【図７】
2020021104.tif 000009
【図８】
2020021104.tif 000010
【図９】
2020021104.tif 000011
【図１０】
2020021104.tif 000012
【図１１】
2020021104.tif 000013
【図１２】
2020021104.tif 000014