(57)【要約】【課題】仮想視点画像に係る仮想視点をより容易に制御できるようにする。【解決手段】仮想視点画像に係る仮想視点の制御に用いられる入力装置の移動量と第１の仮想視点の移動量との関係を示す移動パラメータを決定し、入力装置の移動に応じて、決定された移動パラメータと入力装置の移動量とに基づいて第１の仮想視点を移動させる。【選択図】図５
2020140383.tif 000002
【特許請求の範囲】
【請求項１】
仮想視点画像に係る仮想視点の制御に用いられる入力装置の移動量と第１の仮想視点の移動量との関係を示す移動パラメータを決定する第１の決定手段と、
前記入力装置の移動に応じて、前記第１の決定手段により決定された前記移動パラメータと前記入力装置の移動量とに基づいて決まる移動量で前記第１の仮想視点を移動させる移動制御手段と、
を有する情報処理装置。
【請求項２】
前記第１の仮想視点に基づく仮想視点画像を第１の表示部に表示する第１の表示制御手段を更に有する請求項１に記載の情報処理装置。
【請求項３】
前記第１の決定手段により決定された前記移動パラメータに基づいて、第２の仮想視点に基づく仮想視点画像をどの程度拡大して表示させるかを示す表示パラメータを決定する第２の決定手段を更に有する請求項１又は２に記載の情報処理装置。
【請求項４】
前記第２の決定手段は、前記第１の決定手段により決定された前記移動パラメータと、前記第２の仮想視点の位置と、に基づいて、前記表示パラメータを決定する請求項３に記載の情報処理装置。
【請求項５】
前記第２の決定手段は、前記第１の決定手段により決定された前記移動パラメータと、前記第２の仮想視点に対応する焦点距離と、に基づいて、前記表示パラメータを決定する請求項３に記載の情報処理装置。
【請求項６】
前記第２の決定手段により決定された前記表示パラメータに基づいて、前記第２の仮想視点に基づく仮想視点画像を第２の表示部に表示する第２の表示制御手段を更に有する請求項３乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記第２の表示部の位置及び姿勢に基づいて、前記第２の仮想視点の位置及び姿勢を決定する第３の決定手段を更に有し、
前記第２の決定手段は、前記第１の決定手段により決定された前記移動パラメータに基づいて、前記第３の決定手段により位置及び姿勢が決定された前記第２の仮想視点に基づく仮想視点画像をどの程度拡大して表示させるかを示す前記表示パラメータを決定する請求項３乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記第１の決定手段は、前記入力装置を介した入力に基づいて、前記移動パラメータを決定する請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記第１の決定手段は、仮想視点が取り得る範囲、仮想視点画像の生成に用いられる画像を撮影する物理カメラの物理カメラの位置姿勢、前記物理カメラの焦点距離のうちの少なくとも１つ以上に基づいて、前記移動パラメータを決定する請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項１０】
前記第１の決定手段は、仮想視点が取り得る範囲、仮想視点画像の生成に用いられる画像を撮影する物理カメラの位置姿勢、前記物理カメラの焦点距離の何れか一つ以上に基づいて、前記移動パラメータの上限と下限とのうちの少なくとも１つを決定し、前記少なくとも１つに基づいて、前記移動パラメータを決定する請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
情報処理装置が実行する情報処理方法であって、
仮想視点画像に係る仮想視点の制御に用いられる入力装置の移動量と仮想視点の移動量との関係を示す移動パラメータを決定する決定ステップと、
前記入力装置の移動に応じて、前記決定ステップで決定された前記移動パラメータと前記入力装置の移動量とに基づいて前記仮想視点を移動させる移動制御ステップと、
を含む情報処理方法。
【請求項１２】
コンピュータを、請求項１乃至１０の何れか１項に記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、撮影された画像を用いて、カメラ設置位置からの画像だけでなく任意の視点からの仮想視点画像を生成する技術がある。
複数視点から撮影された画像に基づく仮想視点画像の生成及び閲覧において、複数のカメラが撮影した画像は、サーバ等の画像処理部に集約される。そして、画像処理部は、仮想視点に基づくレンダリング等の処理を施し、ユーザ端末に仮想視点画像を表示する。
上記のように仮想視点画像を用いたサービスでは、例えば、コンテンツ制作者は、サッカーやバスケットボールの試合を撮影した画像から迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにもなり、従来の撮影画像と比較してユーザに高臨場感を与えることができる。
映像制作者は、試合のシーンにおける選手やボールの動き等に応じて、そのシーンを迫力ある映像として見せるのに最適な仮想視点の位置や姿勢を指定する。仮想視点を制御する手法の１つとして、所定の装置の位置と姿勢とを検知し、その位置と姿勢とを用いて仮想視点の位置や姿勢を制御する手法がある。このような手法により、コンテンツ制作者は、所定の装置を仮想視点に対応する仮想カメラとみなし、その装置の位置や姿勢を変えることで仮想視点の位置や姿勢を制御することができる。また、特許文献１には、表示装置の位置や姿勢に応じて、表示装置に表示される仮想視点画像を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２５２４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想視点の制御に用いられる入力装置の移動により仮想視点を移動させる場合に、仮想視点を所望の距離移動させることが困難な状況が考えられる。例えば、広さの限られた部屋などの実空間においてユーザが入力装置を移動させ、その移動量と同じだけ仮想空間において仮想視点が移動する場合には、仮想視点を長い距離移動させることができない。
本発明は、上記課題に鑑みてなされたものであり、仮想視点画像に係る仮想視点をより容易に制御できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、仮想視点画像に係る仮想視点の制御に用いられる入力装置の移動量と第１の仮想視点の移動量との関係を示す移動パラメータを決定する第１の決定手段と、前記入力装置の移動に応じて、前記第１の決定手段により決定された前記移動パラメータと前記入力装置の移動量とに基づいて決まる移動量で前記第１の仮想視点を移動させる移動制御手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、仮想視点画像に係る仮想視点をより容易に制御することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理システムのシステム構成等の一例を示す図である。
【図２】入力コントローラ等の一例を説明する図である。
【図３】情報処理装置の機能構成等の一例を示す図である。
【図４】実空間の座標系と画像内の座標系との一例を説明する図である。
【図５】情報処理装置の処理の一例を示すフローチャートである。
【図６】情報処理装置の処理の一例を示すフローチャートである。
【図７】移動倍率の変更の際の状況の一例を説明する図である。
【図８】ＧＵＩの一例を示す図である。
【図９】各種デバイスの使用状況の一例を示す図である。
【図１０】表示される画像の一例等を示す図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の実施の形態の例を、図面に基づいて詳細に説明する。
【０００９】
＜実施形態１＞
図１（ａ）は、画像処理システム１０のシステム構成の一例を示す図である。
画像処理システム１０は、仮想視点画像を生成するシステムである。画像処理システム１０は、撮影システム１０１、生成サーバ装置１０２、情報処理装置１０３、入力コントローラ２０１、表示装置２０２、表示装置２０３を含む。
撮影システム１０１は、複数のカメラを用いて、同期して複数の画像を撮影し、撮影した画像を生成サーバ装置１０２に送信するシステムである。撮影システム１０１は、それぞれ異なる位置に配置される複数のカメラ、複数のカメラを制御する制御装置を含む。制御装置は、複数のカメラを制御して、多視点からの複数の画像を同期して撮影する。そして、制御装置は、複数のカメラを用いて同期して撮影した複数の画像を、生成サーバ装置１０２に送信する。
【００１０】
生成サーバ装置１０２は、撮影システム１０１から送信された複数の画像を元に、仮想視点から見た仮想視点画像を生成するサーバ装置等の情報処理装置である。仮想視点とは、仮想的な視点である。本実施形態では、仮想視点に配置される仮想的なカメラである仮想カメラを想定する。仮想カメラは、撮影空間内を自由に移動できる。画像処理システム１０は、仮想カメラを介して、撮影システム１０１が有するどのカメラとも異なる視点から見た画像、つまり仮想視点画像を撮影することができる。仮想カメラによる撮影とは、生成サーバ装置１０２による仮想カメラから見える仮想視点画像の生成のことである。仮想カメラの視点（仮想視点）は、情報処理装置１０３が決定するカメラパラメータによって特定される。
生成サーバ装置１０２は、撮影システム１０１から順次送信される同期して撮影された複数の画像の組に基づいて、順次、仮想視点画像を生成する。生成サーバ装置１０２は、ライブ画像として、仮想視点画像を生成することができる。以下では、ライブ画像として生成される仮想視点画像を、ライブ仮想視点画像とする。なお、画像処理システム１０が生成するライブ仮想視点画像は、処理時点の時刻に対して撮影システム１０１及び生成サーバ装置１０２での処理遅延を考慮した時刻における仮想視点画像である。
【００１１】
更に、生成サーバ装置１０２は、撮影システム１０１から受信した同期して撮影された複数の画像の組を記録するデータベースを、生成サーバ装置１０２の記憶部に記憶する。そして、生成サーバ装置１０２は、記録した複数の画像の組から、過去の仮想視点画像を生成することができる。以下では、過去の時点における仮想視点画像を、リプレイ仮想視点画像とする。即ち、リプレイ仮想視点画像は、過去の任意の時刻において撮影システム１０１が撮影した撮影画像に基づく仮想視点画像である。
なお、特に断りがない限り、以降の説明において画像という文言は、動画と静止画との両方の概念を含むものとする。即ち、画像処理システム１０は、静止画及び動画の何れに対しても処理を実行できる。
【００１２】
情報処理装置１０３は、仮想カメラを制御し、仮想カメラの撮影条件を示すカメラパラメータを決定する。カメラパラメータには、仮想カメラの位置、姿勢、ズームを示すパラメータが含まれる。また、カメラパラメータには、撮影時刻を示すパラメータが含まれることとしてもよい。
本実施形態では、カメラパラメータで示される仮想カメラの位置は、３次元座標で表されるとする。より具体的には、カメラパラメータで示される仮想カメラの位置は、ｘ軸、ｙ軸、ｚ軸の３軸の直交座標系の座標により表される。この場合、カメラパラメータにより指定される位置は、座標で表され、ｘ軸、ｙ軸、ｚ軸の３軸のパラメータで表される。なお、この座標系の原点は、撮影空間内に設定された任意の位置とする。
【００１３】
本実施形態では、カメラパラメータで示される仮想カメラの姿勢は、パン、チルト、ロールの３軸に対する角度により表される。この場合、カメラパラメータで示される仮想カメラの姿勢は、パン、チルト、ロールそれぞれの回転方向における３つのパラメータ（角度）で表される。
本実施形態では、カメラパラメータにより指定される仮想カメラのズームは、例えば、焦点距離により表される。ズームと撮影時刻とは、それぞれ１軸のパラメータである。よって、仮想カメラのカメラパラメータは少なくとも８軸のパラメータ（位置３軸、姿勢３軸、ズーム１軸、撮影時刻１軸）を有する。情報処理装置１０３は、これらの８軸のパラメータを制御できる。
本実施形態では、カメラパラメータは、これらの８軸のパラメータを含むこととする。ただし、他の例として、カメラパラメータは、この８軸以外のパラメータを含んでもよい。また、カメラパラメータは、この８軸のパラメータのうちの一部のみを含むこととしてもよい。
【００１４】
情報処理装置１０３は、仮想カメラのカメラパラメータを決定し、決定したカメラパラメータを生成サーバ装置１０２へ送信する情報処理装置である。本実施形態では、情報処理装置１０３は、パーソナルコンピュータ（ＰＣ）とする。ただし、他の例として、情報処理装置１０３は、サーバ装置、タブレット装置、入力コントローラ２０１に組み込まれたコンピュータ等の他の情報処理装置であってもよい。生成サーバ装置１０２は、情報処理装置１０３から受信したカメラパラメータを元に、仮想視点画像を生成し、生成した仮想視点画像を情報処理装置１０３へ送信する。次に、情報処理装置１０３は、受信した仮想視点画像を表示部に表示するよう制御する。
本実施形態では、生成サーバ装置１０２は、１台の情報処理装置であり、ライブ仮想視点画像とリプレイ仮想視点画像との双方を生成するとする。ただし、他の例として、生成サーバ装置１０２は、２台の情報処理装置で構成され、それぞれの情報処理装置がライブ仮想視点画像とリプレイ仮想視点画像とを別個に生成することとしてもよい。
【００１５】
図１（ｂ）は、情報処理装置１０３のハードウェア構成の一例を示す図である。
情報処理装置１０３は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）１１１、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）１１２、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）１１３、通信部１１４、入出力Ｉ／Ｆ１１５を含む。各要素は、システムバスを介して相互に通信可能に接続されている。
ＣＰＵ１１１は、情報処理装置１０３の全体を制御する中央演算装置である。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラム、計算の途中結果、通信部１１４を介して外部から供給されるデータ等を一時的に記憶する記憶装置である。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを記憶する記憶装置である。
【００１６】
通信部１１４は、ＥｔｈｅｒｎｅｔやＵＳＢ等の通信手段を有し、生成サーバ装置１０２等の外部の装置との通信を行う。入出力Ｉ／Ｆ１１５は、図１（ｃ）、図２等で後述する入力コントローラ２０１、表示装置２０２、表示装置２０３等の外部のデバイスとの間での、有線又は無線を介した情報の入出力に用いられるインターフェースである。
ＣＰＵ１１１が、ＲＯＭ１１３等に記憶されたプログラムにしたがって処理を実行することで、図３で後述する情報処理装置１０３の機能、図５、６、１０（ｂ）で後述するフローチャートの処理等が実現される。
【００１７】
本実施形態では、撮影システム１０１の制御装置、生成サーバ装置１０２それぞれのハードウェア構成は、図１（ｂ）に示される情報処理装置１０３のハードウェア構成と同様であるとする。
撮影システム１０１の制御装置のＣＰＵが、この制御装置のＲＯＭ等に記憶されたプログラムにしたがって処理を実行することで、この制御装置の機能、この制御装置の処理が実現される。
生成サーバ装置１０２のＣＰＵが、生成サーバ装置１０２のＲＯＭ等に記憶されたプログラムにしたがって処理を実行することで、生成サーバ装置１０２の機能、生成サーバ装置１０２の処理が実現される。
【００１８】
図１（ｃ）は、入力コントローラ２０１のハードウェア構成の一例を示す図である。入力コントローラ２０１は、仮想視点の制御に用いられる入力装置であり、仮想カメラのカメラパラメータを変化させるための操作を受け付ける。また、入力コントローラ２０１は、入力コントローラ２０１の実空間における位置や姿勢を検出する。
本実施形態で、ユーザは、入力コントローラ２０１を保持し、その位置姿勢を変化させることで、第一の仮想カメラの位置姿勢を変更できる。第一の仮想カメラは、入力コントローラ２０１により位置姿勢を制御される対象となる仮想カメラである。位置姿勢とは、位置及び姿勢を包括した概念を示す。即ち、情報処理装置１０３は、入力コントローラ２０１の位置姿勢の変化に応じて、第１の仮想カメラの位置姿勢を変更する。
本実施形態では、入力コントローラ２０１が検出する位置の単位はメートルとする。
【００１９】
入力コントローラ２０１は、拡大ボタン２０７、縮小ボタン２０８、位置姿勢センサ２１１を含む。拡大ボタン２０７、縮小ボタン２０８それぞれは、移動倍率の変更の指示に用いられるボタンである。移動倍率とは、入力コントローラ２０１の移動量に対して、第一の仮想カメラ（仮想視点）をどの程度の移動量、移動させるかを示すパラメータである。移動倍率は、入力コントローラ２０１の移動量と第１の仮想カメラ（仮想視点）の移動量との関係を示す移動パラメータの一例である。
入力コントローラ２０１は、拡大ボタン２０７、又は、縮小ボタン２０８の選択を検知すると、拡大ボタン２０７、又は、縮小ボタン２０８が選択されたことを示す情報を情報処理装置１０３に送信する。情報処理装置１０３は、入出力Ｉ／Ｆ１１５を介して、入力コントローラ２０１から送信された情報を受信する。情報処理装置１０３は、拡大ボタン２０７、又は、縮小ボタン２０８が選択されたことを示す情報の受信に応じて、移動倍率を変更する。
【００２０】
情報処理装置１０３は、移動倍率を変更することで、入力コントローラ２０１の位置の変化量に対する第一の仮想カメラの位置の変化量を制御することができる。このとき、第二の仮想カメラが映す仮想視点画像も、移動倍率の変更に応じて変化する。第二の仮想カメラは、第１の仮想カメラと異なる位置に配置された仮想カメラであり、第１の仮想カメラの位置姿勢の制御の補助のための仮想視点画像を撮影する。
入力コントローラ２０１は、位置姿勢センサ２１１を介して、実空間における入力コントローラ２０１の位置姿勢を検知し、検知した入力コントローラ２０１の位置姿勢の情報を情報処理装置１０３に送信する。
【００２１】
表示装置２０２は、入力コントローラ２０１に装着され、第一の仮想カメラにより撮影される仮想視点画像を表示する。表示装置２０２は、ディスプレイ、タッチパネル等である。ユーザは、表示装置２０２を見ることで、処理時点での時刻でユーザが撮影している仮想視点画像を確認することができる。
表示装置２０３は、第二の仮想カメラにより撮影される仮想視点画像を表示する。本実施形態では、表示装置２０３は、床に設置されたディスプレイ、床に設置されたスクリーンとそのスクリーンへ画像を投影する投影装置とを含む装置等である。本実施形態では、第二の仮想カメラは、撮影空間の上方から地表面を撮影できるような姿勢を取る。そのため、表示装置２０３には、撮影空間を上から見下ろした画像が表示される。ユーザは、表示装置２０３を見ることで、第一の仮想カメラ２０９が配置されている位置の周囲の状況を確認することができる。
【００２２】
図２（ａ）は、入力コントローラ２０１と表示装置２０２との外観の一例を示す図である。表示装置２０２が入力コントローラ２０１に装着されている様子が分かる。
図２（ｂ）は、表示装置２０３が画像を表示している状況の一例を示す図である。表示装置２０３が操作空間の床に埋め込まれて、配置されていることが分かる。
【００２３】
図２（ｃ）は、表示装置２０２に表示される第一の仮想カメラが撮影する仮想視点画像の一例を示す図である。画像２０４は、入力コントローラ２０１が図２（ｂ）に示す位置に存在する場合に、表示装置２０２に表示される画像である。
画像２０４は、図２（ｂ）に示す位置に存在する入力コントローラ２０１に対応する位置姿勢の第一の仮想カメラにより撮影される仮想視点画像である。画像２０５は、入力コントローラ２０１の位置が、位置２０６に移動した場合、に表示装置２０２に表示される画像である。画像２０４は、位置２０６に存在する入力コントローラ２０１に対応する位置姿勢の第一の仮想カメラにより撮影される仮想視点画像である。
【００２４】
図３は、情報処理装置１０３の機能構成等の一例を示す図である。
情報処理装置１０３は、仮想カメラ制御部３０１、移動倍率決定部３０２、表示更新部３０３、表示倍率決定部３０４を含む。
仮想カメラ制御部３０１は、入力コントローラ２０１から第一の仮想カメラの制御を行うための入力を取得すると、第一の仮想カメラのカメラパラメータを更新する。仮想カメラ制御部３０１は、入力コントローラ２０１から、入力コントローラ２０１の実空間における位置姿勢の情報を取得する。仮想カメラ制御部３０１は、入力コントローラ２０１の実空間における位置姿勢と移動倍率とに基づいて、第一の仮想カメラの映像空間における新たな位置姿勢を求める。仮想カメラ制御部３０１は、求めた位置姿勢を示すカメラパラメータを、通信部１１４を介して生成サーバ装置１０２へ送信する。
【００２５】
移動倍率決定部３０２は、入力コントローラ２０１から移動倍率の変更を指示する情報（拡大ボタン２０７、縮小ボタン２０８の選択の情報）を取得すると、移動倍率を変更する。仮想カメラ制御部３０１は、移動倍率に基づいて、第一の仮想カメラの位置を決定する。移動倍率が大きいほど、入力コントローラ２０１の移動量に対する、第一の仮想カメラの移動量は大きくなる。
表示更新部３０３は、通信部１１４を介して生成サーバ装置１０２から受信した仮想視点画像を表示装置２０２、表示装置２０３等に出力する。
【００２６】
表示倍率決定部３０４は、移動倍率の値に基づいて、表示装置２０３に表示される第二の仮想カメラにより撮影された仮想視点画像の拡大率を決定する。以下では、この拡大率を、表示倍率とする。本実施形態では、表示倍率は、仮想カメラのズーム値をピクセル単位の焦点距離で表したものである。
本実施形態では、表示倍率決定部３０４は、第二の仮想カメラの位置が変更されると、表示倍率を変更する。表示倍率は、第２の仮想カメラにより撮影された仮想視点画像をどの程度拡大して表示するかを示す表示パラメータの一例である。
【００２７】
図４を用いて、入力コントローラ２０１と表示装置２０３との位置関係を説明する。
本実施形態では、互いに直交するｘ軸４０２、ｙ軸４０３、ｚ軸４０４で構成され、原点を点４０１とする座標系が、実空間に設定されている。点４０１は、表示装置２０３の画面に接している点で、表示装置２０３の表示領域の中央に位置する。以下では、この座標系を、実空間座標系とする。入力コントローラ２０１の位置は、実空間座標系における座標値（ｘ軸の座標値、ｙ軸の座標値、ｚ軸の座標値の３つの値の組）で表される。入力コントローラ２０１は、実空間における入力コントローラ２０１の位置の情報として、この座標値の情報を情報処理装置１０３に送信する。
【００２８】
入力コントローラ２０１は、表示装置２０２の中心４０５が、点４０１と一致するとき、入力コントローラ２０１の位置の情報として、座標値（０、０、０）を返す。
また、本実施形態では、仮想カメラの撮影対象となる仮想的な空間を画像空間とする。そして、画像空間には、互いに直交する３軸で構成される座標系が設定されている。以下では、この座標系を、画像空間座標系とする。
本実施形態では、実空間座標系と画像空間座標系とは、両方とも右手系の座標系である。ただし、他の例として、実空間座標系と画像空間座標系とは、両方とも左手系の座標系であることとしてもよい。
軸４０６は、表示装置２０３が表示する画像のｘ軸である。軸４０７は、表示装置２０３が表示する画像のｙ軸とである。
【００２９】
図５は、情報処理装置１０３の処理の一例を示すフローチャートである。情報処理装置１０３は、図５の処理を定期的に実行する。
Ｓ５０１において、移動倍率決定部３０２は、入力コントローラ２０１から、移動倍率の変更の指示（拡大ボタン２０７又は縮小ボタン２０８の選択がされたことを示す情報）を受信したか否かを判定する。移動倍率決定部３０２は、移動倍率の変更の指示を受信したと判定した場合、処理をＳ５０２に進め、受信していないと判定した場合、処理をＳ５０４に進める。
【００３０】
Ｓ５０２において、移動倍率決定部３０２は、ＲＡＭ１１２に予め記憶された移動倍率を示す変数の値を更新することで、移動倍率を更新する。移動倍率の初期値は１．０とする。より具体的には、移動倍率決定部３０２は、Ｓ５０１で受信したと判定した指示が、移動倍率の拡大の指示である場合、移動倍率の値を、予め定められた値（例えば、０．５、１、５、１０等）だけ増加させる。また、移動倍率決定部３０２は、Ｓ５０１で受信したと判定した指示が、移動倍率の縮小の指示である場合、移動倍率の値を、予め定められた値（例えば、０．５、１、５、１０等）だけ減少させる。
また、移動倍率決定部３０２は、ＲＡＭ１１２に予め記憶された基準位置を示す変数の値を更新することで、基準位置を更新する。基準位置とは、画像空間座標系における第一の仮想カメラの位置の決定の基準となる位置である。本実施形態では、基準位置の初期値は、（０、０、０）である。本実施形態では、移動倍率決定部３０２は、以下の式１を用いて、更新後の基準位置を求める。
【００３１】
【数１】
2020140383.tif 000003
【００３２】
式１のβは、更新後の基準位置を示す。また、ｘi、ｙi、ｚiは、それぞれ画像空間座標系における第一の仮想カメラの位置を示す。また、αは、更新後の移動倍率を示す。また、ｘr、ｙr、ｚrは、それぞれ実空間座標系における入力コントローラ２０１の位置を示す。
移動倍率決定部３０２は、式１を用いて基準位置を更新することで、現在の入力コントローラ２０１の位置に対する現在の第一の仮想カメラの位置は変わらず維持することができる。そのため、移動倍率決定部３０２は、Ｓ５０５で後述する処理の際に、第一の仮想カメラの位置が意図せずに変化してしまう事態を防止できる。
【００３３】
Ｓ５０３において、表示倍率決定部３０４は、以下の式２を用いて、表示倍率を更新する。
ｆ＝ｗＴ／（Ｗα）          （式２）
式２のｆは、更新後の表示倍率を示す。また、αは、移動倍率を示す。また、ｗは、第二の仮想カメラが撮影する画像のピクセル単位の幅を示す。また、Ｔは、画像空間座標系における第二の仮想カメラの高さ（ｚ軸方向の位置）を示す。また、Ｗは、表示装置２０３の表示領域（画面）のメートル単位の幅を示す。本実施形態では、表示装置２０３の画面のアスペクト比と、第二の仮想カメラ２０９が撮影する画像のアスペクト比と、は等しい。表示倍率の初期値は、（ｗＴ）／Ｗである。
【００３４】
Ｓ５０４において、仮想カメラ制御部３０１は、入力コントローラ２０１から、位置姿勢センサ２１１を介して取得された入力コントローラ２０１の実空間座標系における位置姿勢を取得する。
Ｓ５０５において、仮想カメラ制御部３０１は、Ｓ５０４で取得した入力コントローラ２０１の位置姿勢に基づいて、第一の仮想カメラ２０９のカメラパラメータを求める。
【００３５】
ここで、図６（ａ）のフローチャートを用いて、Ｓ５０５の処理の詳細について説明する。
Ｓ６０１において、仮想カメラ制御部３０１は、入力コントローラ２０１の実空間座標系における位置に対して、移動倍率を掛ける。
Ｓ６０２において、仮想カメラ制御部３０１は、Ｓ６０１の処理の結果に、基準位置を加えた位置を、画像空間座標系における第一の仮想カメラの位置として求める。より具体的には、仮想カメラ制御部３０１は、以下の式３を用いて、画像空間座標系における第一の仮想カメラの位置を求める。
【００３６】
【数２】
2020140383.tif 000004
【００３７】
式３のβは、基準位置を示す。また、ｘｉ、ｙｉ、ｚｉは、それぞれ画像空間座標系における第一の仮想カメラの位置を示す。また、αは、移動倍率を示す。また、ｘｒ、ｙｒ、ｚｒは、それぞれ実空間座標系における入力コントローラ２０１の位置を示す。基準位置βは、ｘ軸、ｙ軸、ｚ軸それぞれにおける位置を示す３次元のベクトルである。βの各要素を、βｘ、βｙ、βｚとする。
【００３８】
Ｓ６０３において、仮想カメラ制御部３０１は、入力コントローラ２０１の姿勢を、第１の仮想カメラの姿勢として決定する。そして、仮想カメラ制御部３０１は、Ｓ６０１〜Ｓ６０２で求めた第一の仮想カメラの位置、第１の仮想カメラの姿勢、予め定められたズーム値を、第一の仮想カメラのカメラパラメータとして決定する。
本実施形態では、仮想カメラ制御部３０１は、予め定められた値を、第一の仮想カメラのズーム値とすることとした。ただし、他の例として、仮想カメラ制御部３０１は、ユーザにより入出力Ｉ／Ｆ１１５に接続された入力装置を介して指定された値を、第一の仮想カメラのズーム値とすることとした。入出力Ｉ／Ｆ１１５に接続された入力装置には、入力コントローラ２０１、マウス、キーボード等がある。
【００３９】
図５の説明に戻る。
Ｓ５０６において、仮想カメラ制御部３０１と表示倍率決定部３０４とは、第二の仮想カメラのカメラパラメータを求める。
ここで、図６（ｂ）のフローチャートを用いて、Ｓ５０６の処理の詳細を説明する。
【００４０】
Ｓ６１１において、表示倍率決定部３０４は、基準位置に基づいて第二の仮想カメラの位置を決定する。本実施形態では、表示倍率決定部３０４は、第二の仮想カメラの画像空間座標系における位置を、以下のように決定する。即ち、表示倍率決定部３０４は、第二の仮想カメラの画像空間座標系におけるｘ軸上の座標値、ｙ軸上の座標値を、それぞれ、βｘ、βｙに決定する。そして、表示倍率決定部３０４は、第二の仮想カメラの画像空間座標系におけるｚ軸上の座標値（Ｔ）を、予め定められた値に決定する。即ち、第二の仮想カメラの画像空間座標系における座標値は、（βｘ、βｙ、Ｔ）となる。
【００４１】
Ｓ６１２において、表示倍率決定部３０４は、表示倍率を取得する。
Ｓ６１３において、仮想カメラ制御部３０１は、Ｓ６１１で算出した第二の仮想カメラの位置、所定の姿勢、Ｓ６１２で取得した表示倍率を、第二の仮想カメラのカメラパラメータとして決定する。この所定の姿勢は、光軸がｚ軸の負の方向を向き、画像の下向きがｙ軸の負の方向を向く姿勢である。Ｓ６１２で取得した表示倍率は、第２の仮想カメラのズーム値として用いられる。
【００４２】
図５の説明に戻る。
Ｓ５０７において、仮想カメラ制御部３０１は、Ｓ５０５とＳ５０６とで求めた第一の仮想カメラのカメラパラメータと第二の仮想カメラのカメラパラメータとを、通信部１１４を介して生成サーバ装置１０２に送信する。このようにして、情報処理装置１０３は、入力コントローラ２０１の移動に応じた第一の仮想カメラ（仮想視点）の移動制御を行う。
生成サーバ装置１０２は、Ｓ５０７で送信されたカメラパラメータを受信すると、受信したカメラパラメータに対応する第一の仮想カメラ及び第２の仮想カメラにより撮影される仮想視点画像を生成し、生成した仮想視点画像を情報処理装置１０３に送信する。
【００４３】
ここで、図６（ｃ）を用いて、情報処理装置１０３が仮想視点画像を表示装置２０２と表示装置２０３とに表示する表示制御処理の詳細を説明する。情報処理装置１０３は、図６（ｃ）の処理を定期的に実行する。
Ｓ６２１において、表示更新部３０３は、生成サーバ装置１０２から通信部１１４を介して、第一の仮想カメラにより撮影された仮想視点画像を受信する。
Ｓ６２２において、表示更新部３０３は、生成サーバ装置１０２から通信部１１４を介して、第二の仮想カメラにより撮影された仮想視点画像を受信する。
【００４４】
Ｓ６２３において、表示更新部３０３は、Ｓ６２１で受信した第一の仮想カメラにより撮影された仮想視点画像を、表示装置２０２に送信することで、表示装置２０２にこの仮想視点画像を表示するよう制御する。
Ｓ６２４において、表示更新部３０３は、Ｓ６２２で受信した第二の仮想カメラにより撮影された仮想視点画像を、表示装置２０３に送信することで、表示装置２０３にこの仮想視点画像を表示するよう制御する。
【００４５】
図７を用いて、移動倍率が変更された際の状況の一例を説明する。
図７（ａ）の状況では、入力コントローラ２０１は、実空間座標系における（２．０、−１．０、０．５）に位置する。図７（ａ）の状況では、移動倍率は、２０．０であるとする。また、基準位置は、（０．０、０．０、０．０）であるとする。また、第二の仮想カメラの高さＴは、２０．０とする。また、第二の仮想カメラが撮影する画像の幅ｗは、１９２０とする。また、表示装置２０３の画面の幅Ｗは、６．４とする。
このとき、表示倍率は、式２より、（ｗＴ）／（Ｗα）＝（１９２０×２０．０）／（６．４×２０．０）＝３００．０である。
【００４６】
図７（ａ）の例では、仮想カメラ制御部３０１は、Ｓ５０５で、画像空間座標系における第一の仮想カメラの位置を（４０．０、−２０．０、１０．０）として、第一の仮想カメラのカメラパラメータを求める。そして、Ｓ５０７で、仮想カメラ制御部３０１は、Ｓ５０５で求めた第一の仮想カメラのカメラパラメータを生成サーバ装置１０２に送信する。
表示更新部３０３は、Ｓ６２１で、生成サーバ装置１０２により生成された第一の仮想カメラに対応する仮想視点画像を受信すると、Ｓ６２３で、この仮想視点画像を表示装置２０２に表示する。
【００４７】
図７（ａ）の例では、表示倍率決定部３０４は、Ｓ６１１で、画像空間座標系における第二の仮想カメラの位置を（０．０、０．０、２０．０）として求める。そして、仮想カメラ制御部３０１は、Ｓ６１３で、この位置と表示倍率３００．０とを用いて、第二の仮想カメラのカメラパラメータを求める。そして、仮想カメラ制御部３０１は、Ｓ５０７で、求めた第二の仮想カメラのカメラパラメータを生成サーバ装置１０２に送信する。
表示更新部３０３は、Ｓ６２２で、生成サーバ装置１０２により生成された第二の仮想カメラに対応する仮想視点画像を受信すると、Ｓ６２４で、この仮想視点画像を表示装置２０３に表示する。画像７０３は、表示装置２０３に表示された仮想視点画像である。
【００４８】
図７（ｂ）の状況は、入力コントローラ２０１が図７（ａ）の状況と同じ位置に存在する状態で、移動倍率が１０．０に変更された状況である。このとき、移動倍率決定部３０２は、Ｓ５０２で移動倍率を１０．０に変更するとともに、基準位置を以下の式４に従って更新する。
【００４９】
【数３】
2020140383.tif 000005
【００５０】
式４のβは、更新後の基準位置を示す。また、ｘｉ、ｙｉ、ｚｉは、それぞれ画像空間座標系における第一の仮想カメラの位置を示す。図７（ｂ）の例では、（ｘｉ、ｙｉ、ｚｉ）は、（４０．０、−２０．０、１０．０）である。また、αは、変更された移動倍率を示し、１０．０である。また、ｘｒ、ｙｒ、ｚｒは、実空間座標系における入力コントローラ２０１の位置を示し、（２．０、−１．０、０．５）である。
画像空間座標系における第一の仮想カメラの位置である（２．０、−１．０、０．５）に対して移動倍率である１０．０を掛け、基準位置（２０．０、−１０．０、５．０）を加えることで、（４０．０、−２０．０、１０．０）となる。これは、移動倍率が変更されても、第１の仮想カメラの位置が変わらないことを示している。そのため、移動倍率が変更される前に表示装置２０２に表示される画像と移動倍率が変更された後に表示装置２０２に表示される画像とは、同じ画像である。
【００５１】
表示倍率決定部３０４は、更新された移動倍率に基づいて、表示倍率を更新する。表示倍率は、式２より、（ｗＴ）／（Ｗα）＝（１９２０×２０．０）／（６．４×１０．０）＝６００．０であると求められる。
表示倍率決定部３０４は、Ｓ６１１で、画像空間座標系における第二の仮想カメラの位置を、βとＴを用いて、（βｘ、βｙ、Ｔ）＝（２０．０、−１０．０、２０．０）と求める。仮想カメラ制御部３０１は、この位置と更新された表示倍率を用いて、第二の仮想カメラのカメラパラメータを求める。画像７０５は、この位置に配置された第二の仮想カメラにより撮影された仮想視点画像である。表示倍率は、更新前の３００．０から６００．０に変更され、より望遠で狭い範囲が撮影される。そのため、表示装置２０３が表示する画像７０５は、画像７０３に比べて拡大表示される。
【００５２】
図８は、移動倍率、基準位置、第二の仮想カメラの高さＴの変更の指示に用いられるグラフィカルユーザインタフェース（ＧＵＩ）の一例を示す図である。以下では、このＧＵＩを操作ＧＵＩとする。表示更新部３０３は、操作ＧＵＩを、表示部（例えば、表示装置２０２、表示装置２０３、他の表示装置等）に表示する。ユーザは、表示部に表示された操作ＧＵＩに対して、入出力Ｉ／Ｆ１１５に接続された入力装置（例えば、入力コントローラ２０１、マウス、タッチパネル等）を用いて操作を行う。操作バー８０１は、移動倍率の表示、変更に用いられるバーオブジェクトである。操作バー８０２、８０３、８０４は、それぞれ基準位置のｘ軸、ｙ軸、ｚ軸の値の表示、変更に用いられるバーオブジェクトである。操作バー８０５は、第二の仮想カメラの高さＴの値の表示、変更に用いられるバーオブジェクトである。
情報処理装置１０３は、入出力Ｉ／Ｆ１１５を介して、操作ＧＵＩへの操作を受け付け、受け付けた操作に応じて、移動倍率、基準位置、Ｔを更新する。
【００５３】
以上、本実施形態の処理により、画像処理システム１０は、制御したい仮想カメラ（仮想視点）の制御に用いられる移動倍率の指定を受付け、受け付けた指定に応じて決定した移動倍率を用いて、仮想視点をより適切に制御することができる。
【００５４】
（変形例１）
本実施形態では、基準位置のｚ軸の座標値を、変動することとした。ただし、他の例として、基準位置βのｚ軸の値は、移動倍率に関わらず常に０としてもよい。この場合、移動倍率が変更されたとき、入力コントローラ２０１を移動させていないにも関わらず、第一の仮想カメラの高さが変化する。しかし、βのｚ軸を常に０に保つことで、入力コントローラ２０１が実空間座標系における表示装置２０３上にあるとき、常に第一の仮想カメラの高さを０にすることができる。
（変形例２）
本実施形態では、移動倍率αは、ｘ軸、ｙ軸、ｚ軸の全ての座標値に対して共通であるとした。ただし、他の例として、情報処理装置１０３は、ｘ軸、ｙ軸、ｚ軸のそれぞれの座標値に対して別個の移動倍率を用いることとしてもよい。
【００５５】
（変形例３）
移動倍率決定部３０２は、移動倍率の変更範囲に上限と下限とを設けてもよい。移動倍率決定部３０２は、移動倍率の上限と下限とを、生成サーバ装置１０２が生成可能な仮想視点画像の範囲に基づいて、決定してもよい。
例えば、仮想カメラが画像空間座標系において事前に定められた空間Ａの外にある場合、仮想視点画像を作成することができないとする。このとき、移動倍率決定部３０２は、第二の表示装置２０３が、この空間Ａの外側を表示しないように移動倍率の上限を決めてもよい。また、移動倍率決定部３０２は、生成サーバ装置１０２が生成可能な仮想視点画像の範囲である空間Ａを、撮影システム１０１に含まれる物理カメラのカメラパラメータ（例えば、位置姿勢、焦点距離等）に基づいて決定してもよい。
【００５６】
また、移動倍率決定部３０２は、移動倍率の上限と下限とを、画像空間座標系における被写体が存在し得る領域に基づいて、決定してもよい。
例えば、画像空間座標系において、被写体（例えば、スポーツ選手、ボール等）の各時刻における位置が明らかになっている場合、それらの位置を包含する画像空間座標系における空間Ｂを求めることができる。移動倍率決定部３０２は、表示装置２０３が、この空間Ｂより一定距離以上離れた領域を表示しないように移動倍率の上限を決定してもよい。
情報処理装置１０３は、移動倍率の上限が決定された場合、移動倍率が上限を超えないように制御する。また、情報処理装置１０３は、移動倍率の下限が決定された場合、移動倍率が下限を下回らないように制御する。
【００５７】
（変形例４）
本実施形態では、移動倍率決定部３０２は、移動倍率と基準位置とを、ユーザからの入力に基づいて決定した。ただし、他の例として、移動倍率決定部３０２は、移動倍率と基準位置とを、ユーザからの入力に依らずに、決定してもよい。
例えば、移動倍率決定部３０２は、空間Ａの外側を表示しない最大の移動倍率と基準位置とを求め、求めた移動倍率と基準位置とを用いることとしてもよい。
【００５８】
（変形例５）
本実施形態では、第二の仮想カメラのｚ軸の値であるＴは、予め定められた値であるとした。ただし、他の例として、情報処理装置１０３は、Ｔの値を、操作ＧＵＩを介したユーザからの入力に基づいて決定してもよい。情報処理装置１０３は、Ｔの値を、ユーザからの入力に依らずに、撮影状況に応じて決定してもよい。
Ｔが微小であると第二の仮想カメラの画像が広角になり周辺部がゆがむ。Ｔが過大であると被写体の高さが変わったときに画像内での大きさが変わらず、被写体の高さの変更に気が付かない。例えば、ボールが高く上がった場合、第二の仮想カメラの画像中でボールが大きく映ることで、ユーザは、ボールの高さ変化に気づくことができる。ところがＴが過大であると、第二の仮想カメラの画像中でボールの大きさの変化が小さいため、ユーザは、ボールの高さ変化に気づくことができないこととなる。
【００５９】
（変形例６）
本実施形態では、表示装置２０３は、床面に設置されたディスプレイとした。ただし、他の例として、表示装置２０３は、床面のスクリーンとそのスクリーンに映像を投影する投影装置（プロジェクター）とを含む装置でもよい。このような装置を用いる利点は、床面にディスプレイを埋め込むコストが不要な点である。また、床面に設置されたディスプレイを用いる利点は、投影する画像がユーザに遮られて影を作ることがない点である。
（変形例７）
本実施形態では、仮想カメラのパラメータは、入出力Ｉ／Ｆ１１５に接続された入力装置を介した操作により、制御できることとした。ただし、他の例として、仮想カメラのパラメータのうちの一部のみが、入出力Ｉ／Ｆ１１５に接続された入力装置を介した操作により、制御できることとしてもよい。例えば、仮想視点の位置姿勢のみが制御できることとしてもよい。この場合、仮想カメラ制御部３０１は、仮想視点の位置姿勢の制御を行う。この場合、ズームが制御できないため、画像処理システム１０は、第二の仮想カメラのズーム値を変更することで表示倍率を変更することはできないが、第二の仮想カメラのｚ軸の値を変更することで表示倍率を変更することはできる。
【００６０】
＜実施形態２＞
実施形態１で、表示装置２０３の表示領域は、床面であることとした。そして、表示装置２０３には、画像空間座標系における真上から下向きに撮影された画像が表示される。ユーザは、このような画像では、第一の仮想カメラの周囲の状況を把握できない場合がある。例えば、スポーツの試合を撮影する際、真上からの画像には選手の頭頂部と肩しか映らず、背番号が見えないため、選手の区別が難しい場合がある。
そこで、本実施形態では、表示装置２０３がユーザに装着される装着型ディスプレイであり、画像処理システム１０は、ユーザが画像空間内にいると仮定した場合にユーザが視認できる画像を、表示装置２０３に表示する。これにより、ユーザは、画像空間に没入した状態で第一の仮想カメラの位置や姿勢を操作することができる。
【００６１】
本実施形態の画像処理システム１０は、表示装置２０３が装着型ディスプレイである点で、実施形態１と異なる。
本実施形態の表示装置２０３は、表示装置２０３の位置姿勢を検知する位置姿勢センサを含む。表示装置２０３は、この姿勢検知センサを介して、実空間座標系における表示装置２０３の位置姿勢を検知し、検知した位置姿勢の情報を、情報処理装置１０３に送信する。表示装置２０３は、ユーザに装着される。そのため、表示装置の位置姿勢は、ユーザの視点の位置と方向とを示すこととなる。
【００６２】
図９を用いて、本実施形態における入力コントローラ２０１、表示装置２０２、表示装置２０３について説明する。ユーザは、入力コントローラ２０１を持ち、装着型ディスプレイである表示装置２０３を顔に装着する。
ユーザは、入力コントローラ２０１に装着された表示装置２０２により第一の仮想カメラの画像を確認しつつ、表示装置２０３が目の前に表示する第二の仮想カメラの画像により画像空間における第一の仮想カメラの周囲の様子を確認することができる。
【００６３】
図１０（ａ）は、図９が示す状態で表示装置２０２と表示装置２０３とに表示される画像の一例を示す図である。画像１００１は、図９の状況で表示装置２０２に表示される画像である。画像１００２は、図９の状況で、画像１００１と同じタイミングで、表示装置２０３に表示される画像である。
画像空間内における被写体に対するユーザの視点（第二の仮想カメラの仮想視点）は、入力コントローラ２０１（第一の仮想カメラの仮想視点）より離れた位置にある。そのため、表示装置２０３に表示される画像１００２は、表示装置２０２に表示される画像１００１に比べて広い領域の画像となる。
【００６４】
本実施形態の処理は、実施形態１と比べて、Ｓ５０６の処理が異なる。
図１０（ｂ）を用いて、本実施形態のＳ５０６の処理の詳細について説明する。本実施形態では、画像処理システム１０は、実施形態１と異なり、焦点距離ではなく第二の仮想カメラの位置を変更することで、第二の仮想カメラの画像の表示倍率を変更する。
Ｓ１０１１において、表示倍率決定部３０４は、表示装置２０３の位置姿勢センサを介して検知された表示装置２０３の実空間座標系における位置姿勢を取得する。
Ｓ１０１２において、表示倍率決定部３０４は、Ｓ１０１１で取得した表示装置２０３の位置に対して移動倍率を掛ける。
Ｓ１０１３において、表示倍率決定部３０４は、Ｓ１０１２の処理の結果に基準位置を加えた位置を、画像空間座標系における第二の仮想カメラの位置として求める。
より具体的には、表示倍率決定部３０４は、以下の式５を用いて、第二の仮想カメラの位置を求める。
【００６５】
【数４】
2020140383.tif 000006
【００６６】
式５のβは、基準位置を示す。また、ｘｉ、ｙｉ、ｚｉは、それぞれ画像空間座標系における第一の仮想カメラの位置を示す。また、αは、変更された移動倍率を示す。また、ｘｑ、ｙｑ、ｚｑは、実空間座標系における第二の表示装置の位置とする。
Ｓ１０１４において、仮想カメラ制御部３０１は、第２の仮想カメラのズーム値を、表示装置２０３の物理サイズと、ユーザの目から表示装置２０３までの距離と、に基づいて決定する。仮想カメラ制御部３０１は、Ｓ１０１３で求めた第二の仮想カメラの位置、表示装置２０３の姿勢、決定したズーム値を、第二の仮想カメラのカメラパラメータとして決定する。
【００６７】
以上、本実施形態の処理により、画像処理システム１０は、ユーザによる画像空間に没入した状態での第一の仮想カメラ（仮想視点）の制御を可能にすることができる。
【００６８】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６９】
例えば、上述した画像処理システム１０の機能構成の一部又は全てをハードウェアとして情報処理装置１０３に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。
【符号の説明】
【００７０】
１０  画像処理システム
１０３  情報処理装置
２０１  入力コントローラ
【図１】
2020140383.tif 000007
【図２】
2020140383.tif 000008
【図３】
2020140383.tif 000009
【図４】
2020140383.tif 000010
【図５】
2020140383.tif 000011
【図６】
2020140383.tif 000012
【図７】
2020140383.tif 000013
【図８】
2020140383.tif 000014
【図９】
2020140383.tif 000015
【図１０】
2020140383.tif 000016