(57)【要約】【課題】仮想視点の操作者が望む構図の仮想視点画像を生成することを容易にするための技術を提供する。【解決手段】仮想視点に対応する仮想カメラを制御する情報処理装置であって、仮想視点画像を再生しながら仮想カメラの移動軌跡を示すカメラパスを作成するためのカメラパス作成モードでの、仮想視点画像の再生速度の情報を取得する取得部と、再生速度で再生されている仮想カメラの視点での仮想視点画像において仮想カメラを移動してカメラパスを作成する操作を受け付ける操作部とを備える。【選択図】  図２
2020010301.tif 000002
【特許請求の範囲】
【請求項１】
仮想視点に対応する仮想カメラを制御する情報処理装置であって、
仮想視点画像を再生しながら前記仮想カメラの移動軌跡を示すカメラパスを作成するためのカメラパス作成モードでの、仮想視点画像の再生速度の情報を取得する取得手段と、
前記再生速度で再生されている前記仮想カメラの視点での仮想視点画像において前記仮想カメラを移動してカメラパスを作成する操作を受け付ける操作手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記操作に基づいて、移動先の前記仮想カメラの視点での仮想視点画像を生成する指示をサーバへ送信するとともに、前記サーバで生成された仮想視点画像を受信する通信手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記カメラパスに沿った仮想視点画像を生成するためのカメラパス再現モードでの再生速度の情報をさらに取得し、
前記カメラパス再現モードでの再生速度の情報に基づいて、仮想視点画像を生成する指示をサーバへ送信するとともに、前記サーバで生成された仮想視点画像を受信する通信手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記取得手段は、前記仮想カメラの移動速度の情報をさらに取得し、
前記操作手段は、前記移動速度の情報に基づいて前記仮想カメラを移動することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記取得手段は、前記カメラパス作成モードでの仮想視点画像の再生速度の情報を、操作者の入力に基づいて取得することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記取得手段は、前記カメラパス再現モードでの仮想視点画像の再生速度の情報を操作者の入力に基づいて取得することを特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記取得手段は、前記仮想カメラの移動速度の情報を操作者の入力に基づいて取得することを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記仮想カメラの移動速度は、前記カメラパス作成モードでの仮想視点画像の再生速度に応じて決定されることを特徴とする請求項４に記載の情報処理装置。
【請求項９】
前記仮想カメラのカメラパラメータと、前記仮想カメラの移動速度の情報、及び前記仮想カメラの再生速度の情報を、前記仮想視点画像の録画及び編集を行う録画編集装置へ送信する通信手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
仮想視点に対応する仮想カメラを制御する情報処理装置の制御方法であって、
仮想視点画像を再生しながら前記仮想カメラの移動軌跡を示すカメラパスを作成するためのカメラパス作成モードでの、前記仮想視点画像の再生速度の情報を取得する取得工程と、
前記再生速度で再生されている前記仮想カメラの視点での仮想視点画像において前記仮想カメラを移動してカメラパスを作成する操作を操作手段を介して受け付ける工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の１以上の視点での仮想視点画像を生成する技術が注目されている。
【０００３】
仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにもなり、従来の撮影画像と比較してユーザに高臨場感を与えることができる。
【０００４】
特許文献１では、仮想カメラの操作者が望む構図を実現するための仮想カメラの制御手法が開示されている。具体的には、任意視点映像データを含む映像コンテンツデータの再生時に任意視点映像の視点を移動させる操作をユーザが行った場合に、再生中の任意の任意視点映像において視点移動量を区域ごとに制御する構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１０９７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、被写体の動きに合わせて操作者が望む構図の仮想視点画像を生成することが難しいという課題がある。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、仮想視点の操作者が望む構図の仮想視点画像を生成することを容易にするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成する本発明に係る情報処理装置は、
仮想視点に対応する仮想カメラを制御する情報処理装置であって、
仮想視点映像を再生しながら前記仮想カメラの移動軌跡を示すカメラパスを作成するためのカメラパス作成モードでの、前記仮想視点映像の再生速度の情報を取得する取得手段と、
前記再生速度で再生されている前記仮想カメラの視点での仮想視点映像において前記仮想カメラを移動してカメラパスを作成する操作を受け付ける操作手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、仮想視点の操作者が望む構図の仮想視点画像を生成することが容易になる。
【図面の簡単な説明】
【００１０】
【図１】（ａ）実施形態１に係る画像処理システムの全体構成の一例を示す図、（ｂ）情報処理装置のハードウェア構成の一例を示す図。
【図２】実施形態１に係る情報処理装置の構成の一例を示す図。
【図３】実施形態１に係る時間の概念の一例を示す図。
【図４】実施形態１に係る記録時刻算出部の処理の一例を示すフローチャート。
【図５】実施形態１に係る情報処理装置の処理の一例を示すフローチャート。
【図６】実施形態２に係る情報処理装置の構成の一例を示す図。
【図７】実施形態２に係る、通信部が仮想視点画像生成サーバ又は録画編集装置へ送信するカメラパラメータの一例を示す図。
【図８】実施形態３に係るリプレイ仮想視点画像生成用のＵＩの一例を示す図。
【図９】実施形態３に係るコントローラの一例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
（実施形態１）
＜概要＞
実施形態１では、仮想カメラのカメラパス作成時とそのカメラパス再現時とで仮想視点画像の再生速度を異ならせる例を説明する。より具体的には、カメラパス作成時には例えば実時間の２倍の長さ（０．５倍速）で仮想視点画像を再生しながら仮想カメラを操作して移動させることによりカメラパスを作成する。カメラパスの作成に適した再生速度を操作者が指定することで、仮想カメラの精緻な移動が可能となり、仮想視点画像に含まれる被写体への追従が容易となる。また、カメラパス再現時にも再生速度を操作者が指定可能であり、例えば実時間（カメラパス作成時の０．５倍速に対する２倍の速度）で仮想視点画像を再生する。これにより、違和感の無い仮想視点画像を再生することができる。
【００１３】
＜画像処理システムの構成＞
図１（ａ）は、本実施形態に係る画像処理システム１０の全体構成を示す図である。画像処理システム１０は、撮影システム１０１、仮想視点画像生成サーバ１０２、及び情報処理装置１０３を備えており、画像処理システム１０は、仮想視点画像を生成することが可能である。
【００１４】
撮影システム１０１は、異なる位置に配置された複数のカメラを備えており、多視点からの複数の画像を同期撮影する。そして、多視点から同期撮影した複数の画像を、仮想視点画像生成サーバ１０２へ送信する。
【００１５】
仮想視点画像生成サーバ１０２は、多視点から同期撮影された複数の画像に基づいて、撮影空間内を移動可能な仮想視点に対応した仮想的なカメラである仮想カメラから観察した仮想視点画像を生成する。即ち、撮影システム１０１が有するどのカメラとも異なる視点から観察した画像も含む、つまり仮想視点画像を生成することができる。仮想カメラの視点は、後述する情報処理装置１０３が決定するカメラパラメータによって表現される。
【００１６】
仮想視点画像生成サーバ１０２は、受信した複数の画像から順次仮想視点画像を生成する。つまり、ライブ仮想視点画像を生成することが可能である。なお、画像処理システム１０が生成できるライブ仮想視点画像は、現在時刻に対して撮影システム１０１および仮想視点画像生成サーバ１０２での処理遅延を考慮した時刻での、撮影システム１０１が撮影した撮影画像に基づく仮想視点画像である。
【００１７】
さらに、仮想視点画像生成サーバ１０２は、データベースを有しており、受信した複数の画像を記録する機能を有する。そのため、リプレイ仮想視点画像を生成することが可能である。リプレイ仮想視点画像は、任意の時刻での撮影システム１０１が撮影した撮影画像に基づく仮想視点画像であり、例えば作成されたカメラパス再現時に再生される仮想視点画像である。なお、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。即ち、画像処理システム１０は、静止画及び動画の何れについても処理可能である。
【００１８】
情報処理装置１０３は、仮想カメラを制御し、仮想カメラの視点を表すカメラパラメータを決定する。仮想カメラのカメラパラメータは、仮想カメラの位置、姿勢、及び時刻を指定するためのパラメータを少なくとも含む。また、仮想カメラのカメラパラメータは、ズームをさらに含んでもよい。カメラパラメータの時刻とは、図３を参照して後述するプレイ開示時刻とプレイ終了時刻の間の時刻である。当該時刻は、２０××年×月×日×時×分×秒といった形式で表現してもよいし、プレイ開始時刻を基準（ゼロ）とした時の時間として表現してもよい。
【００１９】
カメラパラメータにより指定される仮想カメラの位置は、３次元座標を示すものであってもよい。また、仮想カメラのカメラパラメータにより指定される位置は、Ｘ軸、Ｙ軸、Ｚ軸の３軸の直交座標系の座標により示されてもよい。この場合、仮想カメラのカメラパラメータにより指定される位置は、座標を示すものであり、Ｘ軸、Ｙ軸、Ｚ軸の３軸のパラメータから構成されてもよい。なお、原点は撮影空間内の任意の位置としてもよい。
【００２０】
カメラパラメータにより指定される仮想カメラの姿勢は、パン、チルト、ロールの３軸とのなす角度により示されてもよい。この場合、カメラパラメータにより指定される仮想カメラの姿勢は、パン、チルト、ロールの３軸のパラメータから構成されてもよい。カメラパラメータにより指定される仮想カメラのズームは、例えば、焦点距離の１軸により示され、ズームと時刻はそれぞれ１軸のパラメータである。
【００２１】
よって、仮想カメラのカメラパラメータは少なくとも８軸のパラメータを有するように構成することができ、情報処理装置１０３はこれら８軸を制御可能である。なお、カメラパラメータは他の要素を規定するパラメータを含んでもよいし、上述した８軸のパラメータの全てを含まなくてもよい。
【００２２】
情報処理装置１０３は、決定した仮想カメラのカメラパラメータを仮想視点画像生成サーバ１０２へ送信する。次に、仮想視点画像生成サーバ１０２は、受信したカメラパラメータに基づいて仮想視点画像を生成し、情報処理装置１０３へ送信する。なお、本実施形態のように１台の情報処理装置１０３でライブ仮想視点画像とリプレイ仮想視点画像とを生成してもよいが、２台の情報処理装置を用意して、ライブ仮想視点画像とリプレイ仮想視点画像とをそれぞれ異なる情報処理装置で生成してもよい。
【００２３】
＜情報処理装置のハードウェア構成＞
図１（ｂ）は、本実施形態に係る情報処理装置１０３のハードウェア構成の一例を示す図である。情報処理装置１０３は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、通信部１１４及び入出力部１１５を備えている。
【００２４】
ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを読み出して実行することにより情報処理装置１０３全体の動作を制御する。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムや計算の途中結果など、通信部１１４を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。なお、ＲＡＭ１１２、ＲＯＭ１１３を総称してメモリと表現する。
【００２５】
通信部１１４は、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＳＢなどの通信部を有し、仮想視点画像生成サーバ１０２との通信を行う。入出力部１１５は、仮想カメラを制御するための複数のコントローラと、仮想カメラの状態などを出力して表示する複数の表示部とを含む。コントローラは、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの操作部であり、操作者の入力を受け付けることができる。例えば、操作者は、ジョイスティック操作により、カメラパス作成時に再生される仮想視点画像において、空間内で仮想カメラの位置を自由に移動させたり、仮想カメラの向きを自由に変更したりすることができる。具体的には、カメラパス作成時に再生される仮想視点画像を観察しながら、コート上で特定の選手の横を追従するように仮想カメラを移動させてカメラパスを作成することができる。
【００２６】
＜情報処理装置の機能構成＞
図２は、本実施形態に係る画像処理システム１０を構成する情報処理装置１０３の機能構成の一例を示す図である。情報処理装置１０３は、通信部１１４、入出力部１１５、記録時刻算出部１１６、位置姿勢取得部１１７、及びカメラパス記憶部１１８を備えている。また、情報処理装置１０３は、仮想視点画像生成サーバ１０２と接続している。
【００２７】
通信部１１４は、位置姿勢取得部１１７又はカメラパス記憶部１１８からＥｔｈｅｒｎｅｔやＵＳＢなどの通信部を用いて入力されたカメラパラメータを順次、仮想視点画像生成サーバ１０２又は入出力部１１５へ出力する。また、通信部１１４は、仮想視点画像生成サーバ１０２からＥｔｈｅｒｎｅｔやＵＳＢなどの通信部を用いて入力された仮想視点画像を順次、入出力部１１５へ出力してもよい。
【００２８】
入出力部１１５は、操作者によりコントローラから入力されたカメラパラメータ又は仮想視点画像のモードを、記録時刻算出部１１６へ出力する。また、仮想カメラの初期位置、初期姿勢、又は移動指示量を位置姿勢取得部１１７へ出力する。移動指示量は、例えばコントローラとしてのジョイスティックの操作量（傾倒量）に応じた傾倒方向の距離である。或いは、移動指示量は、ジョイスティックの傾倒回数に応じた量であってもよい。その場合、１回の傾倒で所定の距離移動するように予め定められていてもよい。或いは、現在位置に対するｘ、ｙ、ｚ方向のそれぞれの移動量をコントローラから入力するような場合には、それらの値であってもよい。仮想カメラの操作者は、コントローラを操作することで仮想カメラのカメラパラメータ、又は仮想カメラの移動指示量を指定することができる。仮想視点画像のモードの詳細は後述する。
【００２９】
また、入出力部１１５は、操作者によりコントローラから入力された撮影システム１０１が撮影した時刻（以下、プレイ時刻）に基づく、リプレイ仮想視点画像のプレイ開始時刻とプレイ終了時刻とを、記録時刻算出部１１６へ出力する。プレイ開始時刻とプレイ終了時刻とは、例えば、サッカー等の試合を撮影した映像から、映像制作者が再生したい実時刻を仮想カメラの操作者に指示し、操作者がコントローラを用いて入出力部１１５に入力することで決定される。但し、映像制作者と仮想カメラの操作者は別々とは限らず、映像制作者は仮想カメラの操作者と同一であってもよい。また、プレイ開始時刻とプレイ終了時刻との決定方法は当該例に限られるものではなく、ゴールシーンなどの特徴的な場面の開始実時刻と終了実時刻とを画像処理システム１０が自動的に抽出して決定するように構成してもよい。
【００３０】
さらに、入出力部１１５は、操作者によりコントローラから入力されたカメラパス作成時の仮想視点画像の再生速度の情報及び／又はカメラパス再現時の仮想視点画像の再生速度の情報を、記録時刻算出部１１６へ出力する。また、操作者によりコントローラから入力された仮想カメラの移動速度を位置姿勢取得部１１７へ出力する。カメラパス作成時の仮想視点画像の再生速度は、実時間を基準の速度とした比率で決定されることを想定するが、再生速度の概念は、これに限られない。また、カメラパス再現時の仮想視点画像の再生速度は、カメラパス作成時のカメラパラメータを登録するフレームレート（例えば６０ｆｐｓ）を基準の速度とした比率で決定されることを想定するが、これに限られない。さらに、仮想カメラの移動速度は、人が走る速度（例えば秒速１０ｍ）を基準の速度とした比率で決定されることを想定するが、移動速度の概念は、これに限られない。
【００３１】
加えて、入出力部１１５は、複数のディスプレイなどの表示部を有しており、通信部１１４から入力された仮想視点画像、カメラパラメータ、及び仮想カメラの状態などを表示する。これにより、操作者は、表示部に表示された仮想視点画像を観察しながら、コントローラを用いて仮想カメラを操作することが可能となる。しかし、これに限らず、表示部及びコントローラを操作する操作者は同一でなくてもよい。
【００３２】
情報処理装置１０３は仮想視点画像の再生速度を制御する少なくとも２つのモードを有する。１つは、カメラパス作成モードであり、もう１つは、カメラパス再現モードである。モードは、例えば入出力部１１５としてのユーザインタフェース（ＵＩ）上に切り替えボタンを設け、当該切り替えボタンの押下に応じて切り替え可能に構成されてもよい。
【００３３】
＜カメラパス作成モード＞
カメラパス作成モードとは、再生中の仮想視点画像（映像）を仮想カメラが位置する仮想視点で観察しながら、撮影空間内で仮想カメラを操作者の操作に基づいて移動させ、仮想カメラの移動軌跡をカメラパスとして記憶するモードである。
【００３４】
記録時刻算出部１１６は、カメラパス作成モードである場合、入出力部１１５から入力されたカメラパラメータ、プレイ開始時刻、プレイ終了時刻、及び、カメラパス作成時の仮想視点画像の再生速度に基づいて、生成する仮想視点画像の実時刻を決定する。そして、カメラパラメータに含まれる時刻を更新する。そして、カメラパラメータに、カメラパスの情報を記録した実時刻（カメラパラメータ記録時刻）を付加し、カメラパラメータを位置姿勢取得部１１７へ出力する。ここで、カメラパラメータの時刻とカメラパラメータ記録時刻とは異なる情報である。
【００３５】
生成する仮想視点画像の時刻は、プレイ開始時刻から開始される。生成する仮想視点画像の時刻を更新する際は、前に生成した仮想視点画像の時刻と仮想視点画像の再生速度とに基づいて決定される。ただし、生成する仮想視点画像の時刻は、プレイ終了時刻を超えないものと想定する。なお、時刻の決定方法は、これに限られない。また、最初のカメラパラメータ記録時刻（カメラパス記録開始時間）と最後のカメラパラメータ記録時刻（カメラパス記録終了時間）とをメモリに記憶する。
【００３６】
＜カメラパス再現モード＞
カメラパス再現モードとは、作成されたカメラパスに沿った仮想視点画像（映像）を生成するモードである。記録時刻算出部１１６は、カメラパス再現モードである場合、入出力部１１５から入力されたカメラパス再現時の仮想視点画像の再生速度に基づいて、生成する仮想視点画像のカメラパラメータの記録時刻を算出する。そして、記録時刻算出部１１６は、算出したカメラパラメータの記録時刻をカメラパス記憶部１１８へ出力する。カメラパラメータの記録時刻の算出方法は、例えば、メモリに記憶したカメラパス記録開始時間から始まり、カメラパス再生速度が１倍速であればカメラパスを記録したときの時間と等速で時間を進め、２倍速であれば２倍の速さで時間を進めることにより行う。ただし、カメラパラメータの記録時刻の算出方法は、これに限られない。
【００３７】
位置姿勢取得部１１７は、入出力部１１５から入力された移動指示量、仮想カメラの移動速度、初期位置及び初期姿勢、記録時刻算出部１１６から入力されたカメラパラメータに基づいて、生成する仮想視点画像の仮想カメラの位置及び姿勢を算出して取得する。そして、カメラパラメータの位置及び姿勢を更新し、更新されたカメラパラメータの情報を通信部１１４及びカメラパス記憶部１１８へ出力する。仮想カメラの位置及び姿勢は、初期位置及び初期姿勢から始まる。位置及び姿勢を更新する際は、前に生成した仮想視点画像のカメラパラメータの位置及び姿勢、移動指示量、及び、仮想カメラの移動速度に基づいて決定されることを想定する。なお、仮想カメラの位置及び姿勢の決定方法は、これに限られない。
【００３８】
カメラパス記憶部１１８は、位置姿勢取得部１１７から入力された仮想カメラのカメラパラメータを順次、メモリに記憶する。また、カメラパス記憶部１１８は、記録時刻算出部１１６から入力されたカメラパラメータの記録時刻に基づいて、メモリに記憶したカメラパラメータの中から、その記録時刻のカメラパラメータを取得し、通信部１１４へ出力する。
【００３９】
＜カメラパス作成時及び再現時の仮想視点画像の再生＞
ここで、図３は、実施形態１に係る、カメラパス作成時の仮想視点画像の再生速度を０．５倍速で再生し、カメラパス再現時の仮想視点画像の再生速度を２通り（通常（１倍速）と２倍速）で再生した場合の時間軸のイメージ図である。
【００４０】
例えばスポーツのプレイ時間（実時間）がプレイ開始時間からプレイ終了時間までの時間として定義される。例えば、サッカーのハイライトシーンなどが想定される。カメラパス作成時の仮想視点画像の再生時間は、再生速度が０．５倍速なのでプレイ時間の２倍の長さとなる。そして、カメラパス記録時間は実時間であり、カメラパス作成時の仮想視点画像の再生時間と同じ長さである。すなわち、プレイ時間の２倍の長さとなる。
【００４１】
そして、カメラパス再現時の仮想視点画像の再生時間は、通常（１倍速）の時は、カメラパス作成時の仮想視点画像の再生時間やカメラパス記録時間と同じ長さである。すなわち、プレイ時間の２倍の長さとなる。そして、２倍速の時は、プレイ時間と同じ長さとなる。
【００４２】
すなわち、カメラパス再現時の仮想視点画像の再生速度が通常（１倍速）の時は、リプレイ仮想視点画像の再生時間はプレイ時間の２倍の長さとなるように作られる。そして、カメラパス再現時の仮想視点画像の再生速度が２倍速の時は、リプレイ仮想視点画像の再生時間はプレイ時間と同じ長さとなるように作られる。
【００４３】
このように構成することで、被写体の動きが速い場合に、操作者は仮想視点画像の再生速度を遅くして（例えば０．５倍速で）、被写体への追従を容易にしながらカメラパスを作成することができる。なお、被写体の動きが遅すぎるような場合（例えば、動きの遅い動物の観察、昆虫の羽化の観察など）には、反対に、操作者は仮想視点画像の再生速度を速くして、被写体への追従を容易にしながらカメラパスを作成することができる。
【００４４】
また、従来、カメラパス記録時間と同じ時間でのみカメラパスを再現可能であったが、本実施形態によれば、作成したカメラパスをプレイ時間（もしくは、任意の時間）で再現することが可能となる。
【００４５】
＜処理＞
図４は、実施形態１に係る情報処理装置１０３の記録時刻算出部１１６が実施する、カメラパス作成時と再現時のモードとの切り替え処理の手順を示すフローチャートである。
【００４６】
Ｓ４０１では、記録時刻算出部１１６は、入出力部１１５から仮想視点画像の再生速度のモードと各種パラメータとを取得する。Ｓ４０２では、記録時刻算出部１１６は、Ｓ４０１で取得されたモードの種類を判定する。モードがカメラパス作成モードである場合、Ｓ４０３へ進む。一方、モードがカメラパス再現モードである場合、Ｓ４０４へ進む。Ｓ４０３では、記録時刻算出部１１６は、プレイ時刻を算出し、カメラパラメータを更新する。そして、カメラパラメータを位置姿勢取得部１１７へ出力する。Ｓ４０４では、記録時刻算出部１１６は、仮想視点画像を生成するカメラパラメータの記録時刻を算出し、カメラパス記憶部１１８へ出力する。以上で図４の一連の処理が終了する。
【００４７】
＜カメラパス作成時の処理＞
続いて、図５（ａ）は、実施形態１に係る情報処理装置が実施するカメラパス作成時の処理の手順を示すフローチャートである。
【００４８】
Ｓ５０１では、入出力部１１５は、カメラパラメータ（位置、姿勢、時刻）、仮想カメラの初期位置、初期姿勢、及びリプレイ仮想視点画像の開始時刻と終了時刻を、初期パラメータとして取得する。Ｓ５０２では、入出力部１１５は、仮想カメラの移動指示量、カメラパス作成時の仮想視点画像の再生速度、及び仮想カメラの移動速度を、パラメータとして取得する。Ｓ５０３では、入出力部１１５は、取得データを確認する。取得データを確認できれば、Ｓ５０４へ進む。一方、取得データを確認できなければ、処理を終了する。
【００４９】
Ｓ５０４では、記録時刻算出部１１６は、取得したカメラパラメータ、開始時刻と終了時刻、及び仮想視点画像の再生速度に基づいて、生成する仮想視点画像のプレイ時刻を決定し、カメラパラメータの時刻を更新する。ただし、時刻はプレイ開始時刻から始まり、プレイ終了時刻を超えないものとする。
【００５０】
Ｓ５０５では、位置姿勢取得部１１７は、取得した移動指示量、仮想カメラの移動速度、初期位置及び初期姿勢、及びカメラパラメータに基づいて、生成する仮想視点画像の仮想カメラの位置と姿勢を算出し、カメラパラメータの位置と姿勢を更新する。仮想カメラの位置と姿勢は、初期位置と初期姿勢とから始まり、更新する際は、前回のカメラパラメータの位置と姿勢、移動指示量、及び仮想カメラの移動速度に基づいて決定される。
【００５１】
Ｓ５０６では、カメラパス記憶部１１８は、決定されたカメラパラメータをメモリに記録する。Ｓ５０７では、通信部１１４は、仮想視点画像生成サーバ１０２へ、更新された移動先の仮想カメラの視点でのカメラパラメータを送信し、仮想視点画像の生成を指示する。仮想視点画像生成サーバ１０２は、カメラパラメータに含まれる時刻の情報に基づいて、生成する仮想視点画像の時刻を決定し、その時刻における仮想カメラの位置、姿勢での仮想視点画像を生成する。
【００５２】
Ｓ５０８では、通信部１１４は、仮想視点画像生成サーバ１０２から、仮想視点画像生成サーバ１０２により生成された仮想視点画像を受信する。
【００５３】
Ｓ５０９では、入出力部１１５は、受信した仮想視点画像をディスプレイなどの表示部に表示する。その後、Ｓ５０２に戻る。仮想カメラの操作者は、この仮想視点画像を観察しながらＳ５０２で入出力部１１５のコントローラを用いて仮想カメラを操作して移動することが可能となる。この仮想カメラの移動軌跡がカメラパスとして作成される。また、必要に応じて、操作者は入出力部１１５のコントローラを用いてＳ５０２で仮想視点画像の再生速度や、仮想カメラの移動速度を調整することができる。なお、図３の例では、再生速度は定速でカメラパスが作成されることから、再生速度は固定値のまま変更することなく一連の処理が繰り返されることになる。以上で図５（ａ）の一連の処理が終了する。
【００５４】
＜カメラパス再現時の処理＞
続いて、図５（ｂ）は、実施形態１に係る情報処理装置が実施するカメラパス再現時の処理の手順を示すフローチャートである。
【００５５】
Ｓ５１０では、入出力部１１５は、カメラパス再現時の仮想視点画像の再生速度の情報をパラメータとして取得する。Ｓ５１１では、記録時刻算出部１１６は、取得した仮想視点画像の再生速度の情報に基づいて、カメラパラメータ記録時刻を算出する。カメラパラメータ記録時刻はカメラパス記録開始時間から始まる。
【００５６】
Ｓ５１２では、カメラパス記憶部１１８は、Ｓ５０６でメモリに記録されたカメラパスの中から、Ｓ５１１で算出されたカメラパラメータ記録時刻に該当するカメラパラメータを取得する。Ｓ５１３では、カメラパス記憶部１１８は、Ｓ５１２の取得データを確認する。取得データを確認できれば、Ｓ５１４へ進む。一方、取得データを確認できなければ、処理を終了する。
【００５７】
Ｓ５１４では、通信部１１４は、取得したカメラパラメータを仮想視点画像生成サーバ１０２へ送信し、仮想視点画像の生成を指示する。仮想視点画像生成サーバ１０２は、カメラパラメータに含まれる時刻の情報に基づいて、生成する仮想視点画像の時刻を決定し、その時刻における仮想カメラの位置、姿勢での仮想視点画像を生成する。Ｓ５１５では、通信部１１４は、仮想視点画像生成サーバ１０２から、仮想視点画像生成サーバ１０２により生成された仮想視点画像を受信する。
【００５８】
Ｓ５１６では、入出力部１１５は、受信した仮想視点画像をディスプレイなどの表示部に表示する。その後Ｓ５１０に戻る。仮想カメラの操作者は、この仮想視点画像を観察しながら、Ｓ５１０で入出力部１１５のコントローラを用いてカメラパス再現時の仮想視点画像の再生速度を調整することができる。これにより、操作者が重要視するハイライトシーンではゆっくりとした再生速度で仮想視点画像を再生し、重要視しないシーンでは早い再生速度で仮想視点画像を再生させることが可能となる。なお、図３の例では、再生速度は定速でカメラパスが再現されることから、再生速度は固定値のまま変更することなく一連の処理が繰り返されることになる。以上で図５（ｂ）の一連の処理が終了する。
【００５９】
以上説明したように、本実施形態では、仮想視点画像を再生しながら撮影空間内を自由に移動可能な仮想カメラの移動軌跡を示すカメラパスを作成するためのカメラパス作成モードでの、仮想視点画像の再生速度の情報を取得し、当該再生速度で再生されている仮想カメラの視点での仮想視点画像において仮想カメラを移動してカメラパスを作成する操作を受け付ける処理を行う。
【００６０】
これにより、カメラパス作成時に仮想視点画像の再生速度を、被写体の速さに応じた適切な速度に調整することができる。例えば、被写体の動きが速い場合に、操作者は仮想視点画像の再生速度を遅くして仮想カメラを操縦することで、被写体の動きに追従しやすくなり、カメラパスを容易に作成することができる。また、被写体の動きが遅すぎるような場合（例えば、動きの遅い動物の観察、昆虫の羽化の観察など）には、反対に、操作者は仮想視点画像の再生速度を速くして、被写体への追従を容易にしながらカメラパスを作成することができる。
【００６１】
さらに、カメラパス作成時に仮想視点画像の再生速度とは別に、カメラパス再現時の仮想視点画像の再生速度についても、操作者の好みの速度に調整することができるように構成する。これにより、作成されたカメラパスを実時間（もしくは、任意の時間）で再現することも可能となる。
【００６２】
すなわち、カメラパス作成時にカメラパスの作成が容易になるとともに、カメラパス再現時には実時間に基づく違和感の無い仮想視点画像を提供することができる。
【００６３】
（実施形態２）
実施形態２では、情報処理装置が仮想視点画像のカメラパラメータ（仮想カメラの位置、姿勢、時刻等）の一部又は全部を外部装置に送信して、外部装置がリプレイ仮想視点画像を録画、編集する例を説明する。
【００６４】
図６は、本実施形態に係る、外部装置を用いてリプレイ仮想視点画像を生成する画像処理システムの構成例を示す図である。画像処理システム２０は、撮影システム２０１、仮想視点画像生成サーバ２０２、情報処理装置２０３を備えており、外部装置である録画編集装置２０４と通信可能である。情報処理装置２０３は、通信部２１４、入出力部２１５、記録時刻算出部２１６、位置姿勢取得部２１７、及びカメラパス記憶部２１８を備えている。
【００６５】
撮影システム２０１は、図２の撮影システム１０１と同様である。仮想視点画像生成サーバ２０２は、通信部２１４から入力するカメラパラメータの全て、又は一部の情報を、仮想視点画像に付加し、録画編集装置２０４へ出力してもよい。仮想視点画像に付加する方法は、例えば、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）信号のアンシラリ領域に記述することを想定するが、これに限られない。
【００６６】
通信部２１４は、図２の通信部１１４の機能に加えて、位置姿勢取得部２１７、又はカメラパス記憶部２１８から入力したカメラパラメータの全て又は一部を順次、ＥｔｈｅｒｎｅｔやＵＳＢなどの通信手段を用いて録画編集装置２０４へ送信する機能を有する。
【００６７】
入出力部２１５は、図２の入出力部１１５と同様である。記録時刻算出部２１６は、図２の記録時刻算出部１１６の機能に加えて、仮想視点画像の再生速度をカメラパラメータに付加する機能を有する。位置姿勢取得部２１７は、図２の位置姿勢取得部１１７の機能に加えて、仮想カメラの移動速度をカメラパラメータに付加する機能を有する。カメラパス記憶部２１８は、図２のカメラパス記憶部１１８と同様である。
【００６８】
録画編集装置２０４は、仮想視点画像生成サーバ２０２又は通信部２１４から入力された仮想視点画像を録画する。また、録画編集装置２０４は、仮想視点画像生成サーバ１０２又は通信部１１４から入力された仮想視点画像と、通信部１１４から入力されたカメラパラメータの全て又は一部とを用いて、仮想視点画像の編集を行う。なお、ここで取得される情報は、カメラパラメータ、仮想視点画像の再生速度の情報、及び仮想カメラの移動速度の情報である。
【００６９】
仮想視点画像の編集の方法は、仮想カメラのカメラパラメータ（位置、姿勢、時刻等）、仮想視点画像の再生速度、移動速度の情報を操作者又はシステムが参照し、仮想視点画像の再生速度が０．５倍速の時に仮想視点画像を２倍速で再生する例が挙げられる。これにより、実時間のリプレイ仮想視点画像を作成することが可能となる。なお、仮想視点画像の編集の方法は、これに限られない。
【００７０】
図７は、通信部１１４が、仮想視点画像生成サーバ１０２、又は録画編集装置２０４へ出力するカメラパラメータの一例である。ただし、出力するカメラパラメータの記述方法は、これに限られない。図７の例では、時刻が０１：０２：０３：００であり、仮想視点画像の再生モードがカメラパス作成モードであり、仮想視点画像の再生速度が０．５であり、仮想カメラの移動速度が０．５であり、仮想カメラのｘ位置が１００、ｙ位置が２００である。
【００７１】
以上の処理により、情報処理装置が仮想視点画像のカメラパラメータの一部又は全てを外部装置（例えば録画編集装置）に送信して、外部装置がリプレイ仮想視点画像を録画、編集することが可能となる。
【００７２】
本実施形態によれば、カメラパス作成に応じて順次録画編集装置に仮想視点画像とそのメタ情報とが出力されるため、より早く録画と編集が可能となり、従ってより早い映像配信が可能となる。さらには、画像処理システム外に存在するサードパーティによる録画編集装置による録画・編集が可能となる。
【００７３】
（実施形態３）
実施形態３では、仮想カメラの操作者が仮想視点画像の再生速度、又は仮想カメラの移動速度に係るパラメータの変更を行う例を説明する。
【００７４】
図８は、本実施形態に係る、操作者が仮想視点画像の再生速度、及び仮想カメラの移動速度に係るパラメータの変更を行うユーザインタフェース（ＵＩ）のイメージ図である。ＵＩは、シーン再生速度３０３、仮想カメラ移動速度４０４、スローカメラアシスト率制御バー７０２、シーン再生速度制御バー７０３を有する。
【００７５】
操作者は、仮想カメラの移動速度に係るパラメータとして、それぞれスローカメラアシスト率制御バー７０２を操作する。また、仮想視点画像の再生速度に係るパラメータとして、シーン再生速度制御バー７０３を操作する。スローカメラアシスト率制御バー７０２とシーン再生速度制御バー７０３は独立して動作する。ただし、スローカメラアシスト率制御バー７０２とシーン再生速度制御バー７０３の動作は、これに限られない。例えば操作者がシーン再生速度制御バー７０３を操作し、仮想視点画像の再生速度を変更した場合に、その再生速度から最適な仮想カメラの移動速度を自動的に算出し、スローカメラアシスト率制御バー７０２に反映させ、連動して動作するように構成してもよい。
【００７６】
ＵＩは、入出力部１１５が有するディスプレイ等の表示部に表示されてもよい。また、ＵＩは、入出力部１１５が有するコントローラ等の入力部により操作されてもよい。
【００７７】
図８において、シーン再生速度３０３は、入出力部１１５が入力、表示する仮想視点画像の再生速度であり、この速度が記録時刻算出部１１６へ出力される。１００％が通常の再生速度である。シーン再生速度３０３は、１００％より小さい場合はスロー再生となる。例えば、シーン再生速度３０３は、実時間における１秒間の映像を２秒間で再生する場合、５０％となる。１００％より大きい場合は早送り再生である。シーン再生速度３０３が０％である場合、入出力部１１５に表示する仮想視画像における時は停止している状態である。なお、シーン再生速度３０３が０％である場合であっても仮想カメラを制御することは可能である。例えば、選手がボールを蹴った瞬間の選手の周りをぐるりと回るような仮想視点画像を生成することが可能である。
【００７８】
スローカメラアシスト率４０４は、入出力部１１５が入力、表示する、スローカメラアシスト機能を有効にした際のカメラの移動速度を落とす割合であり、位置姿勢取得部１１７へ出力される。この時、仮想カメラの移動速度は、カメラパス作成モードでの仮想視点画像の再生速度に応じて自動的に決定される。即ち、シーンの再生速度（仮想視点画像の再生速度）の変更に応じて仮想カメラの移動速度が自動的に変更されるように構成する。
【００７９】
例えば、シーン再生速度が５０％に変更された場合は、仮想カメラの移動速度を通常の５０％に落とすように構成してもよい。スローカメラアシストは、シーンの再生速度と仮想カメラの移動速度を共に落とすことにより、リプレイクリップを録画するための操縦が容易になる。例えば、高速に移動するボールを追うようなリプレイクリップを作成する際に、仮想カメラの操縦が容易になる。
【００８０】
スローカメラアシスト率制御バー７０２は、入出力部１１５が入力、表示するスローカメラアシスト実行時の仮想カメラの移動速度を制御し、位置姿勢取得部１１７へ出力される。シーン再生速度制御バー７０３は、入出力部１１５が入力、表示するシーンの再生速度を制御し、記録時刻算出部１１６へ出力される。
【００８１】
スローカメラアシスト率制御バー７０２とシーン再生速度制御バー７０３の機能は、図８のようなバーの形式だけでなく、例えば、プルダウンメニューによる選択やテキストボックスによる直接入力の形式で実現してもよい。また、入出力部１１５が有するコントローラを用いてもよい。ここで、図９は、本実施形態に係る、スローカメラアシスト率、又はシーン再生速度を操作するコントローラとしてのウィンドウの一例を示す図である。スライダー１０１４は、スローカメラアシスト率、又はシーン再生速度を設定するために使用することを想定する。
【００８２】
なお、スライダー１０１４は、スローカメラアシスト率制御バー７０２、又はシーン再生速度制御バー７０３と連動してもよい。また、ボタン１００１乃至ボタン１０１３などに予め値を設定しておき、それを押すことでスローカメラアシスト率、又はシーン再生速度の値が設定値に置き換わり、決定ボタン１０１４を押すことにより反映されてもよい。但し、コントローラによる設定方法は、これに限られない。
【００８３】
以上の処理により、仮想カメラの操作者が仮想視点画像の再生速度、又は仮想カメラの移動速度に係るパラメータの変更を容易に行うことができる。
【００８４】
なお、上述の各実施形態では、カメラパス作成モードを例に説明を行ったが、カメラパス作成時に限らず、単に仮想カメラを操縦する際にも本発明を適用することができる。例えば、仮想視点画像の再生速度に応じて、仮想カメラの移動速度（ユーザ操作に対する仮想カメラの移動量）を変更することで、被写体の動きに追従する仮想カメラの操縦を行いやすくなる。なお、仮想視点画像の再生速度、仮想カメラの移動速度は、それぞれ操作者が自由に設定できるように構成してもよいし、仮想視点画像の再生速度に応じて自動的に仮想カメラの移動速度を決定するように構成してもよい。
【００８５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８６】
１０：画像処理システム、１０１：撮影システム、１０２：仮想視点画像生成サーバ、情報処理装置、１１１：ＣＰＵ、１１２：ＲＡＭ、１１３：ＲＯＭ、１１４：通信部、１１５：入出力部
【図１】
2020010301.tif 000003
【図２】
2020010301.tif 000004
【図３】
2020010301.tif 000005
【図４】
2020010301.tif 000006
【図５】
2020010301.tif 000007
【図６】
2020010301.tif 000008
【図７】
2020010301.tif 000009
【図８】
2020010301.tif 000010
【図９】
2020010301.tif 000011