(57)【要約】【課題】  設定された仮想視点において生成される仮想視点画像の画質の評価結果を出力するための技術を提供すること。【解決手段】  仮想視点画像を生成するための視点の位置を示す仮想視点を設定する。設定された仮想視点において生成される仮想視点画像の画質の評価結果を取得する。取得した評価結果を示す情報を出力する。【選択図】  図３
2018206025.tif 000002
【特許請求の範囲】
【請求項１】
仮想視点画像を生成するための視点の位置を示す仮想視点を設定する設定手段と、
前記設定手段により設定された仮想視点において生成される仮想視点画像の画質の評価結果を取得する取得手段と、
前記取得手段が取得した評価結果を示す情報を出力する出力手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記取得手段は、前記仮想視点に基づく仮想空間の画像と、前記仮想視点における仮想視点画像と、に基づいて、該仮想視点画像の画質の評価値を求めることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記仮想視点における仮想視点画像の画質の評価値を複数のシーンのそれぞれについて求め、該求めた評価値の平均値を、前記仮想視点における仮想視点画像の画質の最終的な評価値とすることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記出力手段は、表示画面において複数の仮想視点に対応する位置に該仮想視点の評価値に応じた色を表示することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記取得手段は、仮想視点画像における特徴点の予測誤差の統計量に基づいて該仮想視点画像の画質の評価値を求めることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記取得手段は前記取得の後、カメラパス上の複数の仮想視点のそれぞれにおける仮想視点画像の画質の評価結果を、該仮想視点の近傍の仮想視点について取得ずみの評価結果に基づいて取得することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記出力手段は、カメラパス上の複数の仮想視点の位置に該仮想視点に対応する評価値に応じた色のオブジェクトを配置した画面を表示することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記出力手段は、カメラパス上の仮想視点に対応する評価値に応じた指標を配置した画面を表示することを特徴とする請求項６又は７に記載の情報処理装置。
【請求項９】
前記情報処理装置は、前記取得手段が取得した評価結果に応じて、前記設定手段により設定された仮想視点における仮想視点画像の生成を制限するための処理を行うことを特徴とする請求項６乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
前記取得手段は、カメラパス上の複数の仮想視点のそれぞれにおける仮想視点画像の画質の評価結果を、該仮想視点の画角に含まれている被写体の評価値に基づいて取得し、
前記被写体の評価値は、該被写体を画角に含む撮像装置の台数に基づく値であることを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記出力手段は、点数、色、文字、画像または記号を、前記取得手段が取得した評価結果を示す情報として出力することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の設定手段が、仮想視点画像を生成するための視点の位置を示す仮想視点を設定する設定工程と、
前記情報処理装置の取得手段が、前記設定工程で設定された仮想視点において生成される仮想視点画像の画質の評価結果を取得する取得工程と、
前記情報処理装置の出力手段が、前記取得工程で取得した評価結果を示す情報を出力する出力工程と
を備えることを特徴とする情報処理方法。
【請求項１３】
コンピュータを、請求項１乃至１１の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像に係る技術に関するものである。
【背景技術】
【０００２】
昨今、複数の撮像装置をそれぞれ異なる位置に設置して多視点から被写体を撮像し、該撮像により得られた複数視点画像を用いて仮想視点画像や３次元モデルを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点画像を生成する技術によれば、通常の画像と比較してユーザに高臨場感を与えることが出来る。特許文献１には、同一の範囲を取り囲むように複数のカメラを配置して、その同一の範囲を撮影した画像を用いて、任意の仮想視点を設定し、設定した仮想視点に対応する仮想視点画像を生成、表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
仮想視点画像の画質は、被写体の位置や形状、撮像装置の配置などによって大きく変動する。したがって、仮想視点の位置や姿勢によっては、画質の低い画像が作られたり、画質の高い画像が作られたりする場合がある。従来は、このような仮想視点に応じた画質の評価をユーザに把握させるための技術については考慮されていなかった。
【０００５】
本発明はこのような問題に鑑みてなされたものであり、設定された仮想視点において生成される仮想視点画像の画質の評価結果を出力するための技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態は、仮想視点画像を生成するための視点の位置を示す仮想視点を設定する設定手段と、前記設定手段により設定された仮想視点において生成される仮想視点画像の画質の評価結果を取得する取得手段と、前記取得手段が取得した評価結果を示す情報を出力する出力手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成によれば、設定された仮想視点において生成される仮想視点画像の画質の評価結果を出力することができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置の概要を示す図。
【図２】本体装置１のハードウェア構成例を示すブロック図。
【図３】本体装置１の機能構成例を示すブロック図。
【図４】本体装置１が行う処理のフローチャート。
【図５】表示装置１００２の表示画面を説明する図。
【図６】本体装置１の機能構成例を示すブロック図。
【図７】本体装置１の動作のフローチャート。
【図８】評価部２０３が行う処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
【００１０】
［第１の実施形態］
本実施形態では、各位置の仮想視点における仮想視点画像の画質を予測し、該予測した画質に対する評価の結果を可視化してユーザに提示する情報処理装置の一例について説明する。先ず、本実施形態に係る情報処理装置の概要について、図１を用いて説明する。図１に示す如く、本実施形態に係る情報処理装置は、本体装置１と、表示装置１００２と、ユーザインターフェースとしてのキーボード１００１ａ及びマウス１００１ｂと、を有する。
【００１１】
ユーザはキーボード１００１ａやマウス１００１ｂを操作することで各種の指示を本体装置１に対して入力することができる。なお、キーボード１００１ａやマウス１００１ｂはユーザインターフェースの一例であり、他の種のインターフェースを用いても良い。
【００１２】
本体装置１は、キーボード１００１ａやマウス１００１ｂからの指示に応じて各種の処理を行う。更に本体装置１は、各仮想視点における仮想視点画像の画質を予測し、該予測した画質に対する評価の結果を可視化してユーザに提示するための各種の処理を行う。本体装置１による処理結果は画像や文字として表示装置１００２に表示される。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の装置では、静止画及び動画の何れについても処理可能である。
【００１３】
表示装置１００２は、ＣＲＴや液晶画面などにより構成されており、本体装置１による処理結果を画像や文字などでもって表示することができる。なお、表示装置１００２はタッチパネル画面であっても良いし、壁面に画像や文字を投影する投影装置であっても良い。図１において表示装置１００２に表示された内容については後述する。
【００１４】
次に、本体装置１のハードウェア構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は、本体装置１に適用可能なハードウェア構成の一例に過ぎず、本体装置１が行うものとして後述する各処理を実行可能な構成であれば、如何なるハードウェア構成を採用しても良い。
【００１５】
ＣＰＵ１１は、ＲＯＭ１２やＲＡＭ１３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１１は、本体装置１全体の動作制御を行うと共に、本体装置１が行うものとして後述する各処理を実行若しくは制御する。
【００１６】
ＲＯＭ１２には、書換不要のコンピュータプログラム（例えば、ＢＩＯＳのプログラムやブートプログラム）やデータが格納されている。ＲＡＭ１３は、ＲＯＭ１２や記憶装置１７からロードされたコンピュータプログラムやデータを格納するためのエリア、ＣＰＵ１１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１３は、各種のエリアを適宜提供することができる。表示Ｉ／Ｆ１５には、上記の表示装置１００２が接続される。入力Ｉ／Ｆ１６には、上記のキーボード１００１ａやマウス１００１ｂが接続される。
【００１７】
記憶装置１７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。記憶装置１７には、ＯＳ（オペレーティングシステム）や、本体装置１が行うものとして後述する各処理をＣＰＵ１１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。記憶装置１７に保存されているコンピュータプログラムやデータは、ＣＰＵ１１による制御に従って適宜ＲＡＭ１３にロードされ、ＣＰＵ１１による処理対象となる。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、表示Ｉ／Ｆ１５、入力Ｉ／Ｆ１６、記憶装置１７は何れもバス１８に接続されている。
【００１８】
次に、本体装置１の機能構成例について、図３のブロック図を用いて説明する。図３に示した各機能部はハードウェアで実装しても良いが、本実施形態では、ソフトウェア（コンピュータプログラム）で実装する。以下では図３に示した機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１１が実行することで、該機能部の機能が実現される。
【００１９】
第１取得部１０１は、記憶装置１７に保存されている環境情報を取得する。ここで、環境情報について説明する。例えば、サッカーやバスケットボールなどが行われる競技場に、それぞれ異なる方向から該競技場を撮像する複数の撮像装置を設置し、該撮像装置による撮像画像に基づいて仮想視点からの仮想視点画像を生成するシステムを考える。このようなシステムにとって、どのような位置姿勢の仮想視点の仮想視点画像の画質が良い／悪いのかを、システムの運用前にシミュレーションしておくことは重要である。本実施形態ではこのようなシミュレーションを行うべく、仮想プレーヤ（プレーヤの３次元形状を模した３次元モデル）が配された仮想競技場（競技場の３次元形状を模した３次元モデル）における複数の位置に仮想視点を設ける。そして、それぞれの仮想視点について仮想視点画像を生成し、該生成した仮想視点画像の画質の評価値を可視化してユーザに提示する。
【００２０】
このようなシミュレーションを実現するべく、環境情報には、競技場に配置されるそれぞれの撮像装置のカメラパラメータ、上記の仮想競技場を規定する情報、上記の仮想プレーヤを規定する情報、が含まれている。環境情報とは、仮想視点画像を生成するために行われた撮影の対象や撮影の環境を示す情報である。
【００２１】
仮想競技場を規定する情報には、仮想競技場の３次元形状やテクスチャを規定する情報（例えば競技場の３次元ＣＡＤデータ）が含まれている。仮想プレーヤを規定する情報には、仮想プレーヤの３次元形状やテクスチャを規定する情報、仮想プレーヤの腕や足等の動きを規定する情報、仮想競技場における仮想プレーヤの動き（位置や姿勢）を規定する情報が含まれている。
【００２２】
競技場に配置されるそれぞれの撮像装置のカメラパラメータには、実際の競技場における該撮像装置の配置位置姿勢、焦点距離、画角等のパラメータを、仮想競技場が属する座標系におけるパラメータに変換したものが含まれている。
【００２３】
なお、環境情報に含まれるそれぞれの撮像装置のカメラパラメータは、実際に配置された撮像装置のカメラパラメータに限らず、仮想的にＧＵＩ上で作成したものであっても良い。例えば、図１に示す如く、表示装置１００２の画面上に表示したＧＵＩ１００３（グラフィカルユーザインターフェース）を操作して撮像装置のカメラパラメータを設定することができる。このＧＵＩ１００３では、「仮想競技場を規定する情報」に基づいて生成した仮想競技場を俯瞰したマップが表示されている。ユーザはキーボード１００１ａやマウス１００１ｂを操作して、仮想競技場に任意の位置及び任意の姿勢でもって撮像装置を配置することができる。図１では９台の撮像装置が配置されている。例えばユーザがキーボード１００１ａやマウス１００１ｂを操作して撮像装置のカメラパラメータを入力する度に、該入力されたカメラパラメータが示す配置位置姿勢の撮像装置の画像１００５がマップ上に追加表示される。そしてユーザが撮像装置のカメラパラメータの設定完了指示をキーボード１００１ａやマウス１００１ｂを操作して入力すると、ユーザによって入力されたそれぞれの撮像装置のカメラパラメータが環境情報に含められて記憶装置１７に保存される。なお、撮像装置のカメラパラメータの設定方法や取得方法については特定の設定方法、特定の取得方法に限らない。また、ユーザは図１のＧＵＩ１００３において仮想競技場の形状等を変更しても良い。
【００２４】
第２取得部１０２は、画質を評価する仮想視点のカメラパラメータ（仮想競技場における該仮想視点の位置姿勢、焦点距離、画角など）をランダムに複数生成する。なお、仮想視点のカメラパラメータの生成方法はこのような生成方法に限らない。例えば、各仮想視点を、仮想競技場における一部の領域若しくは全体領域に等間隔で２次元的に配置しても良い。また、仮想視点のカメラパラメータは予め複数生成しておき、これを第２取得部１０２が取得するようにしても良い。なお、仮想視点のカメラパラメータは、仮想視点からの画像を生成可能なパラメータであれば、どのようなパラメータであっても良く、仮想視点の位置姿勢に加え、画角やズーム、焦点距離、解像度などのパラメータを含んでいてもよい。また、仮想視点のカメラパラメータは、仮想視点画像を生成するための視点の位置及び／または視線の方向を規定するものであってよい。
【００２５】
評価部１０３は、第１取得部１０１が取得した環境情報と、第２取得部１０２が取得した仮想視点のカメラパラメータと、を用いて、設定された仮想視点ごとに、該仮想視点における仮想視点画像の画質を評価する。出力部１０４は、評価部１０３による仮想視点ごとの評価結果を表示装置１００２に画像や文字として出力する。
【００２６】
次に、各位置の仮想視点における仮想視点画像の画質を予測し、該予測した画質に対する評価の結果を可視化してユーザに提示するために本体装置１が行う処理について、図４のフローチャートに従って説明する。
【００２７】
ステップＳ１０１０では、第１取得部１０１は、記憶装置１７に予め保存されている環境情報をＲＡＭ１３に読み出す。なお、環境情報は、ネットワークを介して外部装置から受信してＲＡＭ１３に格納するようにしても良いし、その取得形態は特定の取得形態に限らない。
【００２８】
ステップＳ１０２０では、第２取得部１０２は、仮想視点ごとのカメラパラメータを取得する。仮想視点ごとのカメラパラメータは、上記のように何らかの方法でもって生成することでＲＡＭ１３に取得しても良いし、予め生成して記憶装置１７に保存しておいたものをＲＡＭ１３にロードするようにしても良いし、その取得形態は特定の取得形態に限らない。
【００２９】
そしてステップＳ１０４０における処理を仮想視点ごとに行うことで、仮想視点ごとの仮想視点画像の画質の評価値を求める。以下では、着目仮想視点における仮想視点画像の画質の評価値を求める処理について説明する。
【００３０】
先ず、評価部１０３は、着目仮想視点のカメラパラメータを用いて、該カメラパラメータを有する視点から見える仮想空間（仮想競技場及び仮想プレーヤが配置された空間）の画像（正解画像）を生成する。例えば、着目仮想視点の位置姿勢を有し且つ該着目仮想視点の焦点距離及び画角を有する視点から見える仮想空間の画像を生成する。
【００３１】
更に評価部１０３は、環境情報に含まれているそれぞれの撮像装置のカメラパラメータを用いて、該カメラパラメータを有する視点から見える仮想空間の画像を生成する（つまり、該カメラパラメータを有する撮像装置により仮想空間の画像を撮像する）。そして評価部１０３は、撮像装置ごとに生成した仮想空間の画像（一部でも良い）を用いて、着目仮想視点から見える仮想空間の画像、即ち該着目仮想視点における仮想視点画像を生成する。
【００３２】
そして評価部１０３は、正解画像と仮想視点画像とに基づいて該仮想視点画像の画質に係る評価値を求める。正解画像と仮想視点画像とに基づく該仮想視点画像の画質に係る評価値を求める方法は特定の方法に限らない。例えば、評価部１０３は、正解画像と仮想視点画像との差分から算出したＰＳＮＲ（ピーク信号対雑音比）を、正解画像に対する仮想視点画像の画質指標を示す評価値として求める。
【００３３】
評価部１０３はこのような処理を複数のシーンのそれぞれについて行うことで、複数のシーンのそれぞれに対する着目仮想視点の仮想視点画像の画質に対する評価値を求める。例えば評価部１０３は、シーンごとに仮想プレーヤの位置や姿勢、腕や足、を動かして、シーンごとに着目仮想視点の仮想視点画像及び正解画像を生成し、シーンごとの評価値を上記の方法でもって求める。そして評価部１０３は、着目仮想視点におけるシーンごとの評価値の平均値を、該着目仮想視点における最終的な評価値とする。なお、シーンの数は１でも良い。
【００３４】
そして、全ての仮想視点についてステップＳ１０４０の処理を行うと、処理はステップＳ１０５０に進む。ステップＳ１０５０では、出力部１０４は、仮想視点ごとの評価値を可視化して表示装置１００２の表示画面に表示する。仮想視点ごとの評価値を可視化する方法は特定の方法に限らない。
【００３５】
例えば図１に示す如く、仮想競技場を俯瞰したマップ上における各仮想視点の位置の画素の色を、該仮想視点に対する評価値に応じた色とすることで、該マップ上に評価値の２次元マップを重ねて描画する。仮想視点に対する評価値に応じた色として、「評価値が高いほど青色、低いほど赤色」となるようにする場合、評価値の最大値を青、最小値を赤とし、最大値と最小値の間の評価値に対しては、以下の式（１）の割合Ｒで最大値の色（青）と最小値の色（赤）を補間した色をつける。
【００３６】
Ｒ＝（評価値−最小値）／（最大値−最小値）    （１）
仮想視点Ａと仮想視点Ｂとの間に位置する画素の色については、例えば、仮想視点Ａの評価値に応じた色と仮想視点Ｂの評価値に応じた色とを用いて補間した色とする。図１では、評価値が比較的高い仮想視点の領域１００６と、評価値が比較的低い仮想視点の領域１００７と、が可視化されている。ユーザはこのような表示装置１００２の表示画面を見れば、領域１００６の内側で仮想視点のカメラパスを作るように検討すればよいことが分かるため、カメラパス決定の作業効率が向上する。なお、色の代わりに若しくは加えてα値を評価値に応じて制御しても良い。
【００３７】
＜変形例＞
第１の実施形態では、仮想競技場には仮想プレーヤを配置したが、仮想プレーヤに加えて若しくは代えて他の仮想物体を配置しても良いし、仮想競技場以外の仮想物体は配置しなくても良い。また上記の通り、ユーザインターフェースとしては様々なものを用いても良く、例えば、ペンタブレットやスキャナであってもよい。また、ユーザインターフェースは表示装置１００２と一体化されていても良い。
【００３８】
また、表示装置１００２として、プリンタや、スマートフォン、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を有するＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）システムやＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）システムを利用しても良い。これらの機器は、仮想視点における仮想視点画像の画質の評価値を可視化することができる機器の一例である。
【００３９】
また、上記の環境情報は、評価部１０３で用いる画像を作るのに必要な物体（上記の例では仮想競技場や仮想プレーヤ）及び撮像装置のカメラパラメータを取得できれば、如何なる情報を含んでも良い。また、仮想競技場や仮想プレーヤは、コンピュータグラフィックス（ＣＧ）であっても良いし、実物体を計測して作った３次元ビデオであっても良い。撮像対象と同種のコンテンツであることが望ましいが、異なっていても良い。コンテンツは動き情報を有している方が望ましいが、有していなくても良いし、複数のシーンの集合でもよい。また、カメラパラメータに含まれている要素のうち不定の要素は可変要素とし、評価部１０３で評価する際に該可変要素に複数種類の値を設定してそれぞれ評価してもよい。
【００４０】
また、第２取得部１０２は、出力部１０４で評価結果を出力するのに必要な仮想視点のカメラパラメータを取得できればよい。仮想視点のカメラパラメータには、仮想視点の位置姿勢、焦点距離、画角等があるが、その一部のパラメータだけでも良いし、ズーム値やＲＯＩなどの実際の撮像装置による撮像時のパラメータを含んでも良い。また注視点などの特定の位置を仮想視点が注視するように各仮想視点のカメラパラメータを生成してもよいし、過去に生成した仮想視点のカメラパスなどの情報から各仮想視点のカメラパラメータを取得するようにしても良い。
【００４１】
また、評価部１０３は、仮想視点における仮想視点画像の画質に対する評価値を算出できればよい。評価値はＰＳＮＲに限るものではなく、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）やＳＳＩＭ（Ｓｔｒｕｃｔｕｒｅ  Ｓｉｍｉｌａｒｉｔｙ）など画質評価に用いられる評価値であればよい。仮想視点の評価値はシーンごとの評価値の平均値に限る必要はなく、最大値や最小値、分散値などの統計量であってもよいし、シーンの重要度に応じた重み付き和であってもよい。また、仮想視点における仮想視点画像の画質の評価値は、仮想視点画像と正解画像とを比較して求めることに限らない。例えば、現フレームより前のフレーム（前フレーム）における仮想視点画像中の特徴点が現フレームにおける仮想視点画像中のどの位置に移動するのかを、前フレームにおける撮像装置や仮想プレーヤの動きから予測する。この予測した位置を予測位置と称する。そして現フレームにおける仮想視点画像から実際に検出した特徴点の位置と該特徴点の予測位置との差（予測誤差）を求め、それぞれの特徴点について求めた予測誤差の統計量（平均や分散）を評価値とする。
【００４２】
また、環境情報は、競技場に実際に配置されたそれぞれの撮像装置による撮像画像を含んでも良い。このような場合、仮想視点における仮想視点画像は、環境情報に含まれている撮像画像に基づいて生成すればよい。また、正解画像の代わりに撮像画像を用いても良い。
【００４３】
また上記のように、仮想視点画像を生成する方法は、非特許文献１に記載の方法に限らない。例えば、被写体の３次元形状の復元を行って任意の視点からの見えを再現するモデルベースの手法であっても良いし、画像の変形や合成により任意の視点からの見えを再現するイメージベースの手法であっても良い。
【００４４】
また、仮想視点画像の生成過程において生成した仮想競技場及び仮想プレーヤ（これらを纏めて仮想物体と称する）の３次元形状の正確性を評価し、該評価に応じて撮像装置の配置を評価するようにしても良い。つまり、仮想視点から見た仮想物体の３次元形状と、該仮想視点の仮想視点画像を生成するために使用する撮像装置（対応撮像装置）の仮想空間の画像から復元した仮想物体の３次元形状と、の形状の差異を求める。そして該求めた形状の差異が大きいほど、対応撮像装置に対する評価をより低評価とし、該求めた形状の差異が小さいほど、対応撮像装置に対する評価をより高評価とする。「形状の差異」は、例えば、仮想視点から見た仮想物体の３次元形状と、上記復元した仮想物体の３次元形状と、の間で最近傍の点や面間を対応付け、対応間の距離の平均値などの統計量（形状統計量）であっても良い。また、３次元形状に付与した色も考慮し、仮想視点から見た仮想物体の３次元形状と、上記復元した仮想物体の３次元形状と、の間で対応点や対応面の色の差の平均値などの統計量（色統計量）を更に加味しても良い。そのときに、形状統計量と色統計量との重み付け和を評価値とし、該評価値が大きいほど、対応撮像装置に対する評価をより低評価とし、該評価値が小さいほど、対応撮像装置に対する評価をより高評価とする。また、上記復元した仮想物体の３次元形状の未観測の表面ボクセルの数を評価値にしても良い。また、撮像装置や仮想プレーヤの動きから予測される３次元特徴点の動きと、上記の復元した３次元形状から検出した３次元特徴点の動きと、の差の統計量（平均や分散など）を評価値としても良い。また、仮想視点に映る被写体が視界に入っている撮像装置の台数やその統計量などを評価値としてもよい。
【００４５】
出力部１０４による各仮想視点に対する評価結果の出力形態は特定の出力形態に限らない。例えば、ユーザがキーボード１００１ａやマウス１００１ｂを操作することで仮想競技場内を移動可能な視点からの仮想空間（仮想競技場及び仮想プレーヤを含む仮想空間）の画像を生成して表示装置１００２に表示する。このとき、それぞれの仮想視点の位置若しくは該位置を中心とする規定サイズの領域を該仮想視点に対する評価値に応じた色や透明度で描画する。
【００４６】
また、それぞれの仮想視点の位置姿勢を実際の競技場における位置姿勢に変換しておき、ＨＭＤの視界に入る仮想視点の位置若しくは該位置を中心とする規定サイズの領域を該仮想視点に対する評価値に応じた色や透明度で描画するようにしても良い。これにより、ＨＭＤを自身の頭部に装着したユーザは、実際の競技場を、仮想視点の位置若しくは該位置を中心とする規定サイズの領域が該仮想視点に対する評価値に応じた色や透明度で描画された状態で観察することができる。これは、ＨＭＤが光学シースルー方式であってもビデオシースルー方式であっても同様である。また、ＨＭＤの代わりにスマートフォンなどの機器であっても良い。
【００４７】
また、出力部１０４は、それぞれの仮想視点のカメラパラメータと、該仮想視点に対する評価値と、を対応付けたテキスト情報を記憶装置１７や外部の装置に対して出力するようにしても良い。
【００４８】
また、評価値に応じた色の決定方法についても、上記の式（１）に示した方法に限らない。また、評価値の最大値に対応する色、評価値の最小値に対応する色、についても第１の実施形態で説明した色に限らない。例えば、評価値が取り得る最大値から最小値までの区間を複数の部分区間に分割すると共に、それぞれの部分区間に対応する色を割りあてておく。そして、着目仮想視点に対応する色を決定する場合には、該着目仮想視点の評価値が属する部分区間を特定し、該特定した部分区間に割り当てられている色を着目仮想視点に対する色とする。なお、部分空間によっては色を割り当てなくても良い。また、評価値に応じて色を変えるのではなく、評価値に応じて網掛けなどのパターンを変えても良い。また、評価値の等高線を描いてもよい。また、評価結果を区別可能にするための点数、文字、記号または画像により示してもよい。
【００４９】
このように、本実施形態によれば、仮想視点画像の画質に対する評価値を可視化することで、作業者が画質の低い仮想視点を選ばなくなるため、仮想視点のカメラパスを決定する作業の効率が向上し、作業時間が短縮される。
【００５０】
［第２の実施形態］
本実施形態を含め、以下の各実施形態や変形例では、第１の実施形態との差分について重点的に説明し、特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、仮想競技場に対して設定したカメラパスにおける仮想視点画像の画質に応じた指標をユーザに提示する。カメラパスの設定時にこのような指標が提示されるため、カメラパス決定の作業効率が向上する。
【００５１】
本実施形態に係る本体装置１の機能構成例について、図６のブロック図を用いて説明する。入力部２０５は、仮想競技場における仮想視点の移動軌跡を示すカメラパスを入力する。カメラパスは、該カメラパス上のそれぞれの仮想視点の「カメラパラメータと時刻のセット」を含むものである。カメラパスは、例えば、図５に示す如く、ＧＵＩ２００３上で設定することができる。図５のＧＵＩ２００３には、ユーザがキーボード１００１ａやマウス１００１ｂを操作して設定した視点から見た仮想競技場の画像が表示されている。ユーザはキーボード１００１ａやマウス１００１ｂを操作して仮想視点の移動軌跡を示すカメラパス２００９を設定する。入力部２０５は、このようにして設定された仮想視点のカメラパスを入力する。なお、入力部２０５による仮想視点のカメラパスの取得方法はこのような取得方法に限らない。例えば、入力部２０５は、予め作成されたカメラパスを記憶装置１７や外部の装置から取得するようにしても良い。
【００５２】
評価部２０３は、仮想視点ごとの評価結果に加えて、カメラパスに対する評価結果を求める。出力部２０４は、評価部２０３による仮想視点ごとの評価結果に加えて、カメラパスに対する評価結果を表示装置１００２に画像や文字として出力する。
【００５３】
次に、本実施形態に係る本体装置１の動作について、図７のフローチャートに沿って説明する。図７において図４に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
【００５４】
ステップＳ２０５０では、入力部２０５は、仮想視点のカメラパスにおける各セットのうち未選択の１つを選択セットとして入力する。ここで、選択セットに対応する仮想視点を選択仮想視点、選択セットに含まれている時刻をｔとする。
【００５５】
ステップＳ２０６０で評価部２０３は、ステップＳ１０４０で求めた「時刻ｔにおけるシーンについて求めたそれぞれの仮想視点の評価値」のうち、選択仮想視点の近傍に位置する仮想視点について求めた評価値を、選択仮想視点の評価値として取得する。若しくは評価部２０３は、選択仮想視点の近傍に位置する仮想視点について求めた評価値を用いて、選択仮想視点の評価値を補間する。
【００５６】
ステップＳ２０７０では、出力部２０４は、仮想視点ごとの評価値を可視化して表示装置１００２の表示画面に表示すると共に、選択仮想視点の評価値を可視化して表示装置１００２の表示画面に表示する。
【００５７】
例えば、図５に示す如く、ある視点から見た仮想競技場の画像をＧＵＩ２００３に表示している場合には、各仮想視点の位置に対応する画素位置における画素の色を第１の実施形態と同様に決定して描画する。図５では、評価値が比較的高い仮想視点の領域２００６と、評価値が比較的低い仮想視点の領域２００７と、が可視化されている。
【００５８】
更に本実施形態では、カメラパス２００９上の各セットに対応する位置には、該セット中のカメラパラメータが示す位置姿勢でもってオブジェクト（図５では四角錐台）を配置すると共に、オブジェクト間を線で結ぶ。オブジェクトとして四角錐台を用いる場合、例えば、仮想視点の位置に、仮想視点の視野を表す四角錘台を仮想視点の向きに合わせて３次元的に描画する。また、四角錐台は、該四角錐台に対応する仮想視点について求めた評価値に応じた色で描画する。また、四角錐台間を結ぶ直線については、例えば、一端側から他端側に向けて、一端側の仮想視点の評価値の色から他端側の仮想視点の評価値の色へとグラデーションするように描画する。
【００５９】
また、カメラパス２００９上のそれぞれの仮想視点若しくはユーザがキーボード１００１ａやマウス１００１ｂを操作して画面上で指定した仮想視点に対する評価値に応じた指標を指標２０１０として表示しても良い。指標２０１０は、例えば、評価値がθ１以上であれば「○」、θ２（θ２＜θ１）未満であれば「×」、θ１未満且つθ２以上であれば「△」とする。
【００６０】
そしてステップＳ２０８０では入力部２０５は、仮想視点のカメラパスにおける全てのセットを選択セットとして選択したか否かを判断する。この判断の結果、全てのセットを選択セットとして選択した場合には、図７のフローチャートに従った処理は終了する。一方、未だ選択セットとして選択していないセットが残っている場合には、処理はステップＳ２０８０を介してステップＳ２０５０に戻る。
【００６１】
ユーザはこのような表示装置１００２の表示画面を見れば、領域２００６の内側で仮想視点のカメラパスを作るように検討すればよいことが分かるため、カメラパス決定の作業効率が向上する。
【００６２】
なお、本実施形態では、時刻は、カメラパス上の各仮想視点に対応するシーンを特定するためのインデックスとして使用しているため、該時刻は厳密な時刻でなくても良いし、適当なインデックスであっても良い。
【００６３】
＜変形例＞
仮想視点のカメラパスの入力方法は上記の通り、特定の入力方法に限らない。例えば、キーボード１００１ａやマウス１００１ｂに限らず、３Ｄマウスやジョイスティック、ゲームのコントローラ、カメラや３次元センサなどを用いて入力しても良い。
【００６４】
また、カメラパス２００９上の各仮想視点のカメラパラメータに含まれている時刻は、撮像装置による仮想空間の撮像と同期していればよい。然るに、時刻を一時停止させた状態で複数の仮想視点のカメラパラメータを入力してもよいし、早送りや巻き戻しをした状態で仮想視点のカメラパラメータを入力してもよい。また、ユーザがカメラパスを作成するために入力可能な仮想視点を、該仮想視点の評価値に応じて制限しても良い。例えば、ユーザが仮想視点を入力した場合、該仮想視点に対する評価値を求め、該求めた評価値が閾値以下であれば、該入力をキャンセルして、カメラパスに該入力した仮想視点が使用できないようにしても良い。また例えば閾値以下の評価値の仮想視点の入力を受け付けなくしてもよい。
【００６５】
また、出力部２０４による評価値の可視化方法として、第１の実施形態のように２次元的に表示しても良いし、図５のように３次元的に表示しても良い。また、指標の提示方法も図５の指標２０１０のような記号に限らず、他の図形や画像、テキストや音声であってもよい。また、入力した仮想視点の評価値が閾値以下のときに音や画像で警告を出力してもよい。また、指標を提示する条件も上記のような条件に限らない。例えば、評価値が閾値より低いときだけ指標を提示してもよいし、評価値に応じて指標が提示されればよい。つまり、出力部２０４による情報の出力形態は特定の出力形態に限らず、テキストや音声でもって出力しても良い。
【００６６】
また、第２の実施形態に加え、不図示の仮想視点画像生成システムに、本実施形態において入力したカメラパスや仮想視点画像生成に必要なデータを入力して、仮想視点画像を生成してもよい。これは、以下の実施形態や変形例についても同様である。
【００６７】
［第３の実施形態］
本実施形態では、カメラパス上におけるそれぞれの仮想視点に対する評価値を、第２の実施形態とは異なる方法でもって求める。例えば、カメラパスに対する評価結果を第２の実施形態で説明した方法を用いて求めるモードＡ、カメラパスに対する評価結果を本実施形態に係る方法を用いて求めるモードＢ、の何れかを選択するための画面を表示装置１００２に表示する。そしてユーザがキーボード１００１ａやマウス１００１ｂを用いて該画面を操作して選択したモードに対応する方法でもってカメラパスに対する評価結果を求める。評価部２０３はモードＡが選択された場合には、第２の実施形態で説明した動作を行うが、モードＢが選択された場合には、図８のフローチャートに従った処理を行う。
【００６８】
ステップＳ３０２０では、評価部２０３は、競技場に実際に設けられたそれぞれの撮像装置による撮像画像から、実際の各プレーヤの位置を動的情報として取得する。それぞれの撮像装置は同期をとって連続的に撮像を行っており、時刻ｔ１における撮像画像、時刻ｔ２における撮像画像、時刻ｔ３における撮像画像、…というように各時刻におけるシーンを撮像している。評価部２０３は、時刻ｔ１においてそれぞれの撮像装置が撮像した撮像画像から、例えば非特許文献２に記載の方法により、時刻ｔ１における各プレーヤの位置を動的情報として取得する。同様にして評価部２０３は、時刻ｔ２，ｔ３，…というように各時刻における各プレーヤの位置を動的情報として取得する。
【００６９】
ステップＳ３０５０では、入力部２０５は、仮想視点のカメラパスにおける各セットのうち未選択の１つを選択セットとして入力する。ここで、選択セットに対応する仮想視点を選択仮想視点、選択セットに含まれている時刻をｔとする。
【００７０】
ステップＳ３０６０では、評価部２０３は先ず、プレーヤごとに、時刻ｔにおいて該プレーヤを画角に含む撮像装置の数に基づいて該プレーヤの評価値を求める。着目プレーヤの場合、時刻ｔにおける着目プレーヤの位置を画角に含む撮像装置の台数Ｎを計数し、全撮像装置の台数に対する該計数した台数Ｎの割合を、着目プレーヤの評価値とする。着目プレーヤが撮像装置の画角に含まれているか否かについては、例えば、該撮像装置のカメラパラメータに基づいて、着目プレーヤの位置を該撮像装置の撮像面に投影した投影位置を求める。そしてこの求めた投影位置が該撮像装置の画角に含まれていれば、着目プレーヤが撮像装置の画角に含まれていると判断する。そして評価部２０３は、選択仮想視点の画角に入っているプレーヤの評価値の平均値を、該選択仮想視点に対する評価値として求める。
【００７１】
＜変形例＞
動的情報として、撮像装置による撮像と同期した各プレーヤの位置が取得できればよい。撮影したデータの時刻は、仮想視点画像の仮想視点のカメラパスの時刻制御に合わせてあればよく、毎フレームであってもよいし、飛び飛びでもよいし、巻き戻した時刻であってもよい。
【００７２】
また、競技場における各プレーヤの位置の算出方法は上記の算出方法に限らず、プレーヤの位置が取得できればよい。例えば、複数の撮像装置で撮像した撮像画像から特徴点を検出して対応付けることによってプレーヤの３次元位置を算出してもよいし、３次元センサ等でプレーヤを計測してその３次元位置を取得してもよい。また、実際のプレーヤにＧＰＳや慣性センサ等のセンサを取り付けて、該センサから取得した計測データをプレーヤの位置として取得するようにしても良い。また、動的情報はプレーヤの位置に限らず、プレーヤの姿勢を含んでいてもよいし、３次元形状や３次元点群、ＲＧＢ−Ｄデータであってもよい。このように、動的情報の取得方法については特定の取得方法に限らない。
【００７３】
また、評価部２０３による評価値の取得方法については上記の方法に限らず、動的情報に基づいて仮想視点画像の予測画質に対する評価値を取得できればよい。例えばプレーヤの位置を投影して可視判定するのではなく、プレーヤを表す３次元形状を撮像装置や仮想視点の画像面に投影し、プレーヤ同士のオクルージョンを考慮して可視判定をしてもよい。またプレーヤを大きく撮像していれば仮想視点画像でのプレーヤの解像度も高くなって画質が向上するため、プレーヤの撮影画素数に基づいて評価してもよい。例えばプレーヤの撮影画素数に対して単調増加する関数を評価関数として利用してもよいし、上記の台数に関する評価関数など複数の評価関数と重み付き加算して利用してもよい。さらに、動的情報に基づいてプレーヤの位置に仮想プレーヤを配置し、カメラパス上の各仮想視点についての評価値を、第１の実施形態のように仮想視点画像と正解画像とに基づいて求めても良い。仮想プレーヤは、ＣＧに限らず過去に計測した３次元形状や画像を用いてもよい。このように、本実施形態によれば、カメラパス入力時に仮想視点画像の画質に関する指標が提示されるため、カメラパス決定の作業効率が向上する。
【００７４】
なお、上記の実施形態や変形例は、プレーヤが存在する競技場における仮想視点画像の画質を評価するものであったが、フィールドは競技場に限らないし、フィールドに配置するものはプレーヤに限らず他の被写体であっても良い。また、上記の実施形態や変形例は、その一部若しくは全部を適宜組み合わせて使用しても良いし、選択的に使用しても良い。
【００７５】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７６】
１０１：第１取得部  １０２：第２取得部  １０３：評価部  １０４：出力部
【図１】
2018206025.tif 000003
【図２】
2018206025.tif 000004
【図３】
2018206025.tif 000005
【図４】
2018206025.tif 000006
【図５】
2018206025.tif 000007
【図６】
2018206025.tif 000008
【図７】
2018206025.tif 000009
【図８】
2018206025.tif 000010