(57)【要約】【課題】仮想視点画像の生成に用いる複数の撮像装置の適切な配置情報を出力する。【解決手段】仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得する制約情報取得部と、取得した制約情報に基づく配置情報であって、複数の撮像装置の配置に係る配置情報を取得する配置情報取得部と、配置情報取得部が取得した複数の撮像装置の配置情報を出力する出力部とを有することによって課題を解決する。【選択図】図２
2019092007.tif 000002
【特許請求の範囲】
【請求項１】
仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得する制約情報取得手段と、
前記制約情報取得手段により取得した情報に基づく配置情報であって、前記複数の撮像装置の配置に係る配置情報を取得する配置情報取得手段と、
前記配置情報取得手段が取得した前記複数の撮像装置の配置情報を出力する出力手段とを有することを特徴とする情報処理装置。
【請求項２】
前記複数の撮像装置の撮影対象である被写体の３次元情報または動き情報を取得する環境情報取得手段を有し、
前記配置情報取得手段は、前記環境情報取得手段及び前記制約情報取得手段により取得した情報に基づく前記配置情報を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記配置情報取得手段が取得する前記複数の撮像装置の配置情報を評価する評価手段を有し、
前記出力手段は、前記評価手段による評価結果に基づいて、前記配置情報を出力することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記評価手段は、前記複数の撮像装置の撮像画像から生成される仮想視点画像の品質を評価することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記評価手段は、前記複数の撮像装置の撮像画像から生成される３次元形状の正確性を評価することを特徴とする請求項３又は４に記載の情報処理装置。
【請求項６】
前記配置情報取得手段は、前記配置情報として、各撮像装置の位置姿勢、又は各撮像装置の位置姿勢及び撮像装置の設置台数を示す情報を取得することを特徴とする請求項１〜５の何れか１項に記載の情報処理装置。
【請求項７】
前記出力手段は、複数生成された前記複数の撮像装置の配置候補の前記評価手段での評価に応じて、生成された配置候補の内の１つの配置候補を前記複数の撮像装置の配置情報として出力することを特徴とする請求項３〜５の何れか１項に記載の情報処理装置。
【請求項８】
前記評価手段は、前記配置候補に従って設置した前記複数の撮像装置で撮像される撮像画像のシミュレーション画像を用いて生成した仮想視点画像と、前記仮想視点から撮像されるシミュレーション画像とを比較し、該配置候補の評価値を算出することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記評価手段は、前記配置候補に従って設置した前記複数の撮像装置で撮像される撮像画像のシミュレーション画像から生成された３次元形状と、シミュレーションで用いた３次元形状とを比較し、該配置候補の評価値を算出することを特徴とする請求項７に記載の情報処理装置。
【請求項１０】
前記環境情報取得手段が取得する情報は、静的被写体の３次元情報と、動的被写体の３次元情報及び動き情報とを含むことを特徴とする請求項２に記載の情報処理装置。
【請求項１１】
前記制約情報は、前記撮像装置の設置可能範囲または仮想視点画像の仮想視点の可動範囲を含むことを特徴とする請求項１〜１０の何れか１項に記載の情報処理装置。
【請求項１２】
前記制約情報は、前記撮像装置の設置台数を含むことを特徴とする請求項１〜１１の何れか１項に記載の情報処理装置。
【請求項１３】
前記制約情報は、配置が決定している前記撮像装置の配置情報を含むことを特徴とする請求項１〜１２の何れか１項に記載の情報処理装置。
【請求項１４】
前記配置情報取得手段は、配置が決定している前記撮像装置の配置情報に基づいて、前記複数の撮像装置の内の一部の前記撮像装置の配置を算出することを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
前記配置情報取得手段は、配置が決定している前記撮像装置の配置情報に基づいて、仮想視点画像の生成に用いる撮像装置を選択することを特徴とする請求項１３に記載の情報処理装置。
【請求項１６】
情報処理装置が実行する情報処理方法であって、
仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得する制約情報取得ステップと、
前記制約情報取得ステップにて取得した情報に基づく配置情報であって、前記複数の撮像装置の配置に係る配置情報を取得する配置情報取得ステップと、
前記配置情報取得ステップにて取得した前記複数の撮像装置の配置情報を出力する出力ステップとを有することを特徴とする情報処理方法。
【請求項１７】
コンピュータを、請求項１〜１５の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
複数の撮像装置を異なる位置に設置して多視点から被写体を撮像し、撮像により得られた複数の視点画像を用いて、撮像装置の設置位置から撮影した画像だけでなく、視点を任意に変更可能な仮想視点画像や３次元モデルを生成する技術が注目されている。複数の視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができる。特許文献１には、同一の範囲を取り囲むように複数の撮像装置を配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の視点画像から生成する仮想視点画像の品質は、撮像装置の配置、被写体の位置や形状、仮想視点の位置姿勢などによって変動する。撮像装置を設置する会場の物理的な制約、被写体の位置や形状、及び仮想視点の位置姿勢等を考慮して、高品質な仮想視点画像が得られる複数の撮像装置の適切な配置を決定するには、試行錯誤が必要であり非常に手間がかかる。本発明は、このような事情に鑑みてなされたものであり、仮想視点画像の生成に用いる複数の撮像装置の適切な配置情報を出力することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る情報処理装置は、仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得する制約情報取得手段と、前記制約情報取得手段により取得した情報に基づく配置情報であって、前記複数の撮像装置の配置に係る配置情報を取得する配置情報取得手段と、前記配置情報取得手段が取得した前記複数の撮像装置の配置情報を出力する出力手段とを有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、仮想視点画像の生成に用いる複数の撮像装置の適切な配置情報を出力することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態における情報処理装置のハードウェア構成の例を示す図である。
【図２】本実施形態における情報処理装置のソフトウェア構成の例を示す図である。
【図３】本実施形態における設置作業支援システムの例を示す図である。
【図４】第１の実施形態における情報処理装置の情報処理の例を示すフローチャートである。
【図５】第１の実施形態における配置情報取得処理の例を示すフローチャートである。
【図６】第１の実施形態における評価処理の例を示すフローチャートである。
【図７】第２の実施形態における情報処理装置の情報処理の例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の情報処理装置１００は、静止画及び動画の何れについても処理可能である。
【０００９】
（第１の実施形態）
本発明の第１の実施形態について説明する。第１の実施形態では、情報処理装置が、良好な品質の仮想視点画像が得られるように、撮像装置の最適な配置を決定し、決定した撮像装置の配置情報をユーザ（設置者）に対して提供する例について説明する。第１の実施形態において、複数の撮像装置の配置に係る配置情報は、撮像装置を設置する位置姿勢（位置及び姿勢（向き））の情報を含む。
【００１０】
本実施形態における情報処理装置の構成について説明する。
＜ハードウェア構成＞
図１は、本実施形態における情報処理装置１００のハードウェア構成の一例を示すブロック図である。情報処理装置１００は、ハードウェア構成として、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、通信インターフェース（通信Ｉ／Ｆ）１０４、表示装置１０５、入力装置１０６、及びハードディスクドライブ（ＨＤＤ）１０７を有する。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、通信Ｉ／Ｆ１０４、表示装置１０５、入力装置１０６、及びＨＤＤ１０７は、システムバス１０８を介して通信可能に接続される。
【００１１】
ＣＰＵ（Central Processing Unit）１０１は、システムバス１０８に接続された情報処理装置１００の各種デバイスの制御を行う。ＲＯＭ（Read Only Memory）１０２は、ＢＩＯＳ（Basic Input Output System）のプログラムやブートプログラムを記憶する。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の主記憶装置として使用される。通信Ｉ／Ｆ１０４は、情報処理装置１００をネットワークに接続し、ネットワークを介した情報通信を制御する。情報処理装置１００は、ネットワークに有線を介して接続されていてもよいし、無線を介して接続されていてもよいし、有線及び無線を介して接続されていてもよい。
【００１２】
表示装置１０５は、ＣＰＵ１０１等における処理結果を表示する。入力装置１０６は、操作者による入力等を受け付ける。入力装置１０６は、例えば、接触式センサ、マウス、キーボード、リモコン等である。ＨＤＤ１０７は、オペレーションシステム（ＯＳ）のプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。なお、ＨＤＤ１０７に限らず、ソリッドステートドライブ（ＳＳＤ）等の記憶装置であってもよい。
【００１３】
前述のように構成された情報処理装置１００において、情報処理装置１００の電源がＯＮになると、ＣＰＵ１０１は、ＲＯＭ１０２に格納されたブートプログラムに従って、ＨＤＤ１０７からＯＳのプログラム等をＲＡＭ１０３に読み込む。ＣＰＵ１００は、ＲＡＭ１０３に読み込んだＯＳのプログラム等に従い処理を実行することによって、情報処理装置１００の機能を実現する。つまり、情報処理装置１００のＣＰＵ１０１がプログラムに基づき処理を実行することによって、情報処理装置１００のソフトウェア構成及び後述するフローチャートの処理が実現される。
【００１４】
＜ソフトウェア構成＞
図２は、本実施形態における情報処理装置１００のソフトウェア構成の一例を示すブロック図である。情報処理装置１００は、ソフトウェア構成として、環境情報取得部２０１、制約情報取得部２０２、評価部２０３、配置情報取得部２０４、及び出力部２０５を有する。
【００１５】
環境情報取得部２０１は、仮想視点画像の生成対象である被写体の環境情報を取得する。本例における被写体は、静的被写体と動的被写体との２種類からなる。環境情報取得部２０１は、被写体の環境情報として、静的被写体である会場の３次元情報と、動的被写体である人などの動的物体の３次元情報及び動き情報とを取得する。３次元情報は、３次元形状とテクスチャとを含む。
【００１６】
制約情報取得部２０２は、撮像装置を配置する際の制約を示す制約情報を取得する。本実施形態では制約情報取得部２０２は、制約情報として、撮像装置の設置可能範囲及び設置台数と、仮想視点の可動範囲とを取得する。撮像装置の設置可能範囲は、静的被写体である会場において撮像装置を設置可能な位置及び向きの範囲である。仮想視点の可動範囲は、仮想視点画像の生成における仮想視点の位置姿勢及び画角の取り得る範囲である。
【００１７】
評価部２０３は、生成した仮想視点画像の品質を評価することで、撮像装置の配置情報を評価する。評価部２０３は、配置情報算出部２０４で取得する撮像装置の配置にて、各撮像装置で撮像する画像のシミュレーション画像から生成した仮想視点画像と、生成した仮想視点画像と同じ仮想視点からのシミュレーション画像（正解画像）を比較し評価値を算出する。評価値は、例えば、正解画像と生成した仮想視点画像との差分から算出したＰＳＮＲ値（ピーク信号対雑音比）である。シミュレーション画像は、環境情報取得部２０１で取得した環境情報に基づいて生成される。また、仮想視点画像を生成するための仮想視点は、制約情報取得部２０２で取得した制約情報に基づいて、仮想視点の可動範囲内でランダムに仮想視点を生成して用いる。
【００１８】
配置情報取得部２０４は、環境情報取得部２０１で取得した環境情報及び制約情報取得部２０２で取得した制約情報に基づく配置情報であって、多視点から被写体を撮像するための複数の撮像装置の配置に係る配置情報を取得する。配置情報取得部２０４は、撮像装置の設置可能範囲内の空間（配置パラメータ空間）を離散化し、評価部２０３で算出する評価値が最大となる撮像装置の配置（位置姿勢）を探索することで、設置する撮像装置の配置情報を取得する。
【００１９】
出力部２０５は、配置情報取得部２０４で取得した撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢の情報を出力する。出力部２０５は、評価部２０３による評価結果に基づいて、配置情報取得部２０４で取得した撮像装置の配置情報を出力する。出力部２０５は、例えば情報処理装置１００と通信可能に接続された外部の出力装置に、取得された撮像装置の配置情報を送信する。情報処理装置１００から撮像装置の配置情報を受信した出力装置が、受信した撮像装置の配置情報を可視化してユーザ（設置者）に提示することで、ユーザ（設置者）は、算出された各撮像装置の位置姿勢で複数の撮像装置を設置することが可能となる。
【００２０】
なお、図２に示した構成要素についてソフトウェア構成として説明したが、図２に示したすべての構成要素又は一部の構成要素をハードウェア構成として情報処理装置１００に実装するようにしても良い。この場合のハードウェアは、例えば、ＡＳＩＣ、ＦＰＧＡまたはＧＰＵ等であり得る。以下の他の実施形態においても同様である。
【００２１】
次に、本実施形態における情報処理装置１００を適用した設置作業支援システムについて説明する。図３（Ａ）及び図３（Ｂ）は、本実施形態における設置作業支援システムの例を示す図である。図３（Ａ）及び図３（Ｂ）に示す設置作業支援システムは、多視点から被写体を撮像するための複数の撮像装置の配置を決定し、撮像装置を設置する位置姿勢の情報をユーザ（設置者）に対して提供することで、ユーザ等による撮像装置の設置作業を支援する。
【００２２】
本実施形態における設置作業支援システムは、図３（Ａ）及び図３（Ｂ）に示すように、情報処理装置１００、入出力装置３０２、及び出力装置３１２を有する。情報処理装置１００は、環境情報及び制約情報に基づいて、撮像装置の配置情報を取得する。また、情報処理装置１００は、取得した撮像装置の配置情報を出力装置３１２に送信する。撮像装置は、例えばカメラである。入出力装置３０２は、環境情報や制約情報を入出力するための装置であり、例えば接触入力機能を有するディスプレイである。
【００２３】
出力装置３１２は、情報処理装置１００からの撮像装置の配置情報を受信し、受信した撮像装置の配置情報を可視化してユーザ（設置者）３１１に提示する。出力装置３１２は、例えば無線通信機能を有するタブレット型計算機である。出力装置３１２は、例えば受信した撮像装置の配置情報、環境情報、出力装置３１２の位置姿勢に基づき、仮想現実感（ＶＲ：Virtual Reality）技術によって撮像装置の設置シミュレーション画像を提示する。出力装置３１２の位置姿勢は、ＧＰＳ（Global Positioning System）及びジャイロセンサで取得する。
【００２４】
設置支援システムにおいて、ユーザ３０１が、入出力装置３０２に表示された仮想視点画像を生成する被写体の環境情報３０３に対して、撮像装置の設置可能範囲３０４、仮想視点の可動範囲３０５、撮像装置の注視点３０６等の制約情報を入力する。ここで、注視点３０６は、複数の撮像装置の光軸が共通の位置に向ける位置である。情報処理装置１００は、ユーザ３０１の指示に従って、設置する撮像装置の配置情報を算出する。また、情報処理装置１００は、算出した撮像装置の配置情報を出力装置３１２に送信する。撮像装置の配置情報が算出できたら、ユーザ（設置者）３１１は、受信した撮像装置の配置情報に基づいて出力装置３１２に可視化表示される位置姿勢に従って、撮像装置３１３を現実の環境３１４に設置する。ユーザ３０１、３１１は、複数の撮像装置の配置を試行錯誤することなく、情報処理装置１００で取得された撮像装置の配置情報に従って撮像装置を設置すれば良いため、仮想視点画像の生成に用いる複数の撮像装置の設置作業の効率を向上させることができる。
【００２５】
次に、第１の実施形態における情報処理装置１００が撮像装置の配置を決定して配置情報を出力する情報処理について説明する。図４は、第１の実施形態における情報処理装置１００の情報処理の例を示すフローチャートである。なお、以降に示すフローチャートは、図７のＣＰＵ１０１がＲＯＭ１０２またはＨＤＤ１０７に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。また、以降に示すフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣ、ＦＰＧＡまたはＧＰＵである。
ステップＳ４０１では、環境情報取得部２０１は、環境情報として、静的被写体の３次元情報と、動的被写体の３次元情報及び動き情報とを取得する。
ステップＳ４０２では、制約情報取得部２０２は、制約情報として、撮像装置の設置可能範囲及び設置台数と、仮想視点の可動範囲とを取得する。
【００２６】
次に、ステップＳ４０３では、配置情報取得部２０４は、ステップＳ４０１、Ｓ４０２において取得した環境情報及び制約情報に基づいて、複数の撮像装置の配置に係る配置情報を取得する配置情報取得処理を行う。ステップＳ４０３における配置情報取得処理では、配置情報取得部２０４は、環境情報及び制約情報に基づいて、複数の撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢を示す情報を取得する。ステップＳ４０３における配置情報取得処理の詳細は、図５を参照して後述する。
【００２７】
次に、ステップＳ４０４では、出力部２０５は、ステップＳ４０３において取得した撮像装置の配置情報（設置する撮像装置の位置姿勢の情報）を出力装置に送信する。出力装置では、受信した撮像装置の配置情報を可視化してユーザ（設置者）に提示する。
【００２８】
図４に示したステップＳ４０３における配置情報取得処理について、図５を参照して説明する。図５は、第１の実施形態における配置情報取得処理の例を示すフローチャートである。
配置情報取得処理を開始するとステップＳ５０１へ進み、配置情報取得部２０４は、ステップＳ５０１〜Ｓ５０５の処理（ループ処理Ａ）を所定の回数繰り返して実行する。
【００２９】
ステップＳ５０２では、配置情報取得部２０４は、複数の撮像装置の配置候補を複数生成する。具体的には、配置情報取得部２０４は、撮像装置の設置可能範囲内の空間（配置パラメータ空間）を離散化し、配置パラメータ（位置姿勢）の組み合わせを配置候補として生成する。配置パラメータの組み合わせにおける要素数は、ステップＳ４０２において制約情報として取得した撮像装置の設置台数と同数である。配置情報取得部２０４は、ステップＳ５０１〜Ｓ５０５のループ処理Ａの初回では配置パラメータ空間を粗く離散化し、ループ処理Ａを繰り返すたびに評価値が高い配置パラメータの組み合わせに近い配置パラメータ空間を細かく離散化する。こうすることで配置情報取得処理では、ループ処理Ａを実行するたびに配置候補を生成する配置パラメータ空間を細かくしていき、粗から密に（Coarse to Fine）最適な配置パラメータの組み合わせを探索する。
【００３０】
ステップＳ５０３では、評価部２０３は、ステップＳ５０２において生成した各配置候補で生成した仮想視点画像の品質を評価し、撮像装置の配置を評価する評価処理を行う。ステップＳ５０３における評価処理では、評価部２０３は、ステップＳ５０２において生成した各配置候補で仮想視点画像を生成した場合の仮想視点画像の品質を評価し、評価値を算出する。ステップＳ５０３における評価処理の詳細は、図６を参照して後述する。
【００３１】
ステップＳ５０４では、配置情報取得部２０４は、ステップＳ５０２において生成した複数の配置候補の内から、ステップＳ５０３において算出した評価値が最大である配置候補を保存する。そして、ループ処理Ａの実行回数が所定の回数に達していない場合には、ステップＳ５０４において保存した配置候補に基づいて、配置情報取得部２０４が複数の撮像装置の配置候補を新たに複数生成して再びループ処理Ａの各処理を実行する。
【００３２】
ループ処理Ａの実行回数が所定の回数に達した場合にはステップＳ５０６へ進む。ステップＳ５０６では、配置情報取得部２０４は、ステップＳ５０４において保存した評価値が最大である配置候補を撮像装置の配置情報として返し、配置情報取得処理を終了する。この撮像装置の配置情報は、ステップＳ４０４において出力部２０５により出力される。
【００３３】
図５に示したステップＳ５０３における評価処理について、図６を参照して説明する。図６は、第１の実施形態における評価処理の例を示すフローチャートである。
ステップＳ６０１では、評価部２０３は、ステップＳ４０２において取得した制約情報に基づいて、評価用の仮想視点を１つ以上生成する。具体的には、評価部２０３は、制約情報として取得した仮想視点の可動範囲に基づいて、仮想視点の可動範囲内でランダムに仮想視点の位置姿勢及び画角を生成する。
【００３４】
ステップＳ６０１において評価用の仮想視点を生成するとステップＳ６０２へ進み、評価部２０３は、ステップＳ５０２において生成した各配置候補に対して、ステップＳ６０２〜Ｓ６０７の処理（ループ処理Ｂ）を実行する。評価部２０３は、１つの配置候補に対するステップＳ６０２〜Ｓ６０７の処理が完了すると、生成された複数の配置候補の内からステップＳ６０２〜Ｓ６０７の処理が未実行の配置候補を１つ選択してステップＳ６０２〜Ｓ６０７の処理を実行する。この動作を繰り返すことで、評価部２０３は、ステップＳ５０２において生成したすべての配置候補に対して、ステップＳ６０２〜Ｓ６０７の処理（ループ処理Ｂ）をそれぞれ実行する。
【００３５】
配置候補に対するループ処理Ｂを開始するとステップＳ６０３へ進み、評価部２０３は、ステップＳ６０１において生成した各仮想視点に対して、ステップＳ６０３〜Ｓ６０５の処理（ループ処理Ｃ）を実行する。評価部２０３は、１つの仮想視点に対するステップＳ６０３〜Ｓ６０５の処理が完了すると、生成した仮想視点の内からステップＳ６０３〜Ｓ６０５の処理が未実行の仮想視点を１つ選択してステップＳ６０３〜Ｓ６０５の処理を実行する。この動作を繰り返すことで、評価部２０３は、ステップＳ６０１において生成したすべての仮想視点に対して、ステップＳ６０３〜Ｓ６０５の処理（ループ処理Ｃ）をそれぞれ実行する。
【００３６】
ステップＳ６０４では、評価部２０３は、注目配置候補に撮像装置を設置して注目仮想視点からの仮想視点画像を生成した場合の評価値を算出する。注目配置候補は、ステップＳ５０２において生成した複数の配置候補の内で、ステップＳ６０２〜Ｓ６０７の処理（ループ処理Ｂ）の実行対象となっている配置候補である。また、注目仮想視点は、ステップＳ６０１において生成した仮想視点の内で、ステップＳ６０３〜Ｓ６０５の処理（ループ処理Ｃ）の実行対象となっている仮想視点である。
【００３７】
ステップＳ６０４での処理においては、評価部２０３は、ステップＳ４０１において環境情報として取得した静的被写体の３次元情報と、動的被写体の３次元情報及び動き情報とに基づいて、以下に示すシミュレーション画像を生成する。評価部２０３は、注目配置候補に撮像装置を設置した場合に撮像装置で撮像される第１のシミュレーション画像を生成する。さらに、評価部２０３は、評価時の正解画像として、注目仮想視点から撮像される第２のシミュレーション画像を生成する。また、評価部２０３は、生成した第１のシミュレーション画像を用いて、注目仮想視点からの仮想視点画像を生成する。そして、評価部２０３は、生成した仮想視点画像と正解画像とからＰＳＮＲ値を算出し、生成した仮想視点画像の品質の評価値とする。
【００３８】
なお、評価部２０３が仮想視点画像を生成する方法は、仮想視点からの見え方を再現できる方法であればどのような方法であってもよく、仮想視点画像を生成する公知の手法を任意に適用可能である。例えば、被写体の３次元復元を行って任意の視点からの見え方を再現するモデルベースの手法であってもよいし、画像の変形や合成により任意の視点からの見え方を再現するイメージベースの手法であってもよい。
【００３９】
ステップＳ６０１において生成したすべての仮想視点に対するステップＳ６０３〜Ｓ６０５の処理（ループ処理Ｃ）が完了すると、ステップＳ６０６へ進む。ステップＳ６０６では、評価部２０３は、各仮想視点における評価値の総和を求めて注目配置候補の評価値とする。
【００４０】
また、ステップＳ５０２において生成したすべての配置候補に対するステップＳ６０２〜Ｓ６０７の処理（ループ処理Ｂ）が完了すると、ステップＳ６０８へ進む。ステップＳ６０８では、評価部２０３は、ステップＳ６０６において得られた各配置候補の評価値を返し、評価処理を終了する。
【００４１】
第１の実施形態によれば、仮想視点画像の生成に用いる複数の撮像装置の適切な配置情報を出力することができる。また、撮像装置の配置情報をユーザ（設置者）に対して提供することで、ユーザは配置検討の試行錯誤をすることなく、複数の撮像装置を適切な配置で設置することができ、設置作業の効率を向上させ、設置作業の時間を短縮することができる。
【００４２】
なお、本実施形態では、撮像装置としてカメラを例に説明したが、カメラは、カラーカメラでもよいし、モノクロカメラでもよい。また、ＲＧＢ−Ｄカメラや３次元計測装置であってもよく、被写体を撮像できる装置であればよい。入出力装置３０２は、接触入力機能を有するディスプレイであるとしたが、環境情報及び制約情報が入力可能な装置であればよく、ペンタブレット等でもよい。また、入出力装置３０２の入力機能を、マウス、キーボード、スキャナ等で実現してもよい。出力装置３１２は、無線通信機能を有するタブレット型計算機であるとしたが、配置情報を可視化してユーザ（設置者）に提示できればよく、ＰＣとディスプレイやプリンタであってもよいし、スマートフォンでもよい。また、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を有する仮想現実感（ＶＲ）システムや拡張現実感（ＡＲ：Augmented Reality）システムを利用してもよい。
【００４３】
また、環境情報取得部２０１が取得する環境情報は、前述した例に限らず、評価部２０３で用いる画像の生成に必要な情報を有していればよく、コンピュータグラフィックス（ＣＧ）であっても、実物体を計測して作った３次元ビデオであってもよい。被写体を撮像した画像であってもよい。環境情報は、撮影対象と同種のコンテンツであることが望ましいが、異なっていてもよい。また、環境情報としてのコンテンツは、動き情報を有している方が望ましいが、有していなくてもよいし、複数のシーンの集合でもよい。
【００４４】
制約情報取得部２０２が取得する制約情報は、前述した例に加え、例えば撮像装置や仮想視点の解像度を含むようにしてもよい。制約情報として取得する撮像装置の設置可能範囲は、撮像装置を設置可能な離散的な位置及び向きの集合であってもよい。制約情報として取得する仮想視点の可動範囲は、離散的な仮想視点の位置及び向きと画角の組み合わせの集合であってもよい。制約情報として、ズーム値やＲＯＩ（Region of Interest）等の撮像時のパラメータを含んでもよい。また、注視点位置を取得し、撮像装置が所定の位置を注視するように撮像装置の配置を制約するようにしてもよい。
【００４５】
評価部２０３は、撮像装置の配置を評価し、評価値を算出できればよい。本実施形態では、各撮像装置で撮像する撮像画像のシミュレーション画像から生成した仮想視点画像と、生成した仮想視点画像と同じ仮想視点からのシミュレーション画像（正解画像）を比較しＰＳＮＲ値を評価値として算出した。評価値は、ＰＳＮＲ値に限るものではなく、ＭＳＥ（Mean Square Error）値やＳＳＩＭ（Structure Similarity）値等の画質評価に用いられる評価値であればよい。また、正解画像との比較ではなく、前フレームの生成画像と比較して評価値を求めるようにしてもよい。例えば、前フレームからの撮像装置や被写体の動きから予測される特徴点の動きと、実際に生成画像から検出した特徴点の動きとの差の統計量（平均や分散等）を評価値としてもよい。また、環境情報に基づいて生成したシミュレーション画像でなく、実際に撮像した画像を環境情報として取得して利用してもよい。
【００４６】
本実施形態では、評価用の仮想視点は、制約情報として取得した仮想視点の可動範囲内でランダムに生成したが、仮想視点からの画像を生成するパラメータであれば、どのようなものでも構わない。仮想視点の位置姿勢に加え、画角、ズーム値、焦点距離、解像度等のパラメータを含んでいてもよい。また、仮想視点は、仮想視点の可動範囲内で、ランダムに生成する例に限らず、一定間隔で均一に生成してもよいし、仮想視点画像の生成に用いたものを保存しておいて利用してもよい。
【００４７】
また、評価部２０３は、仮想視点画像を生成せずに、生成した３次元形状の正確性に基づいて撮像装置の配置を評価するようにしてもよい。シミュレーションで用いた３次元形状（基準モデル）と、シミュレーションした複数の撮像装置の画像から復元した３次元形状（生成モデル）とを比較して評価値を算出し、３次元復元に好適な撮像装置の配置を評価するようにしてもよい。３次元形状を比較する評価値は、形状の差異を表す評価値であればどのようなものでもよく、例えば、基準モデルと生成モデルとの再近傍の点や面間を対応付け、対応する点や面間の距離の平均値等の統計量であってもよい。さらに、３次元形状に付与した色も考慮して、基準モデルと生成モデルとの対応点や対応面の色の差の平均値等の統計量を評価値に加えてもよい。そのとき、形状の評価値と色の評価値との重み付け和を評価値としてもよい。また、基準モデルとの比較を行わずともよく、生成モデルの未観測の表面ボクセルの数を評価値としてもよい。また、仮想視点画像を生成するときと同様に、前フレームからの撮像装置や被写体の動きから予測される３次元特徴点の動きと、生成モデルから検出した３次元特徴点の動きとの差の統計量（平均や分散等）を評価値としてもよい。
【００４８】
配置情報取得部２０４が取得する撮像装置の配置情報は、撮像装置の位置姿勢に限らず、画角、ズーム値、解像度等の撮像するときのパラメータを含んでもよい。さらに、配置情報は、位置姿勢や画角等の配置パラメータだけでなく、位置姿勢のずれの許容範囲（曖昧性）を含めてもよい。ずれの許容範囲は、取得した配置パラメータの近傍パラメータの評価値に基づいて取得することが可能であり、許容範囲が取得できれば方法は任意である。例えば、取得した配置パラメータの評価値と近傍パラメータの評価値とを比較して閾値以内であれば、許容範囲に近傍パラメータを追加したり、近傍パラメータを含むように許容範囲を拡張したりすればよい。また、取得した配置パラメータの評価値及び近傍パラメータの評価値から評価値の分布を算出し、評価値の分布に基づいて所定の範囲内の評価値を有する近傍パラメータを含むように許容範囲を拡張してもよい。
【００４９】
本実施形態では、配置情報取得部２０４は、離散化した撮像装置の設置可能範囲内の空間（配置パラメータ空間）の離散度を、ループ処理Ａを繰り返すたびに変えながら、評価値が最大となる撮像装置の配置を探索した。さらに、高速に探索するために、離散度が粗い場合には評価時の画像サイズを縮小し、探索を進めて離散度を細かくするに従って画像サイズを大きくするようにしてもよい。また、離散度を変えずに探索してもよいし、どのようなパラメータ探索技術を用いてもよい。遺伝的アルゴリズム、焼きなまし法、ガウス・ニュートン法等のパラメータ最適化技術を用いてもよい。例えば、パーティクルフィルタ法のように、繰り返して配置パラメータを算出する過程で、算出した配置パラメータの近傍でランダムな配置候補を生成し、さらに局所解に陥らないように近傍外でもランダムな配置候補を生成してもよい。その際の配置パラメータの初期値として、撮像装置を注視点に向けて均等に配置し、互いの撮像装置が共通視野をもつように画角を設定した配置パラメータを利用してもよい。また、最大の評価値を持つ配置パラメータだけでなく、評価値の高い配置パラメータを複数保持するようにしてもよい。
【００５０】
出力部２０５は、取得した撮像装置の配置情報を出力できればよい。撮像装置の配置情報は、例えば仮想現実感技術によって撮像装置の設置シミュレーション画像を提示してもよいし、拡張現実感技術により現実の画像に設置シミュレーション画像を合成して提示してもよい。合成時に必要な出力装置の位置姿勢は、ＧＰＳ、ジャイロセンサ、地磁気センサ、重力センサ等により得られる情報から算出してもよい。また、無線基地局から受信した電波情報に基づいて出力装置の位置を算出してもよい。出力装置に付属の撮像装置から取得した画像や距離画像から抽出したマーカーや特徴点に基づいて出力装置の位置姿勢を算出してもよい。また、取得した撮像装置の配置情報は、静的被写体（会場など）の図面や形状モデルに配置情報を記述してディスプレイや紙等に出力してもよいし、設置する位置姿勢を記述したテキストを出力してもよい。撮像装置の配置情報にずれの許容範囲が含まれる場合、許容範囲を可視化して提示してもよい。例えば、位置ずれの許容範囲を色付けし、シミュレーション画像、現実画像、図面等に重畳表示すればよい。
【００５１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、情報処理装置が、撮像装置の配置情報として、撮像装置の位置姿勢に加えて、撮像装置の設置台数も決定し、決定した撮像装置の配置情報をユーザ（設置者）に対して提供する例について説明する。
【００５２】
第２の実施形態における情報処理装置及び設置作業支援システムの構成は、第１の実施形態における情報処理装置及び設置作業支援システムの構成と、以下の点が異なり、その他は第１の実施形態と同様である。第２の実施形態における情報処理装置及び設置作業支援システムの構成において、第１の実施形態と同様の構成要素については、その説明を省略する。
【００５３】
第２の実施形態における情報処理装置１００において、制約情報取得部２０２は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、撮像装置の設置台数の最大値及び最小値と、評価値の閾値とを取得する。配置情報取得部２０４は、環境情報及び制約情報に基づいて、複数の撮像装置の配置に係る配置情報を取得するが、本実施形態では設置する撮像装置の位置姿勢に加えて、撮像装置の設置台数も配置情報として取得する。出力部２０５は、評価部２０３による評価結果に基づいて、配置情報取得部２０４で取得した撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢及び設置台数の情報を出力する。
【００５４】
次に、第２の実施形態における情報処理装置１００が撮像装置の配置情報を取得し出力する情報処理について説明する。図７は、第２の実施形態における情報処理装置１００の情報処理の例を示すフローチャートである。
ステップＳ７０１では、環境情報取得部２０１は、環境情報として、静的被写体の３次元情報と、動的被写体の３次元情報及び動き情報とを取得する。
ステップＳ７０２では、制約情報取得部２０２は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、撮像装置の設置台数の最大値及び最小値と、評価値の閾値とを取得する。
【００５５】
環境情報及び制約情報が取得されるとステップＳ７０３へ進み、配置情報取得部２０４は、撮像装置の設置台数を、ステップＳ７０２において取得した最大値に設定して、ステップＳ７０３〜Ｓ７０７の処理（ループ処理Ｄ）を実行する。そして、配置情報取得部２０４は、ステップＳ７０２において取得した最大値から最小値まで、ステップＳ７０３〜Ｓ７０７の処理を実行するたびに撮像装置の設置台数を１台ずつ減らしながら、ステップＳ７０３〜Ｓ７０７の処理を繰り返す。
【００５６】
ステップＳ７０４では、配置情報取得部２０４は、第１の実施形態におけるステップＳ４０３と同様に、ステップＳ７０１、Ｓ７０２において取得した環境情報及び制約情報に基づいて、ステップＳ７０３において設定した設置台数での配置情報取得処理を行う。ステップＳ７０４における配置情報取得処理では、配置情報取得部２０４は、環境情報及び制約情報に基づいて、設定した設置台数の撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢及び評価値を取得する。
【００５７】
ステップＳ７０５では、配置情報取得部２０４は、ステップＳ７０４において算出した評価値がステップＳ７０２において取得した評価値の閾値以下であるか否かを判定する。算出した評価値が閾値以下であると配置情報取得部２０４が判定した場合、繰り返し処理を抜けてステップＳ７０８へ進み、算出した評価値が閾値より大きいと配置情報取得部２０４が判定した場合、ステップＳ７０６へ進む。
【００５８】
ステップＳ７０６では、配置情報取得部２０４は、撮像装置の配置情報として、取得した撮像装置の位置姿勢及び設置台数の情報を記憶する。したがって、ステップＳ７０５からステップＳ７０８へ進むときの撮像装置の配置情報は、１つ前のループ処理Ｄで取得し記憶した、評価値が閾値より大きいときの撮像装置の位置姿勢及び設置台数となる。
【００５９】
ステップＳ７０８では、出力部２０５は、ステップＳ７０６において記憶した撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢及び設置台数の情報を出力装置に送信する。出力装置では、受信した撮像装置の配置情報を可視化してユーザ（設置者）に提示する。なお、閾値より大きい評価値となる撮像装置の配置情報を取得できなかった場合、出力部２０５は、その旨を出力装置に送信してユーザ（設置者）に通知する。
【００６０】
第２の実施形態によれば、仮想視点画像の生成に用いる複数の撮像装置の適切な設置台数及び配置を配置情報として出力することができる。また、撮像装置の配置情報をユーザ（設置者）に対して提供することで、ユーザは配置検討の試行錯誤をすることなく、適切な台数の撮像装置を適切な配置で設置することができ、設置作業の効率を向上させ、設置作業の時間を短縮することができる。
【００６１】
なお、本実施形態では、撮像装置の設置台数を最大値から減らしながら、その設置台数で最適な撮像装置の配置情報を取得し、評価値が閾値より大きい撮像装置の配置情報を決定した。しかしながら、最適な撮像装置の設置台数を合わせて取得する方法は、これに限定されない。撮像装置の設置台数を最小値から増やしながら、最適な撮像装置の配置情報を取得してもよいし、撮像装置の設置台数を配置パラメータに含めて、配置パラメータ空間から評価値が最大となる配置を探索してもよい。また、閾値より大きい評価値となる撮像装置の配置情報が取得できなかった場合、評価値が最大であった配置情報を出力するようにしてもよい。
【００６２】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、すべての撮像装置の配置情報ではなく、一部の撮像装置の配置情報のみを決定し、撮像装置の配置情報をユーザ（設置者）に対して提供する例について説明する。既に設置した撮像装置の配置を変更する場合や、環境情報が不正確で実際に撮像装置を設置する際に設置できない撮像装置があった場合等であっても、一部の撮像装置の配置情報のみ短時間で算出して提示できるため、設置作業の効率を向上させることができる。
【００６３】
第３の実施形態における情報処理装置及び設置作業支援システムの構成は、第１の実施形態における情報処理装置及び設置作業支援システムの構成と、以下の点が異なり、その他は第１の実施形態と同様である。第３の実施形態における情報処理装置及び設置作業支援システムの構成において、第１の実施形態と同様の構成要素については、その説明を省略する。
【００６４】
第３の実施形態における情報処理装置１００において、制約情報取得部２０２は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、配置が決定している撮像装置の配置情報を取得する。配置情報取得部２０４は、環境情報及び制約情報に基づいて、設置する複数の撮像装置の内の配置が決定されていない撮像装置の配置を算出する。
【００６５】
次に、第３の実施形態における情報処理装置１００が撮像装置の配置情報を取得し出力する情報処理について説明する。第３の実施形態における情報処理装置１００の情報処理は、図４に示した第１の実施形態における情報処理と基本的には同様であるが、第３の実施形態では、配置が決定している撮像装置の配置情報を固定し、それ以外の撮像装置の配置情報を取得する。
【００６６】
すなわち、ステップＳ４０１で、環境情報取得部２０１が環境情報を取得し、ステップＳ４０２で、制約情報取得部２０２が、制約情報を取得する。制約情報としては、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、配置が決定している撮像装置の配置情報を取得する。
【００６７】
ステップＳ４０３では、配置情報取得部２０４は、ステップＳ４０１、Ｓ４０２において取得した環境情報と制約情報に基づいて、第１の実施形態と同様に配置情報取得処理を行い、複数の撮像装置の配置情報（設置する撮像装置の位置姿勢の情報）を取得する。第３の実施形態における配置情報取得処理では、配置情報取得部２０４は、制約情報として取得した配置が決定している撮像装置の配置情報は固定し、それ以外の撮像装置、すなわち配置が未決定の撮像装置の配置情報を取得する。
【００６８】
ステップＳ４０４では、出力部２０５は、ステップＳ４０３において取得した配置が決定していなかった撮像装置の配置情報（撮像装置の位置姿勢の情報）を出力装置に送信する。出力装置では、受信した配置情報を可視化してユーザ（設置者）に提示する。
【００６９】
第３の実施形態によれば、情報処理装置１００により、配置が決定していない撮像装置の配置情報を出力することができ、短時間で配置情報を取得することが可能となる。また、撮像装置の配置情報をユーザ（設置者）に対して提供することで、ユーザは配置検討の試行錯誤をすることなく、撮像装置を適切な配置で設置することができ、設置作業の効率を向上させ、設置作業の時間を短縮することができる。
【００７０】
なお、本実施形態では、配置が決定している撮像装置の配置情報を固定して、配置が決定していない撮像装置の配置情報を取得するようにしているが、配置が決定している撮像装置の配置情報を固定しなくても構わない。制約情報として、配置が決定している撮像装置の配置情報及びその変動範囲を取得して、変動範囲内で評価値が向上する配置情報を前述のようなパラメータ探索・最適化手法を用いて取得してもよい。これにより、撮影コンテンツや注視点等の環境情報や制約情報が変更されたときに、設置済みの撮像装置を少ない手間で配置変更することも可能となる。
【００７１】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第４の実施形態では、品質を保ちながら、より短時間で仮想視点画像を生成するために、設置済みの撮像装置の中から仮想視点画像の生成に用いる撮像装置を選択する例について説明する。仮想視点画像の生成に用いる撮像装置の数を減らすことで、仮想視点画像の生成処理の高速化を図ることができる。
【００７２】
第４の実施形態における情報処理装置及び設置作業支援システムの構成は、第１の実施形態における情報処理装置及び設置作業支援システムの構成と、以下の点が異なり、その他は第１の実施形態と同様である。第４の実施形態における情報処理装置及び設置作業支援システムの構成において、第１の実施形態と同様の構成要素については、その説明を省略する。
【００７３】
第４の実施形態における情報処理装置１００において、制約情報取得部２０２は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とを取得する。さらに、制約情報取得部２０２は、制約情報として、配置が決定している撮像装置の配置情報と、仮想視点画像の生成に用いる撮像装置の台数の最大値及び最小値と、評価値の閾値とを取得する。配置情報取得部２０４は、環境情報及び制約情報に基づいて、仮想視点画像の生成に用いる撮像装置の選択を行う。出力部２０５は、配置情報取得部２０４で選択した撮像装置のリストを配置情報として出力装置に送信する。出力装置では、受信した撮像装置のリストに基づいて、仮想視点画像の生成に用いる撮像装置を設定する。なお、第４の実施形態において、出力装置３１２は、無線通信機能を有するタブレット型計算機ではなく、不図示のＰＣであるとする。
【００７４】
次に、第４の実施形態における情報処理装置１００の情報処理について説明する。第４の実施形態における情報処理装置１００の情報処理は、図７に示した第２の実施形態における情報処理と処理の流れは同様であり、以下では第２の実施形態と異なる点について説明する。
【００７５】
ステップＳ７０２では、制約情報取得部２０２は、制約情報として、撮像装置の設置可能範囲、仮想視点の可動範囲、配置が決定している撮像装置の配置情報、仮想視点画像の生成に用いる撮像装置の台数の最大値と最小値、及び評価値の閾値を取得する。
【００７６】
ステップＳ７０３では、配置情報取得部２０４は、仮想視点画像の生成に用いる撮像装置の台数を、ステップＳ７０２において取得した最大値に設定して、ステップＳ７０３〜Ｓ７０７の処理を実行する。そして、配置情報取得部２０４は、ステップＳ７０２において取得した最大値から最小値まで、ステップＳ７０３〜Ｓ７０７の処理を実行するたびに撮像装置の台数を１台ずつ減らしながら、ステップＳ７０３〜Ｓ７０７の処理を繰り返す。
【００７７】
ステップＳ７０４では、配置情報取得部２０４は、ステップＳ７０１、Ｓ７０２において取得した環境情報及び制約情報に基づいて、仮想視点画像の生成に用いる撮像装置を選択し、その選択状態での評価値を算出する。
ステップＳ７０５では、配置情報取得部２０４は、ステップＳ７０４において算出した評価値がステップＳ７０２において取得した評価値の閾値以下であるか否かを判定する。算出した評価値が閾値以下であると配置情報取得部２０４が判定した場合、繰り返し処理を抜けてステップＳ７０８へ進み、算出した評価値が閾値より大きいと配置情報取得部２０４が判定した場合、ステップＳ７０６へ進む。
【００７８】
ステップＳ７０６では、配置情報取得部２０４は、撮像装置の配置情報として、選択した撮像装置のリストを記憶する。したがって、ステップＳ７０５からステップＳ７０８へ進むときの撮像装置の配置情報は、１つ前のループ処理で記憶した、評価値が閾値より大きいときに選択した撮像装置のリストとなる。
【００７９】
ステップＳ７０８では、出力部２０５は、ステップＳ７０６において記憶した撮像装置の配置情報、すなわち選択した撮像装置のリストを出力装置に送信する。出力装置では、受信した撮像装置の配置情報（撮像装置のリスト）に基づき、仮想視点画像の生成に用いる撮像装置を設定する。なお、閾値より大きい評価値となる撮像装置のリストを選択できなかった場合、出力部２０５は、その旨を出力装置に送信してユーザ（設置者）に通知する。また、出力部２０５が出力する、用いる撮像装置のリストを仮想視点画像生成システムや３次元復元システムに設定し、そこで設定した撮像装置を利用して仮想視点画像や３次元モデルを生成するようにしてもよい。
【００８０】
第４の実施形態におけるステップＳ７０４での処理について説明する。第４の実施形態におけるステップＳ７０４での処理は、図５に示した第１の実施形態と処理の流れは同様であり、以下では異なる点について説明する。なお、第４の実施形態において、ステップＳ５０１〜Ｓ５０５の処理を繰り返す回数は１回とする。
【００８１】
ステップＳ５０２では、配置情報取得部２０４は、撮像装置の配置候補を複数生成する。具体的には、配置情報取得部２０４は、ステップＳ７０２において配置情報を取得した配置が決定している撮像装置の中から、ステップＳ７０３において設定した撮像装置の台数分を選択する場合のすべての撮像装置の組み合わせを配置候補として複数生成する。また、ステップＳ５０６では、配置情報取得部２０４は、ステップＳ５０４において保存した評価値が最大である配置候補とその評価値を撮像装置の配置情報として返す。
【００８２】
第４の実施形態によれば、情報処理装置１００により、画像の品質を担保しつつ仮想視点画像の生成に必要十分な撮像装置が自動的に選択される。これにより、高品質かつ高速に仮想視点画像を生成するために用いる撮像装置を決定する検討の試行錯誤が不要になり、画像生成の設定作業時間が短縮される。
【００８３】
本実施形態は、品質を保ちながら短時間で仮想視点画像を生成するために、設置済みの撮像装置の中から利用する撮像装置を選択する用途に限られるものではなく、例えば設置済みの撮像装置を削減するために利用してもよい。その場合、出力部２０５は、選択されなかった撮像装置のリストを出力すればよい。
撮像装置が設置済みであれば、実際に被写体を撮像した画像を環境情報取得部２０１が環境情報として取得し、シミュレーション画像でなく実画像を用いて評価部２０３が撮像装置の配置を評価してもよい。例えば、前述したように前フレームの生成画像や３次元形状と比較して評価値を求めてもよい。また、選択しなかった撮像装置の画像を正解画像として、その選択しなかった撮像装置からの見え方を再現した仮想視点画像と正解画像とを比較して評価値を算出してもよい。
【００８４】
また、仮想視点画像の生成に用いる撮像装置の台数は、制約情報として取得した最大値から減らしながら決定してもよいし、最小値から増やしながら決定してもよい。撮像装置の台数も配置候補の組み合わせに含め、すべての組み合わせを配置候補として生成してもよいし、すべての組み合わせの内からランダムに組み合わせを選択し配置候補としてもよい。撮像装置の選択はパラメータ探索や最適化の公知技術を用いて行えばよい。また、閾値より大きい評価値となる配置情報が取得できなかった場合、評価値が最大であった配置情報を出力するようにしてもよい。
【００８５】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８６】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００８７】
１００：情報処理装置  ２０１：環境情報取得部  ２０２：制約情報取得部  ２０３：評価部  ２０４：配置情報取得部  ２０５：出力部  ３０２：入出力装置  ３１２：出力装置  ３１３：撮像装置
【図１】
2019092007.tif 000003
【図２】
2019092007.tif 000004
【図３】
2019092007.tif 000005
【図４】
2019092007.tif 000006
【図５】
2019092007.tif 000007
【図６】
2019092007.tif 000008
【図７】
2019092007.tif 000009