(57)【要約】【課題】仮想視点画像の品質低下の可能性を低減する。【解決手段】複数の撮像装置のうち少なくとも１つの撮像装置について、撮影対象領域の第１の地点に応じた領域を撮影するための第１の撮影パラメータを取得し、撮影対象領域の第２の地点に応じた領域を撮影するための第２の撮影パラメータを取得し、撮影対象領域の撮影画像から検出された被写体の位置に応じて、少なくとも１つの撮像装置に設定する撮影パラメータを第１の撮影パラメータと第２の撮影パラメータとを含む複数の撮影パラメータの中から決定し、決定された撮影パラメータに基づいて撮像された撮影画像を用いて仮想視点画像を生成する。【選択図】図４
2019050523.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる方向から撮影対象領域を撮影する複数の撮像装置による撮影画像に基づいて、仮想の視点から仮想視点画像を生成する生成装置であって、
前記複数の撮像装置のうち少なくとも１つの撮像装置について、前記撮影対象領域の第１の地点に応じた領域を撮影するための第１の撮影パラメータを取得し、前記撮影対象領域の第２の地点に応じた領域を撮影するための第２の撮影パラメータを取得する取得手段と、
前記撮影対象領域の撮影画像から検出された被写体の位置に応じて、前記少なくとも１つの撮像装置に設定する撮影パラメータを前記第１の撮影パラメータと前記第２の撮影パラメータとを含む複数の撮影パラメータの中から決定する決定手段と、
前記決定手段により決定された撮影パラメータに基づいて撮像された撮影画像を用いて仮想視点画像を生成する生成手段と、
を有する生成装置。
【請求項２】
前記決定手段は、前記被写体が前記第１の地点に応じた領域に存在する場合、前記少なくとも１つの撮像装置に設定する撮影パラメータを、前記第１の撮影パラメータに決定する請求項１記載の生成装置。
【請求項３】
前記第１の地点に応じた領域の中に存在する被写体を撮影する１以上の撮像装置の撮影範囲から前記被写体の一部がはみ出た場合、前記決定手段は、前記少なくとも１つの撮像装置の撮影パラメータを前記第２の撮影パラメータから前記第１の撮影パラメータに変更することを決定する請求項１又は２記載の生成装置。
【請求項４】
前記生成手段は、前記決定手段により前記撮影パラメータが変更された撮像装置により撮影された撮影画像と、前記複数の撮像装置に含まれる前記撮像装置と異なる他の撮像装置により撮影された撮影画像と、を合成することで、前記決定手段により前記撮影パラメータが変更された前記撮像装置により撮影された撮影画像に含まれる前記被写体の部分と、前記他の撮像装置により撮影された撮影画像に含まれる前記被写体の部分と、の双方を含む画像を生成する請求項１乃至３何れか１項記載の生成装置。
【請求項５】
前記第１の撮影パラメータは前記第１の地点に焦点を合わせるためのパラメータを含み、前記第２の撮影パラメータは前記第２の地点に焦点を合わせるためのパラメータを含む請求項１乃至４何れか１項記載の生成装置。
【請求項６】
前記決定手段は、被写体が前記第１の地点に応じた領域に存在し、且つ、被写体が前記第２の地点に応じた領域に存在しない場合、前記少なくとも１つの撮像装置における前記撮影パラメータを、前記第１の撮影パラメータに決定する請求項１乃至５何れか１項記載の生成装置。
【請求項７】
被写体が前記第１の地点に応じた領域に存在し、且つ、被写体が前記第２の地点に応じた領域に存在する場合、前記少なくとも１つの撮像装置が撮影する領域を、前記第１の地点に応じた領域と前記第２の地点に応じた領域との何れの領域にするかを選択する選択手段を更に有し、
前記決定手段は、被写体が前記第１の地点に応じた領域に存在し、被写体が前記第２の地点に応じた領域に存在し、前記選択手段により前記第１の地点に応じた領域が選択された場合、前記第１の撮像装置における前記撮影パラメータを、前記第１の撮影パラメータに決定する請求項１乃至６何れか１項記載の生成装置。
【請求項８】
前記決定手段により前記撮影パラメータが前記第１の撮影パラメータに決定された前記少なくとも１つの撮像装置により撮影された撮影画像に含まれる領域であって、前記少なくとも１つの撮像装置が前記第２の地点に応じた領域を撮影する際の撮影範囲に対応する領域に基づいて、前記少なくとも１つの撮像装置における前記撮影パラメータを、前記第２の撮影パラメータに変更する変更手段を更に有する請求項１乃至７何れか１項記載の生成装置。
【請求項９】
前記決定手段は、被写体が前記第１の地点に応じた領域に存在するか否かに応じて、前記第１の地点に応じた領域を撮影する撮像装置と予め対応付けられた撮像装置における前記撮影パラメータの値を、前記第１の撮影パラメータに決定する請求項１乃至８何れか１項記載の生成装置。
【請求項１０】
複数の異なる方向から撮影対象領域を撮影する複数の撮像装置による撮影画像に基づいて、仮想の視点から仮想視点画像を生成する生成装置が実行する情報処理方法であって、
前記複数の撮像装置のうち少なくとも１つの撮像装置について、前記撮影対象領域の第１の地点に応じた領域を撮影するための第１の撮影パラメータを取得し、前記撮影対象領域の第２の地点に応じた領域を撮影するための第２の撮影パラメータを取得する取得ステップと、
前記撮影対象領域の撮影画像から検出された被写体の位置に応じて、前記少なくとも１つの撮像装置に設定する撮影パラメータを前記第１の撮影パラメータと前記第２の撮影パラメータとを含む複数の撮影パラメータの中から決定する決定ステップと、
前記決定ステップで決定された撮影パラメータに基づいて撮像された撮影画像を用いて仮想視点画像を生成する生成ステップと、
を含む情報処理方法。
【請求項１１】
コンピュータを、請求項１乃至９何れか１項記載の生成装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生成装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
複数の撮像装置を異なる位置に設置して複数の視点で同期して撮影し、撮影された複数の視点からの画像を用いて仮想視点画像を生成する技術が注目されている。このような複数の視点からの画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴すること等ができるため、通常の画像と比較してユーザにより高い臨場感を与えることができる。
【０００３】
仮想視点画像の生成に用いられる画像の撮影のための撮像装置が、ある被写体を撮影している場合、被写体が移動することで、この撮像装置の撮影範囲から被写体の一部が外れてしまうことがある。このような場合、その撮像装置は、撮影範囲から外れてしまった被写体の一部を撮影し続けることができず、被写体の全体像の画像を取得できなくなる。このような問題の解決方法として、特許文献１には以下の方法が記載されている。即ち、撮像装置が通常よりも広く撮影し、撮影した画像のうちから被写体の部分を切り出した画像を見せることで、被写体が移動しても撮影した画像に映っている限り、切り出す場所を変更するだけで被写体を撮影し続ける方法である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４３９３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法では、撮像装置が通常よりも広い範囲を撮影するため、撮影画像内での相対的な被写体の大きさが小さくなり、切り出された被写体の解像度が通常よりも小さくなってしまう。このように、被写体の位置によっては、仮想視点画像の品質が低下する可能性があった。
そこで、本発明は、仮想視点画像の品質低下の可能性を低減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の生成装置は、複数の異なる方向から撮影対象領域を撮影する複数の撮像装置による撮影画像に基づいて、仮想の視点から仮想視点画像を生成する生成装置であって、前記複数の撮像装置のうち少なくとも１つの撮像装置について、前記撮影対象領域の第１の地点に応じた領域を撮影するための第１の撮影パラメータを取得し、前記撮影対象領域の第２の地点に応じた領域を撮影するための第２の撮影パラメータを取得する取得手段と、前記撮影対象領域の撮影画像から検出された被写体の位置に応じて、前記少なくとも１つの撮像装置に設定する撮影パラメータを前記第１の撮影パラメータと前記第２の撮影パラメータとを含む複数の撮影パラメータの中から決定する決定手段と、前記決定手段により決定された撮影パラメータに基づいて撮像された撮影画像を用いて仮想視点画像を生成する生成手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、仮想視点画像の品質低下の可能性を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理システムのシステム構成の一例を示す図である。
【図２】制御サーバ等のハードウェア構成の一例を示す図である。
【図３】撮像装置のキャリブレーションの一例を説明する図である。
【図４】情報処理システムの処理の一例を示すシーケンス図である。
【図５】被写体の画像の一例を示す図である。
【図６】画像の合成の一例を説明する図である。
【図７】撮影された画像の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。
【００１０】
＜実施形態１＞
図１は、本実施形態の情報処理システムのシステム構成等の一例を示す図である。
情報処理システムは、制御サーバ２０１、撮像装置２０２〜２１１を含む。制御サーバ２０１、撮像装置２０２〜２１１は、有線又は無線を介して、互いに通信可能に接続されている。
制御サーバ２０１は、撮像装置２０２〜２１１により撮影された画像を集約し、画像処理を実行し、その結果を出力するパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。制御サーバ２０１は、生成装置の一例である。
撮像装置２０２〜２１１それぞれは、周囲の環境を撮影し、撮影した画像を外部の装置に送信するネットワークカメラ等の撮像装置である。
【００１１】
図１の例では、複数の撮像装置が複数の異なる方向からサッカーフィールドを撮影している状況が示されている。サッカーフィールドは、撮像装置２０２〜２１１が撮影する領域である撮影対象領域の一例である。本実施形態では、撮像装置２０２〜２１１が撮影対象とする領域を、撮影対象領域とする。本実施形態では、撮像装置２０２〜２１１は、撮影対象領域として、サッカーフィールドを撮影するとするが、野球場やライブ会場等の他の場所を撮影対象領域として撮影してもよい。図１の例において、撮像装置２０２、２０５の注視点は、同じ第１地点である。注視点とは、撮像装置が撮影する視線の目標となる地点である。撮像装置２０２、２０５の注視点は、撮像装置２０２の撮影方向を示す線と、撮像装置２０５の撮影方向を示す線と、が交差する点となる。撮像装置２０３、２０４の注視点は、同じ第２地点であり、撮像装置２０２の撮影方向を示す線と、撮像装置２０５の撮影方向を示す線と、が交差する点となる。なお、撮像装置２１０及び２１１は、撮像装置２０２〜２０５とは異なる注視点に基づいて撮影するカメラであるため詳細な説明は省略する。
エリア１０１は、撮像装置２０３、２０４の注視点である第２地点の周囲のエリアである。エリア１０１は、第２地点に応じた領域の一例である。注視点の周囲のエリアとは、例えば、注視点を中心として、予め定められた長さの半径の球状（又は円状）のエリアである。注視点の周囲のエリアに被写体が存在する場合、その注視点を撮影する撮像装置がその被写体を撮影することとなる。エリア１０２は、撮像装置２０２、２０５の注視点である第１地点の周囲のエリアである。エリア１０２は、第１地点に応じた領域での一例である。
【００１２】
本実施形態では、１つの注視点の周囲のエリアを２台の撮像装置が撮影することとするが、３台以上の撮像装置が撮影することとしてもよい。
図１の例には、エリア１０１においてボールを競り合っている２名の選手である被写体１０３が存在している状況が示されている。エリア１０１において、被写体１０３が高さ方向に移動（例えば、ジャンプ等）した際に、その一部が撮像装置２０３の撮影範囲（画角）から外れる場合がある。なお本実施形態では、被写体１０３は、ジャンプ等をしても撮像装置２０４の撮影範囲からは外れていないこととする。
【００１３】
図２（ａ）は、制御サーバ２０１のハードウェア構成の一例を示す図である。制御サーバ２０１は、ＣＰＵ２２１、主記憶装置２２２、補助記憶装置２２３、及び通信部２２４を含む。各要素は、システムバス２２５を介して、相互に通信可能に接続されている。
ＣＰＵ２２１は、制御サーバ２０１を制御する中央演算装置である。主記憶装置２２２は、ＣＰＵ２２１のワークエリアやデータの一時的な記憶場所として機能するＲａｎｄｏｍｏ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置２２３は、各種プログラム、各種設定情報、各種画像情報、各種閾値情報、及び撮像装置のパラメータ情報等を記憶する記憶装置である。補助記憶装置２２３は、例えば、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）等でありうる。
【００１４】
通信部２２４は、有線伝送路又は無線伝送路を介して、撮像装置２０２〜２１１等の外部の装置との間で通信を行う通信部である。本実施形態において、制御サーバ２０１と撮像装置２０２〜２１１とは、例えば、スター接続、カスケード接続等の有線伝送路を介して、相互に接続されている。通信部２２４は、撮像装置２０２〜２１１それぞれに、制御情報を送信する。撮像装置２０２〜２１１それぞれは、受信した制御信号に応じた処理を行う。
ＣＰＵ２２１が、補助記憶装置２２３に記憶されたプログラムに基づき処理を実行することで、制御サーバ２０１の機能及び図４で後述するシーケンス図の処理における制御サーバ２０１の処理等が実現される。
【００１５】
図２（ｂ）は、撮像装置２０２のハードウェア構成の一例を示す図である。
撮像装置２０２は、ＣＰＵ２３１、主記憶装置２３２、補助記憶装置２３３、撮影部２３４、及び通信部２３５を含む。各要素は、システムバス２３６を介して、相互に通信可能に接続されている。
ＣＰＵ２３１は、撮像装置２０２を制御する中央演算装置である。主記憶装置２３２は、ＣＰＵ２３１のワークエリアやデータの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。補助記憶装置２２３は、各種プログラム、各種設定情報、各種画像情報、各種閾値情報、及び撮像装置のパラメータ情報等を記憶する記憶装置である。補助記憶装置２３３は、例えば、ＲＯＭ、ＨＤＤ、及びＳＳＤ等でありうる。
撮影部２３４は、撮像素子、及びレンズ等を含み、周囲の環境を撮影する。通信部２３５は、有線伝送路又は無線伝送路を介して、制御サーバ２０１等の外部の装置との間で通信を行う通信部である。
本実施形態では、ＣＰＵ２３１が、補助記憶装置２３３に記憶されたプログラムに基づき処理を実行することで、撮像装置２０２の機能及び図４で後述するシーケンス図の処理における撮像装置２０２の処理等が実現されるものとする。
【００１６】
撮像装置２０３〜２１１のハードウェア構成は、撮像装置２０２のハードウェア構成と同様である。
本実施形態では、撮像装置２０２〜２０３それぞれは、単独で、外部の装置と通信可能なネットワークカメラ等の単体の装置であるとする。しかし、撮像装置２０２〜２０３それぞれは、例えば、単独で外部の装置と通信できない撮像装置と、その撮像装置に接続されたカメラアダプタ等の制御装置と、を含むように構成されることとしてもよい。この場合、制御装置は、外部の装置からの要求等に応じて撮像装置を制御したり、撮像装置により撮影された画像を外部の装置に送信したりする。また、制御装置は、撮像装置により撮影された画像から、被写体（前景）とそれ以外（背景）を分離したりする。また、制御サーバ２０１が、各撮像装置から送信された画像から、被写体と背景を分離する処理を行うこととしてもよい。
【００１７】
図３は、撮像装置２０２〜２０５のキャリブレーションの一例を説明する図である。ここで、キャリブレーションとは、撮像装置における画像の撮影に関する撮影パラメータ（例えば、焦点距離、画角等）を、あるエリアに存在する被写体を撮影するのに適した値に調整する処理である。
本実施形態では、撮像装置２０２と撮像装置２０３とは、水平方向における位置が同一の位置であり、高さ方向における位置が異なっている。撮像装置２０２の高さ方向の位置は、撮像装置２０３の高さ方向の位置よりも高い位置となっている。撮像装置２０２と撮像装置２０３とは、例えば、地面に対して垂直にたてられた柱上の異なる位置に設置されている。また、撮像装置２０４と撮像装置２０５とは、水平方向における位置が同一の位置であり、高さ方向における位置が異なっている。撮像装置２０４の高さ方向の位置は、撮像装置２０５の高さ方向の位置よりも高い位置となっている。撮像装置２０４と撮像装置２０５とは、例えば、地面に対して垂直にたてられた柱上の異なる位置に設置されている。
【００１８】
図３（ａ）は、撮像装置２０２、２０４、及び２０５について、撮影パラメータを、エリア１０２に存在するオブジェクトの撮影に適した値に調整するキャリブレーション処理の一例を説明する図である。マーカ３０２は、撮像装置２０２、及び２０５の注視点上に配置され、撮像装置の焦点距離の決定に利用されるキャリブレーション用のマーカである。マーカ３０２は、周囲３６０度どの方向からでも撮影可能なように配置することができる。本実施形態では、撮像装置２０２、２０４、２０５それぞれは、予め定められた画角で撮影する。撮像装置２０２、２０４、２０５それぞれは、マーカ３０２を撮影し、マーカ３０２に焦点が合うように、焦点距離等の撮影パラメータを調整する。
図３（ｂ）は、撮像装置２０２、２０３、２０４について、撮影パラメータを、エリア１０１に存在するオブジェクトの撮影に適した値に調整するキャリブレーション処理の一例を説明する図である。マーカ３０１は、撮像装置２０３、２０４の注視点上に配置され、撮像装置の焦点距離の決定に利用されるキャリブレーション用のマーカである。マーカ３０１は、周囲３６０度どの方向からでも撮影可能なように配置されている。本実施形態では、撮像装置２０２、２０３、２０４それぞれは、予め定められた画角で撮影する。撮像装置２０２、２０４、２０５それぞれは、マーカ３０１を撮影し、マーカ３０２に焦点が合うように、焦点距離等の撮影パラメータを調整する。
【００１９】
図４は、情報処理システムの処理の一例を示すシーケンス図である。図４を用いて、図１に示すようにエリア１０１に被写体１０３が存在し、エリア１０２に被写体１０３が存在しない場合の情報処理システムの処理の一例を説明する。
Ｓ４０１において、制御サーバ２０１のＣＰＵ２２１は、撮像装置２０２に対してエリア１０２に存在するオブジェクトを撮影するのに適した撮影パラメータを調整するキャリブレーション処理を行うように要求する。撮像装置２０２のＣＰＵ２３１は、図３で説明したように、エリア１０２に配置されたマーカ３０２を撮影し、マーカ３０２に焦点が合うように、撮像装置２０２の撮影パラメータを調整する。本実施形態では、撮像装置２０２〜２１１それぞれが、キャリブレーション処理を行うこととする。しかし、制御サーバ２０１が、撮像装置２０２〜２１１それぞれにより撮影された画像を取得し、撮像装置２０２〜２１１それぞれに対して、撮影パラメータを指定することで、キャリブレーション処理を行うこととしてもよい。
Ｓ４０２において、ＣＰＵ２２１は、撮像装置２０２から、Ｓ４０１での要求に応じたキャリブレーション処理の結果調整された焦点距離、焦点等の撮影パラメータの値を取得する。そして、ＣＰＵ２２１は、取得したパラメータの値の情報を、主記憶装置２２２、補助記憶装置２２３等に記憶する。
【００２０】
Ｓ４０３において、ＣＰＵ２２１は、撮像装置２０２に対してエリア１０１に存在するオブジェクトを撮影するのに適した撮影パラメータを調整するキャリブレーション処理を行うように要求する。撮像装置２０２のＣＰＵ２３１は、図３で説明したように、エリア１０１に配置されたマーカ３０１を撮影し、マーカ３０１に焦点が合うように、撮像装置２０２の撮影パラメータを調整する。
Ｓ４０４において、ＣＰＵ２２１は、撮像装置２０２から、Ｓ４０３での要求に応じたキャリブレーション処理の結果調整された焦点距離、焦点等の撮影パラメータの値を取得する。そして、ＣＰＵ２２１は、取得したパラメータの値の情報を、主記憶装置２２２、補助記憶装置２２３等に記憶する。
【００２１】
Ｓ４０５において、ＣＰＵ２２１は、撮像装置２０３に対してエリア１０１に存在するオブジェクトを撮影するのに適した撮影パラメータを調整するキャリブレーション処理を行うように要求する。撮像装置２０３のＣＰＵは、図３で説明したように、エリア１０１に配置されたマーカ３０１を撮影し、マーカ３０１に焦点が合うように、撮像装置２０３の撮影パラメータを調整する。
Ｓ４０６において、ＣＰＵ２２１は、撮像装置２０３から、Ｓ４０５での要求に応じたキャリブレーション処理の結果調整された焦点距離、焦点等の撮影パラメータの値を取得する。そして、ＣＰＵ２２１は、取得したパラメータの値の情報を、主記憶装置２２２、補助記憶装置２２３等に記憶する。
【００２２】
Ｓ４０７において、ＣＰＵ２２１は、撮像装置２０２に対して、Ｓ４０２で取得した撮影パラメータの値の情報を通知し、撮像装置２０２の撮影パラメータの値を、通知した値に更新するよう要求する。撮像装置２０２のＣＰＵ２３１は、撮像装置２０２の撮影パラメータの値を、通知された値に更新することで、オブジェクトがエリア１０２に存在する場合、そのオブジェクトに焦点を合わせることが可能となる。
Ｓ４０８において、ＣＰＵ２２１は、撮像装置２０３に対して、Ｓ４０６で取得した撮影パラメータの値の情報を通知し、撮像装置２０３の撮影パラメータの値を、通知した値に更新するよう要求する。撮像装置２０３のＣＰＵは、撮像装置２０３の撮影パラメータの値を、通知された値に更新することで、オブジェクトがエリア１０１に存在する場合、そのオブジェクトに焦点を合わせることが可能となる。
Ｓ４０９において、ＣＰＵ２２１は、撮像装置２０２に対して、撮影を開始するよう要求する。ＣＰＵ２３１は、この要求に応じて、撮影部２３４を介して、エリア１０２の撮影を開始し、撮影した画像を周期的に制御サーバ２０１へ送信する。
【００２３】
Ｓ４１０において、ＣＰＵ２２１は、撮像装置２０３に対して、撮影を開始するよう要求する。撮像装置２０３のＣＰＵは、この要求に応じて、撮像装置２０３の撮影部を介して、エリア１０１の撮影を開始し、撮影した画像を周期的に制御サーバ２０１へ送信する。
Ｓ４１１において、ＣＰＵ２２１は、撮像装置２０２により撮影された画像を、撮像装置２０２から受信する。
Ｓ４１２において、ＣＰＵ２２１は、撮像装置２０３により撮影された画像を、撮像装置２０３から受信する。
本実施形態では、撮像装置２０２と撮像装置２０３とは、仮想視点画像の生成に用いられ得る２つの画像を撮影する撮像装置である。仮想視点画像とは、仮想的な視点から撮影されたように見える画像である。仮想視点画像は、例えば、実際に複数の撮像装置から撮影された画像を用いて生成される。そこで、補助記憶装置２２３は、撮像装置２０２と撮像装置２０３とが予め対応付けられていることを示す情報を記憶しているとする。ＣＰＵ２２１は、撮像装置２０２と撮像装置２０３とが対応付いていることを示す情報に基づいて、撮像装置２０２からの画像と、撮像装置２０３からの画像と、が仮想視点画像の生成のために合成される対象の画像であることが特定できる。
【００２４】
Ｓ４１３において、ＣＰＵ２２１は、Ｓ４１１で受信した画像と、Ｓ４１２で受信した画像と、を解析する。より具体的には、ＣＰＵ２２１は、Ｓ４１１で受信した画像と、Ｓ４１２で受信した画像と、のそれぞれについて、画像から被写体１０３の少なくとも一部を検出することで被写体１０３と背景とを分離する。また、撮像装置２０２、２０３が画像から被写体と背景とを分離する処理を行う場合、ＣＰＵ２２１は、撮像装置２０２、２０３から、撮影された画像と、併せて画像内の被写体の位置の情報を受信することとしてもよい。
Ｓ４１４において、ＣＰＵ２２１は、Ｓ４１３での解析の結果に基づいて、エリア１０１に被写体１０３の少なくとも一部が存在し、且つ、エリア１０２に被写体１０３が存在しない状態であるか否かを判定する。ＣＰＵ２２１は、例えば、Ｓ４１２で受信した画像から被写体１０３の少なくとも一部を検出できた場合、エリア１０１に被写体１０３が存在すると判定する。ＣＰＵ２２１は、Ｓ４１２で受信した画像から被写体１０３を検出できなかった場合、エリア１０１に被写体１０３が存在しないと判定する。
また、ＣＰＵ２２１は、例えば、Ｓ４１１で受信した画像から被写体１０３の少なくとも一部を検出できた場合、エリア１０２に被写体１０３が存在すると判定する。ＣＰＵ２２１は、Ｓ４１１で受信した画像から被写体１０３を検出できなかった場合、エリア１０２に被写体１０３が存在しないと判定する。
ＣＰＵ２２１は、エリア１０１に被写体１０３が存在し、且つ、エリア１０２に被写体１０３が存在しない状態であると判定した場合、Ｓ４１５の処理に進む。ＣＰＵ２２１は、エリア１０１に被写体１０３が存在しない、又は、エリア１０２に被写体１０３が存在すると判定した場合、Ｓ４１１の処理に進む。
【００２５】
また、ＣＰＵ２２１は、Ｓ４１４で、エリア１０２に被写体１０３が存在するか否かに関わりなく、エリア１０１に被写体１０３が存在すると判定した場合、Ｓ４１５の処理に進むこととしてもよい。その場合、ＣＰＵ２２１は、エリア１０１に被写体１０３が存在しないと判定した場合、Ｓ４１１の処理に進むこととなる。これにより、ＣＰＵ２２１は、エリア１０２に被写体１０３が存在するか否かを判定する処理の負担を低減できる。
また、ＣＰＵ２２１は、Ｓ４１４で、エリア１０１に被写体１０３が存在し、且つ、エリア１０２に他の被写体が存在すると判定した場合、以下のような処理を行うこととしてもよい。即ち、ＣＰＵ２２１は、エリア１０１とエリア１０２とのうちのどちらを、撮像装置２０２を介して撮影するかを選択し、選択した領域がエリア１０１の場合、Ｓ４１５の処理に進み、選択した領域がエリア１０２の場合、Ｓ４１１の処理に進むこととしてもよい。エリア１０１とエリア１０２とから撮像装置２０２を介して撮影する領域を選択する処理を、選択処理とする。
【００２６】
ＣＰＵ２２１は、例えば、以下のようにして、選択処理を行う。ＣＰＵ２２１は、Ｓ４１１で受信した画像と、Ｓ４１２で受信した画像と、のうち撮影する優先度が他のオブジェクトよりも高いオブジェクトとして予め定められたオブジェクト（例えば、競技に利用されるボール等）が撮影されている画像を特定する。ＣＰＵ２２１は、Ｓ４１１で受信した画像をそのオブジェクトを含む画像として特定した場合、エリア１０２にそのオブジェクトが存在するとして、エリア１０２を、撮像装置２０２を介して撮影する領域として選択する。また、ＣＰＵ２２１は、Ｓ４１２で受信した画像をそのオブジェクトを含む画像として特定した場合、エリア１０１にそのオブジェクトが存在するとして、エリア１０１を、撮像装置２０２を介して撮影する領域として選択する。
また、ＣＰＵ２２１は、例えば、以下のようにして、選択処理を行うこととしてもよい。ＣＰＵ２２１は、撮像装置２０３から周期的に取得した複数の画像に基づいて、Ｓ４１２で受信した画像に含まれるエリア１０１に存在する被写体１０３の速度を特定する。ＣＰＵ２２１は、例えば、複数の画像それぞれの撮影された時刻と、複数の画像それぞれに含まれる被写体１０３の位置と、に基づいて、被写体１０３の速度を特定する。そして、ＣＰＵ２２１は、特定した被写体１０３の速度が、予め定められた閾値以上である場合、被写体１０３が撮像装置２０３の撮影範囲からはみ出す可能性があるとして、エリア１０１を、撮像装置２０２を介して撮影する領域として選択する。また、ＣＰＵ２２１は、特定した被写体１０３の速度が、予め定められた閾値未満である場合、被写体１０３が撮像装置２０３の撮影範囲からはみ出す可能性がないとして、エリア１０２を、撮像装置２０２を介して撮影する領域として選択する。
このような処理により、情報処理システムは、不要な処理の負担を低減できる。
【００２７】
Ｓ４１５において、ＣＰＵ２２１は、撮像装置２０２に対して、Ｓ４０４で取得した撮影パラメータの値の情報を通知し、撮像装置２０２の撮影パラメータの値を、通知した値に更新するよう要求する。
Ｓ４１６において、ＣＰＵ２３１は、撮像装置２０２の撮影パラメータの値を、Ｓ４１５で通知された値に更新する。ＣＰＵ２３１は、撮像装置２０２の撮影パラメータの値を、通知された値に更新することで、エリア１０１に存在する被写体１０３に焦点を合わせることが可能となる。Ｓ４１６の処理以降、ＣＰＵ２３１は、撮影部２３４を介して、周期的にエリア１０１を撮影し、撮影した画像を制御サーバ２０１へ送信する。
Ｓ４１７において、ＣＰＵ２２１は、撮像装置２０２により撮影された画像を、撮像装置２０２から受信する。
Ｓ４１８において、ＣＰＵ２２１は、撮像装置２０３により撮影された画像を、撮像装置２０３から受信する。
【００２８】
Ｓ４１９において、ＣＰＵ２２１は、Ｓ４１７で受信した画像とＳ４１８で受信した画像とを合成して、Ｓ４１７で受信した画像に含まれる被写体１０３の部分と、Ｓ４１８で受信した画像に含まれる被写体１０３の部分と、の双方を含む１つの画像を生成する。例えば、被写体１０３が一人の人物である場合、Ｓ４１８で受信した画像に被写体１０３の首から下の部分が全て含まれている（頭部のみ見切れている）とする。そして、Ｓ４１７で受信した画像に被写体１０３の腰から上が全て含まれているとする。この場合、ＣＰＵ２２１は、Ｓ４１７で受信した画像とＳ４１８で受信した画像とを合成して、被写体１０３の全体を含む１つの画像を生成する。また、Ｓ４１９での画像の合成の一例について、図６で後述する。
このように、ＣＰＵ２２１は、エリア１０１内の被写体１０３が移動して、撮像装置２０３の撮影範囲から被写体１０３の一部がはみ出した場合でも、撮像装置２０２がカバーすることで、以下の処理ができる。即ち、ＣＰＵ２２１は、解像度を低下させることなく、より全体像に近い被写体１０３の画像を生成できる。
【００２９】
ＣＰＵ２２１は、Ｓ４１９で被写体１０３の画像を生成した後、生成した画像を、出力部に表示したり、予め定められた送信先に送信したり、配信サイトにアップロードしたり、電波信号として配信したりすることで出力する。
また、ＣＰＵ２２１は、以下のような処理を行うこととしてもよい。即ち、ＣＰＵ２２１は、Ｓ４１７で受信した画像から、Ｓ４１３と同様の処理で、被写体１０３の検出を行う。そして、ＣＰＵ２２１は、被写体１０３を検出できた（Ｓ４１７で受信した画像に被写体１０３の少なくとも一部が含まれる）場合のみ、Ｓ４１７、Ｓ４１８で受信した画像を合成し、検出できなかった場合、画像を合成しないこととしてもよい。このようにすることで、ＣＰＵ２２１は、不要な合成処理を行わずに、処理の負担を軽減できる。
【００３０】
図５は、エリア１０１に存在する被写体１０３の画像の一例を示す図である。画像５０１〜５０３は、撮像装置２０３により撮影されたエリア１０１に存在する被写体１０３の画像の一例を示す図である。図５の例では、被写体１０３は、ボールを競り合っている２名の選手である。画像５０１〜５０３には、画像５０１、画像５０２、画像５０３の順番に、時間が経過している状況が示される。画像５０３には、被写体１０３がボールを競り合ってジャンプしたことで、被高さ方向に移動し、被写体１０３の一部が、撮像装置２０３の撮影範囲からはみ出してしまっている状況が示されている。
画像５０３が示す状況では、情報処理システムは、Ｓ４１５、Ｓ４１６の処理により、撮像装置２０２の撮影パラメータを、エリア１０１に存在する被写体１０３に焦点が合うように更新し、撮影している。そこで、情報処理システムは、撮像装置２０２により撮影された画像と、撮像装置２０３により撮影された画像５０３と、を合成し、被写体１０３の全体像が含まれる画像を生成する。画像５０４は、この生成された画像の一例である。
【００３１】
図６は、画像の合成の一例を説明する図である。図６を用いて、画像５０４を生成する処理について説明する。画像６０１は、撮像装置２０３により、画像５０３が撮影された際に撮像装置２０２により撮影された画像である。画像６０１には、被写体１０３の全体像は含まれないが、画像５０３に含まれない被写体１０３の部分が含まれる。ＣＰＵ２２１は、Ｓ４１９で、画像５０３と画像６０１とを合成し、被写体１０３の全体像を含む画像５０４を生成する。
本実施形態では、ＣＰＵ２２１は、撮像装置２０２により撮影された画像と、撮像装置２０３により撮影された画像と、を合成することで、Ｓ４１９で被写体１０３の全体像を含む画像を生成することとした。しかし、例えば、撮像装置２０３により撮影された画像において、被写体１０３の上の部分が見切れており、更に、被写体１０３の下の部分も見切れている場合、（例えば、被写体の頭部と足元とが画像に含まれない等の場合）がある。そのような場合、ＣＰＵ２２１は、Ｓ４１９で、撮像装置２０２により撮影された画像と、撮像装置２０３により撮影された画像と、を合成し、被写体１０３の下の部分のみ含まれない画像を生成することで、より全体像に近い被写体の画像を生成する。
【００３２】
情報処理システムは、Ｓ４１６で、撮像装置２０２の撮影パラメータを更新した後、以下のような処理により、エリア１０２に存在する被写体に焦点が合うように更新することで、撮影パラメータを元の値に戻してもよい。
ＣＰＵ２２１は、例えば、撮像装置２０２により撮影された画像に含まれる撮像装置２０２がエリア１０２を撮影する場合に撮影する領域を特定する。図７は、撮像装置２０２により撮影された画像の一例を示す図である。領域７０１は、撮像装置２０２により撮影された画像である画像６０１内における撮像装置２０２がエリア１０２を撮影する場合に撮影する領域である。そして、ＣＰＵ２２１は、特定した領域（図７の例では、領域７０１）から被写体を検出し、検出できた場合、エリア１０２のその被写体の撮影のため、撮像装置２０２に対して、撮影パラメータを、Ｓ４０２で取得した値に更新するよう要求する。ＣＰＵ２３１は、この要求に応じて、撮像装置２０２の撮影パラメータを、Ｓ４０２で取得した値に更新する。
また、ＣＰＵ２２１は、Ｓ４１６の処理の後で、撮像装置２０２により撮影された画像と、撮像装置２０３により撮影された画像と、から被写体１０３を検出し、どちらからも被写体１０３が検出されなかった場合、以下の処理を行うこととしてもよい。即ち、ＣＰＵ２２１は、エリア１０１に被写体１０３がもう存在しないとして、撮像装置２０２に対して、撮影パラメータを、Ｓ４０２で取得した値に更新するよう要求してもよい。
【００３３】
また、ＣＰＵ２２１は、互いに対応する撮像装置である撮像装置２０４と撮像装置２０５とを介して、図４で説明した撮像装置２０２と撮像装置２０３とを介して行う処理と同様の処理を行う。
即ち、ＣＰＵ２２１は、撮像装置２０４を介してエリア１０１を撮影し、撮像装置２０５を介してエリア１０２を撮影する。ＣＰＵ２２１は、エリア１０２に被写体が存在するか否かに応じて、撮像装置２０４の撮影パラメータを、エリア１０２に存在する被写体に焦点が合うように更新する。そして、ＣＰＵ２２１は、撮影パラメータが更新された撮像装置２０４を介して撮影された画像と、撮像装置２０４を介して撮影された画像と、を合成して、被写体の画像を生成する。
【００３４】
以上、本実施形態では、情報処理システムは、撮像装置２０２を介してエリア１０２を撮影し、撮像装置２０３を介してエリア１０１を撮影し、被写体１０３がエリア１０１に存在するか否かに応じて、以下のようにすることとした。即ち、情報処理システムは、撮像装置２０２の撮影パラメータを、エリア１０１に存在するオブジェクトに焦点が合うように更新した。そして、情報処理システムは、撮影パラメータを更新した撮像装置２０２を介して撮影された画像と、撮像装置２０３をかいして撮影された画像と、を合成することで、被写体１０３の画像を生成した。
これにより、エリア１０１に存在する被写体１０３が移動することで、撮像装置２０３の撮影範囲からはみ出ることで、撮像装置２０３が被写体１０３の全体像を撮影できないような場合でも、情報処理システムは、より被写体の全体像に近い画像を生成できる。また、情報処理システムは、撮像装置２０２、２０３を介して、必要以上に広範囲を撮影し、画像の一部を切り取る必要がないため、より高解像度な画像を生成できる。
【００３５】
なお、本実施形態では、複数の撮像装置による撮影画像の合成によって仮想視点画像を生成する例を中心に説明した。しかし、制御サーバ２０１は、例えば、仮想視点画像の生成のためのアルゴリズムとしては、イメージベースレンダリング、モデルベースレンダリング等の方法を用いて、仮想視点画像を生成してもよい。モデルベースレンダリングを行う場合には、複数の撮像装置による撮影画像から被写体（例えばサッカー選手）の三次元形状モデルを生成し、そのモデルと背景モデルとの合成によって仮想視点画像が生成される。なお、仮想視点画像は、静止画として扱われるものであってもよいし、動画して扱われるものであってもよい。
また撮像装置の数や設置位置は図１に示した例に限らない。図１では、撮像装置２０２と撮像装置２０３との水平方向の設置位置は同じであり、高さ方向の設置位置が異なるとしたが、水平方向の設置位置と高さ方向の設置位置との両方が異なるようにしてもよい。また、撮像装置２０２と撮像装置２０３との高さ方向の設置位置が同じで水平方向の設置位置が異なるようにしてもよい。また、撮像装置２０２〜２０５に加えて、パン、チルト、及び／又はズームが可能な撮像装置が存在するようにしてもよい。また、撮像装置２０２〜２０５の一部又は全部が、パン、チルト、及び／又はズームが可能でもよい。パン、チルト、及び／又はズームが可能な撮像装置を用いる場合、制御サーバ２０１は、Ｓ４１５における撮像パラメータの変更によって、パン、チルト、及び／又はズームのパラメータも変更することができる。
【００３６】
また、上記の説明では、制御サーバ２０１は、相対的に高い位置に設置される撮像装置（撮像装置２０２及び２０４）については、複数の注視点に関するキャリブレーション処理（撮影パラメータの取得のための処理）を行う（Ｓ４０１〜Ｓ４０４）。そして、制御サーバ２０１は、相対的に低い位置に設置される撮像装置（撮像装置２０３及び２０５）については、単一の注視点に関するキャリブレーション処理を行う（Ｓ４０５〜Ｓ４０６）。しかし、制御サーバ２０１は、例えば、相対的に低い位置に設置される撮像装置（例えば撮像装置２０３）についても複数の注視点に関するキャリブレーション処理を行うようにしてもよい。また、制御サーバ２０１は、相対的に高い位置に設置されているすべての撮像装置について必ずしも複数の注視点に関するキャリブレーション処理をしなければならないとは限らない。例えば、ある撮像装置の撮像範囲に複数のエリア（例えばエリア１０１と１０２）が含まれる場合に、制御サーバ２０１は、その複数のエリアに対応する複数の注視点に関するキャリブレーション処理を行うようにしてもよい。また、注視点が２つの場合の例を中心に説明したが、これに限らず、制御サーバ２０１は、３つ以上の注視点が設定される場合にも本実施形態の処理を適用可能である。また、図１の例では、撮像装置の高さは２段階である場合の例を示したが、３段階以上あってもよい。
また、本実施形態では、制御サーバ２０１は、「エリア１０１に被写体１０３の少なくとも一部が存在し、且つ、エリア１０２に被写体１０３が存在しない状態であるか否か」の判定結果に基づいて、撮像装置２０２の撮影パラメータを変更することとした。しかし、制御サーバ２０１は、例えば、撮像装置２０２がエリア１０１の撮影パラメータに従って撮影している状況において、エリア１０１における選手の数が閾値未満になった場合は、自動でエリア１０２の撮影パラメータに変更するようにしてもよい。また、別の例として、制御サーバ２０１は、特定の被写体（例えばボール）の位置に応じて、自動的に撮影対象のエリアを選択するようにしてもよい。つまり、制御サーバ２０１は、被写体の位置に応じて、撮影パラメータを切り替えることができる。
また、本実施形態では、制御サーバ２０１は、撮像装置２０２〜２０５を含む複数の撮像装置による撮影により得られた複数の撮像画像を取得し、仮想視点画像を生成することとした。しかし、例えば、撮像装置２０２〜２０５が、撮像画像に対して仮想視点画像の生成のための処理の一部を行うようにしてもよい。また、例えば、制御サーバ２０１は、図４のＳ４０１〜Ｓ４１８の処理を行い、Ｓ４１９の処理が別のサーバにて実行されるようにしてもよい。このように、本実施形態には種々のバリエーションが存在することに留意されたい。
【００３７】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３８】
例えば、上述した情報処理システムの機能構成の一部又は全てをハードウェアとして制御サーバ２０１に実装してもよい。
実施形態１では、制御サーバ２０１は、単体の情報処理装置であるとしたが、複数のＰＣ、サーバ装置、タブレット装置等であるとしてもよい。その場合、制御サーバ２０１に含まれる各情報処理装置のＣＰＵが、各情報処理装置の補助記憶装置に記憶されるプログラムに基づき、連携して処理を実行することで、制御サーバ２０１の機能及び図４のシーケンス図の制御サーバ２０１の処理等が実現される。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
【符号の説明】
【００３９】
２０１  制御サーバ
２０２  撮像装置
２０３  撮像装置
【図１】
2019050523.tif 000003
【図２】
2019050523.tif 000004
【図３】
2019050523.tif 000005
【図４】
2019050523.tif 000006
【図５】
2019050523.tif 000007
【図６】
2019050523.tif 000008
【図７】
2019050523.tif 000009