(57)【要約】【課題】複数のカメラグループを有するシステムにおいて、適切なカメラグループを選択的に用いて仮想視点映像を生成すること。【解決手段】本発明は、互いに異なる位置に設置され同一の注視点に向けられた複数のカメラを有するカメラグループによる撮影に基づく画像を用いて仮想視点画像を生成する画像処理装置であって、それぞれ異なる注視点に対応する複数のカメラグループのうち、前記仮想視点画像の生成に用いるカメラグループを、当該カメラグループによる撮影に基づく画像の明るさに関わるパラメータに基づいて選択する選択手段と、前記選択手段により選択されたカメラグループによる撮影に基づく画像を用いて、前記仮想視点画像を生成する生成手段とを有することを特徴とする画像処理装置である。【選択図】図４
2020048164.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる位置に設置され同一の注視点に向けられた複数のカメラを有するカメラグループによる撮影に基づく画像を用いて仮想視点画像を生成する画像処理装置であって、
それぞれ異なる注視点に対応する複数のカメラグループのうち、前記仮想視点画像の生成に用いるカメラグループを、当該カメラグループによる撮影に基づく画像の明るさに関わるパラメータに基づいて選択する選択手段と、
前記選択手段により選択されたカメラグループによる撮影に基づく画像を用いて、前記仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記複数のカメラグループのうち第１カメラグループの撮影対象領域は日向領域を含み、前記第１カメラグループのカメラには日向領域用の露出量が設定され、
前記複数のカメラグループのうち第２カメラグループの撮影対象領域は日陰領域を含み、前記第２カメラグループのカメラには日陰領域用の露出量が設定されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１カメラグループの撮影対象領域の一部と、前記第２カメラグループの撮影対象領域の一部との重複領域における仮想視点画像を生成する場合、前記生成手段は、前記第１カメラグループと前記第２カメラグループとの何れかの撮影画像を用いて、該仮想視点画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
注目オブジェクトが前記重複領域に存在するか判定する判定手段と、
前記判定手段の判定結果が真の場合、前記第１カメラグループの撮影画像に基づく前記注目オブジェクトの位置における第１の簡易な仮想視点画像と、前記第２カメラグループの撮影画像に基づく該位置における第２の簡易な仮想視点画像とを生成する簡易画像生成手段と
を更に有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の簡易な仮想視点画像の画質と、前記第２の簡易な仮想視点画像の画質とを評価する評価手段を更に有し、
前記選択手段は、前記評価手段による評価結果に基づき、前記第１カメラグループと前記第２カメラグループとの何れかを、前記注目オブジェクトの位置における仮想視点画像の生成に用いるカメラグループとして選択することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
注目オブジェクトの位置をカバーする撮影対象領域に対応する第１カメラグループに対して設定されているカメラの露出量が、該位置に対し適切か判定する第１判定手段と、
前記第１判定手段の判定結果が偽の場合、前記注目オブジェクトが第２カメラグループの撮影対象領域から少しはみ出しているか判定する第２判定手段と
を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第１判定手段は、前記注目オブジェクトの位置が日向か日陰かを示す情報に基づき、前記第１カメラグループに対して設定されているカメラの露出量が、該位置に対し適切か判定し、
前記第２判定手段は、前記注目オブジェクトの位置と、前記第２カメラグループの撮影対象領域の境界との間の距離が所定の長さより短いか判定することで、該注目オブジェクトが該第２カメラグループの撮影対象領域から少しはみ出しているか判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２判定手段の判定結果が真の場合、前記第２カメラグループの撮影画像に基づき、前記注目オブジェクトの位置における簡易な仮想視点画像を生成する簡易画像生成手段と、
前記生成された簡易な仮想視点画像に基づき、前記注目オブジェクトの位置における仮想視点画像の生成に、前記第２カメラグループを使用できるか判定する第３判定手段と
を更に有することを特徴とする請求項６または請求項７に記載の画像処理装置。
【請求項９】
前記第３判定手段は、前記生成された簡易な仮想視点画像の画質が所定の基準を満たす場合、前記第２カメラグループを使用できると判定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２カメラグループの撮影対象領域が、日向領域を更に含み、
前記第２カメラグループの撮影対象領域を、前記日向領域用の露出量と前記日陰領域用の露出量との中間の露出量を設定した該第２カメラグループのカメラで更に撮影することを特徴とする請求項２に記載の画像処理装置。
【請求項１１】
注目オブジェクトが前記第２カメラグループの撮影対象領域に存在する場合、前記注目オブジェクトの位置と、日向および日陰の境との間の距離に応じて、前記日陰領域用の露出量で撮影した画像と、前記中間の露出量で撮影した画像とを使い分けることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記簡易な仮想視点画像は、簡易な仮想視点画像に基づき生成され、
前記簡易な仮想視点画像とは、解像度と、フレームレートと、使用するカメラ台数とのうちの少なくとも１つが低減された仮想視点画像であることを特徴とする請求項４、請求項５、請求項８、または請求項９の何れか１項に記載の画像処理装置。
【請求項１３】
互いに異なる位置に設置され同一の注視点に向けられた複数のカメラを有するカメラグループによる撮影に基づく画像を用いて仮想視点画像を生成する画像処理方法であって、
それぞれ異なる注視点に対応する複数のカメラグループのうち、前記仮想視点画像の生成に用いるカメラグループを、当該カメラグループによる撮影に基づく画像の明るさに関わるパラメータに基づいて選択するステップと、
前記選択するステップにおいて選択されたカメラグループによる撮影に基づく画像を用いて、前記仮想視点画像を生成するステップと
を有することを特徴とする画像処理方法。
【請求項１４】
コンピュータに、請求項１３に記載の方法を実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像を生成する技術に関する。
【背景技術】
【０００２】
昨今、複数のカメラを互いに異なる位置に設置して多視点で同期撮影することで得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。この技術によれば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。
【０００３】
このような仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理装置に一旦集約し、該画像処理装置にて、３次元モデル生成、レンダリング等の処理を施し、ユーザ端末に仮想視点画像を伝送することで実現される。
【０００４】
上記の複数のカメラは、各カメラの光軸が特定の位置で交差するように設置され、複数の方向からその特定の位置を撮影する。そして、その特定の位置を中心とする所定の撮影領域内のオブジェクトを含む仮想視点画像が生成される。特許文献１には、各カメラの光軸が交差する位置（撮影中心、注視点等と呼ぶ）が複数存在するように、複数のカメラから成るカメラグループを複数設置し、より多くの領域の仮想視点画像を生成できるようにすることが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−２１２５９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術のように複数のカメラグループを有するシステムによって仮想視点画像を生成する際に、使用するカメラグループを適切に選択しなかった場合、視聴者に違和感を与える仮想視点画像が生成される虞がある。例えば、注視点が日向にあるために日向用の露出設定がされたカメラグループと、注視点が日陰にあるために日陰用の露出設定がされた別のカメラグループとがシステムに含まれる場合があり得る。この場合に、日陰用の露出設定がされたカメラグループを用いて日向の領域の仮想視点画像を生成してしまうと、生成される仮想視点画像が明るくなりすぎてしまう。
【０００７】
そこで本発明は、上記の課題に鑑み、複数のカメラグループを有するシステムにおいて、適切なカメラグループを選択的に用いて仮想視点画像を生成することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、互いに異なる位置に設置され同一の注視点に向けられた複数のカメラを有するカメラグループによる撮影に基づく画像を用いて仮想視点画像を生成する画像処理装置であって、それぞれ異なる注視点に対応する複数のカメラグループのうち、前記仮想視点画像の生成に用いるカメラグループを、当該カメラグループによる撮影に基づく画像の明るさに関わるパラメータに基づいて選択する選択手段と、前記選択手段により選択されたカメラグループによる撮影に基づく画像を用いて、前記仮想視点画像を生成する生成手段とを有することを特徴とする画像処理装置である。
【発明の効果】
【０００９】
本発明によれば、適切なカメラグループを選択的に用いて仮想視点画像を生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】仮想視点映像を生成するシステム１００の概略構成図。
【図２】システム１００による仮想視点映像の生成の説明図。
【図３】システム１００の構成を示すブロック図。
【図４】第１の実施形態におけるカメラパス生成処理のフローチャート。
【図５】第１の実施形態における仮想視点映像生成処理のフローチャート。
【図６】図２のフィールド１３０部分を抜き出した図。
【図７】第２の実施形態におけるカメラパス生成処理のフローチャート。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
＜仮想視点映像を生成するシステムについて＞
図１は、本実施形態における、仮想視点映像を生成するシステム１００の構成を示す図である。図１に示すように、システム１００は、撮影中心Ａ及び撮影中心Ｂ並びにフィールド１3０を取り囲むように配置した８個のカメラを有する。８個のカメラとは具体的には、第１カメラグループ１１０Ａに属するカメラ１１０１Ａ〜１１０４Ａ、及び、第２カメラグループ１１０Ｂに属するカメラ１１０１Ｂ〜１１０４Ｂである。カメラ１１０１Ａ〜１１０４Ａの撮影中心は同一（撮影中心Ａとする）であり、カメラ１１０１Ｂ〜１１０４Ｂの撮影中心は同一（撮影中心Ｂとする）である。なお、撮影中心Ａ（注視点Ａ）は必ずしもカメラグループ１１０Ａに属するすべてのカメラの光軸上に厳密に位置していなくてもよく、少なくともこれらのカメラの撮影範囲に含まれていればよい。このように、本実施形態のシステムは、複数カメラから成るカメラグループを複数有する。尚、本明細書では、特に特定しないカメラについては、その符号を１１０とする。
【００１２】
また、システム１００は、これら８個のカメラの夫々と対応するカメラアダプタ（８個）と、サーバ１６０とを有する。８個のカメラアダプタとは具体的には、第１カメラアダプタグループ１２０Ａに属するカメラアダプタ１２０１Ａ〜１２０４Ａ、及び、第２カメラアダプタグループ１２０Ｂに属するカメラアダプタ１２０１Ｂ〜１２０４Ｂである。尚、本明細書では、特に特定しないカメラアダプタについては、その符号を１２０とする。また、図１に示すケースでは、カメラグループ毎のカメラ数を４としているが、カメラグループ毎のカメラ数は４に限定されず、任意の値（但し複数）であって良い。また、カメラグループの数も２に限定されず、２以上の任意の一値であって良い。
【００１３】
各カメラ１１０とそれに対応するカメラアダプタ１２０とは、撮影画像伝送ケーブル１５０で接続されている。撮影画像伝送ケーブル１５０は、例えばＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）ケーブルにより実現される。カメラアダプタ１２０間、及び、各カメラアダプタ１２０とサーバ１６０との間は、データ伝送ケーブル１４０で接続されている。データ伝送ケーブル１４０は、例えばＥｔｈｅｒｎｅｔケーブルで実現される。
【００１４】
システム１００では、カメラグループ１１０Ａに属するカメラと、カメラグループ１１０Ｂに属するカメラとを用いて、フィールド１３０を全方位から撮影する。撮影するカメラの露出に関し、オペレータは事前に、第１カメラグループの撮影中心Ａと第２カメラグループの撮影中心Ｂとの夫々にマーカーを設置すること等により光量を測定する（キャリブレーション）。そして、オペレータは、測定した光量に基づき、カメラグループ毎に最適な露出量を導出し、設定する。この最適な露出量で撮影したカメラグループ毎の撮影画像群は全てサーバ１６０に伝送される。その後、サーバ１６０において、撮影画像群に対して画像処理が行われ、任意の視点（カメラが配置されていない位置、いわゆる仮想視点を含む）からの映像が生成されて、ユーザに提供される。なお、サーバ１６０には、カメラグループによる撮影に基づく画像として撮影画像そのものが入力されてもよいし、撮影画像が処理されることで得られる画像（例えば撮影画像から所定のオブジェクト領域を抽出した画像）が入力されてもよい。
【００１５】
本実施形態では、スタジアムの屋根や外壁によりフィールド１３０内において日向と日陰ができた場合に、露出が適正な領域と、露出が不適正な領域とが発生するケースを想定している。このようなケースにおいて、カメラグループ毎の撮影対象領域が一部重複する領域における仮想視点映像を生成する際、露出量がより適切なカメラグループを選択する。なお、本実施形態ではカメラの絞り、シャッタースピード、及びＩＳＯ感度に基づいて決まる露出量を基準にカメラグループが選択されるものとするが、カメラグループの選択方法はこれに限定されない。カメラグループの選択は当該カメラグループによる撮影に基づく画像の明るさに関わるパラメータに基づいて行われればよく、例えば撮影画像に対して行われる明るさ補正処理に係るパラメータに基づいて選択が行われてもよい。
【００１６】
図２は、フィールド上を移動する人やボール等のオブジェクトとカメラグループとの関係を示す図であり、図１に対して仮想カメラ２０１、日向１７０、及び日陰１８０を追加した図である。仮想カメラ２０１は、フィールド１３０を任意の位置から撮影するように配置することが可能である。図２のケースで生成する仮想視点映像とは、仮想カメラ２０１の位置（つまり、実際にはカメラ１１０が配置されていない位置）から見たときの映像を仮想的に生成したものである。仮想カメラの撮影領域２０２は、仮想カメラ２０１の方向や撮影範囲に基づいて決まる領域であり、仮想視点映像が撮影される範囲を示す。仮想カメラ移動情報２０３は、仮想カメラ２０１がどのように動くのかを示す情報である。
【００１７】
図２は、最初は符号１９０２に対応する位置に存在するオブジェクトが、軌道１９０１上を符号１９０６に対応する位置まで移動する様子を示している。符号１９０２が示す位置にオブジェクトが存在するとき、このオブジェクトは、カメラグループ１１０Ａの撮影対象領域に存在する。また、その後で、符号１９０３〜符号１９０４の位置にオブジェクトが存在するとき、このオブジェクトは、カメラグループ１１０Ａの撮影対象領域とカメラグループ１１０Ｂの撮影対象領域との重複領域に存在する。さらにその後で、符号１９０５の位置または符号１９０６の位置にオブジェクトが存在するとき、このオブジェクトは、カメラグループ１１０Ｂの撮影対象領域に存在する。オペレータは、軌道１９０１に示す軌道で移動するオブジェクトを追いかけるように仮想カメラ２０１を操作する。
【００１８】
＜システムの構成について＞
以下、本実施形態において仮想視点映像を生成するシステム１００の構成について、図３を用いて説明する。図３（ａ）は、システム１００のソフトウェアモジュールの構成を示すブロック図である。図示するように、システム１００は、サーバ１６０と、コントローラ３００と、エンドユーザ端末４００とを有する。尚、ここでは、サーバとコントローラとが分かれた構成を示すが、サーバとコントローラが一体的に構成されていても良い。
【００１９】
コントローラ３００は、仮想カメラを制御するための装置である。コントローラ３００は、仮想カメラ操作ユーザインターフェース（以下、ユーザインターフェースをＵＩと略記する）３３０を有し、仮想カメラ操作ＵＩ３３０は、仮想カメラ操作部３３０２と、仮想カメラ管理部３３０１と、を有する。
【００２０】
仮想カメラ管理部３３０１は、オペレータの操作に応じた仮想カメラのパス等の情報を管理する。ここで「管理」とは、仮想カメラのパスの記憶、具体的には、所定のテーブルに仮想カメラのパスを記入して保持することや、不要となった仮想カメラのパスを該所定のテーブルから削除すること等を意味する。仮想カメラのパスとは、仮想カメラの１フレーム毎の位置や姿勢を表す情報の列である。例えば、仮想カメラの位置や姿勢を表す情報として仮想カメラパラメータが用いられる。
【００２１】
仮想カメラ操作部３３０２は、生成する仮想視点映像に対応する視点に関する設定などの、オペレータによる操作を受け付け、その内容を仮想カメラ管理部３３０１に伝える。オペレータの操作内容とは例えば、仮想カメラの位置の変更（即ち、移動）、仮想カメラの姿勢の変更（即ち、回転）、ズーム倍率の変更、及び画角の調整等である。オペレータが仮想カメラを操作するための入力装置として、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウス等が考えられる。
【００２２】
サーバ１６０は、レンダリング部１６０１と、出力部１６０２と、映像生成管理部１６０３と、簡易仮想視点映像生成部１６０４と、オブジェクト領域判定部１６０５と、選択部１６０６と、を有する。
【００２３】
レンダリング部１６０１は、テクスチャ付き背景メッシュモデルを仮想視点から見た視野にトリミングし、そこに前景画像を合成することで仮想視点の全景画像を生成する。ここで「テクスチャ」とは、オブジェクト表面の色を含む質感の概念である。また、「背景」の画像としては、グラウンドや観客席などの比較的動きが少ないオブジェクトの画像を想定する一方、「前景」の画像としては、選手、審判、ボール等の動きが激しいオブジェクトの画像を想定している。
【００２４】
出力部１６０２は、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル等の伝送ケーブルを介して、コントローラ３００およびエンドユーザ端末４００に対し、サーバ１６０で生成された仮想視点画像や複数フレームの仮想視点画像から成る仮想視点映像を出力する。出力部１６０２がコントローラ３００に対して出力するデータには、仮想視点映像の簡易版（簡易仮想視点映像と呼ぶ）のデータやこの簡易仮想視点映像に基づき生成される仮想視点画像の簡易版（簡易仮想視点画像と呼ぶ）のデータが含まれる。尚、簡易仮想視点映像および簡易仮想視点画像については後述する。
【００２５】
映像生成管理部１６０３は、仮想カメラの位置、姿勢（向き）、及び画角に基づき、仮想視点映像が生成される領域（図２のケースでは、仮想カメラの撮影領域２０２）を設定する。
【００２６】
簡易仮想視点映像生成部１６０４は、後述のカメラパス生成処理（図４参照）において、各カメラグループの撮影画像を用いることにより簡易仮想視点映像を生成する。本実施形態において、簡易仮想視点映像の生成は、重複領域を成す撮影対象領域に対応するカメラグループ毎に行われる。簡易仮想視点映像とは、簡易的に生成、つまり、生成に要する時間が短縮された映像であり、通常の仮想視点映像と比べると、解像度と、フレームレートと、映像生成に用いるカメラ台数とのうちの少なくとも１つが低減されている。
【００２７】
続けて、サーバ１６０のハードウェア構成について、図３（ｂ）を用いて説明する。図３（ｂ）は、サーバ１６０のハードウェア構成を示すブロック図である。サーバ１６０は、ＣＰＵ１６１１と、ＲＡＭ１６１２と、ＲＯＭ１６１３と、二次記憶装置１６１４と、入出力インタフェース１６１５とを有する。これらの構成要素は、バスによって接続され、構成要素間でデータを送受信することが可能である。尚、コントローラ３００も、図３（ｂ）に示したサーバ１６０と同様の構成を有する。
【００２８】
ＣＰＵ１６１１は、ＲＡＭ１６１２をワークメモリとして用いて、ＲＯＭ１６１３や二次記憶装置１６１４に格納されたプログラムを実行し、システムバスを介してサーバ１６０の各構成要素を統括的に制御する。これにより、図３（ａ）に示したモジュールが実現されたり、後述の処理が実行されたりする。
【００２９】
二次記憶装置１６１４は、サーバ１６０で取り扱われる種々のデータが格納される装置であり、例えば、ＨＤＤ、光ディスクドライブ、フラッシュメモリ等が用いられる。ＣＰＵ１６１１は、システムバスを介して、二次記憶装置１６１４へのデータの書き込みと二次記憶装置１６１４に格納されたデータの読出しとを行う。入出力インタフェース１６１５は、サーバ１６０とその外部の装置との間におけるデータの送受信を行う。以上が、本実施形態におけるシステム構成の内容である。
【００３０】
＜カメラパス生成処理について＞
以下、本実施形態におけるカメラパス生成処理について、図４を用いて説明する。尚、図４の処理は、オペレータが仮想カメラの入力装置を操作して仮想視点映像の生成を指示すると開始する。
【００３１】
ステップＳ４０１において、仮想カメラ管理部３３０１は、カメラパス生成処理の初期化を行う。本ステップにおける初期化には、仮想カメラのパスを書き込むテーブルの各値をリセットする（デフォルト値にする）テーブルの初期化等が含まれる。尚、以降では、「ステップＳ〜」を単純に「Ｓ〜」と略記する。
【００３２】
Ｓ４０２において、仮想カメラ操作部３３０２は、オペレータによる仮想カメラの操作を受け付け、その内容を示す情報を仮想カメラ管理部３３０１に伝え、仮想カメラ管理部３３０１は、受け取った情報を記憶する。オペレータは仮想カメラの入力装置を操作し、仮想視点に関する設定を行う。仮想視点に関する設定とは具体的には、仮想カメラを配置する位置の指定、オペレータが所望する軌道でオブジェクトを追跡するために必要な仮想カメラの位置と姿勢との変更（即ち、移動及び回転）、画角の調整、等を含む。例えば図２に示すケースでは、オペレータは仮想カメラを操作して、符号１９０２に対応する位置から符号１９０６に対応する位置まで、軌道１９０１上を移動するオブジェクトを追いかけるよう指示する。
【００３３】
Ｓ４０３において、オブジェクト領域判定部１６０５は、注目オブジェクトが、カメラグループ毎の撮影対象領域の重複領域に存在するか判定する。本ステップの判定結果が真の場合、Ｓ４０４に進む一方、該判定結果が偽の場合、Ｓ４０６に進む。例えば、図２に示すケースにおいて、符号１９０３が示す位置と符号１９０４が示す位置との間に注目オブジェクトが存在する場合を検討する。この場合、注目オブジェクトは、撮影中心Ａに対応する円形の撮影対象領域（エリアＡとする）と撮影中心Ｂに対応する円形の撮影対象領域（エリアＢとする）との重複領域１３１に存在している。従ってこの場合、Ｓ４０３の判定結果が真となり、Ｓ４０４に進む。また、符号１９０２、符号１９０５、又は符号１９０６が示す位置に注目オブジェクトが存在する場合、この注目オブジェクトは重複領域１３１に存在しないため、Ｓ４０３の判定結果が偽となり、Ｓ４０６に進む。
【００３４】
Ｓ４０３でＹＥＳの場合、Ｓ４０４において、簡易仮想視点映像生成部１６０４は、重複する円形の撮影対象領域の夫々に対して、対応するカメラグループの撮影画像を用いて、Ｓ４０２で設定された仮想視点に対応する簡易仮想視点映像を生成する。そして、簡易仮想視点映像生成部１６０４は、重複する円形の撮影対象領域（図２のケースでは、エリアＡとエリアＢ）の夫々について生成した簡易仮想視点映像に基づき、仮想視点に対応する簡易仮想視点画像をカメラグループ毎に生成する。前述したように、簡易仮想視点画像とは、簡易視点映像に基づいて生成される画像である。例えば、図２に示すケースにおいて、符号１９０３が示す位置と符号１９０４が示す位置との間にオブジェクトが存在する場合、２つの簡易仮想視点画像が生成されることとなる。２つの仮想視点画像とは、カメラグループ１１０Ａの撮影画像を用いて生成された簡易仮想視点映像に基づき生成される簡易仮想視点画像と、カメラグループ１１０Ｂの撮影画像を用いて生成された簡易仮想視点映像に基づき生成される簡易仮想視点画像である。このように、簡易仮想視点映像生成部１６０４は、簡易画像生成手段として機能する。
【００３５】
Ｓ４０５において、選択部１６０６は、Ｓ４０４で生成した複数の簡易仮想視点画像を比較し、複数のカメラグループのなかから、露出量が適切となるカメラグループを選択する。詳しくは、本ステップにおいて、生成された簡易仮想視点画像の画質を評価する（具体的には、白とびの有無など）し、その評価結果に基づいて、露出量が適切なカメラグループの撮影画像を用いて生成されたかの判定がなされる。
【００３６】
ここで一例として、図２で符号１９０４が示す日向の位置にオブジェクトが存在する場合について検討する。撮影中心Ｂは日陰のため、カメラグループ１１０Ｂのカメラの露出量は、日陰用露出量（つまり大き目）に設定されており、この日陰用露出量は、符号１９０４が示す位置（日向）に存在するオブジェクトを撮影する露出量としては大き過ぎる。従って、露出オーバーとなる結果、カメラグループ１１０Ｂの撮影画像を用いて生成された簡易仮想視点画像では、白とびが発生してしまう。これに対し、撮影中心Ａは日向のため、カメラグループ１１０Ａのカメラの露出量は日向用露出量（つまり小さ目）に設定されており、この日向用露出量は、符号１９０４が示す位置に存在するオブジェクトを撮影する露出量として適切である。従って、カメラグループ１１０Ａの撮影画像を用いて生成された簡易仮想視点画像では、白とびが発生しない。
【００３７】
よって、本例では、符号１９０４が示す位置に対しては、カメラグループ１１０Ｂではなくカメラグループ１１０Ａが選択されることになる。
【００３８】
図４の説明に戻る。Ｓ４０３でＮＯの場合、Ｓ４０６において、選択部１６０６は、注目オブジェクトの位置をカバーする（つまり、注目オブジェクトの位置を撮影対象領域が含む）カメラグループを選択する。そして、簡易仮想視点映像生成部１６０４は、そのカメラグループの撮影画像を用いて、Ｓ４０２で設定された仮想視点に対応する簡易仮想視点映像を生成し、該生成した簡易仮想視点映像に基づき、簡易仮想視点画像を生成する。例えば、図２に示すケースでは、オブジェクトが符号１９０２に示す位置に存在する場合、撮影中心Ａ（エリアＡ）に対応するカメラグループ１１０Ａの撮影画像を用いて生成された簡易仮想視点映像に基づき、簡易仮想視点画像が生成される。一方、オブジェクトが符号１９０６に示す位置に存在する場合、撮影中心Ｂ（エリアＢ）に対応するカメラグループ１１０Ｂの撮影画像を用いて生成された簡易仮想視点映像に基づき、簡易仮想視点画像が生成される。
【００３９】
Ｓ４０５又はＳ４０６の後、Ｓ４０７において、出力部１６０２は、サーバ１６０で生成された簡易仮想視点画像のデータをコントローラ３００に出力し、該簡易仮想視点画像をオペレータに確認させる。本ステップの処理は、Ｓ４０２で設定された仮想視点に対応する画像になっているか、簡易仮想視点画像をディスプレイに表示してオペレータに確認させるために実行される。本ステップで出力する簡易仮想視点画像のデータは、Ｓ４０５で選択されたカメラグループの撮影画像に基づいて生成された簡易仮想視点画像のデータ、又は、Ｓ４０６で生成された簡易仮想視点画像のデータである。例えば、図２に示すケースにおいて、符号１９０３〜符号１９０４が示す位置にオブジェクトが存在する場合、カメラグループ１１０Ａの撮影画像に基づく簡易仮想視点画像のデータが、コントローラ３００に出力される。
【００４０】
Ｓ４０８において、映像生成管理部１６０３は、仮想カメラの位置および姿勢に対応付けて、Ｓ４０５又はＳ４０６で選択したカメラグループの情報（カメラグループ選択情報とする）を記憶する。
【００４１】
Ｓ４０９において、サーバ１６０のＣＰＵ１６１１は、最終フレームの処理が終了したか判定する。本ステップの判定結果が真の場合、一連の処理は終了する一方、該判定結果が偽の場合、Ｓ４０２に戻る。以上が、本実施形態におけるカメラパス生成処理の内容である。
【００４２】
＜仮想視点映像生成処理について＞
以下、本実施形態における仮想視点映像生成処理について、図５を用いて説明する。
【００４３】
Ｓ５０１において、映像生成管理部１６０３は、仮想視点映像生成処理の初期化を行う。本ステップにおける「初期化」とは具体的には、仮想視点映像の生成に用いる、仮想カメラのカメラパスとカメラグループ選択情報との初期化を意味する。
【００４４】
Ｓ５０２において、映像生成管理部１６０３は、注目オブジェクトの位置に応じた、カメラパスの情報とカメラグループ選択情報とを、サーバ１６０のＲＡＭ１６１２から読み出す。
【００４５】
Ｓ５０３において、レンダリング部１６０１は、Ｓ５０２で取得したカメラグループ選択情報に基づき、このカメラグループ選択情報が示すカメラグループの撮影画像を用いて、前景オブジェクトのテクスチャを取得する。
【００４６】
Ｓ５０４において、レンダリング部１６０１は、Ｓ５０３で取得したテクスチャを前景画像に貼り付け、その前景画像と背景画像とを合成することで仮想視点の画像を生成する。
【００４７】
Ｓ５０５において、サーバ１６０のＣＰＵ１６１１は、最終フレームの画像を生成したか判定する。本ステップの判定結果が真の場合、一連の処理は終了する一方、該判定結果が偽の場合、処理はＳ５０２に戻る。以上が、本実施形態における仮想視点映像生成処理の内容である。
【００４８】
＜本実施形態の効果について＞
本実施形態によれば、カメラグループ毎の撮影対象領域の重複領域において仮想視点映像を生成する場合に、露出量が適切なカメラグループの撮影画像を選択的に用いることで、適切な明るさの仮想視点映像を生成することが可能となる。
【００４９】
［第２の実施形態］
第１の実施形態では、複数の撮影中心が設定され、それぞれの撮影中心に対応するカメラグループ毎の撮影対象領域の重複領域において仮想視点映像を生成する場合を説明した。
【００５０】
本実施形態では、このような重複領域ではなく、カメラグループの撮影対象領域から少しはみ出した位置において、露出量が適切な該カメラグループの撮影画像を用いて仮想視点映像を生成する場合について説明する。尚、以下では、前述の実施形態と異なる内容について詳しく説明し、前述の実施形態と同様の内容については、説明を適宜省略する。
【００５１】
＜本実施形態の概要について＞
カメラグループの撮影対象領域からはみ出した位置において仮想視点映像を生成する場合、そのはみ出し量によっては、該カメラグループの撮影画像を用いることができる場合がある。以下、本実施形態の概要について、図６を用いて具体的に説明する。
【００５２】
図６は、図２のフィールド部分を抜き出した図である。図６において、符号１９０５が示す位置のオブジェクトは、撮影中心Ｂに対応するカメラグループ１１０Ｂの撮影対象領域かつ日向に存在し、撮影中心Ａに対応するカメラグループ１１０Ａの撮影対象領域から少しはみ出している。このようなケースに第１の実施形態を適用した場合、符号１９０５が示す位置のオブジェクトの仮想視点映像は、カメラグループ１１０Ｂの撮影画像を用いて生成されることとなり、生成した仮想視点映像における明るさが不適切になってしまう。そこで本実施形態では、符号１９０５が示す位置における仮想視点画像を生成するような場合に、カメラグループ１１０Ｂの撮影画像ではなく、カメラグループ１１０Ａの撮影画像を用いるようにする。
【００５３】
＜カメラパス生成処理について＞
以下、本実施形態におけるカメラパス生成処理について、図７を用いて説明する。
【００５４】
図７のＳ７０１、Ｓ７０２の各処理は、第１の実施形態におけるＳ４０１、Ｓ４０２の各処理と同様である（図４参照）。
【００５５】
Ｓ７０３において、サーバ１６０のＣＰＵ１６１１は、注目オブジェクト（人、ボールなど）の位置を含む撮影対象領域に対応するカメラグループ（第１カメラグループとする）のカメラの露出量が、該位置に対して適切か判定する。具体的には、注目オブジェクトの位置が日向か日陰かを示す情報と、第１カメラグループに対して設定されているカメラの露出量とに基づき判定する。本ステップの判定結果が真の場合、Ｓ７０８に進む一方、該判定結果が偽の場合、Ｓ７０４に進む。
【００５６】
Ｓ７０４において、レンダリング部１６０１は、注目オブジェクト（人、ボール等）の位置が、該位置を含まないカメラグループ（第１カメラグループとは別のカメラグループであり、第２カメラグループとする）の撮影対象領域から少しはみ出しているか判定する。具体的には、注目オブジェクトの位置と第２カメラグループの撮影対象領域の境界との間の距離が、所定の長さより短いかの判定が行われる。本ステップの判定結果が真の場合、Ｓ７０５に進む一方、該判定結果が偽の場合、Ｓ７０８に進む。
【００５７】
Ｓ７０５において、簡易仮想視点映像生成部１６０４は、Ｓ７０２で設定された仮想視点に対応する簡易仮想視点映像を生成する。このとき、簡易仮想視点映像生成部１６０４は、注目オブジェクトの位置を含む撮影対象領域に対応する第１カメラグループとは別の第２カメラグループの撮影画像を用いる。その後、簡易仮想視点映像生成部１６０４は、生成した簡易仮想視点映像に基づき、簡易仮想視点画像を生成する。
【００５８】
Ｓ７０６において、映像生成管理部１６０３は、別のカメラグループの撮影画像を使用できるか判定する。具体的には、第１の実施形態のＳ４０５と同様、Ｓ７０５で生成された簡易仮想視点画像に対する画質評価（白とびの有無など）を行い、所定の基準を満たす場合（例えば、白とびが発生していない等）に、別のカメラグループの撮影画像を使用できると判定する。本ステップの判定結果が真の場合、Ｓ７０７に進む一方、該判定結果が偽の場合、Ｓ７０８に進む。
【００５９】
Ｓ７０７において、選択部１６０６は、注目オブジェクトの位置における仮想視点画像の生成に用いるカメラグループとして、第２カメラグループを選択する。
【００６０】
Ｓ７０８〜Ｓ７１１の各処理は、第１の実施形態におけるＳ４０６〜Ｓ４０９の各処理と同様である（図４参照）。以上が、本実施形態におけるカメラパス生成処理の内容である。
【００６１】
以下、本実施形態の具体例について、図６を用いて説明する。符号１９０５が示す位置のオブジェクトは、カメラグループ１１０Ｂの撮影対象領域かつ日向１７０に位置する。この場合、カメラグループ１１０Ｂの撮影対象領域の大部分は日陰１８０であるため、この位置における仮想視点画像を生成する露出量として、カメラグループＢのカメラの露出量は適切ではない。従ってこのケースでは、Ｓ７０３において、カメラグループＢのカメラの露出量が適切ではないと判定される結果、Ｓ７０４に進む。そして、Ｓ７０４において、注目オブジェクトがカメラグループ１１０Ａの撮影対象領域から少しはみ出していると判定され、Ｓ７０５に進む。そして、ステップＳ７０５において、カメラグループ１１０Ａの撮影画像に基づき、Ｓ７０２で設定された仮想視点における簡易仮想視点映像が生成され、該生成された簡易仮想視点映像に基づき、簡易仮想視点画像が生成される。そして、Ｓ７０６において、カメラグループ１１０Ａの撮影画像を使用できるか判定される。Ｓ７０６の判定の結果、カメラグループ１１０Ａの撮影画像を使用できる場合、符号１９０５が示す位置における仮想視点画像は、カメラグループ１１０Ａの撮影画像を用いて生成されることになる。一方、カメラグループ１１０Ａの撮影画像を使用できない場合、符号１９０５が示す位置における仮想視点画像は、カメラグループ１１０Ｂの撮影画像を用いて生成されることになる。
【００６２】
＜本実施形態の効果について＞
本実施形態では、第１カメラグループの撮影対象領域内であるが、第２カメラグループの撮影対象領域から少しはみ出した位置において、第２カメラグループの露出量が第１カメラグループの露出量より適切な場合を想定している。本実施形態によれば、このような場合に、第２カメラグループの撮影画像を用いて仮想視点映像を生成することができるようになり、明るさが適切な仮想視点映像を生成することが可能となる。
【００６３】
［第３の実施形態］
第２の実施形態では、カメラグループの撮影対象領域から少しはみ出した位置において、露出量が適切な該カメラグループの撮影画像を用いて仮想視点映像を生成する場合について説明した。これに対し本実施形態では、日向と日陰の境の近傍において、日向領域用の露出量と日陰領域用の露出量との中間の露出量を設定されたカメラグループの撮影画像を用いて、仮想視点映像を生成する。
【００６４】
以下、図６を用いて具体的に説明する。本実施形態も前述の実施形態と同様、撮影中心Ａに対応するカメラグループ１１０Ａに対し日向領域用の露出量を設定する一方、撮影中心Ｂに対応するカメラグループ１１０Ｂに対し日陰領域用の露出量を設定し、各カメラグループでフィールド１３０を撮影する。但し本実施形態では更に、撮影対象領域に日向領域が含まれるカメラグループ１１０Ｂに対し、日陰領域用の露出量と日向領域用の露出量との中間の露出量（中間露出量とする）を設定し、カメラグループＢのカメラでもう１回撮影する。つまり本実施形態では、相異なる２つの露出量を設定されるカメラ１１０１Ｂ〜１１０４Ｂにより、カメラグループ１１０Ｂの撮影対象領域を、２回撮影することとなる。例えば、日向領域を撮影するカメラグループ１１０Ａに対し、絞り８．０、シャッタースピード１／９６０が設定され、日陰領域を撮影するカメラグループ１１０Ｂに対し、絞り８．０、シャッタースピード１／６０が設定されているケースを考える。本例では、このようなケースにおいて、カメラグループ１１０Ｂに対して、例えば、絞り８．０、シャッタースピード１／２４０が更に設定される。
【００６５】
その後のカメラパス生成処理において、本実施形態では、注目オブジェクトがカメラグループＢの撮影対象領域に存在する場合、注目オブジェクトの位置と、日向および日陰の境との間の距離について、所定の閾値と大小判定を行う。具体的には、この距離が所定の閾値より短い場合、注目オブジェクトが、日向と日陰との境近傍に存在するとみなし、前述の簡易仮想視点画像を生成する際に、カメラグループＢのカメラで撮影された２種類の画像のうち、中間露出量で撮影した画像を用いる。こうすることで、日向と日陰との境近傍で、日向の明るさと日陰の明るさとの両方を考慮したカメラ露出量で撮影した画像を用いて、仮想視点映像を生成することが可能となる。
【００６６】
なお、中間露出量で撮影した画像を用いて仮想視点画像を生成する方法はこれに限定されない。たとえば、注視点Aが日向に位置するカメラグループ１１０Aと、注視点Bが日陰に位置するカメラグループ１１０Bに加え、別のカメラグループ１１０Cが存在していてもよい。カメラグループ１１０Cの注視点Cは、例えば注視点Aと注視点Bの中間に位置する。そして、カメラグループ１１０Aには日向領域用の露出量が設定され、カメラグループ１１０Bには日陰領域用の露出量が設定される。一方、カメラグループ１１０Cの注視点Cは日向と日陰のいずれかに位置するが、カメラグループ１１０Cには日向領域用の露出量と日陰領域用の露出量との中間の露出量が設定される。このような構成において、日向と日陰との境界近傍に注目オブジェクトが位置する場合の仮想視点画像を、カメラグループ１１０Cのカメラで撮影された画像を用いて生成してもよい。
【００６７】
＜本実施形態の効果について＞
本実施形態により、生成される仮想視点映像上で、日向と日陰との境近傍で生じる明るさの急激な変化を抑えることが可能となる。よって、視聴者に違和感を与えることが防ぐことが出来る。
【００６８】
［その他の実施形態］
上述の各実施形態では、最終的な仮想視点画像が、単一のカメラグループのカメラにより撮影された画像を用いて生成されたものである場合を中心に説明した。ただしこれに限らず、複数のカメラグループのカメラにより撮影された画像を用いて最終的な仮想視点画像を生成してもよい。たとえば、図２に示すフィールド１３０において、日向である符号１９０２の位置に１つの第１オブジェクトが存在し、日陰である符号１９０６の位置に別の第２オブジェクトが位置する場合を考える。この場合、サーバ１６０は、仮想視点画像における第１オブジェクトの領域の部分画像を日向用のカメラグループ１１０Aのカメラにより撮影された画像を用いて生成する。そして、同じ仮想視点画像における第２オブジェクトの領域の部分画像を日陰用のカメラグループ１１０Bのカメラにより撮影された画像を用いて生成してもよい。
【００６９】
さらに、日向用のカメラグループ１１０Aと日陰用のカメラグループ１１０Bそれぞれの撮影対象領域の重複領域に第３オブジェクトが位置する場合を考える。この場合、その第３オブジェクトの領域の部分画像を、上述の実施形態に示した方法で選択されたカメラグループのカメラにより撮影された画像を用いて生成してもよい。なお、各オブジェクトの三次元モデルを用いて仮想視点画像を生成する場合には、例えば、第１オブジェクトのモデルのテクスチャをカメラグループ１１０Aのカメラにより撮影された画像を用いて生成してもよい。また、第２オブジェクトのモデルのテクスチャをカメラグループ１１０Bのカメラにより撮影された画像を用いて生成してもよい。
【００７０】
このような方法によれば、日向に位置するオブジェクトと日陰に位置するオブジェクトの両方が含まれる仮想視点画像を、高画質に生成することができる。
【００７１】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７２】
１００    システム
１６０１  レンダリング部
１６０６  選択部
【図１】
2020048164.tif 000003
【図２】
2020048164.tif 000004
【図３】
2020048164.tif 000005
【図４】
2020048164.tif 000006
【図５】
2020048164.tif 000007
【図６】
2020048164.tif 000008
【図７】
2020048164.tif 000009