(57)【要約】【課題】  仮想視点画像の生成に関する処理負荷の低減と仮想視点画像の高画質化を両立する。【解決手段】複数のカメラによって異なるカメラ視点から撮影された複数視点画像と、撮影シーンにおける背景の三次元形状を表す予め作成した背景３Ｄデータとを用いて、仮想視点画像を生成するシステムであって、前記カメラ視点からの見えを表すシミュレーション画像を、前記背景３Ｄデータを用いて生成する生成手段と、前記シミュレーション画像と、そのカメラ視点と同じカメラ視点からテスト撮影を行って得られた画像との差異を検出する検出手段と、検出結果に基づき前記背景３Ｄデータを更新する更新手段と、を備えることを特徴とする。【選択図】  図８
2019191989.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラによって異なる視点から撮影された複数視点画像と、撮影シーンにおける背景の三次元形状を表す背景３Ｄデータとを用いて、仮想視点画像を生成するシステムであって、
前記カメラからの視点に対応するシミュレーション画像を、前記背景３Ｄデータを用いて生成する生成手段と、
前記シミュレーション画像と前記カメラからの前記視点で実際に撮影された画像との差異を検出する検出手段と、
検出結果に基づき前記背景３Ｄデータを更新する更新手段と、
を備えることを特徴とするシステム。
【請求項２】
前記生成手段は、前記複数のカメラで実際に撮影した画像から抽出した複数の背景画像を合成した合成背景画像を、前記背景３Ｄデータにテクスチャとして貼り付けたテクスチャ付き背景三次元モデルを用いて、前記シミュレーション画像を生成し、
前記検出手段は、前記シミュレーション画像における、前記視点の数に応じて放射状に拡がるオブジェクト形状を表す画像領域を、前記差異として検出する、ことを特徴とする請求項１に記載のシステム。
【請求項３】
前記検出手段は、前記シミュレーション画像と前記実際の撮影画像における対応する画素同士或いは対応する複数の画素で構成されるブロック同士を比較し、両画像間で一定以上の色度差又は輝度差がある箇所を差異として検出することを特徴とする請求項１に記載のシステム。
【請求項４】
前記更新手段は、前記シミュレーション画像の生成に用いられた背景３Ｄデータを、前記検出手段で検出された差異が解消されるように変更して更新することを特徴とする、請求項１乃至３のいずれか１項に記載のシステム。
【請求項５】
前記更新手段は、前記検出手段で検出された差異が、前記背景３Ｄデータにその三次元形状が表現されていないオブジェクトが前記実際の撮影画像に含まれているために生じた差異である場合、当該オブジェクトの三次元形状を前記背景３Ｄデータに加える変更を行うことを特徴とする請求項４に記載のシステム。
【請求項６】
前記背景の一部となり得るオブジェクトの三次元形状を示す３Ｄデータを保持する保持手段を備え、
前記更新手段は、前記保持手段に保持された前記３Ｄデータを用いて、前記加える変更を行う
ことを特徴とする請求項５に記載のシステム。
【請求項７】
前記３Ｄデータには、前記背景の一部となり得るオブジェクトを複数の角度から見たときの２Ｄデータが紐付けられて保持されており、
前記更新手段は、前記２Ｄデータを用いて、前記背景３Ｄデータにその三次元形状が表現されていないオブジェクトを特定することで、前記加える変更を行う
ことを特徴とする請求項６に記載のシステム。
【請求項８】
前記更新手段は、前記検出手段で検出された差異が、前記背景３Ｄデータにその三次元形状が表現されているオブジェクトが前記実際の撮影画像に含まれていないために生じた差異である場合、当該オブジェクトの三次元形状を前記背景３Ｄデータから削除する変更を行うことを特徴とする請求項４に記載のシステム。
【請求項９】
ユーザ指示を受け付けるユーザインタフェースをさらに備え、
前記ユーザインタフェースには、前記変更を行った場合の背景３Ｄデータを用いて生成されたシミュレーション画像が表示され、
前記更新手段は、前記ユーザインタフェースを介したユーザ指示に従って、前記更新を行う
ことを特徴とする請求項４乃至８のいずれか１項に記載のシステム。
【請求項１０】
前記ユーザインタフェースに、前記変更を行った場合の背景３Ｄデータを用いて生成されたシミュレーション画像が表示される際、前記変更を行う前の背景３Ｄデータを用いて生成したシミュレーション画像も併せて表示されることを特徴とする請求項９に記載のシステム。
【請求項１１】
前記変更を行う前の背景３Ｄデータを用いて生成したシミュレーション画像を併せて表示する際、前記検出手段で検出された差異部を強調表示することを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記更新手段は、前記ユーザインタフェースを介してユーザが変更した内容で、前記背景３Ｄデータの更新を行うことを特徴とする請求項９に記載のシステム。
【請求項１３】
前記背景３Ｄデータの更新を、前記複数視点画像の撮影の合間に行うことを特徴とする請求項１乃至１２のいずれか１項に記載のシステム。
【請求項１４】
前記カメラからの視点に対応するシミュレーション画像とは、前記カメラの基本カメラパラメータを仮想カメラパラメータとして使用して取得された仮想視点画像であることを特徴とする請求項１乃至１２のいずれか１校に記載のシステム。
【請求項１５】
前記基本カメラパラメータとは、位置、姿勢、焦点距離の情報を含むことを特徴とする請求項１４に記載のシステム。
【請求項１６】
仮想視点画像を生成するシステムにおける方法であって、
複数のカメラの視点からの見えを表すシミュレーション画像を、撮影シーンにおける背景の三次元形状を表す背景３Ｄデータを用いて生成するステップと、
前記シミュレーション画像と実際の撮影画像との差異を検出するステップと、
検出結果に基づき前記背景３Ｄデータを更新するステップと、
を含むことを特徴とする方法。
【請求項１７】
コンピュータを、請求項１乃至１５のいずれか１項に記載のシステムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点から撮影した画像に基づき、仮想視点からの画像を生成する技術に関する。
【背景技術】
【０００２】
昨今、複数台の実カメラで撮影した画像を用いて、三次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの画像を再現する仮想視点画像技術が注目されている。この仮想視点画像技術によれば、例えばスポーツの試合におけるハイライトシーンを様々な角度から視聴することが可能になるため、ユーザにより高い臨場感を与えることができる。仮想視点画像の生成には、複数の実カメラが撮影した画像データのサーバ等への集約、当該サーバ等における三次元モデル（オブジェクトの形状データ）の生成やレンダリングなどの画像処理が必要となり得る。この点、特許文献１には、実環境で撮影された動画像を用いて対象オブジェクトの三次元モデルを忠実に再現することができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−７４８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高画質の仮想視点画像を得ようとすれば、その生成のための処理負荷が増大する。本発明の目的は、仮想視点画像の生成に関する処理負荷の低減と仮想視点画像の高画質化を両立することである。
【課題を解決するための手段】
【０００５】
本発明に係るシステムは、複数のカメラによって異なる視点から撮影された複数視点画像と、撮影シーンにおける背景の三次元形状を表す背景３Ｄデータとを用いて、仮想視点画像を生成するシステムであって、前記カメラからの視点に対応するシミュレーション画像を、前記背景３Ｄデータを用いて生成する生成手段と、前記シミュレーション画像と前記カメラからの前記視点で実際に撮影された画像との差異を検出する検出手段と、検出結果に基づき前記背景３Ｄデータを更新する更新手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、仮想視点画像の生成に関する処理負荷を抑えつつ、高画質な仮想視点画像の生成が可能となる。
【図面の簡単な説明】
【０００７】
【図１】仮想視点画像生成システムの構成の一例を示す図
【図２】（ａ）はカメラアダプタの内部構成を示す機能ブロック図、（ｂ）はカメラアダプタ内の画像処理部の詳細を示す機能ブロック図
【図３】サーバにおける仮想視点画像の生成に関わる主要機能を示すブロック図
【図４】データベースの内部構成を示す機能ブロック図
【図５】３Ｄデータライブラリの一例を示す図
【図６】制御装置の内部構成を示す機能ブロック図
【図７】仮想視点画像生成までの全体の流れを示したフローチャート
【図８】画像チェック処理の詳細を示すフローチャート
【図９】グラウンドを俯瞰で捉えたカメラ配置を示す図
【図１０】（ａ）〜（ｆ）は各撮影モジュールのテスト撮影画像を示す図
【図１１】（ａ）は合成背景画像の一例を示す図、（ｂ）〜（ｇ）はシミュレーション画像の一例を示す図
【図１２】施設３Ｄデータの編集用ＵＩ画面の一例を示す図
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明を実施する形態について説明する。各実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施形態１】
【０００９】
本実施形態の説明に入る前に、仮想視点画像の生成を行う現場で実際に起こり得る問題点（解決課題）について確認しておく。高画質の仮想視点画像を得ようとすれば、背景も立体物として処理する必要がある。この点、例えばプロスポーツの試合などを対象とする場合、多くの視点から撮影された動画像を処理して、スタジアムなど大規模施設の背景を３Ｄで忠実に再現するには膨大な量のデータを処理しなければならない。そこで、イベント会場となるスタジアム等に撮影用カメラやサーバ等を事前に設置し、背景については本番撮影前にその３Ｄデータを予め生成しておくことが考えられる。しかしながら、本番とまったく同じ環境を事前に構築することは困難である。例えば、サッカーの試合では、本番前のグラウンド上には整備を行う作業者やイベント関係者が居たりする一方で、集音マイクやコーナーフラッグなど本番直前でないと設置されない設備などもある。そのため、事前に撮影した画像に基づき得られるスタジアム等の３Ｄデータ（テクスチャのない三次元モデル）に不要なオブジェクトが入り込んでいたり、逆に必要なオブジェクトが存在しない、ということが起こり得る。このような問題に対処するべく、本実施形態では、スタジアムでのスポーツイベント（具体的にはサッカー）を対象に仮想視点画像の生成を行う場合において、精度の高い背景三次元モデルを、低負荷・短時間で得られるようにする手法を説明する。
【００１０】
（システム構成）
スタジアムやコンサートホールなどの大規模施設に複数のカメラを設置し撮影を行うシステムについて、図１のシステム構成図を用いて説明する。画像処理システム１００は、撮影モジュール１１０ａ〜１１０ｚ、データベース（ＤＢ）２５０、サーバ２７０、制御装置３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。すなわち、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインは撮影モジュール１１０ａ〜１１０ｚを含み、データ保存ドメインはＤＢ２５０とサーバ２７０を含み、映像生成ドメインは制御装置３００及びエンドユーザ端末１９０を含む。
【００１１】
制御装置３００は、画像処理システム１００を構成するそれぞれのブロックに対してネットワークを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用ローカルエリアネットワーク等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
【００１２】
最初に、撮影モジュール１１０ａ〜１１０ｚの２６セットの画像を撮影モジュール１１０ｚからサーバ２７０へ送信する動作を説明する。撮影モジュール１１０ａ〜１１０ｚは、それぞれ１台ずつのカメラ１１２ａ〜１１２ｚを有する。以下では、撮影モジュール１１０ａ〜１１０ｚまでの２６セットのシステムを区別せず、単に「撮影モジュール１１０」と記載する場合がある。各撮影モジュール１１０内の装置についても同様に、「カメラ１１２」、「カメラアダプタ１２０」と記載する場合がある。なお、撮影モジュール１１０の台数を２６セットとしているが、あくまでも一例でありこれに限定されない。また、本実施形態では、「画像」という文言が、動画と静止画の概念を含むものとして説明する。すなわち、画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツとして仮想視点画像を例に説明するが、例えば、仮想視点コンテンツに音声が含まれていてもよい。
【００１３】
撮影モジュール１１０ａ〜１１０ｚはデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果がある。なお、接続形態は任意であり、例えば撮影モジュール１１０ａ〜１１０ｚがスイッチングハブ１８０にそれぞれ接続されて、スイッチングハブ１８０を経由して撮影モジュール１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。
【００１４】
本実施形態では、各撮影モジュール１１０はカメラ１１２とカメラアダプタ１２０とで構成されているがこれに限定されない。例えば、マイク、雲台、外部センサを有していてもよい。また、本実施形態では、カメラ１１２とカメラアダプタ１２０とが分離された構成となっているが、同一筺体で一体化されていてもよい。撮影モジュール１１０ａ内のカメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、撮影モジュール１１０ｂのカメラアダプタ１２０ｂに伝送される。同様に撮影モジュール１１０ｂは、カメラ１１２ｂにて撮影した画像を、撮影モジュール１１０ａから取得した画像と合わせて撮影モジュール１１０ｃに伝送する。このような動作を続けることにより、撮影モジュール１１０ａ〜１１０ｚで取得された撮影画像は、撮影モジュール１１０ｚからスイッチングハブ１８０に伝わり、その後、サーバ２７０へ伝送される。
【００１５】
（カメラアダプタの構成）
次に、カメラアダプタ１２０の詳細について説明する。図２（ａ）は、カメラアダプタ１２０の内部構成を示す機能ブロック図である。カメラアダプタ１２０は、ネットワークアダプタ１２１、伝送部１２２、画像処理部１２３及びカメラ制御部１２４から構成される。
【００１６】
ネットワークアダプタ１２１は、他のカメラアダプタ１２０やサーバ２７０、制御装置３００とデータ通信を行う。また、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、サーバ２７０との間で送受信したデータのタイムスタンプの保存や、サーバ２７０との時刻同期も行う。なお、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ１２１としてＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）を利用するが、これに限定されない。
【００１７】
伝送部１２２は、ネットワークアダプタ１２１を介してスイッチングハブ１８０等に対するデータの伝送を制御する。伝送部１２２は、送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。また、受信したデータ及び画像処理部１２３で処理されたデータのルーティング先を決定する機能や、決定したルーティング先へデータを送信する機能を有している。また、画像データを、他のカメラアダプタ１２０またはサーバ２７０へ転送するためのメッセージを作成する機能も有している。メッセージには画像データのメタ情報が含まれる。このメタ情報には、画像撮影のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２の識別子などが含まれる。なお、送信する画像データは圧縮されていてもよい。また、他のカメラアダプタ１２０からメッセージを受け取り、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データに復元する。
【００１８】
画像処理部１２３は、カメラ制御部１２４の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して、前景背景分離処理、前景三次元モデル元情報生成処理、動的キャリブレーションなどの処理を行う。前景背景分離処理は、カメラ１１２が撮影した画像を、特定オブジェクトに対応する前景画像と、それ以外の背景画像とに分離する処理である。この場合の特定オブジェクトとは、撮影シーンが例えばサッカーの試合である場合は、選手、監督、審判などの人物の他、ボールなどその形状が定まっている物体が該当する。また、サッカーなどスポーツの試合における前景は動体であることが多いので、特定オブジェクトとして、動体が検出されるようにしてもよい。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景画像とを分離して処理することで、生成される仮想視点画像における特定オブジェクトに該当する部分の画質を向上できる。また、前景背景分離を複数のカメラアダプタ１２０それぞれが行うことで、画像処理システム１００における負荷を分散させることができる。前景三次元モデル元情報生成処理は、上述の前景背景分離処理によって撮影画像から分離された前景画像と、上流にある他のカメラアダプタ１２０から受取った視点の異なる前景画像を利用し、前景三次元モデルの元になる画像情報を生成する処理である。動的キャリブレーションは、撮影中に行うキャリブレーションで、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理（電子防振処理）などが含まれる。これら画像処理を実現するための構成の詳細については後述する。
【００１９】
カメラ制御部１２４は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、時刻設定などを行う。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態情報（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。
【００２０】
（画像処理部の詳細）
図２（ｂ）は、カメラアダプタ１２０内部の画像処理部１２３の詳細を示す機能ブロック図である。画像処理部１２３は、前景三次元モデル元情報生成部１３０、前景背景分離部１４０、キャリブレーション制御部１５０で構成される。
【００２１】
前景背景分離部１４０は、前景抽出部１４１、背景更新部１４２、背景切出部１４３で構成される。前景抽出部１４１は、カメラ１１２の撮影画像に関して位置合わせが行われた画像に対し、背景画像との比較処理を行って、前景画像を抽出する処理を行う。背景更新部１４２は、背景画像の更新処理を行う。この更新処理は、前景画像が毎フレームをサーバ２７０に送信するのに対し、変化に乏しい背景画像はフレームを間引いて送信することに基づく処理である。例えば、背景画像を１分おきに送信する設定の場合、背景画像が１分毎に更新されることになる。背景切出部１４３は、背景画像の一部を切り出す処理を行う。この切り出しは必須ではなく、ネットワーク伝送に余裕があるときには行わなくてもよい。
【００２２】
前景三次元モデル元情報生成部１３０は、カメラパラメータ受信部１３１、他カメラ前景受信部１３２、三次元処理部１３３とからなる。カメラパラメータ受信部１３１は、カメラ１１２に固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラ１１２の位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）を制御装置３００から受信する。受信したカメラパラメータは、三次元処理部１３３に渡される。他カメラ前景受信部１３２は、他のカメラ１１２の撮影画像から抽出された前景画像を受信する。受信した他カメラの前景画像のデータは、三次元処理部１３３に渡される。三次元処理部１３３は、ステレオカメラ等の手法によって、前景三次元モデルの元になる画像情報（前景三次元モデル元情報）を生成する。この際に使用されるのは、上述の前景抽出部１４１で抽出された前景画像と、自身の上流にある１又は複数の他カメラ１１２で抽出された視点の異なる前景画像である。
【００２３】
キャリブレーション制御部１５０は、カメラ制御部１２４から入力された画像データに対して、予め設定されたパラメータに応じて上述の動的キャリブレーションを行うなど、キャリブレーションに関する処理を行う。
【００２４】
（サーバの構成）
まず、サーバ２７０が持つ機能の概要について説明する。本実施形態のサーバ２７０は、撮影モジュール１１０ｚから取得した前景画像、背景画像、前景三次元モデル元情報などの各種データに対し様々な処理を行う。また、サーバ２７０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介して撮影モジュール１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、カメラ１１２ａ〜１１２ｚを時刻と同期信号を基にＧｅｎｌｏｃｋさせフレーム同期を行う。こうして、サーバ２７０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数視点の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。
【００２５】
また、サーバ２７０は、撮影モジュール１１０ｚから取得した画像データから、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてＤＢ２５０に書き込む。そして、サーバ２７０は、ユーザ指定に基づき或いは自動で設定された仮想カメラの位置・姿勢に関する情報（仮想カメラパラメータ）を制御装置３００から受け取る。そして、受け取った仮想カメラパラメータに従ってレンダリング処理を行って仮想視点画像を生成する。なお、サーバ２７０の構成は上述の例に限定されない。例えば、撮影モジュール１１０ｚから複数視点画像データを取得してＤＢ２５０に書き込むまでの機能と、ＤＢ２５０から複数視点画像データを読み出して仮想視点画像を生成するまでの機能とを、それぞれ別のサーバで行う構成としてもよい。レンダリング処理によって得られた仮想視点からの見えを表すレンダリング画像（仮想視点画像）は、サーバ２７０からエンドユーザ端末１９０に送信される。そして、エンドユーザ端末１９０を操作するユーザは、自らが指定した仮想視点に応じた画像の閲覧が出来る。本実施形態における仮想視点コンテンツは、仮想的な視点からオブジェクトを撮影した場合に得られる画像、つまり、ユーザが指定した任意の視点における見えを表す画像であるとも言える。仮想視点は、ユーザが直接指定してもよいし、画像解析の結果等に基づいて自動的に指定されるように構成してもよい。
【００２６】
図３は、サーバ２７０の仮想視点画像の生成に関わる主要機能を示すブロック図である。背景画像合成部２７１は、ＤＢ２５０から取得した、スタジアムやコンサートホールといった施設の三次元形状を表したデータ（施設３Ｄデータ）に基づき、各カメラアダプタ１２０から取得した背景画像を合成する。詳細には、施設３Ｄデータの位置座標に対する各背景画像の位置座標を特定して、すべての背景画像を合成して１つの背景画像（合成背景画像）を生成する。なお、施設３Ｄデータは、スタジアム等の三次元形状を示す例えばＣＡＤ形式或いはメッシュ形式のデータである。生成された合成背景画像は、背景三次元モデル生成部２７２に送られる。
【００２７】
背景三次元モデル生成部２７２は、ＤＢ２５０から上述の施設３Ｄデータや構造物３Ｄデータを取得して、テクスチャ付きの背景三次元モデルを生成する。構造物３Ｄデータは、施設内に設置等される、例えば撮影シーンがサッカーの試合であれば、サッカーゴールやコーナーフラッグといった静止物体の三次元形状を示す３Ｄデータを指す。背景三次元モデル生成部２７２は、背景画像合成部２７１で得られた合成背景画像を用いて、施設３Ｄデータや構造物３Ｄデータにテクスチャを貼り付ける処理を行なう。テクスチャとは、物体の表面の質感を表現する画像を指す。これにより、実際の撮影シーンにおける３次元空間により近い、テクスチャ付き背景三次元モデルが生成される。生成されたテクスチャ付き背景三次元モデルは、レンダリング部２７５に送られる。
【００２８】
前景三次元モデル生成部２７３は、カメラアダプタ１２０から取得した前景三次元モデル元情報と前景画像とに基づき、テクスチャ付き前景三次元モデルを生成する。詳細には、まず、各カメラアダプタ１２０で生成された同一時刻の前景三次元モデル元情報を用いて、特定オブジェクトの全体的な（全方位的な）三次元形状を表現した前景三次元モデルを、ＶｉｓｕａｌＨｕｌｌ（視体積交差法）によって生成する。そして、得られた前景三次元モデルに対し、各カメラアダプタ１２０で抽出された前景画像に基づきテクスチャの境界の色合わせを行なう等して、特定オブジェクト毎に、テクスチャ付き前景三次元モデルを生成する。生成されたテクスチャ付き前景三次元モデルは、レンダリング部２７５に送られる。
【００２９】
仮想視点前景画像生成部２７４は、制御装置３００から取得した仮想カメラパラメータに基づき、カメラアダプタ１２０から取得した各前景画像を、仮想視点からの見た目となるように変換する。変換によって得られた前景画像（仮想視点前景画像）は、レンダリング部２７５に送られる。
【００３０】
レンダリング部２７５は、所定のレンダリングモード（仮想視点画像の生成に用いられる生成方式）にて、仮想カメラパラメータに基づきレンダリング処理を行って、全景の仮想視点画像を生成する。レンダリングモードとして本実施形態では、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）を想定している。ＭＢＲとは、オブジェクトを複数の方向から撮影した画像に基づき生成された三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象撮影シーンの三次元モデルを利用し、仮想視点からの撮影シーンの見えを表す画像を生成する。なお、レンダリングモードはＭＢＲに限定されるものではなく、例えばイメージベースレンダリング（ＩＢＲ）など他のレンダリング手法を用いてもよい。こうして生成された仮想視点からの見えを表すレンダリング画像のデータが、エンドユーザ端末１９０からの要求に応じて、Ｅｔｈｅｒｎｅｔ（登録商標）、ＳＤＩ、ＤｉｓｐｌａｙＰｏｒｔ、ＨＤＭＩ（登録商標）などを用いて出力される。
【００３１】
（データベースの構成）
次に、ＤＢ２５０の詳細について説明する。図４は、ＤＢ２５０の内部構成を示す機能ブロック図である。ＤＢ２５０は、制御部２５１、データ入出力部２５２、キャッシュ２５３、一次ストレージ２５４、二次ストレージ２５５で構成される。制御部２５１は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＮＡＮＤメモリ等で構成され、ＤＢ２５０全体の制御を行う。データ入出力部２５２は、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、サーバ２７０との間で画像データ等を送受信する。キャッシュ２５３は、高速な入出力スループットを実現可能なＤＲＡＭ等によって、データ入出力部２５２から取得した画像データ等を格納し、少なくとも１フレーム分の撮影画像に相当する一定量のデータを保持する。一定量を超えるデータが入力されると、古いデータから随時一次ストレージ２５４へと書き出される。書き出し済みのデータは新たなデータによって上書きされる。それによって、サーバ２７０に於いてレンダリング処理を行う際に、ＤＢ２５０内でのスループットを最小限に抑え、最新のフレームを低遅延かつ連続的にレンダリングすることが可能となる。なお、背景画像を有さないフレームのデータがキャッシュされる場合、キャッシュ上の背景画像は更新されず、そのままキャッシュ上に保持される。キャッシュ可能なＤＲＡＭの容量は、予めシステムに設定されたキャッシュフレームサイズ、または制御装置３００からの指示によって決められる。なお、撮影画像以外のデータについては、入出力の頻度が少なく、高速なスループットを要求されないため、すぐに一次ストレージ２５４へとコピーされる。キャッシュされたデータはデータ入出力部２５２によって読み出される。
【００３２】
一次ストレージ２５４は、ＳＳＤ等を並列に繋ぐなどして構成され、データ入出力部２５２からのデータ書き込み及びデータ読み出しを同時に高速で実現できる。そして、一次ストレージ２５４には、キャッシュ２５３上に格納されたデータの古いものから順に書き出される。二次ストレージ２５５は、ＨＤＤ等で構成され、高速性よりも大容量が重視され、一次ストレージ２５４と比較して安価で長期間の保存に適するメディアであることが求められる。二次ストレージ２５５には、前述した施設３Ｄデータや構造物３Ｄデータが保持され、背景３Ｄデータライブラリとして機能する。背景３Ｄデータライブラリに保持される施設や構造物の３Ｄデータは、撮影シーン（スポーツの種目やイベント）に応じて予め用意されることになる。図５に、背景３Ｄデータライブラリの一例を示す。符号５０１は、保持されている施設３Ｄデータや構造物３Ｄデータの一覧である。そして、各３Ｄデータには、符号５０２に示すような２Ｄデータが紐付けられて保持されている。この２Ｄデータは、一方向からだけでなく複数の角度から見たものが用意される。さらに、符号５０３に示すような詳細情報も併せて保持される。二次ストレージ２５５内の施設３Ｄデータや構造物３Ｄデータは、制御装置３００の要求に応じてデータ入出力部２５２からサーバ２７０へ送信される。また、ここでは、背景３Ｄデータの分類として、施設と構造物の２種類としているが、これに限定されるわけではなく、例えば前景とはなり得ない人物（ボールボーイなど）の３Ｄデータを別個の分類としてもよい。
【００３３】
（制御装置の構成）
次に、制御装置３００の詳細について説明する。図６は、制御装置３００の内部構成を示す機能ブロック図である。制御装置３００は、制御部３１０、ＧＵＩ３２０、仮想カメラ設定部３３０、背景三次元モデル編集部３４０で構成される。
制御部３１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成され、制御装置３００内の各部を制御する。ＧＵＩ（グラフィカルユーザインタフェース）３２０は、例えばタッチパネル式のＬＣＤで構成され、ユーザからの各種操作・指示を受け付けたり、必要な情報を表示したりする。ユーザは、用いたによって、撮影の開始・停止やカメラ１１２のパラメータの変更、仮想視点の指定などを行うことができる。
【００３４】
仮想カメラ設定部３３０は、ＧＵＩ３２０を介したユーザ入力に基づいて、仮想カメラパラメータを設定する。具体的には、仮想カメラの位置の変更（移動）、姿勢の変更（回転）、及びズーム倍率の変更などに関するユーザ入力を受け付け、仮想視点画像を生成するためのパラメータとして設定する。ここで設定された仮想カメラパラメータは、サーバ２７０へ送られる。なお、一部又は全部のパラメータについて、例えば撮影シーンに応じたデフォルト値を用意しておき、自動で設定されるように構成してもよい。
【００３５】
背景３Ｄデータ編集部３４０は、ＤＢ２５０に保存されている施設３Ｄデータや構造物３Ｄデータの編集処理を行う。背景３Ｄデータ編集部３４０は、差異検出部３４１と更新部３４２とで構成される。差異検出部３４１は、各カメラ１１２でテスト撮影を行って得られた画像と、各カメラ１１２におけるシミュレーション画像との差異を検出する。ここで、シミュレーション画像とは、実際のカメラ１１２の位置・姿勢から撮影されるであろう画像を、背景３Ｄデータを用いてシミュレートした画像である。なお、この差異検出部３４１の機能は、サーバ２７０が有していてもよい。更新部３４２は、差異検出部３４１で検出された差異に基づき（或いはユーザ入力に従って）、施設３Ｄデータを変更したり或いは新たな構造物３Ｄデータを追加して、背景３Ｄデータを更新する。
【００３６】
（仮想視点画像生成の全体フロー）
次に、画像処理システム１００において仮想視点画像が生成されるまでの全体フローについて説明する。図７は、仮想視点画像生成までの全体の流れを示すフローチャートである。なお、図７の全体フローで示される各処理は、制御装置３００が、撮影モジュール１１０、サーバ２７０、ＤＢ２５０を制御することにより実現される。以下のフローの説明において、記号「Ｓ」はステップを表す。
【００３７】
Ｓ７０１において、制御装置３００は、画像処理システム１００内の各装置が正常に動作するかどうかの確認や必要な調整を目的としたシステムチェック処理を行なう。具体的には、機材の不足の有無、カメラ１１２の位置・姿勢・焦点距離等のパラメータの取得／調整、ネットワーク経路の同期・疎通確認などが行われる。カメラ１１２の調整には、画角合わせ、色合わせ、カメラ１１２ａ〜１１２ｚの各座標を世界座標に一致させる調整などが含まれる。画角合わせでは、ズーム、パン、チルト、及びフォーカスの調整が並行して実施される。そして、色合わせでは、ＩＲＩＳ、ＩＳＯ／ゲイン、ホワイトバランス、シャープネス、及びシャッタースピードの調整が同時に実施される。これら調整結果を含んだカメラ１１２の基本情報（基本カメラパラメータ）は制御装置３００に送られ、不図示の内部ストレージに保存される。
【００３８】
次に、Ｓ７０２において、制御装置３００は、本撮影の前処理として、現システムの状態においてどのような仮想視点画像が得られるのかの事前チェックを目的とした画像チェック処理を行う。この画像チェック処理では、本撮影開始前に本撮影と同一条件でテスト撮影を行って、上述のシミュレーション画像を生成し、必要に応じて施設３Ｄデータの変更・更新が行われる。画像チェック処理の詳細については別フローを参照して後述する。
【００３９】
次に、Ｓ７０３において、制御装置３００は、試合等の開始に合わせ、仮想視点画像の元となる複数視点画像の撮影（本撮影）を撮影モジュール１１０に指示する。この指示を受けて各撮影モジュール１１０は本撮影を行い、各カメラ１１２で撮影された画像（複数視点画像）のデータが、カメラアダプタ１２０からサーバ２７０へと送信される。
【００４０】
次に、Ｓ７０４において、制御装置３００は、ユーザ入力に基づいて設定された仮想カメラパラメータと共に、仮想視点画像の生成をサーバ２７０に指示する。この指示を受けてサーバ２７０は、仮想カメラパラメータに従った仮想視点画像を、ＤＢ２５０に保持された施設３Ｄデータや構造物３Ｄデータを用いて生成する。
【００４１】
Ｓ７０５において、制御装置３００は、異なる条件（異なる内容の仮想カメラパラメータ）での仮想視点画像の生成を続行する旨のユーザ入力があれば、変更後の新たな条件での仮想視点画像の生成をサーバ２７０に指示する（Ｓ７０４へ戻る）。生成続行の指示がなければ本フローを終える。
【００４２】
以上が、画像処理システム１００における仮想視点画像の生成の全体フローである。なお、図７のフローでは、本撮影の完了後に仮想視点画像を生成する内容となっているが、本撮影を動画で行って動画の仮想視点画像を生成する場合は、取得された画像（フレーム）から順次処理を行なうようにして、本撮影を行いながら仮想視点画像の生成を並行に進めるようにしてもよい。
【００４３】
（画像チェック処理）
次に、本実施形態の特徴である、画像チェック処理の詳細を、図８のフローチャートを用いて説明する。以下に示す一連の処理は、制御部３１０内のＣＰＵが、ＲＯＭに格納された所定のプログラムをＲＡＭに展開してこれを実行することで実現される。
【００４４】
Ｓ８０１において、制御部３１０が、各撮影モジュール１１０に対し、画像チェック処理用のテスト撮影を指示する。このテスト撮影指示を受けて、各撮影モジュール１１０では、その内部のカメラ１１２を同期制御して、同一時刻における画像がそれぞれ撮影される。撮影された画像（テスト撮影画像）のデータは、カメラアダプタ１２０内に保持される。
【００４５】
続くＳ８０２において、制御部３１０が、各撮影モジュール１１０とサーバ２７０に対し、シミュレーション画像の生成に必要な指示を順次行う。具体的には、まず、各撮影モジュール１１０に対し、テスト撮影画像を対象とした前景背景分離、及び、それにより得られる前景画像を用いた前景三次元モデル元情報の生成の指示がなされる。各カメラアダプタ１２０で得られた前景画像、背景画像、前景三次元モデル元情報のデータは、サーバ２７０に送信される。そして、制御装置３００は、サーバ２７０に対し、シミュレーション画像の生成を指示する。この指示を受けて、サーバ２７０は、各カメラアダプタ１２０で生成された前景画像、背景画像、前景三次元モデル元情報のデータを用いて、シミュレーション画像を生成する。シミュレーション画像の生成においては、まず、受け取った背景画像を用いて合成背景画像が生成される。そして、生成された合成背景画像が、ＤＢ２５０から読み出した施設３Ｄデータにテクスチャとして貼り付けられ、テクスチャ付き背景三次元モデルが生成される。また、受け取った前景三次元モデル元情報と前景画像のデータを用いて、テクスチャ付き前景三次元モデルが生成される。そして、テクスチャ付き前景三次元モデル及びテクスチャ付き背景三次元モデルを用いて、仮想カメラパラメータに従ったシミュレーション画像が生成される。このときに使用する仮想カメラパラメータは、各カメラ１１２の位置、姿勢、焦点距離等を示す前述の基本カメラパラメータである。すなわち、Ｓ７０１のシステムチェック処理で得られた各カメラ１１２の基本カメラパラメータを、ここでは仮想カメラパラメータとして使用する。これにより、実カメラにおける実際の視点や画角を、仮想的な視点・画角とした場合の仮想視点画像（＝シミュレーション画像）を得ることができる。
【００４６】
ここで、本ステップで生成されるシミュレーション画像を、具体例を使って説明する。図９は、スタジアム内のグラウンドを俯瞰で捉えたカメラ配置を示す図である。説明の簡単化のため、撮影モジュールの数を１１０ａ〜１１０ｆの６台に簡素化している。いま、グラウンド９００の中央にサッカーゴール９０１が存在し、その前方にボール９０２が存在している。ここでは、説明の便宜上、施設としてのスタジアムは存在しないものとし、施設３Ｄデータはグラウンド平面のみを表すデータであるものとする。撮影モジュール１１０ａ〜１１０ｆ内のカメラ１１２は、グラウンド９００に対してある一定高さの位置に設置され、グラウンド９００の中央にあるサッカーゴール９０１に向けてその姿勢が保持されているものとする。図１０（ａ）〜（ｆ）は、撮影モジュール１１０ａ〜１１０ｆで取得されるテスト撮影画像である。図１０（ａ）が撮影モジュール１１０ａに対応するテスト撮影画像を示している。同様に、図１０（ｂ）が撮影モジュール１１０ｂに対応し、図１０（ｃ）が撮影モジュール１１０ｃに対応し、図１０（ｄ）が撮影モジュール１１０ｄに対応し、図１０（ｅ）が撮影モジュール１１０ｅに対応し、図１０（ｆ）が撮影モジュール１１０ｆに対応している。このようなテスト撮影画像が各カメラ１１２で取得されると、それぞれのテスト撮影画像に対して、各カメラアダプタ１２０の前景背景分離部１４０で前景画像と背景画像とに分離する処理が実行される。ここでは、前景となる特定オブジェクトがボール９０２であるとする。すなわち、テスト撮影画像のうちボール９０２の画像領域が前景画像として抽出され、サッカーゴール９０１を含むそれ以外の画像領域は背景画像として抽出されるものとする。こうして得られる背景画像には、サッカーゴール９０１は存在するが、ボール９０２の部分がブランク（空）となる。一方、前景画像は、ボール９０２の部分だけが切り出された画像となる。前景であるボール９０２については、サーバ２７０にて、各撮影モジュール１１０ａ〜１１０ｆで得られた前景三次元モデル元情報と前景画像とから、ボール９０２を立体的に表現したテクスチャ付きの前景三次元モデルが作成される。サッカーゴール９０１を含む背景については、各撮影モジュール１１０ａ〜１１０ｆで得られた背景画像を合成した１つの合成背景画像がまず生成される。図１１（ａ）は、サッカーゴール９０１を含む各背景画像を１つに合成した合成背景画像を示している。図１０（ａ）〜（ｆ）の各テスト撮影画像内に存在するサッカーゴール９０１部分の画像が、各カメラ１１２の視点位置からグラウンド９００に投射されて貼り付けられているのが分かる。つまり、６台のカメラ１１２によって撮影された背景としてのサッカーゴール９０１は、カメラ１１２の数に応じて、その形状を表す画像領域が合成背景画像上に放射状に現れることになる。そして、このように放射状に投射されたサッカーゴール９０１を含む合成背景画像が、施設３Ｄデータとしてのグラウンド平面に対し、背景テクスチャとして貼り付けられることになる。
【００４７】
上述のようにして得られたテクスチャ付き背景三次元モデルとテクスチャ付き前景三次元モデルとを用いて、各カメラ１１２の基本カメラパラメータが示す位置・姿勢からの見えを示す画像がレンダリングによって生成される。こうして得られたレンダリング画像が、図１１（ｂ）〜（ｇ）に示すシミュレーション画像である。各撮影モジュール１１０ａ〜１１０ｚと、図１１（ｂ）〜（ｇ）の各シミュレーション画像との対応関係は、図１０（ａ）〜（ｆ）のテスト撮影画像の場合と同じである。つまり、各撮影モジュール１１０ａ〜１１０ｚと図１１（ｂ）〜（ｇ）とがそれぞれ一対一で対応している。
【００４８】
Ｓ８０３において、制御装置３００は、上述のシミュレーション画像とテスト撮影画像のデータをサーバ２７０から取得する。なお、テスト撮影画像のデータは、各カメラアダプタ１２０から直接取得してもよい。そして、Ｓ８０４において、制御装置３００は、対応関係にある各テスト撮影画像とシミュレーション画像との間の差異を検出する。ここで検出される差異は、施設３Ｄデータにおいてはその三次元形状が表現されていないオブジェクトが各テスト撮影画像の背景に含まれているなど、テスト撮影時の環境が、施設３Ｄデータの作成時の環境と異なっていることに起因するものである。差異の検出は、差異検出部３４１において、テスト撮影画像とシミュレーション画像における対応する画素同士或いは対応する複数の画素で構成されるブロック同士を比較し、両画像間で一定以上の輝度差や色度差がある箇所を特定することで実現される。例えば撮影モジュール１１０ａに関しては、他のカメラ視点から見たときのサッカーゴール９０１を表す画像領域が投射された放射状の部分が、差異部として検出されることになる。同様に、他の撮影モジュール１１０ｂ〜１１０ｆに関しても、対応関係にあるテスト撮影画像とシミュレーション画像との間で、差異部の検出が行われる。なお、ここではテスト撮影画像とシミュレーション画像との間で比較を行って差異を検出しているが、予め用意した施設３Ｄデータの良否が確認できればよいので、前景部分を取り除いた画像同士を比較して差異を検出してもよい。
【００４９】
そして、Ｓ８０５において、制御部３１０は、Ｓ８０４での差異検出処理の結果に応じて次の処理を決定する。有意な差異が検出されている場合はＳ８０６に進み、有意な差異が検出されていなければ本処理を終える。
【００５０】
Ｓ８０６において、制御部３１０は、Ｓ８０４で検出された差異部の箇所をＧＵＩ３２０によってユーザに通知する。具体的には、ユーザが差異部を認識可能な態様で、対応関係にあるテスト撮影画像とシミュレーション画像とを例えば左右に並べて表示する。この際、検出された差異部を例えば斜線領域で示したり、その輪郭を太線で示したり、差異部だけを別の色で表示するなどの手法で強調表示を行なうのが望ましい。両画像間で差異のある部分を強調表示することによって、ユーザは差異部を把握しやすくなる。また、表示中の両画像に対応するカメラ１１２の位置を表示する等、関連する情報を併せて表示するようにしてもよい。通知内容を踏まえてユーザは、施設３Ｄデータの変更の要否を判断する。
【００５１】
Ｓ８０７において、制御部３１０は、ユーザ操作に応じて次の処理を決定する。ユーザから施設３Ｄデータの変更を行う旨の入力操作を受け付けた場合は、Ｓ８０８に進む。一方、画像チェック処理を終える旨の入力操作を受け付けた場合は本処理を終える。
【００５２】
Ｓ８０８において、制御部３１０は、シミュレーション画像上に放射状に拡がるオブジェクトの画像領域が無くなるよう、背景３Ｄデータ編集部３４０によって、背景３Ｄデータを変更・更新する処理を行う。具体的には、まず、背景３Ｄデータの変更・更新処理のための編集用ＵＩ画面がＧＵＩ３２０に表示される。図１２は、編集用ＵＩ画面の一例である。編集用ＵＩ画面１２００内の画像表示エリア１２０１内の左側には、現在の施設３Ｄデータを用いて作成したシミュレーション画像が表示される。そして、画像表示エリア１２０１内の右側には、上記検出された差異が無くなるように変更を施した施設３Ｄデータを用いて作成したシミュレーション画像が表示される。ユーザは、「カメラ切替」ボタン１２０２を押下することで、表示対象となるシミュレーション画像のカメラ視点を切り替えることができる。この比較表示に先立ち、制御部３１０は、ＤＢ２５０にアクセスしてシミュレーション画像の生成に用いた施設３Ｄデータのデータをまず取得する。そして、背景３Ｄデータ編集部３４０において、当該取得した施設３Ｄデータに対し必要な変更を行なう。この変更に際しては、例えば、前述のような放射状の画像領域が出現することで差異が生じている部分のオブジェクト（ここでは「サッカーゴール」）が、テスト撮影画像を用いたマッチング処理によってまず特定される。このマッチング処理には、構造物３Ｄデータに対応付けられて保持されている複数の２Ｄデータのうち、カメラ視点に最も近い角度から見たときの２Ｄデータが利用される。そして、特定されたオブジェクトの形状を示す構造物３ＤデータをＤＢ２５０から取得して、当該構造物３Ｄデータを現在の施設３Ｄデータの中に組み込んで新たな施設３Ｄデータとする。３Ｄデータライブラリ内に差異部のオブジェクトに対応する構造部３Ｄデータがないときなどは、各カメラで得られたテスト撮影画像から当該差異部に相当するオブジェクトの３Ｄデータを作成し、それを現在の施設３Ｄデータの中に組み込んでもよい。さらには、ＤＢ２５０から取得した施設３Ｄデータを編集用ＵＩ画面上に表示し、ユーザがタッチペンやマウス等を用いて差異部に該当するオブジェクトの三次元形状を直接加えたり、自動変更後の内容に微修正を加えられるようにしてもよい。なお、上述のような変更は、施設３Ｄデータを作成する段階では存在しなかった構造物等がテスト撮影を行う環境下で存在していたために生じた差異への対処法である。これとは逆に、施設３Ｄデータを作成する段階では存在していたオブジェクトがテスト撮影の環境下では存在しなかったために生じた差異に関しては、当該オブジェクトの三次元形状を表す部分を、施設３Ｄデータから削除する変更を行えばよい。そして、制御部３１０は、変更後の施設３Ｄデータのデータをサーバ２７０に送信すると共にこれを用いたシミュレーション画像の生成を再度指示する。そして、生成された新たなシミュレーション画像をサーバ２７０から取得して、変更前のシミュレーション画像と並べて画像表示エリア１２０１に表示する。この表示の際は、Ｓ８０４で検出された差異部に相当する画像領域を、例えば図１２にあるように斜線１２０３等で示してもよい。或いは斜線に代えて、例えば差異部の輪郭を太線で示したり、差異部だけを別の色で表示するなど、他の手法で強調表示を行ってもよい。このように差異部に相当する画像領域を強調表示することによって、ユーザは差異部を把握しやすくなる。図１２では、施設３Ｄデータの変更前後におけるシミュレーション画像を左右に並べているが、上下に並べてもよいし、両画像を重ね合わせて表示したりしてもよい。また、図１２の例では、撮影モジュール単位で１組ずつ表示しているが、複数組分をまとめて表示してもよい。
【００５３】
そして、変更後のシミュレーション画像で問題がないと判断したユーザが「更新」ボタン１２０４を押下すると、変更後の施設３ＤデータがＤＢ２５０に対して送信され、変更後の内容にて、背景３Ｄデータライブラリ内の施設３Ｄデータが更新される。その結果、本撮影後の仮想視点画像の生成ステップ（Ｓ７０４）では、当該変更後の施設３Ｄデータが使用されることになる。この例では、グラウンド９００の中央にあるサッカーゴール９０１の三次元形状が適切に表現された施設３Ｄデータを用いて、仮想視点画像が生成されることになる。
【００５４】
以上が、画像チェック処理の内容である。このように実際に生成・配信される仮想視点画像をシミュレートして事前に確認し、必要に応じて施設３Ｄデータを変更することで、高画質な仮想視点画像の生成が担保される。
【００５５】
（変形例）
上述の例では、本撮影を行う前に画像チェック処理を行って背景３Ｄデータの変更・更新を行っているが、同様の処理を本撮影の合間に行ってもよい。このようにすることで、例えばイベント開始後に何らかの構造物が設置等されたりした場合でも、背景３Ｄデータをより適切な内容に変更・更新することができ、より高画質な仮想視点画像を得ることができる。
【００５６】
また、本実施形態では、施設３Ｄデータの変更・更新の要否をユーザ判断に係らしめているが、ユーザ入力を待たずに自動で変更・更新されるようにしてもよい。この際は、差異部のユーザへの通知（Ｓ８０６）は不要となる。さらには、差異部の自動検出（Ｓ８０４）を行う代わりに、同じカメラ視点からのテスト撮影画像とシミュレーション画像とをＧＵＩ３２０上に表示し、ユーザが差異部を直接確認した上で、施設３Ｄデータを任意の内容に直接変更するようにしてもよい。
【００５７】
また、施設３Ｄデータを変更するのではなく、差異部に相当するオブジェクトの３Ｄデータを独立した構造物等の３Ｄデータとして新たに背景３Ｄデータライブラリに登録してもよい。
【００５８】
また、本実施形態ではテスト撮影画像を静止画として説明したが、動画を対象として行ってもよい。この時、撮影レートが例えば６０ｆｐｓで２秒間の撮影を行った場合は、異なる視点からの１２０フレーム分のテスト撮影画像が得られるので、フレーム単位で各ステップの処理を行えばよい。
【００５９】
以上のとおり本実施形態によれば、スタジアム等の大規模会場でのイベントを対象に仮想視点画像の生成を行う場合において、精度の高い背景三次元モデルを、低負荷・短時間で得ることができる。
【その他の実施形態】
【００６０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
１００  画像処理システム
２７０  サーバ
２７５  レンダリング部
３００  制御装置
３４０  背景３Ｄデータ編集部
【図１】
2019191989.tif 000003
【図２】
2019191989.tif 000004
【図３】
2019191989.tif 000005
【図４】
2019191989.tif 000006
【図５】
2019191989.tif 000007
【図６】
2019191989.tif 000008
【図７】
2019191989.tif 000009
【図８】
2019191989.tif 000010
【図９】
2019191989.tif 000011
【図１０】
2019191989.tif 000012
【図１１】
2019191989.tif 000013
【図１２】
2019191989.tif 000014