(57)【要約】【課題】仮想視点画像を生成する際に前景画像と背景画像との撮影時の露出の差による不自然さを低減することを課題とする。【解決手段】バックエンドサーバ（２７０）は、複数のカメラ（１１２）にて撮影された複数の画像を用いて仮想視点画像を生成する。ここで、バックエンドサーバ（２７０）は、複数の画像のうちの何れかに基づく画像であって所定のオブジェクトに対応する前景画像を取得し、前景画像が撮影された際の露出を示す露出情報を取得し、複数の画像のうちの何れかに基づく画像であって露出情報に対応する露出で撮影され、所定のオブジェトが含まれない背景画像を露出情報に基づいて取得する。そして、バックエンドサーバ（２７０）は、前景画像と背景画像とを用いて仮想視点画像を生成する。【選択図】図１
2019003325.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置にて撮影された複数の画像を用いて仮想視点画像を生成する画像処理装置であって、
前記複数の画像のうちの何れかに基づく画像であって、所定のオブジェクトに対応する前景画像を取得する第１取得手段と、
前記第１取得手段により取得された前記前景画像が撮影された際の露出を示す露出情報を取得する第２取得手段と、
前記複数の画像のうちの何れかに基づく画像であって、前記第２取得手段により取得された露出情報に対応する露出で撮影され、前記所定のオブジェクトが含まれない背景画像を、前記第２取得手段により取得された露出情報に基づいて取得する第３取得手段と、
前記第１取得手段により取得された前記前景画像と前記第３取得手段により取得された前記背景画像とを用いて仮想視点画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第３取得手段は、前記第２取得手段により取得された露出情報により示される露出と同じ露出で撮影された前記背景画像を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１取得手段は、前記所定のオブジェクトに対応する複数の前景画像を取得し、
前記第３取得手段は、前記第２取得手段により取得された前記複数の前景画像の露出情報に基づいて定めた露出で撮影された前記背景画像を取得することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第３取得手段は、前記第２取得手段により取得された露出情報に基づいて定めた露出で撮影された前記背景画像をデータベースに要求し、当該データベースから前記背景画像を取得することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
複数の撮像装置にて撮影された複数の画像をそれぞれ分離した複数の前景画像および複数の背景画像の中から、仮想視点画像の生成に用いる前景画像および背景画像を決定する決定手段と、
前記決定された前記前景画像の撮影時の露出情報と、前記決定された前記背景画像の撮影時の露出情報とを取得する取得手段と、
前記前景画像と前記背景画像を基に、前記仮想視点画像を生成する処理手段と、を有し、
前記処理手段は、前記決定された前記前景画像と前記背景画像との前記露出情報が異なる場合、前記決定された前景画像の露出に前記背景画像の露出を合わせる処理を行い、前記露出を合わせる処理後の前記背景画像と、前記決定された前景画像とを使用して、前記仮想視点画像を生成することを特徴とする画像処理装置。
【請求項６】
前記処理手段は、前記露出を合わせる前記処理として、前記決定された前記前景画像および前記背景画像の露出情報を基に、前記決定された背景画像に対して、前記前景画像に画質を合わせる所定の画質補正処理を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記処理手段は、
前記決定された前景画像が複数存在し、前記複数の前景画像の露出情報が異なっている場合、前記複数の前景画像の複数の露出情報の中で、露出情報ごとの数が最も多い露出情報を前記決定された前景画像の露出情報として設定し、
前記設定した露出情報とは異なる露出情報の前景画像に対して、前記設定された露出情報の前記前景画像に画質を合わせる前記画質補正処理を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記処理手段は、前記露出を合わせる前記処理として、前記仮想視点画像の生成に使用可能な複数の背景画像の中から、前記前景画像の露出情報と一致した露出情報の背景画像を取得する処理を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記処理手段は、前記前景画像の露出情報と一致した露出情報の背景画像が複数存在する場合、前記露出情報が一致した前記複数の背景画像の中から、前記決定された背景画像の撮影時刻より後の時刻であって、前記撮影時刻に最も近い撮影時刻の背景画像を取得することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
複数の撮像装置にて撮影された複数の画像をそれぞれ分離した複数の前景画像と複数の背景画像とを保持する保持手段と、
前記撮影された画像が分離された前景画像と背景画像とで、撮影時の露出情報が異なる場合には、前記前景画像および前記背景画像の露出情報を基に、前記背景画像に対して、前記前景画像に画質を合わせる所定の画質補正処理を行い、前記画質補正処理がなされた後の背景画像を前記保持手段に保持させる処理手段と、
前記保持手段に保持されている複数の前景画像および複数の背景画像の中から、仮想視点画像の生成に用いる前景画像および背景画像を決定する決定手段と、
前記決定された前景画像と前記背景画像とを用いて仮想視点画像を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項１１】
前記処理手段は、前記撮像装置にて撮影時の露出が変更された場合、前記露出を合わせる前記処理として、前記露出が変更された前後の撮影時刻における露出情報を基に、前記背景画像に対して前記前景画像に画質を合わせる前記画質補正処理を行うことを特徴とする請求項５又は１０に記載の画像処理装置。
【請求項１２】
前記処理手段は、前記撮影時の露出が変更された前後の撮影時刻における前記露出情報を用いた所定の演算により算出した露出情報を基に、前記背景画像に対して前記画質補正処理を行うことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記処理手段は、前記仮想視点画像の生成に用いられる前景画像が複数存在し、前記複数の前景画像の露出情報が異なっている場合、前記複数の前景画像の複数の露出情報の中で、露出情報ごとの数が最も多い露出情報を、前記決定された前景画像の露出情報として設定することを特徴とする請求項８から１２の何れか１項に記載の画像処理装置。
【請求項１４】
前記前景画像のフレームレートは、前記背景画像のフレームレートより高いフレームレートとなされていることを特徴とする請求項５から１３の何れか１項に記載の画像処理装置。
【請求項１５】
撮像した画像を前景画像と背景画像とに分離して、前記分離した背景画像の間引き処理を行って、前記背景画像のフレームレートを前記前景画像のフレームレートより低いフレームレートとして出力する制御手段と、
前記制御手段から出力された前記前景画像および前記背景画像を基に、仮想視点画像を生成する処理手段と、を有し、
前記制御手段は、前記画像の撮影時に露出が変更された場合、前記背景画像に対する前記間引き処理をキャンセルすることを特徴とする画像処理装置。
【請求項１６】
撮像した画像を前景画像と背景画像とに分離して、前記前景画像と背景画像をそれぞれ異なるフレームレートで出力する制御手段と、
前記制御手段から出力された前記前景画像および前記背景画像を基に、仮想視点画像を生成する処理手段と、を有し、
前記制御手段は、前記画像の撮影時の露出を変更する指示が入力された場合には、前記撮像した画像から分離された前記前景画像と背景画像の両方を出力するタイミングに合わせて、前記露出の変更を適用することを特徴とする画像処理装置。
【請求項１７】
複数の撮像装置にて撮影された複数の画像をそれぞれ分離した複数の前景画像および複数の背景画像の中から、仮想視点画像の生成に用いる前景画像および背景画像を決定する決定工程と、
前記決定された前記前景画像の撮影時の露出情報と、前記決定された前記背景画像の撮影時の露出情報とを取得する取得工程と、
前記前景画像と前記背景画像を基に、前記仮想視点画像を生成する処理工程と、を有し、
前記処理工程では、前記決定された前記前景画像と前記背景画像との前記露出情報が異なる場合、前記決定された前景画像の露出に前記背景画像の露出を合わせる処理を行い、前記露出を合わせる処理後の前記背景画像と、前記決定された前景画像とを使用して、前記仮想視点画像を生成することを特徴とする画像処理装置の画像処理方法。
【請求項１８】
複数の撮像装置にて撮影された複数の画像をそれぞれ分離した複数の前景画像と複数の背景画像とを保持する保持工程と、
前記撮影された画像が分離された前景画像と背景画像とで、撮影時の露出情報が異なる場合には、前記前景画像および前記背景画像の露出情報を基に、前記背景画像に対して、前記前景画像に画質を合わせる所定の画質補正処理を行い、前記画質補正処理がなされた後の背景画像を前記保持工程に保持させる処理工程と、
前記保持工程にて保持されている複数の前景画像および複数の背景画像の中から、仮想視点画像の生成に用いる前景画像および背景画像を決定する決定工程と、
前記決定された前景画像と前記背景画像とを用いて仮想視点画像を生成する生成工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【請求項１９】
撮像した画像を前景画像と背景画像とに分離して、前記分離した背景画像の間引き処理を行って、前記背景画像のフレームレートを前記前景画像のフレームレートより低いフレームレートとして出力する制御工程と、
前記制御工程から出力された前記前景画像および前記背景画像を基に、仮想視点画像を生成する処理工程と、を有し、
前記制御工程では、前記画像の撮影時に露出が変更された場合、前記背景画像に対する前記間引き処理をキャンセルすることを特徴とする画像処理装置の画像処理方法。
【請求項２０】
撮像した画像を前景画像と背景画像とに分離して、前記前景画像と背景画像をそれぞれ異なるフレームレートで出力する制御工程と、
前記制御工程から出力された前記前景画像および前記背景画像を基に、仮想視点画像を生成する処理工程と、を有し、
前記制御工程では、前記画像の撮影時の露出を変更する指示が入力された場合には、前記撮像した画像から分離された前記前景画像と背景画像の両方を出力するタイミングに合わせて、前記露出の変更を適用することを特徴とする画像処理装置の画像処理方法。
【請求項２１】
コンピュータを、請求項１から１６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項２２】
撮像した画像を前景画像と背景画像とに分離してそれぞれを異なるフレームレートで出力するとともに、前記前景画像および背景画像と共に前記画像の撮影時の露出情報を出力する撮像装置と、
前記撮像装置から出力された前記前景画像および背景画像と前記露出情報とを取得する請求項５から１４の何れか１項に記載の画像処理装置と、
を有する画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影した画像を処理する画像処理装置、画像処理方法、プログラム及び画像処理システムに関する。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、これら複数のカメラとは異なる仮想的な視点または仮想的なカメラからの仮想視点コンテンツを生成する技術が注目されている。複数視点画像から任意に視点を変更可能な仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来る。したがって、仮想視点コンテンツを生成する技術は、任意に視点を変更できない通常の画像と比較してユーザに高臨場感を与えることが出来る。このようにして生成された画像は仮想視点画像と呼ばれる。
【０００３】
特許文献１には、同一の範囲を取り囲むように複数のカメラを配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。
【０００４】
また、仮想視点画像を生成するには、一般的に、画像内でモデル生成の対象となるオブジェクトが存在する部分が識別されている必要がある。そのオブジェクトが存在する部分は前景と呼ばれ、それ以外は背景と呼ばれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の撮影画像を合成して例えば仮想視点画像のような１つの画像を生成する際には、撮影画像の輝度や色合いに差が出ないようにすることが望まれる。しかしながら、仮想視点画像を生成する際の合成に用いる前景画像と背景画像とで例えば撮影された際のタイミングや撮影した撮影装置が異なると、撮影時の露出が異なる場合が生じ得る。露出が異なる前景画像と背景画像とを仮想視点画像の生成に用いると不自然な画像が合成されるという問題が生ずることがある。
【０００７】
そこで、本発明は、仮想視点画像を生成する際に前景画像と背景画像との撮影時の露出の差による不自然さを低減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、複数の撮像装置にて撮影された複数の画像を用いて仮想視点画像を生成する画像処理装置であって、前記複数の画像のうちの何れかに基づく画像であって、所定のオブジェクトに対応する前景画像を取得する第１取得手段と、前記第１取得手段により取得された前記前景画像が撮影された際の露出を示す露出情報を取得する第２取得手段と、前記複数の画像のうちの何れかに基づく画像であって、前記第２取得手段により取得された露出情報に対応する露出で撮影され、前記所定のオブジェトが含まれない背景画像を、前記第２取得手段により取得された露出情報に基づいて取得する第３取得手段と、前記第１取得手段により取得された前記前景画像と前記第３取得手段により取得された前記背景画像とを用いて仮想視点画像を生成する生成手段と、を有することを特徴とする。
【０００９】
また、本発明の他の態様は、複数の撮像装置にて撮影された複数の画像をそれぞれ分離した複数の前景画像および複数の背景画像の中から、仮想視点画像の生成に用いる前景画像および背景画像を決定する決定手段と、前記決定された前記前景画像の撮影時の露出情報と、前記決定された前記背景画像の撮影時の露出情報とを取得する取得手段と、前記前景画像と前記背景画像を基に、前記仮想視点画像を生成する処理手段と、を有し、前記処理手段は、前記決定された前記前景画像と前記背景画像との前記露出情報が異なる場合、前記決定された前景画像の露出に前記背景画像の露出を合わせる処理を行い、前記露出を合わせる処理後の前記背景画像と、前記決定された前景画像とを使用して、前記仮想視点画像を生成することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、仮想視点画像を生成する際に前景画像と背景画像との撮影時の露出の差による不自然さを低減することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理システムの構成例を示す図である。
【図２】カメラアダプタの機能構成例を示す図である。
【図３】第１の実施形態のフロントエンドサーバの機能構成例を示す図である。
【図４】第１の実施形態のバックエンドサーバの機能構成例を示す図である。
【図５】第１の実施形態の仮想視点画像の生成処理フローを示す図である。
【図６】第２の実施形態のバックエンドサーバの機能構成例を示す図である。
【図７】第３の実施形態のバックエンドサーバの機能構成例を示す図である。
【図８】第３の実施形態における前景画像と背景画像の露出関係の説明図である。
【図９】第４の実施形態のフロントエンドサーバの機能構成例を示す図である。
【図１０】第４の実施形態のバックエンドサーバの機能構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の実施形態の一例を詳細に説明する。
本実施形態では、複数のカメラをスタジアム等に設置して同期撮影を行い、撮影途中に撮影パラメータが変更された撮影データを用いて、仮想視点画像を生成する画像処理システムを例に挙げて説明する。
＜第１の実施形態＞
第１の実施形態では、撮影時の撮影パラメータ変更によって仮想視点画像の生成に用いる画像の露出情報が異なっている場合に、露出情報の一致する画像をデータベースより再取得して仮想視点画像を生成する例について説明する。
【００１３】
図１は、本実施形態に係わる画像処理システム１００の概略構成を示すブロック図である。
画像処理システム１００は、センサシステム１１０ａ〜センサシステム１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。
コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対してネットワーク３１０ａ〜３１０ｃ、１８０ａ、１８０ｂ、及びデイジーチェーン１７０ａ〜１７０ｙを通じて動作状態の管理及びパラメータ設定制御等を行う。これら各ネットワークは、例えば、Ｅｔｈｅｒｎｅｔ（Ｅｔｈｅｒｎｅｔ、イーサネットは登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサネット）や１０ＧｂＥを用いることができる。また、各ネットワークは、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサネット等を組合せて構成されてもよい。さらに、これらにも限定されず、他の種別のネットワークであってもよい。
【００１４】
先ず、センサシステム１１０ａ〜１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。本実施形態の画像処理システム１００では、センサシステム１１０ａ〜１１０ｚがデイジーチェーン１７０ａ〜１７０ｙにより接続される。
なお、本実施形態において、特別な説明がない場合には、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットの各システムを区別せずに、センサシステム１１０と記載する。各センサシステム１１０内の各装置についても同様に、特別な説明がない場合にはそれらを区別せずに、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットを記載しているが、これはあくまでも一例であり、台数はこの例に限定されるものではない。また、本実施形態では、特に断りがない限り、画像という文言が動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれるが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくてもよい。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であってもよい。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。さらに、本実施形態では、特に断りがない限り、ネットワークを介して伝送される画像データ、音声データを、単に画像、音声と記載する。
【００１５】
センサシステム１１０ａ〜１１０ｚは、それぞれが１台ずつのカメラ１１２ａ〜１１２ｚを有する。すなわち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーン１７０により接続されている。この接続形態により、撮影画像のいわゆる４Ｋや８Ｋ等への高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化が可能となっている。また、接続形態はデイジーチェーン１７０に限らず、各センサシステム１１０ａ〜１１０ｚがスイッチングハブ１８０に接続され、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成であってもよい。
【００１６】
また、図１では、デイジーチェーン１７０となるようセンサシステム１１０ａ〜１１０ｚの全てがカスケード接続されている構成を示したが、この接続例に限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブ１８０に接続されて画像コンピューティングサーバ２００へ画像データの入力を行うようになされていてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合、フロア毎或いはスタジアムの半周毎に、画像コンピューティングサーバ２００への入力を行うことができ、全センサシステム１１０を一つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
【００１７】
本実施形態において、センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。カメラアダプタ１２０の機能の少なくとも一部はフロントエンドサーバ２３０が有していてもよい。本実施形態の場合、センサシステム１１０ｂ〜１１０ｚについては、センサシステム１１０ａと同様の構成なのでその説明を省略する。なお、センサシステム１１０ｂ〜１１０ｚは、センサシステム１１０ａと同じ構成に限定されるものではなく、それぞれのセンサシステム１１０が異なる構成になされていてもよい。
【００１８】
カメラ１１２ａにて撮影された画像と、マイク１１１ａにて集音された音声とは、カメラアダプタ１２０ａにおいて様々な画像処理、音声処理が施された後、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。カメラアダプタ１２０は、撮影した画像から、オブジェクトの画像を含む前景画像と、それ以外の背景画像とを分離する。カメラアダプタ１２０ａで実施される画像処理の詳細については後述する。また、カメラ１１２ａは、撮影時の絞りやシャッタースピード、ＩＳＯ感度といったカメラ露出情報を出力する機能を備えている。カメラアダプタ１２０ａからは、カメラ１１２ａにて撮影された画像のデータと一緒に、その露出情報も、カメラアダプタ１２０ｂに送られる。本実施形態では、露出情報としてＥＶ値を用いることとする。なお、シャッタースピードをＴ、絞りをＦとした場合、ＥＶ値は、下記の式（１）により求めることができる。
ＥＶ＝ｌｏｇ2Ｆ2−ｌｏｇ2Ｔ        式（１）
【００１９】
同様に、センサシステム１１０ｂは、カメラ１１２ｂで撮影した画像とマイク１１１ｂで集音した音声とを、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。このような動作が各センサシステム１１０にて続けられることにより、それらセンサシステム１１０ａ〜１１０ｚで取得された画像及び音声は、最終段のセンサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝送される。そして、それら画像及び音声のデータは、スイッチングハブ１８０から画像コンピューティングサーバ２００へ伝送される。
【００２０】
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。
本実施形態の画像コンピューティングサーバ２００は、スイッチングハブ１８０を介してセンサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００は、フロントエンドサーバ２３０、データベース２５０（データベースは、適宜、ＤＢとも記載する。）、バックエンドサーバ２７０、タイムサーバ２９０を有する。
【００２１】
タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介して、センサシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、時刻と同期信号を基にカメラ１１２ａ〜１１２ｚをゲンロック（Ｇｅｎｌｏｃｋ）させて画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は、同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できることになり、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。
【００２２】
フロントエンドサーバ２３０は、スイッチングハブ１８０を介してセンサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。そして、フロントエンドサーバ２３０は、そのデータ形式変換後の画像データを、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。この時、各カメラアダプタ１２０からの前景画像や背景画像と一緒に伝送されたカメラ露出情報は、データ形式変換後の画像データと関連付けてフレーム単位でデータベース２５０に書き込まれる。
【００２３】
次に、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０の中に保存されている複数の画像及び音声の中から、仮想視点コンテンツの生成に必要な画像及び音声を決定する。そして、バックエンドサーバ２７０は、それら決定した画像及び音声のデータをデータベース２５０から読み出し、それら読み出したデータを用いて、レンダリング処理等を行うことにより仮想視点コンテンツを生成する。
【００２４】
なお、画像コンピューティングサーバ２００の構成は図１の構成例に限らない。例えば、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０のうち少なくとも二つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に、それら装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部は、エンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
【００２５】
バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツをレンダリング処理により生成する。より具体的には、バックエンドサーバ２７０は、複数のカメラ１１２にて取得された撮影画像から、それぞれ対応したカメラアダプタ１２０により抽出された所定領域の画像データと、ユーザ操作により指定された視点とに基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ２７０は、生成した仮想視点コンテンツの画像と、音声とを、エンドユーザ端末１９０に送信する。エンドユーザ端末１９０はディスプレイとスピーカを有しており、バックエンドサーバ２７０から送信されてきた仮想視点コンテンツの画像をディスプレイに表示させ、音声をスピーカから出力させる。
【００２６】
本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想的な視点（仮想視点）は、ユーザにより任意に指定されてもよいし、画像解析の結果等に基づいて自動的に指定されてもよい。すなわち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の視点候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツには音声（オーディオデータ）が含まれる場合の例を挙げて説明しているが、必ずしも音声が含まれていなくてもよい。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化した上で、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。したがって、本実施形態によれば、エンドユーザ端末１９０を操作するユーザは、例えば自ら指定した任意の視点に応じた仮想視点画像と音声を視聴することができることになる。
【００２７】
このように、本実施形態の画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという、３つの機能ドメインを有している。すなわち本実施形態において、映像収集ドメインはセンサシステム１１０ａ〜１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含む。また、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお、本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ〜１１０ｚから画像を取得することも可能である。
【００２８】
ただし、本実施形態の画像処理システム１００では、例えば仮想カメラ操作ＵＩ３３０がセンサシステム１１０ａ〜１１０ｚから直接画像を取得する構成ではなく、図１に示したように、データ保存ドメインを中間に配置する構成を採用している。具体的には、データ保存ドメインのフロントエンドサーバ２３０は、センサシステム１１０ａ〜１１０ｚで取得された画像や音声及びそれらのデータのメタ情報を、データベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ〜１１０ｚのカメラ１１２が例えば他機種のカメラに変更されたとしても、そのカメラ機種変更による差分をフロントエンドサーバ２３０により吸収して、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種のカメラに変更された場合に、仮想カメラ操作ＵＩ３３０が適切に動作しなくなってしまうという状態が生ずるのを防ぐことができる。
【００２９】
また本実施形態の画像処理システム１００において、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成となされている。すなわち、バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を、仮想カメラ操作ＵＩ３３０で行っている。このことにより、例えば仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力することができるようになる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除することも可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応することができる。このように、本実施形態の画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影で得られた画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態の画像処理システム１００は、前述した物理的な構成に限定される場合だけでなく、論理的に構成されていてもよい。
【００３０】
次に、本実施形態の画像処理システム１００におけるカメラアダプタ１２０、フロントエンドサーバ２３０、バックエンドサーバ２７０が備える機能について、図２以降の各図を用いて詳細に説明する。
図２は、本実施形態のカメラアダプタ１２０の機能ブロックを示した図である。
図２に示すように、カメラアダプタ１２０は、ネットワークアダプタ６１１０、伝送部６１２０、画像処理部６１３０、及び外部機器制御部６１４０を有して構成されている。
【００３１】
ネットワークアダプタ６１１０は、データ送受信部６１１１と時刻制御部６１１２を有して構成されている。
データ送受信部６１１１は、デイジーチェーン１７０、スイッチングハブ１８０、ネットワーク２９１，３１０ａ等を介して、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、制御ステーション３１０等とデータ通信を行う。データ送受信部６１１１は、後述する前景背景分離部６１３１がカメラ１１２の撮影画像から分離した前景画像及び背景画像を、別のカメラアダプタ１２０に対して出力する。
また、データ送受信部６１１１は、前景画像と背景画像をそれぞれ異なるフレームレートで出力する機能を備えているものとする。本実施形態の場合、前景画像は高フレームレートで出力され、撮影対象（所定領域）を含まない背景画像は低フレームレートで出力されるものとする。出力先のカメラアダプタ１２０は、画像処理システム１００内の各カメラアダプタ１２０のうち、後述するデータルーティング処理部６１２２の処理に応じて予め定められた順序における次のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、バックエンドサーバ２７０では複数の視点から撮影された前景画像と背景画像に基づく仮想視点画像の生成が可能となる。
【００３２】
時刻制御部６１１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ  Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能を有し、タイムサーバ２９０と時刻同期を行う。なお、時刻同期は、ＩＥＥＥ１５８８に限定されず、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期が実現されてもよい。
【００３３】
伝送部６１２０は、ネットワークアダプタ６１１０を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有する。伝送部６１２０は、データ圧縮・伸張部６１２１、データルーティング処理部６１２２、時刻同期制御部６１２３、画像・音声伝送処理部６１２４、データルーティング情報保持部６１２５の各機能部を有して構成されている。
【００３４】
データルーティング情報保持部６１２５は、データ送受信部６１１１で送受信されるデータの送信先を決定するためのアドレス情報等を保持する機能を有する。
データ圧縮・伸張部６１２１は、データ送受信部６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。
【００３５】
データルーティング処理部６１２２は、データルーティング情報保持部６１２５が保持しているアドレス情報を基に、データ送受信部６１１１が受信したデータ及び画像処理部６１３０で処理されたデータのルーティング先を決定する。さらに、データルーティング処理部６１２２は、決定したルーティング先へデータを送信する機能をも有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが、それぞれのカメラ１１２同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１２０それぞれに対するデータルーティング処理部６１２２による決定に応じて、画像処理システム１００内において前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が決められる。
【００３６】
時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰだけでなく、他の同様のプロトコルを利用して時刻同期が行われてもよい。
【００３７】
画像・音声伝送処理部６１２４は、画像又は音声のデータを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには、画像又は音声のデータ、及び各データのメタ情報が含まれる。本実施形態の場合、メタ情報には、画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、カメラ１１２やマイク１１１の個体を示す識別子等が含まれる。また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０から、データ送受信部６１１１を介してメッセージを受け取る。そして、画像・音声伝送処理部６１２４は、そのメッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を、画像または音声のデータに復元する。なお、データを復元した際に、そのデータが圧縮されている場合、データ圧縮・伸張部６１２１は、その圧縮に対応した伸張処理を行う。
【００３８】
画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データ、及び、他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有する。画像処理部６１３０は、前景背景分離部６１３１、三次元モデル情報生成部６１３２、キャリブレーション制御部６１３３の各機能部を有して構成されている。
【００３９】
前景背景分離部６１３１は、カメラ１１２が撮影した画像データを、前景画像と背景画像に分離する機能を有している。すなわち、複数のカメラアダプタ１２０それぞれの前景背景分離部６１３１は、それぞれ対応したカメラ１１２による撮影画像から所定領域を抽出する。本実施形態における所定領域は、例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、前景背景分離部６１３１は、この所定領域の抽出を行うことにより、撮影画像を前景画像と背景画像に分離する。なお、本実施形態のように、例えばスタジアムに画像処理システム１００が設置される場合、撮影画像に対するオブジェクトとしては、例えば人物を例に挙げることができる。この場合の人物のオブジェクトは、特定人物（例えば選手、監督、審判等）であってもよいし、ボールやゴール等のように画像パターンが予め定められている物体であってもよい。また、オブジェクトは、人物等のような動体だけでなく、静止した物体であってもよい。本実施形態の画像処理システム１００では、人物等の重要なオブジェクトを含む前景画像と、それらオブジェクトを含まない背景領域とを分離して処理することで、生成される仮想視点画像のオブジェクトに該当する部分の画像の品質を向上させることができる。また、本実施形態によれば、前景画像と背景画像の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は、前景画像に限らず、例えば背景画像であってもよい。
【００４０】
三次元モデル情報生成部６１３２は、前景背景分離部６１３１で分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用し、例えばステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能を有している。また、三次元モデル生成には、例えばＶｉｓｕａｌ  Ｈｕｌｌを用いる方法が使用されてもよい。
【００４１】
キャリブレーション制御部６１３３は、後述するカメラ制御部６１４１を介してカメラ１１２から、キャリブレーションに必要な画像データを取得して、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有している。
【００４２】
外部機器制御部６１４０は、カメラ制御部６１４１、マイク制御部６１４２、雲台制御部６１４３、センサ制御部６１４４の各機能部を有して構成されている。カメラ制御部６１４１はこのカメラアダプタ１２０に備えられているカメラ１１２と接続され、同様に、マイク制御部６１４２はマイク１１１と、雲台制御部６１４３は雲台１１３と、センサ制御部６１４４は外部センサ１１４と接続されている。
【００４３】
カメラ制御部６１４１は、接続されているカメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定等を行う機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、ホワイトバランス等）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、エラー等）の取得、撮影の開始と停止、ピント調整等がある。同期信号提供は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に送ることで行われる。時刻設定は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで送ることにより行われる。これにより、カメラ１１２から受取る画像データには、そのタイムコードが付与されることになる。なお、タイムコードのフォーマットは、ＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部６１４１は、カメラ１１２に対するタイムコードの送信を行わず、カメラ１１２から受取った画像データに自身がタイムコードを付与してもよい。
【００４４】
マイク制御部６１４２は、接続されているマイク１１１の制御、集音の開始や停止、集音された音声データの取得等を行う機能を有している。マイク１１１の制御には、例えば、ゲイン調整、状態取得等がある。また、カメラ制御部６１４１の場合と同様、マイク１１１には、音声サンプリングのタイミングとタイムコードが送信される。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ２９０からの時刻情報を例えば４８ＫＨｚのワードクロックに変換した情報等が用いられる。
【００４５】
雲台制御部６１４３は、接続されている雲台１１３の制御を行う機能を有している。雲台１１３の制御は、例えばいわゆるパン・チルト制御や、状態取得等がある。
センサ制御部６１４４は、接続されている外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、センサ制御部６１４４は、振動を表す情報を取得することができる。このセンサ制御部６１４４が取得した振動情報は、画像処理部６１３０に送られる。これにより、画像処理部６１３０は、センサ制御部６１４４が取得した振動情報を用いて、前景背景分離部６１３１での処理に先立って振動を抑えた画像を生成することができる。
【００４６】
図３は、本実施形態のフロントエンドサーバ２３０の機能ブロックを示した図である。
図３に示すように、フロントエンドサーバ２３０は、データ入力制御部２１２０、データ同期部２１３０、画像処理部２１５０、三次元モデル結合部２１６０、画像結合部２１７０、撮影データファイル生成部２１８０を有する。さらに、フロントエンドサーバ２３０は、制御部２１１０、ＣＡＤデータ記憶部２１３５、キャリブレーション部２１４０、非撮影データファイル生成部２１８５、ＤＢアクセス制御部２１９０を有して構成されている。
【００４７】
制御部２１１０は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリ等の記憶媒体、Ｅｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、制御部２１１０は、フロントエンドサーバ２３０の各機能ブロック及びフロントエンドサーバ２３０のシステム全体の制御を行う。また、制御部２１１０は、モード制御を行って、キャリブレーション動作や撮影前の準備動作、及び撮影中動作等の動作モードを切り替える。また、制御部２１１０は、ネットワークを介して制御ステーション３１０からの制御指示を受信し、各モードの切り替えやデータの入出力等を行う。また制御部２１１０は、ネットワークを通じて制御ステーション３１０からスタジアムＣＡＤデータを取得し、そのスタジアムＣＡＤデータをＣＡＤデータ記憶部２１３５と非撮影データファイル生成部２１８５に送信する。
【００４８】
データ入力制御部２１２０は、ネットワークとスイッチングハブ１８０を介して、カメラアダプタ１２０と接続されている。そして、データ入力制御部２１２０は、カメラアダプタ１２０から前述した前景画像、背景画像、前述したオブジェクト等の被写体の三次元モデル、音声データ、及びカメラ露出情報を取得する。また、データ入力制御部２１２０は、取得した前景画像及び背景画像をデータ同期部２１３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部２１４０に送信する。また、データ入力制御部２１２０は、受信したデータの圧縮伸張やデータルーティング処理等を行う機能を有する。ここで、制御部２１１０とデータ入力制御部２１２０は共に、Ｅｔｈｅｒｎｅｔ（登録商標）等のネットワークによる通信機能を有しているが、通信機能はこれらで共有されていてもよい。その場合、制御ステーション３１０からの制御コマンドによる指示やスタジアムＣＡＤデータをデータ入力制御部２１２０が受けて、制御部２１１０に対して送る方法を用いてもよい。
【００４９】
データ同期部２１３０は、カメラアダプタ１２０から取得されたデータを不図示のＤＲＡＭ上に一次的に記憶し、前景画像、背景画像、音声データ、三次元モデルデータ、及びカメラ露出情報が揃うまでバッファリングする。なお、前景画像、背景画像、音声データ、三次元モデルデータ、及びカメラ露出情報をまとめて、以下の説明では撮影データと称する。撮影データには、ルーティング情報やタイムコード情報（時間情報）、カメラ識別子等のメタ情報が付与されており、データ同期部２１３０は、このメタ情報を元にデータの属性を確認する。これにより、データ同期部２１３０は、同一時刻のデータであることなどを判断してデータが揃ったことを確認する。データが揃ったら、データ同期部２１３０は、前景画像及び背景画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。なお、ここで揃えるデータは、後述する撮影データファイル生成部２１８０でファイル生成を行うために必要なデータである。
【００５０】
ＣＡＤデータ記憶部２１３５は、制御部２１１０から受け取ったスタジアム形状を示す三次元データ（以下、スタジアム形状データと称する。）を不図示のＤＲＡＭまたはＨＤＤやＮＡＮＤメモリ等の記憶媒体に保存する。そして、ＣＡＤデータ記憶部２１３５は、画像結合部２１７０に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。
【００５１】
キャリブレーション部２１４０は、カメラ１１２のキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを、後述する非撮影データファイル生成部２１８５に送る。また同時に、キャリブレーション部２１４０は、自身の記憶領域にもカメラパラメータを保持し、その保持したカメラパラメータの情報を、後述する三次元モデル結合部２１６０に送信する。
【００５２】
画像処理部２１５０は、データ同期部２１３０を介して供給された前景画像と背景画像に対し、カメラ間の色や輝度値の合わせこみ、ＲＡＷ画像データが入力される場合にはその現像処理、カメラのレンズ歪みの補正等の処理を行う。そして、画像処理部２１５０は、画像処理を行った前景画像を撮影データファイル生成部２１８０に、背景画像を画像結合部２１７０にそれぞれ送信する。
【００５３】
三次元モデル結合部２１６０は、データ同期部２１３０を介して供給された同一時刻の三次元モデルデータを、キャリブレーション部２１４０が生成したカメラパラメータを用いて結合する。そして、三次元モデル結合部２１６０は、いわゆるＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。三次元モデル結合部２１６０にて生成された三次元モデルは、撮影データファイル生成部２１８０に送られる。
【００５４】
画像結合部２１７０は、画像処理部２１５０から背景画像を取得し、ＣＡＤデータ記憶部２１３５からスタジアム形状データを取得し、そのスタジアム形状データの座標に対する背景画像の位置を特定する。画像結合部２１７０は、背景画像の各々についてスタジアム形状データの座標に対する位置が特定できると、それら背景画像を結合して一つの背景画像とする。なお、背景画像の三次元形状データの作成については、バックエンドサーバ２７０が実施してもよい。
【００５５】
撮影データファイル生成部２１８０は、データ同期部２１３０から音声とカメラ露出情報を、画像処理部２１５０から前景画像を、三次元モデル結合部２１６０から三次元モデルデータを、画像結合部２１７０から三次元形状に結合された背景画像を、取得する。そして、撮影データファイル生成部２１８０は、それら取得したデータをＤＢアクセス制御部２１９０に対して出力する。ここで、撮影データファイル生成部２１８０は、これらのデータをそれぞれの時間情報に基づいて対応付けて出力する。なお、撮影データファイル生成部２１８０は、これらのデータの一部を対応付けて出力してもよい。例えば、撮影データファイル生成部２１８０は、前景画像と背景画像とを、前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて出力する。なお、カメラアダプタ１２０が出力した背景画像のフレームレートは前景画像のフレームレートより低いため、ある時刻においては背景画像が存在しない場合がある。この場合、撮影データファイル生成部２１８０は、背景画像の対応付けは行わない。また、撮影データファイル生成部２１８０は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて対応付けて出力する。なお、撮影データファイル生成部２１８０は、対応付けられたデータをデータの種類別にファイル化して出力してもよいし、複数種類のデータを時間情報が示す時刻ごとにまとめてファイル化して出力してもよい。そして、このようにして対応付けられた撮影データが、ＤＢアクセス制御部２１９０を介してデータベース２５０に出力される。これにより、バックエンドサーバ２７０は、時刻情報が対応した前景画像と背景画像とから仮想視点画像を生成可能となる。
【００５６】
非撮影データファイル生成部２１８５は、キャリブレーション部２１４０からカメラパラメータ、制御部２１１０からスタジアム形状データを取得し、ファイル形式に応じて成形した後にＤＢアクセス制御部２１９０に送信する。なお、非撮影データファイル生成部２１８５は、入力されるデータであるカメラパラメータ又はスタジアム形状データを、個別にファイル形式に応じて成形する。すなわち、非撮影データファイル生成部２１８５は、カメラパラメータとスタジアム形状データのどちらか一方のデータを受信した場合、それらを個別にＤＢアクセス制御部２１９０に送信する。
【００５７】
ＤＢアクセス制御部２１９０は、いわゆるＩｎｆｉｎｉＢａｎｄ等により高速な通信が可能となるようにデータベース２５０と接続される。そして、ＤＢアクセス制御部２１９０は、撮影データファイル生成部２１８０と非撮影データファイル生成部２１８５から受信したデータを、データベース２５０に対して送信する。本実施形態の場合、撮影データファイル生成部２１８０が時刻情報に基づいて対応付けた撮影データは、ＤＢアクセス制御部２１９０を介して、データベース２５０へ出力される。
【００５８】
なお、本実施形態では、フロントエンドサーバ２３０が前景画像と背景画像の対応付けを行うものとするが、これに限らず、データベース２５０が対応付けを行ってもよい。この場合、データベース２５０は、フロントエンドサーバ２３０から、時刻情報を有する前景画像及び背景画像を取得する。そして、データベース２５０は、前景画像と背景画像とを前景画像の時刻情報及び背景画像の時刻情報に基づいて対応付けて、データベース２５０が備える記憶部に出力してもよい。
【００５９】
図４は、本実施形態のバックエンドサーバ２７０の機能ブロックを示した図である。
図４に示すように、バックエンドサーバ２７０は、データ受信部３００１、前景の処理のための、前景テクスチャ決定部３００３、テクスチャ境界色合わせ部３００４、仮想視点前景画像生成部３００５を有する。また、バックエンドサーバ２７０は、背景テクスチャ貼り付け部３００２、レンダリングモード管理部３０１４、レンダリング部３００６を有する。さらに、バックエンドサーバ２７０は、仮想視点音声生成部３００７、合成部３００８、画像出力部３００９を有する。また、バックエンドサーバ２７０は、前景のデータの読出しのために、前景オブジェクト決定部３０１０、要求リスト生成部３０１１、要求データ出力部３０１２を有する。加えて、バックエンドサーバ２７０は、前景画像カメラ露出情報取得部３０１５、背景画像カメラ露出情報取得部３０１６、カメラ露出情報比較部３０１７、背景画像取得判定部３０１８、背景画像要求部３０１９を有する。
【００６０】
データ受信部３００１は、データベース２５０及びコントローラ３００から送信されるデータを受信する。また、データ受信部３００１は、データベース２５０から、スタジアム形状データ、前景画像、背景画像、前景画像の三次元モデル（以降、前景三次元モデルと称する）、及び音声を受信する。さらに、データ受信部３００１は、受信した前景画像及び背景画像に関連づけられたカメラ露出情報をもデータベース２５０から受信する。
【００６１】
また、データ受信部３００１は、コントローラ３００から、仮想視点画像の生成に係る視点を指定する仮想カメラパラメータを受信する。仮想カメラパラメータは、仮想視点の位置や姿勢等を表すデータであり、例えば外部パラメータの行列と内部パラメータの行列が用いられる。なお、データ受信部３００１がコントローラ３００から取得するデータは、仮想カメラパラメータに限らない。コントローラ３００から出力される情報は、視点の指定方法、コントローラ３００が動作させているアプリケーションを特定する情報、コントローラ３００の識別情報、コントローラ３００を使用するユーザの識別情報の、少なくとも何れかを含んでいてもよい。また、データ受信部３００１は、コントローラ３００から出力される上記の情報と同様の情報を、エンドユーザ端末１９０から取得してもよい。さらに、データ受信部３００１は、データベース２５０やコントローラ３００等の装置から、複数のカメラ１１２に関する情報を取得してもよい。複数のカメラ１１２に関する情報は、例えば、複数のカメラ１１２の数に関する情報や複数のカメラ１１２の動作状態に関する情報等である。カメラ１１２の動作状態には、例えば、カメラ１１２の正常状態、故障状態、待機状態、起動状態、及び再起動状態の少なくとも何れかが含まれる。
【００６２】
背景テクスチャ貼り付け部３００２は、背景メッシュモデル管理部３０１３から背景メッシュモデル（スタジアム形状データ）を取得する。背景テクスチャ貼り付け部３００２は、背景メッシュモデルで示される三次元空間形状に対して、データベース２５０から取得した背景画像をテクスチャとして貼り付けることでテクスチャ付き背景メッシュモデルを生成する。メッシュモデルとは、例えばＣＡＤデータ等の三次元の空間形状を面の集合で表現したデータのことである。テクスチャとは、物体の表面の質感を表現するために貼り付ける画像のことである。ただし、データ受信部３００１がデータベース２５０より受信するデータの中に、背景メッシュモデル及び背景画像が存在しない場合がある。この場合、背景テクスチャ貼り付け部３００２は、直前にデータベース２５０より受信した背景メッシュモデル及び背景画像を用いてテクスチャ付き背景メッシュモデルを生成する。
【００６３】
前景テクスチャ決定部３００３は、前景画像及び前景三次元モデル群より前景三次元モデルのテクスチャ情報を決定する。
前景テクスチャ境界色合わせ部３００４は、各前景三次元モデルのテクスチャ情報と各三次元モデル群からテクスチャの境界の色合わせを行い、前景オブジェクト毎に色付き前景三次元モデル群を生成する。
仮想視点前景画像生成部３００５は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。
【００６４】
レンダリング部３００６は、レンダリングモード管理部３０１４で決定された、仮想視点画像の生成に用いられる方式に基づいて、背景画像と前景画像をレンダリングして全景の仮想視点画像を生成する。なお、仮想視点画像の生成方式の一例としては、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）やイメージベース（Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＩＢＲ）がある。
【００６５】
レンダリングモード管理部３０１４は、複数のレンダリングモードの中から使用するレンダリングモードを決定する。この決定は、データ受信部３００１が取得した情報に基づいて行われる。本実施形態では、複数のレンダリングモードを要求に応じて切り替え可能な構成にすることで、柔軟にシステムを構成することが可能になり、本実施形態の画像処理システム１００をスタジアム以外の被写体にも適用可能となる。なお、レンダリングモード管理部３０１４が保持するレンダリングモードは、システムに予め設定された方式であってもよい。
【００６６】
仮想視点音声生成部３００７は、仮想カメラパラメータに基づいて、仮想視点において聞こえる音声（音声群）を生成する。
合成部３００８は、レンダリング部３００６で生成された画像群と仮想視点音声生成部３００７で生成された音声とを合成して仮想視点コンテンツを生成する。なお、バックエンドサーバ２７０は、レンダリング部３００６で生成された、音声を含まない仮想視点画像を出力してもよい。
画像出力部３００９は、合成部３００８にて生成された仮想視点コンテンツを、ネットワークを介してコントローラ３００とエンドユーザ端末１９０へ出力する。ただし、外部への伝送には、Ｅｔｈｅｒｎｅｔ（登録商標）等のネットワークに限定されるものではなく、ＳＤＩ、ＤｉｓｐｌａｙＰｏｒｔ、ＨＤＭＩ（登録商標）等の信号伝送路が用いられてもよい。
【００６７】
前景オブジェクト決定部３０１０は、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの空間上の位置を示す前景オブジェクトの位置情報から、表示される前景オブジェクト群を決定して、前景オブジェクトリストを出力する。つまり、前景オブジェクト決定部３０１０は、仮想視点の画像情報を物理的なカメラ１１２にマッピングする処理を実施する。この仮想視点は、レンダリングモード管理部３０１４で決定されるレンダリングモードに応じてマッピング結果が異なる。そのため、前景オブジェクト決定部３０１０は、複数の前景オブジェクトを決定する制御部を備えており、その制御部がレンダリングモードと連動して制御を行うようになされている。
【００６８】
要求リスト生成部３０１１は、指定時間の前景オブジェクトリストに対応する前景画像群と前景三次元モデル群、及び背景画像と音声データを、データベース２５０に要求するための、要求リストを生成する。前景オブジェクトについては仮想視点を考慮して選択されたデータがデータベース２５０に要求されるが、背景画像と音声データについてはそのフレームに関する全てのデータが要求される。バックエンドサーバ２７０の起動後、背景メッシュモデルが取得されるまで背景メッシュモデルの要求リストが生成される。また、要求リストには、要求する前景画像群及び背景画像に関連付けられたカメラ露出情報も含まれる。
【００６９】
要求データ出力部３０１２は、入力された要求リストを基に、データベース２５０に対してデータ要求のコマンドを出力する。
背景メッシュモデル管理部３０１３は、データベース２５０から受信した背景メッシュモデルを記憶する。
前景画像カメラ露出情報取得部３０１５は、データベース２５０から取得する前景画像群に関連付けられたカメラ露出情報を全て取得する。
背景画像カメラ露出情報取得部３０１６は、データベース２５０から取得した背景画像に関連付けられたカメラ露出情報を取得する。
【００７０】
カメラ露出情報比較部３０１７は、前景画像カメラ露出情報取得部３０１５が取得した全てのカメラ露出情報と、背景画像カメラ露出情報取得部３０１６が取得したカメラ露出情報とを比較する。本実施形態の場合、カメラ露出情報比較部３０１７は、背景画像のカメラ露出情報が、前景画像群のカメラ露出情報と一致しているかの観点で比較を行う。カメラ露出情報比較部３０１７は、先ず、取得した前景画像群のカメラ露出情報について、各前景画像のカメラ露出情報のＥＶ値が同一値であるかを確認する。次に、カメラ露出情報比較部３０１７は、前景画像群のカメラ露出情報のうち異なる数値が複数存在する場合には、露出情報ごとの数が最も多いカメラ露出情報のＥＶ値を、前景画像のカメラ露出情報とする。そして、カメラ露出情報比較部３０１７は、前記前景画像のカメラ露出情報のＥＶ値と、背景画像カメラ露出情報取得部３０１６が取得した背景画像のカメラ露出情報のＥＶ値との差分を算出し、差分値を背景画像取得判定部３０１８に出力する。なお、本実施形態では、前景画像と背景画像のＥＶ値の差分を比較結果としたが、一致または不一致を示すフラグであってもよい。
【００７１】
背景画像取得判定部３０１８は、カメラ露出情報比較部３０１７による比較結果に応じて背景画像の再取得の指示を生成して出力する。例えば比較結果が前景画像と背景画像のカメラ露出情報の一致を示す場合、背景画像取得判定部３０１８は、背景テクスチャ貼り付け部３００２に対し、生成したテクスチャ付き背景メッシュモデルをレンダリング部３００６に出力するよう指示する。一方、例えば、比較結果が前景画像と背景画像のカメラ露出情報の不一致を示す場合、背景画像取得判定部３０１８は、背景画像要求部３０１９に対して、背景画像の再取得を指示する。その際、背景画像取得判定部３０１８は、カメラ露出情報比較部３０１７より前景画像のカメラ露出情報も取得し、背景画像要求部３０１９に出力する。
【００７２】
背景画像要求部３０１９は、背景画像取得判定部３０１８からの指示に応じて、前景画像のカメラ露出情報と一致したカメラ露出情報を持つ背景画像を要求するコマンドを、データベース２５０に出力する。本実施形態の場合、データベース２５０に要求する背景画像は、仮想視点画像の生成に使用可能な背景画像の中で、前景画像のカメラ露出情報と一致したカメラ露出情報を持つ背景画像である。具体的には、データベース２５０に要求する背景画像は、データ受信部３００１が直前に取得した背景画像における撮影時刻より後の時刻であって、且つ最も近い撮影時刻の背景画像とする。この結果、前景画像のカメラ露出情報と同一のカメラ露出情報を持つ背景画像データが、背景テクスチャ貼り付け０３００２に入力されることになる。
【００７３】
なお、本実施形態では、バックエンドサーバ２７０が仮想視点画像の生成方式の決定と仮想視点画像の生成の両方を行う場合を中心に説明するが、これには限らない。すなわち、生成方式を決定した装置はその決定結果に応じたデータを出力すればよい。例えば、フロントエンドサーバ２３０が、複数のカメラ１１２に関する情報や仮想視点画像の生成に係る視点を指定する装置から出力される情報等に基づいて、仮想視点画像の生成に用いられる生成方式を決定してもよい。そして、フロントエンドサーバ２３０は、カメラ１１２による撮影に基づく画像データと決定された生成方式を示す情報とを、データベース２５０等の記憶装置とバックエンドサーバ２７０等の画像生成装置の少なくとも何れかに出力してもよい。この場合、例えばフロントエンドサーバ２３０が出力した生成方式を示す情報に基づいて、バックエンドサーバ２７０が仮想視点画像を生成する。このようにフロントエンドサーバ２３０が生成方式を決定することで、決定された方式とは別の方式での画像生成のためのデータを、データベース２５０やバックエンドサーバ２７０が処理することによる処理負荷を低減できる。一方、本実施形態のように、バックエンドサーバ２７０が生成方式を決定する場合、データベース２５０は、複数の生成方式に対応可能なデータを保持するため、複数の生成方式それぞれに対応する複数の仮想視点画像の生成が可能となる。
【００７４】
次に、本実施形態における仮想視点画像生成方法について、図５を用いて説明する。
図５は、オペレータ（ユーザ）により仮想カメラ操作ＵＩ３３０の操作が行われてから、仮想視点画像が生成されてエンドユーザ端末１９０に表示されるまでの、仮想カメラ操作ＵＩ３３０、バックエンドサーバ２７０及びデータベース２５０の処理フローである。
【００７５】
先ず、図５のＳ３３００において、仮想カメラ操作ＵＩ３３０は、オペレータ（ユーザ）から仮想カメラを操作するための入力を取得する。仮想カメラ操作ＵＩ３３０への入力装置としては、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウス等が用いられるとする。ここでは、オペレータによる仮想カメラの操作として、例えば仮想カメラの位置や姿勢、ズーム倍率等の操作指示が入力されたとする。オペレータから仮想カメラの操作指示が入力されると、仮想カメラ操作ＵＩ３３０は、Ｓ３３０１において、その操作指示に応じた仮想カメラパラメータを導出（算出）する。この場合の仮想カメラパラメータには、仮想カメラの位置と姿勢等を示す外部パラメータ、及び仮想カメラのズーム倍率等を示す内部パラメータが含まれる。そして、仮想カメラ操作ＵＩ３３０は、Ｓ３３０２において、導出した仮想カメラパラメータを、バックエンドサーバ２７０に送信する。
【００７６】
バックエンドサーバ２７０は、仮想カメラパラメータを受信すると、Ｓ３３０３において、データベース２５０に対して前景三次元モデル群を要求する。データベース２５０は、Ｓ３３０４において、バックエンドサーバ２７０からの要求に応じて前景オブジェクトの位置情報を含む前景三次元モデル群をバックエンドサーバ２７０に送信する。これにより、バックエンドサーバ２７０は、Ｓ３３０５において、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの位置情報に基づいて、仮想カメラの視野に入る前景オブジェクト群を幾何学的に導出（算出）する。そして、バックエンドサーバ２７０は、Ｓ３３０６において、前景オブジェクト群を要求するリクエストを、データベース２５０に送信する。
【００７７】
データベース２５０は、バックエンドサーバ２７０からリクエストを受信すると、Ｓ３３０７において、そのリクエストに応じたデータを読み出してバックエンドサーバ２７０に送信する。バックエンドサーバ２７０は、データベース２５０からデータを受信すると、Ｓ３３０８において、前景オブジェクト群の前景画像に関連付けられた全てのカメラ露出情報から前景画像のカメラ露出情報のＥＶ値を算出する。さらに、バックエンドサーバ２７０は、その算出したＥＶ値と、受信した背景画像のカメラ露出情報ＥＶ値とが一致しているか否かの比較を行う。なお、バックエンドサーバ２７０は、仮想視点画像の生成に用いる複数の前景画像の平均ＥＶ値を前景画像のカメラ露出情報ＥＶ値とし、仮想視点画像の生成に用いる複数の背景画像の平均ＥＶ値を背景画像のカメラ露出情報ＥＶ値としてもよい。なお、バックエンドサーバ２７０は、前景画像のカメラ露出情報のＥＶ値と、背景画像のカメラ露出情報ＥＶ値との差が所定の閾値より小さいか否かを判定するようにしてもよい。そして、バックエンドサーバ２７０は、前景画像と背景画像のカメラ露出情報（ＥＶ値）が不一致の場合、Ｓ３３０９において、前景画像と同じカメラ露出情報が関連付けられた背景画像の送信を、データベース２５０にリクエストする。なお、バックエンドサーバ２７０は、仮想視点画像の生成に用いる複数の前景画像を取得し、取得した前景画像に基づいて定めたＥＶ値を有する背景画像をデータベース２５０にリクエストするようにしてもよい。
【００７８】
データベース２５０は、バックエンドサーバ２７０からのリクエストを受信すると、Ｓ３３１０において、そのリクエストに応じて、前景画像と同じカメラ露出情報が関連付けられた背景画像のデータを読み出して、バックエンドサーバ２７０に送信する。バックエンドサーバ２７０は、Ｓ３３１１において、データベース２５０から受信した前景画像、前景三次元モデル及び背景画像を基に仮想視点の前景画像及び背景画像を生成し、それらを合成して仮想視点の全景画像を生成する。また、バックエンドサーバ２７０は、Ｓ３３１１において、音声データ群に基づいて仮想カメラの位置に応じた音声データの合成を行い、仮想視点の全景画像と統合して仮想視点の画像及び音声を生成する。そして、バックエンドサーバ２７０は、その生成した仮想視点の画像及び音声を、Ｓ３３１２において、仮想カメラ操作ＵＩ３３０に送信する。仮想カメラ操作ＵＩ３３０は、受信した画像を例えばエンドユーザ端末１９０に表示等させることで、仮想カメラの撮影画像の表示等を実現する。
【００７９】
以上、前景画像と背景画像とを異なるフレームレートで出力する第１の実施形態の画像処理システム１００において、撮影時の撮影パラメータ変更等によって前景画像と背景画像とでカメラ露出情報が異なった際の仮想視点画像の生成方法について説明した。
本実施形態の画像処理システム１００においては、仮想視点画像生成に使用される前景画像と背景画像のカメラ露出情報を一致させることができる。これにより、本実施形態の画像処理システム１００によれば、複数のカメラ１１２にて撮像された画像データを基に仮想視点画像を生成する場合に、カメラ露出情報の一致する前景画像と背景画像を用いて仮想視点画像を生成できる。すなわち、本実施形態によれば、輝度が不連続になるような不自然さのない自然な仮想視点画像の生成が可能となる。なお、バックエンドサーバ２７０は、前景画像と背景画像とでカメラ露出情報が異なる場合、背景画像を優先し、背景画像が撮影された際の露出で撮影された前景画像を仮想視点画像の生成に用いる構成としてもよい。
【００８０】
＜第２の実施形態＞
以下、第２の実施形態として、撮影時の撮影パラメータ変更等によって仮想視点画像の生成に用いる前景画像と背景画像の露出情報が異なった場合に、背景画像の画質を前景画像に適するように調整して、仮想視点画像を生成する方法について説明する。
【００８１】
第２の実施形態における画像処理システム１００の概略構成は前述した第１の実施形態と同様である。センサシステム１１０、スイッチングハブ１８０、エンドユーザ端末１９０、フロントエンドサーバ２３０、データベース２５０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０は前述同様であるためその説明は省略する。
【００８２】
図６は、第２の実施形態におけるバックエンドサーバ２７０の機能ブロックを示した図である。第２の実施形態のバックエンドサーバ２７０は、図４に示したバックエンドサーバ２７０のカメラ露出情報比較部３０１７、背景画像取得判定部３０１８、及び背景画像要求部３０１９を備えず、一方、背景画像画質補正部３０２０を備えている。なお、図６のデータ受信部３００１〜背景画像カメラ露出情報取得部３０１６は、概ね図４に示したデータ受信部３００１〜背景画像カメラ露出情報取得部３０１６と同様の構成であるためそれらの説明は省略する。
【００８３】
背景画像画質補正部３０２０は、前景画像及び背景画像のカメラ露出情報に基づき、背景画像の画質を補正する。このため、背景画像画質補正部３０２０は、先ず、前景画像カメラ露出情報取得部３０１５が取得した全てのカメラ露出情報と、背景画像カメラ露出情報取得部３０１６が取得したカメラ露出情報とを取得する。なお、第２の実施形態においても第１の実施形態と同様に、前景画像群のカメラ露出情報のうち異なる数値が存在する場合、それら複数ある前景画像のカメラ露出情報のうち最も多数のカメラ露出情報のＥＶ値が、前景画像のカメラ露出情報となされる。そして、背景画像画質補正部３０２０は、データベース２５０からデータ受信部３００１を介して供給される背景画像の画質を、それら前景画像及び背景画像のカメラ露出情報を基に補正する。具体的には、前景画像のカメラ露出情報をＥＶｆ、背景画像のカメラ露出情報をＥＶｂ、背景画像データをＢＰとして表した場合、背景画像画質補正部３０２０は、下記式（２）演算により、補正後の背景画像データＢＰｃを算出する。
ＢＰｃ＝ＢＰ＊２(EVf-EVb)        式（２）
【００８４】
第２の実施形態の場合、背景画像画質補正部３０２０により画質補正がなされた後の背景画像（ＢＰｃ）は、背景テクスチャ貼り付け部３００２に出力される。第２の実施形態の場合、背景テクスチャ貼り付け部３００２は、画質補正後の背景画像を三次元空間形状に貼り付けて、テクスチャ付き背景メッシュモデルを生成する。
【００８５】
第２の実施形態のバックエンドサーバ２７０は、前景画像のカメラ露出情報と背景画像のカメラ露出情報が異なる場合、前景画像のカメラ露出情報に基づいて背景画像の画質補正を行うことで、不自然さのない仮想視点画像を得ることができる。また、バックエンドサーバ２７０は、前景画像のカメラ露出情報に基づいて背景画像の画像処理を行うことで前景画像の明るさや色味と背景画像の明るさや色味とを対応させることができる。したがって、このような前景画像および背景画像を用いて仮想視点画像を生成するので不自然さのない仮想視点画像を得ることができる。
【００８６】
なお、第２の実施形態の場合、背景画像画質補正部３０２０による背景画像の補正処理は、バックエンドサーバ２７０が前景画像及び背景画像をデータベース２５０より取得する度に実行されるが、この例に限定されるものではない。例えば、背景画像画質補正部３０２０は、前景画像のカメラ露出情報と背景画像のカメラ露出情報とを比較し、これら二つのカメラ露出情報が不一致である場合にのみ背景画像データの補正を行うようにしてもよい。
【００８７】
また、本実施形態のバックエンドサーバ２７０は、前景画像群のカメラ露出情報のうち異なる数値が存在する場合、最も多数のカメラ露出情報のＥＶ値を前景画像のカメラ露出情報とし、それ以外のＥＶ値を持つ前景画像を背景画像と同様に補正してもよい。これにより、カメラ間でも露出が異なる場合、前景画像と背景画像の輝度の不一致を簡単に調整することができる。なお、バックエンドサーバ２７０は、前景画像と背景画像とでカメラ露出情報が異なる場合、前景画像を背景画像に対応させるために画像処理し、前景画像の色調や明るさを補正する構成としてもよい。
【００８８】
＜第３の実施形態＞
前述した実施形態では、前景画像のカメラ露出情報と背景画像のカメラ露出情報が一致しなくなった時点で、適切な背景画像を再取得（第１の実施形態）、または背景画像の画質補正（第２の実施形態）を行い、前景画像と背景画像の輝度の不一致を解消している。しかしながら、例えば前景画像のカメラ露出情報が或る時刻を挟んだ前後で急激に変更された場合、生成された仮想視点画像は、時間方向で輝度が不連続になった不自然な映像になってしまう虞がある。
【００８９】
そこで、第３の実施形態では、前景画像のカメラ露出情報が或る時刻を挟んで急激に変更された場合でも、時間方向で輝度が不連続になることなのない自然な仮想視点画像を生成可能にする処理について説明する。
第３の実施形態における画像処理システム１００の概略構成は前述した第１の実施形態と同様である。センサシステム１１０、スイッチングハブ１８０、エンドユーザ端末１９０、フロントエンドサーバ２３０、データベース２５０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０は前述同様であるためその説明は省略する。
【００９０】
図７は、第３の実施形態におけるバックエンドサーバ２７０の機能ブロックを示した図である。第３の実施形態のバックエンドサーバ２７０は、図４のバックエンドサーバ２７０のカメラ露出情報比較部３０１７、背景画像取得判定部３０１８、背景画像要求部３０１９を備えず、一方、背景画像画質補正部３０２０と時刻情報要求部３０２１を有する。なお、図７のデータ受信部３００１〜背景画像カメラ露出情報取得部３０１６は、概ね図４に示したデータ受信部３００１〜背景画像カメラ露出情報取得部３０１６と同様の構成であるためそれらの説明は省略する。
【００９１】
時刻情報要求部３０２１は、バックエンドサーバ２７０が取得した前景画像及び背景画像の時刻情報、さらに、前景画像のカメラ露出情報と同じ値が関連付けられた背景画像の時刻情報をデータベース２５０に要求する。
【００９２】
背景画像画質補正部３０２０は、前景画像及び背景画像のカメラ露出情報と、データベース２５０から取得した時刻情報とを用いて、仮想視点画像を生成したいフレームの時刻に適した背景画像のカメラ露出情報を算出し、背景画像の画質補正を行う。
【００９３】
以下、第３の実施形態における背景画像の画質補正処理について、図８を用いて詳細に説明する。
図８において、仮想視点画像を生成したいフレームの時刻をｔｘ、背景画像がデータベース２５０に存在する時刻をｔ１、ｔ２（ｔ１＜ｔ２）とする。また、露出変更は時刻ｔｘの直前で行われており、露出変更以前のカメラ露出情報はＥＶα、露出変更後のカメラ露出情報はＥＶβとする。
【００９４】
先ず、前景画像カメラ露出情報取得部３０１５は前景画像のカメラ露出情報を取得し、背景画像カメラ露出情報取得部３０１６は背景画像のカメラ露出情報を取得する。ここで、時刻ｔｘ時点ではその直前に露出変更が行われているため、前景画像カメラ露出情報取得部３０１５が取得している前景画像のカメラ露出情報はＥＶβとなる。一方、背景画像には対応するデータが存在しないため、背景画像カメラ露出情報取得部３０１６が取得する背景画像のカメラ露出情報は、バックエンドサーバ２７０が直前に取得した背景画像のカメラ露出情報であるＥＶαとなる。
【００９５】
次に、時刻情報要求部３０２１は、バックエンドサーバ２７０が直前に取得した背景画像の時刻情報、及び、前景画像のカメラ露出情報ＥＶβと同じ値をもつ背景画像が存在する時刻情報を、データベース２５０に要求する。
【００９６】
データベース２５０は、時刻情報要求部３０２１の要求に応じて所定の時刻情報をバックエンドサーバ２７０に出力する。なお、バックエンドサーバ２７０が直前に取得した背景画像の時刻情報はｔ１、前景画像のカメラ露出情報ＥＶβと同じ値をもつ背景画像が存在する時刻情報はｔ２である。
【００９７】
バックエンドサーバ２７０が時刻情報をデータベース２５０より取得すると、背景画像画質補正部３０２０は、前景画像カメラ露出情報取得部３０１５と背景画像カメラ露出情報取得部３０１６とから、それぞれカメラ露出情報を取得する。第３の実施形態においても第１、第２の実施形態と同様に、前景画像群のカメラ露出情報のうち異なる数値が存在する場合には、最も多数のカメラ露出情報のＥＶ値が前景画像のカメラ露出情報となされる。
【００９８】
第３の実施形態の場合、背景画像画質補正部３０２０は、下記式（３）の演算により、仮想視点画像を生成するフレーム時刻ｔｘのカメラ露出情報ＥＶｘを算出する。
ＥＶｘ＝ＥＶβ＊（ｔｘ−ｔ１）／（ｔ２−ｔ１）＋ＥＶα＊（ｔ２−ｔｘ）／（ｔ２−ｔ１）        式（３）
【００９９】
さらに、背景画像画質補正部３０２０は、下記式（４）の演算を行い、背景画像データの補正を行う。なお、式（４）のＢＰは補正前の背景画像データ、ＢＰｃは補正後の背景画像データを表している。
ＢＰｃ＝ＢＰ＊２(EVx-EVα)        式（４）
【０１００】
そして、背景画像画質補正部３０２０は、画質補正した背景画像を背景テクスチャ貼り付け部３００２に出力する。背景テクスチャ貼り付け部３００２は、画質補正後の背景画像を三次元空間形状に貼り付けて、テクスチャ付き背景メッシュモデルを生成する。
【０１０１】
以上説明したように、第３の実施形態のバックエンドサーバ２７０は、前景画像のカメラ露出情報と背景画像のカメラ露出情報が異なる場合、前景画像及び背景画像のカメラ露出情報と時刻情報に基づいて、背景画像の画質補正を行う。これにより、第３の実施形態によれば、時間方向においても輝度が不連続になることのない自然な仮想視点画像を生成することができる。
【０１０２】
＜第４の実施形態＞
前述の実施形態では、仮想視点画像生成時に前景画像と背景画像のカメラ露出情報が不一致の場合に、適切な背景画像を再取得（第１の実施形態）、または背景画像の画質補正（第２、第３の実施形態）行って前景画像と背景画像の輝度の不一致を解消している。
第４の実施形態では、データベース２５０に撮影データを格納する前に、前景画像と背景画像のカメラ露出情報の不一致を検出して、輝度の不一致を解消した背景画像を生成する処理について説明する。
第４の実施形態における画像処理システム１００の概略構成は前述した第１の実施形態と同様である。センサシステム１１０、スイッチングハブ１８０、エンドユーザ端末１９０、データベース２５０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０は前述同様であるためその説明は省略する。
【０１０３】
図９は、第４の実施形態におけるフロントエンドサーバ２３０の機能ブロックを示した図である。第４の実施形態のフロントエンドサーバ２３０は、図３に示したフロントエンドサーバ２３０にカメラ露出情報比較部２２００が加えられた構成となされている。なお、図９のデータ入力制御部２１２０〜ＤＢアクセス制御部２１９０は、概ね図３に示したデータ入力制御部２１２０〜ＤＢアクセス制御部２１９０と同様の構成であるためそれらの説明は省略する。
【０１０４】
フロントエンドサーバ２３０のデータ同期部２１３０は、第１の実施形態と同様に、同一時刻の撮影データを揃うまでデータをバッファする。データ同期部２１３０は、撮影データが揃うと、前景画像及び背景画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。また、データ同期部２１３０は、カメラ露出情報をカメラ露出情報比較部２２００に出力する。
【０１０５】
カメラ露出情報比較部２２００は、データ同期部２１３０から、全てのセンサシステム１１０の前景画像及び背景画像のカメラ露出情報を取得する。先ず、カメラ露出情報比較部２２００は、複数ある前景画像のカメラ露出情報のうち異なる数値が存在する場合には、最も多数のカメラ露出情報のＥＶ値を前景画像のカメラ露出情報とする。次に、カメラ露出情報比較部２２００は、全ての背景画像のカメラ露出情報について、前景画像のカメラ露出情報との比較を行う。第４の実施形態において、カメラ露出情報比較部２２００は、前景画像のカメラ露出情報のＥＶ値と、各センサシステム１１０の背景画像のＥＶ値との差分を算出し、それら差分値をカメラ識別子と一緒に画像処理部２１５０へ出力する。
【０１０６】
第４の実施形態における画像処理部２１５０は、第１の実施形態と同様に、前景画像及び背景画像のＲＡＷ画像データが入力される場合にはその現像処理、及び、カメラのレンズ歪みの補正等の処理を行う。そして、画像処理部２１５０は、カメラ露出情報比較部２２００から入力されたＥＶ値の差分値及びカメラ識別子を基に、前景画像のカメラ露出情報の値とは異なる値をもつ背景画像の画質を補正する。背景画像の画質の補正の際には、第２の実施形態の式（２）、又は第３の実施形態の式（３）、式（４）等を用いた補正処理を行う。そして、画像処理部２１５０は、画像処理後の前景画像を撮影データファイル生成部２１８０に、また、画像処理後の背景画像を画像結合部２１７０にそれぞれ出力する。
【０１０７】
画像結合部２１７０は、画像処理部２１５０から背景画像を取得し、ＣＡＤデータ記憶部２１３５からスタジアムの三次元形状データ（スタジアム形状データ）を取得して、取得したスタジアム形状データの座標に対する背景画像の位置を特定する。そして、画像結合部２１７０は、背景画像の各々についてスタジアム形状データの座標に対する位置が特定できると、背景画像を結合して一つの背景画像とする。
【０１０８】
図１０は、第４の実施形態におけるバックエンドサーバ２７０の機能ブロックを示した図である。第４の実施形態のバックエンドサーバ２７０は、図４の前景画像カメラ露出情報取得部３０１５、背景画像カメラ露出情報取得部３０１６、カメラ露出情報比較部３０１７、背景画像取得判定部３０１８、背景画像要求部３０１９を除いた構成となされている。なお、図１０のデータ受信部３００１〜レンダリングモード管理部３０１４は、概ね図４に示したデータ受信部３００１〜レンダリングモード管理部３０１４と同様の構成であるためそれらの説明は省略する。
【０１０９】
第４の実施形態におけるバックエンドサーバ２７０は、前景画像及び背景画像のカメラ露出情報を取得してカメラ露出情報の比較処理を行う必要がない。したがって、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０を介して指定された視点を基に、データベース２５０から対応する前景画像及び背景画像と音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。
【０１１０】
すなわち、第４の実施形態の画像処理システム１００は、前景画像のカメラ露出情報と背景画像のカメラ露出情報が異なる場合、フロントエンドサーバ２３０にて背景画像の画質補正を行うことで、輝度が不連続になることにない自然な仮想視点画像を生成できる。
【０１１１】
＜第５の実施形態＞
第５の実施形態では、センサシステム１１０にて背景画像の伝送タイミングを変更することで、前景画像と背景画像のカメラ露出情報の不一致解消する処理について説明する。
第５の実施形態における画像処理システム１００の概略構成は前述した第１の実施形態と同様である。センサシステム１１０、スイッチングハブ１８０、エンドユーザ端末１９０、フロントエンドサーバ２３０、データベース２５０、タイムサーバ２９０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０は前述同様であるためその説明は省略する。また、第５の実施形態のバックエンドサーバ２７０は、前述した第４の実施形態と同様の機能を備えるため、その説明も省略する。
【０１１２】
以下、図２を参照して、第５の実施形態において、センサシステム１１０内のカメラアダプタ１２０で実施される、背景画像の伝送タイミング変更処理について説明する。
第５の実施形態のカメラアダプタ１２０のカメラ制御部６１４１は、カメラ１１２と接続され、撮影パラメータ（画素数、色深度、フレームレート、ホワイトバランスの設定等）の変更指示に応じてカメラ制御を行う。同時に、カメラ制御部６１４１は、撮影パラメータを変更したことをデータ送受信部６１１１に通知する。
【０１１３】
データ送受信部６１１１は、前述の第１の実施形態と同様に、前景背景分離部６１３１がカメラ１１２の撮影画像から分離した前景画像及び背景画像を、別のカメラアダプタ１２０に対して出力する。この時、データ送受信部６１１１は、カメラ１１２の撮影画像から分離した背景画像の一部フレームを間引きし、前景画像より低フレームレートで背景画像を出力する。ただし、データ送受信部６１１１は、カメラ制御部６１４１より撮影パラメータ変更の通知を受信すると、撮影パラメータ変更直後の背景画像の間引き処理をキャンセルし、その背景画像を別のカメラアダプタ１２０に対して出力する。
【０１１４】
以上説明したように、第５の本実施形態の画像処理システム１００では、撮影パラメータ変更直後の前景画像と背景画像が共にデータベース２５０に格納されることになり、バックエンドサーバ２７０では輝度が不連続になることのない仮想視点画像を生成できる。
【０１１５】
＜第６の実施形態＞
第５の実施形態では、センサシステム１１０にて背景画像の伝送タイミングを変更することで、前景画像と背景画像のカメラ露出情報の不一致解消する処理を例に挙げた。第６の実施形態では、カメラアダプタ１２０の外部より撮影パラメータ変更指示が入力された際、カメラ１１２に撮影パラメータを設定するタイミングを制御することで前景画像と背景画像のカメラ露出情報の不一致を解消する処理について説明する。なお、第６の実施形態の画像処理システム１００の構成は、第５の実施形態の場合と同様である。
【０１１６】
第６の実施形態の場合、先ず、カメラ制御部６１４１は、データ送受信部６１１１で実施される背景画像の間引きタイミングを取得しておく。そして、カメラ制御部６１４１は、撮影パラメータ変更指示が入力されても、前景画像及び背景画像の両方が別のカメラアダプタ１２０に出力されることが確定している撮影画像から、変更後の撮影パラメータが適用されるようにカメラ１１２を制御する。
【０１１７】
第６の実施形態によれば、撮影パラメータ変更直後の前景画像と背景画像が共にデータベース２５０に格納されることになり、バックエンドサーバ２７０では輝度が不連続になることのない仮想視点画像を生成できる。
【０１１８】
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１１９】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１２０】
１００：画像処理システム、１１０：センサシステム、１１２：カメラ、１２０：カメラアダプタ、１８０：スイッチングハブ、２００：画像コンピューティングサーバ、２３０：フロントエンドサーバ、２５０：データベース、２７０：バックエンドサーバ、２９０：タイムサーバ、３００：コントローラ、３１０：制御ステーション、３３０：仮想カメラ操作ＵＩ、１９０：エンドユーザ端末
【図１】
2019003325.tif 000003
【図２】
2019003325.tif 000004
【図３】
2019003325.tif 000005
【図４】
2019003325.tif 000006
【図５】
2019003325.tif 000007
【図６】
2019003325.tif 000008
【図７】
2019003325.tif 000009
【図８】
2019003325.tif 000010
【図９】
2019003325.tif 000011
【図１０】
2019003325.tif 000012