(57)【要約】      （修正有）【課題】仮想視点からの高品質で広域な画像を生成できるようにする画像処理システムを提供する。【解決手段】画像処理システム１００において、注視点毎にセンサ群２００、２０１、２０２は、複数のカメラ１１２と雲台１１３を有する。制御ステーション１３１０は、撮影の合間に雲台１１３を制御し、注視点を移動させる。サーバフロントエンド１３３０、１３３１、１３３２は、それぞれ１つのセンサ群の画像データと注視点の位置情報を取得し、オブジェクトを切り出して、３次元モデルと前景画像を生成する。バックエンドサーバ３００は、３つの３次元モデルと前景画像から、仮想カメラ操作ＵＩ３３０による仮想視点の指定に基づいて、仮想視点画像を生成する。【選択図】図１３
2019103126.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影装置と、
前記複数の撮影装置の設定を所定の条件に従って変更する制御手段と、
を有することを特徴とするカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステム、カメラ制御装置、カメラ制御方法及びプログラムに関する。
【背景技術】
【０００２】
複数のカメラ（撮像装置）を異なる位置に設置して多視点で同期撮影し、撮影により得られた複数の視点画像を用いて仮想視点画像を生成する技術が注目されている。複数の視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
【０００３】
特許文献１には、被写体を取り囲むように複数のカメラを配置して被写体を撮影し、撮影した画像を用いて任意の仮想視点画像を生成及び表示することが開示されている。特許文献１では、スタジアムの中央の点を原点として世界座標Ｘ、Ｙ、Ｚ軸を決定し、複数のカメラは、原点が画面の中央にくるようにして原点に向けて設置されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された技術では、スタジアムの中央を注視点として全体風景を生成する場合、カメラの注視点から離れた位置にいる選手を映しているカメラの台数は少なく、さらに注視点近辺に比べてピントが合っていない。その結果、例えば注視点から遠いサイドスタンドから他方のサイドスタンドを見るような全体風景を生成すると、距離が近くてくっきり見えるはずの手前の選手の解像度が低くなり輪郭がぼやけるため、３次元モデルの精度を下げてしまう。このため、手前の選手の画質が下がり、そこよりも遠い中央付近の選手の画質が高くなり、遠近感が損なわれ、臨場感が低下する。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、複数の撮像手段を有する画像処理システムにて、高品質な仮想視点からの広域な画像を生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るカメラシステムは、例えば、以下の構成を有する。すなわち、複数の撮像装置と、前記複数の撮像装置の設定を所定の条件に従って変更する制御手段とを有する。
【発明の効果】
【０００８】
本発明によれば、複数の撮像手段を有する画像処理システムにて、高品質な仮想視点からの広域な画像を生成することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態における画像処理システムの構成例を示す図である。
【図２】第１の実施形態におけるオブジェクトの撮影状況の例を示す図である。
【図３】第１の実施形態における注視点の座標系を説明する図である。
【図４】第１の実施形態における３次元モデルデータの構成例を示す図である。
【図５】第１の実施形態におけるオブジェクトの撮影状況の例を示す図である。
【図６】第１の実施形態における仮想視点画像生成部の構成例を示す図である。
【図７】第１の実施形態における仮想視点画像の生成動作の例を示すフローチャートである。
【図８】第１の実施形態における仮想視点画像の生成の流れを示すシーケンス図である。
【図９】背景画像の例を説明する図である。
【図１０】オブジェクトの画像の例を説明する図である。
【図１１】合成画像の例を説明する図である。
【図１２】第１の実施形態における仮想視点画像生成部の他の構成例を示す図である。
【図１３】第２の実施形態における画像処理システムの構成例を示す図である。
【図１４】第２の実施形態におけるオブジェクトの撮影状況の例を示す図である。
【図１５】第２の実施形態におけるオブジェクトの撮影状況の例を示す図である。
【図１６】第２の実施形態における３次元モデルデータの構成例を示す図である。
【図１７】第２の実施形態における３次元モデルデータの点群の例を示す図である。
【図１８】第２の実施形態における仮想視点画像の生成の流れを示すシーケンス図である。
【図１９】第３の実施形態における画像処理システムの構成例を示す図である。
【図２０】その他の実施形態における画像処理システムの構成例を示す図である。
【図２１】その他の実施形態における３次元モデルデータの構成例を示す図である。
【図２２】本実施形態における画像処理システムを実現可能なコンピュータ機能を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面に基づいて説明する。
【００１１】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態における画像処理システム１００の構成例を示す図である。本実施形態における画像処理システム１００は、競技場（スタジアム）やコンサートホール等の施設に複数のカメラ（撮像装置）及びマイク（集音装置）を設置して撮影及び集音を行う画像処理システムである。
【００１２】
画像処理システム１００は、注視点毎にセンサ群２００、２０１、２０２を有する。センサ群２００、２０１、２０２の各々は、複数のセンサシステムを有する。本実施形態では、センサ群２００は３０台のセンサシステム２Ｌ０１〜２Ｌ３０を有し、センサ群２０１は３０台のセンサシステム２Ｃ０１〜２Ｃ３０を有し、センサ群２０２は３０台のセンサシステム２Ｒ０１〜２Ｒ３０を有する。また、各センサシステムは、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０をそれぞれ有する。つまり、センサ群２００、２０１、２０２の各々は、被写体を複数の方向から撮影するための複数のカメラをそれぞれ有する。
【００１３】
図２に一例を示すように、センサ群２００のセンサシステム２Ｌ０１〜２Ｌ３０は、注視点２０００を注視点として各カメラ１１２の設置がされている。同様に、センサ群２０１のセンサシステム２Ｃ０１〜２Ｃ３０は、注視点２００１を注視点として各カメラ１１２の設置がされ、センサ群２０２のセンサシステム２Ｒ０１〜２Ｒ３０は、注視点２００２を注視点として各カメラ１１２が設置されている。注視点２０００に対応するセンサシステム２Ｌ０１〜２Ｌ３０のカメラ１１２は、領域２１００の範囲を撮影する。また、センサシステム２Ｃ０１〜２Ｃ３０のカメラ１１２は、領域２１０１の範囲を撮影し、センサシステム２Ｒ０１〜２Ｒ３０のカメラ１１２は、領域２１０２の範囲を撮影する。ここでは３０台のセンサシステムで１つのセンサ群を構成する例を示したが、数やその配置はこれに限定されない。
【００１４】
センサ群２００について動作を説明する。
画像処理システム１００は、ユーザからの指示等に応じた制御を行うために、制御ステーション３１０及び仮想カメラ操作ＵＩ（ユーザインターフェース）３３０を有する。制御ステーション３１０は、画像処理システム１００が有するそれぞれの機能部（ブロック）に対してネットワークを通じて動作状態の管理及びパラメータの設定・制御等を行う。３０台のセンサシステム２Ｌ０１〜２Ｌ３０により得られる画像及び音声を、センサシステム２Ｌ３０からスイッチングハブ１８０を介して、サーバフロントエンド２３０へ送信する動作について説明する。ここで、センサシステム２Ｌ０１〜２Ｌ３０は、ネットワーク１８０ａ、１７１、１８０ｂを介して、デイジーチェーンにより接続される。
【００１５】
センサシステム２Ｌ０１〜２Ｌ２９は、カメラ１１２により撮影した画像をカメラアダプタ１２０に入力し、撮影した画像にカメラを識別するためのカメラ識別子を付与してネットワーク１７１に送出する。センサシステム２Ｌ３０は、カメラ１１２により撮影した画像をカメラアダプタ１２０に入力し、撮影した画像にカメラを識別するためのカメラ識別子を付与する。そして、センサシステム２Ｌ３０は、センサ群２００の各カメラ１１２で撮影した画像をネットワーク１８０ｂに送出する。ネットワーク１８０ｂに送出された画像は、スイッチングハブ１８０及びネットワーク２１１ａを介してサーバフロントエンド２３０に入力される。
【００１６】
なお、本実施形態において、特別な説明がない場合、センサシステム２Ｌ０１からセンサシステム２Ｌ３０までの３０セットのセンサシステムを区別せずにセンサシステム２Ｌと記載する。各センサシステム２Ｌ内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０と記載する。また、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。
【００１７】
また、複数のセンサシステム２Ｌ同士がデイジーチェーンとなるようカスケード接続されている例を示したが、これに限られるものではない。例えば、各センサシステム２Ｌ０１〜２Ｌ３０がスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム２Ｌ間のデータ送受信を行うスター型のネットワーク構成としても良い。また、例えば、複数のセンサシステム２Ｌをいくつかのグループに分割して、分割したグループ単位でセンサシステム２Ｌ間をデイジーチェーン接続しても良い。また、グループ内のセンサシステム２Ｌが１つである場合、スター型の接続でももちろん構わない。
【００１８】
また、センサシステム２Ｌは、前述した構成に限定されるものではなく、例えば、カメラ１１２とカメラアダプタ１２０とが一体となって構成されていても良い。また、この場合、マイク１１１は一体化されたカメラ１１２に内蔵されていてもよいし、カメラ１１２の外部に接続されていてもよい。また、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していても良い。センサシステム２Ｌ０１〜２Ｌ３０は同じ構成に限定されるものではなく、異なる構成であっても良い。
また、本実施形態では仮想視点画像の生成に３次元モデルを構築するＭｏｄｅｌ  Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ（以下、ＭＢＲと略す）の手法を用いて説明するが、これに限定されない。
【００１９】
また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近い位置に設置されたセンサシステム２Ｌのマイク１１１により集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声はともに処理されるものとする。
【００２０】
つまり、センサシステム２Ｌ０１のマイク１１１にて集音された音声と、カメラ１１２にて撮影された画像は、カメラアダプタ１２０において画像処理が施された後、ネットワーク１７１を介してセンサシステム２Ｌ０２のカメラアダプタ１２０に伝送される。同様に、センサシステム２Ｌ０２は、集音された音声と撮影された画像をセンサシステム２Ｌ０１から取得した画像及び音声のデータと合わせて、ネットワーク１７１を介してセンサシステム２Ｌ０３に伝送する。この動作を続けることにより、センサシステム２Ｌ０１〜２Ｌ３０により取得した画像及び音声が、センサシステム２Ｌ３０からネットワーク１８０ｂ、２１１ａ及びスイッチングハブ１８０を介してサーバフロントエンド２３０へ伝送される。
【００２１】
センサ群２０１、２０２についても同様である。センサシステム２Ｃ０１〜２Ｃ３０は、ネットワーク１８０ｃ、１７２、１８０ｄを介してデイジーチェーンにより接続され、センサシステム２Ｒ０１〜２Ｒ３０は、ネットワーク１８０ｅ、１７３、１８０ｆを介してデイジーチェーンにより接続される。センサシステム２Ｃ０１〜２Ｃ３０により取得した画像及び音声は、センサシステム２Ｃ３０からネットワーク１８０ｄ、２１１ｂ及びスイッチングハブ１８０を介してサーバフロントエンド２３１へ伝送される。また、センサシステム２Ｒ０１〜２Ｒ３０により取得した画像及び音声は、センサシステム２Ｒ３０からネットワーク１８０ｆ、２１１ｃ及びスイッチングハブ１８０を介してサーバフロントエンド２３２へ伝送される。
【００２２】
図１においては、デイジーチェーンとなるようセンサ群２００、２０１、２０２内部のすべてがカスケード接続されている構成を示したが、これに限定するものではない。例えば、センサ群２００のセンサシステム２Ｌ３０とセンサ群２０１のセンサシステム２Ｃ０１とを接続し、センサ群２０１のセンサシステム２Ｃ３０とセンサ群２０２のセンサシステム２Ｒ０１とを接続してデイジーチェーンとしてもよい。
【００２３】
タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム２Ｌ０１〜２Ｌ３０、２Ｃ０１〜２Ｃ３０、２Ｒ０１〜２Ｒ３０のそれぞれに時刻及び同期信号を配信する。時刻及び同期信号を受信したセンサシステムのカメラアダプタ１２０は、カメラ１１２を時刻と同期信号をもとに外部同期（Ｇｅｎｌｏｃｋ）させ画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。
【００２４】
次に、センサ群２００のセンサシステム２Ｌ０１〜２Ｌ３０により取得した画像及び音声が伝送されるサーバフロントエンド２３０の構成及び動作について説明する。サーバフロントエンド２３０は、センサシステム２Ｌ３０から取得した画像及び音声から、セグメント化された伝送パケットを再構成してフレームデータのデータ形式を変換する。さらに、サーバフロントエンド２３０は、再構成されたフレームデータから選手等の対象（以下、「オブジェクト」とも称する）を切り出し、切り出した結果を前景画像として、全カメラからの画像から、その３次元モデルを生成する。
【００２５】
３次元モデルの生成については様々な手法があり、例えばＶｉｓｕａｌ  Ｈｕｌｌ（視体積交差法）といった方式を用いることができる。例えば、生成された３次元モデルは点群として表現される。例えば、３次元モデルにおいて存在する点の数を表し、各点について、注視点を原点とする座標系でのｘ座標、ｙ座標、ｚ座標で表すことができる。ただし、これに限定されず、注視点を原点として空間をボクセルで分割し、物体が存在するボクセルを“１”とし存在しないボクセルを“０”として２値化し、それをｘ軸、ｙ軸、ｚ軸方向にスキャンして２値データの１次元データとして符号化しても構わない。サーバフロントエンド２３０は、３次元モデルにそれを識別する識別子を付与して、３次元モデルの点群データとともに、フレーム番号に応じてデータベース２５０に書き込む。
【００２６】
さらに、サーバフロントエンド２３０は、前景画像をカメラ識別子、注視点の識別子、関連する３次元モデルの識別子、フレーム番号に応じてデータベース２５０に書き込む。ここでは、時刻を表す情報として、フレーム番号を用いているが、これに限定されず、タイムコードであっても良い。データベース２５０には、カメラの識別子で識別される注視点、カメラの位置、方向、画角が、カメラの設定時のカメラ設定情報として格納されている。データベース２５０は、入力されたフレーム番号単位で３次元モデルの識別子毎にそのオブジェクトの位置情報を記載したオブジェクト位置情報リストを生成する。
【００２７】
データベース２５０には、さらに図２に示した注視点２００１を競技場の座標の原点（０、０、０）とした場合の各注視点２０００、２００２の位置情報が格納されている。なお、注視点２０００、２００１、２００２ともにｘ軸、ｙ軸、ｚ軸があらわす方向は同じものとする。すなわち、本実施形態では注視点２０００、２００１、２００２は、同一線上にあり、これを結ぶ方向をｘ軸とする。ｘ軸は、注視点２００１から注視点２０００への方向を負とし、注視点２００１から注視点２００２への方向を正とする。ｙ軸は、ｘ軸と直交しており、注視点２００１から競技場正面のメインスタンド方向を負とし、バックスタンド方向を正とする。図２においては、下（例えば、センサシステム２Ｌ０８が設置されている側）がメインスタンド、上（例えば、センサシステム２Ｌ０１が設置されている側）がバックスタンドとする。ｚ軸は、ｘ軸及びｙ軸に直交しており、グラウンド面を原点とし、上方に向かって正とする。
【００２８】
図３に、ｘ軸、ｙ軸、ｚ軸及び注視点２０００、２００１、２００２を示す。競技場の座標の原点２００１−０とする注視点２００１に対して、注視点２０００はｘ方向に（−ｄx0）だけ離れており、注視点２００２はｘ方向にｄx1だけ離れている。したがって、注視点２０００は注視点２００１に対して（−ｄx0、０、０）となり、注視点２００２は注視点２００１に対して（ｄx1、０、０）となる。前述したオブジェクト位置情報リストに記載されるオブジェクトの位置情報は、これらの注視点の位置のずれを補正した注視点２００１を原点とする世界座標で記述されている。なお、軸の方向、及び注視点の位置関係は、これに限定されない。また、競技場の座標の原点の位置も、これに限定されず、フィールドのいずれかのコーナーを原点にしたり、メインスタンドに原点を置いたりしてもよい。また、競技場の原点に必ずしも注視点が存在する必要はない。
【００２９】
同様に、サーバフロントエンド２３１、２３２においても、各注視点を原点とする位置情報を有する３次元モデルのデータと位置情報とが前景画像とともにデータベース２５０に書き込まれる。
【００３０】
図４（Ａ）〜図４（Ｃ）に、第１の実施形態における３次元モデルのデータの構成例を示す。図４（Ａ）に一例を示すように、３次元モデルのデータは、各時刻で管理されており、データの先頭にその時刻を表すタイムコードが付与されており、その後に注視点の数が整数で示されている。図２に示した例では、注視点が３つであるので注視点数は３である。それに続いて、第１注視点へのポインタが指定されている。ここでは、第１注視点は注視点２０００とする。このポインタは同じファイルであれば、そこから読み飛ばすデータサイズであったり、別なファイルポインタであったりしても構わない。
【００３１】
第１注視点へのポインタにより指定されるデータには、図４（Ｂ）に一例を示すように第１注視点の原点の位置が示されている。第１注視点の競技場の原点からのｘ座標、ｙ座標、ｚ座標、すなわち（−ｄx0）、０、０の値が順に記載されており、続いて、第１注視点に含まれるオブジェクトの数が記載されている。その後、各オブジェクトへのポインタが指定されており、そのポインタにより各オブジェクトの点群にアクセスが可能になっている。第１オブジェクトの点群データは、図４（Ｃ）に一例を示すように、まず、第１オブジェクトを構成する点の数が記載されており、各点のｘ座標、ｙ座標、ｚ座標が順に入っている。第１注視点の他のオブジェクトについても同様にデータが生成されている。また、他の注視点についても同様にデータが生成されている。
【００３２】
図１に戻り、バックエンドサーバ３００は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける。仮想カメラ操作ＵＩ３３０は、情報設定手段及び抽出手段の一例である。バックエンドサーバ３００は、受け付けた仮想視点に基づいて、データベース２５０から対応する前景画像、３次元モデルデータ及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。ここで、バックエンドサーバ３００は、注視点毎に仮想視点画像を生成する。バックエンドサーバ３００において、仮想視点画像生成部２７０は、注視点２０００に対応する領域２１００の仮想視点画像を生成する。また、仮想視点画像生成部２７１は、注視点２００１に対応する領域２１０１の仮想視点画像を生成し、仮想視点画像生成部２７２は、注視点２００２に対応する領域２１０２の仮想視点画像を生成する。また、仮想視点背景画像生成部２７５は、仮想視点からの背景画像を生成する。仮想視点画像生成部２７０、２７１、２７２は、画像生成手段の一例である。
【００３３】
仮想視点画像を生成する際、不図示のユーザは仮想カメラ操作ＵＩ３３０を用いて、仮想視点画像における仮想視点を示す仮想カメラの位置、方向、画角等の設定を行う。以後、これらの仮想カメラの位置、方向、画角等の情報を仮想カメラ情報とも称する。仮想カメラ操作ＵＩ３３０で設定された仮想カメラ情報は、バックエンドサーバ３００に出力される。なお、以下では、画像についてのみ説明する。例えば、図５に示すように、センサシステム２Ｌ１９とセンサシステム２Ｌ２０との間に仮想カメラ２７００を設定したとする。図５において、図２に示した構成要素と同一の構成要素には同一の符号を付している。図５において、４２００は仮想カメラ２７００の画角を表す。
【００３４】
バックエンドサーバ３００は、仮想カメラ２７００から見た仮想視点画像の生成に必要な画像を得るために、仮想カメラ情報をデータベース２５０に入力する。データベース２５０は、入力された仮想カメラ情報に基づいて、各センサシステム２Ｌ０１〜２Ｌ３０、２Ｃ０１〜２Ｃ３０、２Ｒ０１〜２Ｒ３０の撮影した前景画像を検索して選択する。また、データベース２５０は、入力された仮想カメラ情報に基づいて、サーバフロントエンド２３０、２３１、２３２で生成された３次元モデルから必要なデータを検索して選択する。
【００３５】
また、仮想カメラ２７００の仮想カメラ情報から、画角４２００に含まれる実空間上の撮影範囲が決定される。なお、この仮想カメラの位置情報は、注視点２００１を世界座標の原点とする位置で表される。この撮影範囲に各注視点や各オブジェクトが含まれるかどうかは、その位置と撮影範囲との比較によって決定される。図５に示した例では、撮影範囲４０００、４００１、４００２を合わせた領域が撮影範囲であるとする。ここでは、撮影範囲４０００の仮想視点画像は、注視点２０００を含むので仮想視点画像生成部２７０が生成する。また、撮影範囲４００１の仮想視点画像は、注視点２００１を含むので仮想視点画像生成部２７１が生成し、撮影範囲４００２の仮想視点画像は、注視点２００２を含むので仮想視点画像生成部２７２が生成する。
【００３６】
画角４２００の仮想視点画像を生成する画像は、仮想カメラ２７００により撮影される範囲を仮想カメラ情報に基づいて特定することで選択される。また、図５に示すように、画角４２００には領域２１０１、２１０２、２１０３が含まれ、領域２１０１と領域２１０２、領域２１０２と領域２１０３の間には重なる部分がある。これらの部分にオブジェクトが入っている場合、いずれの注視点からの３次元モデルデータを用いるか、その前景画像を用いるかを決定する。決定方法については、それぞれのオブジェクトの位置に近い注視点の３次元モデルデータ及び前景画像を用いるものとする。ただし、これに限定されるものではなく、例えば、仮想視点に近い注視点の３次元モデルデータ及び前景画像を用いても良い。すなわち、仮想カメラ２７００に係る仮想視点画像を生成する場合、領域２１００と領域２１０１の重なった部分のオブジェクトについては、注視点２０００の３次元モデルデータと前景画像を用いて仮想視点画像を生成する。または、仮想カメラ２７００から見た仮想視点画像を生成する場合、そのオブジェクトを撮影したカメラが多い方の注視点の３次元モデルデータ及び前景画像を採用してもよい。例えば、領域２１００と領域２１０１の重なった部分のオブジェクトを例にとって説明する。注視点２０００に関しては、センサシステムの位置、画角からセンサシステム２Ｌ１４〜センサシステム２Ｌ２５の１２台がオブジェクトを撮影している。注視点２００１に関しては、センサシステムの位置、画角からセンサシステム２Ｃ１９〜センサシステム２Ｌ２８の１０台がオブジェクトを撮影している。したがって、この場合は注視点２０００を撮影するセンサシステムの方が多いので、注視点２０００の３次元モデルデータと前景画像を用いて仮想視点画像を生成する。
【００３７】
仮想視点画像生成部２７０における領域２１００に関する仮想視点画像の生成について説明する。図６は、仮想視点画像生成部２７０の構成例を示す図である。端子６０１には、仮想視点カメラ操作ＵＩ３３０から仮想カメラ情報と仮想視点映像を生成するフレーム番号の情報が入力される。端子６０２はデータベース２５０に接続されており、データベース２５０からオブジェクト位置情報リストを読み込み、さらに、画像生成に必要な前景画像や３次元モデルデータの要求を送出する。端子６０３にはデータベース２５０から読み出された前景画像データや３次元モデルデータが入力される。端子６０４は生成された仮想視点カメラ画像で選手等のオブジェクトの画像データを出力する。
【００３８】
３次元モデル選択部６２０は、領域内のオブジェクトを生成するのに必要な３次元モデルデータの識別子を指定する。前景画像選択部６３０は、オブジェクトの画像を生成するのに必要な３次元モデルデータの識別子と仮想カメラの画角及びカメラ位置情報から、テクスチャマッピングに必要な前景画像のデータを決定する。画像バッファ６００は、データベース２５０から入力された前景画像を格納する。モデルバッファ６１０は、データベース２５０から入力された３次元モデルデータを格納する。レンダリング部５４０は、入力された３次元モデルデータ及び前景画像からオブジェクトの仮想視点画像を生成する。
【００３９】
図７は、第１の実施形態における仮想視点画像の生成動作の例を示すフローチャートである。ステップＳ７００にて、不図示のユーザにより仮想カメラ操作ＵＩ３３０によって、仮想カメラ位置、方向、画角が決定される。ステップＳ７０１にて、仮想カメラ操作ＵＩ３３０は、仮想カメラ情報に基づいて、撮影範囲を決定し、撮影範囲に含まれる注視点を選択する。撮影範囲が示す空間と各注視点の位置を世界座標上で比較することにより、注視点が撮影範囲に含まれるか否かを判断する。ステップＳ７０２にて、バックエンドサーバ３００は、ステップＳ７０１において選択された注視点に対応する仮想視点画像生成部２７０〜２７２を処理開始が可能な状態にする。
【００４０】
以降の処理は、選択された仮想視点画像生成部内部の動作である。
ステップＳ７０３にて、３次元モデル選択部６２０、前景画像選択部６３０、及びレンダリング部６４０に、仮想カメラ操作ＵＩ３３０により決定された仮想カメラ情報と仮想視点画像を生成するフレームのフレーム番号とが端子６０１を介して入力される。ステップＳ７０４にて、３次元モデル選択部６２０は、入力されたフレーム番号のオブジェクト位置情報リストをデータベース２５０に端子６０２を介して要求し、これを受領する。ステップＳ７０５にて、３次元モデル選択部６２０は、ステップＳ７０４において取得したオブジェクト位置情報リストの位置情報と撮影範囲とを比較し、撮影範囲に含まれているオブジェクトを決定して、その３次元モデル識別子を決定する。
【００４１】
ステップＳ７０６にて、３次元モデル選択部６２０は、ステップＳ７０５において決定した３次元モデル識別子、及びフレーム番号を、端子６０２を介してデータベース２５０に送信し、データを要求する。ステップＳ７０７にて、データベース２５０は、受信した３次元モデル識別子、及びフレーム番号に基づいて、３次元モデルのデータを読み出す。ステップＳ７０８にて、ステップＳ７０７において読み出された３次元モデルデータとその３次元モデル識別子、及びフレーム番号が、端子６０３を介してモデルバッファ６１０に格納される。
【００４２】
ステップＳ７０９にて、前景画像選択部６３０は、端子６０１から入力された仮想カメラ情報と３次元モデル選択部６２０から送信されたオブジェクトの３次元モデル識別子に基づき、仮想視点から見えるモデルの表面に関する前景画像を選択する。さらに、前景画像選択部６３０は、選択された前景画像を撮影したカメラ識別子を選択する。この際、仮想視点から見えない面を撮影したカメラは選択されない。
【００４３】
ステップＳ７１０にて、前景画像選択部６３０は、３次元モデル識別子、選択されたカメラ識別子、及びフレーム番号を、端子６０２を介してデータベース２５０に送信し、データを要求する。ステップＳ７１１にて、データベース２５０は、受信した３次元モデル識別子、カメラ識別子、及びフレーム番号に基づいて、必要な前景画像のデータを読み出す。ステップＳ７１２にて、ステップＳ７１１において読み出された前景画像のデータとその３次元モデル識別子、カメラ識別子、及びフレーム番号が、端子６０３を介して画像バッファ６００に格納される。
【００４４】
ステップＳ７１３にて、レンダリング部６４０は、３次元モデル識別子とフレーム番号に基づいて、３次元モデルデータをモデルバッファ６１０から読み出す。また、レンダリング部６４０は、３次元モデル識別子、カメラ識別子、及びフレーム番号に基づいて、画像バッファ６００から前景画像を読み出す。そして、レンダリング部６４０は、３次元モデルデータに前景画像をテクスチャマッピングし、端子６０１から入力された仮想カメラ情報のカメラの姿勢、画角等から仮想視点からの画像を生成する。また、生成された画像の最終的な画像での画像位置情報を算出する。生成された仮想視点画像と画像位置情報は、端子６０４から出力される。
【００４５】
図８は、第１の実施形態における仮想視点画像の生成の流れを示すシーケンス図である。まず、仮想カメラ操作ＵＩ３３０は、不図示のユーザによる入力に従って仮想カメラ位置、方向、画角を決定する。仮想カメラ操作ＵＩ３３０は、仮想カメラ情報に基づき、撮影範囲を決定し、撮影範囲に含まれる注視点を選択する。仮想カメラ操作ＵＩ３３０が選択した注視点に対応する仮想視点画像生成部２７０〜２７２を選択し、仮想カメラ操作ＵＩ３３０は選択された仮想視点画像生成部を処理開始が可能な状態にする。そして、仮想カメラ操作ＵＩ３３０は、３次元モデル選択部６２０、前景画像選択部６３０、及びレンダリング部６４０に、決定した仮想カメラ情報と仮想視点映像を生成するフレームのフレーム番号を送信する（８０１）。
【００４６】
３次元モデル選択部６２０は、入力されたフレーム番号の当該注視点のオブジェクト位置情報リストをデータベース２５０に要求する（８０２）。データベース２５０は、該当する注視点の該当するフレーム番号の位置情報リストを検索して読み出し（８０４）、３次元モデル選択部６２０に送信する（８０４）。
【００４７】
３次元モデル選択部６２０は、オブジェクト位置情報リストの位置情報と撮影範囲とを比較し、撮影範囲に含まれているオブジェクトを決定して、その３次元モデル識別子を決定する（８０５）。その後、３次元モデル選択部６２０は、決定したオブジェクトの３次元モデル識別子、及びフレーム番号を、前景画像選択部６３０とデータベース２５０に送信する（８０６）。データベース２５０は、３次元モデル識別子、及びフレーム番号に基づいて、３次元モデルのデータを検索して読み出す（８０７）。そして、データベース２５０は、読み出した３次元モデルデータとその３次元モデル識別子、及びフレーム番号を、モデルバッファ６１０を介してレンダリング部６４０に送信する（８０８）。
【００４８】
また、前景画像選択部６３０は、仮想カメラ操作ＵＩ３３０から送信された仮想カメラ情報と３次元モデル選択部６２０から送信されたオブジェクトの３次元モデル識別子に基づき、仮想視点から見えるモデルの表面に関する前景画像を選択する（８０９）。前景画像選択部６３０は、選択した前景画像を撮影したカメラ識別子を選択する。前景画像選択部６３０は、オブジェクトの３次元モデル識別子、選択したカメラ識別子、及びフレーム番号を、データベース２５０に送信する（８１０）。データベース２５０は、３次元モデル識別子、カメラ識別子、及びフレーム番号に基づいて、必要な前景画像のデータを検索して読み出す（８１１）。そして、データベース２５０は、読み出した前景画像のデータとその３次元モデル識別子、カメラ識別子、及びフレーム番号を、画像バッファ６００を介してレンダリング部６４０に送信する（８１２）。
【００４９】
レンダリング部６４０は、３次元モデルデータに前景画像をテクスチャマッピングし、端子６０１から入力された仮想カメラ情報のカメラの姿勢、画角等から仮想視点からの画像を生成する。このようにして、各仮想視点画像生成部２７０、２７１、２７２において、注視点毎に仮想視点からの画像を生成する。
【００５０】
図１に戻り、仮想視点画像生成部２７０〜２７２で生成された画像は合成部２８０に入力される。また、仮想視点背景画像生成部２７５は、データベース２５０に格納された背景画像データを用いて、仮想視点からの背景画像を生成し、合成部２８０に入力する。具体的には、仮想視点背景画像生成部２７５は、仮想カメラ操作ＵＩ３３０から入力される仮想カメラ位置、画角等に基づいて、実際に撮影した画像又はＣＧ等から背景画像を生成する。
【００５１】
合成部２８０は、仮想視点背景画像生成部２７５で生成された背景画像と各仮想視点画像生成部２７０〜２７２で生成された画像データをそれぞれの撮影範囲に合わせて合成する。以下、合成部２８０による画像の合成を図９〜図１１を用いて説明する。
【００５２】
図９は、仮想視点背景画像生成部２７５で生成された背景画像の一例を示す図である。図９において、９００は背景画像全体を示し、９５０は設定された画角を示す。９０１、９０２、９０３は注視点で担当する撮影範囲を示す。撮影範囲９０１は、注視点２０００を向いたカメラで構成される撮影範囲を示し、撮影範囲９０２は注視点２００１を向いたカメラで構成される撮影範囲を示し、撮影範囲９０３は注視点２００２を向いたカメラで構成される撮影範囲を示す。
【００５３】
図１０は、各仮想視点画像生成部２７０〜２７２で生成された画像の例を表す。撮影範囲９０３には、注視点２００２を撮影するカメラで撮影された前景画像に３次元モデルデータがテクスチャマッピングされた画像が生成されている。撮影範囲９０２には、注視点２００１を撮影するカメラで撮影された前景画像に３次元モデルデータがテクスチャマッピングされた画像が生成されている。撮影範囲９０１には、注視点２０００を撮影するカメラで撮影された前景画像に３次元モデルデータがテクスチャマッピングされた画像が生成されている。
【００５４】
合成部２８０は、画像の合成にあたって、遠方の注視点の画像から合成を行う。これにより、遠景のオブジェクトと近景のオブジェクトとが重なった場合、自然に遠景のオブジェクトは近景のオブジェクトに隠される。図１１に、背景画像と合成された画像を示す。前述のようにして合成された合成画像は、出力部２８５に送信され、外部に出力される。
【００５５】
以上のように本実施形態によれば、仮想視点画像の生成に関連して、品質を低下させることなく、仮想視点からの広域な画像を生成することが可能となる。すなわち、各オブジェクトを正確にモデル化し、高品質な前景画像をそれぞれ用いることができるため、仮想視点画像全体の品質を向上させることができる。例えば、注視点２００１を向いたカメラで撮影された画像のみから図１１のような画像を生成しようとした場合、撮影範囲９０２内の選手の画質は本発明と変わらない。しかしながら、撮影範囲９０１、９０３内の選手はピントがずれるため、ぼけた画像になり、正確な３次元モデル生成や、高品質な前景画像のテクスチャマッピングが行えない。それに対して、本実施形態では、このような品質の低下を防ぎ、仮想視点から近いにもかかわらず遠景よりもぼけた不正確な画像を提供することがない。
【００５６】
また、本実施形態では、３次元モデルを生成して仮想視点画像を生成する方法についてＭＢＲを用いて説明した。特にその方法は限定されず、３次元モデルを構築しないＩｍａｇｅ  Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ（ＩＢＲ）や別な方法を用いても構わない。以下にその一例として、ＩＢＲを用いる例について説明する。
【００５７】
図１において、サーバフロントエンド２３０、２３１、２３２は、再構成されたフレームデータから選手等の対象を切り出して前景画像のみを生成する。また、サーバフロントエンド２３０、２３１、２３２は、前景画像をカメラ識別子、注視点の識別子、フレーム番号に応じてデータベース２５０に書き込む。バックエンドサーバ３００は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける。バックエンドサーバ３００は、受け付けた仮想視点に基づいて、データベース２５０から対応する前景画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。バックエンドサーバ３００は注視点毎に仮想視点映像を生成する。仮想視点画像を生成する際、不図示のユーザは仮想カメラ操作ＵＩ３３０を用いて、仮想視点画像における仮想視点を示す仮想カメラの位置、方向、画角等の設定を行う。
【００５８】
以下に、仮想視点画像生成部２７０を例にとって説明するが、仮想視点画像生成部２７１、２７２も同様である。仮想視点画像生成部２７０は、仮想カメラ２７００から見た仮想視点画像の生成に必要な画像を得るために、仮想カメラ操作ＵＩ３３０から仮想カメラ情報が入力される。この仮想カメラ情報に基づいて、各センサシステム２Ｌ０１〜２Ｌ３０、２Ｃ０１〜２Ｃ３０、２Ｒ０１〜２Ｒ３０の撮影した前景画像から必要なデータを検索して選択する。データベース２５０は、仮想カメラ２７００の仮想カメラ情報から、画角４２００に含まれる実空間上の撮影範囲を決定する。なお、仮想カメラの位置情報は注視点２００１を世界座標の原点とする位置で表される。
【００５９】
前述した実施形態と同様に、仮想視点画像生成部２７０における領域２１００に関する仮想視点画像の生成について述べる。図１２は、仮想視点画像生成部２７０の他の構成例を示す図である。図１２において、図６に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。前景画像選択部１２３０は、仮想カメラの画角及びカメラ位置情報から、オブジェクトの画像を生成するのに必要なカメラを選択し、必要な前景画像のデータを決定する。画像バッファ１２００は、データベース２５０から入力された前景画像を格納する。レンダリング部１２４０は、入力された前景画像からオブジェクトの仮想視点画像を生成する。前景画像選択部１２３０は、それぞれの注視点を撮影しているカメラの位置情報を事前に蓄積している。なお、カメラの位置情報については外部からの読み込みを行っても良い。
【００６０】
ＩＢＲの方法は特に限定せず、例えば非特許文献１に記載されているように、２台のカメラからの画像に基づいて画像を生成する。前景画像選択部１２３０は、仮想視点カメラの位置から最も近傍のカメラ２台を選択する。仮想視点画像生成部２７０においては、図５に示した仮想視点カメラ２７００に対して、センサシステム２Ｌ１９とセンサシステム２Ｌ２０とのカメラの前景映像が選択される。同様に、仮想視点画像生成部２７１の前景画像選択部１２３０においては、センサシステム２Ｃ２３とセンサシステム２Ｃ２４が選択される。さらに、仮想視点画像生成部２７２の前景画像選択部１２３０においては、センサシステム２Ｒ２７とセンサシステム２Ｒ２８が選択される。
【００６１】
前景画像選択部１２３０は、該当するフレーム番号とそれぞれのセンサシステムのカメラの識別子を、端子６０２を介してデータベース２５０に送信し、データを要求する。データベース２５０は、受信したフレーム番号、及びカメラ識別子に基づいて、必要な前景画像のデータを読み出す。読み出された前景画像データとそのフレーム番号、及びカメラ識別子は、端子６０３を介して画像バッファ１２００に格納される。レンダリング部１２４０は、カメラ識別子、及びフレーム番号に基づいて、画像バッファ１２００から前景画像を読み出す。レンダリング部１２４０は、２つのカメラの前景画像からモーフィング等の手法を用いて仮想視点からの画像を生成する。また、生成された画像の最終的な画像での画像位置情報を算出する。生成された仮想視点画像と画像位置情報は端子６０４から出力される。
【００６２】
以上のようにして、仮想視点映像の生成に関連して、３次元モデルを用いないＩＢＲによっても、品質を低下させることなく、仮想視点からの広域な画像を生成することが可能となる。すなわち、本実施形態では、仮想視点カメラに対して、高品質な前景画像をそれぞれ用いることができるため、仮想視点画像全体の品質を向上させることができる。
【００６３】
なお、前述した実施形態における画像処理システム１００は、以上説明した物理的な構成に限定されるわけではなく、論理的に構成されていても良い。また、センサ群２００、２０１、２０２をスイッチングハブ１８０に接続しているが、これに限定されず、これらのセンサ群に関してもカスケード接続を行ってももちろん構わない。また、複数の仮想視点画像生成部を用いる例を示したが、これに限定されず、１つの仮想視点画像生成部によって、時分割や複数のスレッドでの並列処理を行うことで実現しても良い。
【００６４】
なお、前述した実施形態では、各注視点間の位置情報の差を用いて説明したが、これに限定されず、カメラ位置、注視点位置等を１つの原点に基づく世界座標で計算してももちろん構わない。すなわち、図４（Ｃ）において、各点群の情報をそれぞれの注視点原点からの座標ではなく、それぞれの点の座標に注視点の競技場原点からの座標を加算したものを格納しても構わない。なお、本実施形態においては、注視点が固定であるため、注視点の位置情報をリストにしてデータベース２５０に保存したり、サーバフロントエンド２３０〜２３２とバックエンドサーバ３００に固定値として格納したりすることも可能である。
【００６５】
また、前述の実施形態において、仮想カメラから遠い注視点に含まれるオブジェクトの解像度を、仮想カメラから近い注視点に含まれるオブジェクトの解像度より低く抑えてレンダリングすることも可能である。すなわち、遠方のオブジェクトは合成時に小さくなるため、元の解像度を抑えることで、高速な処理が可能になる。これはＩＢＲにおいて、遠い注視点に含まれるオブジェクトの３次元モデルの解像度を下げることで、高速なモデル生成とレンダリングが可能になる。また、前述の実施形態ではサッカー等の競技場を例にとって説明したが、これに限定されない。例えば、野球やバスケットボール、スケート等の競技であっても構わないし、舞台や映画のセットであっても構わない。
【００６６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図１３は、第２の実施形態における画像処理システム１００の構成例を示す図である。図１３において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。サーバフロントエンド１３３０、１３３１、１３３２は、センサシステムから取得したデータの処理を行う。サーバフロントエンド１３３０〜１３３２は、第１の実施形態におけるサーバフロントエンド２３０〜２３２とは、制御ステーション１３１０から各注視点の位置情報を取得し、それぞれのデータに競技場原点からの位置情報を付与することが異なる。
【００６７】
図１４に、第２の実施形態における競技場の注視点の例を示す。本実施形態では、スキーのエアリアル競技を例にとって説明する。本実施形態でも、注視点は３つとして説明するが、これに限定されない。注視点１２０００、１２００１、１２００２は、撮影開始時の注視点を表し、注視点１２００１を競技場の原点１２００１−０とする。センサシステム１２Ｌ０１〜１２Ｌ０６は、注視点１２００２に対応しており、それぞれ１台ずつのカメラ１１２と雲台１１３を有する。センサシステム１２Ｃ０１〜１２Ｃ０６は、注視点１２００１に対応しており、それぞれ１台ずつのカメラ１１２と雲台１１３を有する。センサシステム１２Ｒ０１〜１２Ｒ０６は、注視点１２００２に対応しており、それぞれ１台ずつのカメラ１１２と雲台１１３を有する。ここでは各注視点に対して６台のセンサシステムを用いる例を示したが、これに限定されない。
【００６８】
図１５に、それぞれの注視点の撮影範囲を示す。注視点１２０００に対応するセンサシステム１２Ｒ０１〜１２Ｒ０６のカメラ１１２は、領域１２１００の範囲を撮影する。また、注視点１２００１に対応するセンサシステム１２Ｃ０１〜１２Ｃ０６のカメラ１１２は、領域１２１０１の範囲を撮影し、注視点１２００２に対応するセンサシステム１２Ｌ０１〜１２Ｌ０６のカメラ１１２は、領域１２１０２の範囲を撮影する。ここで、図１４に示すように、注視点１２００１は競技場の原点であり、座標は（０，０，０）となる。また、注視点１２０００は競技場の座標では（ｄx1、ｄy1、−ｄz1）となり、注視点１２００２は競技場の座標では（−ｄx0、−ｄy0、ｄz0）となる。
【００６９】
センサシステム１２Ｌ０１のマイク１１１にて集音された音声と、カメラ１１２にて撮影された画像は、カメラアダプタ１２０において画像処理が施された後、ネットワーク１７１を介してセンサシステム１２Ｌ０２のカメラアダプタ１２０に伝送される。同様に、センサシステム１２Ｌ０２は、集音された音声と撮影された画像をセンサシステム１２Ｌ０１から取得した画像及び音声のデータと合わせて、ネットワーク１７１を介してセンサシステム１２Ｌ０３に伝送する。この動作を続けることにより、センサシステム１２Ｌ０１〜１２Ｌ０６により取得した画像及び音声が、センサシステム１２Ｌ０６からネットワーク１８０ｂ、２１１ａ及びスイッチングハブ１８０を介してサーバフロントエンド１３３０へ伝送される。
【００７０】
制御ステーション１３１０は、撮影ないし撮影の合間に雲台１１３を制御し、カメラ１１２の方向を動かすことで、注視点を移動させることができる。制御ステーション１３１０が雲台１１３を用いて新たな注視点を設定した場合について説明する。例えば、注視点１２００２を（ｓx1、ｓy1、ｓz1）だけ移動させる場合、制御ステーション１３１０は、センサシステム１２Ｌ０１〜１２Ｌ０６の雲台１１３を制御し、その方向にカメラ１１２を向け、ピントや画角の制御を行う。その注視点の位置の変更の情報は、ネットワーク３１１ａを通して、サーバフロントエンド１３３０に入力される。
【００７１】
同様に、注視点１２００１を移動させる場合、制御ステーション１３１０は、センサシステム１２Ｃ０１〜センサシステム１２Ｃ０６の雲台１１３を制御し、その方向にカメラ１１２を向け、ピントや画角の制御を行う。その注視点の位置の変更の情報は、ネットワーク３１１ｂを通して、サーバフロントエンド１３３１に入力される。また、注視点１２０００を移動させる場合、制御ステーション１３１０は、制御ステーション１３１０は、センサシステム１２Ｒ０１〜センサシステム１２Ｒ０６の雲台１１３を制御し、その方向にカメラ１１２を向け、ピントや画角の制御を行う。その注視点の位置の変更の情報は、ネットワーク３１１ｃを通して、サーバフロントエンド１３３２に入力される。
【００７２】
本実施形態において、サーバフロントエンド１３３０は、センサシステム１２Ｌ０６から取得した画像及び音声から、セグメント化された伝送パケットを再構成してフレームデータのデータ形式を変換する。さらに、サーバフロントエンド１３３０は、第１の実施形態におけるサーバフロントエンド２３０と同様に、再構成されたフレームデータから選手等の対象を切り出し、切り出した結果を前景画像として、全カメラからの画像から、その３次元モデルを生成する。ここでは、生成される３次元モデルは、第１の実施形態と同様に点群で表されるものとする。サーバフロントエンド１３３０は、３次元モデルにそれを識別する識別子が付与されて、３次元モデルの点群データとともに、フレーム番号に応じてデータベース２５０に書き込む。
【００７３】
図１６（Ａ）〜図１６（Ｃ）に、第２の実施形態における３次元モデルのデータの構成例を示す。図１６（Ａ）に一例を示すように、３次元モデルのデータは、各時刻で管理されており、データの先頭にその時刻を表すタイムコードが付与されており、その後に注視点の数が整数で示されている。図１４に示した例では、注視点が３つであるので注視点数は３である。それに続いて、第１注視点へのポインタが指定されている。ここでは、第１注視点は注視点１２００２とする。このポインタは同じファイルであれば、そこから読み飛ばすデータサイズであったり、別なファイルポインタであったりしても構わない。
【００７４】
第１注視点へのポインタにより指定されるデータには、図１６（Ｂ）に一例を示すように第１注視点の原点の位置が示されている。第１注視点の競技場の原点からのｘ座標、ｙ座標、ｚ座標、すなわち、（−ｄx0）、（−ｄy0）、ｄz0の値が順に記載されており、続いて、第１注視点に含まれるオブジェクトの数が記載されている。その後、各オブジェクトへのポインタが指定されており、そのポインタにより各オブジェクトの点群にアクセスが可能になっている。また、第１オブジェクトを構成する点の数が続いて記載されており、座標を表現するデータのデータ長と点の数から、第１オブジェクトの３次元データのデータ量を計算でき、一括してデータを取得することが可能である。
【００７５】
第１オブジェクトの点群データは、図１６（Ｃ）に一例を示すように、第１オブジェクトの外接立方体の原点のｘ座標、ｙ座標、ｚ座標が記載されている。続いて、第１オブジェクトの外接立方体の大きさを表す、ｘ軸方向のサイズ（ｘサイズ）、ｙ軸方向のサイズ（ｙサイズ）、ｚ軸方向のサイズ（ｚサイズ）が入っている。それに続いて、各点のｘ座標、ｙ座標、ｚ座標が順に入っている。第１注視点の他のオブジェクトについても同様にデータが生成されている。また、他の注視点についても同様にデータが生成されている。
【００７６】
ここで、第１オブジェクトを含む外接立方体を仮定する。図１７にその様子を示す。外接立方体の原点が注視点を原点とした場合の位置を第１オブジェクトの外接立方体原点座標として記述する。本実施形態では、図１７（Ａ）に示すように、その注視点を原点とする座標位置をｘ0、ｙ0、ｚ0とする。また、図１７（Ｂ）に示すように、外接立方体の大きさをｘs0、ｙs0、ｚs0とする。以下、第１オブジェクトを構成する各点のｘ座標、ｙ座標、ｚ座標が、外接立方体の原点からの相対位置で順に入っている。
【００７７】
バックエンドサーバ３００は、第１の実施形態と同様に、データベース２５０から３次元モデルデータ、及び前景画像を読み出し、レンダリング処理を行って仮想視点画像を生成する。ここで、バックエンドサーバ３００は、注視点毎に仮想視点画像を生成する。
【００７８】
仮想視点画像を生成する際、不図示のユーザは仮想カメラ操作ＵＩ３３０を用いて、仮想カメラ情報を生成する。バックエンドサーバ３００は、図１５に示す仮想カメラ１２７００から見た仮想視点画像の生成に必要な画像を得るために、仮想カメラ情報をデータベース２５０に入力する。データベース２５０は、入力された仮想カメラ情報に基づいて、各センサシステム１２Ｌ０１〜１２Ｌ０６、１２Ｃ０１〜１２Ｃ０６、１２Ｒ０１〜１２Ｒ０６の撮影した前景画像を検索して選択する。また、データベース２５０は、入力された仮想カメラ情報に基づいて、サーバフロントエンド１３３０、１３３１、１３３２で生成された３次元モデルから必要なデータを検索して選択する。
【００７９】
また、仮想カメラ１２７００の仮想カメラ情報から、画角１４２００に含まれる実空間上の撮影範囲が決定される。なお、この仮想カメラの位置情報は、注視点１２００１を世界座標の原点とする位置で表される。本実施形態では注視点が移動するため、画角に注視点が含まれるか否かは、図１６（Ｂ）に示した、各注視点の競技場原点からの座標及びその領域が画角に含まれるか否かを判定する。また、この撮影範囲に各注視点や各オブジェクトが含まれるかどうかは、その位置と撮影範囲との比較によって決定される。この場合、データベース２５０は、まず、外接立方体でオブジェクトを表すため、まずは外接立方体が仮想視点１２７００からの視野に含まれるか否かを判定する。これは、画角に外接立方体の角の点が含まれるか否かで判断できる。
【００８０】
図１５に示した例では、仮想視点画像には注視点１２００２を含むので、仮想視点画像生成部１２７２が仮想視点画像を生成する。また、仮想視点映像には注視点１２００１を含むので、仮想視点画像生成部１２７１が仮想視点画像を生成する。なお、仮想視点映像には注視点１２０００を含まないので、仮想視点画像生成部１２７０は動作しない。
【００８１】
仮想視点画像生成部１２７２における領域１２１０２に関する仮想視点画像の生成について説明する。仮想視点画像生成部１２７２の構成は、第１の実施形態における仮想視点画像生成部２７０の構成と同様であるので説明は省略する。また、第１の実施形態における仮想視点画像の生成動作も、図７にフローチャートを示した第１の実施形態と同様である。ただし、本実施形態では、注視点が移動するため、ステップＳ７０１にて、注視点位置の情報をデータベース２５０の３次元モデルデータから読み出して比較する必要がある。また、ステップＳ７０５にて、オブジェクトの位置情報として、外接立方体の各点を参照する。
【００８２】
図１８は、第２の実施形態における仮想視点画像の生成の流れを示すシーケンス図である。まず、仮想カメラ操作ＵＩ３３０は、不図示のユーザによる入力に従って仮想カメラ位置、方向、画角を決定する。仮想カメラ操作ＵＩ３３０は、データベース２５０に画像生成するフレームの時刻を送り、当該時刻の注視点位置情報を要求する（１８０１）。データベース２５０は、それぞれの注視点の位置情報を仮想カメラ操作ＵＩ３３０に送る（１８０２）。仮想カメラ操作ＵＩ３３０は、仮想カメラ情報と注視点位置情報に基づき、撮影範囲を決定し、撮影範囲に含まれる注視点を選択する。仮想カメラ操作ＵＩ３３０が選択した注視点に対応する仮想視点映像生成部１２７０〜１２７２を選択し、仮想カメラ操作ＵＩ３３０は選択された仮想視点映像生成部を処理開始が可能な状態にする。そして、仮想カメラ操作ＵＩ３３０は、３次元モデル選択部６２０、前景画像選択部６３０、及びレンダリング部６４０に、決定した仮想カメラ情報と仮想視点映像を生成するフレームのフレーム番号を送信する（１８０３）。
【００８３】
３次元モデル選択部６２０は、入力されたフレーム番号の当該注視点のオブジェクト位置情報リストをデータベース２５０に要求する（１８０４）。データベース２５０は、該当する注視点の該当するフレーム番号の位置情報リストを検索して読み出し（１８０５）、３次元モデル選択部６２０に送信する（１８０６）。
【００８４】
３次元モデル選択部６２０は、オブジェクト位置情報リストの位置情報と撮影範囲とを比較し、撮影範囲に含まれているオブジェクトを決定して、その３次元モデル識別子を決定する（１８０７）。その後、３次元モデル選択部６２０は、決定したオブジェクトの３次元モデル識別子、及びフレーム番号を、前景画像選択部６３０とデータベース２５０に送信する（１８０８）。データベース２５０は、３次元モデル識別子、及びフレーム番号に基づいて、３次元モデルのデータを検索して読み出す（１８０９）。そして、データベース２５０は、読み出した３次元モデルデータとその３次元モデル識別子、及びフレーム番号を、モデルバッファ６１０を介してレンダリング部６４０に送信する（１８１０）。
【００８５】
また、前景画像選択部６３０は、仮想カメラ操作ＵＩ３３０から送信された仮想カメラ情報と３次元モデル選択部６２０から送信されたオブジェクトの３次元モデル識別子に基づき、仮想視点から見えるモデルの表面に関する前景画像を選択する（１８１１）。前景画像選択部６３０は、選択した前景画像を撮影したカメラ識別子を選択する。前景画像選択部６３０は、オブジェクトの３次元モデル識別子、選択したカメラ識別子、及びフレーム番号を、データベース２５０に送信する（１８１２）。データベース２５０は、３次元モデル識別子、カメラ識別子、及びフレーム番号に基づいて、必要な前景画像のデータを検索して読み出す（１８１３）。そして、データベース２５０は、読み出した前景画像のデータとその３次元モデル識別子、カメラ識別子、及びフレーム番号を、画像バッファ６００を介してレンダリング部６４０に送信する（１８１４）。
【００８６】
レンダリング部６４０は、３次元モデルデータに前景画像をテクスチャマッピングし、端子６０１から入力された仮想カメラ情報のカメラの姿勢、画角等から仮想視点からの画像を生成する。このようにして、仮想視点画像生成部１２７０、１２７１、１２７２のうちの仮想視点画像の生成を行う仮想視点画像生成部において、注視点毎に仮想視点からの画像を生成する。
【００８７】
合成部２８０は、第１の実施形態と同様に、仮想視点背景画像生成部２７５で生成された背景画像と各仮想視点映像生成部１２７０〜１２７２で生成された画像データをそれぞれの撮影範囲に合わせて合成する。
【００８８】
以上のようにして本実施形態によれば、仮想視点画像の生成に関連して、品質の低下を防ぎ、仮想視点から近いにもかかわらず遠景よりもぼけた不正確な画像を提供することなく、仮想視点からの広域な画像を生成することが可能となる。すなわち、各オブジェクトを正確にモデル化し、高品質な前景画像をそれぞれ用いることができるため、仮想視点画像全体の品質を向上させることができる。また、移動するオブジェクトを追尾して、常にオブジェクトを注視点とすることが可能になる。これによりオブジェクトを常に最良のピントで撮影することができ、正確なオブジェクトの生成が可能になるとともに、遠距離からの仮想視点画像生成でも高品質を得ることが可能になる。
【００８９】
なお、本実施形態では、注視点の位置情報は３次元モデルデータに含んで記録したが、これに限定されず、データベース２５０内にフレーム番号に対応付けして注視点の位置情報を別途リスト化しても構わない。また、前述した実施形態では、各注視点間の位置情報の差を用いて説明したが、これに限定されず、カメラ位置、注視点位置等を１つの原点に基づく世界座標で計算してももちろん構わない。すなわち、図１４において、各点群の情報をそれぞれの外接立方体原点からの座標ではなく、それぞれの点の座標に注視点原点からの座標を加算したものを格納しても構わない。さらには図１４において、各点群の情報をそれぞれの外接立方体原点からの座標ではなく、それぞれの点の座標に注視点原点と競技場原点からの座標を加算したものを格納しても構わない。
【００９０】
なお、本実施形態では、遠景のオブジェクトを近景のオブジェクトで上書きすることで合成を行ったが、これに限定されない。例えば、各オブジェクトの位置や大きさは、例えば、外接立方体の大きさや位置を競技場原点、注視点座標、外接立方体の座標及びその大きさからその前後関係が導き出せる。これにより、近景のオブジェクトで隠れてしまう遠景のオブジェクトの生成を省略することができ、高速かつ低コストで画像生成が可能になる。
なお、第１の実施形態と同様に仮想視点映像生成の方法はこれに限定されない。
【００９１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図１９は、第３の実施形態における画像処理システム１００の構成例を示す図である。図１９において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。センサ３５０、３５１、３５２は、競技場の気象条件を感知する。気象条件の例としては、湿度、温度、天候等がある。バックエンドサーバ３０１は、仮想視点画像生成部２７０、２７１、２７２に加え、仮想視点画像補正部２７６、２７７、２７８を有する。競技場に関しては、第１の実施形態と同様として説明する。
【００９２】
センサ３５０、３５１、３５２は、競技場の各所に配置されており、撮影時の環境条件として湿度と温度を測定する。これらを気象情報と呼ぶことにする。この気象情報は、データベース２５０に時刻毎に記録される。例えば、湿度が高ければ、大気中に水分子が多く存在し、遠距離の画像がかすんで見える。例えば、図５に示した例において、仮想カメラ２７００から撮影範囲４００２のオブジェクトは、気象条件によってはかすんで見えることになる。かすみに関してはすでにミー散乱としてモデル化されている。また、同様に、雨が降っていれば遠方の映像はかすんで見える。
【００９３】
本実施形態において、各撮影範囲での仮想視点画像の生成に関しては第１の実施形態と同様である。仮想視点画像補正部２７６、２７７、２７８は、これらの気象情報、及び仮想カメラと注視点との距離に基づいて、かすみや光の減衰を計算して、生成した仮想視点画像にかすみ処理を施す。これにより、第１の実施形態と同様に、仮想視点画像の生成に関連して、品質を低下させることなく、仮想視点からの広域な画像を生成することができ、仮想視点画像の品質を向上させることができる。さらに、撮影時の気象条件に基づいて生成した仮想視点画像に補正処理を施すことで、競技場の空気感を再現でき、より現実に近い仮想視点画像の生成が可能になる。
【００９４】
なお、注視点の距離に応じてかすみ処理を施す例を説明したが、これに限定されず、オブジェクトと仮想カメラとの距離に応じてかすみ処理を施すことも可能である。例えば、第２の実施形態における外接立方体の位置は競技場原点からの注視点の座標、及び注視点からの外接立方体の座標を参照することで容易に計算することが可能である。
【００９５】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
第２の実施形態では、各オブジェクトの位置や点群の点座標を競技場の原点からの注視点座標、外接立方体の注視点からの座標で表したが、これに限定されない。図２０は、第４の実施形態における画像処理システム１００の構成例を示す図である。図２０において、図１及び図１３に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
【００９６】
座標変換部１９００は、注視点２０００に関して、各外接立体原点、点群の各座標を注視点の原点からの相対座標ではなく、競技場原点に対する座標に変換する。同様に、座標変換部１９０１、１９０２は、それぞれ注視点２００１、２００２に関して、各外接立体原点、点群の各座標を注視点の原点からの相対座標ではなく、競技場原点に対する座標に変換する。このようにして変換された３次元モデルのデータは、図２１（Ａ）〜図２１（Ｃ）に一例を示すように格納される。ただし、この形式に限定されず、第１注視点の競技場原点からの座標を省略することができる。これにより、すべての点が競技場原点に対する座標で表され、事前に計算しておくことで、レンダリング処理等で座標の差分からそれぞれの位置を計算する必要がなくなり、画像生成の高速化を図ることができる。
【００９７】
なお、カメラの設置状態によっては、複数の注視点エリアが重なる領域が存在しうる。その際に、例えばオブジェクトの３次元モデルデータは、同じオブジェクトのデータが注視点エリア毎に存在するケースがある。この場合、すべてのデータを格納しておくこともできるが、３次元モデルの生成精度が異なる場合、最終的に生成される仮想視点画像の品質に影響をおよぼすこともある。そこで、例えば第１の実施形態で説明したように、オブジェクトの位置と注視点エリアの情報に基づいて、データを取捨選択するようにしても良い。例えば、ある３次元モデルデータについて、座標が最も近い注視点のデータのみを残し、他の注視点で重複するものは削除するといった処理が考えられる。
【００９８】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９９】
例えば、第１〜第４の実施形態に示した画像処理システムは、図２２に示すようなコンピュータ機能２２００を有し、そのＣＰＵ２２０１により第１〜第４の実施形態での動作が実施される。
コンピュータ機能２２００は、図２２に示すように、ＣＰＵ２２０１と、ＲＯＭ２２０２と、ＲＡＭ２２０３とを備える。また、操作部（ＣＯＮＳ）２２０９のコントローラ（ＣＯＮＳＣ）２２０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）２２１０のディスプレイコントローラ（ＤＩＳＰＣ）２２０６とを備える。さらに、ハードディスク（ＨＤ）２２１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）２２１２のコントローラ（ＤＣＯＮＴ）２２０７と、ネットワークインタフェースカード（ＮＩＣ）２２０８とを備える。それら機能部２２０１、２２０２、２２０３、２２０５、２２０６、２２０７、２２０８は、システムバス２２０４を介して互いに通信可能に接続された構成としている。
【０１００】
ＣＰＵ２２０１は、ＲＯＭ２２０２又はＨＤ２２１１に記憶されたソフトウェア、又はＳＴＤ２２１２より供給されるソフトウェアを実行することで、システムバス２２０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ２２０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ２２０２、ＨＤ２２１１、又はＳＴＤ２２１２から読み出して実行することで、第１〜第４の実施形態での動作を実現するための制御を行う。ＲＡＭ２２０３は、ＣＰＵ２２０１の主メモリ又はワークエリア等として機能する。ＣＯＮＳＣ２２０５は、ＣＯＮＳ２２０９からの指示入力を制御する。ＤＩＳＰＣ２２０６は、ＤＩＳＰ２２１０の表示を制御する。ＤＣＯＮＴ２２０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１〜第４の実施形態における前記処理プログラム等を記憶するＨＤ２２１１及びＳＴＤ２２１２とのアクセスを制御する。ＮＩＣ２２０８はネットワーク２２１３上の他の装置と双方向にデータをやりとりする。
【０１０１】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１０２】
１００：画像処理システム  １１２：カメラ  ２０１〜２０３：センサ群  ２３０〜２３２、１３３０〜１３３２：サーバフロントエンド  ２５０：データベース  ２７０〜２７２、１２７０〜１２７２：仮想視点画像生成部  ２７５：仮想視点背景画像生成部  ２７６〜２７８：仮想視点画像補正部  ２８０：合成部  ２８５：出力部  ３００：バックエンドサーバ  ３１０、１３１０：制御ステーション  ３３０：仮想カメラ操作ＵＩ  ３５０〜３５２：センサ  ６００、１２００：画像バッファ  ６１０：モデルバッファ  ６２０：３次元モデル選択部  ６３０、１２３０：前景画像選択部  ６４０、１２４０：レンダリング部  １９００〜１９０２：座標変換部
【図１】
2019103126.tif 000003
【図２】
2019103126.tif 000004
【図３】
2019103126.tif 000005
【図４】
2019103126.tif 000006
【図５】
2019103126.tif 000007
【図６】
2019103126.tif 000008
【図７】
2019103126.tif 000009
【図８】
2019103126.tif 000010
【図９】
2019103126.tif 000011
【図１０】
2019103126.tif 000012
【図１１】
2019103126.tif 000013
【図１２】
2019103126.tif 000014
【図１３】
2019103126.tif 000015
【図１４】
2019103126.tif 000016
【図１５】
2019103126.tif 000017
【図１６】
2019103126.tif 000018
【図１７】
2019103126.tif 000019
【図１８】
2019103126.tif 000020
【図１９】
2019103126.tif 000021
【図２０】
2019103126.tif 000022
【図２１】
2019103126.tif 000023
【図２２】
2019103126.tif 000024