(57)【要約】【課題】 複数のカメラを用いて仮想視点画像を生成するシステムにおいて、カメラが振動する場合であっても、画質の高い仮想視点画像を生成できるようにする。【解決手段】 撮影画像を取得する画像取得手段と、撮影画像を撮影した撮影装置に対する振動情報を取得する振動情報取得手段と、仮想視点画像の生成に用いる所定領域を撮影画像から切り出す切り出し手段と、振動情報に基づいて所定領域を決定する決定手段とを備える情報処理装置を提供する。【選択図】  図３
2019022151.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を取得する画像取得手段と、
前記撮影画像を撮影した撮影装置に対する振動情報を取得する振動情報取得手段と、
仮想視点画像の生成に用いる所定領域を前記撮影画像から切り出す切り出し手段と、
前記振動情報に基づいて前記所定領域を決定する決定手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記切り出し画像から、前記切り出し画像に含まれるオブジェクトを前景画像として分離する分離手段と、
前記前景画像が、前記仮想視点画像を生成するのに有効であるか否かを判定する判定手段とを、さらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記判定手段は、前記前景画像であるオブジェクトが、オブジェクトの全体を表す場合に、前記前景画像は有効であると判定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記判定手段が有効と判定した場合に前記前景画像を出力する出力手段をさらに備えることを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記切り出し画像と、前記取得した撮影画像を撮影した撮影装置とは異なる他の撮影装置から取得した画像との位置合わせを行う位置合わせ手段をさらに備え、
前記分離手段は、前記位置合わせ手段が前記位置合わせに失敗した場合に、前記前景画像の分離を行わないことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記出力手段は、前記判定手段が有効でないと判定した場合にエラー情報を出力することを特徴とする請求項４または５に記載の情報処理装置。
【請求項７】
前記切り出し手段は、前記取得した撮影画像を撮影した前記撮影装置と所定範囲内にある撮影装置に、前記エラー情報のない非エラーとなっている撮影装置が存在する場合に、前記切り出しを行うことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記切り出し手段は、前記撮影画像と、前記非エラーの前記撮影装置からの撮影画像との位置合わせが成功した場合に、前記切り出しを行う、ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記出力手段は、前記切り出し画像と、前記非エラーの前記撮影装置からの撮影画像との位置合わせに成功した場合に、前記前景画像を出力する、ことを特徴とする請求項７に記載の情報処理装置。
【請求項１０】
前記切り出し手段は、前記振動情報が示す振動振幅が所定の値を超える場合は前記切り出しを行わないことを特徴とする請求項１から９のいずれか一項に記載の情報処理装置。
【請求項１１】
複数の撮影手段と、
前記撮影手段に対する振動情報を取得する振動情報取得手段と、
前記複数の撮影手段からの撮影画像に基づいて仮想視点画像を生成する画像生成手段と、
前記複数の撮影手段のうち１つ以上に対する前記振動情報に基づいて、前記複数の撮影手段のうち１つ以上による前記撮影画像のそれぞれについて前記仮想視点画像の生成に用いるか否かを判定する判定手段と、を備えることを特徴とする画像処理システム。
【請求項１２】
前記仮想視点画像の生成に用いる所定領域を、前記撮影画像から切り出す切り出し手段と、
前記振動情報に基づいて前記所定領域を決定する決定手段と、
をさらに備えることを特徴とする請求項１１に記載の画像処理システム。
【請求項１３】
前記切り出し画像から、前記切り出し画像に含まれるオブジェクトを前景画像として分離する分離手段と、
前記前景画像が、前記仮想視点画像を生成するのに有効か否かを判定する判定手段とを、さらに備えることを特徴とする請求項１２に記載の画像処理システム。
【請求項１４】
前記判定手段は、前記前景画像であるオブジェクトが、オブジェクトの全体を表す場合に、前記前景画像は有効であると判定することを特徴とする請求項１３に記載の画像処理システム。
【請求項１５】
前記判定手段により有効と判定された前記前景画像を前記画像生成手段に伝送する伝送手段と、をさらに備えることを特徴とする請求項１３または１４に記載の画像処理システム。
【請求項１６】
前記撮影手段と前記判定手段とをそれぞれにおいて含む撮影装置を複数備えることを特徴とする請求項１５に記載の画像処理システム。
【請求項１７】
前記撮影装置は、前記分離手段と前記伝送手段と、をさらに備えることを特徴とする請求項１６に記載の画像処理システム。
【請求項１８】
前記画像生成手段と前記判定手段とを含む画像処理装置を備えることを特徴とする請求項１３から１５のいずれか一項に記載の画像処理システム。
【請求項１９】
前記分離手段は、前記切り出し画像を、前記前景画像と前記前景画像以外の画像である背景画像とに分離し、
前記伝送手段は、前記背景画像を前記画像生成手段に伝送し、
前記画像生成手段は、前記複数の撮影手段の前記振動情報が示す振動振幅が所定の値より小さい場合に、前記伝送された背景画像に基づいて、前記仮想視点画像に用いる背景画像を更新することを特徴とする請求項１５に記載の画像処理システム。
【請求項２０】
前記複数の撮影手段の各々の振動を検出する複数の検出手段をさらに備えることを特徴とする請求項１１から１９のいずれか一項に記載の画像処理システム。
【請求項２１】
前記複数の検出手段の個数は、前記複数の撮影手段の個数よりも少なく、前記複数の撮影手段の各々の振動は、１つ以上の前記検出手段により検出された振動から補完により取得されることを特徴とする請求項２０に記載の画像処理システム。
【請求項２２】
情報処理装置を制御する方法であって、
撮影画像を取得する画像取得工程と、
前記撮影画像を撮影した撮影装置に対する振動情報を取得する振動情報取得工程と、
仮想視点画像の生成に用いる所定領域を前記撮影画像から切り出す切り出し工程と、
前記振動情報に基づいて前記所定領域を決定する決定工程と、を備えることを特徴とする情報処理装置の制御方法。
【請求項２３】
画像処理システムを制御する方法であって、
複数の撮影手段から撮影画像を取得する工程と、
前記撮影手段に対する振動情報を取得する振動情報取得工程と、
前記複数の撮影手段からの前記撮影画像に基づいて仮想視点画像を生成する画像生成工程と、
前記複数の撮影手段それぞれに対する前記振動情報に基づいて、前記撮影画像のそれぞれについて前記仮想視点画像の生成に用いるか否かを判定する判定工程と、を備えることを特徴とする画像処理システムの制御方法。
【請求項２４】
コンピュータを、請求項１から１０のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を複数の方向から撮影するための複数のカメラを含む画像処理システムに関する。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。
【０００３】
複数視点画像に基づく仮想視点コンテンツの生成においては、仮想視点画像が生成される。すなわち、複数のカメラが撮影した画像がサーバなどの画像処理部に集約され、当該画像処理部が、三次元モデル生成、レンダリングなどの処理を施し、仮想視点画像を生成する。そして、この仮想視点画像をユーザ端末に伝送することで、ユーザは仮想視点コンテンツの閲覧ができる。
【０００４】
この種の画像処理を行うシステムにおいては、カメラに付加される振動が当該カメラが捉える画像のブレとなって現われ、画像処理に影響する。このような振動への対策として、ジャイロ等の振動を検出可能なセンサの出力に基づいて、カメラシステムのレンズをシフトさせて撮影する光学的な補正処理がある。また、例えば、４Ｋの解像度から２Ｋの解像度の画像を切り出すことで、画像のブレを取り除いた電子的な補正処理もある。
【０００５】
特許文献１には、立体視を可能にする複眼カメラが、光軸中心が水平方向に一致するように調整されており、複眼カメラで手振れ補正を行う技術が開示されている。個々のカメラで補正量に差が出ると、レンズの初期中心位置がずれて立体視ができなくなるため、光軸中心の位置がずれないように共通のサイズおよびアスペクト比で視点画像が切り出される構成が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１１／１１４５７２号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
光学的補正処理または電子的補正処理のどちらかを利用して補正処理を実行していた従来のカメラシステムにおいては、検出した振動信号のうち、比較的振幅の小さなブレに対しては、十分に余裕を確保して補正することが可能であった。
【０００８】
しかしながら、例えば、スタジアムなどで観客がとび跳ねたりして発生した振幅の大きなブレに対しては、十分な補正の余裕を確保することが難しい。また、複数のカメラを備えた画像処理システムにおいては、カメラごとに振幅や周波数の異なる振動が付加される。このため、上記特許文献１に記載された技術のように、同じ補正量で各カメラの画像のブレを補正すると、各補正画像を統合して仮想視点画像を生成することが困難となる場合がある。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、複数のカメラを用いて仮想視点画像を生成するシステムにおいて、カメラが振動する場合であっても、画質の高い仮想視点画像を生成できるようにすることである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係る情報処理装置は、撮影画像を取得する画像取得手段と、撮影画像を撮影した撮影装置に対する振動情報を取得する振動情報取得手段と、仮想視点画像の生成に用いる所定領域を撮影画像から切り出す切り出し手段と、振動情報に基づいて所定領域を決定する決定手段と、を備える。
【発明の効果】
【００１１】
本発明によれば、複数のカメラを用いて仮想視点画像を生成するシステムにおいて、カメラが振動する場合であっても、画質の高い仮想視点画像を生成できるようになる。
【図面の簡単な説明】
【００１２】
【図１】画像処理システム１００の構成を説明するための図。
【図２】カメラアダプタ１２０の機能構成を説明するためのブロック図。
【図３】画像処理部６１３０の構成を説明するためのブロック図。
【図４】振動情報に基づいた回転処理について説明するための図。
【図５】振動情報に基づいた画像の切り出し処理を説明するための図。
【図６】前景判定部５０１１が行う判断処理を説明するための図。
【図７】画像処理部６１３０内のキャリブレーション制御部６１３３及び前景背景分離部６１３１の処理を示すフローチャート。
【図８】背景画像の例を示す図。
【図９】画像処理部６１３０内の背景切出部５００４の処理を示すフローチャート。
【図１０】画像処理部６１３０内の三次元モデル情報生成部６１３２の処理を示すフローチャート。
【図１１】フロントエンドサーバ２３０の機能構成を説明するためのブロック図。
【図１２】データベース２５０の機能構成を説明するためのブロック図。
【図１３】バックエンドサーバ２７０の機能構成を説明するためのブロック図。
【図１４】仮想カメラ８００１について説明するための図。
【図１５】仮想カメラ操作ＵＩ３３０の機能構成を説明するためのブロック図。
【図１６】エンドユーザ端末１９０の接続構成を説明するための図。
【図１７】カメラアダプタ１２０のハードウェア構成を示すブロック図。
【発明を実施するための形態】
【００１３】
以下図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１４】
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１を用いて説明する。
【００１５】
＜画像処理システム１００の説明＞
図１は、画像処理システム１００の構成を説明するための図である。画像処理システム１００は、センサシステム１１０ａ，…，１１０ｚと、画像コンピューティングサーバ２００と、コントローラ３００と、スイッチングハブ１８０と、エンドユーザ端末１９０とを含む。
【００１６】
コントローラ３００は、制御ステーション３１０と、仮想カメラ操作ＵＩ３３０とを含む。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対して、ネットワーク３１０ａ，３１０ｂ，３１０ｃ、１８０ａ、１８０ｂ、及び１７０ａ，…，１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。
【００１７】
＜センサシステム１１０の説明＞
最初に、センサシステム１１０ａ，…，センサシステム１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作について説明する。
【００１８】
画像処理システム１００では、デイジーチェーンにより接続されたセンサシステム１１０を複数備える。ここで、本実施形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。また、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。また、情報処理装置は、例えば、カメラアダプタ１２０である。
【００１９】
センサシステム１１０ａ，…，１１０ｚは、それぞれ１台ずつのカメラ１１２ａ，…，１１２ｚを含む。すなわち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。
【００２０】
センサシステム１１０は、マイク１１１と、カメラ１１２と、雲台１１３と、外部センサ１１４と、カメラアダプタ１２０とを含んで構成されるが、この構成に限定するものではない。
【００２１】
マイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様に、センサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。
【００２２】
前述した動作を続けることにより、センサシステム１１０ａ，…，１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。
【００２３】
なお、本実施形態では、カメラ１１２ａ，…，１１２ｚと、カメラアダプタ１２０ａ，…，１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ，…，１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。
【００２４】
＜画像コンピューティングサーバ２００の説明＞
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。
【００２５】
画像コンピューティングサーバ２００は、フロントエンドサーバ２３０と、データベース２５０（以下、ＤＢと記載する場合がある。）と、バックエンドサーバ２７０と、タイムサーバ２９０とを含む。
【００２６】
タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ，…，１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ，…，１２０ｚは、カメラ１１２ａ，…，１１２ｚを、時刻と同期信号とをもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。
【００２７】
フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。
【００２８】
バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。
【００２９】
なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体に構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数存在していてもよい。また、画像コンピューティングサーバ２００の任意の位置に、上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
【００３０】
レンダリング処理された仮想視点画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、エンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴が出来る。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば、複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から切り出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。カメラアダプタ１２０による所定領域の切り出し処理の詳細については後述する。
【００３１】
本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。
【００３２】
仮想カメラ操作ＵＩ３３０は、バックエンドサーバ２７０を介してデータベース２５０にアクセスする。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。
【００３３】
このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影画像に基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
【００３４】
＜機能ブロック図の説明＞
次に、画像処理システムシステム１００における各ノード（カメラアダプタ１２０、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、仮想カメラ操作ＵＩ３３０、エンドユーザ端末１９０）の機能ブロック図を説明する。
【００３５】
図２は、カメラアダプタ１２０の機能構成を説明するためのブロック図である。カメラアダプタ１２０は、ネットワークアダプタ６１１０と、伝送部６１２０と、画像処理部６１３０と、外部機器制御部６１４０と、を含む。ネットワークアダプタ６１１０は、データ送受信部６１１１と、時刻制御部６１１２とを含む。
【００３６】
データ送受信部６１１１は、デイジーチェーン１７０、ネットワーク２９１、及びネットワーク３１０ａを介し、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えば、データ送受信部６１１１は、カメラ１１２による撮影画像から前景背景分離部６１３１により分離された前景画像と背景画像とを、別のカメラアダプタ１２０に対して出力する。出力先のカメラアダプタ１２０は、画像処理システム１００のカメラアダプタ１２０のうち、データルーティング処理部６１２２の処理に応じて予め定められた順序における次のカメラアダプタ１２０である。各カメラアダプタ１２０が、前景画像及び背景画像を出力することで、複数の視点から撮影された前景画像と背景画像とに基づいた仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在してもよい。
【００３７】
時刻制御部６１１２は、例えば、ＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う機能とを有する。なお、ＩＥＥＥ１５８８に限定する訳ではなく、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。
【００３８】
伝送部６１２０は、データ圧縮・伸張部６１２１と、データルーティング処理部６１２２と、時刻同期制御部６１２３と、画像・音声伝送処理部６１２４と、データルーティング情報保持部６１２５とを含む。
【００３９】
データ圧縮・伸張部６１２１は、データ送受信部６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有している。
【００４０】
データルーティング処理部６１２２は、後述するデータルーティング情報保持部６１２５が保持するデータを利用し、データ送受信部６１１１が受信したデータ及び画像処理部６１３０で処理されたデータのルーティング先を決定する。さらに、決定したルーティング先へデータを送信する機能を有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが、それぞれのカメラ１１２同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１２０それぞれのデータルーティング処理部６１２２による決定に応じて、画像処理システム１００において前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。
【００４１】
時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく、他の同様のプロトコルを利用して時刻同期してもよい。
【００４２】
画像・音声伝送処理部６１２４は、画像データ又は音声データを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには、画像データ又は音声データ、及び各データのメタ情報が含まる。本実施形態のメタ情報には、画像の撮影または音声のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。なお、送信する画像データまたは音声データは、データ圧縮・伸張部６１２１でデータ圧縮されていてもよい。また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０からデータ送受信部６１１１を介してメッセージを受取る。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データまたは音声データに復元する。なお、データを復元した際にデータが圧縮されている場合は、データ圧縮・伸張部６１２１が伸張処理を行う。
【００４３】
データルーティング情報保持部６１２５は、データ送受信部６１１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。
【００４４】
外部機器制御部６１４０は、カメラアダプタ１２０に接続する機器を制御する機能を有し、カメラ制御部６１４１と、マイク制御部６１４２と、雲台制御部６１４３と、センサ制御部６１４４とを含む。
【００４５】
カメラ制御部６１４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスなど）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。同期信号提供は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。
【００４６】
センサ制御部６１４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用されると、振動を表す情報（以下、「振動情報」と呼ぶ。）を取得することができる。そして、センサ制御部６１４４が取得した振動情報を用い、画像処理部６１３０は、撮影画像から所定領域を切り出す。なお、センサシステム１１０のセンサは外部センサ１１４に限定するわけではなく、カメラアダプタ１２０に内蔵されたセンサであっても同様の効果が得られる。振動情報取得手段は、例えば、センサ制御部６１４４である。
【００４７】
振動情報は、外部センサ１１４で検出される物理的振動を、センサ制御部６１４４でアナログ情報からデジタル情報に変換したデータである。そして、画像処理部６１３０は、振動情報に基いた画像の切り出し処理（図３において詳述する。）および隣接設置されたカメラ１１２の画像との位置合わせを実行する。位置合わせは、例えば、隣接のカメラ画像をカメラの設置情報から射影変換し、各画像の輝度分布から特徴点を抽出し、当該特徴点同士をマッチングさせることで行う。なお、位置合わせと振動情報に基づく切り出し処理の実行順序は、装置のメモリや伝送速度などで適宜決定すればよい。
【００４８】
また、振動検出可能な外部センサ１１４は、カメラごとではなく、所定の間隔で間引いた状態で設置してもよい。すなわち、外部センサ１１４の個数は、カメラの個数より少なくてもよい。外部センサ１１４の取付位置、カメラの取付位置、さらには振動発生源やセンサシステムを取り付ける構造物において予め測定しておく振動データに基づいて、外部センサがないカメラの振動情報を補完して生成してもよい。
【００４９】
次に、図３を参照して、画像処理部６１３０の構成について詳述する。図３は、画像処理部６１３０の構成を説明するためのブロック図である。画像処理部６１３０は、前景背景分離部６１３１と、三次元モデル情報生成部６１３２と、キャリブレーション制御部６１３３とを含む。
【００５０】
キャリブレーション制御部６１３３は、上述したように入力された画像に対して切り出し処理や位置合わせを行う。本実施形態における画像処理システム１００では、複数のカメラによる撮影範囲が重複しているため、各カメラで撮影された撮影画像全体を常に取得する必要はない。そこで、画像処理部６１３０は、各撮影画像から所定領域を切り出し、切り出した画像について画像処理を行う。カメラが振動しても常に同一の実空間の画像が切り出されるようにするため、キャリブレーション制御部６１３３は、振動情報に基づいて切り出す領域を決定する。
【００５１】
キャリブレーション制御部６１３３は、例えば、８Ｋカメラの画像データを、振動情報に基づいて、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像と位置合わせを行う。この結果、電子的に防振された画像を生成でき、画像コンピューティングサーバ２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。
【００５２】
図４及び図５を参照して、振動情報に基づいた切り出し処理について説明する。キャリブレーション制御部６１３３は、上述したように、振動情報に基づいて撮影画像から所定領域（解像度）について切り出し処理を行う。具体的には、振動情報の各方向の振動振幅および回転方向に基づいて、その切り出し方向、原点からのシフト量を決定する。
【００５３】
図４は、振動情報に基づいた回転処理について説明するための図である。外部センサ１１４は、２軸（Ｘ軸（水平）、Ｙ軸（鉛直））について振動情報を出力する。これらの情報に基づいて、キャリブレーション制御部６１３３は、撮影画像１を回転させて補正処理画像２となるように補正する。なお、外部センサ１１４として、３軸（Ｘ軸、Ｙ軸、Ｚ軸）の情報が得られる場合は、上記に加えて図４の視点方向（奥行き方向）をＺ軸方向として、補正することも可能である。また、外部センサ１１４は、ジャイロセンサや加速度センサなど、２軸または３軸で振動情報が出力できればどのようなものを用いてもよい。
【００５４】
図５は、振動情報に基づいた画像の切り出し処理を説明するための図である。図５（ａ）は、振動がない状態を示している。撮影画像５０１において、領域５０２で切り出し処理を行う。振動がない状態では、撮影画像５０１の所定位置（例えば、中央）に所定の解像度、すなわち所定のサイズの切り出し領域５０２を設定する。
【００５５】
図５（ｂ）は、振動が小さい状態で、振動がない場合の切り出し領域５０３と、振動情報に基づいてシフトさせた切り出し領域５０４とが示されている。図に示すように、解像度としては同一の範囲であるが、振動情報に基づいたシフト方向とシフト量で切り出し領域５０４が決定される。
【００５６】
図５（ｃ）は、振動が比較的大きい状態で、振動がない場合の切り出し領域５０３と、振動情報に基づいてシフトさせた切り出し領域５０６が示されている。ここで、切り出し領域５０６のうち斜線の領域５０７は、撮影画像５０１外であり、画像データがない領域である。画像データがない領域については、所定の解像度（所定のサイズの画像）となるようにパディングが施される。以上のように、キャリブレーション制御部６１３３で切り出された画像は、前景背景分離部６１３１へ入力される。
【００５７】
図３に戻って、前景背景分離部６１３１について説明する。前景背景分離部６１３１は、切り出し画像を前景画像と背景画像とに分離する機能を有している。
【００５８】
カメラアダプタ１２０の前景背景分離部６１３１は、まず対応するカメラ１１２による撮影画像（切り出し画像）から前景領域を抽出する。ここで、前景領域は、例えば、撮影画像に対するオブジェクト検出の結果、オブジェクトが検出された領域である。前景背景分離部６１３１は、撮影画像から抽出した前景領域内の画像を前景画像、前景領域以外の領域の画像（前景画像以外）を背景画像として、撮影画像を前景画像と背景画像とに分離する。なお、オブジェクトとは、例えば、人物である。ただし、これに限られず、オブジェクトは、特定の人物（選手、監督、及び／又は審判など）であっても良いし、ボール等の画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景画像を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景画像と背景画像の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。
【００５９】
前景背景分離部６１３１は、前景分離部５００１と、背景更新部５００３と、背景切出部５００４と、振動判定部５０１０と、前景判定部５０１１とを有する。前景分離部５００１は、入力された画像に対して、オブジェクト検出を行って前景領域を抽出する。例えば、背景画像５００２と比較して得られた背景差分情報に基づいて、前景領域を抽出する。そして、前景領域の各画素を連結して前景画像を生成する。
【００６０】
背景更新部５００３は、背景画像５００２とキャリブレーション制御部６１３３によってカメラ１１２の位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像５００２を新しい背景画像に更新する。
【００６１】
背景切出部５００４は、背景画像の伝送のため、背景画像５００２の一部を切り出す制御を行う。振動判定部５０１０は、外部センサ１１４の出力値を処理するセンサ制御部６１４４から振動情報の出力を読み込む。そして、振動情報の振幅について所定の閾値と比較処理を行う。前景判定部５０１１は、前景分離部５００１で分離した前景画像であるオブジェクト全体が撮影画像内に存在するか否かの判断処理を実行する。そして、判断結果に基づき伝送部６１２０に前景画像を送る。
【００６２】
ここで、図６を参照して、前景判定部５０１１が行う判断処理について説明する。図６は、前景判定部５０１１が行う判断処理を説明するための図である。図６では、撮影画像６０１について、振動がない状態の切り出し領域６０２が示されている。
【００６３】
図６（ａ）において、矩形の領域６０３は、振動情報に基づいて領域６０２からシフトされた切り出し領域である。領域６０３においてオブジェクトが検出された領域が、白いシルエットで表されており、切り出し画像のうち、このシルエット内の画像が前景画像６０５である。切り出し領域６０３のうち、領域６１０は撮影画像６０１外であり、画像データがない領域である。
【００６４】
図６（ｂ）において、矩形の領域６０６は、振動情報に基づいて領域６０２からシフトされた切り出し領域である。領域６０６においてオブジェクト検出された領域が、白いシルエットで表されている。撮影画像６０１外の領域６１１は、画像データがない領域であり、前景画像６０７は、前景画像６０５に比べると領域６１１に係るシルエットの脚部分が切れている。
【００６５】
前景判定部５０１１は、前景画像６０５及び６０７について、三次元モデル情報生成部６１３２へ伝送するか否かを、前景画像が後工程における三次元モデルの生成に有効であるか否かによって判定する。すなわち、前景画像として抽出したオブジェクトの全体が撮影画像内に収まっているか否かで判定する。例えば、検出されたオブジェクトの部分から全体の大きさを推定し、推定されたオブジェクトの全体が撮影画像に収まっている場合は、前景画像は三次元モデルの生成に使用できる（有効である）と判定する。また、前景判定部５０１１は、オブジェクトの全体について判定することに限らず、全体の９０％、全体の８０％のように全体の所定以上の割合が撮影画像に収まっている場合に、当該オブジェクトの前景画像が有効であると判定するようにしてもよい。
【００６６】
なお、上記に限らず、例えば、検出されたオブジェクトのエッジと、切り出し画像の端辺（撮影画像の端辺）とが重なる場合に、推定されるオブジェクトの全体は、撮影画像に収まっていないと判定するようにしてもよい。
【００６７】
図６（ａ）では、前景画像６０５の下端６０４は、撮影画像６０１内であり、前景画像６０５は、人型のオブジェクト全体を表している。この場合、前景判定部５０１１は、前景画像６０５は後工程における三次元モデルの生成に有効であると判定する。
【００６８】
図６（ｂ）では、領域６１１を除いた領域６０６に係るシルエットから、人型のシルエットがオブジェクト全体の大きさとして推定される。この場合、前景判定部５０１１は、前景画像６０７はオブジェクト全体を表していないため、三次元モデルの生成に有効ではないと判定する。
【００６９】
なお、図６において切り出し領域が上下方向にシフトした場合について説明したが、切り出し領域が左右方向にシフトした場合についても、前景判定部５０１１は同様に前景画像が有効であるか否かを判定する。
【００７０】
上述した前景判定部５０１１の判定結果に応じて、前景分離部５００１で分離された前景画像が伝送部６１２０を介して三次元モデル情報生成部６１３２に伝送される。
【００７１】
図３に戻って、三次元モデル情報生成部６１３２について説明する。三次元モデル情報生成部６１３２は、三次元モデル処理部５００５と、他カメラ前景受信部５００６と、カメラパラメータ受信部５００７とを有する。
【００７２】
他カメラ前景受信部５００６は、他のカメラアダプタ１２０で前景背景分離された前景画像を受信する。カメラパラメータ受信部５００７は、カメラ固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）を受信する。
【００７３】
三次元モデル処理部５００５は、前景分離部５００１で分離された前景画像と、伝送部６１２０を介して受信した他のカメラ１１２の前景画像を用いて、例えば、ステレオカメラの原理等から三次元モデルに関わる画像情報を逐次生成する。
【００７４】
次に、図７〜１０を参照して、上述した画像処理部６１３０の処理の流れについて説明する。図７は、画像処理部６１３０内のキャリブレーション制御部６１３３及び前景背景分離部６１３１の処理を示すフローチャートである。ステップＳ１０１において、振動判定部５０１０は、外部センサ１１４の出力値を処理するセンサ制御部６１４４から振動情報を読み込む。
【００７５】
ステップＳ１０２において、振動判定部５０１０は、振動情報の振幅値について所定の閾値と比較処理を行う。この閾値は、カメラを取り付ける場所において、あらかじめ計測して設定される値であり、以降の画像処理が不可能となる振動振幅として設定されるものである。振動情報の振幅値が所定の閾値を超える場合（ステップＳ１０２において、ＮＯ）、処理はステップＳ１０３に進む。所定の閾値以下の場合（ステップＳ１０２において、ＹＥＳ）、処理はステップＳ１０４に進む。
【００７６】
ステップＳ１０３では、振動判定部５０１０は、振動情報の振幅値が所定の閾値を超えた旨のエラー情報を撮像画像のメタ情報にセットする。撮像画像のメタ情報は伝送部６１２０に送られる。この処理によって、位置合わせや前景背景分離処理などの画像処理を実行せず、いち早くエラー状態として出力することが可能となる。そして、処理は終了する。
【００７７】
ステップＳ１０４では、振動判定部５０１０は、伝送部６１２０を介して所定範囲内の一番近い隣接カメラから、そのさらに隣接カメラへと順次、撮像画像のメタ情報を読み出し、エラーの有無を調べる。そして、エラーの発生していないメタ情報を送信したカメラが所定範囲内かどうかを判断する。すなわち、エラーの無い（非エラーの）、最も近隣のカメラが所定範囲内に存在するかを判定する。なお、所定範囲内とは、そのカメラの画像を用いて、当該カメラの画像処理が実行可能である範囲であって、カメラの設置位置や設置角度などであらかじめ設定されるものである。そうして、所定範囲内のカメラで読み出し可能と判断された場合（ステップＳ１０４において、ＹＥＳ）は、ステップＳ１０６に進む。所定範囲外となった場合（ステップＳ１０４において、ＮＯ）は、ステップＳ１０５に進むことになる。
【００７８】
ステップＳ１０５では、振動判定部５０１０は、読み出すべき隣接カメラが所定範囲外となった旨のエラー情報を撮像画像のメタ情報にセットする。撮像画像のメタ情報は伝送部６１２０に送られる。そして、処理は終了する。ステップＳ１０６では、キャリブレーション制御部６１３３は、エラー無しカメラの画像を読み出す。
【００７９】
ステップＳ１０７では、キャリブレーション制御部６１３３は、撮影画像に対して切り出し処理を行う。すなわち、カメラに内蔵された加速度センサあるいはジャイロセンサなどのセンサからの振動情報に基づいて入力画像に対する画像位置のシフトや画像の回転処理を行い、所定の領域を切り出す処理を行う。これにより、フレーム画像間のブレが抑制されるが、ブレ補正の手法としてはその他の方法を用いてもよい。例えば、時間的に連続した複数のフレーム画像を比較することで画像の移動量を推定し補正するような画像処理による方法や、レンズシフト方式及びセンサシフト方式などのカメラの内部で実現する方法等でもよい。また、キャリブレーション制御部６１３３は、フロントエンドサーバ２３０から受信したパラメータに基づいて、入力画像の画素値にオフセット値を加算するなどの色補正処理も行う。
【００８０】
ステップＳ１０８では、キャリブレーション制御部６１３３は、切り出し画像とステップＳ１０６で読み出した画像との位置合わせ処理を実行する。例えば、隣接のカメラ画像をカメラの設置情報から射影変換し、各画像の輝度分布から特徴点を抽出し、当該特徴点同士をマッチングさせる。
【００８１】
ステップＳ１０９では、キャリブレーション制御部６１３３は、位置合わせ処理が成功したか否かを判断する。例えば、撮影範囲内に旗などの大きな物体があり、撮像画像が大きく異なっている等により、画像間で特徴点のマッチングがとれなかった場合は、位置合わせ処理が成功しなかった（失敗した）と判断する。位置合わせが成功しなかったと判断した場合（ステップＳ１０９において、ＮＯ）には、処理はステップＳ１１０に進む。位置合わせ処理が成功したと判断した場合（ステップＳ１０９において、ＹＥＳ）には、処理はステップＳ１１１に進む。
【００８２】
ステップＳ１１０では、キャリブレーション制御部６１３３は、位置合わせ処理が成功しなかった旨のエラー情報を撮像画像のメタ情報にセットする。撮影画像のメタ情報は伝送部６１２０に送られる。そして、処理は終了する。
【００８３】
ステップＳ１１１では、前景分離部５００１は、キャリブレーション制御部６１３３から入力された画像について、前景画像と背景画像に分離する処理を実行する。
【００８４】
ステップＳ１１２では、前景判定部５０１１は、振動情報に基づいてシフトされた切り出し領域全体が撮影画像に含まれるかどうかを判断する。例えば、撮影画像が表す矩形の座標情報と切り出し領域の座標情報とを比較すればよい。切り出し領域全体が撮影画像内にない場合（ステップＳ１１２において、ＮＯ）は、処理はステップＳ１１３に進む。切り出し領域全体が撮影画像内にある場合（ステップＳ１１２において、ＹＥＳ）は、処理はステップＳ１１５に進む。
【００８５】
ステップＳ１１３では、前景判定部５０１１は、ステップＳ１１１で前景分離部５００１が出力した前景画像のオブジェクト全体が撮影画像に含まれるかどうかを判断する。例えば、前景画像として抽出された人物やボール等のオブジェクト全体が撮影画像に含まれているかを、撮影画像が表す矩形の座標情報と前景画像の座標情報とを比較する。前景画像のオブジェクト全体が撮影画像に含まれていない場合（ステップＳ１１３において、ＮＯ）は、処理はステップＳ１１４に進む。前景画像のオブジェクト全体が撮影画像に含まれている場合（ステップＳ１１３において、ＹＥＳ）は、処理はステップＳ１１５に進む。
【００８６】
ステップＳ１１４では、前景判定部５０１１は、撮像画像のメタ情報に前景画像のオブジェクト全体が撮影画像に含まれていない旨のエラー情報をセットする。この場合には前景画像の出力は行われない。
【００８７】
ステップＳ１１５では、前景判定部５０１１は、前景分離部５００１が出力した前景画像を、伝送部６１２０に送る。なお、ステップＳ１０３，Ｓ１０５，Ｓ１１０，Ｓ１１４でメタ情報にセットされたエラー情報は、他のカメラアダプタ１２０が実行するステップＳ１０４の判定に用いられる。また、ステップS１０７の切り出し処理は、位置合わせ処理が成功した後で行ってもよい。
【００８８】
上述した処理により、あらかじめ設定された振動の大きさによって伝送をするかどうかを決めるよりも、以下の効果が期待できる。すなわち、リアルタイムのシーンの画像によって、前景画像のオブジェクト全体が撮影画像内にあるかどうかを判断してから伝送するかどうかを決定するので、実質的に振動に対して補正領域を拡大するのと同等の効果を得ることができる。言い換えると、本実施形態では、カメラの撮影画像を仮想視点画像の生成のために用いるべきか否かを、当該撮影画像内におけるオブジェクトの位置の情報を用いて判断する。これにより、単なるカメラの振動レベルに基づいて判断するよりも、画質の高い仮想視点画像を生成できる可能性が高まる。
【００８９】
なお、本実施形態の前景分離部５００１は、入力された画像の各画素と、背景画像５００２内の対応する位置にある画素との画素値の差分に基づいて撮影画像から前景領域を抽出する。ここで、図８（Ａ）に示した背景画像５００２に対して、図８（Ｂ）のような、人物が映っている画像５１０２が入力されたとすると、人物が映っている領域の各画素においては差分が大きくなる。差分が閾値Ｌより大きい場合には、その画素が前景として設定される。そして、前景画素を連結することにより、前景領域が抽出される。連結方法としては、例えば、公知の領域成長法を用いることができる。なお、前景検出についてはこの他にも、特徴量や機械学習を用いる手法などさまざまな手法がある。前景分離部５００１は、前景領域の画像（前景画像）を伝送部６１２０へ出力する。
【００９０】
次に、背景更新部５００３による背景更新処理（背景画像の生成処理）について説明する。背景更新部５００３は、入力画像と、メモリに保存されている背景画像とを用いて、背景画像５００２を更新する処理を行う。更新処理は各画素に対して行われる。より具体的には、背景更新部５００３は、入力画像の各画素に対して、背景画像内の対応する位置にある画素との画素値の差分を導出する。そして、差分が定められた閾値Ｋより小さい画素は背景であると判断し、差分が閾値Ｋより大きい画素は、背景以外の何らかのオブジェクトが映っていると判断する。
【００９１】
次いで、背景更新部５００３は、背景であると判断した画素について、入力画像の画素値と背景画像の画素値とを一定の比率で混合した値によって、背景画像を更新する。このようにして背景画像５００２は生成される。なお、背景更新処理については他にも様々な手法が考えられる。
【００９２】
背景更新部５００３の処理の後、背景切出部５００４は、背景画像５００２からその一部を読み出し、伝送部６１２０へ送信する。スタジアム等でサッカーなどの競技を撮影する際に、フィールド全体を死角なく撮影できるようカメラ１１２を複数配置した場合、カメラ１１２間で背景情報の大部分が重複するという特徴がある。背景情報は膨大なため、伝送帯域制約の面から重複した部分は削除して伝送することで伝送量を削減することができる。次に、図９を参照して、背景切出部５００４の処理を説明する。
【００９３】
図９は、画像処理部６１３０内の背景切出部５００４の処理を示すフローチャートである。ステップＳ４０１では、背景切出部５００４は、例えば、図８（Ｃ）に示す部分領域３４０１のように、背景画像５００２の中央部分を設定する。つまり、部分領域３４０１は自カメラ１１２が伝送を担当する背景画像の領域であり、それ以外の領域は、他のカメラ１１２が伝送を担当する。
【００９４】
ステップＳ４０２では、背景切出部５００４は、設定された背景画像の部分領域３４０１を切り出す。
【００９５】
ステップＳ４０３では、背景切出部５００４は、部分背景画像を伝送部６１２０へ出力し、処理を終了する。
【００９６】
出力された背景画像は画像コンピューティングサーバ２００に集められ、背景モデルのテクスチャとして利用される。各カメラアダプタ１２０において背景画像５００２を切出す位置は、背景モデルに対するテクスチャ情報が不足しないように、予め決められたパラメータ値に応じて設定されている。通常は伝送データ量をより少なくするため、切出す領域は必要最小限となるように設定される。これにより、膨大な背景情報の伝送量を削減できるという効果があり、高解像度化にも対応できるシステムにすることができる。
【００９７】
前景背景分離部６１３１の処理後、三次元モデル情報生成部６１３２は、前景画像を用いて三次元モデル情報の生成を行う。カメラアダプタが隣のカメラからの前景画像を受信すると、伝送部６１２０を介して他カメラ前景受信部５００６にその前景画像が入力される。
【００９８】
次に、図１０を参照して、前景画像が入力されたときに三次元モデル処理部５００５が実行する処理を説明する。ここで、画像コンピューティングサーバ２００が各カメラ１１２の撮影画像を集め、画像処理を開始し仮想視点画像を生成する場合に、計算量が多く画像生成に係る時間が長くなることが考えられる。特に、三次元モデル生成における計算量が顕著に大きくなるおそれがある。そこで、図１０に示す処理では、画像コンピューティングサーバ２００における処理量を低減するために、カメラアダプタ１２０間をデイジーチェーンでつないでデータを伝送する中で、逐次三次元モデル情報を生成する方法について説明する。
【００９９】
図１０は、画像処理部６１３０内の三次元モデル情報生成部６１３２の処理を示すフローチャートである。ステップＳ５０１では、他カメラ前景受信部５００６は、他のカメラ１１２により撮影された前景画像を受信する。
【０１００】
ステップＳ５０２では、三次元モデル処理部５００５は、受信した前景画像を撮影したカメラ１１２が自カメラ１１２と同一注視点のグループに属し、且つ、隣接カメラであるかどうかを確認する。注視点が同一グループかつ隣接カメラである場合（ステップＳ５０２において、ＹＥＳ）、処理はステップＳ５０３に進む。そうでない場合（ステップＳ５０２において、ＮＯ）、三次元モデル処理部５００５は、当該他カメラ１１２の前景画像との相関がないと判断し、処理は終了する。
【０１０１】
ステップＳ５０３では、三次元モデル処理部５００５は、前景画像のデプス情報の導出を行う。前景画像のデプス情報の導出は、具体的には、まず前景分離部５００１から受信した前景画像と他のカメラ１１２の前景画像との対応付けを行う。そして、対応付けされた各画素の座標値とカメラパラメータに基づいて、各前景画像上の各画素のデプス情報を導出する。ここで、画像の対応付けの手法としては、例えば、ブロックマッチング法が用いられる。ブロックマッチング法は良く知られた方法であるので詳細な説明は省く。また、対応付けの方法としてはその他にも、特徴点検出、特徴量算出、及びマッチング処理などを組み合わせて性能を向上させるようなさまざまな手法があり、どの手法を用いてもよい。
【０１０２】
ステップＳ５０４では、三次元モデル処理部５００５は、前景画像の三次元モデル情報を導出する。三次元モデル情報の導出は、具体的には、前景画像の各画素について、ステップＳ５０３で導出したデプス情報と、カメラパラメータ受信部５００７に格納されたカメラパラメータに基づいて画素の世界座標値を導出する。そして、世界座標値と画素値をセットとして、点群として構成される三次元モデルの１つの点データを設定する。以上の処理により、前景分離部５００１から受信した前景画像から得られた三次元モデルの一部の点群情報と、他のカメラ１１２の前景画像から得られた三次元モデルの一部の点群情報とが得られる。
【０１０３】
ステップＳ５０５では、三次元モデル処理部５００５は、得られた三次元モデル情報にカメラ番号およびフレーム番号をメタ情報として付加し（メタ情報は、例えば、タイムコードや絶対時刻でもよい。）伝送部６１２０へ出力する。
【０１０４】
これによって、カメラアダプタ１２０間がデイジーチェーンで接続され、かつ、複数の注視点が設定される場合でも、デイジーチェーンによってデータを伝送しながら、カメラ１１２間の相関に応じて画像処理を行い、三次元モデル情報を逐次生成することができる。その結果、処理が高速化される効果がある。
【０１０５】
なお本実施形態では、以上に説明した各処理はカメラアダプタ１２０に実装されたＦＰＧＡまたはＡＳＩＣなどのハードウェアによって実行されるが、例えばＣＰＵ、ＧＰＵ、ＤＳＰなどを用いてソフトウェア処理によって実行してもよい。また本実施形態ではカメラアダプタ１２０内で三次元モデル情報生成を実行したが、各カメラ１１２からの全ての前景画像が集められる画像コンピューティングサーバ２００が三次元モデル情報の生成を行ってもよい。
【０１０６】
＜フロントエンドサーバ２３０の機能ブロック＞
図１１は、フロントエンドサーバ２３０の機能構成を説明するためのブロック図である。フロントエンドサーバ２３０は、制御部２１１０と、データ入力制御部２１２０と、データ同期部２１３０と、ＣＡＤデータ記憶部２１３５と、キャリブレーション部２１４０と、画像処理部２１５０とを含む。さらに、フロントエンドサーバ２３０は、三次元モデル結合部２１６０と、画像結合部２１７０と、撮影データファイル生成部２１８０と、非撮影データファイル生成部２１８５と、ＤＢアクセス制御部２１９０とを含む。
【０１０７】
制御部２１１０は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、Ｅｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、フロントエンドサーバ２３０の各機能ブロック及びフロントエンドサーバ２３０のシステム全体の制御を行う。また、モード制御を行って、キャリブレーション動作や撮影前の準備動作、及び撮影中動作などの動作モードを切り替える。また、例えば、ネットワーク３１０ｂ（Ｅｔｈｅｒｎｅｔ（登録商標））を通じて制御ステーション３１０からの制御指示を受信し、各モードの切り替えやデータの入出力などを行う。また、同じくネットワーク３１０ｂを通じて制御ステーション３１０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、スタジアムＣＡＤデータをＣＡＤデータ記憶部２１３５と撮影データファイル生成部２１８０に送信する。なお、本実施形態におけるスタジアムＣＡＤデータ（スタジアム形状データ）はスタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、ＣＡＤ形式に限定されない。
【０１０８】
データ入力制御部２１２０は、ネットワーク１８０ａ，１８０ｂ（Ｅｔｈｅｒｎｅｔ（登録商標））等の通信路とスイッチングハブ１８０を介して、カメラアダプタ１２０とネットワーク接続されている。そして、データ入力制御部２１２０は、ネットワーク１８０ａ，１８０ｂ、スイッチングハブ１８０を通してカメラアダプタ１２０から前景画像、背景画像、被写体の三次元モデル、音声データ、及びカメラキャリブレーション撮影画像データを取得する。また、データ入力制御部２１２０は、取得した前景画像及び背景画像を、データ同期部２１３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部２１４０に送信する。
【０１０９】
データ同期部２１３０は、カメラアダプタ１２０から取得したデータをＤＲＡＭ上に一次的に記憶し、前景画像、背景画像、音声データ及び三次元モデルデータが揃うまでバッファする。なお、前景画像、背景画像、音声データ及び三次元モデルデータをまとめて、以降では撮影データと称する。撮影データにはルーティング情報やタイムコード情報（時間情報）、カメラ識別子、位置合わせの可否、前景画像の撮影範囲内外の判定等のメタ情報が付与されており、データ同期部２１３０は、このメタ情報を元にデータの属性を確認する。これにより、データ同期部２１３０は、同一時刻のデータであることなどを判断してデータがそろったことを確認する。これは、ネットワークによって各カメラアダプタ１２０から転送されたデータについて、ネットワークパケットの受信順序は保証されず、ファイル生成に必要なデータが揃うまでバッファする必要があるためである。データがそろったら、データ同期部２１３０は、前景画像及び背景画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。
【０１１０】
ＣＡＤデータ記憶部２１３５は、制御部２１１０から受け取ったスタジアム形状を示す三次元データを、ＤＲＡＭまたはＨＤＤやＮＡＮＤメモリ等の記憶媒体に保存する。そして、画像結合部２１７０に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。
【０１１１】
キャリブレーション部２１４０は、カメラのキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを後述する非撮影データファイル生成部２１８５に送る。また同時に、自身の記憶領域にもカメラパラメータを保持し、後述する三次元モデル結合部２１６０にカメラパラメータ情報を提供する。
【０１１２】
画像処理部２１５０は、前景画像や背景画像に対して、カメラ間の色や輝度値の合わせこみ、ＲＡＷ画像データが入力される場合には現像処理、及びカメラのレンズ歪みの補正等の処理を行う。そして、画像処理を行った前景画像は、撮影データファイル生成部２１８０に、背景画像は画像結合部２１７０にそれぞれ送信する。
【０１１３】
三次元モデル結合部２１６０は、カメラアダプタ１２０から取得した同一時刻の三次元モデルデータをキャリブレーション部２１４０が生成したカメラパラメータを用いて結合する。そして、例えば、ＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。生成した三次元モデルは撮影データファイル生成部２１８０に送信される。
【０１１４】
画像結合部２１７０は、画像処理部２１５０から背景画像を取得し、ＣＡＤデータ記憶部２１３５からスタジアムの三次元形状データ（スタジアム形状データ）を取得し、取得したスタジアムの三次元形状データの座標に対する背景画像の位置を特定する。背景画像の各々についてスタジアムの三次元形状データの座標に対する位置が特定できると、背景画像を結合して１つの背景画像とする。なお、本背景画像の三次元形状データの作成については、バックエンドサーバ２７０が実施してもよい。
【０１１５】
撮影データファイル生成部２１８０は、データ同期部２１３０から音声データを、画像処理部２１５０から前景画像を、三次元モデル結合部２１６０から三次元モデルデータを、画像結合部２１７０から三次元形状に結合された背景画像を取得する。そして、取得したこれらのデータをＤＢアクセス制御部２１９０に対して出力する。ここで、撮影データファイル生成部２１８０は、これらのデータをそれぞれの時間情報に基づいて対応付けて出力する。ただし、これらのデータの一部を対応付けて出力してもよい。例えば、撮影データファイル生成部２１８０は、前景画像と背景画像とを、前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて出力する。また例えば、撮影データファイル生成部２１８０は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて対応付けて撮影データとして出力する。
【０１１６】
非撮影データファイル生成部２１８５は、キャリブレーション部２１４０からカメラパラメータ、制御部２１１０からスタジアムの三次元形状データを取得し、ファイル形式に応じて成形した後にＤＢアクセス制御部２１９０に送信する。
【０１１７】
ＤＢアクセス制御部２１９０は、ＩｎｆｉｎｉＢａｎｄなどにより高速な通信が可能となるようにデータベース２５０と接続される。そして、撮影データファイル生成部２１８０及び非撮影データファイル生成部２１８５から受信したファイルをデータベース２５０に対して送信する。本実施形態では、撮影データファイル生成部２１８０が時間情報に基づいて対応付けた撮影データは、フロントエンドサーバ２３０とネットワークを介して接続される記憶装置であるデータベース２５０へＤＢアクセス制御部２１９０を介して出力される。
【０１１８】
本実施形態ではフロントエンドサーバ２３０が前景画像と背景画像の対応付けを行うものとするが、これに限らず、データベース２５０が対応付けを行ってもよい。例えば、データベース２５０はフロントエンドサーバ２３０から時間情報を有する前景画像及び背景画像を取得する。そしてデータベース２５０は、前景画像と背景画像とを前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて、データベース２５０が備える記憶部に出力してもよい。
【０１１９】
＜データベース２５０の機能ブロック＞
図１２は、データベース２５０の機能構成を説明するためのブロック図である。データベース２５０は、制御部２４１０と、データ入力部２４２０と、データ出力部２４３０と、キャッシュ２４４０と、一次ストレージ２４５０とを有する。また、一次ストレージ２４５０は、二次ストレージ２４６０と接続されている。
【０１２０】
制御部２４１０は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、及びＥｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、データベース２５０の各機能ブロック及びデータベース２５０のシステム全体の制御を行う。
【０１２１】
データ入力部２４２０は、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、フロントエンドサーバ２３０から撮影データや非撮影データのファイルを受信する。受信したファイルは、キャッシュ２４４０に送られる。また、受信した撮影データのメタ情報を読み出し、メタ情報に記録されたタイムコード情報やルーティング情報、カメラ識別子等の情報を元に、取得したデータへのアクセスが可能になるようにデータベーステーブルを作成する。
【０１２２】
データ出力部２４３０は、バックエンドサーバ２７０から要求されたデータが後述するキャッシュ２４４０、一次ストレージ２４５０、二次ストレージ２４６０のいずれに保存されているか判断する。そして、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、保存された先からデータを読み出してバックエンドサーバ２７０に送信する。
【０１２３】
キャッシュ２４４０は、高速な入出力スループットを実現可能なＤＲＡＭ等の記憶装置を有しており、データ入力部２４２０から取得した撮影データや非撮影データを記憶装置に格納する。格納されたデータは一定量保持され、それを超えるデータが入力される場合に、古いデータから随時一次ストレージ２４５０へと書き出され、書き出し済みのデータは新たなデータによって上書きされる。キャッシュされたデータはデータ出力部２４３０によって読み出される。
【０１２４】
一次ストレージ２４５０は、ＳＳＤ等のストレージメディアを並列につなぐなどして構成される。データ入力部２４２０からの大量のデータの書き込み及びデータ出力部２４３０からのデータ読み出しが同時に実現できる。そして、一次ストレージ２４５０には、キャッシュ２４４０上に格納されたデータの古いものから順に書き出される。
【０１２５】
二次ストレージ２４６０は、ＨＤＤやテープメディア等で構成される。高速性よりも大容量が重視され、一次ストレージ２４５０と比較して安価で長期間の保存に適するメディアであることが求められる。二次ストレージ２４６０には、撮影が完了した後、データのバックアップとして一次ストレージ２４５０に格納されたデータが書き出される。
【０１２６】
＜バックエンドサーバ２７０の説明＞
図１３は、バックエンドサーバ２７０の機能構成を説明するためのブロック図である。バックエンドサーバ２７０は、データ受信部３００１と、背景テクスチャ貼り付け部３００２と、前景テクスチャ決定部３００３と、テクスチャ境界色合わせ部３００４と、仮想視点前景画像生成部３００５と、レンダリング部３００６とを有する。さらに、仮想視点音声生成部３００７と、合成部３００８と、画像出力部３００９と、前景オブジェクト決定部３０１０と、要求リスト生成部３０１１と、要求データ出力部３０１２と、レンダリングモード管理部３０１４とを有する。
【０１２７】
データ受信部３００１は、データベース２５０およびコントローラ３００から送信されるデータを受信する。また、データベース２５０からは、スタジアムの形状を示す三次元データ（スタジアム形状データ）、前景画像、背景画像、前景画像の三次元モデル（以降、前景三次元モデルと称する）、及び音声を受信する。
また、データ受信部３００１は、仮想視点画像の生成に係る視点を指定するコントローラ３００から出力される仮想カメラパラメータを受信する。仮想カメラパラメータとは、仮想視点の位置や姿勢などを表すデータであり、例えば、外部パラメータの行列と内部パラメータの行列が用いられる。
【０１２８】
背景テクスチャ貼り付け部３００２は、背景メッシュモデル管理部３０１３から取得する背景メッシュモデル（スタジアム形状データ）で示される三次元空間形状に対して背景画像をテクスチャとして貼り付ける。そうすることでテクスチャ付き背景メッシュモデルを生成する。メッシュモデルとは、例えば、ＣＡＤデータなど三次元の空間形状を面の集合で表現したデータのことである。テクスチャとは、物体の表面の質感を表現するために貼り付ける画像のことである。
【０１２９】
前景テクスチャ決定部３００３は、前景画像及び前景三次元モデル群より前景三次元モデルのテクスチャ情報を決定する。前景テクスチャ境界色合わせ部３００４は、各前景三次元モデルのテクスチャ情報と各三次元モデル群からテクスチャの境界の色合わせを行い、前景オブジェクト毎に色付き前景三次元モデル群を生成する。
【０１３０】
仮想視点前景画像生成部３００５は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。レンダリング部３００６は、レンダリングモード管理部３０１４で決定された、仮想視点画像の生成に用いられる生成方式に基づいて、背景画像と前景画像をレンダリングして全景の仮想視点画像を生成する。
【０１３１】
本実施形態では仮想視点画像の生成方式として、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）とイメージベース（Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＩＢＲ）の２つのレンダリングモードが用いられる。
【０１３２】
ＭＢＲとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。レンダリングモードがＭＢＲの場合、背景メッシュモデルと前景テクスチャ境界色合わせ部３００４で生成した前景三次元モデル群を合成することで全景モデルが生成され、その全景モデルから仮想視点画像が生成される。
【０１３３】
ＩＢＲとは、対象のシーンを複数視点から撮影した入力画像群を変形、合成することによって仮想視点からの見えを再現した仮想視点画像を生成する技術である。本実施形態では、ＩＢＲを用いる場合、ＭＢＲを用いて三次元モデルを生成するための複数の撮影画像より少ない１又は複数の撮影画像に基づいて仮想視点画像が生成される。レンダリングモードがＩＢＲの場合、背景テクスチャモデルに基づいて仮想視点から見た背景画像が生成され、そこに仮想視点前景画像生成部３００５で生成された前景画像を合成することで仮想視点画像が生成される。なお、レンダリング部３００６はＭＢＲとＩＢＲ以外のレンダリング手法を用いてもよい。
【０１３４】
レンダリングモード管理部３０１４は、仮想視点画像の生成に用いられる生成方式としてのレンダリングモードを決定し、決定結果を保持する。仮想視点音声生成部３００７は、仮想カメラパラメータに基づいて、仮想視点において聞こえる音声（音声群）を生成する。合成部３００８は、レンダリング部３００６で生成された画像群と仮想視点音声生成部３００７で生成された音声を合成して仮想視点コンテンツを生成する。
【０１３５】
画像出力部３００９は、コントローラ３００とエンドユーザ端末１９０へＥｔｈｅｒｎｅｔ（登録商標）を用いて仮想視点コンテンツを出力する。ただし、外部への伝送手段はＥｔｈｅｒｎｅｔ（登録商標）に限定されるものではなく、ＳＤＩ、ＤｉｓｐｌａｙＰｏｒｔ、及びＨＤＭＩ（登録商標）などの信号伝送手段を用いてもよい。なお、バックエンドサーバ２７０は、レンダリング部３００６で生成された、音声を含まない仮想視点画像を出力してもよい。
【０１３６】
前景オブジェクト決定部３０１０は、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの空間上の位置を示す前景オブジェクトの位置情報から、表示される前景オブジェクト群を決定して、前景オブジェクトリストを出力する。つまり、前景オブジェクト決定部３０１０は、仮想視点の画像情報を物理的なカメラ１１２にマッピングする処理を実施する。
【０１３７】
要求リスト生成部３０１１は、指定時間の前景オブジェクトリストに対応する前景画像群と前景三次元モデル群、及び背景画像と音声データをデータベース２５０に要求するための、要求リストを生成する。前景オブジェクトについては仮想視点を考慮して選択されたデータがデータベース２５０に要求されるが、背景画像と音声データについてはそのフレームに関する全てのデータが要求される。バックエンドサーバ２７０の起動後、背景メッシュモデルが取得されるまで背景メッシュモデルの要求リストが生成される。
【０１３８】
要求データ出力部３０１２は、入力された要求リストを元に、データベース２５０に対してデータ要求のコマンドを出力する。背景メッシュモデル管理部３０１３は、データベース２５０から受信した背景メッシュモデルを記憶する。
【０１３９】
なお、本実施形態ではバックエンドサーバ２７０が仮想視点画像の生成方式の決定と仮想視点画像の生成の両方を行う場合を中心に説明するが、これに限らない。
【０１４０】
図１４は、仮想カメラ８００１について説明するための図である。図１４（ａ）において、仮想カメラ８００１は、設置されたどのカメラ１１２とも異なる視点において撮影を行うことができる仮想的なカメラである。すなわち、画像処理システム１００において生成される仮想視点画像が、仮想カメラ８００１による撮影画像である。図１４（ａ）において、円周上に配置された複数のセンサシステム１１０それぞれがカメラ１１２を有している。例えば、仮想視点画像を生成することにより、あたかもサッカーゴールの近くの仮想カメラ８００１で撮影されたかのような画像を生成することができる。仮想カメラ８００１の撮影画像である仮想視点画像は、設置された複数のカメラ１１２の画像を画像処理することで生成される。オペレータ（ユーザ）は仮想カメラ８００１の位置等操作することで、自由な視点からの撮影画像を得ることができる。図１４（ｂ）において、仮想カメラパス８００２は、仮想カメラ８００１の１フレームごとの位置や姿勢を表す情報の列を示している。詳細は後述する。
【０１４１】
図１５は、仮想カメラ操作ＵＩ３３０の機能構成を説明するためのブロック図である。仮想カメラ操作ＵＩ３３０は、仮想カメラ管理部８１３０および操作ＵＩ部８１２０を有する。これらは同一機器上に実装されてもよいし、それぞれサーバとなる装置とクライアントとなる装置に別々に実装されてもよい。
【０１４２】
仮想カメラ操作部８１０１は、オペレータの仮想カメラ８００１に対する操作、すなわち仮想視点画像の生成に係る視点を指定するためのユーザによる指示を受け付けて処理する。オペレータの操作内容は、例えば、位置の変更（移動）、姿勢の変更（回転）、及びズーム倍率の変更などである。
【０１４３】
仮想カメラパラメータ導出部８１０２は、仮想カメラ８００１の位置や姿勢などを表す仮想カメラパラメータを導出する。仮想パラメータは、演算によって導出されてもよいし、ルックアップテーブルの参照などによって導出されてもよい。仮想カメラパラメータとして、例えば、外部パラメータを表す行列と内部パラメータを表す行列が用いられる。ここで、仮想カメラ８００１の位置と姿勢は外部パラメータに含まれ、ズーム値は内部パラメータに含まれる。
【０１４４】
仮想カメラ制約管理部８１０３は、仮想カメラ操作部８１０１により受け付けられる指示に基づく視点の指定が制限される制限領域を特定するための情報を取得し管理する。この情報は例えば、仮想カメラ８００１の位置や姿勢、ズーム値などに関する制約である。
【０１４５】
衝突判定部８１０４は、仮想カメラパラメータ導出部８１０２で導出された仮想カメラパラメータが仮想カメラ制約を満たしているかを判定する。制約を満たしていない場合は、例えば、オペレータによる操作入力をキャンセルし、制約を満たす位置から仮想カメラ８００１が動かないよう制御したり、制約を満たす位置に仮想カメラ８００１を戻したりする。
【０１４６】
フィードバック出力部８１０５は、衝突判定部８１０４の判定結果をオペレータにフィードバックする。例えば、オペレータの操作により、仮想カメラ制約が満たされなくなる場合に、そのことをオペレータに通知する。例えば、オペレータが仮想カメラ８００１を上方に移動しようと操作したが、移動先が仮想カメラ制約を満たさないとする。その場合、オペレータに、これ以上上方に仮想カメラ８００１を移動できないことを通知する。
【０１４７】
仮想カメラパス管理部８１０６は、オペレータの操作に応じた仮想カメラ８００１のパス（仮想カメラパス８００２）を管理する。図１４（ｂ）において示したように、仮想カメラパス８００２とは、仮想カメラ８００１の１フレームごと位置や姿勢を表す情報の列である。例えば、仮想カメラ８００１の位置や姿勢を表す情報として仮想カメラパラメータが用いられる。例えば、６０フレーム／秒のフレームレートの設定における１秒分の情報は、６０個の仮想カメラパラメータの列となる。仮想カメラパス管理部８１０６は、衝突判定部８１０４で判定済みの仮想カメラパラメータを、バックエンドサーバ２７０に送信する。バックエンドサーバ２７０は、受信した仮想カメラパラメータを用いて、仮想視点画像及び仮想視点音声を生成する。
【０１４８】
オーサリング部８１０７は、オペレータがリプレイ画像を生成する際の編集機能を提供する。オーサリング部８１０７は、ユーザ操作に応じて、リプレイ画像用の仮想カメラパス８００２の初期値として、仮想カメラパス管理部８１０６が保持する仮想カメラパス８００２の一部を取り出す。
【０１４９】
仮想カメラ画像・音声出力部８１０８は、バックエンドサーバ２７０から受け取った仮想カメラ画像・音声を出力する。オペレータは出力された画像及び音声を確認しながら仮想カメラ８００１を操作する。
【０１５０】
図１６は、エンドユーザ端末１９０の機能構成を説明するためのブロック図である。サービスアプリケーションが動作するエンドユーザ端末１９０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である。なお、エンドユーザ端末１９０は、ＰＣに限らず、スマートフォンやタブレット端末、高精細な大型ディスプレイでもよいものとする。
【０１５１】
アプリケーション管理部１０００１は、基本ソフト部１０００２から入力されたユーザ入力情報を、バックエンドサーバ２７０のバックエンドサーバコマンドに変換して、基本ソフト部１０００２へ出力する。また、アプリケーション管理部１０００１は、基本ソフト部１０００２から入力された画像を、所定の表示領域に描画するための画像描画指示を、基本ソフト部１０００２へ出力する。
【０１５２】
基本ソフト部１０００２は、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）であり、ユーザ入力部１０００４から入力されたユーザ入力情報を、アプリケーション管理部１０００１へ出力する。また、ネットワーク通信部１０００３から入力された画像や音声をアプリケーション管理部１０００１へ出力したり、アプリケーション管理部１０００１から入力されたバックエンドサーバコマンドをネットワーク通信部１０００３へ出力したりする。さらに、アプリケーション管理部１０００１から入力された画像描画指示を、画像出力部１０００５へ出力する。
【０１５３】
ネットワーク通信部１０００３は、基本ソフト部１０００２から入力されたバックエンドサーバコマンドを、ＬＡＮケーブル上で通信可能なＬＡＮ通信信号に変換して、バックエンドサーバ２７０へ出力する。そして、バックエンドサーバ２７０から受信した画像や音声データが加工可能となるように、基本ソフト部１０００２へデータを渡す。
【０１５４】
ユーザ入力部１０００４は、キーボード入力（物理キーボード又はソフトキーボード）やボタン入力に基づくユーザ入力情報や、ユーザ入力機器からＵＳＢケーブルを介して入力されたユーザ入力情報を取得し、基本ソフト部１０００２へ出力する。
【０１５５】
画像出力部１０００５は、基本ソフト部１０００２から出力された画像表示指示に基づく画像を画像信号に変換して、外部ディスプレイや一体型のディスプレイなどに出力する。
【０１５６】
音声出力部１０００６は、基本ソフト部１０００２から出力された音声出力指示に基づく音声データを外部スピーカあるいは一体型スピーカに出力する。  端末属性管理部１０００７は、端末の表示解像度、画像符号化コーデック種別、及び端末種別（スマートフォンなのか、大型ディスプレイなのかなど）を管理する。
【０１５７】
サービス属性管理部１０００８は、エンドユーザ端末１９０に提供するサービス種別に関する情報を管理する。例えば、エンドユーザ端末１９０に搭載されるアプリケーションの種別や利用可能な画像配信サービスなどが管理される。課金管理部１０００９では、ユーザの画像配信サービスへの登録決済状況や課金金額に応じた、受信可能な画像配信シーン数の管理などが行われる。
【０１５８】
＜ハードウェア構成について＞
続いて、本実施形態を構成する各装置のハードウェア構成について説明する。上述の通り、本実施形態では、カメラアダプタ１２０がＦＰＧＡ及び／又はＡＳＩＣなどのハードウェアを実装し、これらのハードウェアによって、上述した各処理を実行する場合の例を中心に説明した。それはセンサシステム１１０内の各種装置や、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、及びコントローラ３００についても同様である。しかしながら、上記装置のうち、少なくとも何れかが、例えばＣＰＵ、ＧＰＵ、ＤＳＰなどを用い、ソフトウェア処理によって本実施形態の処理を実行するようにしても良い。
【０１５９】
図１７は、カメラアダプタ１２０のハードウェア構成を示すブロック図である。なお、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０、及びエンドユーザ端末１９０などの装置も、図１７のハードウェア構成となりうる。カメラアダプタ１２０は、ＣＰＵ１２０１と、ＲＯＭ１２０２と、ＲＡＭ１２０３と、補助記憶装置１２０４と、表示部１２０５と、操作部１２０６と、通信部１２０７と、バス１２０８とを有する。
【０１６０】
ＣＰＵ１２０１は、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御する。ＲＯＭ１２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１２０３は、補助記憶装置１２０４から供給されるプログラムやデータ、及び通信部１２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。
【０１６１】
表示部１２０５は、例えば、液晶ディスプレイ等で構成され、ユーザがカメラアダプタ１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１２０６は、例えば、キーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１２０１に入力する。通信部１２０７は、カメラ１１２やフロントエンドサーバ２３０などの外部の装置と通信を行う。バス１２０８は、カメラアダプタ１２０の各部を繋いで情報を伝達する。
【０１６２】
上述の実施形態は、画像処理システム１００が競技場やコンサートホールなどの施設に設置される場合の例を中心に説明した。施設の他の例としては、例えば、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、ライブハウスなどがある。また、各種施設で行われるイベントは、屋内で行われるものであっても屋外で行われるものであっても良い。また、本実施形態における施設は、一時的に（期間限定で）建設される施設も含む。
【０１６３】
＜他の実施形態＞
振動情報に関わる処理は、カメラアダプタ１２０ではなく、フロントエンドサーバ２３０で行ってもよい。具体的には、データ入力制御部２１２０のサーバ画像処理部６２３０で実行することも可能である。
【０１６４】
また、外部センサは各カメラに接続されなくてもよく、複数台のカメラにひとつの外部センサを設け、センサの情報を各カメラに通知しても構わない。
【０１６５】
カメラアダプタ１２０では、例えば、振動情報のうち振動振幅が所定値を超える場合は、前景画像や背景画像に分離せず、全ての画像データおよび振動情報をメタ情報とともに送信する。そして、サーバ画像処理部６２３０は、カメラアダプタ１２０から受信した画像および振動情報に基づき、先述したような位置合わせ、前景画像に関する処理を実行する。
【０１６６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１６７】
以上、上述した実施形態によれば、カメラ１１２の台数などのシステムを構成する装置の規模、及び撮影画像の出力解像度や出力フレームレートなどに依らず、仮想視点画像を簡便に生成することが出来る。以上、本発明の実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。
【符号の説明】
【０１６８】
１１０  センサシステム、１１１  マイク、１１２  カメラ、１１３  雲台、１２０  カメラアダプタ、１８０  スイッチングハブ、１９０  エンドユーザ端末、２３０  フロントエンドサーバ、２５０  データベース、２７０  バックエンドサーバ、２９０  タイムサーバ、３１０  制御ステーション、３３０  仮想カメラ操作ＵＩ
【図１】
2019022151.tif 000003
【図２】
2019022151.tif 000004
【図３】
2019022151.tif 000005
【図４】
2019022151.tif 000006
【図５】
2019022151.tif 000007
【図６】
2019022151.tif 000008
【図７】
2019022151.tif 000009
【図８】
2019022151.tif 000010
【図９】
2019022151.tif 000011
【図１０】
2019022151.tif 000012
【図１１】
2019022151.tif 000013
【図１２】
2019022151.tif 000014
【図１３】
2019022151.tif 000015
【図１４】
2019022151.tif 000016
【図１５】
2019022151.tif 000017
【図１６】
2019022151.tif 000018
【図１７】
2019022151.tif 000019