(57)【要約】【課題】  仮想視点画像の画質劣化を抑制しつつ、符号量の制御を可能とする。【解決手段】互いに異なる視点位置の複数の撮像画像から仮想視点位置における仮想視点画像を生成する情報処理装置と、撮像手段を含み当該撮像手段より得た撮像画像を符号化し情報処理装置に送信する複数の撮像装置とを含む画像処理システムであって、複数の撮像装置の１つである着目撮像装置が過去に情報処理装置に送信した符号化画像データが表す画質の指標値、及び、着目撮像装置と空間的に近接する他の撮像装置の指標値に基づいて、着目撮像装置における撮像手段で得る撮像画像の目標画質の許容範囲を決定する決定手段と、該決定手段で決定した許容範囲内の画質に応じた符号化パラメータを、着目撮像装置が有する符号化手段に設定する設定手段とを有する。【選択図】  図９
2019050451.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置からの符号化画像データを受信すると共に、前記撮像装置を制御する画像処理装置であって、ここで、前記複数の撮像装置それぞれが有する撮像手段は互いに異なる視点位置になっている、
前記複数の撮像装置の１つである着目撮像装置が過去に前記画像処理装置に送信した符号化画像データが表す画質の指標値、及び、前記着目撮像装置と空間的に近接する他の撮像装置の前記指標値に基づいて、前記着目撮像装置における前記撮像手段で得る撮像画像の目標画質の許容範囲を決定する決定手段と、
該決定手段で決定した許容範囲内の画質に応じた符号化パラメータを、前記着目撮像装置が有する符号化手段に設定する設定手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記設定手段は、前記着目撮像装置に定められる基本符号量と、前記着目撮像装置より上流に位置する撮像装置の実符号量とを用いて、前記着目撮像装置における目標符号量を決定し、該決定された目標符号量とするための符号化パラメータを前記着目撮像装置の前記符号化手段に設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記着目撮像装置に定められる基本符号量を、通信帯域における前記符号化画像データのための帯域と、前回の撮像画像の符号化で得た符号化データの総符号量、およびそれぞれの撮像装置の符号量に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記撮像装置は、前記撮像画像を、前景画像と背景画像とを分離する分離手段を備え、
前記設定手段は、前記着目撮像装置に定められる基本符号量を、前回のそれぞれの撮像画像で得た前景画素数に基づいて、決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記設定手段は、
前回の撮像画像の符号化で得た符号化データの総符号量に基づいて、前記前回の撮像画像を符号化する際の符号化パラメータの元になった指標値を更新して、当該更新後の指標値を各撮像装置の今回の符号化の初期の指標値として前記符号化手段に設定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の撮像装置の各々は、
前記撮像手段により得られた画像から、前景画像と背景画像とを分離する分離手段と、
前記前景画像と前記背景画像の符号化を制御する制御手段を有し、
前記符号化手段は、
入力された画像を可逆符号化する第１の符号化手段と、
入力された画像を前記符号化パラメータに従って非可逆符号化する第２の符号化手段を含み、
前記制御手段は、前記背景画像は前記第２の符号化手段に符号化させ、前記前景画像は前記第１の符号化手段または前記第２の符号化手段の何れか一方に符号化させ、
前記決定手段、及び、前記設定手段は、前記第２の符号化手段による符号化に適用されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
複数の撮像装置からの符号化画像データを受信すると共に、前記撮像装置を制御する画像処理装置の制御方法であって、ここで、前記複数の撮像装置それぞれが有する撮像手段は互いに異なる視点位置になっている、
前記複数の撮像装置の１つである着目撮像装置が過去に前記画像処理装置に送信した符号化画像データが表す画質の指標値、及び、前記着目撮像装置と空間的に近接する他の撮像装置の前記指標値に基づいて、前記着目撮像装置における前記撮像手段で得る撮像画像の目標画質の許容範囲を決定する決定工程と、
該決定工程で決定した許容範囲内の画質に応じた符号化パラメータを、前記着目撮像装置が有する符号化手段に設定する設定工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の方法の各工程を実行させるためのプログラム。
【請求項９】
互いに異なる視点位置の複数の撮像画像から仮想視点位置における仮想視点画像を生成する情報処理装置と、撮像手段を含み当該撮像手段により撮像画像を符号化し前記情報処理装置に送信する複数の撮像装置とを含む画像処理システムであって、
前記複数の撮像装置の１つである着目撮像装置が過去に前記情報処理装置に送信した符号化画像データが表す画質の指標値、及び、前記着目撮像装置と空間的に近接する他の撮像装置の前記指標値に基づいて、前記着目撮像装置における前記撮像手段で得る撮像画像の目標画質の許容範囲を決定する決定手段と、
該決定手段で決定した許容範囲内の画質に応じた符号化パラメータを、前記着目撮像装置が有する符号化手段に設定する設定手段と
を有することを特徴とする画像処理システム。
【請求項１０】
前記複数の撮像装置は通信手段を介してそれぞれの前記指標値を共有し、
前記複数の撮像装置のそれぞれが前記決定手段、前記設定手段を有する
ことを特徴とする請求項９に記載の画像処理システム。
【請求項１１】
前記情報処理装置が前記決定手段、前記設定手段を有する
ことを特徴とする請求項９に記載の画像処理システム。
【請求項１２】
前記複数の撮像装置と前記情報処理装置との間の通信帯域における前記符号化画像データのための帯域を前記複数の撮像装置の個数で除算した値に対応する量を基本符号量とし、
前記着目撮像装置が前記複数の撮像装置における第ｖ番目とし、
第１番目から第ｖ−１番目までの撮像装置が生成した符号化データの総符号量と、前記基本符号量のｖ−１倍した値との差を値Ｄｃとし、
予め設定された閾値をｌｄとしたとき、
前記設定手段は、
次の条件を満たすか否かを判定する判定手段と、
条件：｜Ｄｃ｜＞ｌｄ
該判定手段の判定に応じて、前記着目撮像装置が有する符号化手段に設定する符号化パラメータを決定し、決定した符号化パラメータを設定するパラメータ設定手段とを含み、
当該パラメータ設定手段は、
前記条件を満たさない場合には、前記前回の撮像画像の符号化で用いたパラメータを、今回の撮像画像のパラメータとして用いるものとして前記符号化手段に設定し、
前記条件を満し、且つ、前記基本符号量に前記値Ｄｃを加算した値が前記許容範囲内にある場合、前記基本符号量に前記値Ｄｃを加算した値を、前記着目撮像装置が今回の撮像画像を符号化する際の目標符号量とし、当該目標符号量とするための符号化パラメータを前記符号化手段に設定し、
前記条件を満し、且つ、前記基本符号量に前記値Ｄｃを加算した値が前記許容範囲外となる場合、前記基本符号量に前記値Ｄｃを加算した値に近く前記許容範囲の境界の値を、前記着目撮像装置が今回の撮像画像を符号化する際の目標符号量とし、当該目標符号量とするための符号化パラメータを前記符号化手段に設定する
ことを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理システム。
【請求項１３】
前記設定手段は、
前記複数の撮像装置それぞれによる前回の撮像画像の符号化で得た符号化データの総符号量に基づいて、前記複数の撮像装置による前回の撮像画像を符号化する際の符号化パラメータの元になった指標値を更新して、当該更新後の指標値を各撮像装置の今回の符号化の初期の指標値として各撮像装置に設定する
ことを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理システム。
【請求項１４】
前記複数の撮像装置の各々は、
前記撮像手段により得られた画像から、前景画像と背景画像とを分離する分離手段と、
分離した前景画像を可逆符号化する第１の符号化手段と、
前記背景画像を前記符号化パラメータに従って非可逆符号化する第２の符号化手段を含み、
前記決定手段、及び、前記設定手段は、前記第２の符号化手段による符号化に適用されることを特徴とする請求項９乃至１３のいずれか１項に記載の画像処理システム。
【請求項１５】
前記符号化パラメータは量子化ステップを表すパラメータであることを特徴とする請求項９乃至１４のいずれか１項に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点位置の撮像画像から仮想視点画像を生成する技術に関するものである。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像から、仮想的な視点から見える画像（仮想視点画像）のコンテンツを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。
【０００３】
一方、カメラで取得した映像をネットワークで伝送する際には、該映像の符号量がネットワークの帯域を超過しないよう工夫する必要がある。非特許文献１では、符号化済みの複数枚のフレームから後続のフレームの符号量と歪みの関係を予測し、ビット切り捨て点を決定することで動的に符号量の制御を行う方法が開示されている。また特許文献１では、複数の監視カメラを同一のネットワークに接続し映像を伝送する際、複数の監視カメラ映像の総符号量が帯域を超過しないようフレームレートを制御する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２６８０号公報
【非特許文献】
【０００５】
【非特許文献１】ＭＯＴＩＯＮ  ＪＰＥＧ２０００低遅延符号化のための時間方向ビット配分、株式会社ＫＤＤＩ研究所
【発明の概要】
【発明が解決しようとする課題】
【０００６】
仮想視点コンテンツは所望の仮想視点に近接する複数の視点の映像を用いて生成する。このとき、生成に使用する複数視点映像間に大きな画質差があると、仮想視点コンテンツの画質に影響してしまう。非特許文献１では単一のカメラを独立して時間軸方向での符号量制御は可能であるが、複数の視点間の画質を鑑みた符号量制御ではないため、カメラ間で大きな画質差が生じてしまうことがある。また、特許文献１では複数カメラ映像の符号量制御においてフレームレートを制御するが、一部のカメラの映像が欠損すると仮想視点コンテンツの生成が困難となってしまう。また全てのカメラのフレームレートを一律の値となるよう制御すると、低フレームレートに設定された場合に仮想視点コンテンツの臨場感が損なわれてしまう。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、仮想視点画像の画質劣化を抑制しつつ、符号量の制御が可能となる技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
複数の撮像装置からの符号化画像データを受信すると共に、前記撮像装置を制御する画像処理装置であって、ここで、前記複数の撮像装置それぞれが有する撮像手段は互いに異なる視点位置になっている、
前記複数の撮像装置の１つである着目撮像装置が過去に前記画像処理装置に送信した符号化画像データが表す画質の指標値、及び、前記着目撮像装置と空間的に近接する他の撮像装置の前記指標値に基づいて、前記着目撮像装置における前記撮像手段で得る撮像画像の目標画質の許容範囲を決定する決定手段と、
該決定手段で決定した許容範囲内の画質に応じた符号化パラメータを、前記着目撮像装置が有する符号化手段に設定する設定手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、仮想視点画像の画質劣化を抑制しつつ、符号量の制御が可能となる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システムの構成を説明するための図。
【図２】カメラアダプタの機能構成を説明するためのブロック図。
【図３】画像処理部の構成を説明するためのブロック図。
【図４】フロントエンドサーバの機能構成を説明するためのブロック図。
【図５】フロントエンドサーバのデータ入力制御部の構成を説明するためのブロック図。
【図６】データベースの機能構成を説明するためのブロック図。
【図７】バックエンドサーバの機能構成を説明するためのブロック図。
【図８】前景画像と背景画像を説明するための概念図。
【図９】第１の実施形態における符号量制御処理フローを説明するための図。
【図１０】第１の実施形態における参照カメラアダプタを説明するための図。
【図１１】第１の実施形態における符号量、画質、量子化パラメータの関係を説明する図。
【図１２】第２の実施形態における符号量制御のシーケンス図。
【図１３】第３の実施形態における符号量制御のシーケンス図。
【図１４】第２、３の実施形態における目標画質の更新を説明するための図。
【発明を実施するための形態】
【００１１】
以下図面に従って本発明に係る実施形態を詳細に説明する。
【００１２】
［第１の実施形態］
図１は、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し、撮影及び集音を行う画像処理システム１００の構成図である。画像処理システム１００は、撮像装置として機能するセンサシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及び、エンドユーザ端末１９０を有する。ここで、画像コンピューティングサーバ２００、コントローラ３００、エンドユーザ端末１９０は、内蔵するプロセッサ（ＣＰＵ）の処理能力に差があれど、そのハードウェア構成は、通常のパーソナルコンピュータに代表される情報処理装置と同じである。
【００１３】
コントローラ３００は制御ステーション３２０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３２０は画像処理システム１００を構成するそれぞれのブロックに対してネットワーク３１０ａ〜３１０ｃ、１８０ａ、１８０ｂ、及び１７０ａ〜１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
【００１４】
最初に、センサシステム１１０ａ〜１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。本実施形態の画像処理システム１００におけるセンサシステム１１０ａ〜１１０ｚは、デイジーチェーン接続とする。
【００１５】
以下の説明において特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別しない場合にはセンサシステム１１０と記載する。また、センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの個数として２６セットと記載しているが、あくまでも一例であり、この数に限定するものではない。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
【００１６】
センサシステム１１０ａ〜１１０ｚそれぞれは、１台のカメラ１１２ａ―カメラ１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士は先に説明したようにデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。
【００１７】
なおこれに限らず、接続形態として、センサシステム１１０ａ〜１１０ｚがスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。
【００１８】
また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ〜１１０ｚの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
【００１９】
また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。
【００２０】
しかし、画像入力を行うカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、画像コンピューティングサーバ２００において全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要があることを明記しておく。
【００２１】
本実施形態では、センサシステム１１０ａはマイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、この構成に限定するものではなく、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａまたは１台のマイク１１１ａを有していれば良い。また例えば、センサシステム１１０ａは１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａで構成されてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。本実施形態では、センサシステム１１０ｂ―１１０ｚについては、センサシステム１１０ａと同様の構成なので省略する。なお、センサシステム１１０ａと同じ構成に限定されるものではなく、其々のセンサシステム１１０が異なる構成でもよい。
【００２２】
マイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、デイジーチェーン１７０ａを介してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様にセンサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。
【００２３】
前述した動作を続けることにより、センサシステム１１０ａ〜１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。
【００２４】
なお、本実施形態では、カメラ１１２ａ〜１１２ｚとカメラアダプタ１２０ａ〜１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ〜１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。
【００２５】
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００はフロントエンドサーバ２３０、データベース２５０（以下、ＤＢとも記載する。）、バックエンドサーバ２７０、タイムサーバ２９０を有する。
【００２６】
タイムサーバ２９０は時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、カメラ１１２ａ〜１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて、設定された仮想視点位置及び視線方向に見える仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。
【００２７】
フロントエンドサーバ２３０は、センサシステム１１０ａ〜１１０ｚが取得した画像及び音声を、デイジーチェーンの終端であるセンサシステム１１０ｚから受信する。そして、フロントエンドサーバ２３０は、受信したセグメント化された伝送パケットを再構成して、画像データ、音声データへ変換した後に、それらをカメラの識別子やデータ種別、フレーム番号に関連付けてデータベース２５０に書き込む。なお、このデータベース２５０には、センサシステム１１０ａ〜１１０ｚが有する各カメラの設置位置、向き、焦点に関するカメラ情報が予め格納されている。
【００２８】
次に、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づき、データベース２５０から対応する画像データ、音声データ、カメラ情報を読み出し、レンダリング処理を行って仮想視点画像を生成する。
【００２９】
なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
【００３０】
レンダリング処理で作成された仮想視点画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、表示される。この結果、エンドユーザ端末１９０を操作するユーザは、指定した視点に応じた画像閲覧及び音声視聴が出来ることになる。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。カメラアダプタ１２０による所定領域の抽出の詳細については後述する。本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における「見え」を表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１９０の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。
【００３１】
この様に、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０ａ〜−１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含み、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ〜１１０ｚから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ〜１１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ２３０がセンサシステム１１０ａ〜１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ〜１１０ｚのカメラ１１２が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種カメラに変わった場合に、仮想カメラ操作ＵＩ３３０が適切に動作しない虞を低減できる。
【００３２】
また、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成である。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。
【００３３】
このように、実施形態における画像処理システム１００では、被写体を複数の方向から撮影するための複数のカメラ１１２を有する。そして、バックエンドサーバ２７０は、これらのカメラによる撮影に基づく画像データに基づいて、仮想視点画像を生成する。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
【００３４】
次に図１に記載のシステムにおける各ノード（カメラアダプタ１２０、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、仮想カメラ操作ＵＩ３３０、エンドユーザ端末１９０）の機能ブロック図を説明する。
【００３５】
本実施形態におけるカメラアダプタ１２０の機能ブロックについて図２を利用して説明する。
【００３６】
カメラアダプタ１２０は、ネットワークアダプタ６１１０、伝送部６１２０、画像処理部６１３０、及び、外部機器制御部６１４０から構成されている。ネットワークアダプタ６１１０は、データ送受信部６１１１及び時刻制御部６１１２から構成されている。
【００３７】
データ送受信部６１１１は、デイジーチェーン１７０、ネットワーク２９１、及びネットワーク３１０を介し他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３２０とデータ通信を行う。例えばデータ送受信部６１１１は、カメラ１１２による撮影画像から前景背景分離部６１３１により分離された前景画像と背景画像とを、別のカメラアダプタ１２０に対して出力する。出力先のカメラアダプタ１２０は、画像処理システム１００内のカメラアダプタ１２０のうち、データルーティング処理部６１２２の処理に応じて予め定められた順序において次のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在してもよい。
【００３８】
時刻制御部６１１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ  Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う。なお、ＩＥＥＥ１５８８に限定する訳ではなく、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ６１１０としてＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）を利用するが、ＮＩＣに限定するものではなく、同様の他のＩｎｔｅｒｆａｃｅを利用してもよい。また、ＩＥＥＥ１５８８はＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されており、後者については、ＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ  Ｖｅｒｓｉｏｎ２）とも呼ばれる。
【００３９】
伝送部６１２０は、ネットワークアダプタ６１１０を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有し、以下の機能部から構成されている。
【００４０】
データ圧縮・伸張部６１２１は、データ送受信部６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮（符号化）を行う機能と、圧縮されたデータを伸張（復号）する機能を有している。
【００４１】
データルーティング処理部６１２２は、後述するデータルーティング情報保持部６１２５が保持するデータを利用し、データ送受信部６１１１が受信したデータ及び画像処理部６１３０で処理されたデータのルーティング先を決定する。さらに、データルーティング処理部６１２２は、決定したルーティング先へデータを送信する機能を有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが、それぞれのカメラ１１２同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１２０それぞれのデータルーティング処理部６１２２による決定に応じて、画像処理システム１００内において前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。
【００４２】
時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく他の同様のプロトコルを利用して時刻同期してもよい。
【００４３】
画像・音声伝送処理部６１２４は、画像データ又は音声データを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには画像データ又は音声データ、及び各データのメタ情報が含まる。本実施形態のメタ情報には画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。なお送信する画像データまたは音声データはデータ圧縮・伸張部６１２１でデータ圧縮されていてもよい。また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０からデータ送受信部６１１１を介してメッセージを受取る。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データまたは音声データに復元する。なお、データを復元した際にデータが圧縮されている場合は、データ圧縮・伸張部６１２１が伸張処理を行う。
【００４４】
データルーティング情報保持部６１２５は、データ送受信部６１１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。ルーティング方法については後述する。
【００４５】
画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有し、以下の機能部から構成されている。
【００４６】
前景背景分離部６１３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離する機能を有している。すなわち、複数のカメラアダプタ１２０それぞれの前景背景分離部６１３１は、複数のカメラ１１２のうち対応するカメラ１１２による撮影画像から所定領域を抽出する。所定領域は例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部６１３１は、撮影画像を前景画像と背景画像に分離する。なお、オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。例えば図８（ａ）に示すように、人物等の重要なオブジェクトを含む前景画像と、図８（ｂ）に示すようにオブジェクトを含まない背景画像を分離して処理すればよい。これにより画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景と背景の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は前景画像に限らず、例えば背景画像であってもよい。
【００４７】
三次元モデル情報生成部６１３２は、前景背景分離部６１３１で分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用し、例えばステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能を有している。
【００４８】
キャリブレーション制御部６１３３は、キャリブレーションに必要な画像データを、カメラ制御部６１４１を介してカメラ１１２から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有している。なお本実施形態ではキャリブレーションに係わる演算処理をフロントエンドサーバ２３０で行っているが、演算処理を行うノードはフロントエンドサーバ２３０に限定されない。例えば、制御ステーション３２０やカメラアダプタ１２０（他のカメラアダプタ１２０を含む）など他のノードで演算処理が行われてもよい。またキャリブレーション制御部６１３３は、カメラ制御部６１４１を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション（動的キャリブレーション）を行う機能を有している。
【００４９】
外部機器制御部６１４０は、カメラアダプタ１２０に接続する機器を制御する機能を有し、下記機能ブロックから構成されている。
【００５０】
カメラ制御部６１４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。なお、本実施形態ではカメラ１１２を介してピント調整を行っているが、取り外し可能なレンズがカメラ１１２に装着されている場合は、カメラアダプタ１２０がレンズに接続し、直接レンズの調整を行ってもよい。また、カメラアダプタ１２０がカメラ１１２を介してズーム等のレンズ調整を行ってもよい。同期信号提供は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部６１４１は、カメラ１１２に対するタイムコードの提供はせず、カメラ１１２から受取った画像データに自身がタイムコードを付与してもよい。
【００５１】
マイク制御部６１４２は、マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止や収音された音声データの取得などを行う機能を有している。マイク１１１の制御は例えば、ゲイン調整や、状態取得などである。またカメラ制御部６１４１と同様にマイク１１１に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ２９０からの時刻情報が例えば４８ＫＨｚのワードクロックに変換されてマイク１１１に供給される。
【００５２】
雲台制御部６１４３は雲台１１３と接続し、雲台１１３の制御を行う機能を有している。雲台１１３の制御は例えば、パン・チルト制御や、状態取得などがある。
【００５３】
センサ制御部６１４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、振動を表す情報を取得することができる。そして、センサ制御部６１４４が取得した振動情報を用いて、画像処理部６１３０は、前景背景分離部６１３１での処理に先立って、振動を抑えた画像を生成することができる。振動情報は例えば、８Ｋカメラの画像データを、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像との位置合わせを行う場合に利用される。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬しても、カメラアダプタ１２０に配備された本機能で位置合わせを行う。その結果、電子的に防振された画像データを生成でき、画像コンピューティングサーバ２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。なお、センサシステム１１０のセンサは外部センサ１１４に限定するわけではなく、カメラアダプタ１２０に内蔵されたセンサであっても同様の効果が得られる。
【００５４】
図３は、カメラアダプタ１２０内部の画像処理部６１３０の機能ブロック図である。キャリブレーション制御部６１３３は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理（電子防振処理）などを行う。
【００５５】
前景背景分離部６１３１の機能ブロックについて説明する。前景分離部５００１は、カメラ１１２の画像に関して位置合わせが行われた画像データに対して、背景画像５００２との比較により前景画像の分離処理を行う。背景更新部５００３は、背景画像５００２とカメラ１１２の位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像５００２を新しい背景画像に更新する。背景切出部５００４は、背景画像５００２の一部を切り出す制御を行う。
【００５６】
ここで、三次元モデル情報生成部６１３２の機能について説明する。三次元モデル処理部５００５は、前景分離部５００１で分離された前景画像と、伝送部６１２０を介して受信した他のカメラ１１２の前景画像を用いて、例えばステレオカメラの原理等から三次元モデルに関わる画像情報を逐次生成する。他カメラ前景受信部５００６は、他のカメラアダプタ１２０で前景背景分離された前景画像を受信する。
【００５７】
カメラパラメータ受信部５００７は、カメラ固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）を受信する。これらのパラメータは、後述のキャリブレーション処理で得られる情報であり、制御ステーション３２０から対象となるカメラアダプタ１２０に対して送信及び設定される。つぎに、三次元モデル処理部５００５は、カメラパラメータ受信部５００７と他カメラ前景受信部５００６によって三次元モデル情報を生成する。
【００５８】
図４はフロントエンドサーバ２３０の機能ブロックを示した図である。制御部２１１０はＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、Ｅｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、制御部２１１０は、フロントエンドサーバ２３０の各機能ブロック及びフロントエンドサーバ２３０のシステム全体の制御を行う。また、制御部２１１０は、モード制御を行って、キャリブレーション動作や撮影前の準備動作、及び撮影中動作などの動作モードを切り替える。また、制御部２１１０は、Ｅｔｈｅｒｎｅｔ（登録商標）を通じて制御ステーション３２０からの制御指示を受信し、各モードの切り替えやデータの入出力などを行う。また、制御部２１１０は、同じくネットワークを通じて制御ステーション３２０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、スタジアムＣＡＤデータをＣＡＤデータ記憶部２１３５と撮影データファイル生成部２１８０に送信する。なお、本実施形態におけるスタジアムＣＡＤデータ（スタジアム形状データ）はスタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、ＣＡＤ形式に限定されない。
【００５９】
データ入力制御部２１２０は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信路とスイッチングハブ１８０を介して、カメラアダプタ１２０とネットワーク接続されている。そしてデータ入力制御部２１２０は、ネットワークを通してカメラアダプタ１２０から前景画像、背景画像、被写体の三次元モデル、音声データ、及びカメラキャリブレーション撮影画像データを取得する。ここで、前景画像は仮想視点画像の生成のための撮影画像の前景領域に基づく画像データであり、背景画像は当該撮影画像の背景領域に基づく画像データである。カメラアダプタ１２０は、カメラ１１２による撮影画像に対する所定のオブジェクトの検出処理の結果に応じて、前景領域及び背景領域を特定し、前景画像及び背景画像を生成する。所定のオブジェクトとは、例えば人物である。なお、所定のオブジェクトは特定の人物（選手、監督、及び／又は審判など）であっても良い。また、所定のオブジェクトには、ボールやゴールなど、画像パターンが予め定められている物体が含まれていてもよい。また、所定のオブジェクトとして、動体が検出されるようにしても良い。
【００６０】
また、データ入力制御部２１２０は、取得した前景画像及び背景画像をデータ同期部２１３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部２１４０に送信する。また、データ入力制御部２１２０は受信したデータの圧縮伸張やデータルーティング処理等を行う機能を有する。また、制御部２１１０とデータ入力制御部２１２０は共にＥｔｈｅｒｎｅｔ（登録商標）等のネットワークによる通信機能を有しているが、通信機能はこれらで共有されていてもよい。その場合は、制御ステーション３２０からの制御コマンドによる指示やスタジアムＣＡＤデータをデータ入力制御部２１２０で受けて、制御部２１１０に対して送る方法を用いてもよい。
【００６１】
データ同期部２１３０は、カメラアダプタ１２０から取得したデータをＤＲＡＭ上に一次的に記憶し、前景画像、背景画像、音声データ及び三次元モデルデータが揃うまでバッファする。なお、前景画像、背景画像、音声データ及び三次元モデルデータをまとめて、以降では撮影データと称する。撮影データにはルーティング情報やタイムコード情報（時間情報）、カメラ識別子等のメタ情報が付与されており、データ同期部２１３０はこのメタ情報を元にデータの属性を確認する。これによりデータ同期部２１３０は、同一時刻のデータであることなどを判断してデータがそろったことを確認する。これは、ネットワークによって各カメラアダプタ１２０から転送されたデータについて、ネットワークパケットの受信順序は保証されず、ファイル生成に必要なデータが揃うまでバッファする必要があるためである。データがそろったら、データ同期部２１３０は、前景画像及び背景画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。なお、ここで揃えるデータは、後述される撮影データファイル生成部２１８０に於いてファイル生成を行うために必要なデータである。また、背景画像は前景画像とは異なるフレームレートで撮影されてもよい。例えば、背景画像のフレームレートが１ｆｐｓである場合、１秒毎に１つの背景画像が取得されるため、背景画像が取得されない時間については、背景画像が無い状態で全てのデータがそろったとしてよい。また、データ同期部０２１３０は、所定時間を経過しデータが揃っていない場合には、データ集結ができないことを示す情報をデータベース２５０に通知する。そして、後段のデータベース２５０が、データを格納する際に、カメラ番号やフレーム番号とともにデータ欠落を示す情報を格納する。これにより、仮想カメラ操作ＵＩ３３０からバックエンドサーバ２７０への視点指示に応じて、データ集結したカメラ１１２の撮影画像から所望の画像が形成できるか否かをレンダリング前に自動通知することが可能となる。その結果、仮想カメラ操作ＵＩ３３０のオペレータの目視負荷を軽減できる。
【００６２】
ＣＡＤデータ記憶部２１３５は制御部２１１０から受け取ったスタジアム形状を示す三次元データをＤＲＡＭまたはＨＤＤやＮＡＮＤメモリ等の記憶媒体に保存する。そして、ＣＡＤデータ記憶部２１３５は、画像結合部２１７０に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。
【００６３】
キャリブレーション部２１４０はカメラのキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを後述する非撮影データファイル生成部２１８５に送る。また同時に、キャリブレーション部２１４０は、自身の記憶領域にもカメラパラメータを保持し、後述する三次元モデル結合部２１６０にカメラパラメータ情報を提供する。
【００６４】
画像処理部２１５０は前景画像や背景画像に対して、カメラ間の色や輝度値の合わせこみ、ＲＡＷ画像データが入力される場合には現像処理、及び画像復号時のエラー補完やカメラのレンズ歪みの補正等の処理を行う。そして、画像処理部２１５０は、画像処理を行った前景画像を撮影データファイル生成部２１８０に、背景画像を画像結合部２１７０にそれぞれ送信する。
【００６５】
三次元モデル結合部２１６０は、カメラアダプタ１２０から取得した同一時刻の三次元モデルデータをキャリブレーション部２１４０が生成したカメラパラメータを用いて結合する。そして、ＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。生成した三次元モデルは撮影データファイル生成部２１８０に送信される。
【００６６】
画像結合部２１７０は、画像処理部２１５０から背景画像を取得し、ＣＡＤデータ記憶部２１３５からスタジアムの三次元形状データ（スタジアム形状データ）を取得し、取得したスタジアムの三次元形状データの座標に対する背景画像の位置を特定する。背景画像の各々についてスタジアムの三次元形状データの座標に対する位置が特定できると、画像結合部２１７０は、背景画像を結合して１つの背景画像とする。なお、本背景画像の三次元形状データの作成については、バックエンドサーバ２７０が実施してもよい。
【００６７】
撮影データファイル生成部２１８０は、データ同期部２１３０からの音声データ、画像処理部２１５０からの前景画像、三次元モデル結合部２１６０からの三次元モデルデータ、及び、画像結合部２１７０からの三次元形状に結合された背景画像を取得する。そして、撮影データファイル生成部２１８０は、取得したこれらのデータをＤＢアクセス制御部２１９０に対して出力する。ここで、撮影データファイル生成部２１８０は、これらのデータをそれぞれの時間情報に基づいて対応付けて出力する。ただし、これらのデータの一部を対応付けて出力してもよい。例えば、撮影データファイル生成部２１８０は、前景画像と背景画像とを、前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて出力する。また例えば、撮影データファイル生成部２１８０は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて対応付けて出力する。なお、撮影データファイル生成部２１８０は、対応付けられたデータをデータの種類別にファイル化して出力してもよいし、複数種類のデータを時間情報が示す時刻ごとにまとめてファイル化して出力してもよい。このように対応付けられた撮影データがＤＢアクセス制御部２１９０によってデータベース２５０に出力されることで、バックエンドサーバ２７０は時間情報が対応する前景画像と背景画像とから仮想視点画像を生成できる。
【００６８】
なお、データ入力制御部２１２０により取得される前景画像と背景画像のフレームレートが異なる場合、撮影データファイル生成部２１８０は、常に同時刻の前景画像と背景画像を対応付けて出力することは難しい。そこで、撮影データファイル生成部２１８０は、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とを対応付けて出力する。ここで、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、例えば、撮影データファイル生成部２１８０が取得した背景画像のうち前景画像の時間情報に最も近い時間情報を有する背景画像である。このように、所定の規則に基づいて前景画像と背景画像を対応付けることにより、前景画像と背景画像のフレームレートが異なる場合でも、近い時刻に撮影された前景画像と背景画像とから仮想視点画像を生成することができる。なお、前景画像と背景画像の対応付けの方法は上記のものに限らない。例えば、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、取得された背景画像であって前景画像より前の時刻に対応する時間情報を有する背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像であってよい。この方法によれば、前景画像よりフレームレートの低い背景画像の取得を待つことなく、対応付けられた前景画像と背景画像とを低遅延で出力することができる。また、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、取得された背景画像であって前景画像より後の時刻に対応する時間情報を有する背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像でもよい。
【００６９】
非撮影データファイル生成部２１８５は、キャリブレーション部２１４０からカメラパラメータ、制御部２１１０からスタジアムの三次元形状データを取得し、ファイル形式に応じて成形した後にＤＢアクセス制御部２１９０に送信する。なお、非撮影データファイル生成部２１８５に入力されるデータであるカメラパラメータまたはスタジアム形状データは、個別にファイル形式に応じて成形される。すなわち、非撮影データファイル生成部２１８５は、どちらか一方のデータを受信した場合、それらを個別にＤＢアクセス制御部２１９０に送信する。
【００７０】
ＤＢアクセス制御部２１９０は、ＩｎｆｉｎｉＢａｎｄなどにより高速な通信が可能となるようにデータベース２５０と接続される。そして、ＤＢアクセス制御部２１９０は、撮影データファイル生成部２１８０及び非撮影データファイル生成部２１８５から受信したファイルをデータベース２５０に対して送信する。本実施形態では、撮影データファイル生成部２１８０が時間情報に基づいて対応付けた撮影データは、フロントエンドサーバ２３０とネットワークを介して接続される記憶装置であるデータベース２５０へＤＢアクセス制御部２１９０を介して出力される。ただし、対応付けられた撮影データの出力先はこれに限らない。例えば、フロントエンドサーバ２３０は、時間情報に基づいて対応付けられた撮影データを、フロントエンドサーバ２３０とネットワークを介して接続され仮想視点画像を生成する画像生成装置であるバックエンドサーバ２７０に出力してもよい。また、データベース２５０とバックエンドサーバ２７０の両方に出力してもよい。
【００７１】
また、本実施形態ではフロントエンドサーバ２３０が前景画像と背景画像の対応付けを行うものとするが、これに限らず、データベース２５０が対応付けを行ってもよい。例えば、データベース２５０はフロントエンドサーバ２３０から時間情報を有する前景画像及び背景画像を取得する。そしてデータベース２５０は、前景画像と背景画像とを前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて、データベース２５０が備える記憶部に出力してもよい。
【００７２】
次に、フロントエンドサーバ２３０のデータ入力制御部２１２０の構造と機能を図５に示す機能ブロック図を用いて説明する。データ入力制御部２１２０は、サーバネットワークアダプタ６２１０、サーバ伝送部６２２０、及びサーバ画像処理部６２３０を有する。サーバネットワークアダプタ６２１０は、サーバデータ受信部６２１１を有し、カメラアダプタ１２０から送信されるデータを受信する機能を有する。
【００７３】
サーバ伝送部６２２０は、サーバデータ受信部６２１１から受取ったデータに対する処理を行う機能を有しており、以下の機能部から構成されている。
【００７４】
サーバデータ伸張部６２２１は、圧縮されたデータを伸張する機能を有している。サーバデータルーティング処理部６２２２は、後述するサーバデータルーティング情報保持部６２２４が保持するアドレス等のルーティング情報に基づきデータの転送先を決定し、サーバデータ受信部６２１１から受取ったデータを転送する。サーバ画像伝送処理部６２２３は、カメラアダプタ１２０からサーバデータ受信部６２１１を介してメッセージを受取り、メッセージに含まれるデータ種別に応じて、フラグメント化されたデータを画像データまたは音声データに復元する。なお、復元後の画像データや音声データが圧縮されている場合は、サーバデータ伸張部６２２１で伸張処理が行われる。
【００７５】
サーバデータルーティング情報保持部６２２４は、サーバデータ受信部６２１１が受信したデータの送信先を決定するためのアドレス情報を保持する機能を有する。なお、ルーティング方法については後述する。
【００７６】
サーバ画像処理部６２３０は、カメラアダプタ１２０から受信した画像データまたは音声データに係わる処理を行う機能を有している。サーバ画像処理部６２３０の処理内容は、例えば、画像データのデータ実体（前景画像、背景画像、及び三次元モデル情報）に応じた、カメラ番号や画像フレームの撮影時刻、画像サイズ、画像フォーマット、及び画像の座標の属性情報などが付与されたフォーマットへの整形処理などである。
【００７７】
次にデータベース２５０の構成と機能を図６の機能ブロック図を参照して説明する。制御部２４１０はＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、及びＥｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、制御部２４１０は、データベース２５０の各機能ブロック及びデータベース２５０のシステム全体の制御を行う。
【００７８】
データ入力部２４２０はＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、フロントエンドサーバ２３０から撮影データや非撮影データのファイルを受信する。受信したファイルはキャッシュ２４４０に送られる。また、受信した撮影データのメタ情報を読み出し、メタ情報に記録されたタイムコード情報やルーティング情報、カメラ識別子等の情報を元に、取得したデータへのアクセスが可能になるようにデータベーステーブルを作成する。
【００７９】
データ出力部２４３０は、バックエンドサーバ２７０から要求されたデータが後述するキャッシュ２４４０、一次ストレージ２４５０、二次ストレージ２４６０のいずれに保存されているか判断する。そして、データ出力部２４３０は、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、保存された先からデータを読み出してバックエンドサーバ２７０に送信する。
【００８０】
キャッシュ２４４０は高速な入出力スループットを実現可能なＤＲＡＭ等の記憶装置を有しており、データ入力部２４２０から取得した撮影データや非撮影データを記憶装置に格納する。格納されたデータは一定量保持され、それを超えるデータが入力される場合に、古いデータから随時一次ストレージ２４５０へと書き出され、書き出し済みのデータは新たなデータによって上書きされる。ここでキャッシュ２４４０に一定量保存されるデータは少なくとも１フレーム分の撮影データである。それによって、バックエンドサーバ２７０に於いて画像のレンダリング処理を行う際に、データベース２５０内でのスループットを最小限に抑え、最新の画像フレームを低遅延かつ連続的にレンダリングすることが可能となる。ここで、前述の目的を達成するためにはキャッシュされているデータの中に背景画像が含まれている必要がある。そのため、背景画像を有さないフレームの撮影データがキャッシュされる場合、キャッシュ上の背景画像は更新されず、そのままキャッシュ上に保持される。キャッシュ可能なＤＲＡＭの容量は、予めシステムに設定されたキャッシュフレームサイズ、または制御ステーション３２０からの指示によって決められる。なお、非撮影データについては、入出力の頻度が少なく、また、試合前などにおいては高速なスループットを要求されないため、すぐに一次ストレージへとコピーされる。キャッシュされたデータはデータ出力部２４３０によって読み出される。
【００８１】
一次ストレージ２４５０はＳＳＤ等のストレージメディアを並列につなぐなどして構成され、データ入力部２４２０からの大量のデータの書き込み及びデータ出力部２４３０からのデータ読み出しが同時に、且つ、高速に行う。そして、一次ストレージ２４５０には、キャッシュ２４４０上に格納されたデータの古いものから順に書き出される。
【００８２】
二次ストレージ２４６０はＨＤＤやテープメディア等で構成され、高速性よりも大容量が重視され、一次ストレージと比較して安価で長期間の保存に適するメディアであることが求められる。二次ストレージ２４６０には、撮影が完了した後、データのバックアップとして一次ストレージ２４５０に格納されたデータが書き出される。
【００８３】
図７は、本実施形態にかかるバックエンドサーバ２７０の構成を示している。バックエンドサーバ２７０は、データ受信部３００１、背景テクスチャ貼り付け部３００２、前景テクスチャ決定部３００３、テクスチャ境界色合わせ部３００４、仮想視点前景画像生成部３００５、及び、レンダリング部３００６を有する。バックエンドサーバ２７０は、更に、仮想視点音声生成部３００７、合成部３００８、画像出力部３００９、前景オブジェクト決定部３０１０、要求リスト生成部３０１１、要求データ出力部３０１２、泳ぎレンダリングモード管理部３０１４を有する。
【００８４】
データ受信部３００１は、データベース２５０およびコントローラ３００から送信されるデータを受信する。またデータベース２５０からは、スタジアムの形状を示す三次元データ（スタジアム形状データ）、前景画像、背景画像、前景画像の三次元モデル（以降、前景三次元モデルと称する）、及び音声を受信する。
【００８５】
また、データ受信部３００１は、仮想視点画像の生成に係る視点を指定するコントローラ３００から出力される仮想カメラパラメータを受信する。仮想カメラパラメータとは、仮想視点の位置や姿勢などを表すデータであり、例えば、外部パラメータの行列と内部パラメータの行列が用いられる。
【００８６】
なお、データ受信部３００１がコントローラ３００から取得するデータは仮想カメラパラメータに限らない。例えばコントローラ３００から出力される情報は、視点の指定方法、コントローラが動作させているアプリケーションを特定する情報、コントローラ３００の識別情報、及びコントローラ３００を使用するユーザの識別情報の少なくとも何れかを含んでいてよい。また、データ受信部３００１は、コントローラ３００から出力される上記の情報と同様の情報を、エンドユーザ端末１９０から取得してもよい。さらに、データ受信部３００１は、データベース２５０やコントローラ３００などの外部の装置から、複数のカメラ１１２に関する情報を取得してもよい。複数のカメラ１１２に関する情報は、例えば、複数のカメラ１１２の数に関する情報や複数のカメラ１１２の動作状態に関する情報などである。カメラ１１２の動作状態には、例えば、カメラ１１２の正常状態、故障状態、待機状態、起動状態、及び再起動状態の少なくとも何れかが含まれる。
【００８７】
背景テクスチャ貼り付け部３００２は、背景メッシュモデル管理部３０１３から取得する背景メッシュモデル（スタジアム形状データ）で示される三次元空間形状に対して背景画像をテクスチャとして貼り付けることでテクスチャ付き背景メッシュモデルを生成する。メッシュモデルとは、例えばＣＡＤデータなど三次元の空間形状を面の集合で表現したデータのことである。テクスチャとは、物体の表面の質感を表現するために貼り付ける画像のことである。
【００８８】
前景テクスチャ決定部３００３は、前景画像及び前景三次元モデル群より前景三次元モデルのテクスチャ情報を決定する。前景テクスチャ境界色合わせ部３００４は、各前景三次元モデルのテクスチャ情報と各三次元モデル群からテクスチャの境界の色合わせを行い、前景オブジェクト毎に色付き前景三次元モデル群を生成する。仮想視点前景画像生成部３００５は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。レンダリング部３００６は、レンダリングモード管理部３０１４で決定された、仮想視点画像の生成に用いられる生成方式に基づいて、背景画像と前景画像をレンダリングして全景の仮想視点画像を生成する。
【００８９】
本実施形態では仮想視点画像の生成方式として、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）とイメージベース（Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＩＢＲ）の２つのレンダリングモードが用いられる。
【００９０】
ＭＢＲとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し，仮想視点からのシーンの見えを画像として生成する技術である。ＩＢＲとは、対象のシーンを複数視点から撮影した入力画像群を変形、合成することによって仮想視点からの見えを再現した仮想視点画像を生成する技術である。本実施形態では、ＩＢＲを用いる場合、ＭＢＲを用いて三次元モデルを生成するための複数の撮影画像より少ない１又は複数の撮影画像に基づいて仮想視点画像が生成される。
【００９１】
レンダリングモードがＭＢＲの場合、背景メッシュモデルと、前景テクスチャ境界色合わせ部３００４で生成した前景三次元モデル群とを合成することで全景モデルが生成され、その全景モデルから仮想視点画像が生成される。
【００９２】
レンダリングモードがＩＢＲの場合、背景テクスチャモデルに基づいて仮想視点から見た背景画像が生成され、そこに仮想視点前景画像生成部３００５で生成された前景画像を合成することで仮想視点画像が生成される。
【００９３】
なお、レンダリング部３００６はＭＢＲとＩＢＲ以外のレンダリング手法を用いてもよい。また、レンダリングモード管理部３０１４が決定する仮想視点画像の生成方式はレンダリングの方式に限らず、レンダリングモード管理部３０１４は仮想視点画像を生成するためのレンダリング以外の処理の方式を決定してもよい。レンダリングモード管理部３０１４は、仮想視点画像の生成に用いられる生成方式としてのレンダリングモードを決定し、決定結果を保持する。
【００９４】
本実施形態では、レンダリングモード管理部３０１４は、複数のレンダリングモードから使用するレンダリングモードを決定する。この決定は、データ受信部３００１が取得した情報に基づいて行われる。例えば、レンダリングモード管理部３０１４は、取得された情報から特定されるカメラの数が閾値以下である場合に、仮想視点画像の生成に用いられる生成方式をＩＢＲに決定する。一方、カメラ数が閾値より多い場合は生成方式をＭＢＲに決定する。これにより、カメラ数が多い場合にはＭＢＲを用いて仮想視点画像を生成することで視点の指定可能範囲が広くなる。また、カメラ数が少ない場合には、ＩＢＲを用いることで、ＭＢＲを用いた場合の三次元モデルの精度の低下による仮想視点画像の画質低下を回避することができる。また例えば、撮影から画像出力までの許容される処理遅延時間の長短に基づいて生成方式を決めてもよい。遅延時間が長くても視点の自由度を優先する場合はＭＢＲ、遅延時間が短いことを要求する場合はＩＢＲを用いる。また例えば、コントローラ３００やエンドユーザ端末１９０が視点の高さを指定可能であることを示す情報をデータ受信部３００１が取得した場合には、仮想視点画像の生成に用いられる生成方式をＭＢＲに決定する。これにより、生成方式がＩＢＲであることによってユーザによる視点の高さの変更要求が受け入れられなくなることを防ぐことができる。このように、状況に応じて仮想視点画像の生成方式を決定することで、適切に決定された生成方式で仮想視点画像を生成できる。また、複数のレンダリングモードを要求に応じて切り替え可能な構成にすることで、柔軟にシステムを構成することが可能になり、本実施形態をスタジアム以外の被写体にも適用可能となることを明記しておく。
【００９５】
なお、レンダリングモード管理部３０１４が保持するレンダリングモードは、システムに予め設定された方式であってもよい。また、仮想カメラ操作ＵＩ３３０やエンドユーザ端末１９０を操作するユーザがレンダリングモードを任意に設定できてもよい。
【００９６】
仮想視点音声生成部３００７は、仮想カメラパラメータに基づいて、仮想視点において聞こえる音声（音声群）を生成する。合成部３００８は、レンダリング部３００６で生成された画像群と仮想視点音声生成部３００７で生成された音声を合成して仮想視点コンテンツを生成する。
【００９７】
画像出力部３００９は、コントローラ３００とエンドユーザ端末１９０へＥｔｈｅｒｎｅｔ（登録商標）を用いて仮想視点コンテンツを出力する。ただし、外部への伝送手段はＥｔｈｅｒｎｅｔ（登録商標）に限定されるものではなく、ＳＤＩ、ＤｉｓｐｌａｙＰｏｒｔ、及びＨＤＭＩ（登録商標）などの信号伝送手段を用いてもよい。なお、バックエンドサーバ２７０は、レンダリング部３００６で生成された、音声を含まない仮想視点画像を出力してもよい。
【００９８】
前景オブジェクト決定部３０１０は、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの空間上の位置を示す前景オブジェクトの位置情報から、表示される前景オブジェクト群を決定して、前景オブジェクトリストを出力する。つまり、前景オブジェクト決定部３０１０は、仮想視点の画像情報を物理的なカメラ１１２にマッピングする処理を実施する。本仮想視点は、レンダリングモード管理部３０１４で決定されるレンダリングモードに応じてマッピング結果が異なる。そのため、複数の前景オブジェクトを決定する制御部が前景オブジェクト決定部３０１０に配備されレンダリングモードと連動して制御を行うことを明記しておく。
【００９９】
要求リスト生成部３０１１は、指定時間の前景オブジェクトリストに対応する前景画像群と前景三次元モデル群、及び背景画像と音声データをデータベース２５０に要求するための、要求リストを生成する。前景オブジェクトについては仮想視点を考慮して選択されたデータがデータベース２５０に要求されるが、背景画像と音声データについてはそのフレームに関する全てのデータが要求される。バックエンドサーバ２７０の起動後、背景メッシュモデルが取得されるまで背景メッシュモデルの要求リストが生成される。
【０１００】
要求データ出力部３０１２は、入力された要求リストを元にデータベース２５０に対してデータ要求のコマンドを出力する。背景メッシュモデル管理部３０１３は、データベース２５０から受信した背景メッシュモデルを記憶する。
【０１０１】
なお、本実施形態ではバックエンドサーバ２７０が仮想視点画像の生成方式の決定と仮想視点画像の生成の両方を行う場合を中心に説明するが、これに限らない。即ち、生成方式を決定した装置はその決定結果に応じたデータを出力すればよい。例えば、フロントエンドサーバ２３０が、複数のカメラ１１２に関する情報や仮想視点画像の生成に係る視点を指定する装置から出力される情報などに基づいて、仮想視点画像の生成に用いられる生成方式を決定してもよい。そしてフロントエンドサーバ２３０は、カメラ１１２による撮影に基づく画像データと決定された生成方式を示す情報とを、データベース２５０などの記憶装置及びバックエンドサーバ２７０などの画像生成装置の少なくとも何れかに出力してもよい。この場合には、例えばフロントエンドサーバ２３０が出力した生成方式を示す情報に基づいてバックエンドサーバ２７０が仮想視点画像を生成する。フロントエンドサーバ２３０が生成方式を決定することで、決定された方式とは別の方式での画像生成のためのデータをデータベース２５０やバックエンドサーバ２７０が処理することによる処理負荷を低減できる。一方、本実施形態のようにバックエンドサーバ２７０が生成方式を決定する場合、データベース２５０は複数の生成方式に対応可能なデータを保持するため、複数の生成方式それぞれに対応する複数の仮想視点画像の生成が可能となる。
【０１０２】
以上述べたようなシステム構成とすることにより、複数のカメラで取得された撮影画像から所望の仮想視点画像の生成が可能となる。
【０１０３】
次にカメラアダプタ１２０の符号量制御処理について説明する。本処理の目的は、当該システムにおける伝送路に即した符号量とするよう、個々の視点の符号化方法を適切に決定するものである。図１１（ａ）は、縦軸を画質、横軸を符号量とした時に、量子化パラメータを変化させて所定の符号化方式で符号化した際の画質と符号量の関係を示しており、通称ＲＤ曲線と呼ばれるものでもある。本実施形態ではこのＲＤ曲線を、本番の符号化の前に同じ環境下で予備で符号化して作成するなどして予め取得しておくこととする。そして着目するカメラアダプタの目標画質を決定し、ＲＤ曲線を参照して当該目標画質を満たすことのできる量子化パラメータを適用することで目標符号量の実現を図る。尚、量子化パラメータとは、符号化を行う前の量子化の過程において、画素値や係数値の量子化ステップを決定づけるものである。
【０１０４】
実施形態では、量子化パラメータの決定処理はセンサシステム１１０におけるカメラアダプタ１２０が行う。
【０１０５】
また、以下の説明に先立ち、デイジーチェーン接続の着目センサシステム１１０におけるカメラの視線方向と、１つ上流のセンサシステムのカメラの視線方向との差は予め設定された範囲内になっているものとする。ただし、最上流のセンサ１１０の１つ上流は最下流のセンサシステム１１０とし、それら間の視線方向の差も予め設定された範囲内になっているものとする。
【０１０６】
そして、カメラアダプタの総数をＶｎｕｍ、最上流からｖ番目（ｖ＝１、２、…、Ｖｎｕｍのいずれか）のカメラアダプタ（着目カメラアダプタ）が、タイミングｔでの撮像画像を符号化した際の符号化データの符号量をＣ［ｔ，ｖ］と呼称する。また、着目カメラアダプタの目標画質をＱ［ｔ、ｖ］と呼称する。また、各カメラアダプタが生成する画像データの基本符号量をＢｔとする。この基本符号量Ｂｔは、本システムで取得されるデータ全体を所定の帯域の伝送路でリアルタイムで送信するために、個々のカメラアダプタに設定される値である。本実施形態では、この基本符号量Ｂｔを、伝送路の通信帯域中で映像を伝送するために使用が可能な帯域を視点数（カメラ数）で除算した値とする。
【０１０７】
更に、各カメラアダプタは、互いに通信し、符号化済みの画像データの符号量、目標画質を共有する。共有するのは、現在のタイミングｔと過去のタイミングにおける符号量Ｃ［ｔ，*］、Ｃ［ｔ−１,*］、目標画質Ｑ［ｔ，＊］，Ｑ［ｔ−１，＊］であり、メモリ消費量の増大を防ぐために、それより古い符号量や目標画質は破棄されるものとする。
【０１０８】
以下、ｖ番目のカメラアダプタ（図１の符号１２０ａ〜１２０ｚのいずれか）を着目カメラアダプタ（着目撮像装置）とし、当該着目カメラアダプタの符号量制御処理を図９のフローチャートに従って説明する。なお、以下に説明する目標符号量とは、今回のタイミング（タイミングｔ）で撮像された画像を符号化する際の目標符号量を意味する。故に、この目標符号量と、上記の基本符号量とを混同されないよう注意されたい。
【０１０９】
まずステップＳ９０１にて、着目カメラアダプタは、１つ上流に位置するカメラアダプタから、最上位のカメラアダプタから１つ上流のカメラアダプタ（ｖ−１番目のカメラアダプタ）で生成した符号化データの符号量と目標とする符号量との差を表す目標差分符号量Ｄcを取得する。ここで、目標差分符号量Ｄcは以下の意味を持つ。
【０１１０】
最上流のカメラアダプタを第１のカメラアダプタと定義するなら、第１乃至第ｖ−１番目のカメラアダプタまでで発生した符号化データの総量をＣtotal［ｔ，ｖ−１］と定義する。
Ｃtotal[t, v-1]＝ΣＣ［t, i］
（ここで、Σは、ｉ＝１、２、…、ｖ−１の合算を示している）
ｖ−１個のカメラアダプタの基本符号量Ｂｔの合計は、Ｂｔのｖ−１倍であるから、目標差分符号量Ｄｃは次式で得られる。
Ｄｃ＝(v-1)・Ｂｔ−Ｃtotal[t, v-1]
ステップＳ９０２にて、着目カメラアダプタは、前ステップＳ３０３で得た目標差分符号量Ｄcに基づき、着目カメラアダプタが有するカメラで撮像した画像を実際に符号化する際の目標画質Ｑ［ｔ、ｖ］を更新すべきか否かを判断する。具体的には、予め設定された閾値ｌｄとしたとき、着目カメラアダプタは次の条件を満たすか否かを判定する。
条件：｜Ｄｃ｜＞ｌｄ
そして、着目カメラアダプタは、この条件を満たす場合に更新が必要と判定する。更新が必要と判断した場合、着目カメラアダプタは処理をステップＳ９０３へ、不要と判断された場合は処理をステップＳ９０６へ進める。
【０１１１】
ステップＳ９０３にて、着目カメラアダプタは、自身に接続されたカメラ１１２で撮像した画像（以下、符号化対象画像という）の目標画質Ｑ［ｔ、ｖ］を決定するための、参照用画質を取得する。この処理では、時間軸、視点軸において近接する既に符号化済みの視点の目標画質を取得する。本実施形態では、図１０で示すように、Ｑ［ｔ、ｖ］に時間的、空間的に近接する目標画質Ｑ［ｔ−１、ｖ］、Ｑ［ｔ、ｖ−１］、Ｑ［ｔ−１、ｖ＋１］をそれぞれ取得する。ただし当該参照するカメラアダプタの数はこれに限らず、より広く参照することで画質の連続性の向上を図ってもよい。また、現在のタイミングｔの目標画質Ｑ［ｔ、ｖ−１］を使用することが処理速度上難しい場合は、過去のタイミング（ｔ−１以前）の目標画質のみを使用するようにする。尚、目標画質はＰＳＮＲやＳＳＩＭなどの客観指標値を用いる。
【０１１２】
次にステップＳ９０４にて、着目カメラアダプタは、符号化対象画像に対する目標画質Ｑ［ｔ、ｖ］の範囲を決定する。本処理では前ステップＳ９０３で取得した参照用の画質の、Ｑ［ｔ−１、ｖ］とＱ［ｔ、ｖ−１］とＱ［ｔ−１、ｖ＋１］を用い、着目カメラアダプタは、これらの値から大きく変化することのないように制御する。目標画質の決定方法としては例えば、視点間の正の許容画質差ｑｄを予め定めておき、下記の条件を全て満たす範囲（許容範囲）とすればよい。
Ｑ［ｔ−１，ｖ］−ｑｄ≦Ｑ［ｔ，ｖ］≦Ｑ［ｔ−１，ｖ］＋ｑｄ
Ｑ［ｔ，ｖ］−ｑｄ≦Ｑ［ｔ，ｖ］≦Ｑ［ｔ，ｖ］＋ｑｄ
Ｑ［ｔ−１，ｖ＋１］−ｑｄ≦Ｑ［ｔ，ｖ］≦Ｑ［ｔ−１，ｖ＋１］＋ｑｄ
【０１１３】
この処理により、図１１（ｂ）、（ｃ）に示すように、目標画質Ｑ［ｔ、ｖ］の範囲が定まる。
【０１１４】
次にステップＳ９０５にて、着目カメラアダプタは、前ステップで設定した目標画質Ｑ［ｔ、ｖ］の範囲と、目標差分符号量Ｄcと、基本符号量Ｂｔに基づき、着目カメラアダプタにおける符号化対象画像の量子化パラメータを決定する。
【０１１５】
具体的には、図１１（ｂ）に示すように、着目カメラアダプタにおける前回（タイミングｔ−１）の目標符号量に対し、目標差分符号量Ｄcを加算した値を更新後の目標符号量とする。そしてＲＤ曲線に基づき、該更新後の目標符号量を実現可能な量子化パラメータを着目カメラアダプタにおける、符号化対象の量子化パラメータとして決定する。このとき、実施形態によれば、図１１（ｃ）に示したように更新前の目標符号量に目標差分符号量Ｄcを加算した値に対応する画質が、目標画質の許容範囲内にあれば、その画質を目標画質とする。そして、許容範囲外となった場合には、その値に近い目標画質の許容範囲の境界値（範囲を表す上限値又は下限値）を更新後の目標画質となる。
【０１１６】
一方、目標画質の更新が必要ないと判定されて、ステップＳ９０６に処理が進んだ場合、着目カメラアダプタは、前回（タイミングｔ−１）と同じ量子化パラメータを用いて、符号化対象画像を符号化する、として決定する。
【０１１７】
ステップＳ９０７にて、着目カメラアダプタは、ステップＳ９０５、またはＳ９０６で決定した量子化パラメータに基づき、符号化対象画像を量子化（場合によっては周波数変換した後の量子化）を行う。そして、ステップＳ９０８にて、着目カメラアダプタは、符号化を行う。この符号化により得られた符号化データの符号量がＣ［t,v］となる。
【０１１８】
そして、ステップＳ９０９にて、着目カメラアダプタは、目標差分符号量Ｄcを次式に従い更新し、下流のカメラアダプタに通知する。
Ｄc＝v・Ｂｔ−｛Ｃtotal[t, v-1]＋Ｃ［t,v］｝＝ｖ・Ｂｔ−Ｃtotal[t,v]
以上のようにすることで、時間軸、視点軸で近接するカメラアダプタの画質を考慮しながら符号量の制御を行うことができるので、自由視点映像生成の際に使用する映像に大きな画質差を発生させずに映像をリアルタイムに伝送することができる。
【０１１９】
なお、上記実施形態では、各カメラアダプタが互いに目標画質や符号化データ量を共有するものとして説明したが、各カメラが符号化画像データを画像コンピューティングサーバ２００に送信する際に、それらの情報を添付して送信しても良い。つまり、各カメラアダプタの符号化パラメータを、画像コンピューティングサーバ２００が決定しても良い。
【０１２０】
［第２の実施形態］
第１の実施形態では符号量を制御する際に、カメラアダプタ毎にそれぞれ時間軸、視点軸で近接するカメラアダプタの画質を参照して更新を行った。しかし、この方法によると所定の時刻における全視点の処理の結果、目標符号量と実符号量に差があった場合に、次時刻の上流側の目標画質が大きく影響を受けやすくなる。本実施形態ではこの課題を解決するために、各視点の目標画質（以下、目標画質テーブルと呼ぶ）の決定を二段階で行うように構成する。具体例を図１４を用いて説明する。なお、以下の説明は、着目カメラアダプタの処理であるものと理解されたい。
【０１２１】
まず時刻ｔ−１の全視点の処理を終えた際、目標画質テーブルは図１４（ａ）の状態であったとする。そして目標差分符号量を参照して時刻ｔ−１の目標画質テーブルを更新し、時刻ｔにおける目標画質テーブルとする。例えば目標画質変化量を−１．０とすると、目標画質テーブルは図１４（ｂ）のような状態となる。これを第一目標画質更新とする。この目標画質テーブルは各カメラアダプタへ送信され、各カメラの初期の画質として設定される。次に、時刻ｔにおける各カメラアダプタは、自カメラアダプタの上流のカメラアダプタまでに発生している目標差分符号量Ｄｃに基づき、目標画質テーブルをさらに更新する。例えば着目カメラアダプタにおける目標画質変化量を−０．２とすると、目標画質テーブルは図１４（ｃ）のような状態となる。この更新処理を第二目標画質更新とする。そしてこの第二目標画質更新を終えた目標画質テーブルにおける、自カメラの目標画質を用い、量子化パラメータを定めて符号化を行う。また、本第２の実施形態では視点ｖにおけるカメラアダプタの目標符号量Ｘ［ｔ、ｖ］は、全カメラの時刻ｔ−１の目標差分符号量をＤ［ｔ−１］、総視点数をＶｎｕｍとすると、下式で算出される値とする。
Ｘ［ｔ，ｖ］＝Ｘ［ｔ−１，ｖ］−Ｄ［ｔ−１］／Ｖｎｕｍ
上式に基づいて算出された値を目標符号量テーブルとし、目標画質テーブルと合わせて各カメラアダプタへと送信する。
【０１２２】
本実施形態の処理の流れについて以下から、図１２のシーケンス図を用いて説明する。尚、図１２は説明を簡易化するため最上流のカメラアダプタ１２０ａと、最下流のカメラアダプタ１２０ｚのみを図示している。また、符号量制御に関わる処理のみ記載している。
【０１２３】
まず、制御ステーション３２０は目標画質テーブル、及び目標符号量テーブルを最上流のカメラアダプタ１２０ａに送信する（Ｆ１２０１）。この目標画質テーブルは前述のとおり、前時刻に第一目標画質更新がなされたものである。
【０１２４】
次に、カメラアダプタ１２０ａでは、自身に対応するカメラアダプタの撮影画像を符号化する（Ｆ１２０２）。本来はこの処理の前に第二目標画質更新を行うが、カメラアダプタ１２０ａは最上流のカメラアダプタのため、目標画質テーブルの値をそのまま用いることとなる。目標画質から量子化パラメータを決定した後、第１の実施形態のステップ９０７〜９０８と同様に、該量子化パラメータに基づいて量子化をした画素値に対して符号化を行う。
【０１２５】
次に、カメラアダプタ１２０ａでは、目標符号量と実符号量との差分である、目標差分符号量Ｄｃを算出する（Ｆ１２０３）。
【０１２６】
次に、カメラアダプタ１２０ａは、カメラアダプタ１２０ｚに対し、画像を符号化した結果と、目標差分符号量Ｄｃと、目標画質テーブルと、目標符号量テーブルとを送信する（Ｆ１２０４）。
【０１２７】
次に、カメラアダプタ１２０ｚは、カメラアダプタ１２０ａから受領したデータに基づき、第二目標画質更新を行う（Ｆ１２０５）。本処理では、一つ上流に近接する視点のカメラアダプタの同時刻での目標画質を参照用として取得する。参照用の目標画質を得たら、第１の実施形態のステップＳ９０４、Ｓ９０５と同様に、目標画質の範囲を決定し、量子化パラメータを決定する。このとき、更新する範囲としては、第一目標画質更新時に更新される変化量と合わせて予め定められている閾値ｑｄ以下となるよう制限する。
【０１２８】
次に、カメラアダプタ１２０ｚは、自身に対応するカメラの撮影画像を符号化する（Ｆ１２０６）。この処理はＦ１２０２と同様で良い。
【０１２９】
次に、カメラアダプタ１２０ｚは、目標符号量と実符号量との差分である、目標差分符号量を算出し、上流から受け取った値と積算する（Ｆ１２０７）。
【０１３０】
次に、カメラアダプタ１２０ｚはフロントエンドサーバ２３０へ、画像を符号化した結果と、目標差分符号量と、目標画質テーブル、目標符号量テーブルとを送信する（Ｆ１２０８）。
【０１３１】
次に、フロントエンドサーバ２３０では、カメラアダプタ１２０ｚから受け取った、現時刻における目標差分符号量に基づき、次時刻の目標符号量を定める（Ｆ１２０９）。本処理は、現時刻で発生した目標差分符号量を、次時刻の全視点で補填することを目的としている。目標符号量の算出方法は前述のとおりである。
【０１３２】
次に、フロントエンドサーバ２３０では、前の処理で得た目標符号量テーブルに基づき、第一目標画質更新を行う（Ｆ１２１０）。本処理では、ＲＤ曲線を用いて前の処理で得た次時刻の目標符号量に対応する画質を、次時刻における目標画質とする。ただしこのとき、得た目標画質と現時刻の目標画質との変化量は予め定めた閾値ｑｄ以内でない時は、変化量ｑｄで丸めて制限する。
【０１３３】
次に、フロントエンドサーバ２３０では、前の処理で得た、目標画質テーブル、目標符号量テーブルを制御ステーション３２０へ送信する（Ｆ１２１１）。
【０１３４】
次に、制御ステーション３２０では目標画質テーブル、目標符号量テーブルをカメラアダプタ１２０ａへ送信する（Ｆ１２１２）。
【０１３５】
以上のような処理構成とすることにより、フロントサーバ２３０で、全視点の目標画質を一斉更新できるため、前時刻における目標差分符号量の補填を処理中の時刻における上流側の視点に集中させずに符号量の制御を行うことができる。
【０１３６】
最下流に位置するカメラアダプタ１２０ｚが１つ上流のカメラアダプタから受信した目標差分符号量Ｄｃは、結局のところ、全カメラアダプタによるタイミングｔにおける全符号量と、基本符号量Ｂｔ×カメラ数との差となる。故に、上記フロントエンドサーバ２３０の処理を、最下流に位置するカメラアダプタ１２０ｚが行っても構わない。
【０１３７】
［第３の実施形態］
第１、第２の実施形態では各カメラアダプタにおいて目標画質を決定する際に用いる基本符号量を全て同値とした。しかしながら、各視点で取得される映像はそれぞれ複雑度が異なるため、同等の画質パラメータを設定した場合においても発生符号量が異なる。このような場合に基本符号量を同値で設定してしまうと、複雑度が高い視点と低い視点で画質が大きく異なってしまうことがある。特に、前景のような重要領域を高い画質で保ちたい場合、視点毎の前景領域が占める面積は異なるため、この課題は顕著となる。本実施形態では、前景領域はロスレス符号化（可逆符号化）、背景領域は量子化を伴うロッシー符号化（非可逆符号化）を行うシステムであり、該前景領域の面積に応じ、各視点の背景領域の目標符号量（以下、背景目標符号量テーブル）を設定しながら符号量の制御を行う方法について説明する。
【０１３８】
図１３は本第３の実施形態における符号量制御時のシーケンス図である。
【０１３９】
まず、制御ステーション３２０は背景目標画質テーブル、背景目標符号量テーブルを最上流のカメラアダプタ１２０ａに送信する（Ｆ１３０１）。この背景目標画質テーブルは前時刻（タイミングｔ−１）に第一目標画質更新がなされたものであり、背景目標符号量テーブルも前時刻にフロントエンドサーバ２３０で決定されたものである。フロントエンドサーバ２３０での決定方法に関しては後述する。
【０１４０】
次に、最上流のカメラアダプタ１２０ａは、取得した画像に対し前景背景分離を行う（Ｆ１３０２）。本処理は第１の実施形態で説明した、前景背景分離部６１３１が行う処理と同処理である。
【０１４１】
次に、カメラアダプタ１２０ａは、取得した画像を符号化する（Ｆ１３０３）。ここではまず前景領域をロスレス符号化する。そして背景目標画質から量子化パラメータを決定した後、背景領域に対して第１の実施形態のステップＳ９０７〜９０８と同様に、該量子化パラメータに基づいて量子化をした画素値に対して符号化を行う。
【０１４２】
次に、カメラアダプタ１２０ａは、目標符号量と実符号量との差分である、目標差分符号量を表す値Ｄｃを算出する（Ｆ１３０４）。次に、カメラアダプタ１２０ａは、カメラアダプタ１２０ｚに対し、画像を符号化した結果と、前景画素数と、目標差分符号量と、背景目標画質テーブル、背景目標符号量テーブルとを送信する（Ｆ１３０５）。
【０１４３】
カメラアダプタ１２０ｚでは、取得した画像に対し前景背景分離を行う（Ｆ１３０６）。この処理はＦ１３０２と同様で良い。次に、カメラアダプタ１２０ｚは、カメラアダプタ１２０ａから受領したデータに基づき、第二背景目標画質更新を行う（Ｆ１３０７）。本処理は背景領域に対し、第２の実施形態のＦ１２０５と同様にすればよい。
【０１４４】
次に、カメラアダプタ１２０ｚは、取得した画像を符号化する（Ｆ１３０８）。この処理はＦ１３０３と同様で良い。次に、カメラアダプタ１２０ｚは、目標符号量と実符号量との差分である、目標差分符号量を算出し、上流から受け取った値と積算する（Ｆ１３０９）。
【０１４５】
次に、カメラアダプタ１２０ｚはフロントエンドサーバ２３０へ、画像を符号化した結果と、前景画素数と、目標差分符号量と、背景目標画質テーブル、背景目標符号量テーブルとを送信する（Ｆ１３１０）。
【０１４６】
次に、フロントエンドサーバ２３０は、カメラアダプタ１２０ｚから受け取った、全視点の前景画素数を積算し、総前景画素数を得る（Ｆ１３１１）。
【０１４７】
次に、フロントエンドサーバ２３０は、総前景画素数と、カメラアダプタ１２０ｂから受け取った現時刻における目標差分符号量と、各視点の前景画素数に基づき、全視点の次時刻の目標符号量の決定を行う（Ｆ１３１２）。本実施形態では、視点ｖにおけるカメラアダプタの目標符号量Ｘ［ｔ、ｖ］を、下式で算出される値とする。尚、Ｄ［ｔ−１］は時刻ｔ−１の目標差分符号量、Ｐ［ｔ−１、ｖ］は時刻ｔ−１における前景画素数、Ｐｔｏｔａｌ総前景画素数とする。
【０１４８】
次に、フロントエンドサーバ２３０は、前の処理で得た背景目標符号量テーブルに基づき、第一背景目標画質更新を行う（Ｆ１３１３）。本処理では、ＲＤ曲線を用いて前の処理で得た次時刻の目標符号量に対応する画質を、背景目標画質とする。本処理は背景領域に対し、第２の実施形態のＦ１２１０と同様にすればよい。次に、フロントエンドサーバ２３０は、前の処理で得た、背景目標画質テーブル、背景目標符号量テーブルを制御ステーション３２０へ送信する（Ｆ１３１４）。次に、制御ステーション３２０は、背景目標画質テーブル、背景目標符号量テーブルをカメラアダプタ１２０ａへ送信する（Ｆ１３１５）。
【０１４９】
以上のようにすることで、視点毎の前景領域の面積に応じて目標符号量を割り振ることができるため、視点間の画質差をより小さく保つことができる。尚、本実施形態では前景面積の比率のみを用いて目標符号量の分配を決定したが、背景領域の複雑度を予め取得しておくなどして合わせて用いることで、より精度の高い分配が可能となる。また、本実施形態では前景領域をロスレス符号化としたが、符号量が大きくなってしまう場合はロッシー符号化としてもよい。その場合は前景領域の目標画質と背景領域の目標画質を別々に制御するようにする。
【０１５０】
［第４の実施形態］
第１の実施形態では、時刻間の画質差を低減するために、目標画質決定時に前時刻の目標画質を参照した。また第２の実施形態では、次時刻の目標画質を現時刻の目標差分符号量を参照し、閾値以内の変化量となるよう制限しながら更新した。
【０１５１】
これ以外にも、視点軸での画質連続性をより重視する場合には、フロントエンドサーバ２３０の第一目標画質更新処理において、次時刻の全視点の目標画質を一律の値とするようにすればよい。これはまず、フロントエンドサーバ２３０で現時刻における全視点の目標画質の平均値を算出し、目標画質ベースとする。そして目標符号量を達成するよう、この目標画質ベースを変化させる。このとき、目標画質ベースの変化量閾値以内となるよう制御する。そして得られた目標画質べースを全視点における目標画質として設定する。
【０１５２】
以上のようにすることで視点軸の画質連続性がより高い符号量制御を行うことができる。
【０１５３】
［第５の実施形態］
前述の実施形態は目標画質と目標符号量の達成を、量子化時の量子化パラメータを制御することで実現した。このようにすることで、各カメラアダプタにおいて目標符号量に近い符号量を実現できる。しかしこのような構成の場合、実符号量はあくまでも符号化後にしかわからないため、必ずしも目標符号量を達成できるとは限らない。そこで本実施形態では、実符号量を参照しながら符号量を制御する方法について説明する。
【０１５４】
まず、前述の実施形態と同様に目標画質の決定をする。そして次にＪＰＥＧ２０００と同様、画像を周波数変換し、得られた変換係数を表す値の同一ビット位置で構成されるビットプレーンごとの符号化を行う。そして符号化後の符号量を参照し、目標符号量を達成できるようなビットプレーンの切り捨て位置を決定し、切り捨て位置より下位のビットプレーンを切り捨てる。ただしこのとき、時間軸、視点軸で近接するカメラアダプタの画質と、該ビットプレーンの切り捨てを行った場合の画質との変化量が閾値以内となるよう切り捨て点を制御する。具体的には、目標符号量で決定した切り捨て点で切り捨てた場合の画質が、参照カメラアダプタの画質と比較して閾値以上異なる場合、閾値以下となるよう切り捨て点を移動させる。
【０１５５】
以上のようにすることで、実符号量を参照しながら、符号量の制御を行うことができる。
【０１５６】
［第６の実施形態］
第１の実施形態では、着目カメラアダプタにおける量子化パラメータを決定するために、視点軸、時間軸で近接するカメラアダプタの画質評価値（ＰＳＮＲなど）を用いた。この他にも、視点軸、時間軸で近接するカメラアダプタにおける量子化パラメータそのものを参照し、量子化パラメータ間の差分が閾値以下となるように制御しても良い。
【０１５７】
このようにすることで、視点軸と時間軸で大きな画質差を生じさせず、より簡易な符号量の制御が可能となる。
【０１５８】
［第７の実施形態］
第１の実施形態では、視点軸、時間軸で近接するカメラアダプタ間の許容画質差を予め定めた固定値で規定していた。これは、カメラアダプタにおいて撮影時間中の目標差分符号量を保持できるだけの十分なバッファが存在する場合にはよいが、そうでない場合には目標差分符号量がバッファから溢れてしまうことがある。これを防ぐためには、該許容画質差を残バッファ量に応じて動的に変化させるよう制御するとよい。
【０１５９】
（その他の実施形態）
前述の実施形態においては、カメラアダプタ間を一本の伝送路で数珠つなぎに接続する際を例に説明したが、本発明はこれに限らず、その他のトポロジーにおいても適用が可能である。例えばバス型においてもデイジーチェーンと同様の課題が発生するため、同じように近接するカメラアダプタの情報を取得しながら符号量の制御を行えばよい。また、スター型の場合には近接するカメラアダプタ間は直接接続されていないが、近接カメラアダプタの画質など必要な情報はフロントエンドサーバからそれぞれ取得するよう構成すればよい。
【０１６０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１６１】
１００…画像処理システム、１１０ａ〜１１０ｚ…センサシステム、１８０、スイッチングハブ、１９０…エンドユーザ端末、２００…画像コンピューティングサーバ、３００…コントローラ
【図１】
2019050451.tif 000003
【図２】
2019050451.tif 000004
【図３】
2019050451.tif 000005
【図４】
2019050451.tif 000006
【図５】
2019050451.tif 000007
【図６】
2019050451.tif 000008
【図７】
2019050451.tif 000009
【図８】
2019050451.tif 000010
【図９】
2019050451.tif 000011
【図１０】
2019050451.tif 000012
【図１１】
2019050451.tif 000013
【図１２】
2019050451.tif 000014
【図１３】
2019050451.tif 000015
【図１４】
2019050451.tif 000016