(57)【要約】【課題】  画像処理を複数の装置で行う場合に、一部の装置が処理を実行できない場合であっても、その影響を低減することを目的とする。【解決手段】  画像処理装置は、他の画像処理装置から取得した画像の付帯情報に基づいて、画像処理を実行するか否かを判定する。【選択図】  図１
2019008429.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影装置により撮影された複数の画像を複数の画像処理装置で処理して仮想視点画像を生成する画像処理システムにおける画像処理装置であって、
前記複数の画像処理装置のうちの第１の他の画像処理装置から、前記複数の撮影装置のうちの第１の撮影装置による撮影に基づく画像と、当該画像の付帯情報とを取得する第１の取得手段と、
前記複数の撮影装置のうちの第２の撮影装置により撮影された画像を取得する第２の取得手段と、
前記第１の取得手段により取得された画像の付帯情報に基づいて、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いた画像処理であって、仮想視点画像を生成するための所定の画像処理を実行するか否かを判定する判定手段と、
前記判定手段により前記所定の画像処理を実行すると判定された場合、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いて前記所定の画像処理を実行する処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記複数の画像処理装置のうちの第２の他の画像処理装置に前記第１の取得手段により取得された画像を用いる画像処理の実行を判定させるための付帯情報と、前記第１の取得手段により取得された画像とを、前記第２の他の画像処理装置に送信する送信手段と、
を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記送信手段は、前記第２の他の画像処理装置に前記第１の取得手段により取得された画像を少なくとも用いた前記所定の画像処理を実行するか否かを判定するための前記付帯情報と、前記第１の取得手段により取得された画像とを前記第２の他の画像処理装置に送信することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記第１の取得手段により取得された画像の付帯情報に、画像処理が必要なことを示す情報が含まれている場合、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いた前記所定の画像処理を実行すると判定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記判定手段は、前記第１の取得手段により取得された画像の付帯情報に、前記画像処理装置と共通の領域が撮影された画像を処理するグループであることを示す情報が含まれている場合、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いた前記所定の画像処理を実行すると判定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記第１の他の画像処理装置及び前記第２の他の画像処理装置とデイジーチェーン接続されることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記取得手段は、
前記第１の他の画像処理装置が前記第１の撮影装置により撮影された画像を用いて実行すべき画像処理を実行した場合、画像処理を実行していることを示す付帯情報を取得し、
前記第１の他の画像処理装置が前記第１の撮影装置により撮影された画像を用いて実行すべき画像処理を実行しない場合、画像処理を実行していることを示す付帯情報を取得し、
前記判定手段は、
前記第１の他の画像処理装置が前記第１の撮影装置により撮影された画像を用いて実行すべき画像処理を実行した場合、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いた前記所定の画像処理を実行しないと判定し、
前記第１の他の画像処理装置が前記第１の撮影装置により撮影された画像を用いて実行すべき画像処理を実行していない場合、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いた前記所定の画像処理を実行すると判定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記判定手段は、前記第２の取得手段により前記第２の撮影装置が撮影した画像を取得できない場合、前記第１の取得手段により取得された画像の付帯情報に拘らず、前記第１の取得手段により取得された画像を用いた前記所定の画像処理を実行しないと判定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記送信手段は、画像処理を実行すると判定させるための付帯情報と、前記第２の撮影装置が撮影した画像とを前記第２の他の画像処理装置にさらに送信することを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
前記送信手段は、前記判定手段により前記所定の画像処理を実行すると判定された場合、前記第２の他の画像処理装置に画像処理を実行しないと判定させるための付帯情報を前記第２の他の画像処理装置に送信することを特徴とする請求項２、３または９に記載の画像処理装置。
【請求項１１】
前記送信手段は、前記判定手段により前記所定の画像処理を実行しないと判定された場合、前記第２の他の画像処理装置に画像処理を実行しないと判定させるための付帯情報を前記第２の他の画像処理装置に送信することを特徴とする請求項２、３、９または１０に記載の画像処理装置。
【請求項１２】
前記処理手段は、前記第１の取得手段により取得された画像と前記第２の取得手段により取得された画像とを用いて前記所定の画像処理を実行することで、三次元モデル情報を生成することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記第１の取得手段は、撮影画像に含まれる所定のオブジェクトを抽出した結果を示す画像を取得することを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
【請求項１４】
前記処理手段は、前記第２の取得手段により取得された画像に含まれる所定のオブジェクトを抽出した結果を示す画像を生成し、当該生成した画像と前記第１の取得手段により取得された画像とを用いて前記所定の画像処理を実行することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記画像処理システムは、複数の画像を前記複数の画像処理装置で処理することで仮想視点画像を生成するシステムであることを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記送信手段は、実行するべき画像処理の内容を前記第２の他の画像処理装置に判定させるための付帯情報を前記第２の他の画像処理装置に送信することを特徴とする請求項２、３、９、１０または１１に記載の画像処理装置。
【請求項１７】
前記送信手段は、画像処理を実行するか否かを前記第２の他の画像処理装置に判定させるための付帯情報を前記第２の他の画像処理装置に送信することを特徴とする請求項２、３、９、１０、１１または１６に記載の画像処理装置。
【請求項１８】
複数の撮影装置により撮影された複数の画像を複数の画像処理装置で処理して仮想視点画像を生成する画像処理システムであって、
前記複数の画像処理装置のうちの第１の画像処理装置から、前記複数の撮影装置のうちの第１の撮影装置による撮影に基づく画像と、当該画像の付帯情報とを取得する第１の取得手段と、
前記複数の撮影装置のうちの第２の撮影装置により撮影された画像を取得する第２の取得手段と、
前記第１の取得手段により取得された画像の付帯情報に基づいて、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いた所定の画像処理を実行するか否かを判定する判定手段と、
前記判定手段により画像処理を実行すると判定された場合、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いて前記所定の画像処理を実行する処理手段と、
を有することを特徴とする画像処理装置。
【請求項１９】
前記画像処理システムは、前記複数の画像処理装置の処理結果に基づいて仮想視点画像を生成するサーバをさらに有することを特徴とする請求項１８に記載の画像処理システム。
【請求項２０】
複数の撮影装置により撮影された複数の画像を複数の画像処理装置で処理して仮想視点画像を生成する画像処理システムにおける画像処理装置による画像処理方法であって、
前記複数の画像処理装置のうちの第１の他の画像処理装置から、前記複数の撮影装置のうちの第１の撮影装置により撮影に基づく画像と、当該画像の付帯情報が付加された画像を取得する第１の取得工程と、
前記複数の撮影装置のうちの第２の撮影装置により撮影された画像を取得する第２の取得工程と、
前記第１の取得工程において取得された画像の付帯情報に基づいて、前記第１の取得工程において取得された画像と、前記第２の取得工程において取得された画像とを用いた画像処理であって、仮想視点画像を生成するための所定の画像処理を実行するか否かを判定する判定工程と、
前記判定工程において前記所定の画像処理を実行すると判定された場合、前記第１の取得工程において取得された画像と、前記第２の取得工程において取得された画像とを用いて前記所定の画像処理を実行する処理工程と、
を有することを特徴とする画像処理方法。
【請求項２１】
請求項１乃至１７の何れか１項に記載の画像処理装置としてコンピュータを動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を処理する画像処理システムに関する。
【背景技術】
【０００２】
複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて視点を任意に変更可能な仮想視点コンテンツを生成する技術がある。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、視点を任意に変更できない画像と比較してユーザに高臨場感を与えることが出来る。
【０００３】
複数視点画像に基づく仮想視点コンテンツは、サーバなどの画像処理部が複数のカメラにより撮影された画像を集約し、三次元モデルを生成し、レンダリングなどの処理を施すことで生成され、閲覧のためにユーザ端末に伝送される。
【０００４】
特許文献１には、同一の範囲を取り囲むように複数のカメラを配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数カメラの撮影画像をサーバに集約して仮想視点コンテンツを生成するシステムでは、当該サーバの処理負荷が高くなる。それに対し、仮想視点コンテンツの生成のための画像処理の少なくとも一部が１又は複数の他の画像処理装置によって行われるようにすれば、処理負荷を分散できる。しかしながら、この場合、複数の装置間での画像処理の連携が適切に行われていないと、画像に対して仮想視点コンテンツのために十分な画像処理が実行されない場合が生じ得る。例えば、画像処理を分散して行う複数の装置のうちの何れかの装置が、故障したり、電源が落ちたりで正常な画像処理を画像に対して実行できない場合を考える。この際に、画像処理を分散して行う複数の装置のうちの他の装置が正常な画像処理を実行できない装置から画像を取得したとしても、取得した画像に対する画像処理の実行を判定する仕組みがなければ、必要な画像処理が実行されないという場合が生じ得る。仮想視点コンテンツの生成に用いる撮影画像に対して必要な画像処理を実行されていない状況で仮想視点コンテンツの生成を行うと、仮想視点コンテンツの一部に抜けが生じたり、画質が低くなったり、仮想視点画像の生成に時間がかかったりする恐れがある。さらに、仮想視点コンテンツの生成に限らず、パノラマ画像など、複数のカメラの撮像画像を用いて画像を生成する場合においても、同様の課題が生じうる。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、複数の画像を複数の画像処理装置で処理するシステムにおいて伝送される画像に対して画像処理を実行するか否かを画像処理装置が判定可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、
複数の撮影装置により撮影された複数の画像を複数の画像処理装置で処理して仮想視点画像を生成する画像処理システムにおける画像処理装置であって、
前記複数の画像処理装置のうちの第１の他の画像処理装置から、前記複数の撮影装置のうちの第１の撮影装置による撮影に基づく画像と、当該画像の付帯情報とを取得する第１の取得手段と、
前記複数の撮影装置のうちの第２の撮影装置により撮影された画像を取得する第２の取得手段と、
前記第１の取得手段により取得された画像の付帯情報に基づいて、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いた画像処理であって、仮想視点画像を生成するための所定の画像処理を実行するか否かを判定する判定手段と、
前記判定手段により前記所定の画像処理を実行すると判定された場合、前記第１の取得手段により取得された画像と、前記第２の取得手段により取得された画像とを用いて前記所定の画像処理を実行する処理手段と、
を有することを特徴とする。
【発明の効果】
【０００９】
複数の画像を複数の画像処理装置で処理するシステムにおいて伝送される画像に対して画像処理を実行するか否かを画像処理装置が判定することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システム１００の構成を説明するための図である。
【図２】カメラアダプタ１２０の機能構成を説明するためのブロック図である。
【図３】カメラアダプタ１２０間のデータの流れを説明するための図である。
【図４】カメラアダプタ１２０のバイパス伝送について説明する図である。
【図５】注視点グループを説明するための図である。
【図６】カメラアダプタ１２０のバイパス伝送制御について説明する図である。
【図７】カメラアダプタ１２０の間で転送されるデータのフォーマット例を説明する図である。
【図８】カメラアダプタ１２０の処理の流れを示すフローチャートである。
【図９】カメラアダプタ１２０が受信したデータに対して処理内容を決定するための決定テーブルを説明する図である。
【図１０】カメラアダプタ１２０の処理シーケンスを示す図である。
【図１１】カメラアダプタ１２０ｂがバイパス制御モード時の複数のカメラアダプタ１２０の処理シーケンスを示す図である。
【図１２】出力データのフォーマットの一例を説明する図である。
【図１３】出力データのフォーマットの一例を説明する図である。
【図１４】カメラアダプタ１２０の処理の流れを示すフローチャートである。
【図１５】画像処理システムの各装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１１】
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１のシステム構成図を用いて説明する。画像処理システム１００は、センサシステム１１０ａ―センサシステム１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。
【００１２】
コントローラ３００は制御ステーション３１０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３１０は画像処理システム１００を構成するそれぞれのブロックに対してネットワーク３１０ａ―３１０ｃ、１８０ａ、１８０ｂ、及び１７０ａ―１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
【００１３】
センサシステム１１０ａ―センサシステム１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。本実施形態の画像処理システム１００は、センサシステム１１０ａ―センサシステム１１０ｚがデイジーチェーンにより接続される。
【００１４】
本実施形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。
【００１５】
なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
【００１６】
センサシステム１１０ａ―センサシステム１１０ｚは、それぞれ１台ずつのカメラ１１２ａ―カメラ１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる。
【００１７】
なおこれに限らず、接続形態として、各センサシステム１１０ａ−１１０ｚがスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。
【００１８】
また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ−１１０ｚの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
【００１９】
また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。
【００２０】
しかし、画像入力を行うカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、画像コンピューティングサーバ２００において全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。
【００２１】
本実施形態では、センサシステム１１０ａはマイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、この構成に限定するものではなく、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａまたは１台のマイク１１１ａを有していれば良い。また例えば、センサシステム１１０ａは１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａで構成されてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。本実施形態では、センサシステム１１０ｂ―１１０ｚについては、センサシステム１１０ａと同様の構成なので省略する。なお、センサシステム１１０ａと同じ構成に限定されるものではなく、其々のセンサシステム１１０が異なる構成でもよい。
【００２２】
カメラアダプタ１２０は画像処理を行う装置である。マイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様にセンサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。
【００２３】
前述した動作を続けることにより、センサシステム１１０ａ―センサシステム１１０ｚが取得した画像及び音声は、センサシステム１１０ｚから１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。なお、本実施形態では、カメラ１１２ａ−１１２ｚとカメラアダプタ１２０ａ−１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ−１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。
【００２４】
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００はフロントエンドサーバ２３０、データベース２５０（以下、ＤＢとも記載する。）、バックエンドサーバ２７０、タイムサーバ２９０を有する。画像コンピューティングサーバ２００は、カメラアダプタ１２０ａ―１２０ｚの画像処理の処理結果である三次元モデル情報を用いて仮想視点画像を生成する。
【００２５】
タイムサーバ２９０は時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ―センサシステム１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ―１２０ｚは、カメラ１１２ａ―１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。
【００２６】
フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。
【００２７】
次に、バックエンドサーバ２７０では、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。
【００２８】
なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
【００２９】
レンダリング処理された画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、エンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴が出来る。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。カメラアダプタ１２０による所定領域の抽出の詳細については後述する。
【００３０】
本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。
【００３１】
また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１９０の種別に応じて画像フォーマットが切り替えてもよい。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。
【００３２】
この様に、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０−１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含み、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ−１１０ｚから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ−１１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ２３０がセンサシステム１１０ａ−１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ−１１０ｚのカメラ１１２が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。これにより、カメラ１１２が他機種カメラに変わった場合に、仮想カメラ操作ＵＩ３３０が適切に動作しない虞を低減できる。
【００３３】
また、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成である。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。
【００３４】
このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。また、センサシステム１１０ａ−１１０ｚ間の接続はデイジーチェーンにより物理的にカスケード接続に限定されるわけではなく、論理的に経路が決められた接続でもよい。
【００３５】
続いて、本実施形態の画像処理システムの各装置のハードウェア構成について図１５を用いて説明する。図１５において、装置１２００は、画像処理システム１００の各装置（カメラ１１２、カメラアダプタ１２０、フロントエンドサーバ２３０、データベース２５０及びバックエンドサーバ２７０）である。また、装置１２００は、制御ステーション３１０、仮想カメラ操作ＵＩ３３０、及びエンドユーザ端末１９０である。装置１２００は、プロセッサ１２０１、ＲＯＭ１２０２、ＲＡＭ１２０３、補助記憶装置１２０４、ディスプレイ１２０５、操作部１２０６、通信インターフェース１２０７、バス１２０８及び機能部１２０９を有する。
【００３６】
プロセッサ１２０１は、装置１２００の全体を制御する。なお、プロセッサ１２０１の一例は、ＣＰＵであってよい。プロセッサ１２０１は、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムやデータを用いて装置１２００の全体を制御する。また、プロセッサ１２０１は、ＡＳＩＣやＦＰＧＡであってもよい。
【００３７】
ＲＯＭ１２０２は、変更を必要としないプログラムやパラメータを格納するメモリである。ＲＡＭ１２０３は、補助記憶装置１２０４から供給されるプログラムやデータ、及び通信インターフェース１２０７を介して外部から供給されるデータなどを一時記憶するメモリである。補助記憶装置１２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶するメモリである。
【００３８】
ディスプレイ１２０５は、例えば液晶ディスプレイ等で構成され、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）や様々な情報を表示する。操作部１２０６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をプロセッサ１２０１に入力する。通信インターフェース１２０７は、外部の装置と通信を行う。例えば、通信インターフェース１２０７は、有線通信を行ってもよいし、無線通信を行なってもよい。通信インターフェース１２０７は、有線通信を行う場合、イーサーネットを行うためのハードウェアである。通信インターフェース１２０７は、有線通信を行う場合、例えば、ＩＥＥＥ８０２．１１規格に準拠した通信を行うための回路、チップ及びアンテナにより構成される。バス１２０８は、各部を繋いで情報を伝達する。機能部１２０９は、所定の機能を実現させるためのハードウェアである。機能部１２０９は、カメラ１１２である場合、撮影を行うための撮影部であり得る。撮影部は、レンズ、撮像素子、画像処理プロセッサなどにより構成される。
【００３９】
続いて、カメラアダプタ１２０の機能構成について図２を用いて説明する。なお、カメラアダプタ１２０の機能ブロック間でのデータの流れの詳細は図３を用いて後述する。なお、カメラアダプタ１２０の各機能構成は、カメラアダプタ１２０のプロセッサ１２０１が、各ハードウェアを制御すること、情報の演算及び加工を行うことにより実現される。カメラアダプタ１２０は、ネットワークアダプタ０６１１０、伝送部０６１２０、画像処理部０６１３０及び、外部機器制御部０６１４０から構成されている。
【００４０】
ネットワークアダプタ０６１１０は、データ送受信部０６１１１及び時刻制御部０６１１２から構成される。データ送受信部０６１１１は、デイジーチェーン１７０、ネットワーク２９１、及びネットワーク３１０ａを介し他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えばデータ送受信部０６１１１は、カメラ１１２による撮影画像から前景背景分離部０６１３１により分離された前景画像と背景画像とを、別のカメラアダプタ１２０に対して出力する。出力先のカメラアダプタ１２０は、画像処理システム１００内のカメラアダプタ１２０のうち、データルーティング処理部０６１２２の処理に応じて予め定められた順序において次のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在してもよい。
【００４１】
時刻制御部０６１１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ  Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う。なお、ＩＥＥＥ１５８８に限定する訳ではなく、他のＥｔｈｅｒＡＶＢ規格、ＮＴＰや、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。またＧＰＳなどから時刻情報を取得してもよい。本実施形態では、ネットワークアダプタ０６１１０としてＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）を利用するが、ＮＩＣに限定するものではなく、同様の他のＩｎｔｅｒｆａｃｅを利用してもよい。また、ＩＥＥＥ１５８８はＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されており、後者については、ＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ  Ｖｅｒｓｉｏｎ２）とも呼ばれる。
【００４２】
伝送部０６１２０は、ネットワークアダプタ０６１１０を介してスイッチングハブ１８０や隣接するカメラアダプタ１２０に対するデータの伝送を制御する機能を有し、以下の機能部から構成されている。
【００４３】
データ圧縮・伸張部０６１２１は、データ送受信部０６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能を有している。
【００４４】
データルーティング処理部０６１２２は、後述するデータルーティング情報保持部０６１２５が保持するルーティング情報を利用し、データ送受信部０６１１１が受信したデータ及び画像処理部０６１３０で処理されたデータの出力先を決定する。さらに、決定した出力先へデータを送信するメッセージの付帯情報を作成する機能を有している。出力先は、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが、それぞれのカメラ１１２同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１２０それぞれのデータルーティング処理部０６１２２による決定に応じて、画像処理システム１００内において前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。
【００４５】
時刻同期制御部０６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく他の同様のプロトコルを利用して時刻同期してもよい。
【００４６】
画像・音声伝送処理部０６１２４は、画像データ又は音声データを、データ送受信部０６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには画像データ又は音声データ、及び各データのメタ情報が含まる。本実施形態のメタ情報には画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。なお送信する画像データまたは音声データはデータ圧縮・伸張部０６１２１でデータ圧縮されていてもよい。また、画像・音声伝送処理部０６１２４は、他のカメラアダプタ１２０からデータ送受信部０６１１１を介してメッセージを受取る。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データまたは音声データに復元する。なお、データを復元した際にデータが圧縮されている場合は、データ圧縮・伸張部０６１２１が伸張処理を行う。
【００４７】
データルーティング情報保持部０６１２５は、データ送受信部０６１１１で送受信されるデータの送信先を決定するためのルーティング情報を保持する機能を有する。ルーティング方法については後述する。
【００４８】
画像処理部０６１３０は、カメラ制御部０６１４１の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有し、以下の機能部から構成されている。
【００４９】
前景背景分離部０６１３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離する機能を有している。すなわち、複数のカメラアダプタ１２０それぞれの前景背景分離部０６１３１は、複数のカメラ１１２のうち対応するカメラ１１２による撮影画像から所定領域を抽出する。所定領域は例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部０６１３１は、撮影画像を前景画像と背景画像に分離する。また、所定領域は、複数の他のカメラアダプタ１２０から受取った複数の画像データとカメラ１１２が撮影した画像データから前景画像を抽出してもよい。なお、オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景領域を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景と背景の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は前景画像に限らず、例えば背景画像であってもよい。
【００５０】
三次元モデル情報生成部０６１３２は、前景背景分離部０６１３１で分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用し、例えばステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能を有している。
【００５１】
キャリブレーション制御部０６１３３は、キャリブレーションに必要な画像データを、カメラ制御部０６１４１を介してカメラ１１２から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有している。なお本実施形態ではキャリブレーションに係わる演算処理をフロントエンドサーバ２３０で行っているが、演算処理を行うノードはフロントエンドサーバ２３０に限定されない。例えば、制御ステーション３１０やカメラアダプタ１２０（他のカメラアダプタ１２０を含む）など他のノードで演算処理が行われてもよい。またキャリブレーション制御部０６１３３は、カメラ制御部０６１４１を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション（動的キャリブレーション）を行う機能を有している。また、他のカメラアダプタ１２０から受取った画像データから、カメラ１１２が撮影した画像に対して例えば色、輝度などの画像補正を行う機能も有している。
【００５２】
外部機器制御部０６１４０は、カメラアダプタ１２０に接続する機器を制御する機能を有し、下記機能ブロックから構成されている。
【００５３】
カメラ制御部０６１４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。なお、本実施形態ではカメラ１１２を介してピント調整を行っているが、取り外し可能なレンズがカメラ１１２に装着されている場合は、カメラアダプタ１２０がレンズに接続し、直接レンズの調整を行ってもよい。また、カメラアダプタ１２０がカメラ１１２を介してズーム等のレンズ調整を行ってもよい。同期信号提供は、時刻同期制御部０６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部０６１２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部０６１４１は、カメラ１１２に対するタイムコードの提供はせず、カメラ１１２から受取った画像データに自身がタイムコードを付与してもよい。
【００５４】
マイク制御部０６１４２は、マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止や収音された音声データの取得などを行う機能を有している。マイク１１１の制御は例えば、ゲイン調整や、状態取得などである。またカメラ制御部０６１４１と同様にマイク１１１に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ２９０からの時刻情報が例えば４８ＫＨｚのワードクロックに変換されてマイク１１１に供給される。
【００５５】
雲台制御部０６１４３は雲台１１３と接続し、雲台１１３の制御を行う機能を有している。雲台１１３の制御は例えば、パン・チルト制御や、状態取得などがある。
【００５６】
センサ制御部０６１４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、振動を表す情報を取得することができる。そして、センサ制御部０６１４４が取得した振動情報を用いて、画像処理部０６１３０は、前景背景分離部０６１３１での処理に先立って、振動を抑えた画像を生成することができる。振動情報は例えば、８Ｋカメラの画像データを、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像との位置合わせを行う場合に利用される。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬しても、カメラアダプタ１２０に配備された本機能で位置合わせを行う。その結果、電子的に防振された画像データを生成でき、画像コンピューティングサーバ２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。なお、センサシステム１１０のセンサは外部センサ１１４に限定するわけではなく、カメラアダプタ１２０に内蔵されたセンサであっても同様の効果が得られる。
【００５７】
図３はカメラアダプタ１２０ａ、１２０ｂ及び１２０ｃ間のデータの流れを表している。カメラアダプタ１２０ａとカメラアダプタ１２０ｂ、及びカメラアダプタ１２０ｂとカメラアダプタ１２０ｃが其々接続されている。また、カメラアダプタ１２０ｃはフロントエンドサーバ２３０と接続されている。
【００５８】
カメラアダプタ１２０ｂの外部機器制御部０６１４０は、カメラ１１２ｂからの撮影データ０６７２０を取得し、画像処理部０６１３０へ取得した画像データを出力する。カメラアダプタ１２０ｂの画像処理部０６１３０は、カメラ１１２ｂの撮影データ０６７２０の入力データと、カメラアダプタ１２０ａから画像処理された入力データ０６７２１が入力される。これら入力されたデータを利用して例えば、撮影データ内に含まれる前景データの抽出や、背景データの生成、三次元モデルの生成を行う。これら抽出、生成したデータを伝送部０６１２０へ出力する。
【００５９】
カメラアダプタ１２０ｂの伝送部０６１２０は、カメラアダプタ１２０ａから入力されたデータを解析し、画像処理部０６１３０での画像処理に必要なデータの場合は画像処理部０６１３０へ出力する。また、カメラアダプタ１２０ａから入力されたデータに対する画像処理部０６１３０での画像処理が不必要な場合は、入力されたデータを画像処理部０６１３０へ出力せずにネットワークアダプタ０６１１０を介してカメラアダプタ１２０ｃへ出力する。また、ネットワークアダプタ０６１１０は、画像処理部０６１３０から入力されたデータを、データの種別に応じてカメラアダプタ１２０ｃまたは１２０ａへ出力する。ネットワークアダプタ０６１１０は、データに対して圧縮、フレームレートの設定、およびパケット化等の処理を行って、そのデータを出力する。
【００６０】
図４を使用してカメラアダプタ１２０のバイパス制御モードにおけるバイパス伝送について説明する。バイパス制御モードにおけるバイパス伝送とは、例えば、カメラアダプタ１２０ｂが、カメラアダプタ１２０ａから受信したデータを、データルーティング処理部０６１２２によるルーティング制御を行わずに次のカメラアダプタ１２０ｃへ転送する機能である。
【００６１】
カメラアダプタ１２０は、カメラ１１２の状態が撮影停止中、キャリブレーション中、エラー処理中又は電源ＯＦＦ状態である場合に、ネットワークアダプタ０６１１０に対してバイパス伝送を行わせるよう制御する。
【００６２】
例えば、カメラ１１２ｂが故障したり、電源がＯＦＦにされたりで、撮影が行えない場合を考える。カメラアダプタ１２０ｂは、撮影画像をカメラ１１２ｂから取得できない場合、バイパス制御モードに移行する。このような状況でカメラアダプタ１２０ｂは、カメラ１１２ａから前景画像を受信した場合、カメラ１１２ｂから取得した撮影画像がないため、カメラアダプタ１２０ａから受信した前景画像を用いた三次元モデル情報を生成できない。したがって、カメラアダプタ１２０ｂは、三次元モデル情報を生成するための画像処理を行うことなく、バイパス伝送制御を行うことで次のカメラアダプタ１２０ｃにカメラアダプタ１２０ａが生成した前景画像を伝送する。しかしながら、この場合、カメラアダプタ１２０ａが生成した前景画像に基づく画像処理が実行されておらず、カメラアダプタ１２０ａが生成した前景画像に基づく三次元モデル情報が生成されていない。このように一部の前景画像に基づく三次元モデル情報が生成されていない状況で仮想視点画像を生成すると、画質の劣化が生じたり、後段での処理に時間がより多くかかったりする恐れが生じ得る。本実施形態のカメラアダプタ１２０は、このようなバイパス伝送により生じ得る仮想視点画像の画質の劣化や処理時間の増大を防ぐため、作成した前景画像に対して、後段のカメラアダプタ１２０により画像処理を実行させるための情報を付加する。また、カメラアダプタ１２０は、隣接するカメラアダプタ１２０以外のカメラアダプタ１２０が生成した前景画像に、画像処理をさせるための情報が付加されている場合、この前景画像に対して画像処理を実行し、三次元モデル情報を生成する。このようにすることで、伝送される前景画像は、隣接するカメラアダプタ１２０がバイパス制御モードであっても、後段のカメラアダプタ１２０の何れかにより画像処理が実行され、三次元モデル情報が生成される。したがって、バイパス伝送により生じ得る仮想視点画像の画質の劣化や処理時間の増大を防ぐことができる。
【００６３】
また、カメラアダプタ１２０は、伝送部０６１２０または画像処理部０６１３０などの動作不良などが発生した場合にも、ネットワークアダプタ０６１１０に対してバイパス伝送を行わせるよう制御してもよい。また、ネットワークアダプタ０６１１０が伝送部０６１２０の状態を検知し、能動的にバイパス制御モードに遷移してもよい。なお、伝送部０６１２０または画像処理部０６１３０がエラー状態や停止状態にあることを検知するサブＣＰＵをカメラアダプタ１２０ｂに配備してもよい。そして、サブＣＰＵがエラー検知を行った場合にネットワークアダプタ０６１１０をバイパス制御モードに遷移させてもよい。
【００６４】
また、カメラアダプタ１２０は、カメラ１１２の状態がキャリブレーション状態から撮影状態に遷移した場合や、伝送部０６１２０などが動作不良から復旧した場合に、バイパス制御モードから通常の通信モードに遷移してもよい。
【００６５】
このバイパス制御モードにより、カメラアダプタ１２０ｂはデータ転送を高速に行う事ができ、また不慮の故障などが発生しデータルーティングに係わる判断ができない場合でも次のカメラアダプタ１２０ｃへデータを転送する事ができる。
【００６６】
カメラアダプタ１２０ｂがバイパス制御モードに移行した場合、カメラアダプタ１２０ｃの前景背景分離部０６１３１は、カメラアダプタ１２０ｂの出力データの代わりにカメラアダプタ１２０ａの出力データを使用して前景画像の抽出を行う。同様にカメラアダプタ１２０ｃの三次元モデル情報生成部０６１３２も、カメラアダプタ１２０ａの前景画像を使用して三次元モデルに係わる画像情報を生成する。同様にカメラアダプタ１２０ｃのキャリブレーション制御部０６１３３もカメラアダプタ１２０ａの出力データから画像補正を行う。
【００６７】
次に、注視点グループについて図５を用いて説明する。ここで注視点グループとは、光軸が同じ注視点を向くように設置された１つ以上のカメラ１１２からなるカメラグループである。すなわち、複数のカメラのうち注視点が共通であるカメラにより構成されるカメラグループである。なお、注視点グループは、光軸が同じ領域を向くように設置された１つ以上のカメラ１１２からなるカメラグループであってもよい。また、注視点グループは、共通の領域を撮影可能な撮影範囲が設定されている１つ以上のカメラ１１２からからなるカメラグループとしてもよい。図５において、注視点グループの各カメラ１１２は光軸が特定の注視点０６３０２を向くように設置される。同じ注視点グループ０６３０１に分類されるカメラ１１２は、同じ注視点０６３０２を向くように設置される。
【００６８】
図５において、注視点Ａ（０６３０２Ａ）と注視点Ｂ（０６３０２Ｂ）の２つの注視点０６３０２が設定され、９台のカメラ（１１２ａ―１１２ｉ）が設置された場合の例である。４台のカメラ（１１２ａ、１１２ｃ、１１２ｅ及び１１２ｇ）は、同じ注視点Ａ（０６３０２Ａ）を向いており、注視点グループＡ（０６３０１Ａ）に属する。また、残りの５台のカメラ（１１２ｂ、１１２ｄ、１１２ｆ、１１２ｈ及び１１２ｉ）は、同じ注視点Ｂ（０６３０２Ｂ）を向いており、注視点グループＢ（０６３０１Ｂ）に属する。
【００６９】
ここでは、同じ注視点グループ０６３０１に属するカメラ１１２の中で接続ホップ数が小さいカメラ１１２の組を論理的に隣接していると表現する。例えば、カメラ１１２ａとカメラ１１２ｂは、物理的には隣接しているが、異なる注視点グループ０６３０１に属するため論理的には隣接していない。カメラ１１２ａと論理的に隣接しているのは、カメラ１１２ｃである。一方、カメラ１１２ｈとカメラ１１２ｉは、物理的に隣接しているだけでなく、論理的にも隣接している。物理的に隣接するカメラ１１２が論理的にも隣接しているか否かにより、カメラアダプタ１２０で異なる処理が行われる。なお本実施形態では特に明記がない限り隣接するカメラアダプタ１２０は物理的に隣接する場合と、論理的に隣接している場合を区別しない。
【００７０】
注視点グループに応じたバイパス伝送について図６を使用して説明する。画像処理システム１００は、各注視点グループに属するカメラアダプタ１２０の台数や、どのカメラアダプタ１２０がどの注視点グループに属するかの設定を行う。図６では、注視点グループＡにカメラアダプタ１２０ｇ、カメラアダプタ１２０ｈ及びカメラアダプタ１２０ｎが属し、注視点グループＢにカメラアダプタ１２０ｉが属していることとする。
【００７１】
図６において、カメラアダプタ１２０ｇが作成した前景画像の伝送ルート０６４５０が示される。カメラアダプタ１２０ｇが作成した前景画像は最終的にフロントエンドサーバ２３０へ伝送される。本図では、背景画像、三次元モデル情報、及び制御メッセージや、カメラアダプタ１２０ｈ、カメラアダプタ１２０ｉ及びカメラアダプタ１２０ｎが作成した前景画像の記載は省略している。
【００７２】
カメラアダプタ１２０ｈは、カメラアダプタ１２０ｇが作成した前景画像を、ネットワークアダプタ０６１１０ｈを介して受信した場合、その画像の処理方法を決定する。カメラアダプタ１２０ｈの伝送部０６１２０ｈは、カメラアダプタ１２０ｇが作成した前景画像のルーティング先を決定する。伝送部０６１２０ｈは、受信した前景画像の作成元のカメラアダプタ１２０ｇが同じ注視点グループ（ここではグループＡ）に属しているか否かを判断する。伝送部０６１２０ｈは、受信した前景画像の作成元のカメラアダプタ１２０ｇが同じ注視点グループに属していると判断すると、受信した前景画像が三次元モデル情報生成に必要な前景画像であるか否かを判定する。受信した前景画像が三次元モデル情報生成に必要な前景画像であるか否かの判定は、対応するカメラ１１２の撮影領域に基づいて行われてよい。例えば、カメラアダプタ１２０ｈは、受信した前景画像と、接続するカメラ１１２により撮影される前景画像とが相関が大きい場合、受信した前景画像が三次元モデル情報生成に必要な前景画像であると判断する。受信した前景画像が三次元モデル情報生成に必要な前景画像であると判定された場合、伝送部０６１２０ｈは、受信した前景画像を画像処理部０６１３０ｈへ出力する。画像処理部０６１３０ｈは、カメラアダプタ１２０ｇが作成した前景画像に基づいて三次元モデル情報などの画像処理を実行する。カメラアダプタ１２０ｈは、カメラアダプタ１２０ｇの前景画像を次のカメラアダプタ１２０ｉに転送する。
【００７３】
カメラアダプタ１２０ｉは、カメラアダプタ１２０ｈからカメラアダプタ１２０ｇが作成した前景画像を受信する。カメラアダプタ１２０ｉの伝送部０６１２０ｉはカメラアダプタ１２０ｇと自身が属する注視点グループが異なると判断し、カメラアダプタ１２０ｇを画像処理部０６１３０ｉにおいて処理せず、次のカメラアダプタ１２０に転送することを決定する。
【００７４】
カメラアダプタ１２０ｎは、カメラアダプタ１２０ｇが作成した前景画像を、ネットワークアダプタ０６１１０ｎを介して受信した場合、伝送部０６１２０ｎによってルーティング先を決定する。伝送部０６１２０ｎは、カメラアダプタ１２０ｎがカメラアダプタ１２０ｇと同じ注視点グループであると判断する。カメラアダプタ１２０ｎは、カメラアダプタ１２０ｇの前景画像が画像処理部０６１３０ｎにより三次元モデル情報生成に必要な前景画像か否かを判断する。カメラアダプタ１２０ｎは、カメラアダプタ１２０ｇの前景画像が三次元モデル情報生成に必要なではないと判断されると、受信された前景画像を画像処理部０６１３０ｎにより処理せず、次のカメラアダプタ１２０に転送すると決定する。
【００７５】
このように各カメラアダプタ１２０の伝送部０６１２０は、受信したデータが画像処理部０６１３０における三次元モデル情報の作成などの画像処理に用いるデータか否かを判断する。カメラアダプタ１２０は、受信したデータが、画像処理に用いるデータではないと判断すると、画像処理部０６１３０へデータを転送することなく、次のカメラアダプタ１２０に伝送する。カメラアダプタ１２０は、接続するカメラ１１２により撮影される前景画像との相関が低いデータであると判断すると、画像処理部０６１３０へデータを転送することなく、次のカメラアダプタ１２０に伝送する。つまり、デイジーチェーン１７０を介したデータの伝送において、各カメラアダプタ１２０で必要なデータが選択されて逐次三次元モデル情報を生成する処理が実施される。これによりカメラアダプタ１２０内でデータ受信してから転送するまでのデータ転送に係わる処理負荷及び処理時間を短縮する事ができる。また、カメラアダプタ１２０は、同じ注視点グループに属する他のカメラアダプタ１２０からの画像データを用いて三次元モデル情報生成などの画像処理を行うため、より高精度の三次元モデル情報を生成できる。また、カメラアダプタ１２０は、同じ注視点グループに属する他のカメラアダプタ１２０からの画像データであっても、自装置の画像データと相関が低ければ、三次元モデル情報を生成せず、自装置の画像データと相関が高い場合に三次元モデル情報を生成する。したがって、バイパス伝送制御を行っている場合でもより精度の高い三次元モデル情報を生成できるため、イパス伝送制御による仮想視点画像の画質の劣化を低減することができる。
【００７６】
次に、カメラアダプタ１２０の間で転送される前景画像などの伝送データに含まれる付帯情報について図７を用いて説明する。なお、伝送データのフォーマットは図に示したものに限定されるわけではなく、本実施形態に記載がない他の情報を含んでもよい。また、配置されるデータの順番についても本記載に限定されるわけではない。なお本図ではＩＰヘッダ等については省略する。図７において、前景画像を伝送する場合を例にして伝送データの付帯情報について説明する。
【００７７】
伝送データは、ヘッダ部０７２０１により示される付帯情報と、ペイロード部０７２０２により示されるペイロードデータから構成される。ヘッダ部０７２０１は、処理カウンタ０７１０１、グループＩＤ０７１０２、データ種別０７１０３及び送信元ＩＤ０７１０４のヘッダ情報から構成される。なおヘッダ情報は本図に示したものに限定されるわけではなく、他の情報を含んでもよい。また、ヘッダ部０７２０１と、データ圧縮・伸張部０６１２１で圧縮された前景画像は、データルーティング処理部０６１２２により結合され、ネットワークアダプタ０６１１０によって隣接するカメラアダプタ１２０へ転送される。また、データルーティング処理部０６１２２は、隣接するカメラアダプタ１２０から受け取ったデータに含まれるヘッダ部０７２０１の解析を行う。ヘッダ部０７２０１の解析結果によって、前景画像を画像処理部０６１３０へ送るか、画像処理部０６１３０を介さずに隣接するカメラアダプタ１２０へ転送するかを決定する。また、カメラアダプタ１２０は、受信したデータに対して画像処理を実行するか否かを判断する。
【００７８】
処理カウンタ０７１０１は、隣接するカメラアダプタ１２０から受け取った前景画像を画像処理部０６１３０へ送るか否かを決定するために使用される情報である。カメラアダプタ１２０は、受信した前景画像のヘッダ部の処理カウンタ０７１０１の値が１の場合は、受信した前景画像に対して画像処理を実行すると判断する。カメラアダプタ１２０は、処理カウンタ０７１０１の値が１の場合、受信した前景画像を三次元モデル情報生成部０６１３２に出力し、三次元モデル情報生成部０６１３２による三次元モデル情報の生成を行う。受信した前景画像を画像処理部０６１３０において処理する場合、カメラアダプタ１２０は、処理カウンタ０７１０１をデクリメントした値を新たに設定したヘッダ部０７２０をこの前景画像に付加する。そして、カメラアダプタ１２０は、この前景画像を、ネットワークアダプタ０６１１０を介して隣接するカメラアダプタ１２０へ転送する。
【００７９】
また、カメラアダプタ１２０は、受信した前景画像のヘッダ部の処理カウンタ０７１０１の値が１未満の場合は、受信した前景画像に対して画像処理を実行しない判断する。そして、受信した前景画像を画像処理部０６１３０において処理しない場合、カメラアダプタ１２０は、処理カウンタ０７１０１の値を変更せず、この前景画像を、ネットワークアダプタ０６１１０を介して隣接するカメラアダプタ１２０へ転送する。
【００８０】
グループＩＤ０７１０２は、図５に記載した注視点グループを識別する識別子である。本実施形態では注視点グループを識別する情報としてとして識別子を使用するが識別子に限定されるわけではなく、注視点グループに関するメタデータを含んでもよい。カメラアダプタ１２０は、グループＩＤ０７１０２を参照し、受信した前景画像が同一注視点グループに属するものか否かを判断する。
【００８１】
データ種別０７１０３は、ペイロード部０７２０２に格納されているデータの種別を識別するための情報を含む。データ種別０７１０３は、例えば、ペイロード部０７２０２に格納されているデータが、前景画像であるか否かを示す。また、データ種別０７１０３は、例えば、ペイロード部０７２０２に格納されているデータが、前景画像、背景画像または三次元データ情報であることを示す。カメラアダプタ１２０は、データ種別０７１０３を参照して画像処理の内容を選択する。例えば、カメラアダプタ１２０は、受信したデータが前景画像であれば三次元モデル情報生成部０６１３２で三次元モデル情報の生成を行い、前景画像でない場合は三次元モデル情報生成部０６１３２で処理せずに次のカメラアダプタ１２０に転送する。
【００８２】
送信元ＩＤ０７１０４は、データを作成したカメラアダプタ１２０を識別するための識別子を含む送信元情報である。なお識別子に限定されるわけではなく送信元カメラアダプタ１２０に関するメタデータを含んでもよい。
【００８３】
ペイロード部０７２０２は、データ圧縮・伸張部０６１２１において圧縮された前景画像がペイロード０７１０５に格納される。なお、ペイロード部０７２０２には、前景画像だけではなく前景画像のメタデータや、伸長時に使用する圧縮時のパラメータを含んでも良い。
【００８４】
なお、伝送データには、処理カウンタ０７１０１に変えて、送信元のカメラアダプタ１２０がバイパス制御モードであることを示す情報が含まれてもよい。また、伝送データには、ペイロード部０７２０２に含まれるデータに対して画像処理が必要か否かを示す情報が含まれてもよい。
【００８５】
続いて、カメラアダプタ１２０がデータを受信した場合の動作を図８のフローチャートを用いて説明する。なお、図２に示すフローチャートは、カメラアダプタ１２０のプロセッサ１２０１が、情報の演算および加工、各ハードウェアの制御を実行することにより実現される。なお、図８に示すフローチャートに示すステップの一部または全部を例えばＦＰＧＡやＡＳＩＣ等のハードウェアで実現する構成としてもよい。なお、図８に示すフローチャートは、カメラアダプタ１２０がデータを受信した場合に開始される。
【００８６】
カメラアダプタ１２０は、隣接するカメラアダプタ１２０からデータを受信する（Ｓ８０１）カメラアダプタ１２０は、データを受信した場合、バイパス制御モードで動作中か否かを判定する。カメラアダプタ１２０は、バイパス制御モードで動作している場合、後述するＳ８１１に処理を進める。一方、カメラアダプタ１２０は、バイパス制御モードで動作していない場合、Ｓ８０２に処理を進める。
【００８７】
カメラアダプタ１２０は、バイパス制御モードでない場合、受信したデータのヘッダ部に含まれる付帯情報を参照し、ペイロード部のデータに対して画像処理を実行するか否かを判定する。まず、カメラアダプタ１２０は、受信したデータのヘッダ部に含まれる処理カウンタを参照する（Ｓ８０２）。なお、カメラアダプタ１２０は、受信したデータに処理カウンタが含まれていない場合は、以降の処理を行わず、受信したデータを次のカメラアダプタ１２０に伝送してもよい（Ｓ８１１）。カメラアダプタ１２０は、処理カウンタの値が１未満の場合は、ネットワークアダプタ０６１１０を介して次のカメラアダプタ１２０へデータを伝送する（Ｓ８１１）。
【００８８】
カメラアダプタ１２０は、参照した処理カウンタの値が１以上の場合は、受信したデータに含まれるグループＩＤを参照する（Ｓ８０４）。カメラアダプタ１２０は、受信したデータに含まれるグループＩＤから、受信したデータの生成元が自身の注視点グループと同一か否かを判断する（Ｓ８０５）。なお、カメラアダプタ１２０は、受信したデータにグループＩＤが含まれていない場合は、以降の処理を行わず、受信したデータを次のカメラアダプタ１２０へデータを伝送してもよい。また、カメラアダプタ１２０は、受信したデータにグループＩＤが含まれていない場合は、後述するＳ８０６に処理を進めてもよい。
【００８９】
Ｓ８０５において、受信したデータの生成元が自身の注視点グループと異なると判定された場合、カメラアダプタ１２０は、ネットワークアダプタ０６１１０を介して次のカメラアダプタ１２０へ受信したデータを伝送する（Ｓ８１１）。Ｓ８０５において、受信したデータの生成元が自身の注視点グループと同一と判定された場合、カメラアダプタ１２０は、受信したデータに含まれるデータ種別を参照し、受信したデータのデータ種別を確認する（Ｓ８０６）。なお、カメラアダプタ１２０は、受信したデータにデータ種別が含まれていない場合は、以降の処理を行わず、受信したデータを次のカメラアダプタ１２０へデータを伝送してもよい。
【００９０】
カメラアダプタ１２０は、受信したデータの送信元ＩＤを参照する（Ｓ８０７）。そして、カメラアダプタ１２０は、付帯情報に基づいて受信したデータに対して画像処理が必要であるか否かを判定する（Ｓ８０８）。即ち、カメラアダプタ１２０は、受信したデータの処理カウンタ、グループＩＤ、送信元ＩＤおよびデータ種別に基づいて、受信したデータに対して画像処理を行うか否かを判定する。また、カメラアダプタ１２０は、受信したデータの処理方法や処理内容について判定する。
【００９１】
受信したデータの処理方法の判定について図９を用いて説明する。図９は、カメラアダプタ１２０は、受信したデータの処理を決定するためのテーブルであり、カメラアダプタ１２０に保持される。
【００９２】
図９において、データ種別０６９０１は、受信したデータのデータ種別を示す。対象カメラアダプタ０６９０２は、後述する０６９０３の処理を実行するデータの送信元を示す。処理内容０６９０３は、対象カメラアダプタ０６９０２から受信したデータに対して実行する処理を示す。動作０６９０４は、対象カメラアダプタ０６９０２以外のカメラアダプタから受信したデータに対して実行する動作を示す。なお、これら内容に限定されるわけではなく他の情報を含んでもよい。
【００９３】
データ種別０６９０１には、前景画像０６９１１、背景画像０６９１２、三次元データ情報０６９１３などのカメラアダプタ１２０が受信するデータの種別が示される。なおデータ種別０６９０１は本図で記載したデータの種別に限定されるわけではない。対象カメラアダプタ０６９０２は、データを生成したカメラアダプタ１２０の識別子が設定される。画像処理有無の判定Ｓ８０８にて、対象カメラアダプタ０６９０２に登録されているカメラアダプタが生成した出力データは画像処理対象となり、対象カメラアダプタに対する処理内容０６９０３に設定されている処理を実施する。対象カメラアダプタ０６９０２に示さえるカメラアダプタ１２０から受信されたデータが画像処理を行う対象となる。また、対象カメラアダプタ０６９０２に登録されていないカメラアダプタが生成したデータは画像処理の非対象となる。対象カメラアダプタ０６９０２に登録されていないカメラアダプタが生成したデータの処理は、動作０６９０４に示される。なお、全カメラアダプが生成したデータを処理内容０６９０３にする場合は、対象カメラアダプタ０６９０２にカメラアダプタ１２０の識別子でなくワイルドカードを設定してもよい。また、全カメラアダプタ１２０の出力データが処理非対象の場合は何も設定しなくてもよい。
【００９４】
処理内容０６９０３は、受信したデータに対する処理内容が登録される。本図では、受信したデータが前景画像であって、カメラアダプタ１２０ａ、ｂまたはｃから受信したデータである場合は、三次元モデル情報の生成を行うことを示す。なお、記載されている処理に付随する処理、例えばキャリブレーションなどを実施してもよい。また、受信したデータが前景画像であって、カメラアダプタ１２０ａ、ｂまたはｃと異なる装置から受信したデータである場合は、バイパス伝送を行うことを示す。この場合の、バイパス伝送では、処理カウンタ０７１０１を０にしてバイパス伝送制御を行ってもよい。例えば、後段のカメラアダプタ１２０とは画像間の相関が低く、三次モデル情報が生成できない場合などは、処理カウンタを０にしてデータを送信する。
【００９５】
また、受信したデータが背景画像であって、カメラアダプタ１２０ａ、ｂまたはｃから受信したデータである場合は、背景画像の結合する処理を行うことを示す。また、受信したデータが背景画像であって、カメラアダプタ１２０ａ、ｂまたはｃと異なる装置から受信したデータである場合は、受信したデータを破棄することを示す。また、受信したデータが三次元モデル情報である場合はバイパス伝送を行うことを示す。
【００９６】
さらに、対象カメラアダプタからのデータに対する処理内容０６９０３を実施する場合、デクリメントした処理カウンタ０７１０１に更新した出力データを次のカメラアダプタ１２０に送信する。非対象カメラアダプタからのデータに対する動作０６９０４は、受信した出力データに対して処理を行わない時の動作について登録される。
【００９７】
本実施形態ではカメラアダプタ１２０間がデイジーチェーン接続され物理的にカスケード接続されているが、論理的にカスケード接続されている場合は転送先のカメラアダプタ１２０情報を含んでもよい。ただし、ネットワークアダプタ０６１１０に転送先のカメラアダプタ１２０情報が設定されている場合は転送先のカメラアダプタ１２０情報を含まなくてもよい。
【００９８】
カメラアダプタ１２０は、受信したデータの付帯情報に対応する処理を、図９に示されるテーブルを参照することで特定する。なお、参照したデータ種別に対応する処理が設定されていない場合は、後述する処理を行わず隣接するカメラアダプタ１２０に転送してもよい（Ｓ８１１）。画像処理有無の判定（Ｓ８０８）で、処理を実施すると判断した場合は、カメラアダプタ１２０は、受信したデータを使用して画像処理を行う（Ｓ８０９）。画像処理を実施する場合は、受信したデータの処理カウンタをデクリメントし（Ｓ８１０）、隣接するカメラアダプタ１２０に伝送する（Ｓ８１１）。即ち、画像処理を行ったデータに対しては画像処理が実行済であることおよび／またはさらなる画像処理が不必要であることを示す情報が付加される。
【００９９】
一方、画像処理有無の判定（Ｓ８０８）で、画像処理を実施しないと判断した場合は、受信したデータに対する処理を判定する（Ｓ８１２）。Ｓ８１２で判定した結果、カメラアダプタ１２０は、転送不要なデータの場合は受信した出力データを破棄する（Ｓ８１３）。また、Ｓ８１２で判定した結果、例えば、後段のカメラアダプタ１２０とは画像間の相関が低く、三次モデル情報が生成できない場合は、バイパス伝送制御する。この場合は受信した出力データの処理カウンタ値を０に更新する（Ｓ８１４）。カメラアダプタ１２０は、処理カウンタを更新したデータを隣接するカメラアダプタ１２０に転送する（Ｓ８１１）。なお、後段のカメラアダプタ１２０が処理することで適切な画像処理が実行できる場合は、処理カウンタ値を１のまま、隣接するカメラアダプタ１２０に送信してもよい。
【０１００】
なお処理カウンタ値を０以外の値に更新してもよい。例えば０未満の値は、出力データを受信したフロントエンドサーバ２３０がカメラアダプタ１２０の代わりに画像処理を行うことを示すとしてもよい。本実施形態では処理をシーケンシャルに実施しているが、画像処理（Ｓ８０９）と次のカメラアダプタ１２０への送信処理（Ｓ８１１）を並列に処理してもよい。
【０１０１】
このように受信した前景画像のヘッダ部０７２０１を参照して、受信した前景画像を画像処理部０６１３０へ出力するか、次のカメラアダプタ１２０へ転送するかなど処理を判断する。さらには受信した前景画像のヘッダ部０７２０１を更新することによって、以降のカメラアダプタ１２０が受信した前景画像に対する処理を指示することが出来る。したがってあるカメラアダプタ１２０が前景画像をバイパス伝送した場合、前景画像のヘッダ部０７２０１が更新されていないため、バイパスしたカメラアダプタ１２０が行うべき処理を次に受信したカメラアダプタ１２０が代わりに処理を行うことが出来る。また前景画像を転送するカメラアダプタ１２０は転送先のカメラアダプタ１２０の状態がバイパスか否かを判断することなく処理を指示することが出来る。
【０１０２】
続いて、カメラアダプタ１２０が接続するカメラ１１２から撮影画像を取得した場合の動作を図１４のフローチャートを用いて説明する。なお、図１４に示すフローチャートは、カメラアダプタ１２０のプロセッサ１２０１が、情報の演算および加工、各ハードウェアの制御を実行することにより実現される。なお、図１４に示すフローチャートに示すステップの一部または全部を例えばＦＰＧＡやＡＳＩＣ等のハードウェアで実現する構成としてもよい。
【０１０３】
カメラアダプタ１２０は、接続するカメラ１１２から撮影画像を所定のタイミングで受信したか否かを判定する（Ｓ１４０１）。なお、所定のタイミングとは、例えば、カメラ１１２が撮影を行ってから次の撮影を行うまでの間であってよい。即ち、カメラアダプタ１２０は、カメラ１１２が撮影を行ってから、カメラ１１２の撮影フレームレートに基づいて定まる期間の間に撮影画像を取得したか否かを判定する。Ｓ１４０１において、カメラ１１２から撮影画像を所定のタイミングで受信したと判定された場合、Ｓ１４０２に処理を進める。一方、カメラ１１２から撮影画像を所定のタイミングで受信しなかったと判定された場合、Ｓ１４０３に処理を進める。なお、Ｓ１４０１の判定は、カメラ１１２から電源ＯＦＦ状態または故障状態である通知を受信しているか否かを判定する構成としてもよい。この場合、カメラアダプタ１２０は、カメラ１１２から電源ＯＦＦ状態または故障状態であるとなる通知を受信している場合、Ｓ１４０３に処理を進める。また、カメラアダプタ１２０は、カメラ１１２から電源ＯＦＦ状態または故障状態であるとなる通知を受信していない場合、Ｓ１４０２に処理を進める。
【０１０４】
Ｓ１４０１において、カメラ１１２から撮影画像を取得した場合、カメラアダプタ１２０は、取得した撮影画像に対して画像処理を実行可能か否か判定する（Ｓ１４０２）。Ｓ１４０２の判定は、カメラアダプタ１２０の画像処理部０６１３０が動作可能か否かを判定してよい。カメラアダプタ１２０は、画像処理部０６１３０が故障などの原因で動作可能ではない場合、取得した撮影画像に対して画像処理を実行可能ではないと判定する。また、また、Ｓ１４０２の判定は、取得した撮影画像に基づいて行われてもよい。例えば、取得した画像に障害物（観客の映り込みなど）が含まれているなど仮想視点画像に用いるには不適切な撮影画像の場合、取得した撮影画像に対して画像処理を実行可能ではないと判定する。また、例えば、カメラ１１２が振動による移動やいたずらにより撮影範囲が変化してしまった場合など仮想視点画像に用いるには不適切な撮影画像であるため、取得した撮影画像に対して画像処理を実行可能ではないと判定する。Ｓ１４０２において、取得した撮影画像に対して画像処理を実行可能ではないと判定された場合、Ｓ１４０３に処理を進める。Ｓ１４０３において、カメラアダプタ１２０は、バイパス制御モードに移行する（Ｓ１４０３）。
【０１０５】
Ｓ１４０２において、取得した撮影画像に対して画像処理を実行可能であると判定された場合、カメラアダプタ１２０は、取得した撮影画像に対して、キャリブレーション、前景背景分離、圧縮の処理を行う（Ｓ１４０４〜Ｓ１４０６）。カメラアダプタ１２０は、圧縮を行った前景画像に、画像処理を行うことを後段の他のカメラアダプタ１２０に示す情報である処理カウンタを１に設定した付帯情報を付加して、この前景画像を隣接するカメラアダプタ１２０に伝送する（Ｓ１４０７）。また、カメラアダプタ１２０は、背景画像についても隣接するカメラアダプタ１２０に伝送する（Ｓ１４０７）。
【０１０６】
カメラアダプタ１２０は、同じ注視点グループのカメラアダプタからＳ１４０１で取得した撮影画像と同じタイミングで撮影された処理カウント１の前景画像を受信したか否かを判定する（Ｓ１４０８）。カメラアダプタ１２０は、Ｓ１４０８において前景画像を受信したと判定された場合、受信した前景画像とＳ１４０５で分離した前景画像とを用いて三次元モデル情報を生成するための画像処理を実行する（Ｓ１４０９）。カメラアダプタ１２０は、Ｓ１４０８において受信した前景画像の処理カウンタを０にして隣接する他のカメラアダプタ１２０に送信する。また、カメラアダプタ１２０は、Ｓ１４０９において生成した三次元モデル情報を隣接する他のカメラアダプタ１２０に伝送する（Ｓ１４１０）。
【０１０７】
続いて、本実施形態における複数のカメラアダプタ１２０（１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄ）が連動して三次元モデル情報を生成する処理シーケンスについて図１０を用いて説明する。なお、処理の順番は図に示したものに限定される訳ではない。
【０１０８】
なお、本実施形態の画像処理システム１００には２６台のカメラ１１２とカメラアダプタ１２０が含まれるが、ここでは２台のカメラ１１２ｂと１１２ｃ、及び、４台のカメラアダプタ１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄに注目して説明する。カメラ１１２ｂとカメラアダプタ１２０ｂ、及びカメラ１１２ｃとカメラアダプタ１２０ｃは、其々接続されている。なおカメラアダプタ１２０ａおよびカメラアダプタ１２０ｄに接続するカメラ１１２や、各カメラアダプタ１２０に接続するマイク１１１、雲台１１３、及び外部センサ１１４については説明の簡略のため記載を省略する。また、カメラアダプタ１２０ａ―１２０ｄはタイムサーバ２９０と時刻同期が完了し、撮影状態となっているものとする。また、カメラアダプタ１２０ａ、１２０ｂ、１２０ｃ、１２０ｄは同一の注視点グループＡに属していることとする。
【０１０９】
図１０において、カメラ１１２ｂおよびカメラ１１２ｃは其々カメラアダプタ１２０ｂ及び１２０ｃに対して同時刻に同期され撮影された撮影画像（１）及び撮影画像（２）を送信する（Ｆ０６３０１、Ｆ０６３０２）。カメラアダプタ１２０ｂ及び１２０ｃは、受信した撮影画像（１）または撮影画像（２）に対して、キャリブレーション制御部０６１３３においてキャリブレーション処理を行う（Ｆ０６３０３、Ｆ０６３０４）。キャリブレーション処理は例えば色補正やブレ補正等である。なお、本実施形態ではキャリブレーション処理が実施されているが、必ずしも実施しなくてもよい。
【０１１０】
次に、カメラアダプタ１２０ｂ及び１２０ｃは、キャリブレーション処理済の撮影画像（１）または撮影画像（２）に対して、前景背景分離部０６１３１によって前景背景分離処理を行う（Ｆ０６３０５、Ｆ０６３０６）。カメラアダプタ１２０ｂ及び１２０ｃは、分離された前景画像及び背景画像其々に対してデータ圧縮・伸張部０６１２１によりデータ量の圧縮を行う（Ｆ０６３０７、Ｆ０６３０８）。なお分離した前景画像及び背景画像の其々の重要度に応じて圧縮率が変更されてもよい。例えば、カメラアダプタ１２０は、背景画像よりも前景画像の圧縮率が低くなるように、前景画像と背景画像とのうち少なくとも背景画像を圧縮して次のカメラアダプタ１２０に対して出力してもよい。また、重要な撮影対象を含む前景画像はロスレス圧縮を行い、背景画像に対してはロスあり圧縮を行ってもよい。また、重要な撮影対象を含まない前景画像はロスあり圧縮を行ってもよい。これにより、この後に次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに伝送されるデータ量を効率的に削減する事ができる。例えばサッカー、ラグビー及び野球等が開催されるスタジアムのフィールドを撮影した場合には、画像の大半が背景画像で構成され、プレーヤ等の前景画像の領域が小さいという特徴があるため、伝送データ量を大きく削減できる。なお、本実施形態においてカメラアダプタ１２０は、伝送するデータに、データ量を圧縮する圧縮処理を行う構成としたが、圧縮処理を行わなくてもよい。
【０１１１】
また、カメラアダプタ１２０は、重要度に応じて、次のカメラアダプタ１２０に対して出力する画像のフレームレートを変更してもよい。例えば、前景画像よりも背景画像の出力フレームレートが低くなるように、重要な撮影対象を含む前景画像は高フレームレートで出力し、撮影対象を含まない背景画像は低フレームレートで出力してもよい。この事によって更に次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに伝送されるデータ量を削減する事ができる。またカメラ１１２の設置場所、撮影場所、及び／又はカメラ１１２の性能などに応じて、カメラアダプタ１２０毎に圧縮率や伝送フレームレートを変更してもよい。また、スタジアムの観客席等の三次元構造は図面を用いて事前に確認し、カメラアダプタ１２０は背景画像から観客席の部分を除いた画像を伝送してもよい。これにより、レンダリングの時点で、事前に生成したスタジアム三次元構造を利用することで試合中のプレーヤに重点化した画像レンダリングを実施し、システム全体で伝送及び記憶されるデータ量の削減ができるという効果が生まれる。
【０１１２】
次にカメラアダプタ１２０は、圧縮した前景画像及び背景画像を隣接するカメラアダプタ１２０に転送する（Ｆ０６３１０、Ｆ０６３１１、Ｆ０６３１２）。また、カメラアダプタ１２０は、圧縮した前景画像に対して画像処理が必要なことを示す情報を付加して送信する。即ち、カメラアダプタ１２０は、処理カウントを１に設定して、前景画像を送信する。なお、本実施形態では前景画像及び背景画像は同時に転送されているが、其々が個別に転送されてもよい。
【０１１３】
次に、カメラアダプタ１２０ｂは、カメラアダプタ１２０ａから受信した前景画像とＦ０６３０５の前景背景分離処理で分離した前景画像とを使用して三次元モデル情報を作成する（Ｆ０６３１３）。同様にカメラアダプタ１２０ｃも三次元モデル情報を作成する（Ｆ０６３１４）。
【０１１４】
次に、カメラアダプタ１２０ｂはカメラアダプタ１２０ａから受信した前景画像及び背景画像をカメラアダプタ１２０ｃへ転送する（Ｆ０６３１５）。また、カメラアダプタ１２０ｂは、画像処理を行ったカメラアダプタ１２０ａから受信した前景画像に対して画像処理が必要なことを示す情報を削除して後段に送信する。即ち、カメラアダプタ１２０ｂは、処理カウントを０に設定して、カメラアダプタ１２０ａから受信した前景画像をカメラアダプタ１２０ｃへ送信する。なお、カメラアダプタ１２０ｂは、画像処理を行ったカメラアダプタ１２０ａから受信した前景画像に、画像処理が不必要なことを示す情報を付加してカメラアダプタ１２０ｃへ送信するようにしてもよい。カメラアダプタ１２０ｃも同様にカメラアダプタ１２０ｄへ前景画像及び背景画像を転送する。なお、本実施形態では前景画像及び背景画像は同時に転送されているが、其々が個別に転送されてもよい。
【０１１５】
さらに、カメラアダプタ１２０ｃは、カメラアダプタ１２０ａが作成し、カメラアダプタ１２０ｂから受信した前景画像及び背景画像をカメラアダプタ１２０ｄへ転送する（Ｆ０６３１７）。なお、カメラアダプタ１２０ｃは、カメラアダプタ１２０ａが作成し、カメラアダプタ１２０ｂから受信した前景画像に付加される処理カウンタが０であるため、この前景画像を用いて三次元モデル情報を生成しない。
【０１１６】
次に、各カメラアダプタ１２０ａ―１２０ｃは、作成した三次元モデル情報を其々次のカメラアダプタ１２０ｂ―１２０ｄへ転送する（Ｆ０６３１８、Ｆ０６３１９、Ｆ０６３２０）。
【０１１７】
さらに、カメラアダプタ１２０ｂ及び１２０ｃは、逐次受信した三次元モデル情報を次のカメラアダプタ１２０ｃ及び１２０ｄへ転送する（Ｆ０６３２１、Ｆ０６３２２）。さらに、カメラアダプタ１２０ｃは、カメラアダプタ１２０ａが作成し、カメラアダプタ１２０ｂから受信した三次元モデル情報をカメラアダプタ１２０ｄへ転送する（Ｆ０６３２３）。
【０１１８】
最終的に、カメラアダプタ１２０ａ―１２０ｄが作成した前景画像、背景画像、及び三次元モデル情報は、ネットワーク接続されたカメラアダプタ１２０間を逐次伝送され、フロントエンドサーバ２３０に伝送される。
【０１１９】
なお、本シーケンス図ではカメラアダプタ１２０ａ及びカメラアダプタ１２０ｄのキャリブレーション処理、前景背景分離処理、圧縮処理、及び三次元モデル情報作成処理については記載を省略している。しかし実際には、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｄも、カメラアダプタ１２０ｂやカメラアダプタ１２０ｃと同様の処理を行い、前景画像、背景画像及び三次元モデル情報を作成している。また、ここでは４台のカメラアダプタ１２０間のデータ転送シーケンスについて説明したが、カメラアダプタ１２０の数が増えても同様の処理が行われる。
【０１２０】
ここまで説明したように、複数のカメラアダプタ１２０のうち、予め定められた順序において最後のカメラアダプタ１２０以外のカメラアダプタ１２０は、対応するカメラ１１２による撮影画像から所定領域を抽出する。そしてその抽出結果に基づく画像データを、上記の予め定められた順序において次のカメラアダプタ１２０へ出力する。一方、上記の予め定められた順序において最後のカメラアダプタ１２０は、抽出結果に基づく画像データをフロントエンドサーバ２３０へ出力する。すなわち、複数のカメラアダプタ１２０はデイジーチェーンで接続され、各カメラアダプタ１２０が撮影画像から所定領域を抽出した結果に基づく画像データは、予め定められたカメラアダプタ１２０によってフロントエンドサーバ２３０へ入力される。このようなデータの伝送方式を用いることで、画像処理システム１００内におけるセンサシステム１１０の数が変動した場合の、フロントエンドサーバ２３０における処理負荷やネットワークの伝送負荷の変動を抑制することができる。また、カメラアダプタ１２０が出力する画像データは、上記の抽出結果に基づく画像データと、予め定められた順序において前のカメラアダプタ１２０による所定領域の抽出結果に基づく画像データとを用いて生成されるデータであってもよい。例えば、各カメラアダプタ１２０が自身による抽出結果と前のカメラアダプタ１２０による抽出結果の差分に基づく画像データを出力することで、システム内の伝送データ量を低減することができる。上記の順序において最後のカメラアダプタ１２０は、他のカメラ１１２による撮影画像から他のカメラアダプタ１２０により抽出された所定領域の画像データに基づく抽出画像データを上記の他のカメラアダプタ１２０から受信する。そして、自身が抽出した所定領域の抽出結果と、他のカメラアダプタ１２０から受信した抽出画像データとに応じた画像データを、仮想視点画像を生成するための画像コンピューティングサーバ２００に対して出力する。
【０１２１】
また、カメラアダプタ１２０は、カメラ１１２が撮影した画像を前景部分と背景部分に分け、例えばそれぞれの重要度に応じて圧縮率や伝送するフレームレートを変える。このことにより、カメラ１１２が撮影したデータの全てをフロントエンドサーバ２３０に伝送する場合よりも伝送量を低減する事ができる。また、三次元モデル生成に必要な三次元モデル情報を各カメラアダプタ１２０が逐次作成する。この事により、全てのデータをフロントエンドサーバ２３０に集結させ、サーバで全ての三次元モデル生成処理を行う場合と比較し、サーバの処理負荷を低減させる事ができ、よりリアルタイムに三次元モデル生成を可能とする事ができる。
【０１２２】
続いて、本実施形態におけるカメラアダプタ１２０ｂがバイパス制御モード時に複数のカメラアダプタ１２０（１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄ）が連動して三次元モデル情報を生成する処理シーケンスについて図１１を用いて説明する。なお、処理の順番は図に示したものに限定される訳ではない。
【０１２３】
なお、本実施形態の画像処理システム１００には２６台のカメラ１１２とカメラアダプタ１２０が含まれるが、ここでは２台のカメラ１１２ｂと１１２ｃ、及び、４台のカメラアダプタ１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄに注目して説明する。カメラ１１２ｂとカメラアダプタ１２０ｂ、及びカメラ１１２ｃとカメラアダプタ１２０ｃは、其々接続されている。なおカメラアダプタ１２０ａおよびカメラアダプタ１２０ｄに接続するカメラ１１２や、各カメラアダプタ１２０に接続するマイク１１１、雲台１１３、及び外部センサ１１４については省略する。また、カメラアダプタ１２０ａ―１２０ｄはタイムサーバ２９０と時刻同期が完了し、撮影状態となっているものとする。また、カメラアダプタ１２０ａ、１２０ｂ、１２０ｃ、１２０ｄは同一の注視点グループＡに属していることとする。
【０１２４】
カメラアダプタ１２０ｂは、例えばカメラ１１２ｂの故障や電源ＯＦＦされたことを検知したことによりバイパス制御モードに移行する（Ｆ０６８００）。なお、カメラアダプタ１２０ｂは、撮影タイミングから所定時間内にカメラ１１１２ｂから撮影画像を受信しない場合、バイパス制御モードに移行するようにしてもよい。図１１では、図１０と比較して、カメラアダプタ１２０ｂは、カメラ１１１２ｂの故障により撮影画像（１）を取得することができない。カメラアダプタ１２０ｃでは、カメラ１１２ｃから撮影画像（２）の受信し（Ｆ０６８０１）、撮影画像（２）に対してキャリブレーション（Ｆ０６８０２）、前景背景分離処理（Ｆ０６８０３）及び圧縮（Ｆ０６８０４）を行う。これら処理は、Ｆ０６３０２、Ｆ０６３０４、Ｆ０６３０６、Ｆ０６３０８と同様の処理であり説明を省略する。
【０１２５】
カメラアダプタ１２０ａは、Ｆ０６３１０と同様に、圧縮した前景画像（０）及び背景画像を隣接するカメラアダプタ１２０ｂに転送する（Ｆ０６８０５）。カメラアダプタ１２０ａは、圧縮した前景画像（０）に対して画像処理が必要なことを示す情報を付加して送信する。即ち、カメラアダプタ１２０ａは、処理カウントを１に設定して、前景画像（０）をカメラアダプタ１２０ｂに送信する。なお、本実施形態では前景画像及び背景画像は同時に転送されているが、其々が個別に転送されてもよい。次に、カメラアダプタ１２０ｂは、バイバス制御モードであるため、カメラアダプタ１２０ａから受信した前景画像（０）を、画像処理を行うことなく、ネットワークアダプタ０６１１０でカメラアダプタ１２０ｃにバイパス伝送する（Ｆ０６８０６）。
【０１２６】
なお、この場合、カメラアダプタ１２０ｂは、受信した前景画像（０）の処理カウンタをデクリメントしないことで、画像処理が必要なことを後段のカメラアダプタに示す。また、バイパス制御モードのカメラアダプタ１２０ｂが、カメラアダプタ１２０ａから受信した前景画像（０）に画像処理が必要なことを示す情報を付加して送信するようにしてもよい。
【０１２７】
カメラアダプタ１２０ｃは、カメラアダプタ１２０ｂからＦ０６８０６において受信した前景画像（０）に、画像処理が必要なことを示す情報を付加されていることを検出する。したがって、カメラアダプタ１２０ｃは、Ｆ０６８０６において受信した前景画像（０）と前景背景分離処理Ｆ０６８０３で分離した前景画像（２）とを使用して三次元モデル情報を作成する（Ｆ０６８０８）。なお、カメラアダプタ１２０ｃは、カメラ１１２ｂで撮影された画像の前景画像を撮影タイミングから所定時間以内に受信できるか否かを判定してもよい。そして、カメラアダプタ１２０ｃは、所定時間以内に受信できない場合、前景画像（２）と、カメラアダプタ１２０ｂよりデイジーチェーンにおいて前の装置において生成された前景画像とを用いて三次元モデル情報を生成すると判定してもよい。
【０１２８】
さらに、カメラアダプタ１２０ｃは、前景画像（０）及び背景画像（０）と、Ｆ０６８０８においてで作成した三次元モデル情報（２）とをカメラアダプタ１２０ｄへ転送する（Ｆ０６８０９、Ｆ０６８１０）。また、カメラアダプタ１２０ｃは、Ｆ０６８０８において画像処理を行った前景画像（０）に対して画像処理が必要なことを示す情報を削除して後段のカメラアダプタ１２０ｄに送信する。即ち、カメラアダプタ１２０ｃは、処理カウントを０に設定して、前景画像（０）をカメラアダプタ１２０ｄへ送信する。なお、カメラアダプタ１２０ｃは、画像処理を行った前景画像（０）に、画像処理が不必要なことを示す情報を付加してカメラアダプタ１２０ｃへ送信するようにしてもよい。
【０１２９】
次に、カメラアダプタ１２０ａは、三次元モデル情報（０）を隣接するカメラアダプタ１２０ｂに転送する（Ｆ０６８１１）。同様に、カメラアダプタ１２０ｂはカメラアダプタ１２０ａから受け取った三次元モデル情報（０）をネットワークアダプタ０６１１０でカメラアダプタ１２０ｃにバイパス伝送する（Ｆ０６８１２）。さらに、カメラアダプタ１２０ｃはカメラアダプタ１２０ｂから受け取った三次元モデル情報（０）をカメラアダプタ１２０ｄにバイパス伝送する（Ｆ０６８１３）。
【０１３０】
最終的に、カメラアダプタ１２０ａ―１２０ｄが作成した前景画像、背景画像、及び三次元モデル情報は、ネットワーク接続されたカメラアダプタ１２０間を逐次伝送され、フロントエンドサーバ２３０に伝送される。このように、本実施形態の画像処理システム１００によれば、カメラ１１２ｂが撮影できないことにより、カメラアダプタ１２０ｂが三次元モデル情報の作成ができない場合であっても、他の装置が代替して三次元モデル情報を生成することができる。したがって、仮想視点画像の一部に抜けが生じたり、画質が低くなったり、仮想視点画像の生成に時間がかかったりする恐れを低減することができる。したがって、本実施形態によれば、画像処理を複数の装置で行う場合に、一部の装置が処理を実行できない場合であっても、その影響を低減することができる。
【０１３１】
続いて、図１０における前景・背景画像（０）が送信される際の出力データ（Ｆ０６３１０、Ｆ０６３１５、Ｆ０６３１７）のについて図１２を用いて説明する。なお、本図では前景画像のみ説明するが背景画像についても同様である。
【０１３２】
カメラアダプタ１２０ａの出力データ０７２１０ａは、カメラアダプタ１２０ａがカメラアダプタ１２０ｂに送信する出力データである。カメラアダプタ１２０ａの出力データ０７２１０ａには、付帯情報であるヘッダとペイロードから構成されている。付帯情報には、カメラアダプタ１２０ａに予めデータ種別ごとに登録されている処理カウンタ値が処理カウンタ０７１１１ａに設定される。処理カウンタ値は、出力データが他のカメラアダプタ１２０で行われるべき画像処理の回数であり、本図では１回だけ前景画像が他のカメラアダプタ１２０の画像処理で使用されることを示す。なお、複数回画像処理を行う場合は、処理カウンタを２以上の数を設定してもよい。出力データ０７２１０ａは、さらに、カメラアダプタ１２０ａが属している注視点ブループを識別するグループＩＤ０７１１２ａと、出力データのデータ種別０７１１３ａとを含む。また、出力データ０７２１０ａは、カメラアダプタ１２０ａを識別する送信元ＩＤ０７１１４ａ、及び、ペイロード部に前景画像０７１１５ａを含む。
【０１３３】
次に、出力データ０７２１０ａを受け取ったカメラアダプタ１２０ｂは、出力データ０７１１０ａの付帯情報であるヘッダ部を解析し、画像処理の有無を判定する。カメラアダプタ１２０ｂは、処理カウンタ０７１１１ａが１以上で、グループＩＤ０７１１２ｂが同じのため、画像処理を実行すると判定する。また、カメラアダプタ１２０ｂは、データ種別０７１１３ａ、送信元ＩＤ０７１１４ａに対し実行すべき処理を特定する。この場合、カメラアダプタ１２０ｂは、三次元モデル情報を生成する。カメラアダプタ１２０ｂは、処理を実施後は処理カウンタ値をデクリメントし処理カウンタ０７１１１ｂを更新する。また、カメラアダプタ１２０ｂは、その他のヘッダ情報は更新せずに、受信した前景画像を次のカメラアダプタ１２０ｃに出力データを送信する。この場合の、カメラアダプタ１２０ｂから送信される出力データ０７２１０ｂの付帯情報を図１２に示す。
【０１３４】
次に、出力データ０７２１０ｂを受け取ったカメラアダプタ１２０ｃは、出力データ０７２１０ｂを解析し、画像処理の有無を判定し画像処理を実施しない。すなわちカメラアダプタ１２０ｃは、処理カウンタ０７１１１ｂが１未満のため画像処理を行わない。したがって、カメラアダプタ１２０ｃは、付帯情報の変更を行わず、図１２に示す出力データ０７２１０ｃをカメラアダプタ１２０ｄに送信する。
【０１３５】
次に、図１１における前景・背景画像（０）が送信される際の出力データ（Ｆ０６８０５、Ｆ０６８０６、Ｆ０６８０９）のについて図１３を用いて説明する。なお、本図では前景画像のみ説明するが背景画像についても同様である。
【０１３６】
カメラアダプタ１２０ａの出力データ０７２４０ａは、図１２の０７２１０ａと同様である。次に、カメラアダプタ１２０ｂから送信される出力データ０７２４０ｂは、カメラアダプタ１２０ｂがバイパス制御モードであるため、出力データ０７２４０ａから変更される、出力データ０７２４０ａと同一である。
【０１３７】
次に、出力データ０７２４０ｂを受け取ったカメラアダプタ１２０ｃは、出力データ０７２４０ｂの付帯情報を解析し、画像処理の有無を判定し画像処理を実施する。すなわち、カメラアダプタ１２０ｂが行う処理をカメラアダプタ１２０ｃが行う。したがって、カメラアダプタ１２０ｃは、処理カウンタを０設定した出力データ０７２４０ｃをカメラアダプタ１２０ｄに送信する。
【０１３８】
上記説明したように、カメラアダプタ１２０ａはカメラアダプタ１２０ｂがバイパス状態か否かに関わらず出力データを作成し、出力データに対する処理を後続のカメラアダプタ１２０ｂまたは１０２ｃに依頼することができる。このことによってカメラアダプタ１２０ａの出力データの再送などの遅延なくリアルタイムに処理することができる。
【０１３９】
また、本実施形態の画像処理システム１００によれば、カメラ１１２ｂが撮影できないことにより、カメラアダプタ１２０ｂが三次元モデル情報の作成ができない場合であっても、他の装置が代替して三次元モデル情報を生成することができる。したがって、仮想視点画像の一部に抜けが生じたり、画質が低くなったり、仮想視点画像の生成に時間がかかったりする恐れを低減することができる。したがって、本実施形態によれば、画像処理を複数の装置で行う場合に、一部の装置が処理を実行できない場合であっても、その影響を低減することができる。また、本実施形態によれば、複数の画像を複数の画像処理装置で処理するシステムにおいて伝送される画像に対して画像処理を実行するか否かを画像処理装置が判定可能にすることができる。また、本実施形態によれば、複数の画像処理装置間での画像処理の連携が適切に行われ、画像に対して仮想視点コンテンツのための十分な画像処理が実行されない場合を低減できる。
【０１４０】
（その他の実施形態）
上述の実施形態において、カメラアダプタ１２０間で所定のオブジェクトを抽出した結果である前景画像を伝送する例を説明した。しかしながら、撮影画像そのもの伝送するようにしてもよいし、他の加工が施された画像をカメラアダプタ１２０間で伝送するようにしてもよい。また、カメラアダプタ１２０間で伝送される画像の付帯情報を用いて、三次元モデル情報を生成するための画像処理の実行を判定する例を説明した。しかしながら、三次元モデル情報を生成するための画像処理に限らず、カメラアダプタ１２０間で伝送される画像の付帯情報を用いて、仮想視点コンテンツを生成するための他の画像処理の実行可否を判定するようにしてもよい。また、カメラアダプタ１２０間で伝送される画像の付帯情報を用いて、仮想視点コンテンツを生成するための画像処理の内容を判定する構成としてもよい。また、カメラアダプタ１２０間で伝送される画像の付帯情報を用いて、三次元モデル情報を生成するための画像処理を実行すべきか他の画像処理を実行すべきかを判定するようにしてもよい。
【０１４１】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１４２】
１００  画像処理システム
１１０  センサシステム
１２０  カメラアダプタ
０６１１０  ネットワークアダプタ
０６１２０  伝送部
０６１３０  画像処理部
０６１４０  外部機器制御部
【図１】
2019008429.tif 000003
【図２】
2019008429.tif 000004
【図３】
2019008429.tif 000005
【図４】
2019008429.tif 000006
【図５】
2019008429.tif 000007
【図６】
2019008429.tif 000008
【図７】
2019008429.tif 000009
【図８】
2019008429.tif 000010
【図９】
2019008429.tif 000011
【図１０】
2019008429.tif 000012
【図１１】
2019008429.tif 000013
【図１２】
2019008429.tif 000014
【図１３】
2019008429.tif 000015
【図１４】
2019008429.tif 000016
【図１５】
2019008429.tif 000017