(57)【要約】【課題】  仮想視点画像の生成のために必要な撮影画像を伝送するネットワークの伝送帯域の逼迫を低減することを目的とする。【解決手段】  複数の撮像装置が撮影した複数の撮影画像を用いて仮想視点画像を生成する画像処理システムにおいて、前記複数の撮影画像の少なくとも一部を、前記仮想視点画像を生成するために伝送する画像伝送装置は、前記複数の撮像装置のうちの少なくとも１台が撮影した撮影画像が前記仮想視点画像の生成に適しているか否かを判定し、前記仮想視点画像の生成に適していないと判定された撮影画像の伝送を制限する。【選択図】  図２
2019080183.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置が撮影した複数の撮影画像を用いて仮想視点画像を生成する画像処理システムにおいて、前記複数の撮影画像の少なくとも一部を、前記仮想視点画像を生成するために伝送する画像伝送装置であって、
前記複数の撮像装置のうちの少なくとも１台が撮影した撮影画像を取得する取得手段と、
前記取得手段により取得される前記撮影画像を伝送する伝送手段と、
前記取得手段により取得される前記撮影画像が前記仮想視点画像の生成に適しているか否かを判定する判定手段と、
前記判定手段により前記撮影画像が前記仮想視点画像の生成に適していないと判定された場合、当該撮影画像の前記伝送手段による伝送を制限する制御手段と、
を有することを特徴とする画像伝送装置。
【請求項２】
前記判定手段は、前記取得手段により取得される前記撮影画像の撮影状況に基づいて、前記撮影画像が前記仮想視点画像の生成に適しているか否かを判定することを特徴とする請求項１に記載の画像伝送装置。
【請求項３】
前記判定手段は、前記取得手段により取得される前記撮影画像にぶれが生じていると判定された場合、前記撮影画像が前記仮想視点画像の生成に適していないと判定することを特徴とする請求項１または２に記載の画像伝送装置。
【請求項４】
前記判定手段は、前記取得手段により取得される前記撮影画像の撮影対象を遮蔽する物体が前記撮影画像に写っていると判定された場合、前記撮影画像が前記仮想視点画像の生成に適していないと判定することを特徴とする請求項１から３までのいずれか１項に記載の画像伝送装置。
【請求項５】
前記判定手段は、前記取得手段により取得される前記撮影画像を撮影する撮像装置が故障または破損していると判定された場合、前記撮影画像が前記仮想視点画像の生成に適していないと判定することを特徴とする請求項１から４までのいずれか１項に記載の画像伝送装置。
【請求項６】
前記判定手段は、前記取得手段により取得される前記撮影画像を撮影する撮像装置の撮影領域が変化したと判定された場合、前記撮影画像が前記仮想視点画像の生成に適していないと判定することを特徴とする請求項１から５までのいずれか１項に記載の画像伝送装置。
【請求項７】
前記判定手段は、前記取得手段により取得される前記撮影画像が撮影された際の撮影パラメータに基づいて、前記撮影画像が前記仮想視点画像の生成に適しているか否かを判定することを特徴とする請求項１から６までのいずれか１項に記載の画像伝送装置。
【請求項８】
前記判定手段は、前記取得手段により取得される前記撮影画像が撮影された際の撮影状況をセンシングしたセンサ情報に基づいて、前記撮影画像が前記仮想視点画像の生成に適しているか否を判定することを特徴とする請求項１から７までのいずれか１項に記載の画像伝送装置。
【請求項９】
前記判定手段は、前記取得手段により取得される前記撮影画像が撮影された際の、赤外線センサ、ジャイロセンサ、加速度センサ、ミリ波センサ、ＧＰＳまたは電子コンパスのセンシングの結果であるセンサ情報に基づいて、前記撮影画像が前記仮想視点画像の生成に適しているか否かを判定することを特徴とする請求項１から８までのいずれか１項に記載の画像伝送装置。
【請求項１０】
前記判定手段は、前記仮想視点画像に係る視点の位置及び視線の方向に基づいて、前記撮影画像が前記仮想視点画像の生成に適しているか否かを判定することを特徴とする請求項１から９までのいずれか１項に記載の画像伝送装置。
【請求項１１】
前記判定手段は、前記撮影画像の画像処理結果に基づいて、前記仮想視点画像の生成に適しているか否かを判定することを特徴とする請求項１から１０までのいずれか１項に記載の画像伝送装置。
【請求項１２】
前記制御手段は、前記判定手段により前記撮影画像が前記仮想視点画像の生成に適していないと判定された場合、当該撮影画像のデータ量を低減することで当該撮影画像の前記伝送手段による伝送を制限することを特徴とする請求項１から１１までのいずれか１項に記載の画像伝送装置。
【請求項１３】
前記制御手段は、前記判定手段により前記撮影画像が前記仮想視点画像の生成に適していないと判定された場合、当該撮影画像を前記伝送手段に伝送させないことを特徴とする請求項１から１２までのいずれか１項に記載の画像伝送装置。
【請求項１４】
前記伝送手段の伝送対象となるデータのデータ量を特定する特定手段をさらに有し、
前記制御手段は、前記特定手段により特定されたデータ量が閾値を超える場合、前記撮影画像の前記伝送手段による伝送を制限することを特徴とする請求項１から１３までのいずれか１項に記載の画像伝送装置。
【請求項１５】
前記取得手段は、前記複数の撮像装置のうちの第１撮像装置が撮影した第１撮影画像と、前記複数の撮像装置のうちの第２撮像装置が撮影した第２撮影画像とを取得し、
前記判定手段は、前記取得手段により取得される前記第１撮影画像と前記第２撮影画像とのうちから前記仮想視点画像の生成に適していない撮影画像を判定することを特徴とする請求項１から１４までのいずれか１項に記載の画像伝送装置。
【請求項１６】
前記伝送手段は、前記判定手段により前記撮影画像が前記仮想視点画像の生成に適していると判定された場合、前記取得手段により取得される前記撮影画像を伝送することを特徴とする請求項１から１５までのいずれか１項に記載の画像伝送装置。
【請求項１７】
前記伝送手段は、前記取得手段により取得される前記撮影画像を、前記複数の撮影画像の少なくとも一部を伝送する他の画像伝送装置または前記仮想視点画像を生成するサーバに伝送することを特徴とする請求項１から１６までのいずれか１項に記載の画像伝送装置。
【請求項１８】
前記判定手段は、ジャイロセンサまたは加速度センサのセンシングの結果であるセンサ情報が前記撮影画像を撮影する撮像装置が振動していることを示す場合、当該撮影画像が前記仮想視点画像の生成に適していないと判定することを特徴とする請求項９に記載の画像伝送装置。
【請求項１９】
前記判定手段は、赤外線センサまたはミリ波センサのセンシングの結果であるセンサ情報が前記取得手段により取得される前記撮影画像を撮影する撮像装置の撮影領域を遮蔽する物体が存在することを示す場合、当該撮影画像が前記仮想視点画像の生成に適していないと判定することを特徴とする請求項９に記載の画像伝送装置。
【請求項２０】
前記判定手段は、電子コンパスのセンシングの結果であるセンサ情報が前記取得手段により取得される前記撮影画像を撮影する撮像装置の撮影方向が変更したことを示す場合、当該撮影画像が前記仮想視点画像の生成に適していないと判定することを特徴とする請求項９に記載の画像伝送装置。
【請求項２１】
前記判定手段は、ＧＰＳのセンシングの結果であるセンサ情報が前記取得手段により取得される前記撮影画像を撮影する撮像装置の位置が変更したことを示す場合、当該撮影画像が前記仮想視点画像の生成に適していないと判定することを特徴とする請求項９に記載の画像伝送装置。
【請求項２２】
複数の撮像装置と、仮想視点画像を生成するサーバに、前記複数の撮像装置が撮影した複数の撮影画像の少なくとも一部を伝送する複数の画像伝送装置と、前記サーバとを有する画像処理システムにおける画像伝送方法であって、
前記複数の撮影画像のうち前記仮想視点画像の生成に適してない撮影画像の前記サーバへの伝送を制限することを特徴とする画像伝送方法。
【請求項２３】
コンピュータを請求項１から１６までのいずれか１項に記載の画像伝送装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置が撮影した複数の撮影画像を伝送する技術に関する。
【背景技術】
【０００２】
複数の撮像装置を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて、撮像装置の設置位置から撮影した画像だけでなく、視点を任意に変更可能な仮想視点画像を生成する技術がある。
仮想視点画像は、サーバなどの画像処理部が複数のカメラにより撮影された画像を集約し、三次元モデルを生成し、レンダリングなどの処理を施すことで生成され、閲覧のためにユーザ端末に伝送される。
特許文献１には、同一の範囲を取り囲むように複数の撮像装置を配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の撮像装置により撮影された撮影画像を、仮想視点画像を生成するサーバにネットワークを介して伝送するシステムでは、ネットワークの伝送帯域が逼迫すると、複数カメラの撮影画像の少なくとも一部がサーバに伝送されない場合が生じ得る。ネットワークの伝送帯域が逼迫したことにより、仮想視点画像に生成に必要な撮影画像がサーバに伝送できないと、生成される仮想視点画像の一部に抜けが生じたり、画質が低くなったり、仮想視点画像の生成に時間がかかったりする恐れがある。さらに、仮想視点画像の生成に限らず、パノラマ画像など、複数の撮影画像を用いて画像を生成する場合においても、同様の課題が生じ得る。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、仮想視点画像の生成のために必要な撮影画像を伝送するネットワークの伝送帯域の逼迫を低減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、複数の撮像装置が撮影した複数の撮影画像を用いて仮想視点画像を生成する画像処理システムにおいて、前記複数の撮影画像の少なくとも一部を、前記仮想視点画像を生成するために画像伝送装置であって、
前記複数の撮像装置のうちの少なくとも１台が撮影した撮影画像を取得する取得手段と、
前記取得手段により取得される前記撮影画像を伝送する伝送手段と、
前記取得手段により取得される前記撮影画像が前記仮想視点画像の生成に適しているか否かを判定する判定手段と、
前記判定手段により前記撮影画像が前記仮想視点画像の生成に適していないと判定された場合、当該撮影画像の前記伝送手段による伝送を制限する制御手段と、
を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、仮想視点画像の生成のために必要な撮影画像を伝送するネットワークの伝送帯域の逼迫を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理システム１００の構成を説明するためのブロック図である。
【図２】カメラアダプタ１２０の機能構成を説明するためのブロック図である。
【図３】撮影開始処理を説明するためのシーケンス図である。
【図４】カメラアダプタ１２０が出力するデータ形式を示す図である。
【図５】カメラアダプタ１２０の動作を説明するためのフローチャートである。
【図６】カメラアダプタ１２０が出力するデータの流れを示す図である。
【図７】カメラアダプタ１２０の動作を説明するためのフローチャートである。
【図８】カメラアダプタ１２０が出力するデータの流れを示す図である。
【図９】カメラアダプタ１２０のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して実施形態を説明する。図１は、本実施形態の画像処理システムの概略の一例を示す図である。図１に示す画像処理システムは、例えば、競技等を実際に行うフィールドと、観客席を有するスタジアムやコンサートホールに設置される複数のカメラにより撮影された撮影画像を用いて仮想視点画像を生成するシステムである。画像処理システム１００は、カメラシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。
【００１０】
コントローラ３００は画像処理システム１００を構成するそれぞれの構成要素に対してネットワーク３００ａ、１８０ａ、１８０ｂ、及び１７０ａ〜１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う情報処理装置である。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（Ｇｉｇａｂｉｔ  Ｅｔｈｅｒｎｅｔ）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用Ｅｔｈｅｒｎｅｔ等を組合せて構成されてもよい。また、これらに限定されず、無線ネットワークなどの他の種別のネットワークであってもよい。また、各装置間の接続形態も図１に図示したものに限定されず、例えば、インターネットなどのネットワークを介して各装置間が接続される形態であってもよい。
【００１１】
カメラシステム１１０ａ〜１１０ｚは、撮像装置であるカメラが撮影した画像を伝送するシステムである。カメラシステム１１０ａ〜１１０ｚは、２６セットの画像をカメラシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。
【００１２】
本実施形態において、特別な説明がない場合は、カメラシステム１１０ａからカメラシステム１１０ｚまでの２６セットのシステムを区別せずカメラシステム１１０と記載する。各カメラシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、カメラ１１２、センサ１１４、及びカメラアダプタ１２０と記載する。なお、カメラシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。
【００１３】
カメラシステム１１０ａ〜１１０ｚは、それぞれ１台ずつのカメラ１１２ａ〜１１２ｚを有する。即ち、画像処理システム１００は、撮影対象を複数の方向から撮影するための複数のカメラを有する。複数のカメラシステム１１０同士はデイジーチェーンにより接続されてもよい。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる。
【００１４】
なお、これに限らず、接続形態として、各カメラシステム１１０ａ〜１１０ｚがスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してカメラシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。
【００１５】
また、図１では、デイジーチェーンとなるようカメラシステム１１０ａ〜１１０ｚの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のカメラシステム１１０をいくつかのグループに分割して、分割したグループ単位でカメラシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にカメラシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができ、全カメラシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
【００１６】
また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、カメラシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、カメラシステム１１０がグループに分割されていなければ、同期はとれる。
【００１７】
しかし、画像入力を行うカメラアダプタ１２０が複数になる（カメラシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、画像コンピューティングサーバ２００において全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要があり得る。
【００１８】
カメラシステム１１０ａはカメラ１１２ａ、センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、この構成に限定するものではなく、他の構成を有していてもよい。また、カメラシステム１１０ａは、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａを有する構成であってもよい。また例えば、カメラシステム１１０ａは１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａで構成されてもよい。また、カメラシステム１１０ａは、１台のカメラ１１２ａのみで、カメラ１１２ａが後述するカメラアダプタ１２０ａの動作を行ってもよい。
【００１９】
画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、カメラシステム１１０は、カメラ１１２、及びカメラアダプタ１２０以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部を画像コンピューティングサーバ２００が有していてもよい。カメラシステム１１０ａ〜１１０ｚについては、カメラシステム１１０ａと同様の構成であってもよい。なお、カメラシステム１１０は其々同じ構成に限定されるものではなく、其々のカメラシステム１１０が異なる構成でもよい。
【００２０】
カメラアダプタ１２０は画像を伝送する画像伝送装置である。例えば、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、デイジーチェーンのネットワーク１７０を通してカメラシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様にカメラシステム１１０ｂでは、カメラ１１２ｂ撮影された画像を、カメラシステム１１０ａから取得した画像と合わせてカメラシステム１１０ｃに伝送する。
【００２１】
前述した動作を続けることにより、カメラシステム１１０ａ〜１１０ｚが取得した撮影画像は、カメラシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。このように本実施形態のシステムでは、あるカメラシステム１１０のカメラ１１２が撮影した画像（以後、自カメラ画像と呼ぶ）と、上流カメラシステム１１０から送られてきた画像（以後、他カメラ画像と呼ぶ）を下流カメラシステム１１０に送出する。このようなルーチン処理を各カメラシステム１１０で繰り返しながらカメラシステム１１０ａ〜１１０ｚが撮影した画像は、画像コンピューティングサーバ２００に到達することになる。このような、デイジーチェーン接続による分散システムでは、下流に行くにしたがって伝送する撮影画像が増え、伝送データ量が増えるため、特に下流では伝送帯域が逼迫する恐れが生じうる。本実施形態では、伝送帯域をオーバーする前に適切にデータを削減する。
【００２２】
センサ１１４は、カメラシステム１１０の撮影状況に関する情報をセンスするセンサである。センサ１１４は、例えば、赤外線センサ、ジャイロセンサ、加速度センサ、ミリ波センサ、ＧＰＳまたは電子コンパスであり得る。センサ１１４は、これらのセンサのうちの一つでもよいし、これらから複数個のセンサを組み合わせたものであってもよい。
【００２３】
タイムサーバ２９０は時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してカメラシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、カメラ１１２ａ〜１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ撮影画像の時刻同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。
【００２４】
画像コンピューティングサーバ２００は、カメラシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００は、カメラシステム１１０ａ〜１１０ｚから取得した複数の撮影画像に基づいて、三次元モデルを生成し、レンダリングなどの処理を施すことで仮想視点画像を生成する。仮想視点画像を生成する方式として、モデルベースレンダリング（ＭＯＤＥＬ−ＢＡＳＥＤ  ＲＥＮＤＥＲＩＮＧ：ＭＢＲ）を用いてもよい。ＭＢＲとは、被写体を複数の方向から撮像した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的にＭＢＲは、視体積交差法、ＭＵＬＴＩ−ＶＩＥＷ−ＳＴＥＲＥＯ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。また、仮想視点画像を生成する方法は、ＭＢＲに限られず、例えば、イメージベースレンダリングを用いる方式が挙げられる。イメージベースレンダリングは、モデリング（幾何学図形を使用して物体の形状を作成する過程）をしないで、複数視点の撮影画像から仮想視点画像を生成するレンダリング方法である。画像コンピューティングサーバ２００は、カメラシステム１１０ｚから取得した画像に対して、コントローラ３００またはエンドユーザ端末１９０から視点の指定を受け付け、受け付けられた視点に基づいて、レンダリング処理を行って仮想視点画像を生成する。
【００２５】
画像コンピューティングサーバ２００は、レンダリング処理された画像を、エンドユーザ端末１９０に送信する。エンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像閲覧が出来る。すなわち、画像コンピューティングサーバ２００は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点画像を生成する。より具体的には、画像コンピューティングサーバ２００は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点画像を生成する。そして画像コンピューティングサーバ２００は、生成した仮想視点画像をエンドユーザ端末１９０に提供する。
【００２６】
画像コンピューティングサーバ２００は、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を生成する。仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されてもよいし、画像解析の結果等に基づいて自動的に指定されてもよい。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。
【００２７】
また、画像コンピューティングサーバ２００は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１９０の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いてもよい。
【００２８】
なお、画像コンピューティングサーバ２００が、カメラシステム１１０ａ〜１１０ｚが生成した画像データやそれらのデータのメタ情報を共通スキーマ及びデータ型に変換してもよい。これにより、カメラシステム１１０ａ〜１１０ｚのカメラ１１２が他機種のカメラに変化しても、コントローラ３００が適切に動作しない虞を低減できる。なお、コントローラ３００は、画像コンピューティングサーバ２００を介さず、直接カメラシステム１１０ａ〜１１０ｚから画像を取得してもよい。
【００２９】
なお、画像コンピューティングサーバ２００の構成はこれに限らない。画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０やコントローラ３００が有していてもよい。
【００３０】
エンドユーザ端末１９０は、レンダリング処理された仮想視点画像を画像コンピューティングサーバ２００から取得し、取得した仮想視点画像を表示する情報処理装置である。
【００３１】
以上説明したように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、画像コンピューティングサーバ２００により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
【００３２】
図９は、画像処理システム１００の各装置のハードウェアの構成の一例を示す図である。装置１２００は、ＣＰＵ１２０１、ＲＯＭ１２０２、ＲＡＭ１２０３、補助記憶装置１２０４、表示部１２０５、操作部１２０６、通信部１２０７、及びバス１２０８を有する。
【００３３】
ＣＰＵ１２０１は、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムやデータを用いて装置１２００の全体を制御する。ＲＯＭ１２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１２０３は、補助記憶装置１２０４から供給されるプログラムやデータ、及び通信部１２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。
【００３４】
表示部１２０５は、例えば液晶ディスプレイ等で構成され、ユーザが装置１２００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１２０６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１２０１に入力する。通信部１２０７は、外部の装置と通信を行う。例えば、装置１２００が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部１２０７に接続される。なお、装置１２００が外部の装置と無線通信する機能を有する場合、通信部１２０７はアンテナを備える。バス１２０８は、装置１２００の各部を繋いで情報を伝達する。
【００３５】
本実施形態では表示部１２０５と操作部１２０６は装置１２００の内部に存在するが、装置１２００は表示部１２０５及び操作部１２０６の少なくとも一方を備えていなくてもよい。また、表示部１２０５及び操作部１２０６の少なくとも一方が装置１２００の外部に別の装置として存在していて、ＣＰＵ１２０１が、表示部１２０５を制御する表示制御部、及び操作部１２０６を制御する操作制御部として動作してもよい。
【００３６】
なお、ＣＰＵ１２０１は、単数もしくは複数のＣＰＵにより構成されていてもよいし、マルチコアのＣＰＵであってもよい。また、ＣＰＵ１２０１の代わりに、または、ＣＰＵ１２０１と共に、ＡＳＩＣ、ＦＰＧＡまたはＧＰＵなどのハードウェアを有していてもよい。この場合、ＡＳＩＣ、ＦＰＧＡまたはＧＰＵなどのハードウェアが、ＣＰＵ１２０１が行うべき処理の一部または全てを行ってもよい。また、装置１２００の処理のうち一部をハードウェアで行い、別の一部の処理を、ＣＰＵを用いたソフトウェア処理によって実現するようにしてもよい。なお、画像処理システム１００のすべての装置が同様の構成である必要はなく、装置に応じて、一部の構成を有さなくてもよいし、他の構成を有してもよい。
【００３７】
次に本実施形態におけるカメラアダプタ１２０の機能ブロックについて図２を用いて説明する。図２に示すカメラアダプタ１２０の機能ブロックは、カメラアダプタ１２０のＣＰＵ１２０１が、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムを実行し、情報の演算及び各ハードウェアを制御することで実現される。なお、図２に示す各構成の一部またはすべてを、専用のハードウェアにより実現されてもよい。専用のハードウェアは、例えば、ＡＳＩＣ、ＦＰＧＡまたはＧＰＵ等である。
【００３８】
カメラ制御部１２０１１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能と、カメラ１１２で撮影した画像を取得する機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（絞り、シャッタースピード、感度、画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照が含まれてもよい。また、カメラ１１２の制御には、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などが含まれてもよい。なお、本実施形態ではカメラ１１２を介してピント調整を行っているが、取り外し可能なレンズがカメラ１１２に装着されている場合は、カメラアダプタ１２０がレンズに接続し、直接レンズの調整を行ってもよい。また、カメラアダプタ１２０がカメラ１１２を介してズーム等のレンズ調整を行ってもよい。同期信号提供は、時刻同期制御部１２０３８がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部１２０３８がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われてもよい。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部１２０１１は、カメラ１１２に対するタイムコードの提供はせず、カメラ１１２から受取った画像データに自身がタイムコードを付与してもよい。
【００３９】
センサ制御部１２０１２は、センサ１１４と接続し、センサ１１４がセンシングした結果を示すセンサ情報を取得する機能を有する。例えば、センサ１１４としてジャイロセンサが利用される場合は、振動を表す情報を取得することができる。センサ制御部１２０１２で取得したセンサ情報は、画像補正部１２０１３に入力される。なお、カメラシステム１１０のセンサはセンサ１１４に限定するわけではなく、カメラアダプタ１２０またはカメラ１１２に内蔵されたセンサであってもよい。
【００４０】
画像補正部１２０１３は、センサ制御部１２０１２で取得したセンサ情報を基に、カメラ制御部１２０１１から取得した画像データの補正を行い、補正後の画像データを画像処理部１２０２１に出力する。センサ１１４が、ジャイロセンサまたは加速度センサなどであり、センサ情報が振動やぶれを表す情報である場合は、画像補正部１２０１３では画像データのぶれ補正を行い、ぶれ補正量をメタ情報生成部１２０２２に出力する。また、センサ１１４が、赤外線センサまたはミリ波センサなどであり、センサ情報が撮影領域の遮蔽物体の有無を表す情報である場合は、画像補正部１２０１３では、画像中の遮蔽物体の領域検知を行う。そして、画像補正部１２０１３は、遮蔽物体の領域の大きさをメタ情報生成部１２０２２に出力する。また、センサ１１４が、電子コンパスなどであり、センサ情報が撮影領域の変更を表す情報である場合は、画像補正部１２０１３では撮影領域の変更度合いを検出し、その度合いをメタ情報生成部１２０２２に出力する。
【００４１】
画像処理部１２０２１は、カメラ１１２が撮影した画像データに対して、エッジ処理、ノイズ除去、色変換等の処理を行う。なお、画像処理部１２０２１は、前景背景分離処理を行ってもよい。前景背景分離処理では、画像からボールや選手などの特定の人物である所定のオブジェクトの領域を前景領域として抽出し、画像から前景領域を抽出した残りの画像を背景領域としてもよい。カメラアダプタ１２０は、前景領域を示す前景画像データ、背景領域を示す背景画像データと分けて、それぞれ別個に通信してもよい。
【００４２】
メタ情報生成部１２０２２は、画像を撮影した時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２の個体を示す識別子、画像補正部１２０１３から取得したぶれ補正量などをセンサ情報に基づく情報を画像データのメタ情報として生成する。なお、メタ情報生成部１２０２２が生成する情報は、これらのうちの一部であってもよいし、他の情報であってもよい。例えば、メタ情報生成部１２０２２は、他のカメラアダプタ１２０の後述する不適切画像判定部１２０３４による判定処理に必要な情報を生成するようにしてもよい。また、例えば、メタ情報生成部１２０２２は、不適切画像判定部１２０３４の判定結果を画像データのメタ情報として生成してもよい。また、例えば、メタ情報生成部１２０２２は、センサ制御部１２０１２により取得したセンサ情報を画像データのメタ情報として生成してもよい。
【００４３】
データ量取得部１２０３１は、出力対象のデータであり、画像処理部１２０２１で処理した画像のデータ量を取得する。出力データ量算出部１２０３２は、データ量取得部１２０３１で取得した自カメラ画像のデータ量と、データ量計測部１２０３６で取得した他カメラ画像のデータ量とを加算することにより、当該カメラアダプタ１２０が出力すべきデータ量を算出する。即ち、カメラアダプタ１２０は、自システムで取得した撮影画像及び他のカメラシステムから取得した撮影画像のデータ量を取得する。出力データ量判定部１２０３３は、出力データ量算出部１２０３２で算出したデータ量と所定の伝送帯域制約量を比較し、伝送可能性を確認する。具体的には、データ送信部１２０４２へ出力するデータ量が予め指定された出力可能データ量の閾値を超えるか否かを判断する。また、出力データ量判定部１２０３３は、ネットワーク１７０の伝送帯域の使用状況に応じて、出力データ量の閾値を動的に変更してもよい。
【００４４】
不適切画像判定部１２０３４は、自システムで取得した撮影画像及び他のカメラシステムから取得した撮影画像のうち、仮想想視点画像の生成において不適切な画像を判定する。不適切画像判定部１２０３４は、例えば、ぶれ量が大きい撮影画像を仮想想視点画像の生成において不適切な画像を判定する。ぶれ量が大きい撮影画像を仮想視点画像の生成に用いると、仮想視点画像も同様にぶれが生じ、画質が劣化するためである。また、不適切画像判定部１２０３４は、例えば、遮蔽物体が写る撮影画像を仮想想視点画像の生成において不適切な画像を判定する。遮蔽物体が写る撮影画像を仮想視点画像の生成に用いると、遮蔽物体が写る領域が仮想視点画像においてマッピングされると、仮想視点の位置からは本来見えない遮蔽物体が仮想視点画像に写ってしまうためである。また、例えば、不適切画像判定部１２０３４は、カメラ１１２の撮影領域がいたずらなどによって意図せず変更されていることを検出した場合、仮想想視点画像の生成において不適切な画像を判定する。撮影領域がいたずらなどによって意図せず変更されている撮影画像が仮想視点画像においてマッピングされると、撮影領域がずれているため、適切な位置にマッピングできず、画質が劣化するためである。不適切画像判定部１２０３４は、これらのうちの一部のみを判定してもよいし、仮想視点画像の生成において不適切な画像を他の基準を用いて判定してもよい。
【００４５】
不適切画像判定部１２０３４は、取得した撮影画像のメタ情報に基づいて、当該画像が仮想視点画像の生成において不適切か否かを判定してもよい。不適切画像判定部１２０３４は、メタ情報生成部１２０２２で生成された自カメラ画像のメタ情報と、メタ情報抽出部１２０３７で抽出された他カメラ画像のメタ情報を取得し、適切でない画像を判定してもよい。また、例えば、不適切画像判定部１２０３４は、メタ情報に含まれるカメラのぶれ補正量を閾値と比較し、ぶれ補正量の大きな画像データを不適切な画像として判定してもよい。また、不適切画像判定部１２０３４は、自カメラ画像及び他カメラ画像のうちぶれ量がより大きいものを仮想視点画像の生成において不適切と判定してもよい。また、不適切画像判定部１２０３４は、撮影画像の画像処理結果に基づいて、当該画像が仮想視点画像の生成において不適切か否かを判定してもよい。例えば、不適切画像判定部１２０３４は、撮影画像における遮蔽物の有無を画像処理で検出し、遮蔽物が検出された撮影画像を仮想視点画像の生成において不適切と判定してもよい。また、例えば、不適切画像判定部１２０３４は、同一のカメラ１１２で異なる時間で撮影された複数の撮影画像を比較し、撮影範囲や撮影領域が変化していることが画像処理により検出してもよい。この場合、不適切画像判定部１２０３４は、撮影範囲が変化後の撮影画像を仮想視点画像の生成において不適切と判定してもよい。
【００４６】
不適切画像判定部１２０３４は、センサ１１４のセンシング結果に基づいて、仮想視点画像の生成において不適切な画像を判定してもよい。センサ１１４がジャイロセンサまたは加速度センサである場合における不適切画像判定部１２０３４の判定の一例について説明する。不適切画像判定部１２０３４は、これらのセンシング結果が、カメラ１１２が撮影を行う際に振動していることを示す場合、当該カメラ１１２に撮影された画像を、仮想視点画像の生成において不適切な画像を判定してもよい。センサ１１４が赤外線センサまたはミリ波センサである場合についての不適切画像判定部１２０３４による判定についての一例を説明する。これらのセンシング結果が、所定の範囲（例えば、カメラ１１２から５ｍ）の撮影範囲を遮蔽する物体が侵入している場合、不適切画像判定部１２０３４は、当該カメラ１１２に撮影された画像を、仮想視点画像の生成において不適切な画像を判定してもよい。センサ１１４が電子コンパスである場合についての不適切画像判定部１２０３４による判定についての一例を説明する。電子コンパスのセンシング結果がカメラ１１２の撮影方向が変化したことを示す場合、不適切画像判定部１２０３４は、当該カメラ１１２に撮影された画像を、仮想視点画像の生成において不適切な画像を判定してもよい。センサ１１４がＧＰＳである場合についての不適切画像判定部１２０３４による判定についての一例を説明する。ＧＰＳのセンシング結果がカメラ１１２の位置が変動したがことを示す場合、不適切画像判定部１２０３４は、当該カメラ１１２に撮影された画像を、仮想視点画像の生成において不適切な画像を判定してもよい。
【００４７】
画像伝送処理部１２０３５は、画像データを、データ送信部１２０４２を介して他のカメラアダプタ１２０（他のカメラシステム１１０）または画像コンピューティングサーバ２００へ送信する制御を行う。画像伝送処理部１２０３５は、画像データ及び各データのメタ情報が含まれるメッセージを作成し、作成したメッセージを送信させる。データ量計測部１２０３６は、データ受信部１２０４１で受信した他カメラ画像のデータ量を計測する。メタ情報抽出部１２０３７は、データ受信部１２０４１で受信した他カメラ画像のメッセージからメタ情報を抽出する。
【００４８】
時刻同期制御部１２０３８は、タイムサーバ２９０と時刻同期に係わる処理を行う。データ受信部１２０４１及びデータ送信部１２０４２は、ネットワーク１７０、１８０ａ、１８０ｂ、２９１、３００ａを介し他のカメラアダプタ１２０、画像コンピューティングサーバ２００、タイムサーバ２９０、及びコントローラ３００とデータ通信を行う。例えばデータ送信部１２０４２は、画像処理部１２０２１により処理された、カメラ１１２が撮影した撮影画像を、次のカメラアダプタ１２０に対して出力する。各カメラアダプタ１２０が画像を出力することで、複数の視点から撮影された画像に基づいて仮想視点画像が生成される。時刻制御部１２０４３は、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存したり、タイムサーバ２９０と時刻同期を行ったりする。
【００４９】
続いて上述の構成を有する画像処理システム１００の動作について説明する。まず、カメラシステム１１０における撮影処理について図３を用いて説明する。図３は、撮影処理のシーケンスを示す図である。
【００５０】
まず、タイムサーバ２９０は例えばＧＰＳ２２０１などと時刻同期を行い、タイムサーバ内で管理される時刻の設定を行う（０６８０１）。なお、タイムサーバ２９０の時刻設定は、ＧＰＳを用いた方法に限定されるものではなく、ＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）など他の方法で時刻を設定してもよい。
【００５１】
次にカメラアダプタ１２０は、タイムサーバ２９０との間で通信を行い、カメラアダプタ１２０内で管理される時刻を補正しタイムサーバ２９０と時刻同期を行う（０６８０２）。カメラアダプタ１２０は、タイムサーバ２９０と同期した時刻に基づいて、Ｇｅｎｌｏｃｋ信号や３値同期信号等の同期撮影信号及びタイムコード信号を、カメラ１１２に対して提供する。カメラアダプタ１２０は、カメラ１１２の撮影フレームレート（例えば、６０ｆｐｓ）に同期してカメラ１１２に対して同期撮影信号及びタイムコード信号の提供を開始する（０６８０３）。なお提供される情報はタイムコードに限定されるものではなく、撮影フレームを識別できる識別子であれば他の情報でもよい。
【００５２】
次に、カメラアダプタ１２０はカメラ１１２に対して撮影開始指示を行う（０６８０４）。カメラ１１２は撮影開始指示を受けると、Ｇｅｎｌｏｃｋ信号に同期して撮影を行う（０６８０５）。次に、カメラ１１２は撮影した画像をカメラアダプタ１２０へ送信する（０６８０６）。カメラ１１２が撮影を停止するまでＧｅｎｌｏｃｋ信号に同期した撮影が行われる。
【００５３】
また、カメラアダプタ１２０は、センサ１１４がセンシング（０６８０７）したセンサ情報を取得する（０６８０８）。なお、カメラアダプタ１２０は、Ｇｅｎｌｏｃｋ信号や３値同期信号等の同期撮影信号及びタイムコード信号をカメラ１１２の撮影フレームレートに同期してセンサ１１４に送信してもよい。そして、センサ１１４は、同期撮影信号またはタイムコード信号に基づいてセンシングを行ってもよい。また、カメラアダプタ１２０は、撮影時刻とセンシング時刻とが近い時刻にセンシングされたセンサ１１４からのセンシング情報を画像データに関連付ける構成としてもよい。
【００５４】
続いて、カメラアダプタ１２０間で送受信される画像データを伝送するメッセージの一例を図４に示す。図４において、４０１は、このメッセージに含まれる画像を撮影したカメラ１１２を識別するカメラ番号であり、それぞれのカメラ１１２ａ〜１１２ｚの識別番号が入力される。図４において、カメラ番号４０１には、カメラ１１２ａを示す番号１１２ａが設定されており、後述する画像データ４０４を撮影したのは、カメラ１１２ａであることを示している。
【００５５】
４０２は画像データ４０４のタイムコードであり、画像データ４０４が撮影された時刻を示す。４０３は、センサ１１４がセンシングにより取得したセンス情報に基づく情報である。図４では、センス情報の基づく情報４０３に、画像補正部１２０１３で補正したデータの補正量を格納している例を示す。ぶれ補正量を０〜９の１０段階で表してもよい。この場合、ぶれ補正量０はカメラ１１２に振動がなくぶれ補正を行っていないことを表し、１〜９の値は数字が大きくなるにしたがってぶれ補正量が大きいことを表すようにしてよい。なお、センス情報に基づく情報４０３に含まれる情報は、ぶれ補正量に限定されない。例えば、センス情報に基づく情報４０３には、センサ１１４から取得したセンサ情報そのものが入力されてもよい。４０４は画像データである。
【００５６】
上記４０１〜４０４のデータのうち、画像データ以外の４０１〜４０３をメタ情報と呼ぶ。なお、図４で示すメッセージは一例であり、他の情報が含まれていてもよいし、４０１〜４０４のデータのうちの一部がなくてもよい。例えば、メッセージに不適切画像判定部１２０３４の判定結果を画像データのメタ情報として付加されてもよい。また、４０１〜４０３などのメタ情報と画像データ４０４とが別のメッセージとして通信されてもよい。
【００５７】
次に、カメラアダプタ１２０の出力処理の流れについて図５のフローチャートを用いて説明する。なお、図５のフローチャートは、例えば、カメラアダプタ１２０のデータの出力周期ごとに開始されてもよい。カメラアダプタ１２０は、カメラ１１２の撮影フレームレートごとにデータを出力してもよく、図５のフローチャートに示す出力処理を開始してもよい。例えば、カメラ１１２が、６０ｆｐｓで撮影を行う場合、図５のフローチャートにより示される処理は、１／６０秒ごとに開始されてもよい。また、図５のフローチャートにより示される処理は、自システムのカメラ１１２が撮影した画像を示す画像データを取得するごとに開始されてもよい。後述するフローチャートに示す処理は、カメラアダプタ１２０のＣＰＵ１２０１がプログラムを実行することで情報の演算や各ハードウェアを制御することで実現される。なお、後述するフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣ、ＦＰＧＡまたはＧＰＵである。
【００５８】
カメラアダプタ１２０は、自システムのカメラ１１２により撮影された画像を取得し、取得した画像のメタ情報をメタ情報生成部１２０２２により生成する（Ｓ５０１）。メタ情報生成部１２０２２は、画像を撮影した時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２の個体を示す識別子、画像補正部１２０１３から取得したぶれ補正量などを、画像データのメタ情報として生成する。
【００５９】
カメラアダプタ１２０は、自システムのカメラ１１２により撮影された画像を示す画像データのデータ量を取得する（Ｓ５０２）。Ｓ５０２の処理では、画像処理部１２０２１の処理結果である画像データのデータ量を取得してもよいし、圧縮処理を施した後の画像データのデータ量を取得してもよい。また、Ｓ５０２の処理では、カメラアダプタ１２０は、自システムのカメラ１１２により撮影された画像に前景背景分離処理を施した結果である前景画像を示す画像データ及び／または背景画像を示す画像データのデータ量を取得してもよい。
【００６０】
カメラアダプタ１２０は、他のカメラシステム１１０のカメラ１１２が撮影した画像を示す画像データが含まれるメッセージを上流において隣接するカメラアダプタ１２０から受信する。そして、カメラアダプタ１２０は、受信したメッセージのデータ量を計測する（Ｓ５０３）。即ち、カメラアダプタ１２０は、データ受信部１２０４１を介して上流カメラアダプタ１２０から取得したメッセージのデータ量をデータ量計測部１２０３６により計測する。
【００６１】
次に、カメラアダプタ１２０は、データ量取得部１２０３１で取得したデータ量と、データ量計測部１２０３６で計測したデータ量を基に、下流カメラアダプタ１２０ｄに出力するデータ量を出力データ量算出部１２０３２により算出する（Ｓ５０４）。
【００６２】
次に、カメラアダプタ１２０は、Ｓ５０４において算出された出力データ量が出力可能データ量を超えるか否かを判定する（Ｓ５０５）。Ｓ５０５において、カメラアダプタ１２０の出力データ量判定部１２０３３は、出力データ量と伝送帯域制約量を比較し、出力データ量が伝送帯域制約量を超えるか否かを判定する。具体的には、カメラアダプタ１２０は、データ送信部１２０４２へ出力するデータ量が予め指定された出力データ量の閾値を超えるか否かを判断する。例えば、カメラシステム１１０ｚが画像コンピューティングサーバ２００にデータを伝送するためのネットワークの実効速度１００Ｇｂｐｓであるとする。また、カメラ１１２ａ〜ｚが撮影を行う撮影フレームレートを１００ｆｐｓであるとし、１／１００秒ごとに各カメラシステム１１０ａ〜ｚは出力処理を行うものとする。カメラシステム１１０ｚの伝送において、ネットワークで伝送可能なデータ量を超えないようにするためには、カメラシステム１１０ｚは、出力処理ごとにデータ量を１Ｇｂｉｔ未満にする必要がある。したがって、２６台の各カメラアダプタ１２０ａ〜ｚは、自カメラデータのデータ量が１／２６Ｇｂｉｔであれば、カメラシステム１１０ｚの伝送において、ネットワークが伝送可能なデータ量を超えない。即ち、この例において、カメラアダプタ１２０は、Ｓ５０５において、出力データ量が、（１＋ｎ）／２６Ｇｂｉｔ（ｎは、上流のカメラシステムの数）を超えるか否を判定してもよい。
【００６３】
Ｓ５０５において、出力データ量が閾値である出力可能データ量を超えないと判断した場合（Ｓ５０５のＮＯ）、カメラアダプタ１２０は、通常伝送を行う（Ｓ５０６）。Ｓ５０６では、カメラアダプタ１２０は、Ｓ５０１で取得した自カメラ画像データ及びＳ５０３で取得した他カメラ画像データのすべてを下流の他のカメラアダプタに送信する。
【００６４】
Ｓ５０５において、出力データ量が閾値である出力可能データ量を超えると判断した場合（Ｓ５０５のＹＥＳ）、カメラアダプタ１２０は、データ量を削減して画像データの伝送を行う（Ｓ５０７）。
【００６５】
データ削減伝送処理（Ｓ５０７）について、図７のフローチャートを参照して詳細に説明する。カメラアダプタ１２０は、Ｓ５０１において生成した自カメラ画像データのメタ情報を取得する（Ｓ７０１）。カメラアダプタ１２０は、Ｓ５０３において取得した他カメラ画像データのメタ情報を抽出する（Ｓ７０２）。
【００６６】
カメラアダプタ１２０の不適切画像判定部１２０３４は、Ｓ７０１において取得した自カメラ画像及びＳ７０２において取得した他カメラ画像のうち、仮想視点画像の生成に用いるのに不適切な画像を判定する。カメラアダプタ１２０は、取得した自カメラ画像及び他カメラ画像の撮影状況を判定し、仮想視点画像の画質が劣化し得る状況で撮影された画像を判定してもよい。また、カメラアダプタ１２０の不適切画像判定部１２０３４は、自カメラ画像と他カメラ画像それぞれに関連づいたセンサ情報に基づいて、仮想視点画像の生成に用いるのに不適切な画像を判定してもよい。また、カメラアダプタ１２０の不適切画像判定部１２０３４は、Ｓ７０１において取得した自カメラ画像データのメタ情報とＳ７０２において取得した他カメラ画像データのメタ情報とに基づいて、仮想視点画像の生成に用いるのに不適切な画像を判定してもよい。そして、カメラアダプタ１２０は、仮想視点画像を生成するために最も不適切な画像を示す画像データを出力対象から外し、当該画像データを削除することで、当該撮影画像のネットワークへの伝送を制限する（Ｓ７０３）。
【００６７】
カメラアダプタ１２０は、Ｓ７０３で削減後の出力データ量を再度算出し（Ｓ７０４）、Ｓ７０４で算出した出力データ量が出力可能なデータ量を超えるか否かを判定する（Ｓ７０５）。
【００６８】
Ｓ７０５において、出力データ量が閾値である出力可能データ量を超えないと判断した場合（Ｓ７０５のＮＯ）、カメラアダプタ１２０は、出力の対象となった画像データを下流の他のカメラアダプタに送信する（Ｓ７０６）。一方、Ｓ７０５において、出力データ量が閾値である出力可能データ量を超えると判断した場合（Ｓ５０５のＹＥＳ）、カメラアダプタ１２０は、再度Ｓ７０３からの処理を行う。
【００６９】
通常伝送（Ｓ５０６）時の、カメラアダプタ１２０間のデータの流れについて図６を用いて説明する。
【００７０】
図６において、カメラアダプタ１２０ａは、自カメラ画像データである、カメラ１１２ａから取得した撮影画像を示す画像データを下流のカメラアダプタ１２０ｂに送信する。６００は、カメラアダプタ１２０ａから送信されるデータである。データ６００は、カメラシステム１１０ａで生成した自カメラ画像データが含まれる。データ６００には、カメラ１１２ａのカメラ番号６０１、撮影時刻を示すタイムコード６０２、センサ１１４ａのセンサ情報を基に画像補正部１２０１３で補正を行ったぶれ補正量６０３、画像処理部１２０２１で処理した画像６０４を格納している。
【００７１】
カメラアダプタ１２０ｂは、自カメラ画像データである、カメラ１１２ｂから取得した撮影画像を示す画像データを取得する。また、カメラアダプタ１２０ｂは、他カメラ画像データである、カメラ１１２ａが撮影した撮影画像を示す画像データをカメラアダプタ１２０ａから取得する。カメラアダプタ１２０ｂは、出力データ（カメラ１１２ｂから取得した撮影画像を示す自カメラ画像データとカメラアダプタ１２０ａから取得した他カメラ画像データ）が出力可能データ量を超えないと判断し、出力データを通常伝送する。
【００７２】
６０５、６１０は、カメラアダプタ１２０ｂから送信されるデータである。６０５は上流のカメラアダプタ１２０ａから受信したデータを転送したデータであり、６１０はカメラシステム１１０ｂで生成した自カメラ画像データである。
【００７３】
カメラアダプタ１２０ｃは、カメラ１１２ｃから取得した撮影画像を示す自カメラ画像データを取得する。また、カメラアダプタ１２０ｃは、カメラ１１２ａ及びカメラ１１２ｂが撮影した撮影画像を示す他カメラ画像データをカメラアダプタ１２０ｂから取得する。カメラアダプタ１２０ｃは、出力データ（カメラ１１２ｃから取得した自カメラ画像データとカメラアダプタ１２０ｂから取得した他カメラ画像データ）が出力可能データ量を超えないと判断し、出力データを通常伝送する。
【００７４】
６０６、６１５、６２０は、カメラアダプタ１２０ｃから送信されるデータである。６０６、６１５はそれぞれ上流カメラアダプタ１２０ｂから受信したデータの転送データ、６２０はカメラシステム１１０ｃで生成した自カメラ画像データである。
【００７５】
以上示すように、通常伝送時、各カメラアダプタ１２０は、自カメラ画像データとともに、上流のカメラアダプタ１２０から受信したデータを漏れなく下流のカメラアダプタに転送する。
【００７６】
続いて、カメラアダプタ１２０ｃにおいて、Ｓ５０７のデータ削減伝送処理が行われた場合のカメラアダプタ１２０間のデータの流れについて図８を用いて説明する。図８において、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｂにより伝送されるデータは、図６と同様である。
【００７７】
図８において、カメラアダプタ１２０ｃは、カメラ１１２ｃから取得した撮影画像を示す自カメラ画像データを取得する。また、カメラアダプタ１２０ｃは、カメラ１１２ａ及びカメラ１１２ｂが撮影した撮影画像を示す他カメラ画像データをカメラアダプタ１２０ｂから取得する。カメラアダプタ１２０ｃは、出力データ（カメラ１１２ｃから取得した自カメラ画像データとカメラアダプタ１２０ｂから取得した他カメラ画像データ）が出力可能データ量を超えると判断された場合、Ｓ５０７のデータ削減伝送処理を行う。
【００７８】
カメラアダプタ１２０ｃは、取得した自カメラ画像及び他カメラ画像のうち、仮想視点画像の生成に不適切な画像を判定する。ここでは、カメラアダプタ１２０ｃは、取得した自カメラ画像及び他カメラ画像の撮影状況を判定し、画質が劣化し得る状況で撮影された画像を判定する。例えば、カメラアダプタ１２０ｃは、各画像のメタ情報を取得し、取得したメタ情報からぶれが生じる状況で撮影された画像を判定する。カメラアダプタ１２０ｃは、各画像のメタ情報から、最もぶれ補正量が大きい画像であるカメラ１１２ｂが撮影した画像データ６１５を仮想視点画像の生成に適さない画像と判定する。カメラアダプタ１２０ｃは、仮想視点画像の生成に不適切な画像と判定した画像データ６１５を送信対象から外し、画像データ６１５を削除する。カメラアダプタ１２０ｃは、画像データ６１５を削除後の出力データのデータ量が出力可能データ量を超えないと判定し、出力データを下流のカメラアダプタ１２０ｄに伝送する。
【００７９】
６０６、６２０は、図８におけるカメラアダプタ１２０ｃから送信されるデータである。図６と比して、画像データ６１５が削除されているため、仮想視点画像の生成のために必要な撮影画像を伝送するネットワークの伝送帯域の逼迫を低減することができる。また、削除する画像は、仮想視点画像の生成に不適切な画像であるため、伝送する画像を削減しても、仮想視点画像の画質低下を抑制することができる。
【００８０】
以上示したように、本実施形態では、自カメラ画像、他カメラ画像に関わらず、仮想視点画像の作成に不適切と判定した画像データを適切に伝送対象から削除し伝送帯域のオーバーを防止することができる。また、伝送帯域が逼迫した場合にのみ、仮想視点画像の作成に不適切と判定した画像データを削除することで、不必要なデータ削減を抑止することができる。
【００８１】
なお、センサ情報としてカメラの振動を示す情報に限定されるものではなく、カメラの向きや位置情報をセンサ１１４でセンシングしてもよい。
【００８２】
また、上述の実施形態は、画像処理システム１００が競技場やコンサートホールなどの施設に設置される場合の例を中心に説明した。施設の他の例としては、例えば、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、ライブハウスなどがある。また、各種施設で行われるイベントは、屋内で行われるものであっても屋外で行われるものであってもよい。また、本実施形態における施設は、一時的に（期間限定で）建設される施設も含む。
【００８３】
また、図７のＳ７０３において、不適切画像判定部１２０３４は、上述の通り、ぶれ量だけでなく、撮影領域の遮蔽物体の有無、撮影領域の変更の有無などの撮影状況の判定結果に基づいて、仮想視点画像の生成において不適切な画像と特定してもよい。また、Ｓ７０３において、不適切画像判定部１２０３４は、上述の通り、撮影画像の画像処理結果に基づいて、当該画像が仮想視点画像の生成において不適切か否かを判定してもよい。また、不適切画像判定部１２０３４は、画像を撮影したカメラ１１２に設定されている撮影パラメータ（絞り、シャッタースピード、ホワイトバランス、感度など）に基づいて、仮想視点画像の生成において不適切な画像を判定してもよい。不適切画像判定部１２０３４は、規定の値と異なる撮影パラメータを用いて撮影された画像を仮想視点画像の生成において不適切な画像と特定してもよい。仮想視点画像を生成する際に、他の画像と撮影パラメータが異なると、色味などが異なり、画質の劣化が生じ得るためである。この場合、画像データのメタ情報として撮影パラメータが付されている構成としてもよい。
【００８４】
また、Ｓ７０３において、不適切画像判定部１２０３４は、画像コンピューティングサーバ２００において生成される仮想視点画像に係る仮想視点の位置に基づいて、仮想視点画像の生成において不適切な画像であって、データを削減する画像を判定してもよい。また、不適切画像判定部１２０３４は、コントローラ３００またはエンドユーザ端末１９０において指定される仮想視点の位置や視線方向に基づいて、仮想視点画像の生成において不適切な画像であって、データを削減する画像を判定してもよい。この場合、不適切画像判定部１２０３４は、生成される仮想視点画像に係る仮想視点の位置や視線方向または指定された仮想視点の位置や視線方向から見て写らない撮影領域の画像を、データを削減する対象として特定してもよい。生成される仮想視点画像に係る仮想視点の位置や視線方向または指定された仮想視点の位置や視線方向から見える領域を写さない撮影領域の画像は、仮想視点画像の生成への寄与が低い。したがって、この画像が伝送されなくとも、生成される仮想視点画像の画質低下への影響は低いためである。
【００８５】
また、図７のＳ７０３において、不適切画像判定部１２０３４は、故障しているカメラ１１２において撮影された画像を、仮想視点画像の生成において不適切な画像であって、データを削減する画像として判定してもよい。不適切画像判定部１２０３４は、カメラ１１２の破損やレンズの破損が生じている場合、当該カメラ１１２において撮影された画像を、仮想視点画像の生成において不適切な画像であって、データを削減する画像として判定してもよい。この場合、画像データのメタ情報としてカメラ１１２の動作状態や破損状態を撮影パラメータが付されている構成としてもよい。
【００８６】
また、カメラアダプタ１２０は、Ｓ５０５の判定においてネットワークの伝送帯域の残量や使用状況に応じて、Ｓ５０７のデータ削減伝送処理を行ったが、ネットワークの伝送帯域の残量に拘らずＳ５０７のデータ削減伝送処理を行ってもよい。即ち、カメラアダプタ１２０は、Ｓ５０３〜Ｓ５０４及びＳ５０６を省略し、Ｓ５０７の処理を行ってもよい。
【００８７】
また、カメラアダプタ１２０は、Ｓ７０３において、不適切と判定された画像を削除して出力データ量を低減する例を示した。しかしながら、例えば、不適切と判定された画像の画素数や解像度を減らしたり、圧縮したりして、データ量を削減して不適切と判定された画像を送信することで、当該撮影画像のネットワークへの伝送を制限する構成としてもよい。
【００８８】
以上、本発明の実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。
【００８９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９０】
１００  画像処理システム
１１０  カメラシステム
１１２  カメラ
１１４  センサ
１２０  カメラアダプタ
１８０  スイッチングハブ
１９０  エンドユーザ端末
２００  画像コンピューティングサーバ
２９０  タイムサーバ
３００  コントローラ
【図１】
2019080183.tif 000003
【図２】
2019080183.tif 000004
【図３】
2019080183.tif 000005
【図４】
2019080183.tif 000006
【図５】
2019080183.tif 000007
【図６】
2019080183.tif 000008
【図７】
2019080183.tif 000009
【図８】
2019080183.tif 000010
【図９】
2019080183.tif 000011