(57)【要約】【課題】伝送帯域の拡張コストを抑えつつ、画質が高い仮想視点画像を生成する。【解決手段】２つの伝送経路に割り振られる転送コストが平準化されるように撮影領域毎にカメラをグルーピングする。撮影領域３０の場合、転送コストをできるだけ均等に割り振るためにカメラ１２０とカメラ１２２とをグループ１とし、カメラ１２１とカメラ１２３とカメラ１２４とをグループ２とする。同様に撮影領域３１も転送コストができるだけ均等に割り振るようにグループ３とグループ４にグルーピングする。次に、撮影領域毎に各グループを伝送経路Ａ、Ｂのどちらに割り振るかを決める。その結果、撮影領域３０、３１の同じ伝送経路に割り当てられたグループ同士を組み合わせて転送コストを合算した伝送経路毎のコスト４０５は、平準化されて等しくなっている。【選択図】図４
2020017803.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラの撮影画像データに所定の画像処理を施した複数の画像データを複数の伝送経路を介してサーバ装置に転送するシステムにおける各前記画像データのデータ転送に使用する伝送経路を決定する情報処理装置であって、
前記複数のカメラのそれぞれについて、前記撮影画像データに前記所定の画像処理を施した場合のデータサイズを算出する第１の算出手段と、
前記データサイズに基づき、前記所定の画像処理を施した場合のデータサイズが同期して変化する前記撮影画像データを出力するカメラ群毎に、前記複数の伝送経路の使用率が平準化するよう、各前記画像データのデータ転送に使用する伝送経路を決定する決定手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記複数のカメラの各々の撮影領域を示す撮影領域情報を取得する領域情報取得手段をさらに備え、
前記カメラ群は、前記撮影領域情報に基づき、同じ撮影領域を異なる方向から撮影するカメラで構成されていることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記複数のカメラは、前記撮影領域が異なる複数の前記カメラ群を含み、
前記所定の画像処理は、前記撮影画像データから前景オブジェクト領域を抽出する画像処理であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の算出手段は、前記撮影画像データに占める前記前景オブジェクト領域の比率に基づき前記データサイズを算出することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第１の算出手段は、前記撮影画像データに占める前記前景オブジェクト領域の画素数に基づき前記データサイズを算出することを特徴とする請求項３又は４に記載の情報処理装置。
【請求項６】
前記複数のカメラのそれぞれについての、イメージセンサの解像度及びサイズ、レンズの焦点距離、及び前景オブジェクトまでの距離に関する情報を含むカメラ情報を取得するカメラ情報取得手段をさらに備え、
前記第１の算出手段は、前記カメラ情報を用いて前記データサイズを算出することを特徴とする請求項２乃至５のいずれか一項に記載の情報処理装置。
【請求項７】
前記所定の画像処理は、画像圧縮処理であり、
前記カメラ群は、前記画像データの圧縮率が同期して変化する前記撮影画像データを出力するカメラから構成されていることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記複数のカメラのそれぞれについての、ＩＳＯ感度に関する情報を含むカメラ情報を取得するカメラ情報取得手段をさらに備え、
前記第１の算出手段は、前記カメラ情報を用いて前記データサイズを算出することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記第１の算出手段は、前記画像データを用いて前記データサイズを算出することを特徴とする請求項１乃至８のいずれか一項に記載の情報処理装置。
【請求項１０】
前記複数の伝送経路のボトルネックのスループットを計測し、前記ボトルネックのスループットに基づき前記複数の伝送経路の伝送帯域を算出する第２の算出手段をさらに備え、
前記決定手段は、前記データサイズ及び前記伝送帯域に基づき、前記複数の伝送経路の使用率が平準化するよう、各前記画像データのデータ転送に使用する伝送経路を決定することを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。
【請求項１１】
前記決定手段は、前記所定の画像処理を施した場合のデータサイズが同期して変化する前記撮影画像データを出力するカメラ群を構成するカメラが変更されたとき、変更されたカメラ群毎に各前記画像データのデータ転送に使用する伝送経路を決定することを特徴とする請求項１乃至１０のいずれか一項に記載の情報処理装置。
【請求項１２】
複数のカメラの撮影画像データに所定の画像処理を施した複数の画像データを複数の伝送経路を介してサーバ装置に転送するシステムにおける各前記画像データのデータ転送に使用する伝送経路を決定する方法であって、
前記複数のカメラのそれぞれについて、前記撮影画像データに前記所定の画像処理を施した場合のデータサイズを算出するステップと、
前記データサイズに基づき、前記所定の画像処理を施した場合のデータサイズが同期して変化する前記撮影画像データを出力するカメラ群毎に、前記複数の伝送経路の使用率が平準化するよう、各前記画像データのデータ転送に使用する伝送経路を決定するステップと、
を有することを特徴とする方法。
【請求項１３】
複数のカメラの撮影画像データに所定の画像処理を施した複数の画像データを複数の伝送経路を介してサーバ装置に転送するシステムにおける各前記画像データのデータ転送に使用する伝送経路を決定する機能を実現させるプログラムであって、情報処理装置に、
前記複数のカメラのそれぞれについて、前記撮影画像データに前記所定の画像処理を施した場合のデータサイズを算出する第１の算出手段と、
前記データサイズに基づき、前記所定の画像処理を施した場合のデータサイズが同期して変化する前記撮影画像データを出力するカメラ群毎に、前記複数の伝送経路の使用率が平準化するよう、各前記画像データのデータ転送に使用する伝送経路を決定する決定手段と、
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの伝送に関する。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置し、各カメラから得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。複数視点画像から生成された仮想視点画像は、エンドユーザ及び／又は選任のオペレータ等が自由に仮想視点に対応するカメラ（仮想カメラ）の位置及び姿勢を操作することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。また、仮想視点画像は、動画であっても、静止画であってもよい。仮想視点画像は、通常の画像と比較してユーザにより高い臨場感を与えることが出来る。
【０００３】
仮想視点画像は、典型的には、被写体（以降、前景オブジェクトという）を複数の方向から撮影して得られる画像データをサーバに集約し、集約した画像データを用いて画像処理を行うことによって生成される。特許文献１では、異なる視点からの複数の画像データと視点情報とを含むコンテンツデータを記憶メディアに格納し、記憶メディアから画像データを読み出し、再生装置にて仮想視点画像を生成する技術が開示されている。
【０００４】
また、スポーツ観戦などでは仮想視点画像をリアルタイムに近いタイミングで生成したいという需要も高い。そのような需要に応えるには、撮影から短時間で仮想視点画像を生成する必要がある。リアルタイムに近いタイミングで画質の高い仮想視点画像を生成するには、複数のカメラから複数の画像データを遅滞なくサーバに転送し、集約することが求められる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、個々の画像の解像度はカメラの性能向上に伴い８Ｋなどより高解像度なものが使用されてきており、転送する画像データのサイズが大きくなっている。そのため、複数のカメラから高解像度の画像データをサーバに転送する際、一部の伝送経路の伝送帯域が不足し、撮影から短時間で仮想視点画像又は自由視点画像を安定的に生成できない場合もあった。この伝送帯域の不足を改善する方法としては、伝送経路の帯域を拡張することや、転送する画像データの解像度及び／又はフレームレートを下げることによりデータサイズを小さくすることが考えれる。
【０００７】
しかしながら、伝送帯域を拡張するにはコストがかかり、各カメラからの画像の解像度及び／又はフレームレートを下げると仮想視点画像の画質が劣化するという課題があった。
【０００８】
そこで、本発明は、伝送帯域の拡張コストを抑えつつ、画質が高い仮想視点画像を生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、複数のカメラの撮影画像データに所定の画像処理を施した複数の画像データを複数の伝送経路を介してサーバ装置に転送するシステムにおける各前記画像データのデータ転送に使用する伝送経路を決定する情報処理装置であって、前記複数のカメラのそれぞれについて、前記撮影画像データに前記所定の画像処理を施した場合のデータサイズを算出する第１の算出手段と、前記データサイズに基づき、前記所定の画像処理を施した場合のデータサイズが同期して変化する前記撮影画像データを出力するカメラ群毎に、前記複数の伝送経路の使用率が平準化するよう、各前記画像データのデータ転送に使用する伝送経路を決定する決定手段と、を備えたことを特徴とする情報処理装置である。
【発明の効果】
【００１０】
本発明によれば、伝送帯域の拡張コストを抑えつつ、画質が高い仮想視点画像を生成できるようになる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１における画像データ集約システムの構成図。
【図２】データ集約サーバＡ１００の機能ブロック図。
【図３】前景オブジェクト領域のデータサイズの算出方法の原理を説明する図。
【図４】実施形態１における前景オブジェクト領域のデータサイズ比率から経路を決定する過程を説明するための表。
【図５】画像処理装置の機能ブロック図。
【図６】時刻ｔ1の前景オブジェクトの位置を示す図。
【図７】時刻ｔ2の前景オブジェクトの位置を示す図。
【図８】画像処理装置から転送される前景画像データの撮影領域毎の単位時間当たりの転送データサイズの変化を時系列に示した図。
【図９】経路選択処理を説明するフローチャート。
【図１０】実施形態２における画像データ集約システムの構成図。
【図１１】実施形態２における前景オブジェクト領域のデータサイズ比率から経路を決定する過程を説明するための表。
【図１２】実施形態３における画像データ集約システムの構成図。
【図１３】実施形態３における前景オブジェクト領域のデータサイズ比率から経路を決定する過程を説明するための表。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態の例について、図面を参照して説明する。
【００１３】
なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【実施形態１】
【００１４】
図１に、本発明の実施形態１に係る画像データ集約システムの構成図を示す。本実施形態は、複数のカメラ１２０〜１２４、１４０〜１４３を設置し、複数のカメラ１２０〜１２４、１４０〜１４３の撮影画像データをデータ集約サーバＡ１００、データ集約サーバＢ１０１に集約するシステムである。カメラ１２０〜１２４、１４０〜１４３の設置場所としては、例えば競技場（スタジアム）やコンサートホールなどの施設が考えられる。
【００１５】
ネットワーク１０のリンク部分は通信回線であり、例えばＥｔｈｅｒｎｅｔ（登録商標）、無線ＬＡＮ、又は光ファイバーチャネル等でもよい。ネットワーク１０のリンク部分は、後述するデータ集約サーバＡ１００、データ集約サーバＢ１０１、画像処理装置１１０〜１１４、１３０〜１３３、ストレージ１０２をリング接続し、各ノード間のデータ転送を可能とする。本実施形態では画像処理装置１１０〜１１４、１３０〜１３３間をリング接続しているが、バス、デイジーチェーン、スター、ツリーやメッシュ接続でもよいし、図１には記載していないがスイッチングＨＵＢ等の中継装置を介して接続してもよい。
【００１６】
前景オブジェクト２０、２１は、仮想視点画像を生成するための撮影対象である。図１では前景オブジェクトは２個であるが、２個以上であればよい。
【００１７】
撮影領域３０、３１は、カメラ１２０〜１２４、１４０〜１４３によって撮影される撮影領域である。第１のカメラ群１２０〜１２４は撮影領域３０内の同一の注視点を向いており、同様に第２のカメラ群１４０〜１４３は撮影領域３１内の同一の注視点を向いている。ここで、注視点とは、カメラが注視する撮像空間内の任意の点（カメラの視線方向上の点）を示すものである。また本実施形態では、２つの撮影領域を示しているが撮影領域は３つ以上でもよく、また図示した場所以外の、競技場内の任意の場所を撮影領域としてもよい。
【００１８】
データ集約サーバＡ１００及びデータ集約サーバＢ１０１は、ＰＣやサーバ装置の情報処理装置であり、後述する画像処理装置１１０〜１１４、１３０〜１３４から、仮想視点画像を作成するためのデータを集約するサーバ装置である。また集約したデータを用いて仮想視点画像を作成する機能を有する。本実施形態ではデータ集約サーバを２台設置しているが、データ集約サーバの設置台数は１台でも３台以上であってもよい。
【００１９】
ストレージ１０２は、データ集約サーバＡ１００及びデータ集約サーバＢ１０１が集約したデータが格納される装置である。データ集約サーバＡ１００及びデータ集約サーバＢ１０１は、ストレージ１０２へのデータの書き込みとストレージ１０２からの読み出しとを行うことができる。
【００２０】
カメラ１２０〜１２４、１４０〜１４３は、デジタルカメラ、デジタルビデオカメラや監視カメラであり、画像、映像や音声をキャプチャリングする装置である。また、本実施形態では、カメラ１２０〜１２４、１４０〜１４３は、撮影領域３０、３１を取り囲むように競技場の外周に設置されている。但し、カメラ１２０〜１２４、１４０〜１４３を配置する位置は、競技場の外周に限定される訳ではなく、撮影領域３０、３１を撮影可能な任意の場所に設置してよい。また、本実施形態では、上述したように、第１のカメラ群１２０〜１２４が撮影領域３０を、第２のカメラ群１４０〜１４３が撮影領域３１を撮影している。尚、本実施形態では画像を構成する画像データを集約しているが、音声データを集約することも可能である。
【００２１】
画像処理装置１１０〜１１４、１３０〜１３４は、カメラ１２０〜１２４、１４０〜１４３の撮影画像データに所定の処理を施したデータを、ネットワーク１０を介してデータ集約サーバＡ１００又は／及びデータ集約サーバＢ１０１へ転送する装置である。さらに、カメラの撮影画像データから仮想視点画像に必要なデータを抽出する機能を有する。例えば、撮影画像データから前景オブジェクト領域のみを抽出し、前景オブジェクト領域のみを抽出した画像データである前景画像データのみをデータ集約サーバＡ１００又は／及びデータ集約サーバＢ１０１へ転送する。同様に音声についても撮影領域３０及び撮影領域３１付近の音声データを抽出し、撮影領域３０及び撮影領域３１付近の抽出音声データのみをデータ集約サーバＡ１００又は／及びデータ集約サーバＢ１０１へ転送する。
【００２２】
次に、図２に、データ集約サーバＡ１００及びデータ集約サーバＢ１０１の内部構造を示す機能ブロックを示す。データ送受信部２００は、ネットワーク１０と接続し、画像処理装置１１０〜１１４、１３０〜１３３及びストレージ１０２との間でデータを送受信する機能を有する。
【００２３】
ボトルネック特定部２０１は、画像処理装置１１０〜１１４、１３０〜１３３から転送されるデータの伝送経路上でボトルネックとなる箇所を特定し、ボトルネックのスループット（単位時間当たりに処理可能なデータサイズ）を計測する機能を有する。例えば、ボトルネックになり得る可能性の高い場所として、データを転送する能力、すなわちスループット又は伝送帯域が低い装置（例えば特定の画像処理装置、ＨＵＢ、特定のケーブルなど）がある。また、図１に示す構成においては、上記装置以外にも、例えば画像処理装置１３３とデータ集約サーバＡ１００との間や、画像処理装置１１０とデータ集約サーバＢ１０１との間などのネットワーク１０の特定部分がボトルネックとなり易い。これは、ネットワーク１０のデータ集約サーバＡ１００周辺では、画像処理装置１１０〜１１４、１３０〜１３３から転送されてくるデータが集約されるので、伝送帯域が逼迫し易いためである。ボトルネック特定部２０１は、例えば、画像処理装置１１０〜１１４、１３０〜１３３から所定のデータを送信し、それに対する応答に基づきボトルネックを特定してもよい。
【００２４】
撮影領域情報取得部２０２は、カメラ１２０〜１２４、１４０〜１４３の其々が撮影領域３０、３１のどちらを撮影しているかを示す撮影領域情報を取得する機能を有する。
【００２５】
カメラ情報取得部２０３は、カメラ１２０〜１２４、１４０〜１４３に関するカメラ情報等を取得する機能を有する。カメラ情報としては、カメラのイメージセンサの解像度及びサイズ、レンズの焦点距離、カメラから前景オブジェクトまでの距離、及びＩＳＯ感度等を含めてもよい。
【００２６】
尚、撮影領域情報取得部２０２及びカメラ情報取得部２０３は、内蔵する記憶装置に記憶された撮影領域情報又はカメラ情報を読出す構成としてもよいし、撮影領域情報又はカメラ情報を記憶した外部の記憶装置から読出す構成としてもよい。
【００２７】
データサイズ算出部２０４は、各カメラの撮影画像における前景オブジェクト領域のデータサイズ（例えば画素数）を算出する機能を有する。前景オブジェクト領域のデータサイズは、画像処理装置１１０〜１１４、１３０〜１３３から取得した前景画像データ、又は撮影領域情報取得部２０２及びカメラ情報取得部２０３で取得した情報に基づき算出される。図３に、前景オブジェクト領域のデータサイズの算出方法の原理を説明する図を示す。前景オブジェクト領域のデータサイズは、カメラ１２１及びカメラ１２４の撮影画像データに含まれる前景オブジェクト領域の画素数から算出できる。撮影画像３０１はカメラ１２１の撮影画像であり、撮影画像３０２はカメラ１２４の撮影画像である。カメラ１２１はカメラ１２４より撮影領域３０からの距離が近いため、カメラ１２１の撮影画像３０１に写る前景オブジェクト領域３０４の方が、カメラ１２４の撮影画像３０２に写る前景オブジェクト領域３０５より画素数が多く、データサイズも大きい。
【００２８】
この前景画像データのデータサイズを決める前景オブジェクト領域の画素数は、画像処理装置から受け取った前景画像データから算出することもできるが、上記カメラ情報に基づき試算することもできる。撮影画像における前景オブジェクト領域の占める割合は、前景オブジェクトの撮像空間における大きさ、カメラから前景オブジェクトまでの距離、及びカメラの画角から算出可能である。そしてこの撮影画像における前景オブジェクト領域の占める割合及び撮影画像全体の画素数から、前景オブジェクト領域の画素数が算出できる。カメラの画角はカメラのイメージセンサのサイズ及びカメラのレンズの焦点距離から算出可能であるため、前景オブジェクト領域の画素数、すなわち前景オブジェクト領域のデータサイズはカメラ情報に基づき算出することができる。
【００２９】
尚、本実施形態では、画像の階調は、全て同一の所定の階調、例えばＲＧＢ１６ｂｉｔ等で共通であるものとする。また、前景オブジェクトの撮像空間における大きさは、撮影領域が同じであれば同一であるため、後述する前景オブジェクト領域のデータサイズの比率を算出する際には必要ない。但し、撮影領域間で前景オブジェクト領域のデータサイズの比率を比較可能にする場合は、前景オブジェクトの撮像空間における大きさが撮影領域間で同じ大きさとする必要がある。
【００３０】
またデータサイズ算出部２０４は、各カメラの撮影画像に占める前景オブジェクト領域の割合又はその画素数から、カメラ間の同一前景オブジェクトの前景オブジェクト領域のデータサイズの比率を算出する。図３の場合、カメラ１２１の撮影画像３０１における前景オブジェクト領域３０４とカメラ１２４の撮影画像３０２における前景オブジェクト領域３０５とは、其々画素数が例えば１００と５０とする。この場合、前景オブジェクト領域のデータサイズの比率は２：１となる。前景オブジェクト領域のデータサイズ比率は、画像処理装置から受け取った前景画像データに基づき算出してもよいし、上記カメラ情報に基づき算出した前景オブジェクト領域のデータサイズに基づき算出してもよい。撮影領域３０を撮影するカメラ１２０、１２２、１２３及び撮影領域３１を撮影するカメラ１４０〜１４３も同様に、前景オブジェクト領域のデータサイズの比率を算出する。撮影画像に占める前景オブジェクト領域の割合に基づき前景オブジェクト領域のデータサイズの比率を算出する場合は、全てのカメラの撮影画像の解像度が等しく、撮影画像の画素数が同じであるものとする。尚、解像度の設定が異なるカメラ、例えば４Ｋのカメラと８Ｋのカメラとを混在させたシステムなど、撮影画像に画素数が異なるものが含まれる場合がある。その場合には、撮影画像に占める前景オブジェクト領域の割合に代えて、前景オブジェクト領域の画素数に基づき前景オブジェクト領域のデータサイズの比率を算出する。
【００３１】
また、画像処理装置１１０〜１１４、１３０〜１３３が前景画像データに対して画像圧縮処理を施して転送する場合には、競技場内の明るさによって圧縮率が変動することがある。例えば、前景オブジェクトに特定の方向から光が当てられ、その光が順光となるカメラと逆光となるカメラとが生じる場合がある。その場合、同じ前景オブジェクトの撮影画像でも、逆光位置のカメラの撮影画像は、順光位置のカメラの撮影画像よりもノイズが多く発生して圧縮率が低下する。そのためカメラ毎に前景オブジェクトの明るさが異なる場合は、前景オブジェクト領域のデータサイズ比率を、各カメラの撮影画像に占める前景オブジェクト領域の割合又はその画素数に前景画像データ毎の圧縮効率を掛け合わせた値の比率としてもよい。
【００３２】
伝送経路決定部２０５は、画像処理装置１１０〜１１４、１３０〜１３３がネットワーク１０を介して前景画像データを転送する伝送経路を決定する機能を有する。伝送経路決定部２０５は、複数ある伝送経路の其々の使用率（単位時間当たりの転送データサイズ／伝送帯域）が平準化されるように、画像処理装置毎に使用する伝送経路を決定する。その際、伝送経路決定部２０５は、データサイズ算出部２０４で算出した前景オブジェクト領域のデータサイズ比率に基づき伝送経路の使用率を算出する。但し、データサイズ算出部２０４が前景オブジェクト領域のデータサイズ比率を前景画像データから算出する場合、前景オブジェクト領域のデータサイズ比率を算出するための最初の前景画像データは、初期設定で予め指定した伝送経路を使用して転送される。
【００３３】
図４に、前景オブジェクト領域のデータサイズ比率から伝送経路を決定する過程を説明するための表を示す。本実施形態では、図１に示すネットワーク１０を右回りにデータ集約サーバＡ１００へ、又は左回りにデータ集約サーバＢ１０１へ画像データを転送する２つの伝送経路が存在する。其々右回りを伝送経路Ａ、左回りを伝送経路Ｂとする。
【００３４】
まず列４００に示すように、データサイズ算出部２０４が算出したカメラ毎の前景オブジェクト領域のデータサイズ比率を列挙する。この場合、撮影領域３０の転送コスト４０３は、撮影領域３０を撮影する第１のカメラ群１２０〜１２４の前景オブジェクト領域のデータサイズ比率を合算した値である「３２」となる。一方の撮影領域３１の転送コスト４０４は、撮影領域３１を撮影する第２のカメラ群１４０〜１４３の前景オブジェクト領域のデータサイズ比率を合算した値である「２６」となる。
【００３５】
次に、列４０１に、２つの伝送経路に割り振られる転送コストが平準化されるように撮影領域毎にカメラをグルーピングする。撮影領域３０の場合、転送コストをできるだけ均等に割り振るためにカメラ１２０とカメラ１２２とをグループ１とし、カメラ１２１とカメラ１２３とカメラ１２４とをグループ２とする。同様に撮影領域３１も転送コストをできるだけ均等に割り振るようにグループ３とグループ４にグルーピングする。
【００３６】
尚、ここでは伝送経路上に転送速度を低下させるボトルネックとなる装置について記載していないが、伝送経路上にボトルネックとなる装置がある場合は、ボトルネックのスループットをその伝送経路の伝送帯域とする。伝送帯域が伝送経路毎に異なる場合、伝送経路毎に転送コストに重み付けをし、重み付けされた転送コストが等しくなるとき、各伝送経路の使用率が平準化するようにする。例えば、伝送経路Ａ上に存在するボトルネックとなる装置のスループットが、他の伝送経路Ｂの伝送帯域の３／４である場合、伝送経路Ａの転送コストは前景オブジェクト領域のデータサイズ比率に４／３を乗算したものを使用すればよい。このように重み付けした転送コストに基づき、伝送経路Ａ、Ｂの転送コストが等しくなるようにグルーピングすることで、伝送経路Ａ、Ｂの使用率を平準化することができる。
【００３７】
次に、列４０２に示すように、撮影領域毎に各グループを伝送経路Ａ、Ｂのどちらに割り振るかを決める。その結果、撮影領域３０、３１の同じ伝送経路に割り当てられたグループ同士を組み合わせて転送コストを合算した伝送経路毎のコスト４０５は、平準化されて等しくなる。尚、図４に示す場合では、撮影領域３０のグループ１と撮影領域３１のグループ３を伝送経路Ａに割り振り、撮影領域３０のグループ２と撮影領域３１のグループ４とを伝送経路Ｂに割り振った。
【００３８】
尚、ここで示した伝送経路の決定方法は一例であり他の方法を用いて伝送経路を決定又は指定もよい。例えば各画像処理装置と各データ集約サーバとの間の伝送経路長や伝送遅延を考慮してもよい。例えば画像処理装置１３３はデータ集約サーバＡ１００との伝送経路長が短いため優先的に伝送経路Ａに割り振るようにしてもよい。
【００３９】
仮想視点画像生成部２０６は、画像処理装置又は／且つストレージ１０２から受け取った画像データとユーザから指定された仮想視点情報を使用して仮想視点コンテンツを生成する機能を有する。
【００４０】
本実施形態では、各種機能処理部２００〜２０６をデータ集約サーバＡ１００に統合しているが、これに限ったものではなく、これらの機能処理部２００〜２０６を複数のサーバに分散していてもよい。
【００４１】
次に図５に、画像処理装置１１０〜１１４、１３０〜１３３の内部構造を示す機能ブロックを示す。
【００４２】
画像取得部５０１は、カメラとケーブルなどを介して接続し、カメラからの画像データを受け取る機能を有する。またカメラの各種パラメータの変更や撮影動作を制御する機能を有してもよい。上記ケーブルには、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）ケーブルが使用できる。また上記ケーブルには、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブルやＣｏａＸＰｒｅｓｓ（登録商標）ケーブルなどが使用できる。
【００４３】
前景オブジェクト領域抽出部５０２は、画像取得部５０１で取得した撮影画像データから前景オブジェクト領域を抽出し、前景画像データを生成する機能を有している。
【００４４】
データ送受信部５０３は、データ集約サーバへ前景画像データや前景画像データのデータサイズ等のメタデータを送信する機能を有している。また、データ集約サーバからデータを転送する伝送経路を指定する指令を受信し、指定された伝送経路で画像データを転送する。
【００４５】
データ中継部５０４は、他の画像処理装置から受信した画像データを次の画像処理装置又はデータ集約サーバへ転送する中継機能を有している。
【００４６】
次に、図６、図７及び図８を用いて画像データを伝送する際の課題について説明する。
図６及び図７は、それぞれ時刻ｔ1、ｔ2における前景オブジェクトの位置を示す図である。図８は、画像処理装置から転送される前景画像データの撮影領域毎の単位時間当たりの転送データサイズの変化を時系列に示した図である。図６に示す時刻ｔ1では、撮影領域３１に前景オブジェクトが５個あり、撮影領域３０には前景オブジェクトが１個である。この時の撮影領域毎の単位時間当たりの転送データ量は、撮影領域３１が１３Ｇｂｐｓ（８００）、撮影領域３０が１Ｇｂｐｓ（８０１）となるものとする。一方、図７に示す時刻ｔ2では、撮影領域３１に前景オブジェクトが１個あり、撮影領域３０には前景オブジェクトが５個である。この時の撮影領域毎の単位時間当たりの転送データ量は、撮影領域３０が１２Ｇｂｐｓ（８０２）、撮影領域３１が３Ｇｂｐｓ（８０３）となるものとする。
【００４７】
ここで、伝送経路Ａ、Ｂの伝送帯域がそれぞれ１０Ｇｂｐｓ、８Ｇｂｐｓであり、撮影領域毎にどちらか一方の伝送経路のみを使用する場合を考える。このようなとき、時刻ｔ1では、撮影領域３１の単位時間当たりの転送データサイズが１３Ｇｂｐｓであるため、伝送経路Ａ、Ｂのどちらを選択しても伝送帯域が不足するため、撮影領域３１の全ての画像データをリアルタイムに転送することは出来ない。同様に、時刻ｔ2でも、撮影領域３０の単位時間当たりの転送データサイズが１２Ｇｂｐｓであるため、伝送経路Ａ、Ｂのどちらの伝送帯域も不足するため、撮影領域３０の全ての画像データをリアルタイムに転送することは出来ない。
【００４８】
このような場合に、撮影領域毎の全ての画像データをリアルタイムに転送するためには、例えば解像度を落す、又はフレームレートを落すなど単位時間当たりの転送データサイズを伝送経路の伝送帯域に合わせて小さくする方法がある。しかしこの方法では、仮想視点画像の画像品質が低下するという問題点がある。
【００４９】
また、撮影領域毎に動的に伝送経路Ａ、Ｂを切り替えようとすると、前景オブジェクトが激しく撮影領域３０と撮影領域３１との間を行き来した場合に伝送経路切り替えが間に合わずに一方の伝送経路を輻輳させてしまう可能性がある。例えば、撮影領域毎の全ての画像データサイズが、時刻ｔ3で撮影領域３０が１０Ｇｂｐｓ、撮影領域３１が７Ｇｂｐｓとなり、時刻ｔ4で撮影領域３０が７Ｇｂｐｓ、撮影領域３１が１０Ｇｂｐｓとなる場合を考える。また時刻ｔ5で撮影領域３０が１０Ｇｂｐｓ、撮影領域３１が７Ｇｂｐｓとなる場合を考える。このとき輻輳させないようにするには、時刻ｔ3のとき撮影領域３０に伝送経路Ａ、撮影領域３１に伝送経路Ｂ、時刻ｔ4のとき撮影領域３０に伝送経路Ｂ、撮影領域３１に伝送経路Ａを割り振る必要がある。さらに、時刻ｔ5のとき撮影領域３０に伝送経路Ａ、撮影領域３１に伝送経路Ｂを割り振る必要がある。この撮影領域毎の伝送経路の割り当てがタイミング良く行われないと、伝送経路Ｂを輻輳させることになる。
【００５０】
このように、１つの伝送経路に割り振るデータの多くが同期して変化すると、その伝送経路の使用率変動が大きくなり、伝送帯域が不足し易い状況が生じる。
【００５１】
これに対し本発明では、データサイズが同期して変化するデータを、複数の伝送経路の使用率が平準化するようにそれら複数の伝送経路に割り振る。そのため本実施形態では、上述したように、撮影領域毎に前景画像データを２つの伝送経路Ａ、Ｂに割り振る。これによって、本実施形態では、撮影領域が同じカメラ群毎に前景画像データのデータサイズに大きな偏りが生じるときにも、複数の伝送経路の使用率を平準化し、伝送経路全体を効率良く使用することができる。図８に示す時刻ｔ1の状況を例に説明すると、このように撮影領域３１の単位時間当たりの転送データサイズが、撮影領域３０の単位時間当たりの転送データサイズに対して大幅に大きくなっても、本実施形態では一方の伝送経路の使用率のみが高くなることを防ぐことができる。そのため、伝送経路Ａ、Ｂの両方の伝送帯域を無駄なく使用することができる。その結果、解像度やフレームレートを落とすことなく、かつ伝送経路Ａ、Ｂを輻輳させずに、データ集約サーバにリアルタイムに転送可能なデータサイズを大きくすることができる。
【００５２】
また、上記時刻ｔ3〜ｔ5においても、伝送経路Ａ、Ｂの単位時間当たりの転送データサイズの変化は、撮影領域３０、３１の単位時間当たりの転送データサイズの変化の差分に相当する大きさに抑えられる。そのため、どちらの伝送経路も輻輳させずに安定した転送を可能にする。
【００５３】
次に、図９に、経路選択処理を説明するフローチャートを示す。ステップＳ９０１において、ボトルネック特定部２０１は、ネットワーク１０の経路上に存在するボトルネックを特定する。本実施形態では、ネットワーク１０がリング型で構成されているため、画像処理装置１１０〜１１４、１３０〜１３３からのデータが順次集約されてデータ集約サーバＡ１００及びデータ集約サーバＢ１０１に転送される。そのため、画像処理装置１３３とデータ集約サーバＡ１００との間、及び画像処理装置１１０とデータ集約サーバＢ１０１との間において伝送帯域が不足する場合、これらの部分がボトルネックとなる。また、各画像処理装置のデータ中継部５０４や、画像処理装置１１０〜１１４、１３０〜１３３やデータ集約サーバＡ１００、データ集約サーバＢ１０１間に設置するＨＵＢも、それらのスループットがネットワーク１０よりも低い場合、ボトルネックとなる。以下、「ステップＳ〜」を「Ｓ〜」と略記する。
【００５４】
次に、Ｓ９０２において、データサイズ算出部２０４は、画像処理装置１１０〜１１４、１３０〜１３３からの前景画像データ及び／又はカメラ情報取得部２０３が取得したカメラ１２０〜１２４、１４０〜１４３のカメラ情報を取得する。そしてデータサイズ算出部２０４は、取得した前景画像データ及び／又はカメラ情報から前景オブジェクト領域のデータサイズ比率を試算する。またデータサイズ算出部２０４は、撮影領域情報取得部２０２から各カメラが撮影する撮影領域情報を取得する。本実施形態では、第１のカメラ群１２０〜１２４は撮影領域３０、第２のカメラ群１４０〜１４３は撮影領域３１を撮影している。
【００５５】
次に、Ｓ９０３において、上記Ｓ９０１、Ｓ９０２で取得した情報が更新されたか否かを判定する。いずれの情報も更新されていない場合はＳ９０１に戻り、いずれかの情報が更新されている場合はＳ９０４に進む。
【００５６】
次に、Ｓ９０４において、伝送経路決定部２０５は、上記Ｓ９０１、Ｓ９０２で取得した情報に基づき、上述したように各画像処理装置がデータ集約サーバＡ１００、データ集約サーバＢ１０１へ前景画像データを転送するための伝送経路を決定する。すなわち、データサイズが同期して変化するデータの元となる撮影画像データを出力するカメラ群毎に、本実施形態では撮影領域が同じカメラ群毎に、複数の伝送経路の使用率が平準化するよう各データの転送に使用する伝送経路を決定する。
【００５７】
次に、Ｓ９０５において、Ｓ９０４で決定した経路を各画像処理装置へ設定変更が可能か否かを判定する。設定変更が不可能な場合はＳ９０１に戻る、又は一定期間待って再度設定変更が可能か否かを確認する。設定変更が可能な場合はＳ９０６へ進む。
【００５８】
次に、Ｓ９０６において、Ｓ９０４で決定した伝送経路を各画像処理装置へ変更指示を発行する。変更指示を行う場合に、各画像処理装置へ変更を行う時間を含む指示を行う。各画像処理装置は指示された時間に経路を変更する。各画像処理装置へ変更を行う時間を含めずに即時に変更指示を出してもよい。この場合ボトルネック箇所への影響が小さい箇所から実施することが望ましい。
【００５９】
尚、本実施形態では、ボトルネック特定部２０１、撮影領域情報取得部、カメラ情報取得部２０３、データサイズ算出部２０４、伝送経路決定部２０５は、データ集約サーバＡ１００及び／又はデータ集約サーバＢ１０１が備えている構成とした。しかし、これらの機能の一部又は全ては、データ集約サーバＡ１００、データ集約サーバＢ１０１とは異なる情報処理装置に実装されていてもよい。また、情報処理装置としては、例えば、データ集約サーバＡ１００及び／又はデータ集約サーバＢ１０１のようなサーバ装置やその制御を行う制御装置でもよし、それらとは別個のＰＣ等の汎用の情報処理装置であってもよい。
【実施形態２】
【００６０】
実施形態２は、実施形態１とはネットワーク１０のトポロジーが異なる場合の画像データ集約システムである。
【００６１】
図１０は、本発明の実施形態２に係る画像データ集約システムの構成図であり、図１１は伝送経路を決定する過程を説明する図である。本実施形態のネットワーク１０は、４個のカスケードネットワークから構成され、４個の伝送経路（伝送経路Ｃ、伝送経路Ｄ、伝送経路Ｅ、伝送経路Ｆ）から構成されている。伝送経路Ｃは、データ集約サーバＢ１０１、画像処理装置１１１、及び画像処理装置１３１をデイジーチェーン型で接続する。伝送経路Ｄは、データ集約サーバＢ１０１、画像処理装置１１０、及び画像処理装置１３０をデイジーチェーン型で接続する。伝送経路Ｅは、データ集約サーバＡ１００、画像処理装置１３２、及び画像処理装置１１２をデイジーチェーン型で接続する。伝送経路Ｆは、データ集約サーバＡ１００、画像処理装置１３３、及び画像処理装置１１４、画像処理装置１１３をデイジーチェーン型で接続する。尚、本実施形態は、予め伝送経路決定部２０５で決定した伝送経路Ｃ〜Ｆに基づき画像処理装置１１０〜１１４、１３０〜１３３、データ集約サーバＡ１００、データ集約サーバＢ１０１間の配線経路を決定したものである。具体的には、図１１に示すように、列１１００に示す前景オブジェクト領域のデータサイズ比率に基づき、カメラ１２０〜１２４、１４０〜１４３を列１１１１に示すように撮影領域毎にそれぞれ４個のグループにグルーピングをしている。そして列１１１２に示すように、撮影領域３０のグループの１つと撮影領域３１のグループの１つとを組み合わせ、その際望ましくは、伝送経路Ｃ〜Ｆの転送コストが平準化するように伝送経路Ｃ〜Ｆの１つに割り振る。尚、伝送経路Ｃ〜Ｆの伝送帯域に余裕がある場合は平準化させず、設置容易性を考慮し近隣の画像処理装置間を接続してもよい。
【実施形態３】
【００６２】
実施形態３は、実施形態１、２とはネットワーク１０のトポロジーが異なる場合の画像データ集約システムである。
【００６３】
図１２は、実施形態３におけるシステム構成図であり、図１３は、伝送経路を決定する過程を説明する図である。本実施形態のネットワーク１０は、２個のリングネットワーク（１０ａ、１０ｂ）から構成されておりネットワーク１０ａは右回りの伝送経路Ｇと左回りの伝送経路Ｈで構成されている。同様に、ネットワーク１０ｂは右回りの伝送経路Ｉ、左回りの伝送経路Ｊで構成されている。本実施形態ではケーブルコストを考慮せずに撮影領域３０のグループの１つと撮影領域３１のグループの１つとを組み合わせた。具体的には、図１３に示すように、列１３００に示す前景オブジェクト領域のデータサイズ比率に基づき、カメラ１２０〜１２４、１４０〜１４３を列１３１１に示すように撮影領域毎にそれぞれ４個のグループにグルーピングをしている。そして列１３１２に示すように、撮影領域３０のグループの１つと撮影領域３１のグループの１つとを組み合わせ、その際望ましくは、伝送経路Ｇ〜Ｊの転送コストが平準化するように伝送経路Ｇ〜Ｊの１つに割り振る。尚、伝送経路Ｇ〜Ｊの伝送帯域に余裕がある場合は平準化させず、画像処理装置１１０〜１１４、１３０〜１３３とデータ集約サーバＡ１００、データ集約サーバＢ１０１との距離を考慮し伝送経路を決定してもよい。
【実施形態４】
【００６４】
また、実施形態１〜３では、データサイズが同期して変化するデータを、撮影領域が同じ一群からの撮影画像データから前景オブジェクト領域を抽出した前景画像データとした。これに対し本実施形態では、前景オブジェクトの照度が同期して変化する撮影画像データ又は前景画像データを圧縮した圧縮画像データとしてもよい。前景オブジェクトの照度が変化するとノイズ量が変化し、圧縮率も変化するので、データサイズが変化する。そのため、前景オブジェクトの照度が同期して変化する撮影画像データは、圧縮されるとデータサイズも同期して変化する。このような圧縮率が同期して変化する撮影画像データを出力するカメラ群毎に、複数の伝送経路の使用率が平準化するよう圧縮画像データを割り振ってもよい。圧縮率は、圧縮した画像データの圧縮前後のデータサイズから算出してもよいし、カメラのＩＳＯ感度から算出してもよい。尚、この圧縮率が同期して変化する圧縮画像データは、前景画像データを圧縮したものであっても、撮影画像データを圧縮したものでもよい。
【００６５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１００、１０１  データ集約サーバ
２０４  データサイズ算出部
２０５  伝送経路決定部
【図１】
2020017803.tif 000003
【図２】
2020017803.tif 000004
【図３】
2020017803.tif 000005
【図４】
2020017803.tif 000006
【図５】
2020017803.tif 000007
【図６】
2020017803.tif 000008
【図７】
2020017803.tif 000009
【図８】
2020017803.tif 000010
【図９】
2020017803.tif 000011
【図１０】
2020017803.tif 000012
【図１１】
2020017803.tif 000013
【図１２】
2020017803.tif 000014
【図１３】
2020017803.tif 000015