(57)【要約】【課題】カメラからの距離が異なる複数の被写体が含まれていても距離が遠い被写体の画質劣化を抑制し画像のデータ量を制御できるようにする。【解決手段】入力される画像から被写体に係る被写体画像を得る前景分離部と、被写体画像の解像度を取得する解像度取得部と、被写体画像を１つ以上の解像度成分に分離するデータ圧縮・伸張部と、分離された解像度成分に対する優先度を算出する優先度算出部とを有し、解像度成分が表す被写体の解像度に応じた優先度を優先度算出部が算出し、算出された優先度に従ってデータ量に係る制御を行う。【選択図】図３
2020092301.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像から被写体に係る被写体画像を得る画像取得手段と、
前記被写体画像の解像度を取得する解像度取得手段と、
前記被写体画像を１つ以上の解像度成分に分離する処理手段と、
分離された前記解像度成分に対する優先度を算出する優先度算出手段とを有し、
前記優先度算出手段は、前記解像度成分が表す被写体の解像度が第１の解像度より小さい第２の解像度である場合、前記第１の解像度で算出される優先度よりも高い優先度を算出することを特徴とする画像処理装置。
【請求項２】
前記優先度算出手段は、前記被写体画像の解像度及び前記処理手段での前記被写体画像の分離に係るパラメータに基づいて、前記解像度成分に対する優先度を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記被写体までの距離が大きい程、前記優先度算出手段により算出する優先度が高いことを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記優先度算出手段は、前記被写体画像の解像度が小さくなるに伴って高い優先度を算出し、
前記解像度取得手段は、前記被写体までの距離が大きい程、小さい値を前記被写体画像の解像度とすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記被写体画像の焦点距離及びセンサピッチを取得するパラメータ受信手段を有し、
前記優先度算出手段は、前記被写体画像の解像度が小さくなるに伴って高い優先度を算出し、
前記解像度取得手段は、前記焦点距離が大きい程、あるいは前記センサピッチが小さい程、大きい値を前記被写体画像の解像度とすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項６】
前記被写体画像の解像度が大きくなるほど前記被写体画像の解像度に対して小さな解像度に分離できるように、前記処理手段での前記被写体画像の分離に係るパラメータを設定するパラメータ算出手段を有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記パラメータ算出手段は、前記被写体画像の解像度と、画像における前記被写体に対する要求解像度との比に基づいて前記パラメータを決定することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記解像度成分を符号化する符号化手段を有することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記解像度成分に対応する前記優先度を付加してメッセージを生成するメッセージ生成手段と、
生成された複数の前記メッセージを格納してパケットを生成するパケット生成手段と、
付加された優先度に従って、前記メッセージ生成手段により生成されたメッセージを前記パケット生成手段に出力するメッセージ制御手段とを有することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
前記パケット生成手段は、前記パケットに格納したメッセージの内で最も高い優先度をパケットの優先度として前記パケットに格納し、
入力される前記パケットを保持領域に保持できない場合、前記パケットの優先度が最も低いパケットを破棄するパケット制御手段を有することを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記解像度取得手段は、前記被写体の単位面積あたりの画素数を前記被写体画像の解像度とすることを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記解像度取得手段は、前記被写体の単位長さあたりの画素数を前記被写体画像の解像度とすることを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
【請求項１３】
複数の請求項１〜１２の何れか１項に記載の画像処理装置と、
複数の前記画像処理装置から取得した画像データに基づいて仮想視点画像を生成する画像生成装置とを有する画像処理システム。
【請求項１４】
入力される画像から被写体に係る被写体画像を得る画像取得工程と、
前記被写体画像の解像度を取得する解像度取得工程と、
前記被写体画像を１つ以上の解像度成分に分離する処理工程と、
分離された前記解像度成分に対する優先度を算出する優先度算出工程とを有し、
前記優先度算出工程では、前記解像度成分が表す被写体の解像度が第１の解像度より小さい第２の解像度である場合、前記第１の解像度で算出される優先度よりも高い優先度を算出することを特徴とする画像処理方法。
【請求項１５】
入力される画像から被写体に係る被写体画像を得る画像取得ステップと、
前記被写体画像の解像度を取得する解像度取得ステップと、
前記被写体画像を１つ以上の解像度成分に分離する処理ステップと、
分離された前記解像度成分に対する優先度を算出する優先度算出ステップとをコンピュータに実行させ、
かつ前記優先度算出ステップでは、前記解像度成分が表す被写体の解像度が第１の解像度より小さい第２の解像度である場合、前記第１の解像度で算出される優先度よりも高い優先度を算出する処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数のカメラ（撮像装置）を異なる位置に設置して多視点で同期撮影するマルチカメラシステムにより得られた複数の視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数の視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
【０００３】
複数の視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバ等の画像処理部に集約し、画像処理部にて３次元モデル生成やレンダリング等の処理を施し、ユーザ端末に伝送を行うことで実現できる。また、特許文献１には、カメラと撮影シーンの距離が近い場合にはフレームレートを高くし、その際の処理負荷を低減するために画像の解像度を低下させる技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１７２０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、大規模なマルチカメラシステムを構築する際には、各視点で生成された画像データのデータ量が伝送帯域を超えてしまう場合がある。この場合、意図しない画像データの欠損が生じることで、生成される仮想視点コンテンツの画像品質を損なってしまう。これを防止する１つの方法として、特許文献１に記載のように画像の解像度を低下させることが考えられる。
【０００６】
しかしながら、サッカーやバスケットボールといったスポーツシーンの撮影においては、カメラ視野内にカメラからの距離が異なる複数の被写体が同時に存在することがある。カメラからの距離が近い被写体とカメラからの距離が遠い被写体とでは対象の画素密度が異なるので、良好な画質を得るために必要な解像度も異なる。したがって、特許文献１に記載のようにカメラ全体で解像度を制御する方法では、カメラからの距離が遠い被写体の画質が損なわれてしまう。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、カメラからの距離が異なる複数の被写体が含まれていても距離が遠い被写体の画質劣化を抑制し画像のデータ量を制御できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、入力される画像から被写体に係る被写体画像を得る画像取得手段と、前記被写体画像の解像度を取得する解像度取得手段と、前記被写体画像を１つ以上の解像度成分に分離する処理手段と、分離された前記解像度成分に対する優先度を算出する優先度算出手段とを有し、前記優先度算出手段は、前記解像度成分が表す被写体の解像度が第１の解像度より小さい第２の解像度である場合、前記第１の解像度で算出される優先度よりも高い優先度を算出することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、解像度に応じた優先度を設定して被写体毎に解像度を制御することが可能となり、カメラからの距離が異なる複数の被写体が含まれていても距離が遠い被写体の画質劣化を抑制し画像のデータ量を制御することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における画像処理システムの構成例を示す図である。
【図２】第１の実施形態におけるカメラアダプタの構成例を示す図である。
【図３】第１の実施形態における画像処理部の構成例を示す図である。
【図４】第１の実施形態における優先度の生成処理の例を示すフローチャートである。
【図５】ウェーブレット変換係数の例を示す図である。
【図６】被写体位置の推定方法を説明する図である。
【図７】被写体の解像度を算出するためのパラメータを示す図である。
【図８】第１の実施形態における伝送部の構成例を示す図である。
【図９】第１の実施形態におけるデータ圧縮・伸張部での処理例を示すフローチャートである。
【図１０】第１の実施形態におけるメッセージ制御部での処理例を示すフローチャートである。
【図１１】第１の実施形態におけるパケット生成部での処理例を示すフローチャートである。
【図１２】第２の実施形態における伝送部の構成例を示す図である。
【図１３】第２の実施形態におけるパケット制御部での処理例を示すフローチャートである。
【図１４】ＤＣＴ変換係数の解像度成分の分類を示す図である。
【図１５】本実施形態におけるカメラアダプタのハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
【００１２】
（第１の実施形態）
本発明の第１の実施形態について説明する。以下に説明する第１の実施形態では、異なる位置に設置された複数のカメラが同期して撮影を行う画像処理システム１００において、カメラ毎に独立して符号量（画像データのデータ量）の制御を行う。符号量制御は、１フレームあたりの符号量の上限を設定してフレーム単位で行う。１フレームの符号量が上限を超えない場合には可逆（ロスレス）のデータが伝送され、すべてのデータを伝送すると上限を超えてしまう場合には画像の品質に影響の少ない情報を優先して欠落させる。
【００１３】
競技場（スタジアム）やコンサートホール等の施設に複数のカメラ及びマイクを設置して撮影及び集音を行うシステムについて、図１のシステム構成図を用いて説明する。図１は、本発明の一実施形態における画像処理システム１００の構成例を示すブロック図である。画像処理システム１００は、センサシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ１２０、コントローラ１３０、スイッチングハブ１４０、及びエンドユーザ端末１５０を有する。
【００１４】
コントローラ１３０は、制御ステーション１３１及び仮想カメラ操作ＵＩ（ユーザインターフェース）１３２を有する。制御ステーション１３１は、画像処理システム１００が有するそれぞれの機能部（ブロック）に対してネットワーク１６１ａ〜１６１ｃ、１６２ａ、１６２ｂ、及び１６３ａ〜１６３ｙを通じて動作状態の管理及びパラメータの設定制御等を行う。ここで、ネットワークは、例えばＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサネット等を組み合わせて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
【００１５】
２６セットのセンサシステム１１０ａ〜１１０ｚにより得られる画像及び音声を、センサシステム１１０ｚから画像コンピューティングサーバ１２０へ送信する動作を説明する。本実施形態における画像処理システム１００において、センサシステム１１０ａ〜１１０ｚはデイジーチェーンにより接続される。
【００１６】
なお、本実施形態において、特別な説明がない場合、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのセンサシステムを区別せずにセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１１５と記載する。なお、図１には、２６セットのセンサシステムを有する例を示したが、これは一例であり、センサシステムの数はこれに限定されるものではない。
【００１７】
また、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態における画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくてもよい。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であってもよい。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略するが、基本的に画像と音声は共に処理されるものとする。
【００１８】
センサシステム１１０ａ〜１１０ｚは、それぞれ１台ずつのカメラ１１２ａ〜１１２ｚを有する。すなわち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋ等への高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる。なお、この接続形態に限らず、例えば、各センサシステム１１０ａ〜１１０ｚがスイッチングハブ１４０に接続されて、スイッチングハブ１４０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。
【００１９】
また、図１には、デイジーチェーンとなるようセンサシステム１１０のすべてがカスケード接続される構成を示したが、これに限定されるものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１１５がスイッチングハブに接続されて画像コンピューティングサーバ１２０へ画像の入力を行うようにしてもよい。このような構成は、例えば、複数階で構成されるスタジアムにおいて、フロア毎にセンサシステム１１０を配備する場合等に有効である。この場合、フロア毎、或いはスタジアムの半周毎に画像コンピューティングサーバ１２０への入力が可能になり、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
【００２０】
また、デイジーチェーン接続されて画像コンピューティングサーバ１２０へ画像入力を行うカメラアダプタ１１５が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ１２０での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ１１５が１つである場合には、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ１２０において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０が複数のグループに分割されていなければ、同期はとれる。
【００２１】
しかし、画像入力を行うカメラアダプタ１１５が複数である（センサシステム１１０が複数のグループに分割される）場合には、デイジーチェーンのレーン（経路）によって遅延が異なることが考えられる。そのため、画像コンピューティングサーバ１２０において全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。
【００２２】
本実施形態では、センサシステム１１０ａ〜１１０ｚの各々は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１１５を有する。なお、センサシステム１１０の構成は、これに限定されるものではなく、少なくとも１つのカメラアダプタ１１５と、１つのカメラ１１２又は１つのマイク１１１を有していればよい。また例えば、センサシステム１１０は、１つのカメラアダプタ１１５と複数のカメラ１１２で構成されてもよいし、１つのカメラ１１２と複数のカメラアダプタ１１５で構成されてもよい。すなわち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１１５とはＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。
【００２３】
また、センサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１１５以外の装置を含んでいてもよい。また、センサシステム１１０は、例えばカメラ１１２とカメラアダプタ１１５が一体となって構成されていてもよい。さらに、カメラアダプタ１１５の機能の少なくとも一部をフロントエンドサーバ１２１が有していてもよい。なお、センサシステム１１０ａ〜１１０ｚは、同じ構成に限定されるものではなく、センサシステム１１０の一部又は全部が異なる構成でもよい。
【００２４】
センサシステム１１０ａのマイク１１１ａで集音された音声とカメラ１１２ａで撮影された画像は、カメラアダプタ１１５ａにおいて画像処理が施された後、ネットワーク１６３ａを通してセンサシステム１１０ｂのカメラアダプタ１１５ｂに伝送される。同様に、センサシステム１１０ｂは、集音された音声と撮影された画像をセンサシステム１１０ａから取得した画像及び音声と合わせて、ネットワーク１６３ｂを介してセンサシステム１１０ｃに伝送する。この動作を続けることにより、センサシステム１１０ａ〜１１０ｚにより取得した画像及び音声が、センサシステム１１０ｚからネットワーク１６２ｂ及びスイッチングハブ１４０等を介して画像コンピューティングサーバ１２０へ伝送される。
【００２５】
なお、本実施形態では、センサシステム１１０において、カメラ１１２とカメラアダプタ１１５とが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１は、一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。
【００２６】
次に、画像コンピューティングサーバ１２０の構成及び動作について説明する。本実施形態における画像コンピューティングサーバ１２０は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ１２０は、フロントエンドサーバ１２１、データベース（ＤＢ）１２２、バックエンドサーバ１２３、及びタイムサーバ１２４を有する。
【００２７】
タイムサーバ１２４は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１４０を介してセンサシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻及び同期信号を受信したセンサシステム１１０ａ〜１１０ｚのカメラアダプタ１１５ａ〜１１５ｚは、カメラ１１２ａ〜１１２ｚを時刻及び同期信号を基に外部同期（Ｇｅｎｌｏｃｋ）させ画像フレーム同期を行う。すなわち、タイムサーバ１２４は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態では、タイムサーバ１２４が複数のカメラ１１２の時刻同期を管理するが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１１５が独立して行ってもよい。
【００２８】
フロントエンドサーバ１２１は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース１２２に書き込む。バックエンドサーバ１２３は、仮想カメラ操作ＵＩ１３２から視点の指定を受け付け、受け付けた視点に基づいて、データベース１２２から対応する画像及び音声データを読み出し、レンダリング処理等を行って仮想視点画像を生成する。
【００２９】
なお、画像コンピューティングサーバ１２０の構成は、これに限られるものではない。例えば、フロントエンドサーバ１２１、データベース１２２、及びバックエンドサーバ１２３のうちの少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ１２１、データベース１２２、及びバックエンドサーバ１２３の少なくとも何れかが複数含まれてもよい。また、画像コンピューティングサーバ１２０内の任意の位置に他の装置が含まれてもよい。さらに、画像コンピューティングサーバ１２０の機能の少なくとも一部をエンドユーザ端末１５０や仮想カメラ操作ＵＩ１３２が有していてもよい。
【００３０】
レンダリング処理された画像は、バックエンドサーバ１２３からエンドユーザ端末１５０に送信され、エンドユーザ端末１５０を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴を行うことができる。すなわち、バックエンドサーバ１２３は、複数のカメラ１１２により撮影された撮影画像（複数の視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。具体的には、バックエンドサーバ１２３は、例えば複数のカメラアダプタ１１５により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そして、バックエンドサーバ１２３は、生成した仮想視点コンテンツをエンドユーザ端末１５０に提供する。
【００３１】
本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されてもよいし、画像解析の結果等に基づいて自動的に指定されてもよい。すなわち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。
【００３２】
なお、本実施形態では、仮想視点コンテンツは、音声データ（オーディオデータ）を含むものとして説明するが、音声データを含まなくてもよい。また、バックエンドサーバ１２３は、仮想視点画像を例えばＨ．２６４やＨＥＶＣ等の符号化方式に従って圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１５０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１５０へ送信されてもよい。例えば、圧縮符号化を行う前者はエンドユーザ端末１５０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１５０の種別に応じて画像フォーマットを切り替えるようにしてもよい。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いてもよい。
【００３３】
このように、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０ａ〜１１０ｚを含み、データ保存ドメインはフロントエンドサーバ１２１、データベース１２２、及びバックエンドサーバ１２３を含み、映像生成ドメインは仮想カメラ操作ＵＩ１３２及びエンドユーザ端末１５０を含む。
【００３４】
なお、本構成に限らず、例えば、仮想カメラ操作ＵＩ１３２が直接センサシステム１１０ａ〜１１０ｚから画像を取得することも可能である。しかしながら、本実施形態では、センサシステム１１０ａ〜１１０ｚから直接画像を取得する方法ではなく、データ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ１２１がセンサシステム１１０ａ〜１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース１２２の共通スキーマ及びデータ型に変換する。これにより、センサシステム１１０ａ〜１１０ｚのカメラ１１２が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ１２１が吸収し、データベース１２２に登録することができる。このことによって、カメラ１１２が他機種カメラに変わった場合に、仮想カメラ操作ＵＩ１３２が適切に動作しないおそれを低減できる。
【００３５】
また、仮想カメラ操作ＵＩ１３２は、直接データベース１２２にアクセスせずにバックエンドサーバ１２３を介してアクセスする構成である。バックエンドサーバ１２３で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ１３２で行う。このことにより、仮想カメラ操作ＵＩ１３２の開発において、ＵＩ操作デバイスや生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力することができる。また、バックエンドサーバ１２３は、仮想カメラ操作ＵＩ１３２の要求に応じて画像生成処理に係わる共通処理を追加又は削除することも可能である。このことによって、仮想カメラ操作ＵＩ１３２の要求に柔軟に対応することができる。
【００３６】
このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ１２３により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、前述した物理的な構成に限定されるものではなく、論理的に構成されていてもよい。以上で画像処理システム１００の概要の説明を終える。
【００３７】
次に、カメラアダプタ１１５について説明する。図２は、カメラアダプタ１１５の構成例を示すブロック図である。本実施形態におけるカメラアダプタ１１５は、符号量制御を行う機能を有する。カメラアダプタ１１５は、ネットワークアダプタ２１０、伝送部２２０、画像処理部２３０、及び外部機器制御部２４０を有する。
【００３８】
ネットワークアダプタ２１０は、データ送受信部２１１及び時刻制御部２１２を有する。データ送受信部２１１は、ネットワーク等を介して、他のカメラアダプタ１１５、フロントエンドサーバ１２１、タイムサーバ１２４、及び制御ステーション１３１とデータ通信を行う。例えば、データ送受信部２１１は、カメラ１１２による撮影画像から前景背景分離部２３１により分離された前景画像及び背景画像を、データルーティング処理部２２２の処理に応じて予め定められた次のカメラアダプタ１１５に出力する。各カメラアダプタ１１５が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。なお、画像処理システム１００において、前景画像は出力し背景画像は出力しないカメラアダプタ１１５が存在してもよい。
【００３９】
時刻制御部２１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｒｙ  Ｃｌｏｃｋに準拠し、タイムサーバ１２４との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ１２４と時刻同期を行う機能を有する。なお、ＩＥＥＥ１５８８規格に限らず、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバとの時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ２１０としてＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）を利用するが、ＮＩＣに限定するものではなく、同様の他のインターフェースを利用してもよい。
【００４０】
伝送部２２０は、ネットワークアダプタ２１０を介してスイッチングハブ１４０等に対するデータの伝送を制御する機能を有する。伝送部２２０は、データ圧縮・伸張部２２１、データルーティング処理部２２２、時刻同期制御部２２３、画像・音声伝送処理部２２４、及びデータルーティング情報保持部２２５を有する。データ圧縮・伸張部２２１は、データ送受信部２１１を介して送受信されるデータに対して、所定の圧縮方式、圧縮率、及びフレームレートを適用してデータを圧縮する機能と、圧縮されたデータを伸張する機能を有する。
【００４１】
データルーティング処理部２２２は、データルーティング情報保持部２２５が保持する情報を利用し、データ送受信部２１１が受信したデータや画像処理部２３０で処理されたデータのルーティング先を決定する。また、データルーティング処理部２２２は、決定したルーティング先へデータを送信させる機能を有する。データルーティング情報保持部２２５は、データ送受信部２１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。
【００４２】
ここで、ルーティング先は、同一の注視点に向けられたカメラ１１２に対応するカメラアダプタ１１５とするのが、カメラ同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１１５のデータルーティング処理部２２２による決定に応じて、画像処理システム１００内において前景画像や背景画像をリレー形式で出力するカメラアダプタ１１５の順序が定まる。
【００４３】
時刻同期制御部２２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ１２４と時刻同期に係わる処理を行う機能を有する。なお、ＰＴＰに限らず、他の同様のプロトコルを利用して時刻同期に係わる処理を行ってもよい。
【００４４】
画像・音声伝送処理部２２４は、画像データ又は音声データを、データ送受信部２１１を介して他のカメラアダプタ１１５又はフロントエンドサーバ１２１へ転送するためのメッセージを作成する機能を有する。メッセージには、画像データ又は音声データ、及び各データのメタ情報が含まれる。メタ情報には、画像の撮影又は音声のサンプリングを行った時のタイムコード又はシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子等が含まれる。
【００４５】
また、画像・音声伝送処理部２２４は、他のカメラアダプタ１１５からデータ送受信部２１１を介してメッセージを受け取る。そして、画像・音声伝送処理部２２４は、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データ又は音声データに復元する。なお、送信する画像データ又は音声データは、データ圧縮・伸張部２２１でデータ圧縮されていてもよい。また、データを復元した際にデータが圧縮されている場合、データ圧縮・伸張部２２１が伸張処理を行う。
【００４６】
画像処理部２３０は、カメラ１１２が撮影した画像データ及び他のカメラアダプタ１１５から受け取った画像データに対して処理を行う機能を有する。画像処理部２３０は、前景背景分離部２３１、優先度生成部２３２、及びキャリブレーション制御部２３３を有する。
【００４７】
前景背景分離部２３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離する機能を有する。すなわち、複数のカメラアダプタ１１５のそれぞれの前景背景分離部２３１は、複数のカメラ１１２のうち、対応するカメラ１１２による撮影画像から所定領域を抽出する。所定領域は、例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部２３１は、撮影画像を前景画像と背景画像に分離する。なお、オブジェクトとは、例えば人物である。オブジェクトが、特定人物（選手、監督、及び／又は審判等）であってもよいし、ボールやゴール等の画像パターンが予め定められている物体であってもよい。また、オブジェクトとして、動体が検出されるようにしてもよい。
【００４８】
前景背景分離部２３１により人物等の重要なオブジェクトを含む前景画像とオブジェクトを含まない背景画像を分離して処理することで、画像処理システム１００において生成される仮想視点画像のオブジェクトに該当する部分の画像の品質を向上できる。また、前景と背景の分離を複数のカメラアダプタ１１５のそれぞれが行うことで、複数のカメラ１１２を有する画像処理システム１００における負荷を分散させることができる。なお、所定領域は、前景画像に限らず、例えば背景画像であってもよい。
【００４９】
優先度生成部２３２は、前景背景分離部２３１で分離された前景画像及びカメラパラメータを利用して優先度を生成する機能を有する。カメラパラメータは、カメラ固有の内部パラメータ（焦点距離、センサピッチ、画像中心、及びレンズ歪みパラメータ等）と、世界座標系に対するカメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）を含む。
【００５０】
キャリブレーション制御部２３３は、キャリブレーションに必要な画像データを、カメラ制御部２４１を介してカメラ１１２から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ１２１に送信する機能を有する。また、キャリブレーション制御部２３３は、カメラ制御部２４１を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション（動的キャリブレーション）を行う機能を有する。本実施形態では、キャリブレーションに係わる演算処理をフロントエンドサーバ１２１で行うが、演算処理を行うノードはフロントエンドサーバ１２１に限定されない。例えば、制御ステーション１３１やカメラアダプタ１１５（他のカメラアダプタ１１５を含む）等の他のノードで演算処理を行ってもよい。
【００５１】
外部機器制御部２４０は、カメラアダプタ１１５に接続する機器を制御する機能を有する。外部機器制御部２４０は、カメラ制御部２４１、マイク制御部２４２、雲台制御部２４３、及びセンサ制御部２４４を有する。
【００５２】
カメラ制御部２４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定等を行う機能を有する。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定等）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラー等）の取得、撮影の開始及び停止や、ピント調整等がある。なお、本実施形態では、カメラ１１２を介してピント調整を行うが、取り外し可能なレンズがカメラ１１２に装着されている場合、カメラアダプタ１１５がレンズに接続して直接レンズの調整を行ってもよい。また、カメラアダプタ１１５がカメラ１１２を介してズーム等のレンズ調整を行ってもよい。
【００５３】
同期信号提供は、時刻同期制御部２２３がタイムサーバ１２４と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部２２３がタイムサーバ１２４と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受け取る画像データに提供したタイムコードが付与される。なお、タイムコードのフォーマットは、ＳＭＰＴＥ１２Ｍに限らず、他のフォーマットであってもよい。また、カメラ制御部２４１は、カメラ１１２に対してタイムコードの提供を行わず、カメラ１１２から受け取った画像データに自身がタイムコードを付与してもよい。
【００５４】
マイク制御部２４２は、マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止、及び収音された音声データの取得等を行う機能を有する。マイク１１１の制御は、例えば、ゲイン調整や状態取得等である。また、カメラ制御部２４１と同様に、マイク制御部２４２は、マイク１１１に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ１２４からの時刻情報が、例えば４８ｋＨｚのワードクロックに変換されてマイク１１１に供給される。
【００５５】
雲台制御部２４３は、雲台１１３と接続し、雲台１１３の制御を行う機能を有する。雲台１１３の制御は、例えば、パン・チルト制御や状態取得等がある。センサ制御部２４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合には、振動を表す情報を取得することができる。そして、センサ制御部２４４が取得した振動情報を用いて、画像処理部２３０は、前景背景分離部２３１での処理に先立って、振動を抑えた画像を生成することができる。
【００５６】
振動情報は、例えば、８Ｋカメラの画像データを、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像との位置合わせを行う場合に利用される。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬しても、カメラアダプタ１１５に配備された本機能で位置合わせを行う。その結果、電子的に防振された画像データを生成でき、画像コンピューティングサーバ１２０におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。なお、センサシステム１１０のセンサは、外部センサ１１４に限らず、カメラアダプタ１１５に内蔵されたセンサであってもよく、同様の効果が得られる。
【００５７】
以上で、カメラアダプタ１１５の構成の説明を終える。カメラアダプタ１１５において、符号量制御に深く関わりを持つのが、優先度生成部２３２、データ圧縮・伸張部２２１、及び画像・音声伝送処理部２２４である。以下、図３及び図４を用いて符号量制御に係る符号の優先度を生成するための構成及び処理の流れについて説明する。
【００５８】
図３は、カメラアダプタ１１５内の画像処理部２３０の構成例を示すブロック図である。図３において、図２に示したブロックと同一の機能を有するブロックには同一の符号を付している。キャリブレーション制御部２３３は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理（電子防振処理）等を行う。
【００５９】
前景背景分離部２３１について説明する。前景分離部３１１は、カメラ１１２の画像に関して位置合わせが行われた画像データに対して、背景画像３１２との比較により前景画像の分離処理を行う。ここで得られた前景画像は、その画像データと画像全体における前景画像領域のオフセット値（例えば、前景画像の左上の画素の位置）を対にして出力される。背景更新部３１３は、背景画像３１２とカメラ１１２の位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像３１２を新しい背景画像に更新する。背景切出部３１４は、背景画像３１２の一部を切り出す制御を行う。
【００６０】
優先度生成部２３２について説明する。以降の説明では、前景画像を、被写体を映した画像領域として「被写体画像」とも呼ぶ。カメラパラメータ受信部３２１は、カメラパラメータを受信する。カメラパラメータは、例えばキャリブレーション処理で得られる情報であり、制御ステーション１３１から対象となるカメラアダプタ１１５に対して送信及び設定される。解像度取得部３２２は、前景分離部３１１で分離された被写体画像のオフセット値と、伝送部２２０を介して受信したカメラパラメータを用いて、被写体画像の解像度を取得し、分離パラメータ算出部３２３及び優先度算出部３２４に出力する。分離パラメータ算出部３２３は、入力された被写体画像内での被写体の解像度からデータ圧縮・伸張部２２１で利用される分離パラメータを算出し、伝送部２２０及び優先度算出部３２４に出力する。優先度算出部３２４は、入力された被写体の解像度及び分離パラメータから符号化後の各解像度成分に対する優先度を算出し、伝送部２２０に出力する。
【００６１】
図４（Ａ）は、優先度生成部２３２による優先度及び分離パラメータの算出処理の例を示すフローチャートである。ステップＳ４０１では、カメラパラメータ受信部３２１が、撮影平面（地面）に対するカメラの位置・姿勢を示すカメラパラメータを入力する。ステップＳ４０２では、前景分離部３１１が、被写体画像の元画像全体におけるオフセット値を入力する。ステップＳ４０３では、解像度取得部３２２が、被写体画像の解像度を取得する。ここでは解像度を、撮像された被写体表面を表す単位面積あたりの画素数と定義する。解像度は、撮像センサのセンサピッチと焦点距離、被写体までの距離に依存する。例えば、解像度取得部３２２は、焦点距離が大きい程、あるいはセンサピッチが小さい程、大きい値を被写体画像の解像度とする。また、例えば、解像度取得部３２２は、被写体までの距離大きい程、小さい値を被写体画像の解像度とする。
【００６２】
ステップＳ４０４では、分離パラメータ算出部３２３が、分離パラメータを算出する。本実施形態では、画像データをウェーブレット変換により周波数の異なる解像度成分に分離するものとし、分離パラメータは、ウェーブレット変換回数を表すものとする。ウェーブレット変換処理には方向があり、横方向に分離すると、元の画像サイズに対して横方向が半分であり、縦方向が同じサイズの２つの画像が高周波と低周波の解像度成分として生成される。ここで生成された解像度成分の画像をそれぞれさらに縦方向に分離すると、元の画像サイズに対して縦横のサイズが半分の４つの解像度成分が生成される。このように、縦横１回ずつの変換をあわせて１回のウェーブレット変換とする。
【００６３】
ウェーブレット変換によって生成される４つの解像度成分のうち、縦横ともに低周波の解像度成分をＬＬ成分と呼び、縦方向が高周波で横方向が低周波の解像度成分をＬＨ成分と呼ぶ。また、縦方向が低周波で横方向が高周波の解像度成分をＨＬ成分と呼び、縦横ともに高周波の解像度成分をＨＨ成分と呼ぶ。一般に、ＬＬ成分が元の画像に対して半分の解像度の縮小画像であり、ＬＨ成分が縦方向のエッジ情報、ＨＬ成分が横方向のエッジ情報、及びＨＨ成分が斜め方向のエッジ情報を保持している。さらに、解像度成分を分離する場合、ＬＬ成分についてウェーブレット変換を再度行い４つ解像度成分に階層的に分離する。
【００６４】
図５に、３回のウェーブレット変換を適用した例を示す。（０，０）は１回目の変換におけるＨＨ成分であり、（０，１）は１回目の変換におけるＨＬ成分であり、（１，０）は１回目の変換におけるＬＨ成分である。図５において、括弧内の１番目の要素は横方向の低周波成分を抽出した回数を示し、２番目の要素は縦方向の低周波成分を抽出した回数を示す。したがって、（３，３）は３回のウェーブレット変換の結果得られたＬＬ成分である。
【００６５】
前述のように、１回のウェーブレット変換により、縦横それぞれにおいて変換前の半分の解像度の画像がＬＬ成分として生成される。本実施形態では、ＬＬ成分での被写体の解像度が予め与えられた要求される解像度＜α＞を下回るまでウェーブレット変換を実行する。要求解像度とは、仮想視点画像の生成において、映像品質を担保するために最低限必要とする解像度である。入力された被写体画像の解像度が＜ｄ＞である場合、Ｓ回のウェーブレット変換を行った後のＬＬ成分の解像度は（ｄ×４-S）となる。したがって、ＬＬ成分での被写体の解像度が要求される解像度＜α＞を下回る最小の回数Ｓは、次のように求められる。つまり、以下の例では、被写体画像の解像度＜ｄ＞と、被写体について要求される解像度＜α＞との比に基づいて、分離パラメータとしての回数Ｓが決定される。
【００６６】
【数１】
2020092301.tif 000003
【００６７】
ステップＳ４０５では、優先度算出部３２４が、優先度Ｐを算出する。優先度は、成分が表す画像情報の解像度が小さくなる、つまり低周波であるほど大きな値を設定する。図５において説明した縦横方向の低周波成分の抽出回数を（Ｗｘ，Ｗｙ）で表現すると、優先度Ｐは以下の式で定義される。
【００６８】
【数２】
2020092301.tif 000004
【００６９】
すなわち、優先度算出部３２４は、縦横方向の低周波成分の抽出回数（Ｗｘ，Ｗｙ）が多くなるに伴って高い優先度を算出し、被写体画像の解像度＜ｄ＞が小さくなるに伴って高い優先度を算出する。なお、図４（Ａ）に示した処理において、ステップＳ４０１とステップＳ４０２との処理順序は順不同であり、ステップＳ４０４とステップＳ４０５との処理順序は順不同である。
【００７０】
図４（Ｂ）は、図４（Ａ）に示したステップＳ４０３において解像度取得部３２２が被写体画像の解像度＜ｄ＞を取得する処理の例を示すフローチャートである。ステップＳ４１１では、解像度取得部３２２が、要求解像度αを取得する。この値は、カメラ間で優先度の基準を統一するため、事前に設定して、すべてのカメラで共通化しておくことが好ましく、この場合にはカメラパラメータと同時にネットワークを介して取得する。
【００７１】
ステップＳ４１２〜Ｓ４１４では、解像度取得部３２２が、視点と被写体との間の距離を求める。本実施形態では、すべての被写体（例えば人）が撮影平面上にあるものと仮定し、被写体画像において最も下の画素が、被写体が撮影平面に接地している点に対応するものとする。例えば、人であれば、その人の画像において最も下の画素が、足と撮影平面とが接触している点に対応する。
【００７２】
ステップＳ４１２〜Ｓ４１４の処理について説明する。ステップＳ４１２では、解像度取得部３２２が、被写体画像に係る代表画素として、被写体画像の内で最も下の画素を選択する。なお、最も下の画素が複数ある場合、それら複数の画素における中央の画素を代表画素として選択する。また、最も下の画素が複数ある場合、それら複数の画素の内で被写体領域の中央に最も近い画素を代表画素として選択するようにしてもよい。
【００７３】
ステップＳ４１３では、解像度取得部３２２が、代表画素に対応する視線と撮影平面との交点＜Ｘ＞を求める。予めカメラパラメータが与えられており、撮影平面と視点の位置関係及びカメラ姿勢は既知であるため、交点を算出可能であることは自明である。ステップＳ４１４では、解像度取得部３２２が、視点位置＜Ｕ＞と交点＜Ｘ＞との距離を計算し、これを視点と被写体位置との距離＜Ｌ＞とする。
【００７４】
図６に被写体位置の推定方法を説明する模式図を示す。被写体６０１に係る代表画素の位置から算出される代表視線６０４がカメラ６０２の視点位置＜Ｕ＞６０５から伸ばされ、これと撮影平面６０３との交点を＜Ｘ＞とする。この交点＜Ｘ＞が、撮影平面６０３に対する被写体の接地点６０６となることを仮定している。本実施形態では、被写体までの距離の推定に、被写体画像の画素位置から推定される３次元空間上の被写体位置を利用する。ただし、被写体までの距離を取得することができれば、他の方法でもよく、例えば距離カメラを用いてもよいし、その他の被写体位置取得センサを利用してもよい。
【００７５】
ステップＳ４１５では、解像度取得部３２２が、距離＜Ｌ＞の位置にある被写体の解像度＜ｄ＞を算出する。図７を用いて被写体の解像度の導出について説明する。焦点距離（レンズ面とセンサ面の距離）をＴ、レンズ面と被写体面の距離をＬ、センサの縦方向のサイズをＳ、被写体面の縦方向の画角のサイズをＨとする。この場合、倍率Ｍ（＝Ｈ／Ｓ）はＭ＝Ｌ／Ｔとなり、さらに、センサの縦方向の画素数をｈとすると、縦方向のセンサピッチＵはＵ＝Ｓ／ｈである。したがった、被写体の解像度＜ｄ＞は、ｄ＝Ｍ／Ｕで求められる。
【００７６】
なお、ここでは簡易なモデルを用いた解像度の算出方法について示したが、精度を必要とする場合、レンズの厚みや組み合わせ等を考慮した複雑なモデルから解像度を求めてもよい。また、縦方向のサイズと画素数の比（単位長あたりの画素数）から単位面積あたりの画素数を算出したが、縦横両方のサイズと画素数から、その積の比によって単位面積あたりの画素数を算出してもよい。さらには、撮影平面に対する代表視線の交点と視点との距離を被写体までの距離として算出したが、隣接する視点との視差から被写体までの距離を求めてもよいし、距離センサを使って距離を求めてもよいし、距離を求めることができればその他の方法でもよい。また、解像度は、撮像された被写体の単位面積あたりの画素数としているが、被写体の単位長さあたりの画素数としてもよい。以上で、解像度を取得する処理についての説明を終える。
【００７７】
次に、前述のようにして生成した優先度を考慮したデータ伝送パケットの生成、及びパケットの制御について説明する。図８は、符号量制御に関わる伝送部２２０内の構成例を示すブロック図である。図８においては、被写体画像を伝送する際のデータの流れを示しており、その説明に寄与しない他の構成の記載を省略している。
【００７８】
データ圧縮・伸張部２２１は、画像符号化部８１１及びメッセージ生成部８１２を有する。画像符号化部８１１は、画像処理部２３０から被写体画像及び分離パラメータを受け取り、分離パラメータに従って被写体画像を解像度成分に分離して符号化する。すなわち、画像符号化部８１１は、分離パラメータとして示されるウェーブレット変換回数分、被写体画像に対するウェーブレット変換を行って解像度成分に分離する。
【００７９】
メッセージ生成部８１２は、解像度成分及びその特定情報、優先度を受け取り、メッセージを生成して画像・音声伝送処理部２２４に出力する。ここで、特定情報は、対応する解像度成分が、どのカメラで撮像された、どの被写体画像のどの成分であるかを特定するための情報であり、例えば画像データの復号に利用される。メッセージ生成部８１２は、メッセージのデータ領域に解像度成分を格納し、ヘッダ領域に優先度と解像度成分の特定情報を格納する。
【００８０】
画像・音声伝送処理部２２４は、メッセージ制御部８２１、メッセージ保持領域８２２、及びパケット生成部８２３を有する。メッセージ制御部８２１は、メッセージ生成部８１２により生成された優先度付き符号データをメッセージとして取り扱い、優先度を考慮してメッセージ保持領域８２２に保持されたメッセージを管理する。また、メッセージ制御部８２１は、メッセージをパケット生成部８２３に出力する。パケット生成部８２３は、入力されたメッセージを所定サイズ単位に分解してパケットを生成する。パケット生成部８２３により生成されたパケットはネットワークアダプタ２１０に出力される。
【００８１】
図９は、データ圧縮・伸張部２２１の処理例を示すフローチャートである。ステップＳ９０１では、データ圧縮・伸張部２２１の画像符号化部８１１が、画像処理部２３０から被写体画像及び分離パラメータを受け取る。ステップＳ９０２では、データ圧縮・伸張部２２１の画像符号化部８１１が、分離パラメータとして受け取ったウェーブレット変換回数に従い、被写体画像を解像度成分に分離して符号化する。ここでの符号化はＪＰＥＧ２０００を用いる。ＪＰＥＧ２０００はウェーブレット変換によって、画像データを解像度成分に分離することができる。符号化方式は、ＪＰＥＧ２０００のように画像データを解像度成分に分離可能なものであれば他の方式を利用してもよい。
【００８２】
ステップＳ９０３では、データ圧縮・伸張部２２１のメッセージ生成部８１２が、画像処理部２３０から優先度を受け取る。ステップＳ９０４では、データ圧縮・伸張部２２１のメッセージ生成部８１２が、ステップＳ９０２において生成した解像度成分に、対応する優先度を付加してメッセージを生成する。メッセージ生成部８１２は、データ領域に解像度成分を格納し、ヘッダ領域に優先度と解像度成分の特定情報を格納して、メッセージを生成する。ステップＳ９０５では、データ圧縮・伸張部２２１のメッセージ生成部８１２が、生成したメッセージを出力する。この図９に示した処理は、フレームから切り出されたすべての被写体画像に対して実行される。
【００８３】
図１０は、メッセージ制御部８２１の処理例を示すフローチャートである。ステップＳ１００１では、データ圧縮・伸張部２２１からメッセージ制御部８２１に、メッセージ＜ｍ＞が入力される。ステップＳ１００２では、メッセージ制御部８２１が、メッセージ保持領域８２２の空き領域をチェックし、メッセージ保持領域８２２にメッセージ＜ｍ＞を保持できるか否かを判断する。メッセージ保持領域８２２にメッセージ＜ｍ＞を保持するための領域があると判断した場合（Ｙｅｓ）、ステップＳ１００３で、メッセージ制御部８２１が、メッセージ＜ｍ＞をメッセージ保持領域８２２に格納して処理を終了する。
【００８４】
一方、ステップＳ１００２において、メッセージ保持領域８２２にメッセージ＜ｍ＞を保持するための空き領域がないとメッセージ制御部８２１が判断した場合（Ｎｏ）、ステップＳ１００４へ進む。ステップＳ１００４では、メッセージ制御部８２１が、メッセージ保持領域８２２に格納されているメッセージ及びメッセージ＜ｍ＞の内で、メッセージ＜ｍ＞が最も優先度が高いメッセージであるか否かを判断する。すなわち、メッセージ制御部８２１が、メッセージ保持領域８２２に格納されているメッセージの中で最大の優先度とメッセージ＜ｍ＞の優先度とを比較する。
【００８５】
ステップＳ１００４において、メッセージ＜ｍ＞が最も優先度が高いメッセージであると判断した場合（Ｙｅｓ）、ステップＳ１００５で、メッセージ制御部８２１が、メッセージ＜ｍ＞をパケット生成部８２３に出力して処理を終了する。一方、ステップＳ１００４において、メッセージ＜ｍ＞が最も優先度が高いメッセージではないとメッセージ制御部８２１が判断した場合（Ｎｏ）、ステップＳ１００６へ進む。すなわち、メッセージ保持領域８２２に格納されているメッセージの内に最も優先度が高いメッセージがあるとメッセージ制御部８２１が判断した場合、ステップＳ１００６へ進む。ステップＳ１００６では、メッセージ制御部８２１が、メッセージ保持領域８２２の中で優先度が最大のメッセージをパケット生成部８２３に出力して、ステップＳ１００２に戻る。
【００８６】
このようにしてメッセージ制御部８２１は、順次入力されるメッセージをメッセージ保持領域８２２に適宜格納しながら、優先度が高いメッセージを選別して出力する役割を担う。メッセージ保持領域８２２のサイズが小さいと、メッセージの到着順序によっては所望の選別結果を得られないため、十分なサイズを保持するものとする。
【００８７】
図１１は、パケット生成部８２３の処理例を示すフローチャートである。ステップＳ１１０１では、メッセージ制御部８２１からパケット生成部８２３に、メッセージ＜ｓ＞が入力される。ステップＳ１１０２では、パケット生成部８２３が、入力されたメッセージ＜ｓ＞を現在生成中のパケットに挿入できるか否かを判断する。パケットは所定のサイズが予め規定されており、パケット生成部８２３は、メッセージ＜ｓ＞を入力した場合にそのサイズを超えるかどうかを確認する。
【００８８】
ステップＳ１１０２においてメッセージ＜ｓ＞を現在生成中のパケットに挿入できると判断した場合（Ｙｅｓ）、ステップＳ１１０３で、パケット生成部８２３が、メッセージ＜ｓ＞をパケットに挿入して終了する。一方、ステップＳ１１０２においてメッセージ＜ｓ＞を現在生成中のパケットに挿入できないとパケット生成部８２３が判断した場合（Ｎｏ）、ステップＳ１１０４へ進む。ステップＳ１１０４では、パケット生成部８２３が、現在生成中のパケットの生成を完了して、パケットのヘッダ領域にパケット内で最大の優先度を書き込み、パケット生成部８２３にパケットを出力する。その後、ステップＳ１１０５で、パケット生成部８２３が、新規パケットを生成する。
【００８９】
以上で、メッセージ制御部８２１及びパケット生成部８２３の処理の説明を終える。前述した図１０及び図１１に示した処理は、フレームから取得されたすべての被写体画像に対して実行される。ただし、本実施形態においては、予め１フレームあたりのデータ量の上限値ＭＡＸが設定されている。１フレームあたりのデータ量の上限値ＭＡＸと１パケットあたりのサイズＡから、１フレームあたりに出力可能なパケット数Ｒが、次の式により求められる。
【００９０】
【数３】
2020092301.tif 000005
【００９１】
したがって、図１１に示したステップＳ１１０４でのパケットの出力がＲ回に達した時点で、現フレームの処理は終了される。また、すべての被写体画像の処理が完了しても出力したパケット数がＲに達していない場合、メッセージ制御部８２１は、メッセージ保持領域８２２に格納されたメッセージを優先度の高いものから順にパケット生成部８２３に出力する。この処理は、出力パケット数がＲに達するか、あるいはすべてのメッセージを出力するまで繰り返される。以上の処理により、優先度付きの解像度成分のうち、大きな優先度を持つものを優先的に伝送することができる。なお、メッセージ保持領域８２２は、フレーム単位で初期化される。
【００９２】
第１の実施形態によれば、前景領域（被写体画像）の画像データを解像度成分に分離し、データ量が伝送帯域を超える場合には、解像度に応じた優先度に従って符号データを破棄する。これにより、意図しない画像情報の欠損を防ぎ、前景となる被写体の位置に依らず、仮想視点コンテンツの画像品質を安定させることができる。したがって、カメラからの距離が異なる複数の被写体が含まれていても距離が遠い被写体の画質劣化を抑制し画像のデータ量を適切に制御することができる。
【００９３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、カメラ毎に独立して符号量制御を行う。しかしながら、カメラ毎に切り出された被写体の数や距離が大きく異なる場合、それぞれのカメラで品質の保証に必要とされる符号量が異なるため、システム全体で符号量制御を行うことが望ましい。例えば、切り出された被写体の数が多いほど必要な符号量が大きくなる。そこで、第２の実施形態では、カメラアダプタ１１５が伝送帯域の飽和度を監視し、システム全体として符号量（データ量）を制御することで、画像の品質をさらに高める。以下では、第２の実施形態における画像処理システムにおいて、前述した第１の実施形態と異なる点についてのみ説明する。
【００９４】
図１２は、第２の実施形態における伝送部２２０内の構成例を示すブロック図である。図１２において、図８に示したブロックに対応するブロックには同一の符号を付し、重複する説明は省略する。図１２に示すように、第２の実施形態における伝送部２２０において、画像・音声伝送処理部２２４は、メッセージ制御部８２１、メッセージ保持領域８２２、及びパケット生成部８２３に加え、パケット制御部８２４及びパケット保持領域８２５を有する。このような構成により、デイジーチェーンの上流から伝送されるパケットと自身が生成するパケットの優先度を鑑みて、システム全体で画像の品質劣化を低減するための符号量制御を行う。
【００９５】
第２の実施形態において、パケット生成部８２３は、生成したパケットをパケット制御部８２４に出力する。パケット制御部８２４は、パケット生成部８２３及びネットワークアダプタ２１０からそれぞれ自視点とネットワーク上のパケットを受け取り、優先度に応じたパケットの破棄と、ネットワークアダプタ２１０へのパケットの出力を行う。パケット保持領域８２５は、パケット制御部８２４が受け取ったパケットを適宜保持するための領域である。
【００９６】
図１３（Ａ）及び図１３（Ｂ）は、パケット制御部８２４の処理例を示すフローチャートである。図１３（Ａ）には、パケットの優先度に応じた破棄を行う処理の例を示している。ステップＳ１３０１では、パケット制御部８２４にパケット＜ｐ＞が入力される。ステップＳ１３０２では、パケット制御部８２４が、パケット保持領域８２５の空き領域をチェックし、パケット保持領域８２５にパケット＜ｐ＞を保持できるか否かを判断する。パケット保持領域８２５にパケット＜ｐ＞を保持するための領域があると判断した場合（Ｙｅｓ）、ステップＳ１３０３で、パケット制御部８２４が、パケット＜ｐ＞をパケット保持領域８２５に格納して処理を終了する。
【００９７】
一方、ステップＳ１３０２において、パケット保持領域８２５にパケット＜ｐ＞を保持するための空き領域がないとパケット制御部８２４が判断した場合（Ｎｏ）、ステップＳ１３０４へ進む。ステップＳ１３０４では、パケット制御部８２４が、パケット保持領域８２５に格納されているパケット及びパケット＜ｐ＞の内で、パケット＜ｐ＞が最も優先度が低いパケットであるか否かを判断する。すなわち、パケット制御部８２４が、パケット保持領域８２５に格納されているメッセージの中で最も低い優先度とパケット＜ｐ＞の優先度とを比較する。
【００９８】
ステップＳ１３０４において、パケット＜ｐ＞が最も優先度が低いメッセージであると判断した場合（Ｙｅｓ）、ステップＳ１３０５で、パケット制御部８２４が、パケット＜ｐ＞を破棄して処理を終了する。一方、ステップＳ１３０４において、パケット＜ｐ＞が最も優先度が低いメッセージではないとパケット制御部８２４が判断した場合（Ｎｏ）、ステップＳ１３０６へ進む。すなわち、パケット保持領域８２５に格納されているパケットの内に最も優先度が低いメッセージがあるとパケット制御部８２４が判断した場合、ステップＳ１３０６へ進む。ステップＳ１３０６では、パケット制御部８２４が、パケット保持領域８２５の中で優先度が最も低いパケットを破棄して、ステップＳ１３０２に戻る。
【００９９】
図１３（Ｂ）には、ネットワークを流れるパケットと自視点のデータから生成したパケットをパケット保持領域８２５に一端格納し、優先度に応じてネットワークにパケットを伝送する処理の例を示している。ステップＳ１３１１では、パケット制御部８２４が、ネットワークアダプタ２１０へのパケットの出力可否を確認し、出力が可能になるまで待機する。出力が可能になったと判断すると、ステップＳ１３１２で、パケット制御部８２４が、パケット保持領域８２５の中で最も優先度が高いパケットをネットワークアダプタ２１０に出力する。
【０１００】
本実施形態では、パケット制御部８２４及びパケット保持領域８２５によって実現されるパケット破棄を制御する機能を、画像・音声伝送処理部２２４の一部として有する例を示した。ただし、すべての画像・音声伝送処理部２２４がパケット破棄の制御機能を有する必要はなく、一部の画像・音声伝送処理部２２４がパケット破棄の制御機能を有していてもよい。また、パケット破棄の制御機能が画像・音声伝送処理部２２４から独立した装置として成り、ネットワーク上に単体で設置される構成としてもよい。ここで説明したどの形態においても、パケット制御部８２４及びパケット保持領域８２５の機能は変わらない。
【０１０１】
また、本実施形態では被写体画像を解像度成分に分離する処理を、ウェーブレット変換ではなく、ＤＣＴ変換によって実現する。まず、被写体画像を８×８のブロックに分割し、ブロック単位にＤＣＴ変換を行う。このとき得られるＤＣＴ係数も８×８のブロックで得られ、左上ほど低周波の情報を表す。例えば、左上の４×４のブロックを取り出して逆変換を行えば、縦横方向のそれぞれにおいて解像度が半分の画像を得ることができる。図１４は、８×８のブロック単位でＤＣＴ変換した場合のＤＣＴ係数の解像度成分を表している。同じ番号を持つ係数は１つの解像度成分である。ブロックサイズをＫ×Ｋとし、解像度成分を表す番号をｉ（ｉ＜Ｋ）とした時、解像度成分の優先度Ｐを以下のように計算する。
【０１０２】
【数４】
2020092301.tif 000006
【０１０３】
これは、元の解像度に対するｉ番目の解像度成分が表す解像度の画素数の割合を表した指標となっている。本実施形態では、前述の解像度成分を取得するのにＪＰＥＧのアルゴリズムを流用する。ＪＰＥＧの画像符号化アルゴリズムは、大きく分けて、ブロック分割、ＤＣＴ変換、及び変換係数の符号化の３ステップで構成される、ここでは、変換係数の符号化に修正を加える。ＪＰＥＧでは変換係数をジグザグスキャン順に量子化してハフマン符号化する。本実施形態では、変換係数を図１４に示したように解像度成分に分離し、解像度成分単位で変換係数を量子化して符号化する。ここで得られた符号データを解像度成分として取り扱う。ただし、解像度成分の取得方法は、これに限らず、ブロック分割は任意の大きさでよく、変換係数の符号化方法もハフマン符号化ではなく算術符号化等の他のエントロピー符号化アルゴリズムを用いてもよい。また、解像度成分の分離方法として、本実施形態ではＤＣＴ変換の例を示したが、同じように周波数成分に分離可能なものであればよく、例えばアダマール変換を用いてもよい。
【０１０４】
第２の実施形態によれば、第１の実施形態と同様の効果が得られるとともに、ネットワーク全体で符号量を制御することで、カメラ間で必要な符号量の偏りを吸収し、システム全体として得られる画像情報の品質を高めることができる。
【０１０５】
（その他の実施形態）
本実施形態を構成する各装置のハードウェア構成について説明する。前述した実施形態では、カメラアダプタ１１５がＦＰＧＡ及び／又はＡＳＩＣ等のハードウェアを実装し、これらのハードウェアによって、前述した各処理を実行する場合の例を説明した。それはセンサシステム１１０内の各種装置や、フロントエンドサーバ１２１、データベース１２２、バックエンドサーバ１２３、及びコントローラ１３０についても同様である。しかしながら、これらの装置のうち、少なくとも何れかが、例えばＣＰＵ、ＧＰＵ、ＤＳＰ等を用い、ソフトウェア処理によって本実施形態の処理を実行するようにしても良い。
【０１０６】
図１５は、図２に示した機能構成をソフトウェア処理によって実現するための、カメラアダプタ１１５のハードウェア構成を示すブロック図である。なお、フロントエンドサーバ１２１、データベース１２２、バックエンドサーバ１２３、制御ステーション１３１、仮想カメラ操作ＵＩ１３２、及びエンドユーザ端末１５０等の装置も、図１５のハードウェア構成となりうる。カメラアダプタ１１５は、ＣＰＵ１５０１、ＲＯＭ１５０２、ＲＡＭ１５０３、補助記憶装置１５０４、表示部１５０５、操作部１５０６、通信部１５０７、及びバス１５０８を有する。
【０１０７】
ＣＰＵ１５０１は、ＲＯＭ１５０２やＲＡＭ１５０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１１５の全体を制御する。ＲＯＭ１５０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１５０３は、補助記憶装置１５０４から供給されるプログラムやデータ、及び通信部１５０７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置１５０４は、例えばハードディスクドライブ等で構成され、静止画や動画等のコンテンツデータを記憶する。
【０１０８】
表示部１５０５は、例えば液晶ディスプレイ等で構成され、ユーザがカメラアダプタ１１５を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）等を表示する。操作部１５０６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１５０１に入力する。通信部１５０７は、カメラ１１２やフロントエンドサーバ１２１等の外部の装置と通信を行う。例えば、カメラアダプタ１１５が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部１５０７に接続される。なお、カメラアダプタ１１５が外部の装置と無線通信する機能を有する場合、通信部１５０７はアンテナを備える。バス１５０８は、カメラアダプタ１１５の各部を繋いで情報を伝達する。
【０１０９】
なお、例えばカメラアダプタ１１５の処理のうち一部をＦＰＧＡで行い、別の一部の処理を、ＣＰＵを用いたソフトウェア処理によって実現するようにしてもよい。また、本実施形態では表示部１５０５と操作部１５０６はカメラアダプタ１１５の内部に存在するが、カメラアダプタ１１５は表示部１５０５及び操作部１５０６の少なくとも一方を備えていなくてもよい。また、表示部１５０５及び操作部１５０６の少なくとも一方がカメラアダプタ１１５の外部に別の装置として存在していて、ＣＰＵ１５０１が、表示部１５０５を制御する表示制御部、及び操作部１５０６を制御する操作制御部として動作してもよい。
【０１１０】
また、前述の実施形態は、画像処理システム１００が競技場やコンサートホール等の施設に設置される場合の例を中心に説明した。施設の他の例としては、例えば、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、ライブハウス等がある。また、各種施設で行われるイベントは、屋内で行われるものであっても屋外で行われるものであってもよい。また、本実施形態における施設は、一時的に（期間限定で）建設される施設も含む。
【０１１１】
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１１２】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１１３】
１００：画像処理システム  １１０：センサシステム  １１２：カメラ  １１４：外部センサ  １１５：カメラアダプタ  １２０：画像コンピューティングサーバ  １２１：フロントエンドサーバ  １２２：データベース  １２３：バックエンドサーバ  １３０：コントローラ  １３１：制御ステーション  １３２：仮想カメラ操作ＵＩ  １５０：エンドユーザ端末  ２１０：ネットワークアダプタ  ２１１：データ送受信部  ２２０：伝送部  ２２１：データ圧縮・伸張部  ２２４：画像・音声伝送処理部  ２３０：画像処理部  ２３１：前景背景分離部  ２３２：優先度生成部  ２３３：キャリブレーション制御部  ２４０：外部機器制御部  ３１１：前景分離部  ３２１：カメラパラメータ受信部  ３２２：解像度取得部  ３２３：分離パラメータ算出部  ３２４：優先度算出部  ８１１：画像符号化部  ８１２：メッセージ生成部  ８２１：メッセージ制御部  ８２２：メッセージ保持領域  ８２３：パケット生成部  ８２４：パケット制御部  ８２５：パケット保持領域
【図１】
2020092301.tif 000007
【図２】
2020092301.tif 000008
【図３】
2020092301.tif 000009
【図４】
2020092301.tif 000010
【図５】
2020092301.tif 000011
【図６】
2020092301.tif 000012
【図７】
2020092301.tif 000013
【図８】
2020092301.tif 000014
【図９】
2020092301.tif 000015
【図１０】
2020092301.tif 000016
【図１１】
2020092301.tif 000017
【図１２】
2020092301.tif 000018
【図１３】
2020092301.tif 000019
【図１４】
2020092301.tif 000020
【図１５】
2020092301.tif 000021