(57)【要約】【課題】  仮想視点画像を生成するための複数の撮像手段を有する各装置が、その通信路の許容範囲内での通信しながらも、画像生成装置では高い品位の仮想視点画像を生成する。【解決手段】仮想視点画像を生成するために利用される複数の視点位置の画像のうちの１つの視点位置の画像を提供する画像処理装置であって、第１の他の装置から受信した符号化画像データと、自身が有する撮像部で得た画像を可逆符号化して得た符号化画像データとの総データ量が予め設定された閾値を超える場合に符号量制御を行う制御部と、総データ量が閾値以下の場合には、受信した符号化画像データと自身が符号化した符号化画像データとを第２の他の装置に送信し、総データ量が閾値を超える場合には、制御部による符号量制御して得た符号化画像データを第２の他の装置に送信する送信部とを有する。【選択図】  図２
2019197973.tif 000002
【特許請求の範囲】
【請求項１】
仮想視点画像を生成するために利用される複数の視点位置の画像のうちの１つの視点位置の画像を提供する画像処理装置であって、
撮像手段からの画像を取得する取得手段と、
前記取得手段で取得した画像を変換して可逆の符号化データを生成する符号化手段と、
第１の他の装置から１以上の符号化画像データの受信が可能な受信手段と、
前記受信手段で受信した符号化画像データと前記符号化手段で符号化して得た符号化画像データとの総データ量が予め設定された閾値を超える場合に符号量制御を行う制御手段と、
前記総データ量が前記閾値以下の場合には、前記受信手段で受信した符号化画像データと前記符号化手段で符号化して得た符号化画像データとを第２の他の装置に送信し、前記総データ量が前記閾値を超える場合には、前記制御手段による符号量制御して得た符号化画像データを前記第２の他の装置に送信する送信手段とを有し、
前記制御手段は、
前記受信手段で受信した符号化画像データ、及び、前記符号化手段で得た符号化画像データのうち符号量削減対象の符号化画像データを特定し、当該特定した符号化画像データにおける符号量を削減するための対象となる変換係数を特定する特定手段と、
該特定手段で特定された符号化画像データの特定された変換係数の符号量を削減する削減手段とを有し、
総データ量が前記閾値以下となるまで、前記特定手段による特定と前記削減手段による削減を行う
ことを特徴とする画像処理装置。
【請求項２】
前記符号化手段が行う変換はウェーブレット変換であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記符号化手段は、前記取得手段で得た画像に対してウェーブレット変換して得た解像度それぞれのサブバンドのウェーブレット変換係数を、量子化せずに、所定の符号化を適用して可逆の符号化データを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特定手段は、複数の視点位置の並びに対して、予め設定された間隔の視点位置に対応する符号化画像データを順に特定していくことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特定手段は、特定した符号化画像データにおける、最大解像度から最小解像度に向かう順であって、１つの解像度に属する全サブバンドにおける可逆のウェーブレット変換係数を削減対象として特定し、
前記削減手段は、前記特定手段で特定したウェーブレット変換係数を、予め設定された量子化パラメータに従って量子化し、当該量子化後のウェーブレット変換係数を再符号化することを特徴とする
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特定手段は、特定した符号化画像データにおける、最大解像度から最小解像度に向かう順であって、且つ、１つの解像度に属する予め設定された順位に従った１つのサブバンドの可逆のウェーブレット変換を優先して削減対象として特定し、
前記削減手段は、前記特定手段で特定したウェーブレット変換係数を、予め設定された量子化パラメータに従って量子化し、当該量子化後のウェーブレット変換係数を再符号化することを特徴とする
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記特定手段は、特定した符号化画像データにおける、最大解像度から最小解像度に向かう順であって、１つの解像度に属する全サブバンドにおけるウェーブレット変換係数を削減対象として特定し、
前記削減手段は、
特定したウェーブレット変換係数が可逆であれば、予め設定された量子化パラメータに従って量子化し、当該量子化後のウェーブレット変換係数を再符号化し、
特定したウェーブレット変換係数が非可逆であれば、特定したウェーブレット変換係数を削除する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記特定手段は、特定した符号化画像データにおける、最大解像度から最小解像度に向かう順であって、１つの解像度に属する全サブバンドにおけるウェーブレット変換係数を削減対象として特定し、
前記削減手段は、特定したウェーブレット変換係数を削除する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記撮像手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、前記第１の他の装置を上流、前記第２の他の装置を下流としてデイジーチェーン接続されており、
当該デイジーチェーン接続の通信帯域における許容された帯域をＢ、デイジーチェーン接続された装置の個数をＮとし、前記画像処理装置が、最上流を０番目とした場合のｉ番目の装置である場合、
前記閾値は次式で定義される
閾値＝｛Ｂ／Ｎ｝×（ｉ＋１）
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
仮想視点画像を生成するために利用される複数の視点位置の画像のうちの１つの視点位置の画像を提供する画像処理装置の制御方法であって、
撮像手段からの画像を取得する取得工程と、
前記取得工程で取得した画像を変換して可逆の符号化データを生成する符号化工程と、
第１の他の装置から１以上の符号化画像データの受信が可能な受信工程と、
前記受信工程で受信した符号化画像データと前記符号化工程で符号化して得た符号化画像データとの総データ量が予め設定された閾値を超える場合に符号量制御を行う制御工程と、
前記総データ量が前記閾値以下の場合には、前記受信工程で受信した符号化画像データと前記符号化工程で符号化して得た符号化画像データとを第２の他の装置に送信し、前記総データ量が前記閾値を超える場合には、前記制御工程による符号量制御して得た符号化画像データを前記第２の他の装置に送信する送信工程とを有し、
前記制御工程は、
前記受信工程で受信した符号化画像データ、及び、前記符号化工程で得た符号化画像データのうち符号量削減対象の符号化画像データを特定し、当該特定した符号化画像データにおける符号量を削減するための対象となる変換係数を特定する特定工程と、
該特定工程で特定された符号化画像データの特定された変換係数の符号量を削減する削減工程とを有し、
総データ量が前記閾値以下となるまで、前記特定工程による特定と前記削減工程による削減を行う
ことを特徴とする画像処理装置の制御方法。
【請求項１２】
撮像手段と、他の装置との通信手段とを有するコンピュータが読み込み実行することで、前記コンピュータを、仮想視点画像を生成するために利用される複数の視点位置の画像のうちの１つの視点位置の画像を提供する画像処理装置として機能させるためのプログラムであって、
前記コンピュータに、
撮像手段からの画像を取得する取得工程と、
前記取得工程で取得した画像を変換して可逆の符号化データを生成する符号化工程と、
第１の他の装置から１以上の符号化画像データの受信が可能な受信工程と、
前記受信工程で受信した符号化画像データと前記符号化工程で符号化して得た符号化画像データとの総データ量が予め設定された閾値を超える場合に符号量制御を行う制御工程と、
前記総データ量が前記閾値以下の場合には、前記受信工程で受信した符号化画像データと前記符号化工程で符号化して得た符号化画像データとを第２の他の装置に送信し、前記総データ量が前記閾値を超える場合には、前記制御工程による符号量制御して得た符号化画像データを前記第２の他の装置に送信する送信工程とを実行させるためのプログラムであって、
前記制御工程は、
前記受信工程で受信した符号化画像データ、及び、前記符号化工程で得た符号化画像データのうち符号量削減対象の符号化画像データを特定し、当該特定した符号化画像データにおける符号量を削減するための対象となる変換係数を特定する特定工程と、
該特定工程で特定された符号化画像データの特定された変換係数の符号量を削減する削減工程とを有し、
総データ量が前記閾値以下となるまで、前記特定工程による特定と前記削減工程による削減を行う
ことを特徴とするプログラム。
【請求項１３】
複数の視点位置の画像を撮像するための複数の撮像装置と、当該複数の撮像装置の末端に位置する撮像装置から前記複数の視点位置の画像を示す符号化データを受信し、仮想視点画像を生成する画像生成装置とで構成される画像処理システムであって、
前記複数の撮像装置は直列に接続されており、
当該複数の撮像装置それぞれは、
撮像手段からの画像を取得する取得手段と、
前記取得手段で取得した画像を変換して可逆の符号化データを生成する符号化手段と、
上流から転送されてくる１以上の符号化画像データの受信が可能な受信手段と、
前記受信手段で受信した符号化画像データと前記符号化手段で符号化して得た符号化画像データとの総データ量が予め設定された閾値を超える場合に符号量制御を行う制御手段と、
前記総データ量が前記閾値以下の場合には、前記受信手段で受信した符号化画像データと前記符号化手段で符号化して得た符号化画像データとを下流へ送信し、前記総データ量が前記閾値を超える場合には、前記制御手段による符号量制御して得た符号化画像データを下流へ送信する送信手段とを有し、
前記制御手段は、
前記受信手段で受信した符号化画像データ、及び、前記符号化手段で得た符号化画像データのうち符号量削減対象の符号化画像データを特定し、当該特定した符号化画像データにおける符号量を削減するための対象となる変換係数を特定する特定手段と、
該特定手段で特定された符号化画像データの特定された変換係数の符号量を削減する削減手段とを有し、
総データ量が前記閾値以下となるまで、前記特定手段による特定と前記削減手段による削減を行う
ことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は仮想視点画像を生成するための撮像画像の転送技術に関するものである。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置し、それら複数のカメラによる同期撮影を行うことで得た複数視点画像から、仮想視点から見た仮想視点コンテンツ（仮想視点画像）を生成する技術が注目されている。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールにおいて、実際のカメラが入り込めない様々な視点位置のハイライトシーンを生成できるため、通常の画像と比較してユーザに高臨場感を与えることが出来る。
【０００３】
一方、複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に転送を行うことで実現する。
【０００４】
また、特許文献１では、複数のカメラをそれぞれとペアとなる制御ユニットを介して光ファイバで接続し、制御ユニットに各カメラの画像フレームを蓄積し、蓄積された画像フレームを使って連続的な動きを表現する画像出力を行うことについて記載されている。
【０００５】
特許文献１のような、複数カメラの撮影画像をサーバに集約して仮想視点コンテンツを生成するシステムでは、カメラの台数に応じてネットワークの伝送負荷が増加する。そこで、サーバに転送する画像情報の総情報量を削減する様々な方法がある。たとえば、特許文献２ではビット深度の高いカメラとビット深度の低いカメラを組み合わせて用いることで、得られる画像情報の情報量を低減する場合について記載されている。また、特許文献３では、解像度の高いカメラと解像度の低いカメラを組み合わせて用いることで、得られる画像情報の情報量を低減する場合について記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７１０６３６１号
【特許文献２】特許第４５７８５６６号
【特許文献３】特許第４５７８５６７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２や特許文献３記載の方法では、ビット深度や解像度が異なる画像から仮想視点コンテンツを生成するために、非常に複雑な処理を必要とする。さらに、人物などを仮想視点コンテンツの対象とする場合には、その詳細について対応点を取る必要があり、ビット深度や解像度が異なる画像を用いる場合には、精度のよい対応点をとることができない。そのため、仮想視点コンテンツを作成する人物などの領域はロスレスで転送することが望ましい。
【０００８】
また、特許文献１のような、複数カメラの撮影画像をサーバに集約して仮想視点コンテンツを生成するシステムでは、カメラの台数に応じてネットワークの伝送負荷とサーバの演算負荷が増加する。そのため、自由視点合成の対象物を抜き出し、抜き出した画像領域のみをサーバに転送するようなことも行われる。しかし、画像の一部とは言え、仮想視点コンテンツをロスレス符号化すると、転送データ量が増大する。
【０００９】
さらに、リアルタイムでの仮想視点コンテンツ作成の実現に対する要望もあり、これに応えるためには、データの転送遅延を小さくすると同時に、サーバ側でのデコード処理が軽いほうが望ましい。
【００１０】
上記の通りなので、仮想視点コンテンツの高画質な伝送、転送データ量の抑制、および、サーバでのデコード処理負荷の軽減を行うことが望ましい。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、仮想視点画像を生成するための複数の撮像手段を有する各装置が、その通信路の許容範囲内での通信しながらも、画像生成装置では高い品位の仮想視点画像を生成することを可能ならしめる技術を提供しようとするものである。
【課題を解決するための手段】
【００１２】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
仮想視点画像を生成するために利用される複数の視点位置の画像のうちの１つの視点位置の画像を提供する画像処理装置であって、
撮像手段からの画像を取得する取得手段と、
前記取得手段で取得した画像を変換して可逆の符号化データを生成する符号化手段と、
第１の他の装置から１以上の符号化画像データの受信が可能な受信手段と、
前記受信手段で受信した符号化画像データと前記符号化手段で符号化して得た符号化画像データとの総データ量が予め設定された閾値を超える場合に符号量制御を行う制御手段と、
前記総データ量が前記閾値以下の場合には、前記受信手段で受信した符号化画像データと前記符号化手段で符号化して得た符号化画像データとを第２の他の装置に送信し、前記総データ量が前記閾値を超える場合には、前記制御手段による符号量制御して得た符号化画像データを前記第２の他の装置に送信する送信手段とを有し、
前記制御手段は、
前記受信手段で受信した符号化画像データ、及び、前記符号化手段で得た符号化画像データのうち符号量削減対象の符号化画像データを特定し、当該特定した符号化画像データにおける符号量を削減するための対象となる変換係数を特定する特定手段と、
該特定手段で特定された符号化画像データの特定された変換係数の符号量を削減する削減手段とを有し、
総データ量が前記閾値以下となるまで、前記特定手段による特定と前記削減手段による削減を行うことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、仮想視点画像を生成するための複数の撮像手段を有する各装置が、その通信路の許容範囲内での通信をしながらも、画像生成装置では高い品位の仮想視点画像を生成することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】複数カメラによる撮影システムの構成を示すブロック図。
【図２】第１の実施形態における転送データ作成処理を示すフローチャート。
【図３】第１の実施形態における送信用符号量制御処理を示すフローチャート。
【図４】第１の実施形態における符号データ削減処理を示すフローチャート。
【図５】ウェーブレット変換により生成されるサブバンドを説明するための図。
【図６】第１の実施形態の変形例における符号データ削減処理を示すフローチャート。
【図７】第１の実施形態およびその変形例における符号データ削除結果の違いを示す図。
【図８】第２の実施形態における符号データ削減処理を示すフローチャート。
【図９】第３の実施形態における符号データ削減処理を示すフローチャート。
【図１０】第４の実施形態における転送データ作成処理を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１６】
［第１の実施形態］
図１（ａ）は、実施形態における画像処理システムを構成する複数のセンサシステムが競技場（図示の場合はサッカーフィールド）を囲むように設置されている様を示している。図１（ｂ）は、実施形態における画像処理システム１００のブロック構成図でさる。この画像処理システム１００は、センサシステム１０１Ａ〜１０１Ｌ、仮想視点画像生成装置として機能する画像コンピューティングサーバ２００、およびスイッチングハブ１５０、ネットワーク３００、さらには、エンドユーザ端末４００を有する。
【００１７】
エンドユーザ端末４００はパーソナルコンピュータ等の情報処理装置であって、仮想視点の位置と方向を設定し、その情報を画像コンピューティングサーバ２００にネットワーク３００を介して送信する。そして、画像コンピューティングサーバ２００は、その情報に従い、センサシステム１０１Ａ〜１０１Ｌからの画像データから、指定された仮想視点位置と方向の仮想視点画像を生成し、符号化する。そして、画像コンピューティングサーバ２００は、その符号化画像データをエンドユーザ端末４００に送信する。エンドユーザ端末４００は、符号化画像データを復号し、表示する。画像コンピューティングサーバ２００とエンドユーザ端末４００間の通信や処理は、この発明の主眼ではない。
【００１８】
そこで、センサシステム１０１Ａ〜１０１Ｌの１２セットで得た画像を画像コンピューティングサーバ２００へ送信する動作を説明する。
【００１９】
本実施形態の画像処理システム１００におけるセンサシステム１０１Ａ〜１０１Ｌは伝送路でデイジーチェーン（直列）接続される。伝送路は特に問わないが、例えばネットワークで利用されるイーサケーブル等である。センサシステム１０１Ａは、カメラ１１１Ａ、カメラ１１１Ａの撮像により得た画像の符号化処理、及び、この符号化で得た符号化画像データを通信路１３０Ａへ転送を行うカメラアダプタ１２０Ａを有する。センサシステム１０１Ａ以外のセンサシステム１０１Ｂ〜１０１Ｌも同様の構成を有する。すなわち、センサシステム１０１Ａの下流に位置するセンサ１０１Ｂは、カメラ１１１Ｂ、カメラアダプタ１２０Ｂを有する。また、末端に位置するセンサシステム１０１Ｌもカメラ１１１Ｌ、カメラアダプタ１２０Ｌを有する。
【００２０】
本実施形態において、センサシステム１０１Ａ〜１０１Ｌまでの１２セットのうち、特に区別せず、いずれでも良い場合、その１つを単にセンサシステム１０１と記載し、内部構成についてもカメラ１１１、カメラアダプタ１２０と記載する。なお、実施形態では、センサシステムの台数として１２セットと記載しているが、あくまでも一例であり、台数をこれに特に限定されるものではない。また、本実施形態では、特に断りがない限り、画像という文言は、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツは、仮想視点画像である例を説明するが、これに限らない。仮想視点音声が含まれる例を中心に説明するが、例えば、センサシステム１０１にマイクを含めて、仮想視点コンテンツとして画像と音声が含まれてもよい。ただし、音声については、本発明の主眼ではないので、本実施形態での説明は割愛する。
【００２１】
実施形態における画像処理システム１００は、図１（ａ）に示すように、被写体を複数の方向から撮影するための複数のセンサシステム１０１を有する。センサシステム１０１同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。
【００２２】
なお、これに限らず、接続形態として、各センサシステム１０１Ａ〜１０１Ｌがスイッチングハブ１５０に接続されて、スイッチングハブ１５０を経由してセンサシステム１０１間のデータ送受信を行うスター型のネットワーク構成としてもよい。
【００２３】
また、図１（ａ）では、デイジーチェーンとなるようセンサシステム１０１Ａ〜１０１Ｌの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム１０１をいくつかのグループに分割して、分割したグループ単位でセンサシステム１０１間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。
【００２４】
センサシステム１０１におけるカメラアダプタ１２０は、上流の装置（カメラアダプタ１２０Ａにとっては画像コンピューティングサーバ２００、カメラアダプタ１２０Ｂにとってはセンサシステム１０１Ａ）から受信した各種設定情報の受信と保持、並びに、設定処理を行う。
【００２５】
また、カメラアダプタ１２０は、カメラ１１１による撮影で得た画像から、仮想視点画像の対象物となる被写体を分離する。そして、カメラアダプタ１２０は、分離された被写体画像を符号化し、その符号化で得た符号化画像データを下流の装置に向けて転送する。
【００２６】
例えば、カメラアダプタ１２０Ａは、カメラ１１１Ａによる撮像で得た画像から、仮想視点画像の対象物となる被写体を分離し、その分離した画像を符号化する。そして、カメラアダプタ１２０Ａは、符号化画像データを伝送路１３０Ａを介して下流のセンサシステム１０１Ｂに転送する。
【００２７】
センサシステム１０１Ｂのカメラアダプタ１２０Ｂは、センサシステム１０１Ａのカメラアダプタ１２０Ａと同様、カメラ１１１Ｂより撮像した画像から被写体を分離し、符号化する。そして、カメラアダプタ１２０Ｂは、その符号化画像データと、センサシステム１０１Ａから受信した符号化画像データとを下流に位置するセンサシステム１０１Ｃに通信路１３０Ｂを介して転送する。センサシステム１０１Ｃ以降も同じである。
【００２８】
つまり、図１（ａ）に示すように、センサシステム１０１Ａと１０１Ｂの間には、センサシステム１０１Ａで作成された符号化画像データＡのみが転送される。センサシステム１０１Ｂと１０１Ｃの間では、センサシステム１０１Ａ，１０１Ｂが作成した符号化画像データＡ，Ｂが転送される。同様に、センサシステム１０１Ｃと１０１Ｄの間では、センサシステム１０１Ａ〜１０１Ｃで作成された３つの符号化画像データＡ，Ｂ，Ｃが転送される。従って、デイジーチェーンの末端に位置するセンサシステム１０１Ｌには、センサシステム１０１Ａ〜１０１Ｋで作成された１１の符号化画像データＡ，Ｂ，…、Ｋが到達する。そして、センサシステム１０１Ｌは、センサシステム１０１Ｋから転送されてきた１１個の符号化画像データＡ〜Ｋに、自ら作成した符号化画像データＬを加えた１２個の符号化画像データＡ，Ｂ，…、Ｌを画像コンピューティングサーバ２００に転送することになる。
【００２９】
なお、本実施形態では、カメラ１１１とカメラアダプタ１２０が分離された構成にしているが、同一筺体で一体化されていてもよい。
【００３０】
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、ハードウェア的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ネットワークＩ/Ｆ、ＨＤＤ等のストレージデバイスで構成され、所謂、パーソナルコンピュータ等に代表される情報処理装置である。電源がＯＮになると、ＣＰＵはＨＤＤかえらＯＳ（オペレーティングシステム）をＲＡＭにロードし実行することで、情報処理装置として機能する。更に、ＣＰＵは、ＨＤＤからサーバプログラムをＲＡＭにロードし、ＯＳの元で実行することで、画像コンピューティングサーバ２００として機能する。
【００３１】
画像コンピューティングサーバ２００は、センサシステム１０１Ｌから取得した符号化画像データＡ〜Ｌに対する処理を行う。このため、画像コンピューティングサーバ２００は、フロントエンドサーバ２１０、データベース２２０（以下、ＤＢとも記載する。）、バックエンドサーバ２３０、タイムサーバ２４０を有する。なお、実施形態では、１台の装置が、ソフトウェアを実行することで、フロントエンドサーバ２１０、データベース２２０、バックエンドサーバ２３０、タイムサーバ２４０として機能するものとするが、これら個々の機能を独立した装置で実現しても構わない。
【００３２】
タイムサーバ２４０は時刻及び同期信号を配信する機能を有し、スイッチングハブ１５０を介してセンサシステム１０１Ａ〜１０１Ｌに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０Ａ〜１２０Ｌは、カメラ１１１Ａ〜１１１Ｌに対し、時刻と同期信号をもとにＧｅｎｌｏｃｋさせ撮像する画像フレームの同期を行う。即ち、タイムサーバ２４０は、複数のカメラ１１１の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。
【００３３】
フロントエンドサーバ２１０は、センサシステム１０１に対する設定処理、並びに、センサシステム１１１Ｌから取得した画像を、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２２０に書き込む処理を行う。設定処理には、センサシステム１０１Ａ乃至１０１Ｌのそれぞれに対し、それぞれが最上流から何番目のセンサシステムであるかを通知する処理、後述するカウンタＣの設定処理、再符号化する際の各階層、各サブバンドの量子化パラメータセットを設定する処理が含まれる。
【００３４】
次に、バックエンドサーバ２３０は、エンドユーザ端末４００から指定された仮想視点の位置と方向に基づいて、データベース２２０から対応する画像を読み出し、レンダリング処理を行って仮想視点画像を生成する。そして、バックエンドサーバ２３０は、生成した仮想視点画像を符号化し、その符号化画像データをエンドユーザ端末４００に送信する。
【００３５】
なお、実施形態では、エンドユーザ端末４００にて仮想視点の位置と方向の設定を行うものとするが、画像コンピューティングサーバ２００がその機能を代替しても構わない。このためには、画像コンピューティングサーバ２００にユーザインターフェース（表示装置とユーザからの指示入力を行うための入力装置）を設け、仮想視点の位置と方向を設定するアプリケーションプログラムを実行させればよい。また、センサシステムの同期システムや画像コンピューティングサーバ２００の構成はこれに限らず様々な形態が考えられるが、本件の主眼ではないので細かい説明は割愛する。
【００３６】
このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１１による撮影に基づく画像データに基づいて、バックエンドサーバ２３０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した論理的な構成に限定される訳ではなく、物理的に独立した構成で実現してもよい。
【００３７】
次に、カメラアダプタ１２０によって、分離された被写体画像に対して施される画像処理について説明する。なお、被写体を分離する方法は、あらかじめ学習した物体を検出する方法や、予め被写体無しの画像を背景画像として記憶保持し、背景画像と異なる領域を動体検出として検出する方法など様々な方法が考えられるが、本件の主眼ではないので詳しい説明は割愛する。
【００３８】
カメラアダプタ１２０は、分離した被写体画像をロスレス圧縮し、伝送路１３０を用いて隣接する下流のカメラアダプタに転送する。この際、カメラアダプタ１２０は、予め用意された２種類のロスレス圧縮方法の一方を選択して、被写体画像の符号化を行う。１つ目の方法は、被写体画像に対してＤＷＴ（離散ウェーブレット変換）を行うことなく、画素毎にロスレス圧縮する方法(以下、第１のロスレス圧縮と呼ぶ)である。２つ目は被写体画像全体に対して離散ウェーブレット変換（ＤＷＴ）を予め設定された回数行い、ウェーブレット変換係数（以下、ＤＷＴ係数）をロスレス圧縮する方法(以下、第２のロスレス圧縮と呼ぶ)である。
【００３９】
第１のロスレス圧縮は、例えば、ラスタースキャン順に、画素単位に例えばゴロム符号化するものである。第１のロスレス圧縮は、ＤＷＴ処理を行わないため（ＤＷＴの実行回数が０回ということもできる）、符号化、復号処理に係る処理負荷は非常に小さい。しかし、第１のロスレス圧縮は、符号量制御には不向きな方法であると言える。そのため、本実施形態においては、第１のロスレス圧縮で生成された符号化画像データは符号量制御対象とはしない。
【００４０】
一方、第２のロスレス圧縮は、ＤＷＴ処理を行うので、第１のロスレス圧縮より処理に係る負荷は大きい。しかし、第２のロスレス圧縮処理で得た符号化画像データは、量子化パラメータを調整することで、容易に非可逆（ロッシー）の符号化画像データに変更できる。それ故、第２のロスレス圧縮で得た符号化画像データは符号量制御対象とする。なお、最初の符号化処理ではＤＷＴ変換は必須になるが、一旦生成されたロスレス符号化画像データをロッシー符号化データに変更する場合には、ＤＷＴ係数まで復元しさえすれば、後は量子化、エントロピー符号化（例えばゴロム符号化）だけで良くなる。つまり、第２のロスレス圧縮で生成されたロスレス符号化データをロッシー符号化データへの変更に係る処理は、ＤＷＴ変換処理が無くなる分、処理負荷は小さいと言える。
【００４１】
次に、上記２つの圧縮方法を利用した、カメラアダプタ１２０Ａ〜１２０Ｌの各々が実行する転送データに係る処理を図２のフローチャートを用いて説明する。なお、以下に説明する処理は、カメラアダプタ１２０Ａ〜１２０Ｌの中の１つを着目カメラアダプタ１２０と定義し、その着目カメラアダプタ１２０が行うものとして説明する。着目カメラアダプタ１２０以外の他のカメラアダプタも同様の処理を行うものと理解されたい。
【００４２】
ステップＳ２０１にて、着目カメラアダプタ１２０は、自身が有する内部メモリから、初期カウンタＴ、および、カウンタ間隔Ｇを取得する。これら初期カウンタＴ及びカウンタ間隔Ｇは、本画像処理システム１００が稼動する際に画像コンピューティングサーバ２００から設定されるものである。カウンタ間隔Ｇは、全センサシステム１０１に共通な値であり、実施形態では“３”である。また、初期カウンタ値Ｔは、カメラアダプタ１２０Ａ、１２０Ｂ，１２０Ｃ、１２０Ｄ…の順番に、０、１、２、０、１、２…と、上流から下流に向かって０、１、２が繰り替えされるように設定される。例えば、カメラアダプタ１２０Ｃには、Ｔ＝２、Ｇ＝３が設定されることになる。また、実施形態では、センサシステムは１２個存在する。故に、初期カウンタＴが０として設定されるカメラアダプタの個数、初期カウンタＴが１として設定されるカメラアダプタの個数、初期カウンタＴが２として設定されるカメラアダプタの個数はそれぞれ４つとなる。
【００４３】
ステップＳ２０２にて、着目カメラアダプタ１２０は、内部メモリに予め確保された変数としてのカウンタＣに初期カウンタＴを代入することで、カウンタＣを初期化する。この結果、カメラアダプタ１２０Ａ、１２０Ｂ、…それぞれのカウンタＣは、それぞれの初期カウンタＴの値と同じ、０、１、２、０、１、２…が設定されることになる。
【００４４】
ステップＳ２０３にて、着目カメラアダプタ１２０は、撮影が開始されるタイミングを待つ。このタイミングは、既に説明したように、タイムサーバ２４０から設定に従ったものとなる。
【００４５】
撮影が開始されると、着目カメラアダプタ１２０は処理をステップＳ２０４へ進める。このステップＳ２０４において、着目カメラアダプタ１２０は、カメラ１１１で撮像して得られた画像から分離した被写体領域の画像を、圧縮対象の着目フレーム画像として取得する。すなわち、仮想視点コンテンツの対象を撮影画像から検出し、その検出領域のみが圧縮対象の着目フレーム画像として取得される。この場合、被写体の領域は１領域とは限らないため、複数の領域を圧縮対象のフレーム画像として取得されることもある。ただし、本実施形態では説明を簡略化するために、１つの領域のみが検出され、圧縮対象のフレーム画像とするものとして説明する。
【００４６】
ステップＳ２０５にて、着目カメラアダプタ１２０は、カウンタＣが“０”であるか否かを判定することで、着目フレーム画像を第１のロスレス圧縮、第２のロスレス圧縮のいずれに従って符号化するかを判定する。実施形態では、カウンタＣが“０”の場合、着目カメラアダプタ１２０は着目フレーム画像を第１のロスレス圧縮（符号量制御不可の符号化法）で符号化する。それ故、カウンタＣが“０”の場合、着目カメラアダプタ１２０は処理をステップＳ２０６に進める。
【００４７】
また、カウンタＣが“０”以外の場合（“１”又は“２”のいずれかである場合）、着目カメラアダプタは着目フレーム画像を第２のロスレス圧縮（符号量制御可の符号化法）で符号化する。それ故、カウンタＣが“０”以外の場合、着目カメラアダプタ１２０は処理をステップＳ２０８に進める。
【００４８】
ステップＳ２０６にて、着目カメラアダプタ１２０は、着目フレーム画像を第１のロスレス圧縮に従って符号化する。実施形態では、ラスタースキャン順に、着目画素をゴロム符号化を行うものとしている。なお、画素単位に単純に可逆符号化できれば良いので、直前の画素値との差分を求め、その差分に所定の可逆符号化（ゴロム符号）を適用して符号化する等の他の手法でも良い。
【００４９】
また、ステップＳ２０８に処理が進んだ場合、着目カメラアダプタ１２０は、着目フレーム画像を第２のロスレス圧縮に従って符号化する。すなわち、着目カメラアダプタ１２０は、着目フレーム画像に対し、予め設定された回数分ＤＷＴ変換（ウェーブレット変換）を行い、ＤＷＴ係数を得る。そして、着目カメラアダプタ１２０はそのＤＷＴ係数を、コンポーネン毎にロスレス符号化する。実施形態におけるＤＷＴ変換する回数は３回とする。またＤＷＴ係数のロスレス符号化はゴロム符号化を用いるものとするが、他の符号化を用いても良い。
【００５０】
これまでの説明から明らかなように、実施形態の画像処理システムには１２個のカメラアダプタ１２０が存在する。よって、そのうちの４つがステップＳ２０６の第１のロスレス圧縮処理を行い、残りの８つがステップＳ２０８の第２のロスレス圧縮処理を行うことになる。
【００５１】
ステップＳ２０９にて、着目カメラアダプタ１２０は、カウンタＣに“１”を加算し、その加算した値をカウンタ間隔Ｇで除算した際の余りで、カウンタＣの値を更新する。つまり、カウンタＣの値は、０〜Ｇ−１の間を循環するように更新される。カメラアダプタ１２０Ａは、初期カウンタＴは“０”であるので、１フレームの符号化画像データを生成するたびに、０、１、２、０、１、２…の順にカウンタＣが更新されることになる。また、カメラアダプタ１２０Ｂは、初期カウンタＴは“１”であるので、１フレームの符号化画像データを生成するたびに、１、２、０、１、２、０…の順にカウンタＣが更新されることになる。
【００５２】
上記を、センサシステム１０１Ａ〜１０１Ｌの全体について表現すれば、次の通りである。
【００５３】
センサシステム１０１Ａ〜１０１ＬそれぞれのカウンタＣは、撮影を開始した最初のフレームでは、０、１、２、０、１、２、…、２であったが、その次のフレームでは、１、２、０、１、２、０、…、０となる。そして、その次のフレーム撮影時には、２、０、１、２、０、…、１となる。なお、このカウンタＣの値は、各符号データのデータ番号として、後の符号量制御の際に参照される。
【００５４】
ステップＳ２１０にて、着目カメラアダプタ１２０は、下流に転送することになる符号データの総量に基づき、符号量制御処理を実施する。この符号量制御処理の具体例については図３を用いて後述する。
【００５５】
ステップＳ２１１にて、着目カメラアダプタ１２０は、ステップＳ２１０による符号量制御によって得たデータを、下流に転送するため、内部の送信バッファに出力し、送信する。そして、ステップＳ２１２にて、着目カメラアダプタ１２０は、画像コンピューティングサーバ２００から、撮影終了を示す指示を受信したか否かを判定し、否の場合には処理をステップＳ２０４に戻す。また、画像コンピューティングサーバ２００から、撮影終了を示す指示を受信した場合、カメラアダプタ１２０は本処理を終了する。
【００５６】
次に、ステップＳ２１０の符号量制御の処理について、図３の処理フローを用いて説明する。
【００５７】
本処理を分かりやすくするため、カメラアダプタ１２０Ａ〜１２０Ｌに、上流から下流になる順に番号０〜１１を割り振る。そして、番号ｉが示すカメラアダプタ１２０で生成される符号化データをＤ（ｉ）と表し、その符号量をＳ（ｉ）と表す。そして、図３の処理を行う着目カメラアダプタは、便宜的に、第ｎ番目（ｎ＝０、１、…、１１のいずれか）であるとする。すると、着目カメラアダプタ１２０は、上流のカメラアダプタから符号化画像データＤ（０）、Ｄ（１）、…、Ｄ（ｎ−１）を受信することになる。そして、着目カメラアダプタ１２０は、自身が接続されたカメラ１１１の撮像した画像から分離した被写体画像の符号化画像データＤ（ｎ）を生成することになる。この生成する符号化データＤ（ｎ）は、図２のステップＳ２０６、又は、Ｓ２０８で生成されたものである。そして、着目カメラアダプタ１２０は、符号化画像データＤ（０）、…、Ｄ（ｎ）を下流に転送することになる。かかる点を踏まえ、着目カメラアダプタ１２０の符号量制御処理を、図３のフローチャートに従って説明する。
【００５８】
ステップＳ３０１にて、着目カメラアダプタ１２０は、上流から伝送路１３０を通じて符号画像データ群Ｇｃを受信し、その符号化画像データ群のデータサイズＧｓを求める。Ｇｃ，Ｇｓは次のように表せる。
Ｇｃ＝｛Ｄ（０）、…、Ｄ（ｎ−１）｝
Ｇｓ＝Ｓ（０）＋…＋Ｓ（ｎ−１）
【００５９】
ステップＳ３０２にて、着目カメラアダプタ１２０は、自身が生成した符号化データＤ（ｎ）（ステップＳ２０６またはＳ２０８で生成した符号データ）と、その符号量Ｓ（ｎ）を取得する。
【００６０】
そして、ステップＳ３０３にて、着目カメラアダプタ１２０は、下流に転送することになる符号化画像データの総データ量TotalSizeを算出する。総データ量TotalSizeは次式で得られる。
TotalSize＝Ｇｓ＋Ｓ（ｎ）
【００６１】
ステップＳ３０４にて、着目カメラアダプタ１２０は、内部メモリより、転送可能な上限サイズを示す閾値Ｍを取得する。このＭは、本画像処理システムにおける画像コンピューティングサーバ２００から設定されるものであり、センサシステム１０１Ａ〜１０１Ｌを接続する伝送帯域、もしくは本システムがその伝送帯域で利用許可された帯域を示す値である。
【００６２】
ステップＳ３０５にて、着目カメラアダプタ１２０は、ステップＳ３０４で取得した閾値Ｍと、ステップＳ３０３で算出した送信すべき符号データの総データ量TotalSizeを比較する。
【００６３】
Ｍ≧TotalSizeの関係にある場合、着目カメラアダプタ１２０は、符号量制御無しに、上流から受信した符号化データＧｃ、及び、自身が生成した可逆符号化データＤ（ｎ）をそのまま下流に転送しても構わないと判断し、本処理を終える。
【００６４】
一方、Ｍ＜TotalSizeの関係にある場合、着目カメラアダプタは、処理をステップＳ３０６に進め、TotalSizeをＭ以下とするため、符号化画像データＤ（０）、…、Ｄ（ｎ）の符号量削減処理を行う。
【００６５】
ステップＳ３０６の処理の説明の前に、第２のロスレス圧縮におけるＤＷＴで生成されるサブバンドデータについて説明する。一般に、ＤＷＴをｍ回行った場合に得られるサブバンドの個数は、｛３×ｍ＋１｝になる。実施形態では、ＤＷＴを３回行うものとしているので、得られるサブバンドは図５のように１０個となる。
【００６６】
本実施形態では、低周波サブバンドＬＬから順に０、１、２、…、９の番号を付与して説明する。また、最小の解像度の階層番号を０とし、解像度が大きくなるにつれて階層番号が１増えるような階層番号を付与する。
【００６７】
したがって、ＤＷＴの実行回数＝１の時には、階層番号は最小解像度から０、１の２階層となり、階層番号０最小解像度０のサブバンド０（ＬＬ）と、階層番号１のサブバンド１（ＨＬ）、２（ＬＨ）、３（ＨＨ）が得られることになる。
【００６８】
そして、ＤＷＴの実行回数＝３の場合、サブバンドの階層は４階層になる。故に、階層番号は最小解像度から０、１、２、３となる。つまり、ＤＷＴの回数＝最大解像度の階層番号となる。
【００６９】
また、解像度を１サイズ大きくするのに必要になるサブバンドをまとめて階層と呼ぶ。階層番号＝０はサブバンド０（ＬＬ）の１つのみから構成されるが、階層番号が１以上は高周波サブバンド｛ＨＬ，ＬＨ，ＨＨ｝から構成される。すなわち、階層番号＝１は、サブバンド１，２，３から、階層番号＝２はサブバンド４，５，６から構成される。よって、階層番号＝Ａは、サブバンド３×Ａ−２、３×Ａ−１、３×Ａから構成される。
【００７０】
上記を踏まえ、ステップＳ３０６の符号量制御処理を図４のフローチャートに従って説明する。ここでもう一度、着目カメラアダプタ１２０は、センサシステム１０１Ａ〜１０１Ｌにおける、最上流を０番目とするｎ番目のセンサシステムに属する点に注意されたい。また、着目カメラアダプタ１２０は、上流より符号化画像データＤ（０）、…、Ｄ（ｎ−１）を受信し、自身は符号化画像データＤ（ｎ）を生成する点も注意されたい。
【００７１】
また、着目カメラアダプタ１２０は、自身が保持するカウンタＣの値から、他のカメラアダプタが保持しているカウンタＣの値を特定できる。例えば、着目カメラアダプタ１２０がカメラアダプタ１２０Ｂであり、そのカウンタＣが仮に１であるとき、上流のカメラアダプタ１２０Ａが保持しているカウンタＣは０であり、カメラアダプタ１２０Ｃが保持しているカウンタＣは２、カメラアダプタ１２０Ｄが保持しているカウンタＣは０であると特定できる。換言すれば、着目カメラアダプタ１２０は、上流より受信した符号化画像データＤ（０）、…、Ｄ（ｎ−１）、及び、自信が生成した符号化画像データＤ（ｎ）のいずれが第１のロスレス圧縮に従って得た符号化画像データであり、いずれが第２のロスレス圧縮に従って得た符号化データであるかを判定できる。
【００７２】
そこで、本実施形態における着目カメラアダプタは、符号化画像データＤ（０）、…、Ｄ（ｎ）のうち、第２のロスレス圧縮に従って生成された符号化画像データを特定し、その中からロスレス符号化されている階層のＤＷＴ係数をロッシー符号化に変更することでデータ量を削減する。実施形態では、データ量を削減する符号化画像データは、その符号化データを生成した際のカウンタＣの値によって選択される。例えば、カウンタＣが“１”であるときに生成した符号化画像データのうち、最大階層の符号化データをロッシー符号化し、データ量の削減を図る。更に削減が必要な場合には、カウンタＣが“２”であるとき生成した符号化画像データのうち、最大階層の符号化データをロッシー符号化し、データ量を削減する。そして、それでも、更に削減が必要な場合には、カウンタＣが“１”であるときに生成した符号化データのうち、最大階層から１つ下階層の符号化データをロッシー符号化に変更する。以下、かかる処理をステップＳ３０５が示す条件が満足するまで繰り返す。
【００７３】
図４は、図３のステップＳ３０６の処理の具体例である。なお、以下に説明する各変数は、着目カメラアダプタ１２０内の不図示の内部メモリに確保されているものである。
ステップＳ４０１にて、着目カメラアダプタ１２０は、削減対象の階層番号を表すための変数Ｒに最大階層番号を設定する。これは、変数Ｒが示す階層番号のロスレス符号データがロッシー符号データに変換されることを意味する。本実施形態では、ＤＷＴは３回実行するものとしているので、変数Ｒは“３”で初期化されることになる。なお、以下の説明で、変数Ｒが示す階層を単に階層Ｒと表現する。
【００７４】
ステップＳ４０２にて、着目カメラアダプタ１２０は、階層Ｒのロスレス符号化データをロッシー符号化データに変換する際の量子化パラメータを内部メモリより取得する。この量子化パラメータは全センサシステムのカメラアダプタに共通であり、画像コンピューティングサーバ２００からの指示に従って格納されるものである。
【００７５】
ステップＳ４０３にて、着目カメラアダプタ１２０は、データ量削減対象の符号化画像データを選定するために用いる変数Ｐを、“１”で初期化する。実施形態では、カウンタＣ＝０の場合に生成された符号化画像データは第１のロスレス圧縮であって、符号量削減非対象の符号化データである。よって、変数Ｐは“０”以外であれば、“２”で初期化しても構わない。
【００７６】
上記によって、符号化画像データＤ（０）、…、Ｄ（ｎ）のうちの変数Ｐで特定される符号化画像データ（１つとは限らない）の、階層Ｒのロスレス符号化データがロッシー符号データに変換されるための条件設定が行われたことになる。
【００７７】
ステップＳ４０４にて、着目カメラアダプタ１２０は、符号化画像データを特定するための変数ｉに“０”を代入し、初期化する。
【００７８】
次に、ステップＳ４０５にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）を生成した際のカウンタＣの値が、変数Ｐが示す値と一致するか否かを判定する。符号化画像データＤ（ｉ）を生成したときのカウンタＣの値が、着目カメラアダプタ１２０が保持するカウンタＣの値から判定できるのは、既に説明した通りである。なお、符号化画像データのヘッダに、カウンタＣの値を格納されるようにするのであれば、それに従って判定しても構わない。
【００７９】
符号化画像データＤ（ｉ）を生成したときのカウンタＣの値が、変数Ｐで示される値と一致した場合、符号化画像データＤ（ｉ）は符号量削減対象の候補となる。そこで、着目カメラアダプタ１２０は処理をステップＳ４０６に進める。また、符号化画像データＤ（ｉ）を生成したときのカウンタＣの値が、変数Ｐで示される値と不一致であった場合、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）が符号量削減候補ではないと判断し、処理をステップＳ４０９に進める。
【００８０】
ステップＳ４０６にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）における、階層Ｒのデータがロスレスデータであるかを確認する。ロスレスデータであるかどうかは、符号化画像データＤ（ｉ）の階層Ｒの量子化パラメータを参照し、量子化されていない場合はロスレスデータであると判断する。階層Ｒがロスレスデータである場合、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）の階層Ｒの符号データを削減することが可能であると判断し、処理をステップＳ４０７へ進める。また、階層Ｒのデータがロッシーデータと判断した場合、着目カメラアダプタ１２０は、階層Ｒについてはこの段階でのデータ削減処理を行わないものと決定し、処理をステップＳ４０９へ進める。なお、階層Ｒのデータがロッシーデータとなっている状況は、着目カメラアダプタよりも上流に位置する他のカメラアダプタにて既にロッシーデータに変更されたことを意味する。
【００８１】
ステップＳ４０７にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）の階層Ｒを復号し、ＤＷＴ係数を復元する。そして、ステップＳ４０８にて、着目カメラアダプタ１２０は、復元して得たＤＷＴ係数を、先のステップＳ４０２で取得した階層Ｒの量子化パラメータを使って量子化し、量子化後のＤＷＴ係数を再符号化する。
【００８２】
ステップＳ４０９にて、着目カメラアダプタ１２０は、変数ｉに“１”を加算することで、変数ｉを更新する。そして、ステップＳ４１０にて、着目カメラアダプタ１２０は、変数ｉの値と、着目カメラアダプタの順位を表す値“ｎ”とを比較する。ｉ≦ｎの関係にある場合、着目カメラアダプタ１２０は処理をステップＳ４０５に戻し、ｉ＞ｎの関係になるまで上述した処理を繰り返す。そして、ｉ＞ｎの関係を満たした場合、着目カメラアダプタ１２０は処理をステップＳ４１１に進める。
【００８３】
上記の結果、着目カメラアダプタ１２０は、符号化画像データＤ（０）、…、（ｎ）のうちの幾つかが再符号化され、その符号量が削減されることになる。それ故、ステップＳ４１１において、着目カメラアダプタ１２０は、総データ量TotalSizeを改めて算出して更新する。そして、ステップＳ４１２にて、着目カメラアダプタ１２０は、更新後の総データ量TotalSizeと閾値Ｍとの比較を行う。Ｍ≧TotalSizeの関係にある場合、着目カメラアダプタ１２０は、下流に転送すべき符号化画像データに対する削減処理が完了したと判断し、本処理を終える。この結果、データ量が削減された符号化画像データを含む符号化画像データＤ（０）、…、Ｄ（ｎ）が下流に転送されることになる。一方、Ｍ＜TotalSizeの関係にある場合、着目カメラアダプタ１２０は、現状の符号化画像データ量では送信できないと判断し、処理をステップＳ４１３に進める。
【００８４】
ステップＳ４１３にて、着目カメラアダプタ１２０は、変数Ｐに“１”を加算し、更新する。そして、ステップＳ４１４にて、変数Ｐが示す値がカウンタ間隔を示す変数Ｇと一致するか否かを判定する。変数Ｐの値は、０〜Ｇ−１の範囲の値しかとらない。そのため、変数ＰとＧが一致していれば、第２のロスレス圧縮処理で得た全ての符号化画像データの階層Ｒのロッシーデータへの変更が完了したことを意味する。それ故、変数ＰとＧが一致した場合、着目カメラアダプタ１２０は、ステップＳ４１５に処理を進める。また、変数ＰとＧが不一致である場合、着目カメラアダプタ１２０は処理をステップＳ４０４に戻す。
【００８５】
ステップＳ４１５にて、着目カメラアダプタ１２０は、ロッシー符号化する対象の階層を、これまでよりも１つ下とすべく、変数Ｒから“１”減じ、変数Ｒを更新する。そして着目カメラアダプタ１２０は処理をステップＳ４０２に戻す。
【００８６】
以上説明したように実施形態によれば、ＤＷＴ係数を符号化したデータの階層データを使って符号量制御を行うことで、転送時間を制御し、伝送遅延を小さくできる。さらに、第１のロスレス圧縮の符号化画像データは一定間隔（実施形態では３）で生成され、必ずロスレス符号化データとして転送されるため、仮想視点コンテンツ作成時に、ロッシー符号化による画質劣化の影響を小さくすることができる。
【００８７】
また、符号量を削減する対象の符号化画像データは、センサシステム１０１Ａ〜１０１Ｌの論理的な並びの間に２つ入れて選択されていく。従って、センサシステム１０１Ａ〜１０１Ｌが物理的に図１（ａ）に示すように配置されている場合には、隣接する視点位置の符号化画像データが削減されるのでなく、分散した視点位置の符号化画像データの符号量が削減されていくので、符号量削減による画質劣化が偏った視点位置に集中することを抑制できる。
【００８８】
また、再符号化する際には、ＤＷＴ係数まで復元できれば良いため（ＤＷＴ処理を行う必要はないため）、その処理負荷を小さくできる。
【００８９】
なお、上記実施形態では、ＤＷＴを行う回数を３回に固定して説明したが、カメラアダプタの数とフレーム間隔に応じて適宜変更してもよい。たとえば、カウンタ間隔Ｇが小さい値の時には、削減対象となる符号化画像データ群Ｄ（ｘ）として特定される符号化画像データの数が多くなるため、階層数が少なくてもよい。一方、カウンタ間隔Ｇが大きい値の場合には、削減対象となる符号化画像データ群Ｄ（ｘ）として特定される符号化画像データの数が少なくなるため、階層数(ＤＷＴの実行回数）を増やして、削減可能な範囲を広げてもよい。
【００９０】
ここで上記実施形態におけるデータ転送量の上限を示す閾値Ｍと総データ量TotalSizeとの比較について考察する。上流に位置するカメラアダプタほど、それより上流のカメラアダプタから受信する符号化データの個数は少ないと言える。つまり、上流に位置するカメラアダプタほど、総データ量は閾値以下となる傾向にある。換言すれば、下流に位置するカメラアダプタほど総データ量は閾値を超える蓋然性が高くなる。これは、第２のロスレス圧縮で生成された符号化画像データのロッシーデータへの変更処理を行う頻度は、下流のカメラアダプタほど多くなることを意味する。そこで、この処理負荷の偏りを分散させるため、閾値Ｍをカメラアダプタ毎に異なるようにしても良い。
【００９１】
例えば、センサシステム１０１Ａ〜１０１Ｌを接続する伝送路において、本システムが利用可能な通信帯域のうちの許容される帯域をＢとし、センサシステム１０１の個数をＮとしたとき、画像コンピューティングサーバ２００のフロントエンドサーバ２１０は、第ｉ番目（ｉ＝０、１、…、Ｎ−１のいずれか）のセンサシステム１０１のカメラアダプタに対する閾値Ｍを次式（１）により求める。
Ｍ＝｛Ｂ／Ｎ｝×（ｉ＋１）…（１）
そして、フロントエンドサーバ２１０は、各カメラアダプタに対して、それぞれ用に算出した値Ｍを閾値として設定させる。カメラアダプタ１２０Ａ〜１２０Ｌに設定された閾値Ｍは異なるものとなるが、各カメラアダプタは図２乃至図４のフローチャートに従って処理を行えばよい。この結果、符号量制御処理による処理の負荷が下流側に集中することを回避できるようになる。
【００９２】
［第１の実施形態の変形例］
上記第１の実施形態では、ステップＳ４０８による処理対象は階層Ｒに属する全サブバンド（ＨＬ，ＬＨ、ＨＨの３つのサブバンド）のＤＷＴ係数であった。つまり、削減対象のＤＷＴ係数が比較的多く、その階層の符号量削減処理で削減されるデータ量は比較的多く、図４のＳ４０５以降の処理の繰り返し回数を少なくできる。しかし、これでは、必要以上にデータ量を削減してしまい、逆に画質劣化の度合いが大きくなる蓋然性が増していく。
【００９３】
そこで、本変形例では、階層単位ではなく、サブバンドを単位としてデータ量削減を行う方法について説明する。本変形例と上記第１の実施形態との差異は、図４に示す符号データ削減処理のフローのみである。従って、画像処理システムの構成は第１の実施形態と同じであるものとし、その説明については省略する。
【００９４】
図６は、本変形例におけるデータ量削減処理を示すフローチャートである。同図は上記のように図４に代わるものである。すなわち、図６に係る処理は、図３に示すステップＳ３０６の処理に相当することになる点に注意されたい。なお。図６の処理において、第１の実施形態と同じ処理について、図４と同じ参照符号を付し、その詳細な説明を割愛する。
【００９５】
ステップＳ６０１にて、着目カメラアダプタ１２０は、データ削減対象のサブバンド番号を特定するための変数Ｓに、最大サブバンド番号を代入し初期化する。本実施形態の場合、ＤＷＴの実行回数が３回であるため、最大サブバンド番号は“９”となる（図５を参照されたい）。以降、変数Ｓで示されるサブバンドを単にサブバンドＳと記す。
【００９６】
ステップＳ６０２にて、着目カメラアダプタ１２０は、内部メモリから、サブバンドＳのロスレスデータをロッシーデータに変更するための量子化パラメータを取得する。
【００９７】
ステップＳ４０３〜Ｓ４０５は第１の実施形態と同様の動作をする。
【００９８】
ステップＳ４０５にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）の生成時のカウンタＣの値が、変数Ｐが示す値と同じであるか否かを判定する。符号化画像データＤ（ｉ）の生成時のカウンタＣの値が変数Ｐが示す値と同じである場合、着目カメラアダプタ１２０は処理をステップＳ６０３へ進める。
【００９９】
ステップＳ６０３において、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）のサブバンドＳのデータがロスレスデータかどうかを判定する。すなわち、サブバンドＳが量子化されていなければロスレスデータと判断する。サブバンドＳのデータがロスレスデータの場合、着目カメラアダプタ１２０は、処理をステップＳ６０４へ進め、そうでなければ、ステップＳ４０９へ進める。
【０１００】
ステップＳ６０４にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）のサブバンドＳのデータをデコードし、サブバンドＳのＤＷＴ係数を取得する。そして、ステップＳ６０５にて、着目カメラアダプタ１２０は、得られたＤＷＴ係数を先のステップＳ６０２で取得した量子化パラメータを使って量子化し、再符号化する。
【０１０１】
ステップＳ４０９〜Ｓ４１４までは第１の実施形態と同様の動作をする。ステップＳ４１４にて、着目カメラアダプタ１２０は、変数Ｐの値とカウンタ間隔Ｇとを比較し、両者が一致していれば、処理をステップＳ６０６に進め、不一致である場合には処理をＳ４０４に戻す。
【０１０２】
ステップＳ６０６に処理が進むのは、カウンタＣが変数Ｐで示した値であったときに生成された全ての符号化画像データのサブバンドＳをロッシーデータに変更した場合である。それ故、ステップＳ６０６にて、着目カメラアダプタ１２０は、次のサブバンドの符号量制御を行うため、変数Ｓを“１”だけ減じることで、変数Ｓを更新し、処理をステップＳ６０２へ処理を戻す。
【０１０３】
上記の本変形例によれば、最大階層“３”のサブバンドＨＨ，ＬＨ，ＨＬの順に、ロッシーデータに変換され符号量が削減されていく。そして、それでも削減量が足りない場合には、次の階層“２”のサブバンドＨＨ，ＬＨ，ＨＬの順に削減処理が移っていくことになる。
【０１０４】
ここで、上記第１の実施形態と本変形例による符号化画像データのデータ量の違いを図７の模式図を参照して説明する。説明を簡単にするため、同図は１つのセンサシステムで生成された符号化画像データのデータ構造を示している。同図の参照符号７０１は全てのサブバンドがロスレス符号化されている状態を示している。参照符号７０２は本変形例による符号量削減処理で得た符号化画像データの例を示す。そして、参照符号７０３は、先に説明した第１の実施形態における符号量削減処理後の符号化画像データを示している。第１の実施形態による符号化画像データ７０３は、階層１、２に含まれる６つのサブバンドすべてがロッシーに変更されるが、本変形例によれば、階層２に含まれる３つのサブバンドと、階層２ではサブバンド３のみがロッシーになる。そのため、第１の実施形態よりも画質が良い状態で転送できることになるのは明らかである。
【０１０５】
また、本変形例でも、センサシステム内のすべてのカメラアダプタで同じ方法でデータを削減するものとするが、各センサシステムに設定する閾値Ｍを、先に示した式（１）に従って設定することで、再符号化に係る負担を分散させるようにしても良い。
【０１０６】
［第２の実施形態］
第１の実施形態では、階層単位にロスレスデータをロッシーデータに変換した。しかし、仮想視点コンテンツの生成のための対応点を取る際に、低解像度であってもロスレスでデータを再生できる方が望ましい場合もある。そこで、本第２の実施形態では、低解像度のデータはロスレスデータとして転送することを優先する例を説明する。第１の実施形態と本第２の実施形態の差異は、図４のステップＳ３０６の符号量削減処理のみである。
【０１０７】
よって、以下ではステップＳ３０６の詳細を、図８のフローチャートに従って説明する。なお、図８は、第１の実施形態における図４に代わるものである。よって、図４と同じ処理については、同じ参照符号を付し、その説明は割愛する。
【０１０８】
ステップＳ４０１〜Ｓ４０５の処理は第１の実施形態と同じである。ステップＳ４０６にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）の階層Ｒのデータがロスレスデータであるか判定する。階層Ｒがロスレスデータであれば、着目カメラアダプタ１２０は、第１の実施形態と同様に処理をステップＳ４０７へ進める。また、符号化画像データＤ（ｉ）の階層Ｒのデータがロッシーデータである場合、着目カメラアダプタは処理をステップＳ８０１に進める。
【０１０９】
このステップＳ８０１にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）の階層Ｒの符号化データを全て削除する。そして、ステップＳ８０２にて、着目カメラアダプタ１２０は、階層Ｒのデータがすべて削除されたことを示すため、符号化画像データＤ（ｉ）のヘッダ情報を書き換える。たとえば、各階層の符号データサイズがヘッダに記載されているのであれば、着目カメラアダプタ１２０は、階層Ｒの符号データサイズとして０を書き込む。あるいは、画像サイズを階層「Ｒ−１」でデコード可能な画像サイズに書き換えてもよい。最終的に、仮想視点コンテンツを生成する際に、階層Ｒのデータが無いことが分かる情報を出力すればよい。ステップＳ８０２の処理を終えると、着目カメラアダプタ１２０は処理をステップＳ４０９へ進め、変数ｉに“１”を加算することで更新する。ステップＳ４１０〜Ｓ４１４は第１の実施形態とまったく同じ動作であるので、ここでの説明は割愛する。
【０１１０】
上記本第２の実施形態によれば、第１の実施形態に比べて、最大階層の符号化データは、ロスレスデータ→ロッシーデータ→削除という経緯を踏む。この結果、解像度が低いほど、ロスレスデータが維持される蓋然性を高めることができるようになる。
【０１１１】
［第３の実施形態］
第１、第２の実施形態では、ＤＷＴ変換後の符号化で得たデータを一律に画質を落すことで、たとえ低画質であっても、センサシステム１２０Ａ〜１２０Ｌの全てで生成された符号データが画像コンピューティングサーバ２００に届くようにした。
【０１１２】
しかし、センサシステム１２０Ａ〜１２０Ｌの全てが必ず正常に動作するとは限らない。そのような状況を想定し、全てのセンサシステムからの符号データが揃わなくても、仮想視点コンテンツを生成できるロバスト性の高いアルゴリズムを画像コンピューティングサーバ２００が実装している場合もある。そこで、本第３の実施形態では、ＤＷＴ係数をロスレス符号化したデータを間引くことで、転送データ量を制御する方法について説明する。
【０１１３】
具体的には、着目カメラアダプタ１２０は、符号化画像データＤ（０）、…、Ｄ（ｎ）のうち、変数Ｐが示す値と同じカウンタＣで生成された符号化画像データＤ（ｉ）の１つを特定する。そして、着目カメラアダプタ１２０は、送信符号データの総データ量TotalSizeが閾値Ｍ以下となるまで、符号化画像データＤ（ｉ）の最大解像度の階層から順に符号化データを削除する。もし、ＬＬサブバンドまで削除して、符号化画像データＤ（ｉ）を完全に削除しても、さらなるデータ削減が必要な場合、着目カメラアダプタは変数Ｐが示すカウンタＣで生成された他の符号化画像データについても同様に行う。それでも削減が足りない場合には、変数Ｐの値を更新し、削減対象の符号化画像データを特定する。
【０１１４】
本第３の実施形態と、第１、第２の実施形態との差異は、図３のステップＳ３０６の符号データ削減処理であり、それ以外は同じである。図９は、本第３の実施形態における符号データ削除処理のフローチャートである。これは、図４、図６に代わるものと理解されたい。
【０１１５】
ステップＳ９０１にて、着目カメラアダプタ１２０は、削除対象のカウンタＣの値を特定するための変数Ｐに“１”を代入し、初期化する。ステップＳ９０２にて、着目カメラアダプタ１２０は、符号化画像データの特定するための変数ｉに“０”を代入し、初期化する。
【０１１６】
ステップＳ９０３にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）が削除されているか否かを判定する。削除されている場合、着目カメラアダプタ１２０は処理をステップＳ９１２に進める。一方、符号化画像データＤ（ｉ）が存在する場合、着目カメラアダプタ１２０は、処理をステップＳ９０４に進める。ステップＳ９０４にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）を生成した際のカウンタＣの値と、変数Ｐが示す値とが一致しているか否かを判定する。不一致の場合、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）は削除対象外であると判定し、処理をステップＳ９１２に進める。また、一致した場合、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）は削除対象であると判定し、処理をステップＳ９０５に進める。
【０１１７】
ステップＳ９０５にて、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）に含まれる符号化データの中で最大階層の番号が何であるのかを、変数Ｒに代入する。そして、ステップＳ９０６にて、符号化画像データＤ（ｉ）の階層Ｒの符号化データを全て削除する。そして、ステップＳ９０７にて、着目カメラアダプタ１２０は、階層Ｒのデータがすべて削除されたことを示すため、符号化画像データＤ（ｉ）のヘッダ情報を書き換える。このステップＳ９０６、Ｓ９０７の処理は、図８のステップＳ８０１，Ｓ８０２と同じ処理であるともいえる。そして、ステップＳ９０８にて、着目カメラアダプタ１２０は、総データ量TotalSizeを改めて算出して更新する。そして、ステップＳ９０９にて、着目カメラアダプタ１２０は、更新後の総データ量TotalSizeと閾値Ｍとの比較を行う。Ｍ≧TotalSizeの関係にある場合、着目カメラアダプタ１２０は、下流に転送すべき符号化画像データに対する削減処理が完了したと判断し、本処理を終える。一方、Ｍ＜TotalSizeの関係にある場合、着目カメラアダプタ１２０は、更なる符号化データの削除が必要であると判定し、処理をステップＳ９１０に進める。
【０１１８】
ステップＳ９１０にて、着目カメラアダプタ１２０は、削除対象の階層を１つ下にするため、変数Ｒから“１”を減じ、変数Ｒを更新する。そして、ステップＳ９１１にて、着目カメラアダプタ１２０は、変数Ｒと“０”とを比較する。変数Ｒの値が０以上の場合、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）には削除可能な符号化データが残っていると判定し、処理をステップＳ９０６に戻す。一方、変数Ｒが“０”未満（“−１”）の場合、着目カメラアダプタ１２０は、符号化画像データＤ（ｉ）の全階層の符号化データ削除されたこと、すなわち、符号化画像データＤ（ｉ）が存在しなくなったと判定し、処理をステップＳ９１２に進める。
【０１１９】
ステップＳ９１２にて、着目カメラアダプタ１２０は、変数ｉに“１”を加算し、変数ｉを更新する。そして、ステップＳ９１３にて、着目カメラアダプタ１２０は、更新後の変数ｉの値と、着目カメラアダプタの順位を表す値“ｎ”とを比較する。ｉ≦ｎの関係にある場合、着目カメラアダプタ１２０は処理をステップＳ９０３に戻す。そして、ｉ＞ｎの関係を満たしていると判定した場合、着目カメラアダプタ１２０は処理をステップＳ９１４に進める。ステップＳ９１４にて、着目カメラアダプタ１２０は、削除対象となる符号化データを変更するため、変数Ｐに“１”を加算し、変数Ｐを更新する。そして、着目カメラアダプタ１２０は処理をステップＳ９０２に戻す。
【０１２０】
以上説明した処理によれば、第１、第２の実施形態と比較すると、転送される符号データの数は減ってしまうが、サーバ側で受け取るロスレス符号データを増やすことができるようになる。
【０１２１】
なお、仮想視点画像を生成するためには多くの視点位置の画像が存在することが望まれるが、一方で、或る適当な下限数の視点画像が得られれば、当初の目的の画質の仮想視点画像を生成できるものである。その意味で、この下限数までは上記のような削減処理を行っても良い。
【０１２２】
［第４の実施形態］
第１〜第３の実施形態では、１２個のセンサシステム１０１Ａ〜１０１Ｌのうち、カウンタＣが０となる４個のセンサシステムは第１のロスレス圧縮を行い、カウンタＣが１、又は２となる８個のセンサシステムは第２のロスレス圧縮を行った。
【０１２３】
本第４の実施形態では、全センサシステムがＤＷＴを実行する、第２のロスレス圧縮を行う例を説明する。
【０１２４】
本第４の実施形態を第１の実施形態との差異は、図２の転送データ作成に係る処理である。そこで、本第４の実施形態における転送データ作成フローを図１０のフローチャートに従って説明する。
【０１２５】
図１０において、図２と異なるのは、ステップＳ２０５の判定処理と、ステップＳ２０６の画素値のロスレス圧縮が無いということだけである。その他は図２と同じであるので、同一参照符号を付しその説明は割愛する。
【０１２６】
ステップＳ２０１〜Ｓ２０４は第１の実施形態とまったく同じ動作である。ステップＳ２０４にて着目カメラアダプタが取得したフレーム画像は必ず、ステップＳ２０８にて、第２のロスレス圧縮が実行され、ロスレスの符号化画像データが生成される。ステップＳ２０９以降の処理も第１の実施形態と全く同じであるため、ここでの説明は割愛する。
【０１２７】
そして、ステップＳ２１０における処理が第１の実施形態と同じである、故、本第４の実施形態によれば、全センサシステムは第２のロスレス圧縮に従って符号化画像データを生成するが、カウンタＣが“０”の場合に生成された、第２のロスレス圧縮に従った符号化画像データについては再符号化されること無く、画像コンピューティングサーバ２００に供給されることになる。
【０１２８】
以上説明したように第１乃至第４の実施形態によれば、システム全体の符号量制御ができると同時に、サーバ側では最低限のロスレスデータを受信することができる。したがって、サーバ側では、高品位な仮想視点コンテンツをリアルタイムに作成することが可能になる。
【０１２９】
［その他の実施形態］
第４の実施形態では、すべてセンサシステムは被写体画像に対してＤＷＴを実行し、第１の実施形態と同様に階層毎にデータを削減する方法について述べた。しかし、第１の実施形態の変形例で示したサブバンドを単位としたデータ削減、第２の実施形態で示した階層を単位としたデータ削減、第３の実施形態で示した符号データの削減と組み合わせてもよい。
【０１３０】
また、本実施形態では、ＤＷＴ係数をゴロム符号を用いてロスレス圧縮していたが、ＪＰＥＧ２０００のロスレス圧縮を用いてもよい。すなわち、ＪＰＥＧ２０００の５３フィルタを用いてＤＷＴ係数を作成し、ビットプレーン符号化することでＤＷＴを用いたロスレス符号データを作成する。その場合、符号量制御時には、各サブバンドの符号データの最後尾からデータを削除することで符号量を削減する。ビットプレーン符号化は、ゴロム符号よりも処理負荷が大きいためセンサシステム１０１でのエンコード、画像コンピューティングサーバ２００側でのデコードの処理負荷は重くなることが予想される。しかし、符号量制御時には、ＤＷＴ係数の復号、量子化、再符号化する必要が無く、符号データのままビットプレーンデータを削除することができるため、符号量制御時の処理負荷が軽減される。
【０１３１】
上記の通り、実施形態の特徴的な処理を行うのは、センサシステムにおけるカメラアダプタの処理にある。このカメラアダプタの全機能をプログラムによって実現しても良いし、その一部をハードウェアや回路で実現しても構わない。プログラムで実現する場合には、そのプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３２】
１００…画像処理システム、１０１Ａ〜１０１Ｌ…センサシステム、１１１Ａ〜１１１Ｌ…カメラ、１２０Ａ〜１２０Ｌ…カメラアダプタ、１５０…スイッチングハブ、２００…画像コンピューティングサーバ、３００…ネットワーク、４００…エンドユーザ端末
【図１】
2019197973.tif 000003
【図２】
2019197973.tif 000004
【図３】
2019197973.tif 000005
【図４】
2019197973.tif 000006
【図５】
2019197973.tif 000007
【図６】
2019197973.tif 000008
【図７】
2019197973.tif 000009
【図８】
2019197973.tif 000010
【図９】
2019197973.tif 000011
【図１０】
2019197973.tif 000012