(57)【要約】【課題】送信されるデータ量をより適切に低減することを目的とする。【解決手段】複数のセンサシステム１１０それぞれから同期して送信される画像データの総符号量に基づいて、複数のセンサシステム１１０から送信される画像データの少なくとも一部の送信を停止する停止制御を行うか否かを決定し、停止制御を行うことが決定された場合、複数のセンサシステム１１０の撮影条件と、送信された画像データに対する処理に予め定められた技術が利用されるか否かと、のうちの少なくとも１つに基づいて、複数の区分のうち、停止制御の対象となる区分を決定し、決定された区分に含まれるセンサシステム１１０それぞれについて、停止制御を行う。【選択図】図６
2020174232.tif 000002
【特許請求の範囲】
【請求項１】
仮想視点画像の生成に用いられる複数の画像データを撮影することに基づき取得する複数の撮影部であって、焦点距離又は画角に応じ複数の区分に分けられている前記複数の撮影部のそれぞれで符号化された画像データの総符号量に基づいて、符号化された画像データの少なくとも一部の送信を停止する停止制御を行うか否かを決定する第１の決定手段と、
前記第１の決定手段により前記停止制御を行うことが決定された場合、前記複数の撮影部の撮影条件と、送信された画像データに対する処理に予め定められた技術が利用されるか否かと、のうちの少なくとも１つに基づいて、前記複数の区分のうち、前記停止制御の対象となる区分を決定する第２の決定手段と、
前記第２の決定手段により決定された区分に含まれる撮影部のそれぞれに対して、前記停止制御を行う制御手段と、
を有する情報処理装置。
【請求項２】
前記総符号量の増加速度の度合を取得する取得手段を更に有し、
前記第２の決定手段は、前記第１の決定手段により前記停止制御を行うことが決定され、かつ、前記取得手段により取得された前記度合が予め定められた条件を満たす場合、前記複数の区分の全てを、前記停止制御の対象となる区分として決定する請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記総符号量が第１の閾値以上となってから、前記第１の閾値よりも大きい第２の閾値以上となるまでに、前記複数の撮影部から送信されたフレームの数を、前記度合として取得する請求項２に記載の情報処理装置。
【請求項４】
前記増加速度は、前記第２の閾値と前記第１の閾値との差分を、前記総符号量が第１の閾値以上となってから、前記第１の閾値よりも大きい第２の閾値以上となるまでの期間で除すことで求まる指標である請求項３に記載の情報処理装置。
【請求項５】
前記予め定められた条件は、前記度合が予め定められた閾値未満となる条件である請求項３又は４に記載の情報処理装置。
【請求項６】
前記第２の決定手段は、前記第１の決定手段により前記停止制御を行うことが決定された場合、前記技術が利用されるか否かに基づいて、前記複数の区分のうち、前記停止制御の対象となる区分を決定する請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記第２の決定手段は、前記第１の決定手段により前記停止制御を行うことが決定され、且つ、前記技術が利用されない場合、前記複数の区分のうち予め定められた区分を、前記停止制御の対象となる区分として決定する請求項６に記載の情報処理装置。
【請求項８】
前記第２の決定手段は、前記第１の決定手段により前記停止制御を行うことが決定され、且つ、前記技術が利用される場合、前記複数の区分のうち、前記制御手段により実行された前記停止制御の回数に応じて定まる区分を、前記停止制御の対象となる区分として決定する請求項７に記載の情報処理装置。
【請求項９】
前記技術は、超解像技術である請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
前記第２の決定手段は、前記第１の決定手段により前記停止制御を行うことが決定された場合、前記複数の撮影部の撮影条件に基づいて、前記複数の区分のうち、前記停止制御の対象となる区分を決定する請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項１１】
前記第２の決定手段は、前記第１の決定手段により前記停止制御を行うことが決定され、且つ、前記複数の撮影部の撮影条件であるＩＳＯ感度が予め定められた閾値よりも大きい場合、前記複数の区分のうち予め定められた区分を、前記停止制御の対象となる区分として決定する請求項１０に記載の情報処理装置。
【請求項１２】
前記第２の決定手段は、前記第１の決定手段により前記停止制御を行うことが決定され、且つ、前記複数の撮影部の撮影条件であるＩＳＯ感度が前記閾値以下である場合、前記複数の区分のうち、前記制御手段により実行された前記停止制御の回数に応じて定まる区分を、前記停止制御の対象となる区分として決定する請求項１１に記載の情報処理装置。
【請求項１３】
前記停止制御は、画像データの少なくとも一部を削除することで、前記少なくとも一部の送信を停止する制御である請求項１乃至１２の何れか１項に記載の情報処理装置。
【請求項１４】
情報処理装置が実行する情報処理方法であって、
仮想視点画像の生成に用いられる複数の画像データを撮影することに基づき取得する複数の撮影部であって、焦点距離又は画角に応じ複数の区分に分けられている前記複数の撮影部のそれぞれで符号化された画像データの総符号量に基づいて、符号化された画像データの少なくとも一部の送信を停止する停止制御を行うか否かを決定する第１の決定ステップと、
前記第１の決定ステップで前記停止制御を行うことが決定された場合、前記複数の撮影部の撮影条件と、送信された画像データに対する処理に予め定められた技術が利用されるか否かと、のうちの少なくとも１つに基づいて、前記複数の区分のうち、前記停止制御の対象となる区分を決定する第２の決定ステップと、
前記第２の決定ステップで決定された区分に含まれる撮影部のそれぞれに対して、前記停止制御を行う制御ステップと、
を含む情報処理方法。
【請求項１５】
コンピュータを、請求項１乃至１３の何れか１項に記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
複数のカメラを異なる位置に設置して多視点で同期撮影し、取得された複数視点の画像を用いて仮想視点画像を生成する技術がある。上記のようにして複数視点の画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から閲覧することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
複数視点の画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバ等の画像処理部に集約し、画像が集約された画像処理部にて、三次元モデルの生成、レンダリング等の処理を施し、ユーザ端末に送信を行うことで実現できる。
【０００３】
特許文献１には、複数のカメラをそれぞれとペアになる制御ユニットを介して光ファイバで接続し、制御ユニットに各カメラの画像フレームを蓄積し、蓄積された画像フレームを使って連続的な動きを表現する画像出力を行う技術が開示されている。
仮想視点画像の閲覧をほぼリアルタイムで実現する場合には、複数のカメラが撮影して取得した画像をその都度、サーバ等の画像処理部に送信することが行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７１０６３６１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１のような、複数カメラの撮影画像をサーバに集約して仮想視点画像を生成する技術においては、カメラの台数に応じてネットワークの送信負荷が増加する。送信負荷が増加により、通信帯域が超えてしまう可能性がある。この場合、仮想視点画像の画質に寄与する重要な画像が送信されない場合が生じる。
そこで、本発明では、送信されるデータ量をより適切に低減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、仮想視点画像の生成に用いられる複数の画像データを撮影することに基づき取得する複数の撮影部であって、焦点距離又は画角に応じ複数の区分に分けられている前記複数の撮影部のそれぞれで符号化された画像データの総符号量に基づいて、符号化された画像データの少なくとも一部の送信を停止する停止制御を行うか否かを決定する第１の決定手段と、前記第１の決定手段により前記停止制御を行うことが決定された場合、前記複数の撮影部の撮影条件と、送信された画像データに対する処理に予め定められた技術が利用されるか否かと、のうちの少なくとも１つに基づいて、前記複数の区分のうち、前記停止制御の対象となる区分を決定する第２の決定手段と、前記第２の決定手段により決定された区分に含まれる撮影部のそれぞれに対して、前記停止制御を行う制御手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、送信されるデータ量をより適切に低減することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理システムのシステム構成の一例を示す図である。
【図２】センサシステムの設置状況の一例を示す図である。
【図３】符号量の増加の様子の一例を説明する図である。
【図４】フロントエンドサーバ装置のハードウェア構成等の一例を示す図である。
【図５】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図６】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図７】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図８】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図９】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図１０】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図１１】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図１２】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図１３】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図１４】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図１５】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図１６】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【図１７】フロントエンドサーバ装置の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。
【００１０】
＜実施形態１＞
（画像処理システム）
図１は、本実施形態における画像処理システム１００のシステム構成の一例を示す図である。画像処理システム１００は、仮想視点コンテンツを生成し、出力するシステムである。仮想視点コンテンツとは、仮想的な視点（以下では、仮想視点とする）から被写体を見た画像である仮想視点画像を含むコンテンツである。仮想視点画像は、仮想視点における見えを表す画像であるとも言える。
画像処理システム１００は、センサシステム１１０ａ−１１０ｚ、サーバシステム２００、コントローラシステム３００、スイッチングハブ１８０、エンドユーザ端末１９０を含む。センサシステム１１０ａ−１１０ｚ、サーバシステム２００、コントローラシステム３００、エンドユーザ端末１９０は、スイッチングハブ１８０を介して、相互に通信可能に接続されている。
【００１１】
センサシステム１１０ａ−１１０ｚそれぞれは、カメラ、マイク等のセンサを介して、周囲の画像、音声等の情報を取得するシステムである。センサシステム１１０ａ−１１０ｚそれぞれは、画像処理システム１００の撮影部の一例である。
センサシステム１１０ａのシステム構成について説明する。センサシステム１１０ａは、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、カメラアダプタ１２０ａを含む。マイク１１１ａは、周囲の音声を検知するセンサである。カメラ１１２ａは、レンズ、撮像素子等を含み、周囲の環境を撮影する撮影装置である。本実施形態では、カメラ１１２ａは、雲台１１３ａに設置されている。雲台１１３ａは、カメラ１１２ａの姿勢の制御に用いられる機構である。外部センサ１１４ａは、照度センサ、湿度センサ等の画像、音声以外の所定の現象を検知するセンサである。カメラアダプタ１２０ａは、カメラ１１２ａ、雲台１１３ａ、マイク１１１ａ、外部センサ１１４を制御するカメラコントローラ等の制御装置である。なお、センサシステムを撮像装置と呼んでもよい。
【００１２】
センサシステム１１０ｂ−１１０ｚそれぞれのシステム構成は、センサシステム１１０ａと同様である。
以下では、センサシステム１１０ｂ−１１０ｚに含まれるマイクを、それぞれマイク１１１ｂ−１１１ｚとおく。また、以下では、センサシステム１１０ｂ−１１０ｚに含まれるカメラを、それぞれカメラ１１２ｂ−１１２ｚとおく。また、以下では、センサシステム１１０ｂ−１１０ｚに含まれる雲台を、それぞれ雲台１１３ｂ−１１３ｚとおく。また、以下では、センサシステム１１０ｂ−１１０ｚに含まれる外部センサを、それぞれ外部センサ１１４ｂ−１１４ｚとおく。また、以下では、センサシステム１１０ｂ−１１０ｚに含まれるカメラアダプタを、それぞれカメラアダプタ１２０ｂ−１２０ｚとおく。
【００１３】
カメラアダプタ１２０ａ−ｚそれぞれは、ケーブル１７０ａ−１７０ｙを介してデイジーチェーン接続されている。この接続形態により、撮影画像の４Ｋや８Ｋ等の高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削除や配線作業の省力化ができる。
本実施形態では、センサシステム１１０ａ−１１０ｚそれぞれは、図２に示すように、競技場（スタジアム）の周囲を取り囲むように配置されており、カメラ１１２ａ−１１２ｚそれぞれを介して競技場を撮影する。ただし、他の例として、センサシステム１１０ａ−１１０ｚそれぞれは、コンサートホール等の他の施設の周囲に配置されていることとしてもよい。
また、本実施形態では、センサシステム１１０それぞれは、１フレーム分の仮想視点画像の生成に用いられる画像を同期して撮影し、撮影された画像を同期してサーバシステム２００に送信する。
【００１４】
また、本実施形態では、カメラアダプタ１２０α（α＝ｂ−ｙの何れか１つ）は、デイジーチェーン接続における前の装置からデータ（カメラによる撮影画像、マイクにより検知された音声データ）を受信する。そして、カメラアダプタ１２０αは、受信したデータに、自装置に接続されたカメラ、マイクを介して取得したデータを付加して、デイジーチェーン接続における次の装置に送信する。また、カメラアダプタ１２０ａは、カメラ１１２ａにより撮影された画像とマイク１１１ａを介して取得された音声とのデータを、ケーブル１７０ａを介して、デイジーチェーン接続における次の装置であるカメラアダプタ１２０ｂに送信する。また、カメラアダプタ１２０ｚは、ケーブル１７０ｙを介してカメラアダプタ１２０ｙから受信したデータに、カメラ１１２ｚにより撮影された画像とマイク１１１ｚを介して取得された音声とのデータを加える。そして、カメラアダプタ１２０ｚは、スイッチングハブ１８０を介して、サーバシステム２００に送信する。
【００１５】
また、本実施形態では、カメラ１１２ａ−１１２ｚそれぞれは、焦点距離（撮影倍率）又は画角のモードとして、より短い焦点距離での撮影を行う広角撮影モードと、より長い焦点距離での撮影を行う望遠撮影モードと、の２種類のモードを設定可能である。
広角撮影モードが設定されたカメラ１１２は、望遠撮影モードの場合よりも短い焦点距離で撮影を行う。そのため広角撮影モードが設定されたカメラ１１２により撮影された画像は、望遠撮影モードの場合よりも、より広角でより広い範囲を写す画像となる。このような画像を用いることで、より広い範囲を対象として仮想視点コンテンツを作成することが可能となる。
一方、望遠撮影モードが設定されたカメラ１１２は、広角撮影モードの場合よりも長い焦点距離で撮影を行う。そのため、望遠撮影モードが設定されたカメラ１１２により撮影された画像は、広角撮影モードの場合よりも、より高画質でより狭い範囲を写す画像となる。このような画像を用いることで、被写体の３Ｄモデルに張り付けるテクスチャの解像度を上げることができるため、より高画質な仮想視点画像を作成することが可能となる。
【００１６】
ただし、全カメラ１１２を望遠撮影モードに設定してしまうと、仮想視点画像を生成可能な範囲（仮想視点を設定できる範囲）が狭くなってしまう。そのため、広角撮影モードのカメラ１１２と望遠撮影モードのカメラ１１２とを併用するのが望ましい。本実施形態では、望遠撮影モードのカメラ１１２が、全カメラの約１割（２６×０．１≒３）を占めるものとする。
本実施形態では、センサシステム１１０ａ−１１０ｚは、対応するカメラ１１２ａ−１１２ｚそれぞれの撮影モードに応じて２つの区分（広角撮影モードが設定された広角区分と、望遠撮影モードが設定された望遠区分と）に分けられている。
【００１７】
以下では、特に断りがない限り、画像という概念には、動画と静止画との双方の概念が含まれるとする。即ち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。
また、本実施形態では、画像処理システム１００は、仮想視点コンテンツに含ませる音声を、仮想視点に最も近いマイク１１１により集音された音声とする。また、本実施形態では、画像処理システム１００は、画像と音声とを併せて処理し、仮想視点コンテンツを生成する。
【００１８】
スイッチングハブ１８０は、ネットワーク中継機器である。スイッチングハブ１８０は、各カメラアダプタ１２０と、サーバシステム２００内のフロントエンドサーバ装置２３０、タイムサーバ装置２９０、制御ステーション３１０との通信を担っている。なお、これらの機器は、タイムサーバ装置２９０により時刻同期される。
エンドユーザ端末１９０は、ユーザが操作する端末装置である。本実施形態では、エンドユーザ端末１９０は、携帯型の情報処理装置（例えば、スマートホン、タブレット装置等）であるとするが、ＰＣ等の他の情報処理装置であってもよい。エンドユーザ端末１９０は、バックエンドサーバ装置２７０から送信された仮想視点コンテンツをユーザに提示する。
【００１９】
サーバシステム２００は、センサシステム１１０ｚ（カメラアダプタ１２０ｚ）から送信されたデータに対する処理を行うシステムである。サーバシステム２００は、フロントエンドサーバ装置２３０、データベース（ＤＢ）装置２５０、バックエンドサーバ装置２７０、タイムサーバ装置２９０を含む。
フロントエンドサーバ装置２３０は、センサシステム１１０ａ−１１０ｚそれぞれの送信データの符号量を制御する処理を行う情報処理装置である。本実施形態では、フロントエンドサーバ装置２３０は、パーソナルコンピュータ（ＰＣ）であることとするが、サーバ装置等の他の情報処理装置であってもよい。以下では、センサシステム１１０からサーバシステム２００（フロントエンドサーバ装置２３０）への送信対象となるデータを送信データとする。
フロントエンドサーバ装置２３０は、センサシステム１１０ｚから取得したデータ（画像、音声）から、セグメント化された伝送パケットを再構成してデータ形式を変換する。そして、フロントエンドサーバ装置２３０は、変換したデータを、カメラの識別子やデータ種別、フレーム番号に応じてＤＢ装置２５０の記憶部に書き込む。フレーム番号とは、対応する仮想視点画像が何フレーム目であるかを示す番号である。
【００２０】
本実施形態では、フロントエンドサーバ装置２３０は、仮想視点画像の生成の際における超解像技術の利用の有無に応じて、区分（広角区分、望遠区分）毎に、送信対象となるデータの符号量を制御する処理を行う。超解像技術としては、学習型や再構成型等の様々な手法がある。
また、本実施形態では、フロントエンドサーバ装置２３０は、全センサシステム１１０（センサシステム１１０ａ−１１０ｚ）から、１つのフレームについて同期して送信される符号量（以下では、総符号量とする）を周期的に取得する。そして、フロントエンドサーバ装置２３０は、総符号量が、予め定められた第１の閾値Ｔ＿ｐｒｅを超えてから、第２の閾値Ｔに達するまでのフレーム数を、総符号量の増加速度（Ｔ＿ｐｒｅからＴまでの増加速度）の度合として取得する。この増加速度は、ＴとＴ＿ｐｒｅとの差分を、総符号量がＴ＿ｐｒｅからＴに達するまでの期間で除して求まる指標である。ここでのフレーム数とは、センサシステム１１０ａ−１１０ｚから何フレーム分の仮想視点画像の生成に用いられるデータの送信が完了したかを示す数である。総符号量がＴ＿ｐｒｅを超えてからＴに達するまでのフレーム数は、総符号量がＴ＿ｐｒｅを超えてからＴに達するまでの時間を示す指標である。以下では、総符号量がＴ＿ｐｒｅを超えてからＴに達するまでのフレーム数を、フレームカウント数とする。
フロントエンドサーバ装置２３０は、このフレームカウント数が予め定められた閾値未満である場合、急激な符号量の増加が生じているとして、センサシステム１１０ａ−１１０ｚ全てについて、送信データを削除するように制御する。
【００２１】
図３は、総符号量の増加の様子の一例を説明する図である。図３が示すように、総符号量がグラフ７０２の示すような増加経過をたどった場合、フレームカウント数は、総符号量がグラフ７０１の示すような増加経過をたどった場合に比べて多くなる。図３の例では、総符号量がグラフ７０２の示すような増加経過をたどった場合、フロントエンドサーバ装置２３０は、以下のようにする。即ち、フロントエンドサーバ装置２３０は、フレームカウント数が予め定められた閾値以上であるとして、センサシステム１１０ａ−１１０ｚ全てについて送信データを削除するような制御は行わない。
また、総符号量がグラフ７０１の示すような増加経過をたどった場合、フロントエンドサーバ装置２３０は、以下のようにする。即ち、フロントエンドサーバ装置２３０は、フレームカウント数が予め定められた閾値未満であるとして、センサシステム１１０ａ−１１０ｚ全てについて送信データを削除するよう制御する。
【００２２】
ＤＢ装置２５０は、各種情報を記憶する記憶装置である。本実施形態では、ＤＢ装置２５０は、Ｎｅｔｗｏｒｋ  Ａｔｔａｃｈｅｄ  Ｓｔｏｒａｇｅ（ＮＡＳ）であるネットワーク接続可能なハードディスクドライブであるとする。ただし、他の例として、ＤＢ装置２５０は、予め定められた閾値以上の容量を持つ記憶装置を有する情報処理装置であってもよい。
バックエンドサーバ装置２７０では、コントローラシステム３００から仮想視点の指定を受け付け、ＤＢ装置２５０から取得した画像や音声のデータに基づいて、この仮想視点に応じた仮想視点コンテンツを生成する情報処理装置である。本実施形態では、バックエンドサーバ装置２７０は、ＰＣであるとするが、サーバ装置等の他の情報処理装置であってもよい。
バックエンドサーバ装置２７０は、生成した仮想視点コンテンツを、エンドユーザ端末１９０に送信し、仮想視点コンテンツの提示を指示する。これにより、エンドユーザ端末１９０を操作するユーザは、仮想視点の指定に応じた仮想視点コンテンツの視聴ができる。
本実施形態では、バックエンドサーバ装置２７０は、カメラアダプタ１２０ａ−１２０ｚそれぞれにより対応するカメラの撮影画像から抽出された予め定められた領域の画像データと、指定された仮想視点と、に基づいて、仮想視点画像を生成する。そしてバックエンドサーバ装置２７０は、生成した仮想視点画像を含む仮想視点コンテンツをエンドユーザ端末１９０に提供する。
【００２３】
本実施形態では、バックエンドサーバ装置２７０は、仮想視点コンテンツを、予め定められた圧縮技術（例えば、Ｈ．２６４、ＨＥＶＣ等）により圧縮し、エンドユーザ端末１９０へ送信することとする。ただし、バックエンドサーバ装置２７０は、仮想視点コンテンツを、非圧縮でエンドユーザ端末１９０へ送信することもできる。
また、バックエンドサーバ装置２７０は、圧縮した仮想視点コンテンツを、ＭＰＥＧ−ＤＡＳＨプロトコルを用いて、エンドユーザ端末１９０へ送信することとする。ただし、他の例として、バックエンドサーバ装置２７０は、ＨＬＳ（ＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇ）等のＭＰＥＧ−ＤＡＳＨプロトコルと異なる方法を用いて、エンドユーザ端末１９０へ送信してもよい。
【００２４】
エンドユーザ端末１９０がスマートフォンやタブレット等の場合、仮想視点コンテンツは、圧縮して送信されることが望ましい。また、エンドユーザ端末１９０が非圧縮画像を表示可能なディスプレイを有する場合、仮想視点画像は、圧縮せずに送信されることが望ましい。
そこで、本実施形態では、バックエンドサーバ装置２７０は、エンドユーザ端末１９０の種別に応じて、仮想視点コンテンツの送信に用いられる画像フォーマットを切り替えることができる。
【００２５】
タイムサーバ装置２９０は、時刻及び同期信号を配信する機能を有する情報処理装置である。タイムサーバ装置２９０は、スイッチングハブ１８０を介してセンサシステム１１０ａ−１１０ｚそれぞれに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ−１２０ｚは、カメラ１１２ａ−１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。
このようにして、タイムサーバ装置２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は、同期したタイミングで撮影された複数の画像を取得し、取得した画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。本実施形態では、タイムサーバ装置２９０が複数のカメラ１１２の時刻同期を管理するとする。ただし、他の例として、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。
【００２６】
コントローラシステム３００は、ユーザからの入力を受付けるシステムである。コントローラシステム３００は、制御ステーション３１０、仮想カメラ操作ＵＩ部３３０を有する。
制御ステーション３１０は、仮想カメラ操作ＵＩ部３３０を介して入力された情報に基づいて、画像処理システム１００の各構成要素に対して、ネットワークを介して動作状態の管理、パラメータ設定制御等を行う情報処理装置である。本実施形態では、制御ステーション３１０は、ＰＣであるとするが、サーバ装置等の他の情報処理装置であってもよい。ここで、ネットワークはＥｔｈｅｒｎｅｔ（イーサネット）（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサネット等を組合せたネットワークでもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
仮想カメラ操作ＵＩ部３３０は、仮想視点の操作指示を行うための入力装置である。仮想カメラ操作ＵＩ部３３０は、タッチパネル、マウス、キーボード、仮想視点制御用のコントローラ等である。
【００２７】
（画像処理システムの各要素の詳細）
図４（ａ）は、フロントエンドサーバ装置２３０のハードウェア構成の一例を示す図である。
フロントエンドサーバ装置２３０は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）２３１、主記憶装置２３２、補助記憶装置２３３、ネットワークＩ／Ｆ２３４、入力部２３５、出力部２３６を含む。各要素は、システムバス２３７を介して相互に通信可能に接続されている。
ＣＰＵ２３１は、フロントエンドサーバ装置２３０を制御する中央演算装置である。主記憶装置２３２は、ＣＰＵ２３１のワークエリア、データの一時的な記憶領域等として機能するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置２３３は、各種プログラム、各種設定情報等を記憶する記憶装置である。補助記憶装置２３３は、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等である。
【００２８】
ネットワークＩ／Ｆ２３４は、カメラアダプタ１２０ａ−１２０ｚ、ＤＢ装置２５０、制御ステーション３１０等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。入力部２３５は、情報の入力を受付けるマウス、キーボード等である。出力部２３６は、情報の出力に用いられるディスプレイ、スピーカ等である。
ＣＰＵ２３１が補助記憶装置２３３に記憶されたプログラムにしたがって処理を実行することで、フロントエンドサーバ装置２３０の機能、図５−１７それぞれのフローチャートの処理等が実現される。
本実施形態では、エンドユーザ端末１９０、バックエンドサーバ装置２７０、タイムサーバ装置２９０、制御ステーション３１０それぞれは、フロントエンドサーバ装置２３０と同様のハードウェア構成であるとする。これらの各装置のＣＰＵが各装置の補助記憶装置等に記憶されたプログラムにしたがって処理を実行することで、各装置の機能、各装置の処理が実現される。
【００２９】
図４（ｂ）は、カメラアダプタ１２０ｂのハードウェア構成の一例を示す図である。
カメラアダプタ１２０ｂは、ＣＰＵ１２１、主記憶装置１２２、補助記憶装置１２３、デバイスＩ／Ｆ１２４、ネットワークＩ／Ｆ１２５を含む。各要素は、システムバス１２６を介して相互に通信可能に接続されている。
ＣＰＵ１２１は、カメラアダプタ１２０ｂを制御する中央演算装置である。主記憶装置１２２は、ＣＰＵ１２１のワークエリア、データの一時的な記憶領域等として機能するＲＡＭ等の記憶装置である。補助記憶装置２３３は、各種プログラム、各種設定情報等を記憶するＲＯＭ、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置である。
【００３０】
デバイスＩ／Ｆ１２４は、マイク１１１ｂ、カメラ１１２ｂ、雲台１１３ｂ、外部センサ１１４ｂ等の外部のデバイスとの接続に用いられるインターフェースである。ネットワークＩ／Ｆ１２５は、フロントエンドサーバ装置２３０、制御ステーション３１０、タイムサーバ装置２９０等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。
ＣＰＵ１２１が補助記憶装置１２３に記憶されたプログラムにしたがって処理を実行することで、図４（ｃ）で後述するカメラアダプタ１２０ｂの機能、カメラアダプタ１２０ｂの処理等が実現される。
【００３１】
本実施形態では、カメラアダプタ１２０ａ、カメラアダプタ１２０ｃ−１２０ｚそれぞれは、カメラアダプタ１２０ｂと同様のハードウェア構成であるとする。
これらの各カメラアダプタのＣＰＵが各カメラアダプタの補助記憶装置等に記憶されたプログラムにしたがって処理を実行することで、図４（ｃ）で後述する機能と同様の機能、各カメラアダプタの処理が実現される。
【００３２】
図４（ｃ）は、カメラアダプタ１２０ｂの機能構成等の一例を示す図である。
カメラアダプタ１２０ｂは、画像処理部１２００１、記憶制御部１２００２、符号量制御部１２００３、受信部１２００４、送信部１２００５を含む。
画像処理部１２００１は、カメラ１１２ｂにより撮影された画像から設定された領域を分離・抽出し、符号化し、送信用データ（符号）を作成する。画像処理部１２００１は、カメラ１１２が撮影した画像を前景画像と背景画像に分離する。より具体的には、画像処理部１２００１は、画像に対する予め定められたオブジェクト（例えば、選手・監督・審判等の人物、ボール、ゴール等）検出を行い、得られたオブジェクトの領域の画像を前景画像として分離する。また、画像処理部１２００１は、このオブジェクト以外の領域を背景画像として分離する。
【００３３】
画像処理部１２００１は、オブジェクトとして、静止体、動体の何れを検出するようにしてもよい。前景画像は、撮影された画像から抜き出された矩形領域から、任意形状のオブジェクトの領域を示すマスクデータと、前景領域の色情報を持つテクスチャデータと、を含む。重要なオブジェクトを含む前景画像と、そのようなオブジェクトを含まない背景領域と、を分離して処理することで、画像処理システム１００は、仮想視点画像におけるこのオブジェクトに対応する部分の画像の品質を向上できる。
また、本実施形態では、前景と背景の分離をカメラアダプタ１２０ａ−１２０ｚそれぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。
【００３４】
記憶制御部１２００２は、画像処理部１２００１により符号化されたデータと、受信部１２００４により受信されたデータと、を一時的に主記憶装置１２２に記憶する。これにより、記憶制御部１２００２は、伝送バッファの役割を実現する。
符号量制御部１２００３は、記憶制御部１２００２により記憶されたデータの符号について、送信を行うか否かを決定する。
受信部１２００４と送信部１２００５とは、ネットワークＩ／Ｆ１２５を介して、他のカメラアダプタ１２０やサーバシステム２００とデータ通信を行う。
受信部１２００４は、デイジーチェーンにおける１つ前のカメラアダプタ１２０（カメラアダプタ１２０ａ）から送信されたデータを受信する。受信するデータは、デイジーチェーンにおける上流に位置する各カメラアダプタで分離された前景画像を含む。また、受信するデータは、デイジーチェーンにおける上流に位置する各カメラアダプタで分離された背景画像や、デイジーチェーンにおける上流に位置する各カメラによる撮影により取得された撮影画像が含まれていてよい。
送信部１２００５は、符号量制御部１２００３により送信を行うことが決定されたデータと、受信部１２００４により受信されたデータと、を併せて、デイジーチェーンにおける１つ後のカメラアダプタ１２０（カメラアダプタ１２０ｃ）に送信する。送信部１２００５が送信するデータは、具体的には、画像処理部１２００１で分離された前景画像と、受信部１２００４により受信されたデータを含む。送信するデータは、画像処理部１２００１で分離された背景画像や、撮影画像が含まれていてもよい。
【００３５】
本実施形態では、カメラアダプタ１２０ａ、カメラアダプタ１２０ｃ−１２０ｚそれぞれは、カメラアダプタ１２０ｂと同様の機能構成であるとする。
ただし、カメラアダプタ１２０ａの受信部は、他のカメラアダプタ１２０から送信されるデータを受信しない。そのため、カメラアダプタ１２０ａの送信部は、カメラアダプタ１２０ａの符号量制御部により送信を行うことが決定されたデータのみを、カメラアダプタ１２０ｂに送信する。
また、カメラアダプタ１２０ｚの送信部は、カメラアダプタ１２０ｚの符号量制御部により送信を行うことが決定されたデータと、カメラアダプタ１２０ｚの受信部１２００４により受信されたデータと、を併せて、フロントエンドサーバ装置２３０に送信する。
【００３６】
（符号量制御処理）
フロントエンドサーバ装置２３０によるカメラアダプタ１２０ａ−１２０ｚそれぞれから送信される送信データの符号量の制御処理について、図５を用いて説明する。
本実施形態では、カメラアダプタ１２０ａ−１２０ｚそれぞれは、サーバシステム２００（フロントエンドサーバ装置２３０）への送信対象となる画像を、ＪＰＥＧ２０００の形式で、解像度方向に４階層を持たせて符号化している。ただし、他の例として、カメラアダプタ１２０ａ−１２０ｚそれぞれは、サーバシステム２００への送信対象となる画像を、解像度方向に複数の階層を持たせて符号化できる形式であれば、他の形式で符号化することとしてもよい。例えば、カメラアダプタ１２０ａ−１２０ｚそれぞれは、サーバシステム２００への送信対象となる画像をＭＰＥＧ−２の形式で符号化することとしてもよい。そして、カメラアダプタ１２０ａ−１２０ｚそれぞれは、フロントエンドサーバ装置２３０から符号を削除する指示を１回受けると、この４階層のデータのうちの１層分のデータを送信しないようにする。これにより、送信されるデータ（符号）の符号量が低減されることとなる。つまり、削除指示に対応して送信の停止制御が行われる。
【００３７】
Ｓ４０１において、ＣＰＵ２３１は、バックエンドサーバ装置２７０から、仮想視点画像の生成処理において、３Ｄモデルへ張り付けるテクスチャに対する超解像技術が利用できるか否かの情報を取得する。
そして、ＣＰＵ２３１は、取得した情報に基づいて、仮想視点画像の生成処理において超解像技術を利用するか否かを判定する。より具体的には、ＣＰＵ２３１は、取得した情報が超解像技術を利用可能であることを示す場合、仮想視点画像の生成処理において超解像技術が利用されると判定し、処理をＳ４０２に進める。また、ＣＰＵ２３１は、取得した情報が超解像技術を利用不可であることを示す場合、仮想視点画像の生成処理において超解像技術が利用されないと判定し、処理をＳ４０３に進める。
【００３８】
Ｓ４０２において、ＣＰＵ２３１は、送信データの削除をどのような態様で行うかを示す指標である削除順序を、広角区分のカメラにより撮影される画像の符号量を最優先で削除することを示す「広角最優先」に決定する。本実施形態では、ＣＰＵ２３１は、削除順序の情報を主記憶装置２３２に記憶し、管理する。
Ｓ４０３において、ＣＰＵ２３１は、削除順序を、広角区分のカメラにより撮影される画像の送信データと望遠区分のカメラにより撮影される画像の送信データとを交互に削除することを示す「交互」に決定する。
【００３９】
ここで、超解像技術が利用可能な場合、削除順序を「広角最優先」に決定し、超解像技術が利用不可な場合、削除順序を「交互」に決定する意味について説明する。
バックエンドサーバ装置２７０は、超解像技術を利用できる場合、各カメラアダプタ１２０から送信された画像の解像度が不足している場合でも、超解像技術を使い、高解像度の仮想視点画像を生成できる。そのため、バックエンドサーバ装置２７０は、３Ｄモデルへ張り付けるテクスチャとして、望遠区分・広角区分に関わらず仮想視点の位置に近いカメラで撮影された画像を、優先的に用いて仮想視点画像を生成できる。
一方、バックエンドサーバ装置２７０は、超解像技術を利用できない場合、３Ｄモデルへ張り付けるテクスチャとして、より高解像度の画像である望遠区分に属するカメラアダプタ１２０から送信される画像を優先的に用いて仮想視点画像を生成する。
【００４０】
そこで、本実施形態では、フロントエンドサーバ装置２３０は、超解像技術を利用できる場合、仮想視点画像の生成に用いられる各画像の解像度の差を超解像技術により解消できることとなる。そのため、フロントエンドサーバ装置２３０は、より多くの符号を削除し、ネットワークに係る負担をより軽減するため、より数の多い広角区分のカメラの撮影画像のデータの符号量を優先的に削除する制御を行う。
また、フロントエンドサーバ装置２３０は、超解像技術を利用できない場合、仮想視点画像の生成に用いられる各画像の解像度の差を超解像技術により解消できないこととなる。そこで、フロントエンドサーバ装置２３０は、仮想視点画像の生成に用いられる各画像の解像度の差を極力小さくするように、広角区分のカメラの撮影画像の符号量と、望遠区分のカメラの撮影画像の符号量と、を交互に削除する制御を行う。このように、フロントエンドサーバ装置２３０は、広角区分のカメラの撮影画像の符号量と望遠区分のカメラの撮影画像の符号量とを交互に削除することで、解像度の差異を小さくできる。そのため、フロントエンドサーバ装置２３０は、仮想視点画像のテクスチャにおいて、広角区分のカメラにより撮影された画像と、望遠区分のカメラにより撮影された画像と、が隣接する場合でも、その差異が目立ちにくくすることができる。即ち、画像処理システム１００は、より高画質な仮想視点画像を生成できることとなる。
【００４１】
図５の説明に戻る。
Ｓ４０４において、ＣＰＵ２３１は、送信データの符号量の制御に用いられる２つの閾値Ｔ、Ｔ＿ｐｒｅを取得する。Ｔは、送信データの符号量の制御を行うか否かの判断に用いられる閾値である。また、Ｔ＿ｐｒｅは、総符号量の増加速度の決定に用いられる閾値である。本実施形態では、ＣＰＵ２３１は、Ｔの値を、予め定められた伝送可能な符号量の最大値であるＢの９割の値に決定する。また、ＣＰＵ２３１は、Ｔ＿ｐｒｅの値を、Ｂの８割の値に決定する。
Ｓ４０５において、ＣＰＵ２３１は、総符号量がＴ＿ｐｒｅ以上となってからカメラアダプタ１２０ａ−１２０ｚから送信されるフレームの数のカウントに用いられるカウンタＩを、主記憶装置２３２に記憶し、値を０に初期化する。また、ＣＰＵ２３１は、送信データの削除の指示の回数のカウンタＮを主記憶装置２３２に記憶し、０で初期化する。
【００４２】
Ｓ４０６において、ＣＰＵ２３１は、最新のフレームについての総符号量を取得する。以下では、Ｓ４０６で取得された総符号量を、Ｄ（ｎ）とする。以下では、最新のフレームのフレーム番号をｎとおく。本実施形態では、ＣＰＵ２３１は、カメラアダプタ１２０ａ−１２０ｚそれぞれから送信されるフレーム番号ｎの画像の符号量を加算していくことでＤ（ｎ）を取得する。
Ｓ４０７において、ＣＰＵ２３１は、Ｓ４０６で取得した総符号量Ｄ（ｎ）が閾値Ｔ＿ｐｒｅ以上であるか否かを判定する。ＣＰＵ２３１は、Ｄ（ｎ）がＴ＿ｐｒｅ以上であると判定した場合、処理をＳ４０８に進め、Ｄ（ｎ）がＴ＿ｐｒｅ未満であると判定した場合、処理をＳ４１１に進める。
【００４３】
Ｓ４０８において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたカウンタＩに１を加算する。
Ｓ４０９において、ＣＰＵ２３１は、Ｓ４０６で取得した総符号量Ｄ（ｎ）が閾値Ｔ以上であるか否かを判定する。ＣＰＵ２３１は、Ｄ（ｎ）がＴ以上であると判定した場合、処理をＳ４１０に進め、Ｄ（ｎ）がＴ未満であると判定した場合、処理をＳ４１４に進める。
Ｓ４１０において、ＣＰＵ２３１は、送信データを削除する制御を行う。Ｓ４１０の処理の詳細については、図６で後述する。
【００４４】
Ｓ４１１において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮが１以上であるか否かを判定する。ＣＰＵ２３１は、Ｎが１以上であると判定した場合、送信データの削除が指示されたセンサシステム１１０が存在するとして処理をＳ４１２に進め、Ｎが１未満であると判定した場合、処理をＳ４１３に進める。
Ｓ４１２において、ＣＰＵ２３１は、送信データを削除しているセンサシステム１１０に対して、送信データの追加の指示（送信データの削除を停止する指示）を行う。Ｓ４１２の処理の詳細については、図７で後述する。
Ｓ４１３において、ＣＰＵ２３１は、Ｉの値を０にすることで初期化する。
Ｓ４１４において、ＣＰＵ２３１は、撮影が終了したか否かを判定する。ＣＰＵ２３１は、撮影が終了したと判定した場合、図５の処理を終了し、撮影が終了していないと判定した場合、処理をＳ４０６に進める。
【００４５】
図６のフローチャートを用いて、Ｓ４１０の処理の詳細について説明する。
Ｓ５０１において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたカウンタＮに１加算する。
Ｓ５０２において、ＣＰＵ２３１は、Ｎが１であるか否かを判定する。ＣＰＵ２３１は、Ｎが１であると判定した場合、処理時点において送信データの削除の指示が１つも出されていないとして、処理をＳ５０３に進める。また、ＣＰＵ２３１は、Ｎが１でないと判定した場合、処理時点において送信データの削除の指示が１回以上、既に行われているとして、処理をＳ５０４に進める。
【００４６】
Ｓ５０３において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＩの値が、予め定められた基準値Ａ未満であるか否かを判定する。基準値Ａは、総符号量の急激な増加が生じたか否かの判定に用いられる値である。本実施形態では、ＣＰＵ２３１は、総符号量がＴ＿ｐｒｅ以上となってから、Ｔ以上となるまでに送信されたフレームの数が、Ａよりも少ない場合、総符号量の急激な増加が発生したと判定する。本実施形態では、Ａは６とする。これは６０［ｆｐｓ］で撮影していた場合、０．１［秒］に相当するフレーム数である。即ち、ＩがＡよりも少ない場合、０．１秒未満の時間のうちに（Ｔ−Ｔ＿ｐｒｅ）以上の符号量の増加が発生したこととなる。
ＣＰＵ２３１は、ＩがＡ未満であると判定した場合、処理をＳ５０８に進め、ＩがＡ以上であると判定した場合、処理をＳ５０５に進める。
【００４７】
Ｓ５０４において、ＣＰＵ２３１は、前回の図６の処理において、送信データの削除を指示したセンサシステム１１０が、全センサシステム１１０（センサシステム１１０ａ−１１０ｚ）であったか否かを判定する。ＣＰＵ２３１は、前回の図６の処理において、全センサシステム１１０に対して、送信データの削除を指示したと判定した場合、処理をＳ５０８に進める。また、ＣＰＵ２３１は、前回の図６の処理において、一部のセンサシステム１１０に対して、送信データの削除を指示したと判定した場合、処理をＳ５０５に進める。
Ｓ５０５において、ＣＰＵ２３１は、主記憶装置２３２に記憶された削除順序が「交互」であるか否かを判定する。ＣＰＵ２３１は、削除順序が「交互」であると判定した場合、処理をＳ５０６に進め、削除順序が「交互」でないと判定した場合、削除順序が「広角最優先」であるとして、処理をＳ５０７に進める。
Ｓ５０６において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮの値が奇数であるか否かを判定する。ＣＰＵ２３１は、Ｎの値が奇数であると判定した場合、処理をＳ５１０に進め、Ｎの値が偶数であると判定した場合、処理をＳ５０９に進める。
【００４８】
Ｓ５０７において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮが、予め定められた閾値（以下では、削除可能回数とする）よりも大きいか否かを判定する。削除可能回数は、広角区分の各センサシステム１１０に対して、何回、送信データの削除指示を行うことができるかを示す指標である。本実施形態では、削除可能回数は、符号化データから定まる指標である。即ち、本実施形態では、カメラにより撮影された画像は、ＪＰＥＧ２０００を用いて階層符号化されている。各センサシステム１１０は、階層符号化された画像のデータから、送信データの削除の指示を受けた数だけ、階層データを削除した上で、画像のデータをフロントエンドサーバ装置２３０に送信する。したがって、本実施形態では、（階層符号化された画像の階層数（４）−１）＝３が、削除可能回数として定められている。各センサシステム１１０による送信データの一部を削除する処理については、図８で後述する。
ＣＰＵ２３１は、Ｎが削除可能回数よりも大きいと判定した場合、処理をＳ５１０に進め、Ｎが削除可能回数以下であると判定した場合、処理をＳ５０９に進める。
【００４９】
Ｓ５０８において、ＣＰＵ２３１は、急激な総符号量の増加が発生したとして、全センサシステム１１０を、送信データの削除対象に決定する。
Ｓ５０９において、ＣＰＵ２３１は、望遠区分のセンサシステム１１０を、送信データの削除対象に決定する。
Ｓ５１０において、ＣＰＵ２３１は、広角区分のセンサシステム１１０を、送信データの削除対象に決定する。
Ｓ５１１において、ＣＰＵ２３１は、Ｓ５０８、Ｓ５０９、Ｓ５１０の何れか１つで決定された送信データの削除対象のセンサシステム１１０それぞれに、１階層分の送信データの削除の指示を送信する。
【００５０】
例えば、削除順序が「交互」であり、急激な総符号量の増加も発生していない場合、１回目の図６の処理において、広角区分のカメラアダプタのみに対して、１階層分のデータを削除する指示がなされる。
そして、２回目の図６の処理において、望遠区分のカメラアダプタのみに対して、１階層分のデータを削除する指示がなされる。以後、広角区分のカメラアダプタと、望遠区分のカメラアダプタと、に対して、交互に送信データの削除の指示願されることとなる。
【００５１】
また、例えば、削除順序が「広角最優先」であり、急激な総符号量の増加も発生していない場合、１回目の図６の処理において、広角区分のカメラアダプタのみに対して、１階層分のデータを削除する指示がなされる。そして、２回目の図６の処理において、再度、広角区分のカメラアダプタのみに対して、１階層分のデータを削除する指示がなされる。また、３回目の図６の処理においても、同様に、広角区分のカメラアダプタのみに対して、１階層分のデータを削除する指示がなされる。そして、４回目の図６の処理において、広角区分のセンサシステム１１０に対して、これ以上、送信データの削除の指示を行えないとして、望遠区分のセンサシステム１１０に対して、１階層分のデータを削除する指示がなされる。
【００５２】
図７を用いて、Ｓ４１２の処理の詳細について説明する。
図７の処理では、フロントエンドサーバ装置２３０は、送信データを削除する指示を１回以上出した後で総符号量がＴ＿ｐｒｅを下回った場合に、送信データの削除を解除する制御を行う。
Ｓ６０１において、ＣＰＵ２３１は、最新の図６の処理において、削除対象とされたセンサシステム１１０が全センサシステム１１０であったか否かを判定する。ＣＰＵ２３１は、最新の図６の処理において、削除対象とされたセンサシステム１１０が全センサシステム１１０であったと判定した場合、処理をＳ６０２に進める。ＣＰＵ２３１は、最新の図６の処理において、削除対象とされたセンサシステム１１０が全センサシステム１１０でなかったと判定した場合、処理をＳ６０３に進める。
Ｓ６０２において、ＣＰＵ２３１は、全センサシステム１１０を、符号追加対象に決定する。
【００５３】
Ｓ６０３において、ＣＰＵ２３１は、主記憶装置２３２に記憶された削除順序が「交互」であるか否かを判定する。ＣＰＵ２３１は、削除順序が「交互」であると判定した場合、処理をＳ６０５に進め、削除順序が「交互」でないと判定した場合、削除順序が「広角最優先」であるとして、処理をＳ６０４に進める。
Ｓ６０４において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮが、削除可能回数よりも大きいか否かを判定する。ＣＰＵ２３１は、Ｎが削除可能回数よりも大きいと判定した場合、処理をＳ６０６に進め、Ｎが削除可能回数以下であると判定した場合、処理をＳ６０７に進める。
Ｓ６０５において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮの値が奇数であるか否かを判定する。ＣＰＵ２３１は、Ｎの値が奇数であると判定した場合、処理をＳ６０７に進め、Ｎの値が偶数であると判定した場合、処理をＳ６０６に進める。
【００５４】
Ｓ６０６において、ＣＰＵ２３１は、望遠区分のセンサシステム１１０を、送信データの追加対象に決定する。
Ｓ６０７において、ＣＰＵ２３１は、広角区分のセンサシステム１１０を、送信データの追加対象に決定する。
Ｓ６０８において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮから１を減じる。
Ｓ６０９において、ＣＰＵ２３１は、Ｓ６０２、Ｓ６０６、Ｓ６０７の何れか１つで決定した送信データの追加対象のセンサシステム１１０それぞれに対して、１階層分の送信データの追加（送信データの削除の停止）の指示を送信する。
図７の処理により、フロントエンドサーバ装置２３０は、図６の処理で送信データの削除を指示したセンサシステム１１０に対して、送信データの１階層分の送信データの削除を中止するよう指示することができる。
【００５５】
図８を用いて、カメラアダプタ１２０ｂが、サーバシステム２００に送信する送信データの符号量を制御する処理について説明する。
Ｓ８０１において、符号量制御部１２００３は、処理時点においてフロントエンドサーバ装置２３０から受信している送信データの削除の指示の個数をカウントするためのカウンタＹを、主記憶装置１２２に記憶し、値を０に初期化する。
Ｓ８０２において、符号量制御部１２００３は、符号化してサーバシステム２００に送信する対象のデータを、記憶制御部１２００２より取得する。本実施形態では、符号量制御部１２００３は、サーバシステム２００に送信する対象のデータとして、符号化の対象となる被写体のテクスチャデータを取得する。ただし、符号量制御部１２００３は、サーバシステム２００に送信する対象のデータとして、更に、音声データやマスク情報等の情報を取得してもよい。
【００５６】
Ｓ８０３において、符号量制御部１２００３は、Ｓ８０２で取得したデータを符号化する。
Ｓ８０４において、符号量制御部１２００３は、フロントエンドサーバ装置２３０から送信データの削除の指示を受信したか否かを判定する。符号量制御部１２００３は、符号量の削除の指示を受信したと判定した場合、処理をＳ８０５に進め、送信データの削除の指示を受信していないと判定した場合、処理をＳ８０６に進める。
Ｓ８０５において、符号量制御部１２００３は、主記憶装置１２２に記憶されたカウンタＹに１加算し、処理をＳ８０８に進める。
【００５７】
Ｓ８０６において、符号量制御部１２００３は、フロントエンドサーバ装置２３０から送信データの追加の指示を受信したか否かを判定する。符号量制御部１２００３は、送信データの追加の指示を受信したと判定した場合、処理をＳ８０７に進め、送信データの追加の指示を受信していないと判定した場合、処理をＳ８０８に進める。
Ｓ８０７において、符号量制御部１２００３は、カウンタＹの値を１減じて、処理をＳ８０８に進める。
Ｓ８０８において、符号量制御部１２００３は、Ｓ８０３で符号化したデータから、Ｙ階層分の符号のデータを削除する。本実施形態では、符号量制御部１２００３は、Ｓ８０３で符号化したデータから、Ｙ×３サブバンド分のデータを削除する。
【００５８】
Ｓ８０９において、符号量制御部１２００３は、Ｓ８０３で符号化されたデータのうち、Ｓ８０８で削除されなかったデータを、サーバシステム２００（フロントエンドサーバ装置２３０）に送信する。
Ｓ８１０において、符号量制御部１２００３は、画像処理システム１００による撮影が終了したか否かを判定する。符号量制御部１２００３は、画像処理システム１００による撮影が終了したと判定した場合、図８の処理を終了し、画像処理システム１００による撮影が終了していないと判定した場合、処理をＳ８０２に進める。
本実施形態では、カメラアダプタ１２０ａ、１２０ｃ−１２０ｚそれぞれも、図８と同様の処理を行うことで、サーバシステム２００に送信する送信データの符合量を制御する。
【００５９】
以上、本実施形態では、画像処理システム１００は、総符号量がＴ以上となる場合、以下のようにして、各センサシステム１１０からサーバシステム２００に送信される撮影画像のデータの符号量を削除するよう制御した。即ち、画像処理システム１００は、超解像技術を利用できる場合、解像度の差を超解像技術で解消できるため、数のより多い広角区分のセンサシステム１１０からの送信データの符号量を削除するよう制御した。また、画像処理システム１００は、超解像技術を利用できない場合、広角区分のセンサシステム１１０についての送信データと、望遠区分のセンサシステム１１０についての送信データと、を交互に削除するよう制御した。これにより、画像処理システム１００は、仮想視点画像のテクスチャにおける解像度の差異をより小さくできる。
このように、画像処理システム１００は、仮想視点画像に係る有用性の低下を抑えつつ、送信されるデータの量をより適切に低減することができる。
更に、画像処理システム１００は、カウンタＩの値が基準値Ａ未満である場合、全てのセンサシステム１１０について、送信データを削除するよう制御した。これにより、画像処理システム１００は、急激な総符号量の増加が発生した場合でも、より適切に送信されるデータの量を低減することができる。
【００６０】
本実施形態では、画像処理システム１００は、選択した区分のセンサシステム１１０からサーバシステム２００に送信される撮影画像のデータの符号量を削除するよう制御することとした。ただし、他の例として、画像処理システム１００は、選択した区分のセンサシステム１１０からサーバシステム２００に送信される、符号化された画像のデータの少なくとも一部の送信を停止するよう制御することとしてもよい。
例えば、フロントエンドサーバ装置２３０は、Ｓ５１１で、Ｓ５０８、Ｓ５０９、Ｓ５１０の何れか１つで決定された送信データの削除対象のセンサシステム１１０それぞれに、１階層分の送信データの送信を停止する指示を送信する。そして、Ｓ８０８で、指示を受けたセンサシステム１１０は、Ｓ８０３で符号化したデータから、Ｙ階層分の符号のデータを送信しないことを決定する。
画像処理システム１００は、送信が停止されたデータを、削除してもよいし、ネットワークの負荷が低減した後、送信してもよい。
【００６１】
＜実施形態２＞
本実施形態では、画像処理システム１００は、カメラ１１２のＩＳＯ感度に基づいて、センサシステム１１０それぞれから送信される送信データの符号量を制御する。カメラ１１２のＩＳＯ感度は、カメラ１１２の撮影条件の一例である。
本実施形態の画像処理システム１００のシステム構成、及び、各システム構成要素は、実施形態１と同様である。
本実施形態では、カメラアダプタ１２０ａ−１２０ｚそれぞれは、サーバシステム２００への送信対象となる画像を、ビット深度方向に複数の階層を持たせる形式で符号化している。
【００６２】
カメラ１１２のＩＳＯ感度が大きくなる程、カメラ１１２により撮影された画像におけるノイズ量が増加する。
そこで、本実施形態では、画像処理システム１００は、カメラ１１２のＩＳＯ感度が予め定められた閾値より大きい場合、解像度が相対的に低い広角区分のセンサシステム１１０のデータの下位ビットのデータを優先して削除するよう制御する。これにより、画像処理システム１００は、仮想視点画像における３Ｄモデルに優先的に張り付けられる望遠区分のセンサシステム１１０から送信される画像のデータの劣化を防ぐことができる。
また、画像処理システム１００は、ＩＳＯ感度が閾値以下である場合、ノイズ量が軽微であり、画像におけるビット精度の差が目立ちやすいとして、広角撮影と望遠撮影を交互に削除する。これにより、画像処理システム１００は、仮想視点画像の３Ｄモデルにおいて、広角区分のセンサシステム１１０から送信された画像と、望遠区分のセンサシステム１１０から送信された画像と、が隣接する場合でも、解像度の差を目立たなくすることができる。
【００６３】
図９を用いて、本実施形態のフロントエンドサーバ装置２３０の処理について説明する。図９の処理は、図５の処理と比べて、Ｓ４０１の処理の代わりにＳ９０１、Ｓ９０２の処理を含む点で異なる。図９の処理のうち、図５と異なる点について説明する。
Ｓ９０１において、ＣＰＵ２３１は、各カメラ１１２に設定されたＩＳＯ感度の値を取得する。本実施形態では、全てのカメラ１１２について、同一のＩＳＯ感度が設定されている。本実施形態では、ＣＰＵ２３１は、補助記憶装置２３３に予め記憶された各カメラ１１２に設定されたＩＳＯ感度の情報を取得する。ただし、他の例として、ＣＰＵ２３１は、センサシステム１１０それぞれに各カメラ１１２のＩＳＯ感度を問い合わせることで、各カメラ１１２のＩＳＯ感度を取得してもよい。
【００６４】
Ｓ９０２において、ＣＰＵ２３１は、Ｓ９０１で取得したＩＳＯ感度が予め定められた閾値Ｓよりも大きいか否かを判定する。ＣＰＵ２３１は、Ｓ９０１で取得したＩＳＯ感度が予め定められた閾値Ｓよりも大きいと判定した場合、処理をＳ４０２に進め、Ｓ９０１で取得したＩＳＯ感度が予め定められた閾値Ｓ以下であると判定した場合、処理をＳ４０３に進める。
閾値Ｓの値は、ノイズ量が目立ってくるＩＳＯ感度を予め実験等により見出すことで決定された値であり、本実施形態では８００とする。
【００６５】
以上、本実施形態の処理により、画像処理システム１００は、仮想視点画像に係る有用性の低下を抑えつつ、送信されるデータの量をより適切に低減することができる。
【００６６】
＜実施形態３＞
広角区分のセンサシステム１１０多くなる程、仮想視点画像を作成できる範囲が広くなる半面、被写体の解像度が低下してしまう。被写体の解像度の低下を補うために超解像度技術を利用すると、処理負荷が大きくなる。そこで、望遠カメラの割合を高くすれば、注視点付近の被写体を高解像度で撮影でき、超解像技術のような高負荷な画像処理を使わなくしても、高画質な自由視点映像を作成できる。一方、広角カメラにしか映らない被写体も出てきてしまう。
そこで、本実施形態の画像処理システム１００は、リアルタイムな仮想視点画像の生成を行う場合、処理負荷の増大を防止するため超解像技術を利用せず、リアルタイムでない仮想視点画像の生成を行う場合、超解像技術を利用する。この場合におけるセンサシステム１１０それぞれからサーバシステム２００に送信されるデータの符号量を制御する処理について説明する。
【００６７】
本実施形態の画像処理システム１００のシステム構成、及び、各システム構成要素は、実施形態１と同様である。
本実施形態では、広角区分に属するセンサシステム１１０の個数と、望遠区分に属するセンサシステム１１０の個数と、が同程度であるとする。より具体的には、本実施形態では、広角区分には、全てのセンサシステム１１０の６割が属している。また、望遠区分には、全てのセンサシステム１１０の４割が属している。
【００６８】
図１０を用いて、本実施形態のフロントエンドサーバ装置２３０の処理について説明する。図１０の処理は、図５の処理と比べて、Ｓ４０１〜Ｓ４０３の処理の代わりにＳ１００１〜Ｓ１００３の処理を含み、Ｓ４１０の処理の代わりにＳ１００４の処理を含み、Ｓ４１２の処理の代わりにＳ１００５の処理を含む点で異なる。図１０の処理のうち、図５と異なる点について説明する。
図１０の処理において図５の処理と違い、ＣＰＵ２３１は、超解像技術が利用される場合に、削除順序として、「広角最優先」ではなく、望遠区分のセンサシステム１１０から送信されるデータを優先的に削除することを示す「望遠最優先」を決定する。そのため、画像処理システム１００は、被写体をより多く撮影する広角区分のセンサシステム１１０からの送信データよりも、捉えている被写体が相対的に少ない望遠区分のセンサシステム１１０から送信されるデータを優先的に削除する。これにより、画像処理システム１００は、仮想視点画像を生成可能な範囲を極力広くすることができる。
【００６９】
Ｓ１００１において、ＣＰＵ２３１は、バックエンドサーバ装置２７０からリアルタイムで仮想視点画像の生成を行っているか否かを示す情報を取得する。そして、ＣＰＵ２３１は、取得した情報がリアルタイムで仮想視点画像の生成を行っていることを示す場合、超解像技術が利用されないと判定し、処理をＳ１００２に進める。また、ＣＰＵ２３１は、取得した情報がリアルタイムで仮想視点画像の生成を行っていないことを示す場合、超解像技術が利用されると判定し、処理をＳ１００３に進める。
Ｓ１００２において、ＣＰＵ２３１は、削除順序を、「望遠最優先」に決定する。
Ｓ１００３において、ＣＰＵ２３１は、削除順序を、「交互」に決定する。ただし、本実施形態では、画像処理システム１００は、実施形態１と異なり、望遠区分に対応するデータ・広角区分に対応するデータの順に交互に、送信データを削除していく。
【００７０】
Ｓ１００４において、ＣＰＵ２３１は、送信データを削除する制御を行う。Ｓ１００４の処理の詳細については、図１１で後述する。
Ｓ１００５において、ＣＰＵ２３１は、送信データを削除しているセンサシステム１１０に対して、送信データの追加の指示（送信データの削除を停止する指示）を行う。Ｓ１００５の処理の詳細については、図１２で後述する。
【００７１】
図１１を用いて、Ｓ１００４の処理の詳細を説明する。図１１の処理は、図６の処理と比べて、Ｓ５１０、Ｓ５０９、Ｓ５１１の代わりに、Ｓ１１０１、Ｓ１１０２、Ｓ１１０３の処理を含む点で異なる。図１１の処理のうち、図６と異なる点について説明する。
Ｓ１１０１において、ＣＰＵ２３１は、望遠区分のセンサシステム１１０を、送信データの削除対象に決定する。
Ｓ１１０２において、ＣＰＵ２３１は、広角区分のセンサシステム１１０を、送信データの削除対象に決定する。
Ｓ１１０３において、ＣＰＵ２３１は、Ｓ５０８、Ｓ１１０１、Ｓ１１０２の何れか１つで決定された送信データの削除対象のセンサシステム１１０それぞれに、１階層分の送信データの削除の指示を送信する。
【００７２】
図１２を用いて、Ｓ１００５の処理の詳細について説明する。図１２の処理は、図７の処理と比べて、Ｓ６０７、Ｓ６０６、Ｓ６０９の処理の代わりにＳ１２０１、Ｓ１２０２、Ｓ１２０３の処理を含む点で異なる。図１２の処理のうち、図７と異なる点について説明する。
Ｓ１２０１において、ＣＰＵ２３１は、望遠区分のセンサシステム１１０を、送信データの追加対象に決定する。
Ｓ１２０２において、ＣＰＵ２３１は、広角区分のセンサシステム１１０を、送信データの追加対象に決定する。
Ｓ１２０３において、ＣＰＵ２３１は、Ｓ６０２、Ｓ１２０１、Ｓ１２０２の何れか１つで決定した送信データの追加対象のセンサシステム１１０それぞれに対して、１階層分の送信データの追加（送信データの削除の停止）の指示を送信する。
【００７３】
以上、本実施形態の処理により、画像処理システム１００は、仮想視点画像の生成がリアルタイムで行われているか否かに応じて、仮想視点画像に係る有用性の低下を抑えつつ、より適切に、送信されるデータを低減できる。
また、本実施形態では、画像処理システム１００は、被写体をより多く撮影する広角区分のセンサシステム１１０からの送信データよりも、捉えている被写体が相対的に少ない望遠区分のセンサシステム１１０から送信されるデータを優先的に削除する。これにより、画像処理システム１００は、より多くの被写体を捉えている広角区分のセンサシステム１１０から送信される画像の画質劣化を抑えることができる。
【００７４】
本実施形態では、ＣＰＵ２３１は、Ｓ１００１で超解像技術が利用されるか否かに応じて、削除順序を決定した。ただし、他の例として、ＣＰＵ２３１は、実施形態２のＳ９０２と同様に、Ｓ１００１で各カメラ１１２のＩＳＯ感度に基づいて、削除順序を決定してもよい。
その場合のフロントエンドサーバ装置２３０の処理について、図１３を用いて説明する。図１３の処理は、図１０の処理と比べて、Ｓ１００１の処理の代わりに、Ｓ９０１、Ｓ９０２の処理が含まれる点で異なる。
【００７５】
＜実施形態４＞
実施形態１〜３では、カメラ１１２それぞれは、予め広角撮影モード、望遠撮影モードの何れか１つに設定されているとした。本実施形態では、カメラ１１２の少なくとも一部において、撮影モードの切り替えが行われる場合について説明する。即ち、センサシステム１１０それぞれは、対応する区分（広角区分と望遠区分と）が切り替わる場合がある。
本実施形態の画像処理システム１００のシステム構成、及び、各システム構成要素は、実施形態１と同様である。
【００７６】
図１４を用いて、本実施形態のフロントエンドサーバ装置２３０の処理について説明する。図１４の処理は、図５の処理と比べて、Ｓ４０５、Ｓ４１０、Ｓ４１２の処理の代わりにＳ１４０１、Ｓ１４０２、Ｓ１４０３の処理を含む点で異なる。図１４の処理のうち、図５と異なる点について説明する。
Ｓ１４０１において、ＣＰＵ２３１は、カウンタＩを主記憶装置２３２に記憶し、値を０に初期化する。また、ＣＰＵ２３１は、望遠区分のセンサシステム１１０に対して送信データのうちの画像の何階層分のデータを削除対象とするかを示すカウンタＮｔを主記憶装置２３２に記憶し、値を０に初期化する。また、ＣＰＵ２３１は、広角区分のセンサシステム１１０に対して送信データのうちの画像の何階層分のデータを削除対象とするかを示すカウンタＮｗを主記憶装置２３２に記憶し、値を０に初期化する。
【００７７】
Ｓ１４０２において、ＣＰＵ２３１は、送信データを削除する制御を行う。Ｓ１４０２の処理の詳細については、図１５で後述する。
Ｓ１４０３において、ＣＰＵ２３１は、送信データを削除しているセンサシステム１１０に対して、送信データの追加の指示（送信データの削除を停止する指示）を行う。Ｓ１４０３の処理の詳細については、図１６で後述する。
【００７８】
図１５を用いて、Ｓ１４０２の処理の詳細について説明する。
Ｓ１５０１において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＩの値が、基準値Ａ未満であるか否かを判定する。ＣＰＵ２３１は、ＩがＡ未満であると判定した場合、処理をＳ１５０７に進め、ＩがＡ以上であると判定した場合、処理をＳ１５０２に進める。
Ｓ１５０２において、ＣＰＵ２３１は、削除順序が「交互」であるか否かを判定する。ＣＰＵ２３１は、削除順序が「交互」であると判定した場合、処理をＳ１５０４に進め、削除順序が「交互」でないと判定した場合、削除順序が「広角最優先」であるとして、処理をＳ１５０３に進める。
【００７９】
Ｓ１５０３において、ＣＰＵ２３１は、Ｎｗが削除可能回数に等しいかを判定する。ＣＰＵ２３１は、Ｎｗが削除可能回数と等しいと判定した場合、処理をＳ１５０５に進め、Ｎｗが削除可能回数と等しくない(に達していない)場合、処理をＳ１５０６に進める。
Ｓ１５０４において、ＣＰＵ２３１は、ＮｔとＮｗとが等しいか否かを判定する。ＣＰＵ２３１は、ＮｔとＮｗとが等しいと判定した場合、処理をＳ１５０６に進め、ＮｔとＮｗとが等しくないと判定した場合、処理をＳ１５０５に進める。
Ｓ１５０５において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮｔの値に１を加える。
Ｓ１５０６において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮｗの値に１を加える。
【００８０】
Ｓ１５０８において、ＣＰＵ２３１は、望遠区分のセンサシステム１１０それぞれに対して、Ｎｔを通知し、Ｎｔが示す階層分のデータを送信データから削除するように指示する。また、ＣＰＵ２３１は、広角区分のセンサシステム１１０それぞれに対して、Ｎｗを通知し、Ｎｗが示す階層分のデータを送信データから削除するように指示する。
例えば、ＣＰＵ２３１は、Ｎｔ＝１であれば、望遠区分のセンサシステム１１０それぞれに対して、送信データから、画像のデータの１階層分のデータを削除するよう指示する。また、例えば、ＣＰＵ２３１は、Ｎｗ＝３であれば、広角区分のセンサシステム１１０それぞれに対して、送信データから、画像のデータの３階層分のデータを削除するよう指示する。
【００８１】
図１６を用いて、Ｓ１４０３の処理の詳細について説明する。
Ｓ１６０１において、ＣＰＵ２３１は、削除順序が「交互」であるか否かを判定する。ＣＰＵ２３１は、削除順序が「交互」であると判定した場合、処理をＳ１６０２に進め、削除順序が「交互」でないと判定した場合、処理をＳ１６０３に進める。
Ｓ１６０２において、ＣＰＵ２３１は、ＮｔとＮｗとが等しいか否かを判定する。ＣＰＵ２３１は、ＮｔとＮｗとが等しいと判定した場合、処理をＳ１６０４に進め、ＮｔとＮｗとが等しくないと判定した場合、処理をＳ１６０５に進める。
【００８２】
Ｓ１６０３において、ＣＰＵ２３１は、Ｎｔが０であるか否かを判定する。ＣＰＵ２３１は、Ｎｔが０であると判定した場合、処理をＳ１６０５に進め、Ｎｔが０でないと判定した場合、処理をＳ１６０４へ処理を進める。
Ｓ１６０４において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮｔの値から１を減じる。
Ｓ１６０５において、ＣＰＵ２３１は、主記憶装置２３２に記憶されたＮｗの値から１を減じる。
Ｓ１６０６において、ＣＰＵ２３１は、望遠区分のセンサシステム１１０それぞれに対して、Ｎｔを通知し、Ｎｔが示す階層分のデータを送信データから削除するように指示する。また、ＣＰＵ２３１は、広角区分のセンサシステム１１０それぞれに対して、Ｎｗを通知し、Ｎｗが示す階層分のデータを送信データから削除するように指示する。
【００８３】
図１７を用いて、本実施形態におけるカメラアダプタ１２０ｂが、サーバシステム２００に送信する送信データの符号量を制御する処理について説明する。
Ｓ１７０１において、符号量制御部１２００３は、望遠撮影モードの場合に送信対象となる画像のデータを何階層分、削除するかを示すカウンタＹｔを主記憶装置２３２に記憶し、値を０に初期化する。また、符号量制御部１２００３は、広角撮影モードの場合に送信対象となる画像のデータを何階層分、削除するかを示すカウンタＹｗを主記憶装置２３２に記憶し、値を０に初期化する。
Ｓ１７０２では、符号量制御部１２００３は、フロントエンドサーバ装置２３０から送信データの削除の指示を受信したか否かを判定する。符号量制御部１２００３は、フロントエンドサーバ装置２３０から送信データの削除の指示を受信したと判定した場合、処理をＳ１７０３に進める。符号量制御部１２００３は、フロントエンドサーバ装置２３０から送信データの削除の指示を受信していないと判定した場合、処理をＳ１７０４に進める。
【００８４】
Ｓ１７０３において、符号量制御部１２００３は、フロントエンドサーバ装置２３０から送信データの削除の指示と併せて受信したＮｔの値で、Ｙｔを更新する。また、符号量制御部１２００３は、フロントエンドサーバ装置２３０から送信データの削除の指示と併せて受信したＮｗの値で、Ｙｗを更新する。
Ｓ１７０４、Ｓ１７０５の処理は、それぞれＳ８０２、Ｓ８０３それぞれの処理と同様である。
Ｓ１７０６において、符号量制御部１２００３は、自装置に接続されたカメラ（カメラ１１２ｂ）の焦点距離を取得する。以下では、Ｓ１７０６で取得された焦点距離をＺとおく。本実施形態では、各カメラ１１２は、撮影した画像と合わせて、撮影の際の焦点距離の情報を対応するカメラアダプタ１２０に送信する。
【００８５】
Ｓ１７０７において、符号量制御部１２００３は、Ｓ１７０６で取得したＺが、予め定められた閾値Ｔ＿ｚよりも大きいか否かを判定する。符号量制御部１２００３は、Ｚが閾値Ｔ＿ｚよりも大きいと判定した場合、自装置に接続されたカメラ１１２（カメラ１１２ｂ）が望遠撮影モードであるとして、処理をＳ１７０９に進める。また、符号量制御部１２００３は、Ｚが閾値Ｔ＿ｚ以下であると判定した場合、自装置に接続されたカメラ１１２（カメラ１１２ｂ）が広角撮影モードであるとして、処理をＳ１７０８に進める。
Ｓ１７０８において、符号量制御部１２００３は、自装置に接続されたカメラ１１２（カメラ１１２ｂ）により撮影された画像のデータの総階層数から、カウンタＹｗの値を減じた値を、実際に送信する階層数Ｙとして決定する。
Ｓ１７０９において、符号量制御部１２００３は、自装置に接続されたカメラ１１２（カメラ１１２ｂ）により撮影された画像のデータの総階層数から、カウンタＹｔの値を減じた値を、実際に送信する階層数Ｙとして決定する。
【００８６】
Ｓ１７１０において、符号量制御部１２００３は、自装置に接続されたカメラ１１２（カメラ１１２ｂ）により撮影された画像のデータのうち、Ｓ１７０８又はＳ１７０９で決定されたＹ階層分のデータをサーバシステム２００に送信する。
Ｓ１７１１において、符号量制御部１２００３は、画像処理システム１００による撮影が終了したか否かを判定する。符号量制御部１２００３は、画像処理システム１００による撮影が終了したと判定した場合、図１７の処理を終了し、画像処理システム１００による撮影が終了していないと判定した場合、処理をＳ１７０２に進める。
本実施形態では、カメラアダプタ１２０ａ、１２０ｃ〜１２０ｚそれぞれは、カメラアダプタ１２０ｂと同様の処理（図１７と同様の処理）を行う。
【００８７】
以上、本実施形態の処理により、画像処理システム１００は、各カメラ１１２の撮影モードが撮影中に変更されても、より適切に送信されるデータの符号量を制御できる。
本実施形態では、削除可能回数は、画像の符号化方式で段階的に削除できる階層数に基づいて決定されるとしたが、画質を考慮して決定される値であってもよい。例えば、データが削除された広角撮影モードのカメラと、データが削除されていない望遠撮影モードのカメラと、の撮影画像の画質差ができてしまう場合に、３Ｄモデルに両カメラからの画像が隣接して張り合わされることがある。そのような場合、削除可能回数は、両者の境界付近における画質差が目立たない程度の差異を考慮して定められた値であることとしてもよい。
【００８８】
＜その他の実施形態＞
実施形態１〜４では、各センサシステム１１０は、図１に示すシステム構成であるとした。ただし、他の例として、各センサシステム１１０は、少なくとも１台のカメラアダプタ１２０と、１台のカメラ１１２と、を含んでいれば、他のシステム構成であることとしてもよい。
例えば、センサシステム１１０は、１台のカメラアダプタ１２０に接続された複数のカメラ１１２を含むこととしてもよい。また、例えば、センサシステム１１０は、１台のカメラ１１２に接続された複数のカメラアダプタ１２０を含むこととしてもよい。また、例えば、センサシステム１１０は、複数のカメラアダプタ１２０と、複数のカメラ１１２と、を含むこととしてもよい。また、センサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、カメラアダプタ１２０以外の装置を含んでいてもよい。このような場合、画像処理システム１００内のカメラ１１２とカメラアダプタ１２０との個数の比は、Ｎ対Ｍ（ＮとＭは共に１以上の整数、Ｎ≠Ｍ）となる。
【００８９】
また、実施形態１〜４では、画像処理システム１００には、２６個のセンサシステム（センサシステム１１０ａ−１１０ｚ）が含まれることとした。ただし、他の例として、画像処理システム１００は、２５個以下のセンサシステムを含むこととしてもよいし、２７個以上のセンサシステムを含むこととしてもよい。
また、実施形態１〜４では、画像処理システム１００は、仮想視点コンテンツとして、仮想視点画像と対応する音声とが含まれるコンテンツを生成することとした。ただし、他の例として、画像処理システム１００は、仮想視点コンテンツとして、仮想視点画像を含み、音声を含まないコンテンツを生成することとしてもよい。
また、実施形態１〜４では、カメラ１１２ａ−１１２ｚそれぞれと、対応するカメラアダプタ１２０ａ−１２０ｚそれぞれと、は別個の装置であるとした。ただし、カメラ１１２ａ−１１２ｚそれぞれと、対応するカメラアダプタ１２０ａ−１２０ｚそれぞれと、は一体の装置であることとしてもよい。また、その場合、マイク１１１ａ−１１１ｚそれぞれは、カメラとカメラアダプタとが一体化された装置に内蔵されることとしてもよい。
【００９０】
また、実施形態１〜４では、デイジーチェーンとなるようセンサシステム１１０ａ−１１０ｚの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステムをいくつかのグループに分割して、分割したグループ単位でセンサシステム間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタがスイッチングハブ１８０に接続されてサーバシステム２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、又は、スタジアムの半周毎にサーバシステム２００への入力を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
【００９１】
また、画像処理システム１００は、デイジーチェーン接続されてサーバシステム２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、サーバシステム２００での画像処理の制御が切り替えられるようにしてもよい。即ち、画像処理システム１００は、センサシステム１１０ａ−１１０ｚが複数のグループに分割されているか否かに応じて制御を切り替える。他のカメラアダプタ１２０を介さずにサーバシステム２００に接続するカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場の全周の画像が送信される。そのため、サーバシステム２００において全周の画像データが揃うタイミングは、同期がとれている。即ち、センサシステム１１０ａ−１１０ｚが複数のグループに分割されていなければ、送信される画像データの送信先への到達の同期はとれる。
しかし、他のカメラアダプタ１２０を介さずにサーバシステム２００に接続するカメラアダプタ１２０が複数（センサシステム１１０ａ―１１０ｚが複数のグループに分割される）の場合、以下のような事態が生じうる。即ち、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる事態が生じうる。そのため、画像処理システム１００は、サーバシステム２００において全周の画像データが揃うまで待って同期をとる同期制御を行い、画像データの集結をチェックしながら後段の画像処理を行うようにしてもよい。
【００９２】
また、実施形態１〜４では、サーバシステム２００のシステム構成は、図１に示される構成であるとした。ただし、他の例として、サーバシステム２００のシステム構成は、他の構成であってもよい。例えば、フロントエンドサーバ装置２３０、ＤＢ装置２５０、及びバックエンドサーバ装置２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ装置２３０、ＤＢ装置２５０、及びバックエンドサーバ装置２７０の少なくとも何れかが複数、サーバシステム２００に含まれていてもよい。また、サーバシステム２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、サーバシステム２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ部３３０が有していてもよい。
また、実施形態１〜４では、仮想視点は、コントローラシステム３００を介してユーザにより指定されることとした。ただし、他の例として、仮想視点は、画像解析の結果等に基づいて指定されることとしてもよい。例えば、仮想視点は、複数の候補からユーザにより指定されることしてもよいし、外部の装置により指定されることとしてもよい。
また、実施形態２等では、画像処理システム１００は、カメラ１１２のＩＳＯ感度に基づいて、センサシステム１１０それぞれから送信されるデータの符号量を制御することとした。ただし、画像処理システム１００は、カメラ１１２のシャッタースピード等の他の撮影条件に基づいて、センサシステム１１０それぞれから送信されるデータの符号量を制御することとしてもよい。
【００９３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９４】
例えば、上述した画像処理システム１００の機能構成の一部又は全てをハードウェアとしてフロントエンドサーバ装置２３０、カメラアダプタ１２０等に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。
【符号の説明】
【００９５】
１００  画像処理システム
１１０  センサシステム
２３０  フロントエンドサーバ装置
【図１】
2020174232.tif 000003
【図２】
2020174232.tif 000004
【図３】
2020174232.tif 000005
【図４】
2020174232.tif 000006
【図５】
2020174232.tif 000007
【図６】
2020174232.tif 000008
【図７】
2020174232.tif 000009
【図８】
2020174232.tif 000010
【図９】
2020174232.tif 000011
【図１０】
2020174232.tif 000012
【図１１】
2020174232.tif 000013
【図１２】
2020174232.tif 000014
【図１３】
2020174232.tif 000015
【図１４】
2020174232.tif 000016
【図１５】
2020174232.tif 000017
【図１６】
2020174232.tif 000018
【図１７】
2020174232.tif 000019