(57)【要約】【課題】仮想視点画像の画質低下を抑制するデータ伝送を実現する。【解決手段】複数のカメラから得られた画像を回線を介して特定の装置へ伝送するための伝送帯域の、回線の帯域への割り当てを管理する管理装置は、複数のカメラが注視点の位置に応じて分類された複数のカメラ群から、優先するカメラ群を判定する判定部と、判定部により判定された優先するカメラ群の伝送帯域が優先的に割り当てられるように、複数のカメラ群の伝送帯域の回線帯域への割り当てをカメラ群ごとに決定する決定部と、を備える。【選択図】  図１１
2020036294.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラから得られた画像を回線を介して特定の装置へ伝送するための伝送帯域の、前記回線の帯域への割り当てを管理する管理装置であって、
前記複数のカメラがカメラの注視点の位置に応じて分類された複数のカメラ群から、優先するカメラ群を判定する判定手段と、
前記判定手段により判定された優先するカメラ群の伝送帯域が優先的に割り当てられるように、前記複数のカメラ群の伝送帯域の回線帯域への割り当てをカメラ群ごとに決定する決定手段と、を備えることを特徴とする管理装置。
【請求項２】
被写体の位置を取得する取得手段をさらに備え、
前記判定手段は、前記複数のカメラ群のそれぞれの注視点の位置と、前記取得手段により取得された被写体の位置とに基づいて前記複数のカメラ群から優先するカメラ群を判定することを特徴とする請求項１に記載の管理装置。
【請求項３】
前記判定手段は、前記取得手段により取得された被写体の位置のうち、特定の被写体の位置と前記複数のカメラ群のそれぞれの注視点の位置とに基づいて、優先するカメラ群を判定することを特徴とする請求項２に記載の管理装置。
【請求項４】
前記判定手段は、前記取得手段により取得された被写体の位置から得られる被写体の密度の分布と注視点の位置とに基づいて、優先するカメラ群を判定することを特徴とする請求項２または３に記載の管理装置。
【請求項５】
前記取得手段は、前記複数のカメラ群のうちの１つのカメラ群からの画像に基づいて被写体の位置を取得することを特徴とする請求項２乃至４のいずれか１項に記載の管理装置。
【請求項６】
前記取得手段が用いる画像を提供する前記１つのカメラ群は、前記回線を介した伝送の対象としないことを特徴とする請求項５に記載の管理装置。
【請求項７】
前記複数のカメラ以外の外部カメラの注視点の位置を取得する取得手段をさらに備え、
前記判定手段は、前記外部カメラの注視点の位置と前記複数のカメラ群のそれぞれの注視点の位置との距離に基づいて、前記優先するカメラ群を判定することを特徴とする請求項１に記載の管理装置。
【請求項８】
前記取得手段は、前記外部カメラから得られた画像に基づいて、前記外部カメラの注視点の位置を取得することを特徴とする請求項７に記載の管理装置。
【請求項９】
送信に失敗したデータを再送信するための帯域を、前記優先するカメラ群の伝送帯域を設定した残りの帯域に設定する再送設定手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の管理装置。
【請求項１０】
前記再送設定手段は、再送信するための帯域が不足する場合、前記優先するカメラ群に含まれるカメラから得られるカメラ画像のうち画角の広い順に再送信するための帯域を設定することを特徴とする請求項９に記載の管理装置。
【請求項１１】
前記決定手段は、前記複数のカメラ群のそれぞれの撮影領域における被写体の密度に基づいて必要なカメラ数を決定し、前記複数のカメラ群の各々の伝送帯域を決定することを特徴とする請求項１に記載の管理装置。
【請求項１２】
前記決定手段は、カメラ群の伝送帯域を割り当てるための前記回線の帯域が不足する場合に、カメラ画像のフレームレートを現在のフレームレートよりも下げる第一の帯域圧縮処理を実行することを特徴とする請求項１に記載の管理装置。
【請求項１３】
前記決定手段は、カメラ群の伝送帯域を割り当てるための前記回線の帯域が不足する場合に、カメラ画像の解像度を現在の解像度よりも下げる第二の帯域圧縮処理を実行することを特徴とする請求項１に記載の管理装置。
【請求項１４】
前記決定手段は、カメラ群の伝送帯域を割り当てるための前記回線の帯域が不足する場合に、カメラ画像のエンコード時の圧縮率を現在の圧縮率より上げる第三の帯域圧縮処理を実行することを特徴とする請求項１に記載の管理装置。
【請求項１５】
前記決定手段は、カメラ群の伝送帯域を割り当てるための前記回線の帯域が不足する場合に、カメラ画像のフレームレートを現在のフレームレートよりも下げる第一の帯域圧縮処理、カメラ画像の解像度を現在の解像度よりも下げる第二の帯域圧縮処理、カメラ画像のエンコード時の圧縮率を現在の圧縮率より上げる第三の帯域圧縮処理のいずれかを選択的に実行することを特徴とする請求項１に記載の管理装置。
【請求項１６】
前記決定手段は、前記帯域の不足が解消されるまで、前記第一の帯域圧縮処理、前記第二の帯域圧縮処理、前記第三の帯域圧縮処理の順で処理を実施することを特徴とする請求項１５に記載の管理装置。
【請求項１７】
複数のカメラから得られた画像を回線を介して特定の装置へ伝送するための伝送帯域の、前記回線の帯域への割り当てを管理する管理装置の制御方法であって、
前記複数のカメラがカメラの注視点の位置に応じて分類された複数のカメラ群から、優先するカメラ群を判定する判定工程と、
前記判定工程により判定された優先するカメラ群の伝送帯域が優先的に割り当てられるように、前記複数のカメラ群の伝送帯域の回線帯域への割り当てをカメラ群ごとに決定する決定工程と、を備えることを特徴とする管理装置の制御方法。
【請求項１８】
被写体の位置を取得する取得工程をさらに備え、
前記判定工程では、前記複数のカメラ群のそれぞれの注視点の位置と、前記取得工程により取得された被写体の位置とに基づいて前記複数のカメラ群から優先するカメラ群を判定することを特徴とする請求項１７に記載の管理装置の制御方法。
【請求項１９】
前記判定工程では、前記取得工程により取得された被写体の位置のうち、特定の被写体の位置と前記複数のカメラ群のそれぞれの注視点の位置とに基づいて、優先するカメラ群を判定することを特徴とする請求項１８に記載の管理装置の制御方法。
【請求項２０】
前記判定工程では、前記取得工程により取得された被写体の位置から得られる被写体の密度の分布と注視点の位置とに基づいて、優先するカメラ群を判定することを特徴とする請求項１８または１９に記載の管理装置の制御方法。
【請求項２１】
コンピュータを、請求項１乃至１６のいずれか１項に記載された管理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点画像を生成する際の複数カメラからの画像伝送に関し、特に複数カメラからの画像伝送の帯域の割り当ての管理に関する。
【背景技術】
【０００２】
複数台の実カメラで撮影された画像を用いて、任意の位置からの仮想カメラ画像を再現する技術として、仮想視点画像技術がある。仮想視点画像技術は、スポーツ放送等において、より臨場感の高い画像表現を実現する技術として期待されている。仮想視点画像では、実カメラ画像から被写体の形状推定を実施し、形状推定結果を基に仮想カメラの移動経路をユーザが決定し、仮想カメラから撮影した画像を再現する。これら一連の画像処理は計算負荷が高く、かつ並列性が高い点、スポーツイベントの開催頻度が低い点から、クラウド環境の利用に適している。しかし、クラウド環境で画像処理を行うには、複数台の実カメラ画像を光回線等のワイドエリアネットワーク（ＷＡＮ）を通して伝送する必要があり、ＷＡＮの回線混雑度によっては伝送速度が著しく低下するなどの弊害も発生する。
【０００３】
このような課題に対して、実カメラ画像を解析し、被写体の動き量から伝送時のフレームレートを制御する手法が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１３３５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では動き量のみを考慮しているため、スポーツに適用すると、主要被写体よりも他の被写体が優先されるという課題がある。例えば、サッカーの例では、シュートを打つ被写体よりも周辺を走っている被写体の動き量の方が大きくなると、周辺を走っている被写体が優先されてしまう場合がある。また、特許文献１では、伝送に失敗したデータの扱いは考慮されていない。データ伝送の失敗が発生した場合、主要被写体を対象とした（シュートシーン）仮想視点画像の画質は大幅に劣化する。
【０００６】
本発明は、仮想視点画像の画質低下を抑制するデータ伝送を実現することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様による管理装置は以下の構成を備える。すなわち、
複数のカメラから得られた画像を回線を介して特定の装置へ伝送するための伝送帯域の、前記回線の帯域への割り当てを管理する管理装置であって、
前記複数のカメラがカメラの注視点の位置に応じて分類された複数のカメラ群から、優先するカメラ群を判定する判定手段と、
前記判定手段により判定された優先するカメラ群の伝送帯域が優先的に割り当てられるように、前記複数のカメラ群の伝送帯域の回線帯域への割り当てをカメラ群ごとに決定する決定手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、データ伝送に起因した仮想視点画像の画質低下が抑制される。
【図面の簡単な説明】
【０００９】
【図１】撮影伝送システムの構成例を示すブロック図。
【図２】（ａ）は複数のカメラの配置と、カメラ群への分類の一例を示す図、（ｂ）は各カメラの撮影領域を示す図。
【図３】撮影伝送システムによる、データ伝送処理を示すフローチャート。
【図４】帯域割り当て処理を示すフローチャート。
【図５】第１実施形態による優先注視点の設定処理を示すフローチャート。
【図６】帯域の算出処理を示すフローチャート。
【図７】クラウド画像処理装置による仮想視点画像の生成処理を示すフローチャート。
【図８】画像解析処理を示すフローチャート。
【図９】第２実施形態による再送信データ効率化処理を示すフローチャート。
【図１０】第３実施形態による優先注視点の設定処理を示すフローチャート。
【図１１】ローカル画像処理装置の構成例を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１１】
＜第１実施形態＞
第１実施形態では、複数のカメラの画像をクラウド環境に伝送し、仮想視点画像を生成する撮影伝送システムについて説明する。
【００１２】
図１は、第１実施形態における撮影伝送システム１００の構成例を示すブロック図である。撮影伝送システム１００は、カメラ群［Ａ］〜［Ｃ］、ローカル記憶装置１０５、ローカル画像処理装置１０６、ルータ１０７、ＬＡＮ（Local Area Network）１０８を備える。また、撮影伝送システム１００は、ルータ１０７により、ＷＡＮ１０９経由でクラウド画像処理装置１１０とＩＰ接続している。カメラ群［Ａ］、［Ｂ］は同じ構成であり、複数の望遠カメラ１０１、複数の標準カメラ１０２、それらカメラと接続されたエンコーダ１０４で構成されている。望遠カメラ１０１と標準カメラ１０２は撮影時の画角が異なっているが、双方ともエンコーダ１０４とＳＤＩ（Serial Digital Interface）等のケーブルで接続しており、非圧縮の画像データをエンコーダに転送する。カメラ群［Ｃ］は、複数の広角カメラ１０３とそれらに接続されるエンコーダ１０４で構成されている。広角カメラ１０３はエンコーダ１０４とＳＤＩ等のケーブルで接続しており、非圧縮の画像データをエンコーダに転送する。
【００１３】
エンコーダ１０４はカメラから送信された画像データに対してＨＥＶＣ形式の動画圧縮を行い、ＨＥＶＣストリームを生成した後、ＬＡＮ１０８経由でローカル記憶装置１０５、ローカル画像処理装置１０６、ルータ１０７にＨＥＶＣストリームを送信する。なお、ＨＥＶＣはHigh Efficiency Video Codingの略である。ＬＡＮ１０８はローカルエリアネットワークで各装置をＩＰ接続する。エンコーダ１０４は、ローカル画像処理装置１０６により設定されたフレームレート、圧縮率のＨＥＶＣストリームを生成、送信する。
【００１４】
ローカル記憶装置１０５はハードディスク等の記憶媒体で構成され、エンコーダ１０４から伝送されたＨＥＶＣストリームを保存する。ローカル画像処理装置１０６は、広角カメラ１０３や放送用カメラ１１１からの画像の解析等を実施する。ローカル画像処理装置１０６は、ＷＡＮ１０９の回線状態に基づいて、各カメラ群におけるエンコーダ１０４のフレームレート、圧縮率を決定する。すなわち、ローカル画像処理装置１０６は、複数のカメラ（カメラ群［Ａ］、［Ｂ］など）から得られた画像を回線を介して特定の装置へ伝送するための伝送帯域の、前記回線の帯域への割り当てを管理する管理装置としての役割を担う。ルータ１０７は、ＨＥＶＣストリームをＷＡＮ１０９経由でクラウド画像処理装置１１０に送信する。ＷＡＮ１０９はワイドエリアネットワークである。クラウド画像処理装置１１０は、クラウド環境において仮想視点画像を生成する装置である。放送用カメラ１１１は、テレビ放送等に利用するカメラで、ＳＤＩケーブルを通してローカル画像処理装置１０６に画像が転送可能である。クラウド画像処理装置１１０は、カメラ群［Ａ］、［Ｂ］から送信された画像に基づいて仮想視点画像を生成する。
【００１５】
なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００１６】
図２（ａ）は、カメラ群［Ａ］〜［Ｃ］における望遠カメラ１０１、標準カメラ１０２、広角カメラ１０３の配置と注視点を示した図である。また、図２（ｂ）は、各カメラによる撮影領域を示した図である。ここでは、サッカーを行う競技場にカメラを設置したケースで説明する。全てのカメラは競技を行うフィールドを取り囲むように配置されており、カメラ群［Ａ］、［Ｂ］、［Ｃ］毎に異なる注視点［Ａ］、［Ｂ］、［Ｃ］を向いている。すなわち、本実施形態では、各カメラの注視点位置に基づいて各カメラはカメラ群に分類され、管理されている。なお、一つのカメラ群に属するカメラの注視点は厳密に一致していなくてもよく、所定の範囲にそれぞれの注視点が存在すればよい。その場合、例えば、それらの注視点の重心を、当該カメラ群に対応する注視点位置とすればよい。また、望遠カメラ１０１、標準カメラ１０２、広角カメラ１０３の順に画角が広くなり、それぞれ撮影領域２０４、２０５、２０６を撮影可能である。撮影領域２０４ａ、２０５ａは、それぞれカメラ群［Ａ］に属する望遠カメラ１０１、標準カメラ１０２の撮影領域である。また、撮影領域２０４ｂ、２０５ｂは、それぞれカメラ群［Ｂ］に属する望遠カメラ１０１、標準カメラ１０２の撮影領域である。このような構成になっているのは、決定的シーン（シュートなど）の発生確率が高い領域は高解像度に撮影し、低い領域は低解像度だが広領域を撮影するためである。
【００１７】
注視点［Ｃ］については広角カメラ１０３のみが撮影しており、注視点［Ａ］、［Ｂ］は望遠カメラ１０１と標準カメラ１０２が混合して撮影している。本実施形態では、注視点［Ａ］、［Ｂ］を撮影しているカメラ画像が仮想視点画像生成に用いられるものとする。注視点［Ｃ］のカメラ群は、ローカル画像処理装置１０６が、フィールド上の各被写体の位置を監視するための画像を提供する。また、全カメラの位置や姿勢（向き）、画角等はあらかじめキャリブレーション等によって取得できているものとする。なお、被写体は、移動する動体のことを指す。例えば、被写体としては、人物（選手や審判など）やボールなどを含む。ただし、場合によっては、被写体としては、ゴールやコーナーフラグなどのフィールドに少なくともその一部が設置された構造物など、静止状態が所定の時間継続する物体が含まれてもよい。
【００１８】
次に、カメラ群の伝送帯域の割り当てを管理する管理装置として機能するローカル画像処理装置１０６のハードウエア構成、機能構成について説明する。図１１（ａ）はローカル画像処理装置１０６のハードウエア構成例を示すブロック図、図１１（ｂ）はローカル画像処理装置１０６の機能構成例を示すブロック図である。図１１（ａ）においてＣＰＵ１５１は、ＲＯＭ１５２またはＲＡＭ１５３に記憶されているプログラムを実行することにより種々の機能を実現する。ＲＯＭ１５２は読み出し専用の不揮発メモリ、ＲＡＭ１５３は随時に読み書きが可能な揮発性メモリである。なお、本例ではＲＯＭ１５２とＲＡＭ１５３によりメモリが構成されるが、これに限られるものではない。ネットワークＩ／Ｆ１５４は、ローカル画像処理装置１０６をＬＡＮ１０８に接続するためのインターフェースである。上述の各部は、バス１５５に接続されている。
【００１９】
図１１（ｂ）に示される各機能部は、ＣＰＵ１５１がＲＯＭ１５２またはＲＡＭ１５３に格納された所定のプログラムを実行することにより実現され得る。もちろん、各機能部が専用のハードウエアにより実現されてもよいし、ハードウエアとソフトウエアの協働により実現されてもよい。図１１（ｂ）において、取得部１６０は、例えば、カメラ群Ｃのカメラからの画像に基づいて、フィールドにおける被写体の位置を取得する。判定部１６１は、複数のカメラがカメラの注視点の位置に応じて分類された複数のカメラ群（カメラ群［Ａ］、［Ｂ］）から、優先するカメラ群を判定する。なお、第１実施形態では、判定部１６１は、取得部１６０が取得した被写体の位置に基づいて優先するカメラ群を判定する。決定部１６２は、判定部１６１により判定された優先するカメラ群の伝送帯域が優先的に割り当てられるように、複数のカメラ群の伝送帯域の回線帯域（ＷＡＮ１０９の帯域）への割り当てをカメラ群ごとに決定する。また、決定部１６２は、再送設定部１６４を有する。再送設定部１６４は、データロスに応じてクラウド画像処理装置１１０から送信される再送信要求（図７のＳ７０９）に応じて再送信リストを生成、管理し、再送信用の帯域を回線帯域へ設定する。通知部１６３は、決定部１６２により決定されたカメラ群の伝送帯域から、それぞれのカメラ画像に割り当てられる伝送帯域を決定し、各々のエンコーダ１０４に通知する。
【００２０】
図３は、撮影伝送システム１００による、撮影からクラウドへの画像伝送までの一連の処理過程を説明したフローチャートである。Ｓ３０１において、撮影伝送システム１００はクラウド画像処理装置１１０との接続を開始する。より具体的には、ルータ１０７を介して、ＬＡＮ１０８上の各装置とＷＡＮ１０９上のクラウド画像処理装置１１０とが通信接続を開始する。Ｓ３０２において、ローカル画像処理装置１０６は、ＷＡＮ回線における使用可能な帯域をカメラ群毎に（本例では、カメラ群［Ａ］〜［Ｃ］の各々に）割り当てる。ここでは、後述のＳ３１４による画像解析の結果を用いて帯域の割り当てが行われるが、画像解析が未実施の場合には、全てのカメラ群に対して均等に帯域が割り当てられる。Ｓ３０２の処理に関しては、図４の参照により後述する。
【００２１】
Ｓ３０３において、各カメラが撮影を実行し、画像をエンコーダ１０４に随時送信する。Ｓ３０４において、エンコーダ１０４が撮影画像をＨＥＶＣ形式にエンコードし、ＨＥＶＣストリームを生成する。エンコーダ１０４は、エンコードの最小単位であるＧＯＰ（Group of Pictures）分の画像を処理するとファイルを生成し、そのファイルを送信する。以降、本明細書におけるＨＥＶＣストリームとは、ＧＯＰ単位のファイルを表すものとする。望遠カメラ１０１、標準カメラ１０２の画像から生成されたＨＥＶＣストリームは、Ｓ３０５およびＳ３０９において、ルータ１０７とローカル記憶装置１０５に送信される。広角カメラ１０３の画像から生成されたＨＥＶＣストリームは、Ｓ３１３において、ローカル画像処理装置１０６に送信される。
【００２２】
Ｓ３０６において、ルータ１０７は、エンコーダ１０４から受信したＨＥＶＣストリームをクラウド画像処理装置１１０に送信する。Ｓ３１０において、ローカル記憶装置１０５は、エンコーダ１０４から受信したＨＥＶＣストリームをハードディスク等に保存する。Ｓ３１４において、ローカル画像処理装置１０６は、エンコーダ１０４から受信したＨＥＶＣストリーム（広角カメラ１０３の画像から生成されたストリーム）をデコードし、画像解析を実施する。本処理に関しては、図８の参照により後述する。この解析結果は、Ｓ３０２においてローカル画像処理装置１０６が各カメラ群へのＷＡＮ帯域の割り当てを行うためにフィードバックされる。
【００２３】
Ｓ３０７において、クラウド画像処理装置１１０から受信済データのフィードバックを受け、送信時のデータロスが発生したか否か（送信に失敗したデータがあるかどうか）を判断する。データロスが発生したと判断された場合（Ｓ３０７でＹＥＳ）、処理はＳ３１１に進み、データロスが発生していないと判断された場合（Ｓ３０７でＮＯ）、処理はＳ３０８に進む。Ｓ３１１において、ローカル画像処理装置１０６は、データロスしたＨＥＶＣストリームをローカル記憶装置１０５から探索する。Ｓ３１２において、ローカル画像処理装置１０６は、Ｓ３１１で探索したＨＥＶＣストリームのファイル名を再送信リストに追記する。再送信リストはデータロスしたＨＥＶＣストリームを列挙したファイルであり、Ｓ３０２におけるＷＡＮ回線の割り当てにおいて用いられる。Ｓ３０８において、ローカル画像処理装置１０６は、撮影・伝送を継続するか否かを判断する。撮影・伝送を継続すると判断された（Ｓ３０８でＹＥＳ）場合は、処理はＳ３０２に戻り、上述した処理を繰り返す。撮影・伝送を継続しないと判断された（Ｓ３０８でＮＯ）場合は、本処理を終了する。
【００２４】
次に、クラウド画像処理装置１１０による仮想視点画像の生成処理について説明する。図７は、クラウド画像処理装置１１０において仮想視点画像を生成する処理を説明したフローチャートである。Ｓ７０１において、クラウド画像処理装置１１０は、撮影伝送システム１００との接続を確立する。Ｓ７０２において、クラウド画像処理装置１１０は、撮影伝送システム１００（エンコーダ１０４）からＨＥＶＣストリームを受信する。Ｓ７０３において、クラウド画像処理装置１１０は、データロスが発生したか否かを判断する。データロスの判断には、例えば、ストリームファイルのヘッダに記載されているファイルサイズにより判断する、ファイル終端の識別ＩＤで判断する、など、既知の手法を用いることができる。
【００２５】
Ｓ７０３でデータロスが発生していると判断された場合（Ｓ７０３でＹＥＳ）、処理はＳ７０９に進む。Ｓ７０９において、クラウド画像処理装置１１０は、撮影伝送システム１００に対して、ＨＥＶＣストリームの再送信要求を出す。他方、Ｓ７０３でデータロスが発生していないと判断された場合（Ｓ７０３でＮＯ）、処理はＳ７０４に進む。Ｓ７０４では、クラウド画像処理装置１１０は、受信したＨＥＶＣストリームに対してデコード処理を行う。デコード処理を実施すると、カメラ毎にシーケンシャルな静止画像が生成される。
【００２６】
Ｓ７０５において、クラウド画像処理装置１１０は、シーケンシャルな静止画像を基に被写体の輪郭を抽出する。例えば、クラウド画像処理装置１１０は、シーケンシャルな静止画像群に中間値フィルタを実行することで、背景のみの静止画像を生成する。この背景静止画像とシーケンシャルな静止画像群との差分から、被写体の輪郭が抽出可能となる。Ｓ７０６において、クラウド画像処理装置１１０は、被写体の輪郭情報を基に被写体の３次元形状を推定する。本処理はVisual-Hullなどの既知の手法で実行可能であり、時間軸方向のフレーム単位で実行される。なお、本処理の推定精度はカメラ台数と比例しており、被写体数が多い場合はより多くのカメラ台数が必要である。
【００２７】
Ｓ７０７において、クラウド画像処理装置１１０は、Ｓ７０６で推定した３次元被写体に対して、シーケンシャルな静止画像群を投影し、仮想カメラからの画像を再現（レンダリング）する。本処理はコンピュータグラフィックスの技術を用いることで実行可能である。Ｓ７０８において、クラウド画像処理装置１１０は、仮想視点画像の生成処理を終了するか否かを判断する。クラウド画像処理装置１１０は、仮想視点画像の生成処理を終了する場合（Ｓ７０８でＹＥＳ）、本処理を終了し、仮想視点画像の生成処理を継続する場合（Ｓ７０８でＮＯ）、処理をＳ７０２に戻し、上述の処理を繰り返す。
【００２８】
図８は、ローカル画像処理装置１０６による画像解析の処理（Ｓ３１４）を説明するフローチャートである。上述したように、取得部１６０は、複数のカメラ群のうちの１つのカメラ群（本例ではカメラ群［Ｃ］）からの画像に基づいて被写体の位置を取得する。また、本実施形態では、取得部１６０が用いる画像を提供する１つのカメラ群（カメラ群［Ｃ］）は、回線を介した伝送の対象とはしないが、これに限られるものではない。Ｓ８０１において、ローカル画像処理装置１０６の取得部１６０は、広角カメラ１０３の画像に対して、被写体認識を実行する。被写体認識は画像の中から選手やボールを検出・抽出する処理である。なお、被写体認識では、個々の被写体の属性（背番号や名前等）も検出可能である。このような被写体認識は、Deep Learning技術を用いた公知のオープンソースが展開されているため、それらを利用することで実現可能である。
【００２９】
Ｓ８０２において、判定部１６１は、複数台の広角カメラ１０３からの画像より取得部１６０が検出した被写体を基に、各被写体の３次元位置を算出するとともに、各位置における被写体の密度を算出する。被写体の位置は、属性から各画像間で同一の被写体を判断し、三角測量の仕組みを適用することにより特定され得る。判定部１６１は、検出した被写体とその属性・３次元位置を画像解析結果としてファイル化する。Ｓ８０３において、判定部１６１は、被写体の中に特定の被写体としての重要被写体があるか否かを判断する。重要被写体とは、例えば、その被写体の近辺で決定的なプレーが実施される可能性が高い特定の被写体であり、本実施形態ではボールを重要被写体とする。重要被写体があると判定された場合（Ｓ８０３でＹＥＳ）、処理はＳ８０４に進み、重要被写体がないと判定された場合（Ｓ８０３でＮＯ）、処理が終了する。Ｓ８０４において、判定部１６１は、重要被写体に対してフラグを立て、画像解析結果に追記する。
【００３０】
図４は、ローカル画像処理装置１０６（決定部１６２）によるＷＡＮ１０９の回線帯域への、カメラ群の伝送帯域の割り当ての処理（Ｓ３０２）を説明するフローチャートである。Ｓ４０１において、ローカル画像処理装置１０６の決定部１６２は、ＷＡＮ１０９における回線の実行帯域を取得する。回線の実行帯域は、直前のデータ送信の結果から測定されてもよいし、事前に準備したダミーデータを送信することで取得されてもよい。Ｓ４０２において、決定部１６２は、Ｓ３１２で生成した再送信リストから、再送信に必要なデータ量を取得する。Ｓ４０３において、決定部１６２は、ＷＡＮ１０９へ送信される画像のデータ量（望遠カメラ１０１と標準カメラ１０２の画像のデータ量）と再送信データ量を足し合わせたデータ総量を算出する。
【００３１】
Ｓ４０４において、決定部１６２は、Ｓ４０３で算出したデータ総量の伝送に要する帯域とＳ４０１で取得した実行帯域とを比較し、帯域が不足しているか否かを判断する。帯域不足と判断された場合（Ｓ４０４でＹＥＳ）、処理はＳ４０５に進み、帯域不足ではないと判断された場合（Ｓ４０４でＮＯ）、帯域割り当てを変更せずに処理を終了する。Ｓ４０５において、判定部１６１は、Ｓ３１４で行われた画像解析（図８）の結果を取得する。Ｓ４０６において、判定部１６１は、画像解析の結果を基に優先注視点を設定する。優先注視点とは、複数の注視点のうち画像データの伝送を優先する注視点である。本実施形態では、２つの注視点［Ａ］、［Ｂ］のうちの一方が、画像データを優先的に伝送する注視点に設定される。優先注視点に対応するカメラ群が、伝送帯域の割り当てにおいて優先されるカメラ群である。本処理については図５の参照により後述する。Ｓ４０７において、決定部１６２は、優先注視点の情報と画像解析の結果に基づいて帯域割り当てを決定する。本処理については、図６の参照により後述する。
【００３２】
次に、Ｓ４０６における優先注視点の設定（優先するカメラ群の判定）と、Ｓ４０７における帯域の割り当てについて、図５、図６を用いて説明する。優先するカメラ群の判定は、取得部１６０と判定部１６１により実行される。判定部１６１は、取得部１６０により取得された被写体の位置に基づいて優先するカメラ群を判定する。本実施形態では、判定部１６１は、複数のカメラ群のそれぞれの注視点の位置と、取得部１６０により取得された被写体の位置とに基づいて、複数のカメラ群から優先するカメラ群を判定する。
【００３３】
図５は、Ｓ４０５における優先注視点の設定処理を説明したフローチャートである。判定部１６１は、取得部１６０により取得された被写体の位置のうち、特定の被写体である重要被写体の位置と複数のカメラ群のそれぞれの注視点の位置とに基づいて、優先するカメラ群を判定する。すなわち、Ｓ５０１において、判定部１６１は、画像解析の結果から重要被写体が存在するか否かを判断する。重要被写体が存在すると判断された場合（Ｓ５０１でＹＥＳ）、処理はＳ５０２に進み、重要被写体が存在しないと判断された場合（Ｓ５０１でＮＯ）、処理はＳ５０３に進む。Ｓ５０２において、判定部１６１は、重要被写体の３次元位置から、重要被写体を撮影領域に含むカメラが属するカメラ群の注視点を特定し、優先注視点として設定する。なお、そのような注視点が複数存在する場合には、注視点と重要被写体との距離が小さい方の注視点を優先注視点とする。
【００３４】
一方、重要被写体が存在しない場合、判定部１６１は、取得部１６０により取得された被写体の位置から得られる被写体の密度の分布と注視点の位置とに基づいて、優先するカメラ群を判定する。すなわち、まず、Ｓ５０３において、判定部１６１は、各注視点の撮影領域内の被写体密度を算出する。被写体密度は撮影領域に存在する被写体の数を撮影領域の面積で割った値である。なお、注視点の撮影領域とは、注視点を中心とした標準カメラによる撮影領域である。例えば、図２（ｂ）の標準カメラの撮影領域２０５ａをカメラ群［Ａ］の撮影領域として用いることができる。以下、各注視点の撮影領域内における被写体の密度を、被写体密度と称する。本実施形態では、Ｓ５０４において、判定部１６１は、注視点における被写体密度の高い注視点を優先注視点として設定する。これは、より多くの被写体が集まっている領域で決定的シーンが発生する確率が高いためである。
【００３５】
図６は、Ｓ４０６における帯域割り当ての処理を説明したフローチャートである。この処理において、決定部１６２は、判定部１６１が優先すると判定したカメラ群の伝送帯域を優先してＷＡＮ１０９の回線に割り当てる。まず、Ｓ６０１において、決定部１６２は、全注視点について被写体密度を取得する。決定部１６２は、複数のカメラ群のそれぞれの撮影領域における被写体の密度（上述の被写体密度を用いることができる）に基づいて必要なカメラ数を決定し、複数のカメラ群の各々の伝送帯域を決定する。Ｓ６０２において、決定部１６２は、被写体密度から、それぞれの注視点について仮想視点画像を生成するのに必要なカメラ台数を算出する。これは、Ｓ７０６の被写体形状推定時において、被写体数が多い程、より多くのカメラが必要となり、被写体数が少なければ、少数のカメラ台数でよいからである。被写体密度とカメラ台数の関係はあらかじめ、テーブルとして保持しておき、被写体密度を入力すると、必要なカメラ台数が取得されるようにすればよい。
【００３６】
Ｓ６０３において、決定部１６２は、必要なカメラ台数から優先注視点での仮想視点画像生成に必要な伝送帯域を算出し、設定する。伝送帯域の算出には、デフォルトのフレームレート、解像度、圧縮率が用いられる。Ｓ６０４において、決定部１６２は、Ｓ４０１で取得された実行帯域と、Ｓ６０３で取得された伝送帯域とを比較し、帯域が不足しているか否かを判断する。帯域が不足していると判断された場合（Ｓ６０４でＹＥＳ）、処理はＳ６０５に進み、帯域が不足していないと判断された場合（Ｓ６０４でＮＯ）、処理はＳ６０８に進む。なお、帯域が不足していないと判定されると、通知部１６３は、上述したデフォルトのフレームレート、解像度、圧縮率を、必要なカメラのエンコーダ１０４に設定する。なお、必要なカメラとは、優先注視点に対応するカメラ群のカメラのうち、通知部１６３が仮想視点画像の生成に必要と判定した、必要な台数のカメラである。
【００３７】
決定部１６２は、優先するカメラ群の伝送帯域を割り当てるための回線の帯域が不足する場合に、帯域圧縮処理を適用して、優先するカメラ群の伝送帯域を設定できるようにする。本実施形態では、決定部１６２は、カメラ画像のフレームレートを現在のフレームレートよりも削減する第一の帯域圧縮処理と、カメラ画像の解像度を現在の解像度よりも低下する第二の帯域圧縮処理と、カメラ画像のエンコード時の圧縮率を現在の圧縮率よりも高める第三の帯域圧縮処理の少なくもいずれかを実行する。Ｓ６０５〜Ｓ６０７において、決定部１６２は、複数の帯域圧縮処理を順次に適用して伝送帯域を設定する。本例では、決定部１６２は、第一の帯域圧縮処理、第二の帯域圧縮処理、第三の帯域圧縮処理を選択的に用いる。より具体的には、決定部１６２は、帯域の不足が解消されるまで、第一の帯域圧縮処理、第二の帯域圧縮処理、第三の帯域圧縮処理の順で処理を実施する。
【００３８】
Ｓ６０５において、決定部１６２は、非優先注視点の画像伝送を停止し、優先注視点を撮影するカメラのフレームレートを低下させる（第一の帯域圧縮処理）。このように伝送帯域を抑制した状態で、再度必要な伝送帯域を算出し、設定する。伝送帯域の抑制にあたって第一にフレームレートを低下するのは、仮想視点画像の画質に対する影響が少なく、かつ帯域を効率よく抑制可能な理由による。Ｓ６０６において、決定部１６２は、再び、実行帯域とＳ６０５で算出された伝送帯域とを比較し、帯域が不足しているか否かを判断する。帯域が不足していると判断された場合（Ｓ６０６でＹＥＳ）、処理はＳ６０７に進み、帯域が不足していないと判断された場合（Ｓ６０６でＮＯ）、処理を終了する。Ｓ６０７において、決定部１６２は、優先注視点を撮影するカメラの撮影解像度と圧縮率を調整し、伝送可能な帯域まで画像データサイズを削減する（第二の帯域圧縮処理）。本処理では、まず撮影解像度を１／４まで低下させ、それでも帯域が足りない場合はＨＥＶＣの圧縮率を上げることにより、伝送可能な帯域までデータ量を削減する（第三の帯域圧縮処理）。このような順番で帯域圧縮処理を適用することで、仮想視点画像の画質劣化を極力抑えることができる。
【００３９】
Ｓ６０８以降では、再送設定部１６４が、送信に失敗したデータを再送信するための帯域を、前記優先するカメラ群の伝送帯域を設定した残りの帯域に設定する。また、決定部１６２は、非優先注視点に対応するカメラ群の伝送帯域を、残りの帯域に設定する。まず、Ｓ６０８において、決定部１６２の再送設定部１６４は、再送信リストに含まれる優先注視点を撮影するカメラのＨＥＶＣストリームを抽出し、再送信に必要な帯域を算出し、設定する。Ｓ６０９において、決定部１６２は、実行帯域とＳ６０８で取得された伝送帯域とを比較し、帯域が不足するか否かを判断する。帯域が不足すると判断された場合（Ｓ６０９でＹＥＳ）、処理はＳ６１５へ進み、帯域が不足しないと判断された場合（Ｓ６０９でＮＯ）、処理はＳ６１０に進む。Ｓ６１５において、ローカル画像処理装置１０６は、再送信用データと非優先注視点の画像伝送を停止し、本処理を終了する。
【００４０】
Ｓ６１０において、決定部１６２は、非優先注視点について取得された必要なカメラ台数から非優先注視点での仮想視点画像生成に必要な伝送帯域を算出し、設定する。Ｓ６１１において、決定部１６２は、実行帯域とＳ６１０で取得された伝送帯域を比較し、帯域が不足しているか否かを判断する。帯域が不足すると判断された場合（Ｓ６１１でＹＥＳ）、処理はＳ６１２に進み、帯域が不足しないと判断された場合（Ｓ６１１でＮＯ）、処理を終了する。
【００４１】
Ｓ６１２〜Ｓ６１４では、Ｓ６０５〜Ｓ６０７と同様の、複数の帯域圧縮処理が適用される。まず、Ｓ６１２において、決定部１６２は、非優先注視点を撮影するカメラのフレームレートを低下させる。決定部１６２は、このように伝送帯域を抑制した状態で、再度必要な伝送帯域を算出し、設定する。Ｓ６１３において、決定部１６２は、実行帯域と算出された伝送帯域とを比較し、ＷＡＮ１０９の帯域が不足しているか否かを判断する。伝送帯域が不足していると判断された場合（Ｓ６１３でＹＥＳ）、処理はＳ６１４に進み、伝送帯域が不足していないと判断された場合（Ｓ６１３でＮＯ）、本処理を終了する。Ｓ６１４において、決定部１６２は、非優先注視点を撮影するカメラの撮影解像度と圧縮率を調整し、伝送可能な帯域まで画像データサイズを縮退させる。なお、Ｓ６０７と同様に、決定部１６２は、まず非優先注視点を撮影するカメラの撮影解像度を１／４まで低下させ、それでも帯域が足りない場合はＨＥＶＣの圧縮率を上げることにより、伝送可能な帯域までデータ量を削減する。
【００４２】
以上のようにしてカメラ群ごとの伝送帯域が決定されると、通知部１６３は、各カメラ群のカメラのうちのＳ６０２で算出された必要カメラ数のカメラに対する伝送帯域を算出し、対応するエンコーダ１０４に通知する。この通知には、上述のようにして設定されたフレームレート、解像度、圧縮率が含まれる。
【００４３】
以上説明した処理制御を行うことで、クラウド環境への画像伝送を効率化し、主要被写体を対象とした仮想視点画像の画質低下を抑制できる。すなわち、複数のカメラがカメラの注視点の位置に応じて分類されたカメラ群ごとに優先順位を判定し、判定された優先順位に従ってカメラ群ごとに伝送帯域が決定される。このため、優先すべき注視点に対応するカメラ群の複数のカメラについて十分な伝送帯域が確保され、当該カメラ群による仮想視点画像が高画質に維持される。
【００４４】
＜第２実施形態＞
第１実施形態では、優先注視点を撮影するカメラ群の伝送帯域を、非優先注視点を撮影するカメラ群よりも優先してＷＡＮ１０９の帯域に割り当てることでクラウド環境への画像伝送を効率化し、主要被写体を対象とした仮想視点画像の画質低下を抑制した。第２実施形態においては、再送信用データ量を更に効率化（必要に応じて低減）する処理に関して説明する。
【００４５】
第２実施形態におけるシステム構成や、処理の概要は、第１実施形態と同一であるため、以下では、第２実施形態について主として第１実施形態と異なる点を中心に簡潔に説明する。
【００４６】
図９は、第２実施形態による、再送信用帯域の設定処理（Ｓ６０８の詳細）を説明したフローチャートである。Ｓ９０１において、ローカル画像処理装置１０６の再送設定部１６４は、再送信リストに記載されているＨＥＶＣストリームのリストから再送信に必要な帯域を算出する。Ｓ９０２において、再送設定部１６４は、実行帯域とＳ９０１で算出された伝送帯域とを比較し、帯域が不足しているか否かを判断する。帯域が不足していないと判定された場合（Ｓ９０２でＮＯ）、処理を終了し、帯域が不足していると判定された場合（Ｓ９０２でＹＥＳ）、処理はＳ９０３に進む。再送設定部１６４は、再送信するための帯域が不足する場合、画角の広いカメラ画像から優先的に再送信するように、再送信するための帯域を設定する。すなわち、優先するカメラ群に含まれるカメラから得られるカメラ画像のうち画角の広い順に再送信のための帯域が設定される。したがって、本実施形態では、Ｓ９０３において、再送設定部１６４は、再送信リストから望遠カメラのＨＥＶＣストリームを削除し、再送信リストに標準カメラのＨＥＶＣストリームのみを残す。そして、再送設定部１６４は、標準カメラのＨＥＶＣストリームのみとなった再送信リストに基づいて再送用の伝送帯域を設定する。
【００４７】
以上の処理により、再送信に必要な帯域を大幅に削減すること可能となる。なお、望遠カメラ画像を削除する理由は、望遠カメラの画像はＳ７０７のレンダリングにおいては解像感向上の効果が得られるが、それ以外の工程に対しての効果は少ない。一方、標準カメラの画像はＳ７０６の被写体形状推定の工程においても大きく寄与すること、より広範囲の領域で仮想視点画像生成が可能となること、などから再送信時の優先度が高まるためである。
【００４８】
以上のように、第２実施形態によれば、クラウド環境への画像伝送時をより効率化し、主要被写体を対象とした仮想視点画像の画質低下を抑制できる。
【００４９】
＜第３実施形態＞
第１実施形態では、クラウド環境への画像伝送を効率化し、主要被写体を対象とした仮想視点画像の画質低下を抑制する手法に関して説明した。第３実施形態においては、優先注視点をより精度高く設定する手法に関して説明する。第３実施形態におけるシステム構成や、処理の概要は、第１実施形態と同様である。したがって、以下では、第３実施形態について、主として第１実施形態と異なる点を簡潔に説明する。
【００５０】
第３実施形態では、ローカル画像処理装置１０６の取得部１６０が、図２に示される複数のカメラ以外の外部カメラ（本実施形態では、放送用カメラ１１１）の注視点の位置を取得する。そして、判定部１６１は、外部カメラの注視点の位置と、複数のカメラ群のそれぞれの注視点の位置との距離に基づいて、優先するカメラ群を判定する。なお、第３実施形態では、外部カメラから得られた画像に基づいて、当該外部カメラの注視点の位置を取得する。以下、図１０のフローチャートを参照して、より詳細に説明する。
【００５１】
図１０は、第３実施形態による、優先注視点の設定処理（Ｓ４０６の詳細）を説明したフローチャートである。Ｓ１００１において、取得部１６０は、テレビ等の放送で用いられている放送用カメラ１１１の画像を、ＳＤＩケーブル経由で取得する。Ｓ１００２において、取得部１６０は、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いて、Ｓ１００１で取得した放送用カメラ１１１の画像から、放送用カメラ１１１の位置・姿勢を算出する。Ｓ１００３において、取得部１６０は、放送用カメラの位置・姿勢から、放送用カメラのフィールド上における注視点位置を算出し、判定部１６１は、放送用カメラの注視点から最近傍にある注視点を検索する。Ｓ１００４において、判定部１６１は、Ｓ１００３で検索した最近傍の注視点を優先注視点として設定し、優先注視点に対応するカメラ群を優先するカメラ群と判定する。
【００５２】
以上説明した処理制御を行うことで、クラウド環境への画像伝送時をより効率化し、主要被写体を対象とした仮想視点画像の画質低下を抑制できる。
【００５３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５４】
１００：撮影伝送システム、１０１：望遠カメラ、１０２：標準カメラ、１０３：広角カメラ、１０４：エンコーダ、１０５：ローカル記憶装置、１０６：ローカル画像処理装置、１０７：ルータ、１０８：ＬＡＮ、１０９：ＷＡＮ、１１０：クラウド画像処理装置
【図１】
2020036294.tif 000003
【図２】
2020036294.tif 000004
【図３】
2020036294.tif 000005
【図４】
2020036294.tif 000006
【図５】
2020036294.tif 000007
【図６】
2020036294.tif 000008
【図７】
2020036294.tif 000009
【図８】
2020036294.tif 000010
【図９】
2020036294.tif 000011
【図１０】
2020036294.tif 000012
【図１１】
2020036294.tif 000013