(57)【要約】【課題】  背景画像を生成する際の課題を解決することを目的とする。【解決手段】  第１の撮像装置群に含まれる撮像装置により撮像された画像に基づいて、前景オブジェクトを含む前景画像を生成する。前記第１の撮像装置群とは異なる第２の撮像装置群に含まれる撮像装置により撮像された画像に基づいて、前景オブジェクトを含まない背景画像を生成する。生成された前記前景画像と前記背景画像とに基づいて前記仮想視点画像を生成する。【選択図】  図３
2020191598.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置により異なる方向から撮像領域を撮像することにより得られる画像に基づいて、仮想視点に応じた仮想視点画像を生成する画像処理システムであって、
第１の撮像装置群に含まれる撮像装置により撮像された画像に基づいて、前景オブジェクトを含む前景画像を生成する第１の生成手段と、
前記第１の撮像装置群とは異なる第２の撮像装置群に含まれる撮像装置により撮像された画像に基づいて、前景オブジェクトを含まない背景画像を生成する第２の生成手段と、
前記第１の生成手段により生成された前記前景画像と、前記第２の生成手段により生成された前記背景画像と、に基づいて前記仮想視点画像を生成する画像生成手段と、
を有することを特徴とする画像処理システム。
【請求項２】
前記第１の撮像装置群に含まれる複数の撮像装置は、前記撮像領域において前景オブジェクトが存在する領域を複数の方向から撮像できるよう設置されており、
前記第２の撮像装置群に含まれる１または複数の撮像装置は、前記撮像領域において背景となる領域を撮像できるよう設置されていることを特徴とする請求項１記載の画像処理システム。
【請求項３】
前記第１の撮像装置群に含まれる各撮像装置の撮像範囲より、前記第２の撮像装置群に含まれる各撮像装置の撮像範囲は広いことを特徴とする請求項１または２記載の画像処理システム。
【請求項４】
前記撮像領域は、フィールドと観客席とを少なくとも含む競技場であることを特徴とする請求項１から３のいずれか１項に記載の画像処理システム。
【請求項５】
前記第１の撮像装置群に含まれる前記複数の撮像装置は、前記フィールド内の前景オブジェクトを複数の方向から撮像できるよう設置されていることを特徴とする請求項４記載の画像処理システム。
【請求項６】
前記第２の撮像装置群には、前記フィールドを撮像するための撮像装置と、前記観客席を撮像するための撮像装置と、が含まれることを特徴とする請求項４または５記載の画像処理システム。
【請求項７】
前記フィールドを撮像するための撮像装置により撮像された画像に基づいて生成されたフィールドの背景画像と、前記観客席を撮像するための撮像装置により撮像された画像に基づいて生成された観客席の背景画像と、を少なくとも含む複数の背景画像を合成する合成手段を有することを特徴とする請求項６記載の画像処理システム。
【請求項８】
前記複数の撮像装置それぞれには、画像処理装置が接続されており、
前記第１の撮像装置群に含まれる撮像装置に接続されている画像処理装置は、当該撮像装置による撮像画像に基づいて前景画像を生成し、生成した前景画像を送信し、
前記第２の撮像装置群に含まれる撮像装置に接続されている画像処理装置は、当該撮像装置による撮像画像に基づいて背景画像を生成し、生成した背景画像を送信することを特徴とする請求項１から７のいずれか１項に記載の画像処理システム。
【請求項９】
前景画像を処理するための前景処理サーバを含み
前記前景処理サーバは、前記第１の撮像装置群に含まれる複数の撮像装置それぞれに接続されている複数の画像処理装置それぞれにより送信された複数の前景画像に基づいて、前記前景オブジェクトの形状データを示す形状データを生成し、
前記画像生成手段は、生成された前記形状データを用いて、前記仮想視点画像を生成することを特徴とする請求項８記載の画像処理システム。
【請求項１０】
背景画像を処理するための背景処理サーバを含み、
前記背景処理サーバは、前記第２の撮像装置群に含まれる複数の撮像装置それぞれに接続されている複数の画像処理装置それぞれにより送信された複数の背景画像に基づいて、背景オブジェクトに色付けするための背景テクスチャデータを生成し、
前記画像生成手段は、生成された背景テクスチャデータを前記背景オブジェクトにマッピングすることにより、前記仮想視点画像を生成することを特徴とする請求項８または９記載の画像処理システム。
【請求項１１】
前記前景オブジェクトは、選手、ボール、審判の少なくともいずれかを含むことを特徴とする請求項１から１０のいずれか１項に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点に応じた仮想視点画像を生成する画像処理システムに関する。
【背景技術】
【０００２】
昨今、複数のカメラ（撮像装置）を異なる位置に設置して複数視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、任意の仮想カメラ（仮想視点）からの映像（仮想視点映像）を生成する技術が注目されている（特許文献１）。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の映像コンテンツと比較してユーザに高臨場感を与えることが可能となる。
【０００３】
特許文献１には、複数のカメラ夫々により撮像された画像から、人物などの動きのあるオブジェクトを含む前景画像と、当該オブジェクトを含まない背景画像と、を生成し、生成された前景画像と背景画像とから仮想視点画像を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２１２５９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高画質な仮想視点画像を生成するためには、より多くのカメラを用いて様々な方向から撮像を行うことが望ましい。一方で、背景画像については、多数のカメラで様々な方向から撮像した画像に基づいて生成すると、かえって望ましくない画像が生成される場合がある。例えば、競技場内の芝生のフィールドを異なる方向から撮像する場合、同じ場所を撮像してもカメラの位置によって明るく写ったり暗く写ったりする場合があり、明るさや色合いが異なる撮像画像が生成されることがある。これら明るさや色合いが異なる複数の撮像画像夫々から背景領域を切り出して合成すると、全体としてまだらな色の背景画像が生成されてしまう。結果として、生成される仮想視点映像の背景の色がまだらになってしまい、ユーザにとって違和感のある画像となってしまうことが考えられる。
【０００６】
また、複数のカメラ夫々に接続された各画像処理装置にて前景画像と背景画像を両方生成するようにすると、各画像処理装置の処理負荷が大きくなってしまう。
【０００７】
本発明は、上述した課題の少なくとも一つを解決することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、複数の撮像装置により異なる方向から撮像領域を撮像することにより得られる画像に基づいて、仮想視点に応じた仮想視点画像を生成する画像処理システムであって、第１の撮像装置群に含まれる撮像装置により撮像された画像に基づいて、前景オブジェクトを含む前景画像を生成する第１の生成手段と、前記第１の撮像装置群とは異なる第２の撮像装置群に含まれる撮像装置により撮像された画像に基づいて、前景オブジェクトを含まない背景画像を生成する第２の生成手段と、前記第１の生成手段により生成された前記前景画像と、前記第２の生成手段により生成された前記背景画像と、に基づいて前記仮想視点画像を生成する画像生成手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、上述した課題の少なくとも一つを解決することができる。
【図面の簡単な説明】
【００１０】
【図１】多視点カメラ配置の一例を示す図である。
【図２】撮影範囲の例を示す図である。
【図３】画像処理システムのシステム構成の一例を示す図である。
【図４】第１の実施形態におけるカメラアダプタの構成を示す機能ブロック図である。
【図５】背景処理サーバ及び前景処理サーバの構成を示す機能ブロック図である。
【図６】カメラアダプタから送信する背景画像と、背景処理サーバでの処理の関係を示す図である。
【図７】第２の実施形態における画像処理システムのシステム構成の一例を示す図である。
【図８】第３実施形態におけるカメラアダプタの構成を示す機能ブロック図である。
【図９】背景処理サーバのハードウェア構成図
【図１０】仮想視点映像生成サーバの構成を示す機能ブロック図
【図１１】カメラアダプタが実行する処理を示すフローチャート
【図１２】背景処理サーバ及び前景処理サーバが実行する処理を示すフローチャート
【図１３】仮想視点映像生成サーバが実行する処理を示すフローチャート
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態で説明される構成は一例に過ぎず、本発明を、説明される実施形態に限定することは意図されていない。
【００１２】
（第１の実施形態）
本実施形態では、競技場（スタジアム）などの施設に複数のカメラ（撮像装置）を設置し撮影を行い、当該撮影により得られた複数視点画像を用いて仮想視点画像を生成する画像処理システムの例について説明する。本画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、仮想視点の指定は、ユーザ操作により行われる場合に限定されず、画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
【００１３】
図１は、本実施形態における画像処理システムにおいて、サッカーを撮影するための多視点カメラ配置の一例を示す図である。本実施形態ではサッカーを例にしているが、サッカーは撮影対象の一例であり、他のスポーツ競技やコンサート、演劇等であってもよい。
【００１４】
１００は競技場を示し、競技を行うフィールド１０１を取り囲むように、２２台のカメラ１１１ａ〜１１１ｖが配置されている。これら複数のカメラ１１１ａ〜１１１ｖは、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。
【００１５】
２２台のカメラのうち、１１１ａ〜１１１ｐは、選手や審判、ボールなどの前景となるオブジェクトを撮影するための前景撮影用のカメラであり、当該オブジェクトが存在するフィールドを複数の方向から撮像できるよう設置されている。１１１ｑ〜１１１ｖは、背景撮影用のカメラを示しており、観客席やフィールドなどの背景領域を撮像できるよう設置されている。背景撮影用のカメラ１１１ｑ〜１１１ｖのそれぞれは、前景撮影用のカメラ１１１ａ〜１１１ｖのそれぞれよりも広い範囲を撮像できるよう、広画角に設定されている。これにより、少ない数のカメラでも背景領域全体を抜けなく撮像することができる。
【００１６】
ここで、前景画像とは、カメラによる撮像画像から、前景オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出される前景オブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。前景オブジェクトは、フィールド内にいる選手や審判などの人物、ボールなどである。
【００１７】
背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、競技を行うフィールド１０１、観客席、球技で使用するゴールなどの構造物、などである。ただし、背景は少なくとも前景オブジェクトとは異なる領域であり、撮像対象としては、前景オブジェクトと背景の他に、別の物体等が含まれていてもよい。
【００１８】
１１１ｑ〜１１１ｔは、観客席を撮影するためのカメラであり、一例として１１１ｔの撮影範囲を図２（ａ）２０１に示す。また、１１１ｕはフィールド１０１を撮影するためのカメラであり、撮影範囲を図２（ｂ）２０２に示す。１１１ｖは、空（そら）を撮影するためのカメラである。
【００１９】
このように、背景領域を撮像するための各カメラは、前景領域を撮像するための各カメラより画角が広くなるようカメラパラメータを設定することにより、撮像範囲が広くなるようにしている。これにより、前景領域を撮像するためのカメラの数より少ない数で背景領域全体を撮像できるようにしている。また、観客席、フィールド、空等、異なる種類の領域については、それぞれの領域の撮像を担当するカメラの数が最小限になるようにしている。これにより、各カメラで撮像された画像に基づいて生成された背景画像を合成しても、全体としてまだらな色の背景画像が生成される可能性を低減できる。
【００２０】
図３は、本実施形態における画像処理システムのシステム構成の一例を示す図である。
【００２１】
１１１ａ〜１１１ｖは前述のカメラであり、それぞれカメラアダプタ１２０ａ〜１２０ｖに接続されている。本実施形態では、カメラ１１１ａ〜１１１ｖのフレームレートは６０ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）とする。すなわち、各カメラは１秒間で６０フレームの画像を撮像する。
【００２２】
カメラアダプタ１２０ａ〜１２０ｖはそれぞれ、カメラ１１１ａ〜１１１ｖにより撮像され、入力された撮像画像を処理する画像処理装置である。カメラカメラアダプタ１２０ａ〜１２０ｐは、入力された撮像画像から前景画像を抽出し、ネットワーク３０１を介して接続された前景処理サーバ３０２に前景画像データを伝送する。カメラアダプタ１２０ｑ〜１２０ｖは、入力された撮像画像から背景画像を抽出し、ネットワーク３０１を介して接続された背景処理サーバ３０３に背景画像データを伝送する。なお、図３の例では、前景処理用のカメラアダプタ１２０ａ〜１２０ｐと、背景処理用のカメラアダプタ１２０ｑ〜１２０ｖとが、同一ネットワークトポロジー上にある。例えば、前景処理用のカメラアダプタ１２０ａ〜１２０ｄと、背景処理用のカメラアダプタ１２０ｑが同一のネットワークケーブルにバス接続されている。
【００２３】
前景処理サーバ３０２は、受信した複数の前景画像データに基づいて、前景オブジェクトの三次元形状を表す形状データである前景モデルの生成処理を行い、前景モデルに色付けするための前景テクスチャデータと共に仮想視点映像生成サーバ３０４に出力する。
【００２４】
背景処理サーバ３０３は、受信した複数の背景画像データに基づいて、競技場などの背景の三次元形状を表す背景モデルに色づけするための背景テクスチャデータの生成処理等を行い、処理結果を仮想視点映像生成サーバ３０４に出力する。
【００２５】
仮想視点映像生成サーバ３０４は、前景処理サーバ３０２と背景処理サーバ３０３から入力されたデータに基づいて、仮想視点映像を生成し出力する。前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ここで、仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向きを示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。
【００２６】
なお、図３の例では、カメラとカメラアダプタとが分離された例を示しているが、これらは同一の筐体内に含まれる一つの装置であってもよい。また、前景処理サーバ３０２と背景処理サーバ３０３が異なる装置の例を示しているが、これらが一体となった構成でもよい。また、前景処理サーバ３０２、背景処理サーバ３０３、仮想視点映像生成サーバ３０４が一つの装置として構成されていてもよい。このように、図３に示される複数の機能部が１つの装置によって実現されてもよく、また、１つの機能部が複数の装置が協働することによって実現されてもよい。
【００２７】
次に、背景処理サーバ３０３のハードウェア構成について、図９を用いて説明する。なお、カメラアダプタ１２０ａ〜１２０ｖ、前景処理サーバ３０２、仮想視点映像生成サーバ３０４のハードウェア構成も、背景処理サーバ３０３の構成と同様である。
【００２８】
背景処理サーバ３０３は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、補助記憶装置９０４、表示部９０５、操作部９０６、通信Ｉ／Ｆ９０７、及びバス９０８を有する。
【００２９】
ＣＰＵ９０１は、ＲＯＭ９０２やＲＡＭ９０３に格納されているコンピュータプログラムやデータを用いて背景処理サーバ３０３の全体を制御することで、後述する各機能を実現する。なお、背景処理サーバ３０３がＣＰＵ９０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ９０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ９０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ９０３は、補助記憶装置９０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ９０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置９０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。
【００３０】
表示部９０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザがカメラ運用端末１３０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部９０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ９０１に入力する。ＣＰＵ９０１は、表示部９０５を制御する表示制御部、及び操作部９０６を制御する操作制御部として動作する。
【００３１】
通信Ｉ／Ｆ９０７は、カメラアダプタ１２０や仮想視点映像生成サーバ３０４等の外部の装置との通信に用いられる。バス９０８は、カメラ運用端末１３０の各部をつないで情報を伝達する。
【００３２】
図４は、カメラアダプタ１２０ａ〜１２０ｖの構成を示す機能ブロック図であり、図１１はカメラアダプタ１２０ａ〜１２０ｖが実行する処理の流れを示すフローチャートである。なお、カメラアダプタ１２０によって実行される処理は、例えば、カメラアダプタ１２０のＣＰＵ９０１がＲＯＭ９０２またはＲＡＭ９０３に格納されたプログラムを実行することによって実現される。
【００３３】
図４（ａ）は客席領域の背景画像を処理するためのカメラアダプタ１２０ｑ〜１２０ｔを表し、図１１（ａ）はカメラアダプタ１２０ｑ〜１２０ｔが実行する処理の流れを示している。
【００３４】
４０１は、客席領域の背景画像を切り出すためのカメラアダプタである。画像データ入力部４０２は、カメラから出力された撮像画像データを受信する（Ｓ１１０１）。客席領域切り出し部４０３は、入力された撮像画像の中で客席領域の画像を切り出す（Ｓ１１０２）。客席領域の判別は、予め決められた領域を客席領域として判別しても良いし、画像の特徴から客席領域を自動判別してもよい。本実施形態では、客席領域記憶部４０４に予め決められた領域である客席領域の座標データを記憶しておく。そして記憶された座標と、撮影された画像内の座標と比較することで、客席領域を切り出すことができる。送信部４０５は切り出された客席領域の背景画像データを背景処理サーバ３０３に送信する（Ｓ１１０３）。なお、送信部４０５は３０ｆｐｓで客席領域の背景画像データを送信するものとする。
【００３５】
図４（ｂ）は、フィールド領域の画像を処理するためのカメラアダプタ１２０ｕを表し、図１１（ｂ）はカメラアダプタ１２０ｕが実行する処理の流れを示している。
【００３６】
図４（ｂ）において、４１１は、フィールド１０１の背景画像を切り出すためのカメラアダプタである。画像データ入力部４１２は、カメラから出力された撮像画像データを受信する（Ｓ１１１１）。フィールド領域切り出し部４１３は、入力された撮像画像の中でフィールド１０１領域の画像を切り出す（Ｓ１１１２）。フィールド領域の判別は、予め決められた領域をフィールド領域として判別しても良いし、画像の特徴からフィールド領域を自動判別してもよい。本実施形態では、フィールド領域記憶部４１４に予め決められた領域であるフィールド領域の座標データを記憶しておき、記憶された座標と、撮影された画像内の座標と比較することで、フィールド領域を切り出すものとする。
【００３７】
前景背景分離部４１５は、複数フレームのフィールド領域の画像を用いて、例えば、動いているものは前景、止まっているものは背景として、フィールド領域の画像の前景と背景を分離する処理を行う（Ｓ１１１３）。背景切り出し部４１６は前景背景分離部４１５による処理結果に基づいて背景画像を切り出す。送信部４１７は切り出されたフィールド領域の背景画像データを背景処理サーバ３０３に送信する（Ｓ１１１４）。なお、送信部４１７は１ｆｐｓでフィールド領域の背景画像データを送信するものとする。
【００３８】
図４（ｃ）は、空（そら）領域の画像を処理するためのカメラアダプタ１２０ｖを表し、図１１（ｃ）はカメラアダプタ１２０ｖが実行する処理の流れを示している。
【００３９】
４２１は、空（そら）領域の背景画像を切り出すためのカメラアダプタである。画像データ入力部４２２は、カメラから出力された撮像画像データを受信する（Ｓ１１２１）。空領域切り出し部４２３は、入力された撮像画像の中で空領域の画像を切り出す（Ｓ１１２２）。空領域の判別は、予め決められた領域を空領域として判別しても良いし、画像の特徴から空領域を自動判別してもよい。本実施形態では、空領域記憶部４２４に予め決められた領域である空領域の座標データを記憶しておき、記憶された座標と、撮影された画像内の座標と比較することで、空領域を切り出すものとする。送信部４２５は、切り出された空領域の背景画像データを背景処理サーバ３０３に送信する（Ｓ１１２３）。なお、送信部４２５は、空領域の背景画像データを１ｆｐｓよりも低いフレームレートで送信するものとする。例えば、１試合につき１つの画像データのみ送信するものとする。
【００４０】
図４（ｄ）は前景画像を処理するためのカメラアダプタ１２０ａ〜１２０ｐを表し、図１１（ｃ）はカメラアダプタ１２０ａ〜１２０ｐが実行する処理の流れを示している。
【００４１】
４３１は、前景画像を切り出すためのカメラアダプタである。画像データ入力部４３２は、カメラから出力された撮像画像データを受信する（Ｓ１１３１）。前景背景分離部４３３は、複数フレームの画像を用いて、例えば、動いているものは前景、止まっているものは背景として、画像の前景と背景を分離する処理を行う（Ｓ１１３２）。ただし、これに限定されず、機械学習などの技術を用いて前景と背景を分離しても構わない。前景切り出し部４３４は前景背景分離部４３３による処理結果に基づいて前景画像を切り出す。送信部４３４は切り出された前景画像データを前景処理サーバ３０２に送信する（Ｓ１１３３）。なお、送信部４３５は６０ｆｐｓでフィールド領域の背景画像データを送信するものとする。
【００４２】
ここで、背景画像の送信フレームレートを前景画像の送信フレームレートよりも低くしている。これは、選手などの動きのある撮影対象を含む前景画像は、時間による変化が大きいため、高フレームレートで更新することにより画質の劣化を防ぐ必要がある。一方、背景画像は時間による変化がさほどないため、低フレームレートで更新しても画質への影響が小さく、伝送データ量を抑えることができるためである。
【００４３】
また、背景画像の種類によって送信フレームレートを変えているのは、客席にいる観客は動くことがあるので、臨場感の高い画像を生成するために比較的高い頻度で更新した方が望ましい一方、フィールドや空は変化が少ないため更新頻度が低くてもよいためである。このように、背景領域の種別によってフレームレートを変えることにより、適切に背景を更新することができ、仮想視点画像を視聴するユーザの違和感を低減することができる。
【００４４】
図５（ａ）は背景処理サーバ３０３の構成を示す機能ブロック図であり、図１２（ａ）は背景処理サーバ３０３が実行する処理の流れを示すフローチャートである。なお、背景処理サーバ３０３によって実行される処理は、例えば、背景処理サーバ３０３のＣＰＵ９０１がＲＯＭ９０２またはＲＡＭ９０３に格納されたプログラムを実行することによって実現される。
【００４５】
背景画像データ受信部５０１は、カメラアダプタ１２０ｑ〜１２０ｖから送信された背景画像データを受信する（Ｓ１２０１）。各カメラアダプタが前景画像データまたは背景画像データを伝送する際に、そのデータのヘッダ等に前景／背景の識別子を付与して送信するものとする。前景処理サーバ３０２と背景処理サーバ３０３は、これらの識別子を参照することにより、適宜、必要なデータを受信することが可能である。
【００４６】
カメラパラメータ記憶部５０２は、カメラ１１１ｑ〜１１１ｖの位置や姿勢、画角等を表すパラメータを予め記憶しておく。なお、カメラパラメータは予め決めておいても良いし、カメラの状態を検出して取得しても良い。
【００４７】
背景モデルデータ記憶部５０３は、観客席やフィールドなどの背景オブジェクトの３次元形状を示す背景モデルデータを予め記憶する。
【００４８】
背景テクスチャ生成部５０４は、受信した背景画像データに基づいて、カメラパラメータ記憶部５０３に記憶されたカメラパラメータを用いて、背景モデルデータ記憶部５０４に記憶された背景モデルに貼るべき背景テクスチャデータを生成する（Ｓ１２０２）。
【００４９】
背景画像データ出力部５０５は、生成された背景テクスチャデータと、予め記憶された背景モデルデータとを、仮想視点映像生成サーバ３０４に出力する（Ｓ１２０３）。
【００５０】
図６は、カメラアダプタ１２０ｑ〜ｖから送信される背景画像データと、背景処理サーバ３０３での処理との関係を示す図である。カメラ１１１ｑ〜１１１ｖで撮影し、カメラアダプタ１２０ｑ〜１２０ｖで切り出した背景画像データ６０１〜６０６に基づいて、背景処理サーバ３０３で背景テクスチャデータが生成される様子を示している。背景処理サーバ３０３では、例えば、入力された各画像の各特徴点を抽出し、これらに基づいて位置合わせを行い、ステッチして背景画像データを合成しても良い。
【００５１】
図５（ｂ）は前景処理サーバ３０２の構成を示す機能ブロック図であり、図１２（ｂ）は前景処理サーバ３０２が実行する処理の流れを示すフローチャートである。なお、前景処理サーバ３０２によって実行される処理は、例えば、前景処理サーバ３０２のＣＰＵ９０１がＲＯＭ９０２またはＲＡＭ９０３に格納されたプログラムを実行することによって実現される。
【００５２】
前景画像データ受信部５１１は、カメラアダプタ１２０ａ〜１２０ｐから送信された前景画像データを受信する（Ｓ１２１１）。ここで受信する前景画像データには、前景マスク画像と前景テクスチャ画像とが含まれる。
【００５３】
カメラパラメータ記憶部５１２は、カメラ１１１ａ〜１１１ｐの位置や姿勢、画角等を表すパラメータを予め記憶しておく。なお、カメラパラメータは予め決めておいても良いし、カメラの状態を検出して取得しても良い。
【００５４】
前景モデルデータ生成部５１３は、受信した複数の前景マスク画像とカメラパラメータ記憶部５１２に記憶されたカメラパラメータとに基づいて、前景オブジェクトの３次元形状を示す前景モデルデータを生成する（Ｓ１２１２）。
【００５５】
前景画像データ出力部５１４は、生成された前景モデルデータと、カメラアダプタ１２０ａ〜１２０ｐから受信した複数の前景テクスチャデータとを、仮想視点映像生成サーバ３０４に出力する（Ｓ１２１３）。
【００５６】
図１０は、仮想視点映像生成サーバ３０４の構成を示す機能ブロック図であり、図１３は仮想視点映像生成サーバ３０４が実行する処理の流れを示すフローチャートである。なお、仮想視点映像生成サーバ３０４によって実行される処理は、例えば、仮想視点映像生成サーバ３０４のＣＰＵ９０１がＲＯＭ９０２またはＲＡＭ９０３に格納されたプログラムを実行することによって実現される。
【００５７】
前景画像データ受信部１００１は、前景処理サーバ３０２から送信された前景画像データを受信する（Ｓ１３０１）。背景画像データ受信部１００２は、背景処理サーバ３０３から送信された背景画像データを受信する（Ｓ１３０２）。仮想視点設定部１００３は、ユーザによる操作等に基づいて仮想視点を示す視点情報を設定する（Ｓ１３０３）。
【００５８】
仮想視点画像生成部１００４は、受信した前景画像データ、背景画像データ、及び設定された仮想視点に基づいて、仮想視点画像を生成する（Ｓ１３０４）。上述したとおり、前景モデルデータと背景モデルデータに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。なお、仮想視点画像生成部１００４では、６０ｆｐｓで仮想視点画像を生成・更新する。上述した通り、背景画像は前景画像よりも送信フレームレートが低いため、更新頻度も低くなる。例えば、１秒当たり６０フレーム分の仮想視点画像を生成するにあたり、前景画像については６０フレーム分の画像が用いられるのに対し、フィールド領域の背景画像については１フレーム分の画像が用いられる。つまり、当該１フレーム分のフィールド領域の背景画像は、残り５９フレーム分のフィールド領域の背景画像としても使用される。
【００５９】
以上のように、本実施形態では、複数のカメラのうち一部のカメラを背景専用のカメラとして撮像し、当該撮像した画像に基づいて背景画像を生成し、残りのカメラで撮像した画像に基づいて前景画像を生成する。そして、生成された前景画像と背景画像とに基づいて、指定された視点情報に対応する仮想視点画像を生成する。その際、背景領域を撮像するためのカメラは、前景領域を撮像するためのカメラよりも広い範囲を撮像できるよう広画角に設定されている。その分、背景領域を撮像するためのカメラの数は、前景領域を撮像するためのカメラの数より少なくし、観客席、フィールド、空等については、それぞれの領域を撮像するカメラの数が最小限になるようにしている。これにより、各カメラの撮像に基づいて生成された背景画像を合成しても、まだらにならない背景画像を生成することが可能となり、最終的に生成される仮想視点画像もユーザにとって違和感の少ない画像とすることができる。また、各カメラアダプタは前景画像と背景画像両方の生成を行う必要がなく、いずれか一方の生成処理を行えばよいので、各カメラアダプタの処理負荷を分散・低減することができる。
【００６０】
（第２の実施形態）
第１の実施形態では、前景処理用のカメラアダプタ１２０ａ〜１２０ｐと、背景処理用のカメラアダプタ１２０ｑ〜１２０ｖとが、同一ネットワークトポロジー上にある場合について説明した。一方、カメラアダプタ１２０ａ〜１２０ｐと１２０ｑ〜１２０ｖとを異なるネットワークトポロジー上に配置することも可能である。
【００６１】
図７は、前景処理用のカメラアダプタと背景処理用のカメラアダプタとを異なるネットワークトポロジー上に配置した場合のシステム構成の一例を示す図である。
【００６２】
図３の構成図と比べて、カメラ１１１ａ〜１１１ｖ、カメラアダプタ１２０ａ〜１２０ｖは同等の処理モジュールであるため、同一の符号を付し、説明は省略する。
【００６３】
前景処理用のカメラアダプタ１２０ａ〜１２０ｐは、ネットワーク７０１に接続され、ネットワーク７０１を介して接続された前景処理サーバ３０２に前景画像データを伝送する。背景処理用のカメラアダプタ１２０ｑ〜１２０ｖは、ネットワーク７０２に接続され、ネットワーク７０２を介して接続された背景処理サーバ３０３に背景画像データを伝送する。こうすることにより、前景処理用のカメラアダプタ、背景処理用のカメラアダプタにそれぞれ最適なネットワークプロトコルを採用することが可能となる。例えば、前景画像データはＵＤＰ／ＩＰ、背景画像データはＴＣＰ／ＩＰで伝送する場合、ＴＣＰ／ＩＰの影響を受けることなくＵＤＰ／ＩＰの伝送をすることが可能になるといった効果がある。これにより、背景画像データの伝送損失を減らした背景画像を生成することが可能となる。
【００６４】
また、例えば、前景処理用のカメラアダプタ１２０ａ〜１２０ｐはデイジーチェーン接続し、背景処理用のカメラアダプタ１２０ｑ〜１２０ｖはスター接続するようにしてもよい。
【００６５】
（第３の実施形態）
第１の実施形態では、客席、フィールドなどの背景領域の特性に応じて、背景画像の伝送・更新フレームレートを異なるようにする例について説明した。ここで、仮想視点映像の提供先や視聴形態によって求められる画質が異なる場合があり、それに応じて各背景画像の更新フレームレートや解像度を変更する必要が生じる可能性がある。一方、各背景画像の更新フレームレートを無制限に変更できるようにすると、ネットワーク帯域の逼迫や各サーバでの処理負荷の増大等につながる恐れもある。例えば第２の実施形態で説明したように、カメラアダプタ１２０ｑ〜１２０ｖを同一のネットワーク上に接続した場合、伝送レートを一律３０ｆｐｓにすると、ネットワーク帯域が逼迫し、時間内に伝送が完了しないことも想定される。そこで、本実施形態では、全体のバランスを考慮しながら、各背景領域の背景画像データの伝送・更新フレームレートを調整する例について説明する。ここでは、客席領域は動きが大事なので画質よりも更新レートを優先し、フィールド領域画像はゴールラインや芝目などの解像感が大事なので画質を優先する場合を例に説明する。
【００６６】
図８は、カメラアダプタ１２０の構成を示す機能ブロック図である。図８（ａ）は客席領域の画像を処理するためのカメラアダプタ８０１を、図８（ｂ）は、フィールド領域の画像を処理するためのカメラアダプタ８１１を表す。
【００６７】
カメラアダプタ８０１は、図４で説明したカメラアダプタ４０１に対して、更新レート設定部８０２、データ量変更部８０３が追加された構成になっている。カメラアダプタ４０１と同一の処理ブロックについては同一の符号を付し、説明は省略する。
【００６８】
更新レート設定部８０２は、客席領域の背景画像の更新フレームレートを設定する。ここで設定された更新フレームレートに応じて、送信部４０５における伝送フレームレートも変更される。更新フレームレートはユーザ操作によって設定されたり、通信回線の状況に応じて動的に設定されたりしても良い。
【００６９】
データ量変更部８０３は、更新レート設定部８０２により設定された更新フレームレートに基づいて、客席領域切り出し部４０３によって切り出された画像に対して、必要に応じてデータ量を変更する処理を行う。例えば、更新フレームレートを６０ｆｐｓに上げる場合、送信されるデータ量を削減する処理を行う。データ量削減処理はＪＰＥＧ等の圧縮処理でも構わないし、解像度や階調を下げる処理でも構わない。圧縮率等は、更新レート設定部８０２により設定された更新レートを満たす圧縮率等をデータ量変更部８０２が算出することによって決定しても良いし、更新レート設定部８０２から直接指示しても良い。または、画像のビット深度を制限しても構わない。例えば、１２ビットの画像データを８ビットに量子化することでデータ量を削減するようにしても構わない。さらにはこれらの方法を組み合わせて使用しても構わない。
【００７０】
カメラアダプタ８１１は、図４で説明したカメラアダプタ４１１に対して、画質パラメータ設定部８１１、更新レート決定部８１２が追加された構成になっている。４１１と同一の処理ブロックについては同一の符号を付し、説明は省略する。
【００７１】
画質パラメータ設定部８１２は、フィールド領域の画像の画質パラメータを設定する。例えば、高画質、標準、低画質の３段階の画質を選択可能なようにし、ユーザの操作に基づいてこの中から所望の画質を設定できるようにしてもよい。
【００７２】
更新レート決定部８１３は、画質パラメータ設定部８１２により設定された画質パラメータに基づいて、背景切り出し部４１６によって切り出された画像に対して、更新フレームレートの決定を行う。ここで決定された更新フレームレートに応じて、送信部４１７における伝送フレームレートも変更される。例えば、画質パラメータとして高画質が設定された場合、非圧縮の背景画像データを遅延なく送信するために、伝送・更新フレームレートを１ｆｐｓに決定する。更新フレームレートは、画質パラメータ設定部８１２により設定された画質に基づいて更新レート決定部８１３が算出することによって決定しても良いし、画質パラメータ設定部８１２から直接指示しても良い。
【００７３】
このように、本実施形態によれば、求められる画質に応じて各背景領域の背景画像データの伝送・更新フレームレートを適応的に調整することが可能となる。
【００７４】
（その他の実施形態）
上記説明では、１１１ａ〜１１１ｐの１６台のカメラで撮像された画像から前景画像を生成し、１１１ｑ〜１１１ｖの６台のカメラで撮像された画像から背景画像を生成する例について説明したが、カメラの台数はこれらに限定されない。前景画像を撮像するためのカメラの数を増やし、より多くの方向から撮像領域を撮像するようにすれば、より高精度の前景オブジェクトの３次元形状データが生成され、結果として生成される仮想視点映像も高画質になる。一方、背景画像を撮像するためのカメラについては、数を増やせば増やすほど合成されて得られる背景画像の明るさや色合いがまだらになる可能性がある。よって、背景領域撮像用のカメラについては、求められる画質を維持できる最小限の数にする方が望ましい。
【００７５】
なお、単に数を減らすだけでなく、上記実施形態で説明したように、観客席、フィールド、空などの異なる背景領域それぞれを撮像するカメラを専用に設けるようにするとよい。このようにすれば、仮に各カメラで撮像された画像の明るさや色合いが異なっていたとしても、合成されて得られる全体の背景画像は、ユーザにとって違和感の少ない画像となる。つまり、種類の異なる複数の背景領域ごとに、求められる画質を維持可能な最小限の数のカメラで撮像するようにすればよい。
【００７６】
また、上記説明では、前景領域を撮像するためのカメラよりも、背景領域を撮像するためのカメラの画角が広くなるようにカメラパラメータを設定する例について説明したが、背景領域の撮像用に専用の広画角カメラを用いても構わない。
【００７７】
また、上記説明では、背景領域として、客席、フィールド、空を撮像する例について説明したが、他の背景領域を加えても構わないし、一部の領域については撮像対象としないようにしてもよい。例えば、空については、競技の開催時間が昼なのか夜なのかが分かればよく、予め用意した画像データで代用可能である場合は、実際の撮像は行わないようにしてもよい。
【００７８】
また、上記説明では、前景画像の撮像専用のカメラと、背景画像の撮像専用のカメラと設けてシステムを構成する例について説明した。しかしながら、一部のカメラは前景画像と背景画像を両方生成するために用いてもよい。例えば、フィールド領域を撮像するためのカメラ１１１ｕによる撮像画像からは、背景画像だけでなく、前景画像も生成するようにしてもよい。また、背景画像専用のカメラを設けずに、複数のカメラのうち、少数の一部のカメラの撮像装置についてのみ前景画像と背景画像を生成するようにしてもよい。このように、前景画像の数よりも背景画像の数を少なくすることによっても、背景画像の合成に起因したまだらな背景画像の生成を抑制することができる。また、すべての撮像画像について前景画像と背景画像の両方が生成されることがないので、カメラアダプタでの処理負荷を分散、低減することができる。
【００７９】
以上のように、上記実施形態では、撮像対象領域である競技場のうち、選手や審判などの前景オブジェクトを複数の方向から撮像するための第１の撮像装置群とは別に、背景領域を撮像するための第２の撮像装置群を設置する。そして、本実施形態における画像処理システムは、第１の撮像装置群に含まれる撮像装置で撮像された画像に基づいて前景オブジェクトを含む前景画像を生成する。一方、第２の撮像装置群に含まれる各撮像装置の撮像範囲は、第１の撮像装置群に含まれる各撮像装置の撮像範囲より広く、第２の撮像装置群に含まれる各撮像装置で撮像された画像に基づいて前景オブジェクトを含まない背景画像を生成する。そして、これら生成された前景画像と背景画像とに基づいて、仮想視点に応じた仮想視点画像が生成される。
【００８０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００８１】
１１１  カメラ
１２０  カメラアダプタ
３０２  前景処理サーバ
３０３  背景処理サーバ
３０４  仮想視点映像生成サーバ
４０１  客席領域の背景画像を切り出すためのカメラアダプタ
４１１  フィールド領域の背景画像を切り出すためのカメラアダプタ
４２１  空（そら）領域の背景画像を切り出すためのカメラアダプタ
【図１】
2020191598.tif 000003
【図２】
2020191598.tif 000004
【図３】
2020191598.tif 000005
【図４】
2020191598.tif 000006
【図５】
2020191598.tif 000007
【図６】
2020191598.tif 000008
【図７】
2020191598.tif 000009
【図８】
2020191598.tif 000010
【図９】
2020191598.tif 000011
【図１０】
2020191598.tif 000012
【図１１】
2020191598.tif 000013
【図１２】
2020191598.tif 000014
【図１３】
2020191598.tif 000015