(57)【要約】【課題】複数のカメラを備えた画像処理システムにおいて仮想視点画像生成に必要な情報を選択する。【解決手段】複数のカメラで撮像された複数の画像から仮想視点画像を生成するためのデータを提供する情報処理装置は、複数のカメラからの画像に基づいて生成された、被写体形状を表す３次元モデルと、複数の前景画像とを含む、仮想視点画像の生成用のデータを格納する格納部を有し、３次元モデルと複数のカメラの位置関係に基づいて、３次元モデルの各点を複数のカメラの各々から観察できるか否かを示す可視性データを生成し、格納部に格納されている生成用のデータから、仮想視点画像の生成処理に提供するデータを可視性データに基づいて選択する。【選択図】  図１
2019135617.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮像された複数の画像から仮想視点画像を生成するためのデータを提供する情報処理装置であって、
前記複数のカメラからの画像に基づいて生成された、被写体形状を表す３次元モデルと、複数の前景画像とを含む、仮想視点画像の生成用のデータを格納する格納手段と、
前記３次元モデルと前記複数のカメラの位置関係に基づいて、前記３次元モデルの各点を前記複数のカメラの各々から観察できるか否かを示す可視性データを生成する生成手段と、
前記格納手段に格納されている前記生成用のデータから、仮想視点画像の生成に用いるデータを前記可視性データに基づいて選択する選択手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記選択手段は、前記複数の前景画像のうち仮想視点画像の生成処理を行う外部装置に提供する前景画像を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記選択手段は、前記可視性データに基づいて、観察できる前記３次元モデルの点の数が多いほど高くなる第１の優先度を前記複数のカメラに設定し、仮想視点画像の生成のために提供する前景画像を前記複数のカメラに設定された前記第１の優先度に従って選択することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記選択手段は、前記仮想視点画像の生成処理を行う前記外部装置へのデータの提供に利用可能な制限容量と前記第１の優先度とに基づいて、仮想視点画像の生成のために提供する前景画像を選択することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記選択手段は、前記制限容量から前記３次元モデルのデータ量を差し引いた残りの容量と前記第１の優先度とに基づいて仮想視点画像の生成のために提供する前景画像を選択することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記選択手段は、前記３次元モデルの複数の点に対して、観察できるカメラの台数が少ないほど高くなる第２の優先度を設定し、前記第１の優先度と前記第２の優先度に基づいて前景画像を選択することを特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記選択手段は、前記第１の優先度に基づいて前景画像を選択した後、未選択のカメラのうち前記第２の優先度が高い点を観察するカメラからの前景画像を順に選択することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記選択手段は、前記仮想視点画像の生成処理を行う前記外部装置へのデータの提供に利用可能な制限容量と、前記第１の優先度と、前記第２の優先度とに基づいて仮想視点画像の生成のために提供する前景画像を選択することを特徴とする請求項６または７に記載の情報処理装置。
【請求項９】
前記選択手段は、前記制限容量から前記３次元モデルのデータ容量を差し引いた残りの容量と、前記第１の優先度と、前記第２の優先度とに基づいて前景画像を選択することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記選択手段は、
観察できる前記３次元モデルの点の数が最も多いカメラを選択し、前記選択されたカメラに優先度を設定し、
前記選択されたカメラと前記選択されたカメラから観察される点を除いて、観察できる前記３次元モデルの点の数が最も多いカメラに前記優先度の次に高い優先度を設定し、
前記カメラに設定された優先度に基づいて、仮想視点画像の生成処理を行う前記外部装置に提供する前景画像を選択することを特徴とする請求項２に記載の情報処理装置。
【請求項１１】
前記選択手段は、前記３次元モデルを構成する点群のうち仮想視点画像の生成処理を行う外部装置に提供する点群を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
前記選択手段は、前記可視性データに基づいて、前記３次元モデルの各点に優先度を設定し、設定された優先度に基づいて前記３次元モデルの点群のうち仮想視点画像の生成のために提供する点群を選択することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記選択手段は、
観察できる前記３次元モデルの点の数が最も多いカメラを選択し、前記選択されたカメラから観察される点に優先度を設定し、
前記選択されたカメラと前記優先度が設定された点を除いて、観察できる前記３次元モデルの点の数が最も多いカメラから観察される点に前記優先度の次に高い優先度を設定し、
前記３次元モデルの各点に設定された優先度に基づいて、仮想視点画像の生成処理を行う前記外部装置に提供する点を選択することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記選択手段は、前記仮想視点画像の生成処理を行う前記外部装置へのデータの提供に利用可能な制限容量から前記複数の前景画像と前記可視性データのデータ量を差し引いた残りの容量に基づいて、提供する点の優先度を決定することを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
前記制限容量は、前記仮想視点画像の生成処理を行う前記外部装置への伝送容量であることを特徴とする請求項４、５、８、９、１４のいずれか１項に記載の情報処理装置。
【請求項１６】
前記制限容量は、提供するデータの保存に利用可能な記憶装置の記憶容量であることを特徴とする請求項４、５、８、９、１４のいずれか１項に記載の情報処理装置。
【請求項１７】
前記複数のカメラから得られたフレームごとの映像に基づいて、前記３次元モデルと、カメラごとの前景画像を生成する生成手段をさらに備えることを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。
【請求項１８】
複数のカメラからの画像に基づいて生成された、被写体形状を表す３次元モデルと、複数の前景画像とを含む、仮想視点画像の生成用のデータを格納する格納手段を備え、前記複数のカメラで撮像された複数の画像から仮想視点画像を生成するためのデータを提供する情報処理装置の制御方法であって、
前記３次元モデルと前記複数のカメラの位置関係に基づいて、前記３次元モデルの各点を前記複数のカメラの各々から観察できるか否かを示す可視性データを生成する生成工程と、
前記格納手段に格納されている前記生成用のデータから、仮想視点画像の生成に用いるデータを前記可視性データに基づいて選択する選択工程と、を備えることを特徴とする情報処理装置の制御方法。
【請求項１９】
請求項１８に記載された情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項２０】
請求項１乃至１７のいずれか１項に記載された情報処理装置と、
前記複数のカメラと、
前記選択手段で選択されたデータに基づいて、仮想視点画像を生成する装置とを備えることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を複数の方向から撮影するための複数のカメラから得られる複数の画像を用いて仮想視点画像を生成する技術に関する。
【背景技術】
【０００２】
複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。このような仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。仮想視点画像は、複数の視点（カメラ）で対象シーンを撮影した画像から対象の３次元モデルを生成し、生成した３次元モデルを撮影画像に基づいて色付けすることで生成され得る。
【０００３】
このような仮想視点画像を生成する技術として、特許文献１では、仮想視点の視線方向との間でなされる角度が小さい順に各テクスチャ画像に優先順位を付与し、該優先順位に従って混合する複数のテクスチャ画像を選択する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０２０４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された技術では仮想視点の位置や方向が決まった後にその要求に応じてカメラからの映像を選択している。このため、仮想視点の位置や方向が決まってから、複数のテクスチャ画像を選択するための煩雑な演算を行う必要があり、仮想視点画像が生成されるまで多くの遅延が生じる恐れがあった。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、複数のカメラを備えた画像処理システムにおいて仮想視点画像生成に必要な情報を簡便に選択することである。
【課題を解決するための手段】
【０００７】
本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
複数のカメラで撮像された複数の画像から仮想視点画像を生成するためのデータを提供する情報処理装置であって、
前記複数のカメラからの画像に基づいて生成された、被写体形状を表す３次元モデルと、複数の前景画像とを含む、仮想視点画像の生成用のデータを格納する格納手段と、
前記３次元モデルと前記複数のカメラの位置関係に基づいて、前記３次元モデルの各点を前記複数のカメラの各々から観察できるか否かを示す可視性データを生成する生成手段と、
前記格納手段に格納されている前記生成用のデータから、仮想視点画像を生成するためのデータを前記可視性データに基づいて選択する選択手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、複数のカメラを備えた画像処理システムにおいて、仮想視点画像生成に必要な情報が簡便に選択される。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態による画像処理システム１００の機能構成例を示すブロック図。
【図２】第１実施形態による可視性データ判定処理を示すフローチャート。
【図３】第２実施形態による画像処理システム１００の機能構成例を示すブロック図。
【図４】第２実施形態による可視性データ判定処理を示すフローチャート。
【図５】第３実施形態による画像処理システム１００の機能構成例を示すブロック図。
【図６】第３実施形態による可視性データ判定処理を示すフローチャート。
【図７】第４実施形態による可視性データ判定処理を示すフローチャート。
【図８】複数のカメラと被写体の関係の一例を示す図
【図９】可視性データの一例を表す図。
【図１０】可視性データの一例を表す図。
【図１１】可視性判定処理の一例を表す図。
【図１２】可視性判定処理の一例を表す図。
【図１３】優先度の値の一例を表す図である。
【図１４】可視性判定処理の一例を表す図。
【図１５】優先度の値の一例を表す図。
【図１６】情報処理装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
以下に示す実施形態において、仮想視点画像を生成する画像処理システムについて記載する。仮想視点画像の生成には、複数のカメラで撮影された画像から得られたデータ（３次元モデル、前景画像など）を用いる必要がある。したがって、仮想視点画像の生成のためのデータの伝送には、広い帯域が必要になる。データを伝送するための伝送路の帯域が狭い場合、全ての画像を伝送することができなくなり、例えば、３次元モデルに色付けするテクスチャを含む前景画像が送れなくなってしまう。また、伝送路の帯域が狭いことにより仮想視点画像の生成処理へ全てのデータを送ることができない場合、使用するカメラ台数を間引いて伝送することが考えられる。しかしながら、その場合、被写体の状況等に関係なくカメラが間引かれるため、仮想視点画像の生成に必要な情報が間引かれてしまい、モデルの一部が色付けできず、大きな画質劣化を招く可能性がある。これらの課題のうち少なくとも一部を解決するための実施形態を説明する。
【００１２】
＜第１実施形態＞
競技場（スタジアム）やコンサートホールなどの施設に複数のカメラを設置し撮影を行う画像処理システムについて、図１を用いて説明する。画像処理システム１００は、カメラシステム１１０、スイッチングハブ１２０、タイムサーバ１３０、情報処理装置１０、及びユーザ端末２００を有する。情報処理装置１０は、３次元モデル生成部１４０、記憶装置１５０、可視性データ判定部１６０、出力部１７０、回線１８０、回線判定部１９０を有する。ユーザ端末２００は制御部２１０、仮想視点画像生成部２２０、仮想カメラ操作部２３０、仮想視点画像出力部２４０を有する。なお、スイッチングハブ１２０および／またはタイムサーバ１３０が情報処理装置１０に含まれてもよい。また、３次元モデル生成部１４０などが情報処理装置１０の外部装置であってもよい。
【００１３】
カメラシステム１１０は複数のカメラで構成され、被写体を囲むように配置される。図８にその様子を示す。カメラシステム１１０における複数のカメラ８１（カメラ８１ａから８１ｈ）はカメラシステム１１０を構成し、被写体８００を取り囲むように配置されている。ただし、複数のカメラ８１の台数、配置は図８に示すものに限定されない。複数のカメラ８１はネットワークで接続されており、スイッチングハブ１２０に接続されている。また、タイムサーバ１３０は同期信号をスイッチングハブ１２０とネットワークを介して複数のカメラ８１のそれぞれに送る。複数のカメラ８１は、この同期信号により同期をとって被写体８００を撮影する。
【００１４】
情報処理装置１０は、カメラシステム１１０を構成する複数のカメラで撮像された複数の画像から仮想視点画像を生成するためのデータを提供する。なお、画像という文言は、静止画および動画を含むものとして行う。即ち、カメラシステム１１０は、静止画を撮影してもよいし、動画を撮影し手もよい。また、画像処理システム１００が生成する仮想視点画像は、静止画であっても、動画であってもよい。情報処理装置１０において、３次元モデル生成部１４０は撮影された画像を入力し、後述する方法で前景画像、被写体形状を表す３次元モデル（例えば点群）、可視性データを生成する。ここで、可視性データとは、点群を構成する点が撮影時に複数のカメラ８１の各々から観察できるか否かを表すデータである。例えば、ある点に関して、あるカメラ８１に映っていれば１が、映っていなければ０がセットされる。記憶装置１５０は、仮想視点画像の生成用のデータを格納する。例えば、記憶装置１５０は、３次元モデル生成部１４０により生成された前景画像、３次元モデル、可視性データを蓄積、格納する。記憶装置１５０はハードディスクやメモリ等で構成することが可能で、単なるバッファであっても良い。
【００１５】
可視性データ判定部１６０と出力部１７０により、記憶装置１５０に格納されている仮想視点画像の生成用のデータから、仮想視点画像の生成処理に提供するデータが可視性データに基づいて選択され、出力される。可視性データ判定部１６０は蓄積されている可視性データから各カメラの寄与度（後述）を算出して、仮想視点画像生成処理を行うユーザ端末２００へ出力するデータを選択する。本実施形態では、どのカメラからの前景画像をユーザ端末２００へ伝送するかを判定する。出力部１７０はユーザ端末２００（制御部２１０）から仮想視点画像を生成するために必要とする画像データの時刻を入力し、可視性データ判定部１６０で選択した前景画像、３次元モデル、可視性データをユーザ端末２００に出力する。
【００１６】
ユーザ端末２００は、ユーザによる仮想カメラの操作に応じて仮想視点画像を表示する。制御部２１０は画像処理システム１００を構成するそれぞれのブロックに対してネットワークを通じて動作状態の管理及びパラメータ設定制御などを行う。また、制御部２１０は、仮想視点画像を生成するフレームを表す時刻の情報を出力部１７０に出力する。仮想カメラ操作部２３０は不図示のユーザインターフェースを介してユーザが行った仮想カメラの操作に応じて、仮想カメラの位置、画角、方向などを設定する。仮想視点画像生成部２２０は仮想視点画像を生成するのに必要なデータを入力し、仮想視点画像生成処理を行う。仮想視点画像生成処理では、入力したデータ、仮想視点の位置、画角、方向などに基づいて仮想視点画像を生成する。生成された仮想視点画像は仮想視点画像出力部２４０を介して、ディスプレイに表示されたり、画像データとして他の機器に伝送されたり、格納装置に蓄積されたりする。
【００１７】
次に、３次元モデル生成部１４０の構成及び動作について説明する。第１実施形態の３次元モデル生成部１４０は、カメラシステム１１０から取得した画像を処理して３次元モデル、前景画像、可視性データの生成を行う。
【００１８】
３次元モデル生成部１４０は、撮影された映像の各フレームから選手等の対象を前景画像として切り出し、また、３次元モデルを生成する。３次元モデルの生成には様々な手法がある。本実施形態の３次元モデルの生成では、例えば、被写体のシルエット画像を生成する処理と３次元モデルを推定する処理が用いられる。シルエット画像は被写体領域を白、それ以外の領域を黒で表現した２値画像であり、一般的な方法で生成され得る。例えば、被写体を撮影した撮影画像と、試合開始前などに被写体が存在しない時に予め撮影した背景画像との差分を算出し、差分が閾値以上となる領域をシルエット（前景領域）とする背景差分法を用いることができる。もちろん、シルエット画像を生成する方法はこれに限定されない。例えば、人体を認識するなどの方法を用いてシルエット画像が生成されても構わない。
【００１９】
３次元モデル生成部１４０は、複数のカメラ８１からの画像を用いて生成したシルエット画像とカメラ情報を用いて、被写体の３次元モデルを推定する。３次元モデルの推定には、例えば、Ｖｉｓｕａｌ  Ｈｕｌｌ手法を用いる。この処理の結果、被写体の３次元モデルを表現した点群（３次元座標を持つ点の集合）が得られる。３次元モデル生成部１４０は、３次元モデル（点群データ）を、フレーム番号に関連付けて（フレーム時刻ごとに）記憶装置１５０に書き込む。また、３次元モデル生成部１４０は、３次元モデルとカメラシステムとの位置関係等から３次元モデルの点群の各点とカメラとの距離（距離情報）を推定する。そして、３次元モデル生成部１４０は、３次元モデルと推定された距離情報を用いて、３次元モデルの各点が、各カメラから観察できるか否かを示す可視性を判定する。３次元モデル生成部１４０は、その結果を可視性データ（図９により後述）としてフレーム番号に関連付けて（フレーム時刻ごとに）記憶装置１５０に書き込む。また、３次元モデル生成部１４０は、カメラシステム１１０の各カメラで撮影された画像から前景領域と判断された部分を抽出した画像を前景画像とし、これらをフレーム番号（フレーム時刻）とカメラに関連付けて記憶装置１５０に書き込む。なお、記憶装置１５０は、前景画像を、撮影時刻と撮影したカメラの識別子と関連付けて記憶してもよい。
【００２０】
ユーザ端末２００の制御部２１０が仮想視点画像の生成を開始するにあたって、出力部１７０にその要求を出した場合、出力部１７０は回線１８０を開き、伝送を準備する。これに合わせて、回線判定部１９０は回線１８０の回線状態を把握し、回線１８０により情報処理装置１０から、外部装置であるユーザ端末２００へ伝送が可能な容量を算出する。この容量に基づいて、情報処理装置１０からユーザ端末２００へ伝送されるデータ量、すなわち、仮想視点画像の生成処理へ提供されるデータ量が決定される。可視性データ判定部１６０は、記憶装置１５０に記憶された可視性データを入力し、可視性データ判定処理を行う。可視性データ判定処理では、回線判定部１９０から回線１８０が伝送可能な容量を入力し、出力部１７０から伝送するデータを選択する。第１実施形態では、可視性データに基づいて、観察できる３次元モデルの点の数が多いほど高くなる第１寄与度を複数のカメラについて計算し、仮想視点画像の生成のために提供する前景画像を複数のカメラについて計算された第１寄与度に従って選択する。
【００２１】
図２は第１実施形態による可視性データ判定処理を表すフローチャートである。本フローチャートは１つのフレーム時刻での処理を表すが、各フレーム時刻で同じ動作を行うことで、全ての撮影された画像に対して処理を行うことができる。説明を簡易にするため、図８に示されるカメラシステムを例にとって説明する。また、処理に先立ち、出力部１７０は処理するフレーム時刻の３次元モデルとその可視性データを記憶装置１５０から取得して回線１８０からユーザ端末２００に出力し、３次元モデルと可視性データのデータ量を回線判定部１９０に送る。
【００２２】
ステップＳ１００において、可視性データ判定部１６０は、処理するフレーム時刻の３次元モデルとその可視性データを記憶装置１５０から取得し、各カメラについて第１寄与度を算出する。図８に複数のカメラ８１と被写体８００の関係の一例を示す。また、図９に、図８に示したカメラと被写体についての可視性データの例を示す。図９において、説明を簡易にするために、図８の被写体８００の代表的な点として点８０１〜８１０を例にとって説明する。なお、代表点の数はこれに限られるものではない。３次元モデルの全ての点について可視性データが与えられてもよいし、３次元モデルの全ての点から所定の規則に従って間引いた点に対して可視性データが与えられてもよい。図９において、列はカメラシステム１１０のカメラ８１ａ〜８１ｈを表し、行は被写体８００の３次元モデルにおける点８０１〜８１０を表す。「１」はカメラ８１から点が観察できることを表している。また、本実施形態では、カメラ８１から見えないことを表す「０」は特に記載せず、空欄としてあるが、「０」が入力されてもよい。カメラ８１毎の、観察できる３次元モデルの点の数の和を最下段に示す。例えば、カメラ８１ａからは３点が観察でき、カメラ８１ａの第１寄与度は３となる。なお、第１寄与度はこれに限定されず、例えば、観察できる点の数を総点数で割った比で表しても構わない。
【００２３】
ステップＳ１０１において、可視性データ判定部１６０は、全てのカメラ（本例ではカメラ８１ａから８１ｈ）をその選択候補として設定する。例えば、カメラごとに候補フラグを設定し、最初に１を割り当てておき、選択候補から外されるカメラの候補フラグを０に変えることで、カメラごとに選択候補か否かをすることが判断できる。
【００２４】
ステップＳ１０２において、可視性データ判定部１６０は、可視性データ判定処理の終了かどうかを判断する。例えば、可視性データ判定部１６０は、回線１８０が伝送可能とする容量から、３次元モデルとその可視性データのデータ量、選択候補の中から選択されたカメラの前景画像を伝送した容量を減算する。可視性データ判定部１６０は、その減算の結果として得られる残りの容量が所定値以下になるまで、ステップＳ１０３〜Ｓ１０５の処理を継続する。なお、回線１８０の伝送可能な容量、３次元モデルとその可視性データのデータ量は回線判定部１９０から取得され得る。或いは、回線判定部１９０が、回線１８０の伝送可能な容量、３次元モデルとその可視性データのデータ量に基づいて前景画像を伝送可能とするカメラの台数を設定するようにしてもよい。その場合、可視性データ判定部１６０は選択されたカメラの台数が回線判定部１９０によって設定されたカメラ台数に達するまでステップＳ１０３〜Ｓ１０５の処理を繰り返す。ステップＳ１０２において可視性データ判定処理の終了と判断された場合は図２に示される可視性データ判定処理を終了し、そうでなければ、処理はステップＳ１０３に進む。
【００２５】
ステップＳ１０３において、可視性データ判定部１６０は、選択候補となっているカメラの中から、第１寄与度の最も高いカメラを選択する。図９ではカメラ８１ｃとカメラ８１ｇの第１寄与度が最も高い（第１寄与度＝５）。可視性データ判定部１６０はカメラ８１ｃとカメラ８１ｇを選択する。なお、ここでは第１寄与度が同じである複数のカメラが存在する場合、該当する全てのカメラを選択しているが、それらのうちのいずれかを順に１つずつ選択するようにしても構わない。
【００２６】
ステップＳ１０４において、出力部１７０は処理するフレーム時刻の選択されたカメラ、ここではカメラ８１ｃとカメラ８１ｇの前景画像を記憶装置１５０から読出し、回線１８０からユーザ端末２００に出力する。ステップＳ１０５において、可視性データ判定部１６０は、選択されたカメラ、すなわちカメラ８１ｃとカメラ８１ｇを選択候補から外す。例えば、ステップＳ１０１で「１」に設定されたカメラ８１ｃ、８１ｇの候補フラグが「０」に設定されることにより、カメラ８１ｃ、８１ｇが選択候補から外される。その後、処理はステップＳ１０２に戻り、上述の処理が繰り返される。
【００２７】
こうして、ステップＳ１０２の終了条件を満たすまでステップＳ１０３からステップＳ１０５の処理が繰り返される。上述の１回目のステップＳ１０３の処理では、第１寄与度の最も高いカメラ８１ｃ、８１ｈが選択される。２回目のステップＳ１０３の処理では、選択候補として残っているカメラ８１ａ、８１ｂ、８１ｄ、８１ｅ、８１ｆ、８１ｈの中から第１寄与度の最も高いカメラが選択される。図９の例では、これらのカメラの中で第１寄与度が最も高いカメラは、カメラ８１ｄとカメラ８１ｅである。ステップＳ１０４では、これらのカメラ８１ｄ、８１ｅの前景画像が出力され、ステップＳ１０５で選択候補から外される。
【００２８】
以上の処理により、３次元モデル、可視性データ、および第１寄与度の高い前景画像が、回線１８０を介してユーザ端末２００の仮想視点画像生成部２２０に伝送される。仮想視点画像生成部２２０は、伝送された３次元モデル、可視性データおよび前景画像を用いて、仮想カメラ操作部２３０から指定される仮想視点に応じた仮想視点画像を生成する。なお、仮想視点とは、世界座標上の３次元位置、姿勢（仮想カメラの向き）、焦点距離、主点（仮想カメラ画像上の中心）、および入力データを特定する時刻情報である。仮想視点は、例えば仮想カメラ操作部２３０が有するジョイスティックのような装置を用いてユーザにより入力される。仮想視点画像生成部２２０で生成された画像は、仮想視点画像出力部２４０から出力され、表示されたり、記録されたりする。
【００２９】
以上のように、第１実施形態の画像処理システムによれば、仮想視点画像の生成に関連して、伝送容量等の制限に対して適切な前景画像が選択される。これにより、伝送容量を抑えながら、必要なデータを仮想視点画像の生成処理に提供することができる。また、仮想視点に依存せずに、仮想視点画像の生成に必要な情報を伝送できるので、伝送されたデータから、異なる仮想視点の仮想視点画像を生成することも可能である。
【００３０】
なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。それぞれがハードウェアであったり、動作するソフトウェアを含むコンピュータであったりしても構わない。例えば、図１６は、情報処理装置１０およびユーザ端末２００に適用が可能なハードウェア構成例を示すブロック図である。ＣＰＵ１６０１は、ＲＯＭ１６０２またはＲＡＭ１６０３に格納されたプログラムを実行することにより、図１に示す各機能部を実現する。ＲＯＭ１６０２は読み出し専用の不揮発性メモリであり、ＲＡＭ１６０３は随時に読み書きが可能な揮発性メモリである。
【００３１】
表示部１６０４は、ＣＰＵ１６０１の制御下で種々の表示を行う。例えば、ユーザ端末２００においては、仮想視点画像出力部２４０から出力された仮想視点画像を表示する。操作部１６０５は、キーボード、マウス、タッチパネル等によりユーザの操作指示を受け付ける。ユーザ端末２００において、操作部１６０５は仮想カメラ操作部２３０の一部を構成する。ネットワークインターフェース１６０６は、ネットワークまたは回線と接続するためのインターフェースである。情報処理装置１０においては、ネットワークインターフェース１６０６は、スイッチングハブ１２０と接続して、カメラシステム１１０から映像を入力する。ユーザ端末２００においては、ネットワークインターフェース１６０６は、回線１８０と接続する。２次記憶装置１６０７は、例えばハードディスクであり、記憶装置１５０として用いられる。
【００３２】
なお、上述の実施形態では、３次元モデルの点群のうちの代表点を用いて寄与度の算出を行ったが、これに限定されない。例えば、３次元モデルの全ての点や等間隔で間引かれた点を用いて寄与度の算出が行われても良い。
【００３３】
＜第２実施形態＞
以下、第２実施形態による画像処理システムについて説明する。第１実施形態では、カメラシステム１１０の複数のカメラから得られる複数の前景画像のうち仮想視点画像の生成処理に提供する前景画像を、データ伝送を行う回線の制限容量と、可視性データから得られる優先度に基づいて選択した。第２実施形態では、データの提供に利用可能な制限容量として、仮想視点画像の生成処理に提供するデータを保存しておく記憶装置の記憶容量を用いる例を説明する。また、第１実施形態では、第１寄与度に基づく優先順で前景画像を選択したが、第２実施形態では、さらに３次元モデルを構成する各点のカメラ依存度（後述）を考慮してカメラの優先順（選択されるカメラの順番）が決定される。
【００３４】
図３は第２実施形態による画像処理システム１００の構成例を示す図である。なお、図３において、図１と同じ機能を有する構成には図１のものと同じ番号を付してある。図３において、可視性データ判定部１６０ａは、第１実施形態とは異なる方法（図４により後述）で可視性データを判定する。記憶装置１５０ａは、仮想視点画像の生成処理に提供するデータを記憶し、記憶装置１５０よりも小容量とすることができる。出力部１７０ａは、出力先として、仮想視点画像生成部２２０と記憶装置１５０ａを有する。出力部１７０ｂは、記憶装置１５０ａから仮想視点画像の生成処理のためのデータを読み出し、ユーザ端末２００ａに送る。可視性データ加工部３１０は、可視性データ判定部１６０ａの判定結果に基づいて、記憶装置１５０から読出した可視性データを加工し、記憶装置１５０ａに格納する。ユーザ端末２００ａはユーザ端末２００と同様な構成を有し、制御部２１０ａ、仮想視点画像生成部２２０ａ、仮想カメラ操作部２３０ａ、仮想視点画像出力部２４０ａを備える。
【００３５】
第１実施形態と同様に、カメラシステム１１０では複数のカメラを用いてタイムサーバ１３０の同期信号に応じて同期をとって画像を撮影し、スイッチングハブ１２０を介して３次元モデル生成部１４０に送る。３次元モデル生成部１４０は撮影された画像を入力し、第１実施形態で説明した方法で前景画像、３次元モデル、可視性データを生成する。第１実施形態と同様に、生成された前景画像はフレーム時刻とカメラごとに格納され、３次元モデルと可視性データはフレーム時刻ごとに格納される。
【００３６】
可視性データ判定部１６０ａは処理に先立ち、記憶装置１５０ａの容量に関する情報を取得する。その後、可視性データ判定部１６０ａは、フレーム時刻ごとに記憶装置１５０から可視性データを入力し、後述する可視性データ判定処理を行う。可視性データ判定部１６０ａは、記憶装置１５０ａに格納できるデータ容量を算出し、出力部１７０ａから出力され、記憶装置１５０ａに記録されるデータ（前景画像）を選択する。出力部１７０ａは可視性データ判定部１６０ａの結果に基づいて、選択された前景画像を出力する。なお、第２実施形態では出力部１７０ａはデータを選択して記憶装置１５０ａに記録することについて主に説明する。但し、回線１８０には十分な伝送容量があり、前景画像を選択する可視性データ判定処理には後述の図４に示す処理が適用され、記憶装置１５０ａの容量に基づいてカメラ（前景画像）が選択される。
【００３７】
図４は、第２実施形態による可視性データ判定処理を表すフローチャートである。本フローチャートは１つのフレーム時刻での処理を表すが、各フレーム時刻で同じ動作を行うことで、撮影された画像の全てに対して処理を行うことができる。説明を簡易にするため、図８のカメラシステムを例にとって説明する。また、図２と同様の処理については同じステップ番号を付してある。
【００３８】
処理に先立って出力部１７０ａは処理するフレーム時刻の３次元モデルを記憶装置１５０から取得する。出力部１７０ａは、取得した３次元モデルをユーザ端末２００（仮想視点画像生成部２２０）に送るとともに、記憶装置１５０ａに送る。記憶装置１５０ａはフレーム時刻単位で３次元モデルを格納する。なお、出力部１７０ａは、この時点でユーザ端末２００へは可視性データを出力するが、記憶装置１５０ａには出力しない。
【００３９】
ステップＳ１００において、可視性データ判定部１６０ａは、処理するフレーム時刻の３次元モデルとその可視性データを記憶装置１５０から取得し、カメラごとの第１寄与度を算出する。第１寄与度の算出は第１実施形態で説明したとおりである。ステップＳ１０１において、可視性データ判定部１６０ａは、全カメラ８１ａから８１ｈをその選択候補として設定する。例えば、第１実施形態と同様に、カメラごとに候補フラグを設定し、最初に１を割り当てておく。選択候補から外される場合はこの候補フラグが０に書き変えられる。
【００４０】
ステップＳ１０２において、可視性データ判定部１６０ａは、第１寄与度に基づくカメラの選択が終了したかどうかを判断する。例えば、可視性データ判定部１６０ａは、記憶装置１５０ａがフレーム時刻単位で記録可能とする容量から、３次元モデルのデータ量、選択候補の中から選択されたカメラからの前景画像の記録に要するデータ量を減算する。可視性データ判定部１６０ａは、こうして得られた記憶装置１５０ａの記録可能な容量の残りが第１の所定値以下になるまで処理を継続する。第１寄与度によるカメラの選択を終了すると判断された場合、処理はステップＳ１０２からステップＳ４０１に進む。そうでなければ、処理はステップＳ１０２からステップＳ１０３に進む。
【００４１】
ステップＳ１０３において、可視性データ判定部１６０ａは、選択候補のカメラの中から、第１寄与度の最も高いカメラを選択する。ステップＳ１０４において、出力部１７０ａは、選択されたカメラの当該フレーム時刻の前景画像を記憶装置１５０から読出し、記憶装置１５０ａに出力する。記憶装置１５０ａは入力された前景画像を記録する。ステップＳ１０５において、可視性データ判定部１６０ａは、選択されたカメラを選択候補から外す。そして、処理はステップＳ１０２に戻り、記憶装置１５０ａの記録可能な容量の残りが第１の所定値位階になると処理はステップＳ４０１へ進む。本例では、カメラ８１ｃとカメラ８１ｇが選択されて第１寄与度による記憶装置１５０ａへの記録が終了したとする。
【００４２】
ステップＳ４０１において、可視性データから、３次元モデルを構成する点群の点ごとの第２寄与度を算出する。第１実施形態と同様に図９の可視性データを例にとって説明する。図９において、各点を観察できるカメラの数を最右列に示す。例えば、点８０１は、１つのカメラ（カメラ８１ａ）からのみ観察できる点であり、観察できるカメラの数は１となる。また、点８０６は、５つのカメラから観察できる点であり、観察できるカメラの数は５となる。第２寄与度はこの観察できるカメラの数でカメラの総数を割った値である。図９の例では、例えば、点８０１の第２寄与度は８／１、点８０６の第２寄与度は８／５である。なお、第２寄与度はこれに限定されず、例えば、観察できるカメラの数の逆数で表しても構わない。この場合、点８０１の第２寄与度は１／１、点８０６の第２寄与度は１／５である。即ち、第２寄与度の値はそれぞれの点の特定のカメラへの依存度を表し、観察可能なカメラの台数が少ないほど特定のカメラへの依存度が高いことになる。可視性データ判定部１６０ａは、このカメラへの依存度（第２寄与度）が高い点を映しているカメラを選択する。
【００４３】
ステップＳ４０２において、可視性データ判定部１６０ａは、第２寄与度に基づくカメラの選択が終了かどうかを判断する。例えば、記憶装置１５０ａがフレーム時刻単位で記録可能とする容量から３次元モデルのデータ量、第１寄与度に基づいて選択されたカメラの前景画像を記録した容量を減算した値から第２の所定値（第１の所定値＞第２の所定値）を設定する。なお、第１の所定値、第２の所定値は、それぞれあらかじめ決められた固定値であってもよい。ステップＳ４０２において、記録可能な容量の残りが第２の所定値以下になると第２寄与度による選択が終了したと判断される。第２寄与度による選択が終了と判断された場合、処理はステップＳ４０２からステップＳ４０６に進む。そうでなければ、処理はステップＳ４０２からステップＳ４０３に進む。
【００４４】
ステップＳ４０３において、選択候補の中から、第２寄与度の最も高い点を抽出し、その点を撮影できるカメラを選択する。図９では第２寄与度は点８０１が最も高く、その点を撮影しているカメラ８１ａが選択される。ステップＳ４０４において、出力部１７０ａは、選択されたカメラ（カメラ８１ａ）の処理するフレーム時刻の前景画像を記憶装置１５０から読出して記憶装置１５０ａに記録する。ステップＳ４０５において、可視性データ判定部１６０ａは、選択されたカメラ（ここでは、カメラ８１ａ）を選択候補から外す。具体的には、ステップＳ１０５と同様に、該当するカメラの候補フラグを０に設定する。その後、処理はステップＳ４０２に戻る。以下、記憶装置１５０ａの記録可能な容量の残りが第２の所定値以下になるまでステップＳ４０３からステップＳ４０５の処理が繰り返される。
【００４５】
ステップＳ４０６において、可視性データ加工部３１０は記憶装置１５０から判定に用いた可視性データを入力し、ステップＳ４０２までで選択されたカメラ以外のカメラの可視性データを削除した可視性データを生成する。上記の例では、カメラ８１ａ、８１ｃ、８１ｇ以外のカメラの可視性データが削除される。図１０に生成された可視性データの例を示す。選択されたカメラ８１ａ、８１ｃ、８１ｇのみの可視性データが残っている。可視性データ加工部３１０により生成された可視性データはフレーム時刻に関連付けて記憶装置１５０ａに記録される。その後、可視性データ判定処理が終了する。
【００４６】
上記の処理によって、第１寄与度並びに第２寄与度に基づいて選択された前景画像と３次元モデル、データ量が削減された可視性データが記憶装置１５０ａに記録される。出力部１７０ｂは、制御部２１０ａからフレーム時刻が入力されると、記憶装置１５０ａに記憶されている、そのフレーム時刻に対応する３次元モデル、前景画像、可視性データをユーザ端末２００ａに提供する。ユーザ端末２００ａは、出力部１７０ｂから３次元モデル、前景画像、可視性データを取得し、ユーザ端末２００と同様の処理により仮想視点画像を生成する。すなわち、制御部２１０ａから仮想視点画像を生成するフレーム時刻が入力されると、出力部１７０ｂに、対応する３次元モデルと可視性データおよび前景画像を出力させる。仮想視点画像生成部２２０ａは、出力部１７０ｂから提供される３次元モデル、可視性データおよび前景画像に基づいて、仮想カメラ操作部２３０ａから指定される仮想視点に応じた仮想視点画像を生成する。仮想視点画像生成部２２０ａで生成された画像は、表示および／または記録のために、仮想視点画像出力部２４０ａから出力される。
【００４７】
以上の構成と動作により、仮想視点画像の生成に関連して、記憶容量等の制限に対して、適切な前景画像を選択することで、記憶容量を抑えながら、必要なデータを記録することができる。また、第２寄与度によって、特定のカメラへの依存度が高い点を含む前景画像が優先して送信されるので、被写体８００の全ての点に色付けするのに必要な最低限の前景画像がより確実に選択される。このため、前景画像を削減しても被写体の仮想視点画像で色がつかずに不自然な画像が再生される可能性が低減されるという効果がある。これにより、課金額等の差によってユーザに提供するデータ量を変えることにより、ユーザ側で生成される仮想視点画像の品質を変えることができる。
【００４８】
なお、容量の制限を記憶装置１５０ａの容量から回線１８０の容量に変更することで、第２実施形態で説明したカメラの選択（前景画像の選択）を、第１実施形態におけるカメラの選択に適用することができる。また、第１実施形態で用いた回線判定部１９０を設けておき、出力部１７０ａがユーザ端末２００へ仮想視点画像の生成処理に提供するデータを伝送する際には、第１実施形態で説明した処理が適用されるようにしてもよい。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。それぞれがハードウェアであったり、動作するソフトウェアを含むコンピュータであったりしても構わない。
【００４９】
＜第３実施形態＞
第１、第２実施形態では、仮想視点画像の生成処理に提供するデータを制限容量に収めるために提供すべき前景画像を選択した。第３実施形態では、仮想視点画像の生成処理に提供するデータを制限容量に収めるために、３次元モデルを構成する点群のデータから提供すべき点を選択する。また、第３実施形態では、３次元モデルを構成する点の全てに優先度を設定しておき、制限容量に応じて決定された優先度に応じて出力されるデータ（３次元モデルの点）が選択される。
【００５０】
第３実施形態による画像処理システムの構成図を図５に示す。図５において図１と同じ機能を果たすブロックについては同じ番号を付してある。図５において、可視性データ判定部１６０ｂは、第１実施形態とは異なる方法で可視性データを判定する。優先順位付与部５１０は、後述する優先度データを対象とするデータに付与する。第３実施形態では点群の点に優先順位を付与する場合をまず例にとって説明する。記憶装置１５０ｂは、前景画像、３次元モデル、可視性データを記録する。回線判定部１９０ａは、回線１８０の回線状態を把握し、伝送するデータ（本例では、３次元モデルの各点）の優先順位を決定する。出力部１７０ｃは、回線判定部１９０ａで決定された優先順位に従ってデータ（本例では、３次元モデルの点）を選択して出力する。
【００５１】
次に、上述の構成を備えた第３実施形態の画像処理システムによる仮想視点画像の生成処理について説明する。
【００５２】
第１実施形態と同様に、カメラシステム１１０の複数のカメラは、タイムサーバ１３０の同期信号に応じて同期をとって画像を撮影し、スイッチングハブ１２０を介して３次元モデル生成部１４０に送る。３次元モデル生成部１４０は撮影された画像を入力し、第１実施形態で説明した方法で前景画像、３次元モデルデータ、可視性データを生成する。生成された前景画像はフレーム時刻とカメラごとに格納され、３次元モデルデータと可視性データはフレーム時刻ごとに格納される。また、可視性データは可視性データ判定部１６０ｂ及び優先順位付与部５１０に入力される。
【００５３】
可視性データ判定部１６０ｂは、フレーム時刻ごとに３次元モデル生成部１４０から可視性データを入力する。可視性データ判定部１６０ｂは、図６により後述する可視性データ判定処理を行い、記憶装置１５０ｂに格納する３次元モデルの点群の各点に優先順位を設定する。出力部１７０ｃは、回線判定部１９０ａの判定結果に基づいて、記憶装置１５０ｂから出力する点群の点を選択して出力する。
【００５４】
図６は第３実施形態による可視性データ判定処理を表すフローチャートである。本フローチャートは１つのフレーム時刻での処理を表すが、各フレーム時刻で同じ動作を行うことで、撮影された全ての画像に対して処理を行うことができる。説明を簡易にするため、図８のカメラシステムを例にとって説明する。また、図２のフローチャートに示した処理と同様の機能を有する処理ステップについては同じステップ番号を付している。
【００５５】
ステップＳ６００において、可視性データ判定部１６０ｂは、処理するフレーム時刻の３次元モデルとその可視性データを記憶装置１５０ｂから取得する。ステップＳ６０１において、可視性データ判定部１６０ｂは、カメラシステム１１０の全てのカメラ（カメラ８１ａ〜８１ｈ）および三次元モデルの点群の全点を選択候補として設定する。例えば、カメラごと、点ごとに選択候補フラグを設定し、最初に１を割り当てておく。この選択候補フラグが０に変更されると、対応するカメラまたは点は選択候補から外される。ステップＳ６０２において、カメラに設定する優先度の値を、選択できる最大の値に設定する。例えば、ここではその値を１２７とする。もちろんこの値に限定されるものではなく、カメラシステム１１０におけるカメラの総数を最大値として設定するようにしてもよい。
【００５６】
次に、ステップＳ６０３において、可視性データ判定処理の終了かどうかを判断する。ここでは、三次元モデルを構成する点群の全ての点が選択されたか否か（全ての点が選択候補から外されたか否か）を判断し、全ての点が選択された場合に終了とする。終了と判断された場合、可視性データ判定処理を終了し、そうでなければ、処理はステップＳ６０４に進む。
【００５７】
ステップＳ６０４において、可視性データ判定部１６０ｂは、選択候補となっているカメラについて、選択候補となっている点を用いて第１寄与度を計算する。第１寄与度の計算は第１実施形態と同様である。ステップＳ６０４の最初の実行時では、全てのカメラと全ての点が選択候補となっており、第１寄与度の計算結果は図９の最下段の値のようになる。次に、ステップＳ１０３において、可視性データ判定部１６０ｂは、選択候補の中から、第１寄与度の最も高いカメラを選択する。図９の例では、カメラ８１ｃとカメラ８１ｇが該当するが、ここではカメラ８１ｃが選択されたものとする。
【００５８】
ステップＳ６０５において、優先順位付与部５１０は、選択されたカメラ８１ｃに優先度の値を付与し、このカメラ８１ｃから見える点にその優先度の値を付与する。図１３（ａ）にその様子を示す。カメラ８１ｃから見える点８０２〜８０６に優先度の値１２７がつけられる。ステップＳ６０６において、優先順位付与部５１０は、優先度の値を１下げる。ここでは、優先度の値が１２６になる。ステップＳ１０５において、可視性データ判定部１６０ｂは、ステップＳ１０３で選択されたカメラ８１ｃの選択候補フラグを０にすることでカメラ８１ｃを選択候補から外す。また、ステップＳ６０７において、可視性データ判定部１６０ｂは、選択されたカメラ８１ｃから見える点８０２〜８０６の選択候補フラグ０にすることでこれらの点を選択候補から外す。なお、ステップＳ６０５で優先度の値が設定されているので、優先度の値が０である点以外の点を選択候補から外すようにしてもよい。
【００５９】
ステップＳ６０３に戻り、可視性データ判定部１６０ｂは、可視性データ判定処理の終了かどうかを判断する。図１３（ａ）にはまだ、優先度の値が０のものがあり、この時点では選択候補フラグが１となっている点が残っている。したがって、処理は終了せず、ステップＳ６０４に進む。
【００６０】
ステップＳ６０４において、可視性データ判定部１６０ｂは、選択候補として残された点を用いて、選択候補として残されたカメラの第１寄与度を計算する。結果、図１１の最下段に示される値が第１寄与度として計算される。ステップＳ１０３において、可視性データ判定部１６０ｂは、選択候補のカメラの中から第１寄与度の最も高いカメラを選択する。図１１の例では、カメラ８１ｇが選択される。
【００６１】
ステップＳ６０５において、優先順位付与部５１０は、選択されたカメラ８１ｇに優先度の値を付与し、選択候補の点（未選択の点）のうちカメラ８１ｇから見える点にその優先度の値を付与する。図１３（ｂ）に示されるように、カメラ８１ｇから見える点のうち、選択候補として残っていた点８０７〜８１０に優先度の値１２６が付与される。ステップＳ６０６において、優先順位付与部５１０は、優先度の値を１下げる。ここでは、優先度の値が１２５になる。ステップＳ１０５において、可視性データ判定部１６０ｂは、選択されたカメラ８１ｇを選択候補から外す。ステップＳ６０７において、可視性データ判定部１６０ｂは、選択されたカメラ８１ｇから見える点８０７〜８１０を選択候補から外す。
【００６２】
ステップＳ６０３に戻り、可視性データ判定部１６０ｂは、可視性データ判定処理の終了かどうかを判断する。図１３（ｂ）にはまだ、優先度の値が０のものがあり、この時点では選択候補フラグが１となっている点が残っている。したがって、処理は終了せず、ステップＳ６０４に進む。
【００６３】
ステップＳ６０４において、可視性データ判定部１６０ｂは、選択候補として残された点を用いて、選択候補として残されたカメラの第１寄与度を計算する。結果、図１２の最下段に示される値が第１寄与度として計算される。ステップＳ１０３において、可視性データ判定部１６０ｂは、選択候補のカメラの中から、第１寄与度の最も高いカメラを選択する。図１２の例では、カメラ８１ａが選択される。
【００６４】
ステップＳ６０５において、優先順位付与部５１０は、選択されたカメラ８１ａに優先度の値を付与し、このカメラ８１ａから見える点にその優先度の値を付与する。図１３（ｃ）に示されるように、カメラ８１ａから見える点のうち、選択候補として残っていた点８０１に優先度の値１２５が付与される。ステップＳ６０６において、優先順位付与部５１０は、優先度の値を１下げる。ここでは、優先度の値が１２４になる。ステップＳ１０５において、可視性データ判定部１６０ｂは、選択されたカメラ８１ａを選択候補から外す。ステップＳ６０７において、可視性データ判定部１６０ｂは、選択されたカメラ８１ａから見える点８０１を選択候補から外す。
【００６５】
ステップＳ６０３に戻り、可視性データ判定部１６０ｂは、可視性データ判定処理の終了かどうかを判断する。図１３（ｃ）では優先度の値が０のものがなくなっており、この時点では、選択候補フラグが１となっている点が存在しない。したがって、可視性データ判定部１６０ｂは、全点に優先度の値が付いたものと判断し、可視性データ判定処理を終了する。その後、優先順位付与部５１０は、以上のようにして設定した優先度の値のデータ（図１３（ｃ））を記憶装置１５０ｂに格納する。
【００６６】
ユーザ端末２００で仮想視点画像生成を行う場合、第１実施形態と同様に、制御部２１０から仮想視点画像を生成するフレーム時刻が設定される。仮想視点画像生成部２２０では、まず、可視性データおよび前景画像について出力部１７０ｃを介して記憶装置１５０ｂから読み出す。回線判定部１９０ａは回線１８０の回線状態を把握し、どの優先順位のデータまで伝送するかを決定する。まず、回線判定部１９０ａは、回線容量から伝送した可視性判定データと前景画像のデータ量を減算する。回線判定部１９０ａは残った容量から３次元モデルの伝送に利用できる容量を算出し、これに基づいて伝送できるデータ量に適合する点群の点を送るための優先度の値を決定する。例えば、「優先度の値が１２６の点までを送る」というように決定される。
【００６７】
出力部１７０ｃは回線判定部１９０ａで決定された優先度の値に従って３次元モデルの点を選択してバッファリングし、まとめて仮想視点画像生成部２２０に出力する。出力部１７０ｃは、記憶装置１５０ｂに記録された優先度の値のデータを参照することで伝送する点を決定する。ここでは３次元モデルを構成する点群のうちの点８０１のデータは送られないことになる。仮想視点画像生成部２２０は仮想カメラ操作部２３０から指定される仮想視点に応じた色付け処理を行い、仮想視点画像を生成する。仮想視点画像生成部２２０で生成された画像は、表示および／または記録のために仮想視点画像出力部２４０から出力される。
【００６８】
以上の構成と動作により、仮想視点画像の生成に関連して、伝送容量等の制限に対して、適切な３次元モデルの点を選択することで、伝送容量を抑えながら、必要なデータを伝送することができる。また、仮想視点によらず、必要な情報を伝送できるので、送ったデータで仮想視点を変更して別な仮想視点画像を生成することも可能である。
【００６９】
なお、上述の実施形態では、３次元モデルの点群のうちの代表点を用いた例を示したが、これに限定されない。例えば、３次元モデルの全ての点や等間隔で間引かれた点が用いられても良い。
【００７０】
また、第３実施形態では点群の各点と優先度の対応を示す表（図１３（ｃ））を生成し、格納したがこれに限定されない。例えば、図１４に示すような可視性データを生成するようにしてもよい。図１４の可視性データは、例えば、優先順位付与部５１０が、図９の可視性データにおいて、見えることを表す「１」を優先度の値で置換したものである。このような可視性データを記憶装置１５０ｂに記録した場合、観察できるか否かは、単純に非０の値が入っているか否かで判断できる。
【００７１】
また、第３実施形態では優先度の最大の値がそのまま入っているが、これに限定されない。例えば、処理後に別な値に振り替えても構わない。例えば、図１３（ｃ）の表において、その大小関係が変わらないように値を振りなおすことができる。即ち、値１２７を２、値１２６を１、値１２５を０といったように振りなおしても良い。
【００７２】
＜第４実施形態＞
第３実施形態では３次元モデルの点に優先度の値を付与して、仮想視点画像生成処理に提供する３次元モデルの点の選択を行ったが、これに限定されるものではない。第１実施形態と同様に、仮想視点画像生成処理に提供する前景画像を選択するようにしても構わない。第４実施形態では、カメラシステム１１０を構成する複数のカメラの各々に優先度を設定しておき、仮想視点画像の生成処理へデータを提供する際の制限容量に応じて、提供する前景画像を選択する構成を説明する。第４実施形態による画像処理システム１００の構成は第３実施形態（図５）と同様である。図７は、第４実施形態による、前景画像を選択の対象とした可視性データ判定処理を示すフローチャートである。なお、図７において、第３実施形態（図６）と同様の機能を有する処理ステップには同じステップ番号を付している。
【００７３】
ステップＳ６００において、可視性データ判定部１６０ｂは、処理するフレーム時刻の３次元モデルとその可視性データを記憶装置１５０ｂから取得する。ステップＳ６０１において、可視性データ判定部１６０ｂは、カメラシステム１１０の全てのカメラ８１ａ〜８１ｈを選択候補に設定する。ステップＳ６０２において、可視性データ判定部１６０ｂは、設定する優先度の値を選択できる最大値に設定する。例えば、カメラシステム１１０におけるカメラの総数が優先度として設定される。図８の例では、８が優先度の値に設定される。
【００７４】
ステップＳ７０１において、可視性データ判定部１６０ｂは、可視性データ判定処理を終了する条件として、本処理を行う最低の優先度の値を有効優先度値として設定する。有効優先度値は制御部２１０から設定されるようにしても構わない。設定された有効優先度値は可視性データ判定部１６０ｂに入力される。ただしこれに限定されず、第２実施形態のように記憶装置１５０ａにデータを出力する場合に、その容量等から自動的に有効優先度値が決定されるようにしても構わない。本実施形態では有効優先度値を仮に６と決定する。
【００７５】
ステップＳ７０２において、可視性データ判定部１６０ｂは、可視性データ判定処理の終了かどうかを判断する。ここでは、可視性データ判定部１６０ｂは、カメラに設定される優先度の値が有効優先度値より小さくなったか否かを判断し、有効優先度の値よりも小さくなった場合に終了と判断する。終了と判断された場合、処理はステップＳ７０３に進み、そうでなければ、処理はステップＳ６０４に進む。
【００７６】
可視性データ判定部１６０ｂは、各カメラの第１寄与度を計算し（図９の最下段）、選択候補となっているカメラの中から、第１寄与度の最も高いカメラを選択する（ステップＳ６０４、Ｓ１０３）。ステップＳ７０４において、優先順位付与部５１０は、選択されたカメラ８１ｃに現在の優先度の値８を付与する。ステップＳ６０６において、優先順位付与部５１０は、優先度の値を１下げる。ここでは、優先度の値が７になる。
【００７７】
その後、可視性データ判定部１６０ｂは、選択されたカメラ８１ｃを選択候補から外し（ステップＳ１０５）、選択されたカメラ８１ｃから見える点を点の選択候補から外す（ステップＳ６０７）。結果、図９に示されるカメラ８１ｃの選択候補フラグ、および、点８０２〜８０６の選択候補フラグが０となる。ステップＳ７０２に戻り、可視性データ判定部１６０ｂは、可視性データ判定処理の終了かどうかを判断する。優先度の値７は有効優先度の値６以上であるので、処理は終了せず、再び、ステップＳ６０４に進む。
【００７８】
可視性データ判定部１６０ｂは、選択候補として残されている点を用いて、選択候補として残されているカメラの第１寄与度を計算する（ステップＳ６０７）。結果、図１１の最下段に示す値が第１寄与度として得られる。可視性データ判定部１６０ｂは、選択候補のカメラの中から、第１寄与度の最も高いカメラ（ここでは、図９からカメラ８１ｇ）を選択する（ステップＳ１０３）。優先順位付与部５１０は、選択されたカメラ８１ｇに優先度の値７を付与し（ステップＳ７０４）、優先度の値を１下げる。結果、優先度の値が６になる。可視性データ判定部１６０ｂは、選択されたカメラ８１ｇを選択候補から外し（ステップＳ１０５）、選択されたカメラ８１ｇから見える点を点の候補から外す（ステップＳ６０７）。結果、図９に示されるカメラ８１ｃの選択候補フラグ、および、点８０７〜８１０の選択候補フラグが０となる。ステップＳ７０２に戻り、可視性データ判定部１６０ｂは、可視性データ判定処理の終了かどうかを判断する。優先度の値６は有効優先度の値６以上であるので、処理は終了せず、再び、ステップＳ６０４に進む。
【００７９】
可視性データ判定部１６０ｂは、選択候補として残されている点を用いて、選択候補として残されているカメラの第１寄与度を計算する（ステップＳ６０７）。結果、図１２の最下段に示す値が第１寄与度として得られる。可視性データ判定部１６０ｂは、選択候補のカメラの中から、第１寄与度の最も高いカメラ（ここでは、図９からカメラ８１ａ）を選択する（ステップＳ１０３）。優先順位付与部５１０は、選択されたカメラ８１ａに優先度の値６を付与し（ステップＳ７０４）、優先度の値を１下げる。結果、優先度の値が５になる。可視性データ判定部１６０ｂは、選択されたカメラ８１ａを選択候補から外し（ステップＳ１０５）、選択されたカメラ８１ａから見える点を点の候補から外す（ステップＳ６０７）。結果、図９に示されるカメラ８１ａの選択候補フラグ、および、点８０１の選択候補フラグが０となる。
【００８０】
ステップＳ７０２に戻り、可視性データ判定処理の終了かどうかを判断する優先度の値５は有効優先度の値６より小さいので、処理はステップＳ７０３に進む。ステップＳ７０３において、優先順位付与部５１０は、は、優先度が付与されていないカメラの優先度の値を５に設定する。図１５に可視性データ判定処理の結果を示す。カメラ８１ａから８１ｈに優先度の値５から８が付与されている。優先順位付与部５１０は、この結果を記憶装置１５０ｂに記録する。
【００８１】
ユーザ端末２００で仮想視点画像生成を行う場合、第１実施形態１と同様に、制御部２１０から仮想視点画像を生成するフレーム時刻が設定される。仮想視点画像生成部２２０では、まず、３次元モデル、可視性データについて出力部１７０ｃを介して記憶装置１５０ｂから読み出す。回線判定部１９０ａは回線１８０の回線状態を把握し、伝送するデータの優先順位を決定する。より具体的には、まず、回線判定部１９０ａは、回線１８０の回線容量から伝送した３次元モデルと可視性判定データの容量を減算する。回線判定部１９０ａは残った容量から前景画像のデータの伝送量を算出し、これに基づいて伝送できる容量に適合する前景画像を送るための優先度の値を決定する。ここでは優先度の値が６までのカメラから得られた前景画像を送るものとする。この結果、出力部１７０ｃはカメラ８１ａ、８１ｃ、８１ｇの前景画像を仮想視点画像生成部２２０に出力する。仮想視点画像生成部２２０は仮想カメラ操作部２３０から指定される仮想視点の位置、方向に応じた仮想視点画像を生成する。
【００８２】
以上の構成と動作により、仮想視点画像の生成に関連して、伝送容量等の制限に対して、適切な前景画像を選択することで、伝送容量を抑えながら、必要なデータを伝送することができる。伝送容量が可変な場合等でその時々で伝送する優先度の値を変更することで、適応的に必要なデータを送ることができる。また、仮想視点によらず、必要な情報を伝送できるので、送ったデータで仮想視点を変更して別な仮想視点画像を生成することも可能である。
【００８３】
なお、第４実施形態では可視性データ判定処理の終了条件を有効優先度の値と優先度の値の比較としたが、これに限定されない。例えば、選択候補のカメラが残っている限り処理を続け、選択候補のカメラがなくなったときに可視性データ判定処理を終了しても構わない。また、第３実施形態では、３次元モデルの全ての点について優先度を設定したが、第４実施形態のように有効優先度を設定して、優先度の設定処理を打ち切るようにしてもよい。
【００８４】
以上、上述した実施形態によれば、カメラシステム１１０のカメラの台数などのシステムを構成する装置の規模、及び撮影画像の出力解像度や出力フレームレートなどに依らず、仮想視点画像を簡便に生成することが出来る。
【００８５】
以上、上述の各実施形態の画像処理システムによれば、仮想視点画像の生成に関連して、伝送容量等の制限や記憶容量など様々な制限に対応する適切なデータが選択される。これにより、伝送容量や記憶容量など様々な制限による影響を低減しつつ、必要なデータを仮想視点画像の生成のために伝送したり記憶したりすることができる。また、仮想視点に依存せずに、仮想視点画像の生成に必要な情報を伝送できるので、伝送されたデータから、異なる仮想視点の仮想視点画像を生成することも可能である。また、仮想視点を設定するまえから、仮想視点画像の生成に必要な情報を伝送できるので、仮想視点画像を生成するうえで生じる遅延を低減することができる。以上、本発明の実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。例えば、上述の各実施形態の一部又は全部の処理を任意に組み合わせてもよい。
【００８６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８７】
１１０：カメラシステム、１２０：スイッチングハブ、１３０：タイムサーバ、１４０：３次元モデル生成部、１５０：記憶装置、１６０：可視性データ判定部、１７０：出力部、１８０：回線、１９０：回線判定部、２００：ユーザ端末
【図１】
2019135617.tif 000003
【図２】
2019135617.tif 000004
【図３】
2019135617.tif 000005
【図４】
2019135617.tif 000006
【図５】
2019135617.tif 000007
【図６】
2019135617.tif 000008
【図７】
2019135617.tif 000009
【図８】
2019135617.tif 000010
【図９】
2019135617.tif 000011
【図１０】
2019135617.tif 000012
【図１１】
2019135617.tif 000013
【図１２】
2019135617.tif 000014
【図１３】
2019135617.tif 000015
【図１４】
2019135617.tif 000016
【図１５】
2019135617.tif 000017
【図１６】
2019135617.tif 000018