(57)【要約】【課題】仮想視点画像を生成する際、効率よく画像を取得して、高速な画像生成処理を実現する。【解決手段】  本発明に係る画像処理装置は、異なる位置に配置された複数の撮影装置がオブジェクトを撮影した画像から生成されたオブジェクト三次元モデルを取得するモデル取得手段と、仮想視点の指定を受け付ける受け付け手段と、複数の撮影装置により撮影される複数のオブジェクトの位置関係と、撮影装置の位置及び向きと、受け付け手段により受け付けられた指定に応じた仮想視点の位置とに基づいて選択される撮影装置による撮影に基づく画像を、仮想視点画像の生成に用いる画像として取得するデータ取得手段と、モデル取得手段により取得したオブジェクト三次元モデルとデータ取得手段により取得した画像とに基づいて、仮想視点画像を生成する画像生成手段と、を備える。【選択図】  図３
2019083402.tif 000002
【特許請求の範囲】
【請求項１】
異なる位置に配置された複数の撮影装置がオブジェクトを撮影した画像から生成されたオブジェクト三次元モデルを取得するモデル取得手段と、
仮想視点の指定を受け付ける受け付け手段と、
前記複数の撮影装置により撮影される複数のオブジェクトの位置関係と、撮影装置の位置及び向きと、前記受け付け手段により受け付けられた指定に応じた仮想視点の位置とに基づいて選択される撮影装置による撮影に基づく画像を、仮想視点画像の生成に用いる画像として取得するデータ取得手段と、
前記モデル取得手段により取得したオブジェクト三次元モデルと前記データ取得手段により取得した画像とに基づいて、前記仮想視点画像を生成する画像生成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記データ取得手段は、
前記オブジェクト三次元モデルに基づいて、前記指定された仮想視点画像に表示されるオブジェクトを特定するオブジェクト特定手段と、
前記特定されたオブジェクトの全体が撮影できる撮影位置の範囲を示す有効領域を算出する有効領域算出手段と、
前記複数の撮影装置から前記有効領域に配置された撮影装置を選択する選択手段と、
前記選択された撮影装置が撮影した画像を取得する取得手段と、
を含むことを特徴とする請求項１に記載された画像処理装置。
【請求項３】
前記選択手段は、前記指定された仮想視点の向きと撮影方向との差が所定範囲内である撮影装置を選択する、ことを特徴とする請求項２に記載された画像処理装置。
【請求項４】
前記データ取得手段は、
前記特定された各オブジェクトの前記有効領域の外に配置された撮影装置ごとに、当該撮影装置が撮影した画像について、オクルージョンが生じていない領域の画素である有効画素を算出する有効画素算出手段と、
前記特定されたオブジェクトごとに、仮想視点画像生成のために利用する必要画素を算出する必要画素算出手段と、をさらに含み、
前記選択手段は、算出された前記必要画素が前記有効画素に基づいて生成できるように、当該有効画素を含む画像を撮影した前記撮影装置を優先して選択する、ことを特徴とする請求項２または請求項３に記載された画像処理装置。
【請求項５】
前記オクルージョンが生じている領域の画素を、当該画素の近傍の前記有効画素に基づいて補間し、前記有効画素に基づいて生成されない前記必要画素を前記補間された画素に基づいて生成する補完手段をさらに備えることを特徴とする請求項４に記載された画像処理装置。
【請求項６】
前記選択手段は、所定の台数の撮影装置を選択する、ことを特徴とする請求項２から請求項５のいずれか一項に記載された画像処理装置。
【請求項７】
前記オブジェクト三次元モデルは、オブジェクトの外郭および位置の情報を少なくとも含む、ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記仮想視点は、仮想視点の位置、向きおよび画角の情報を少なくとも含む、ことを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
前記データ取得手段は、前記仮想視点画像の生成に用いる画像の取得において、前記複数の撮影装置の位置、姿勢および焦点距離を少なくとも用いることを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記データ取得手段は、前記撮影装置が撮影した画像から生成されたテクスチャ画像を取得することを特徴とする請求項１から請求項９のいずれか一項に記載の画像処理装置。
【請求項１１】
異なる位置に配置された複数の撮影装置と、
前記複数の撮影装置が撮影した画像からオブジェクト三次元モデルを生成するオブジェクト三次元モデル生成手段と、
前記オブジェクト三次元モデルを取得するモデル取得手段と、
仮想視点の指定を受け付ける受け付け手段と、
前記複数の撮影装置により撮影される複数のオブジェクトの位置関係と、撮影装置の位置及び向きと、前記受け付け手段により受け付けられた指定に応じた仮想視点の位置とに基づいて選択される撮影装置による撮影に基づく画像を、仮想視点画像の生成に用いる画像として取得するデータ取得手段と、
前記モデル取得手段により取得したオブジェクト三次元モデルと前記データ取得手段により取得した画像とに基づいて、前記仮想視点画像を生成する画像生成手段と、を備えることを特徴とする画像処理システム。
【請求項１２】
異なる位置に配置された複数の撮影装置がオブジェクトを撮影した画像から生成されたオブジェクト三次元モデルを取得するモデル取得手段と、
前記複数の撮影装置により撮影される複数のオブジェクトの位置関係と、撮影装置の位置及び向きと、指定された仮想視点の位置とに基づいて前記複数の撮影装置の撮影領域に存在するオブジェクトごとに、当該オブジェクトの全体が撮影できる有効領域を算出する算出手段と、
前記オブジェクトごとに、前記有効領域に配置された撮影装置を選択する選択手段と、
前記オブジェクトごとに、当該オブジェクトと、前記算出された有効領域および前記選択された撮影装置の少なくとも１つとを関連付けて記憶装置に書き込む書き込み手段と、を備えることを特徴とする画像処理装置。
【請求項１３】
異なる位置に配置された複数の撮影装置がオブジェクトを撮影した画像から生成されたオブジェクト三次元モデルを取得するモデル取得工程と、
仮想視点の指定を受け付ける受け付け工程と、
前記複数の撮影装置により撮影される複数のオブジェクトの位置関係と、撮影装置の位置及び向きと、前記受け付け手段により受け付けられた指定に応じた仮想視点の位置とに基づいて選択される撮影装置による撮影に基づく画像を、仮想視点画像の生成に用いる画像として取得するデータ取得工程と、
前記モデル取得工程により取得したオブジェクト三次元モデルと前記データ取得工程により取得した画像とに基づいて、前記仮想視点画像を生成する画像生成工程と、を備えることを特徴とする画像処理方法。
【請求項１４】
コンピュータに、請求項１３に記載の画像処理方法を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を複数の方向から撮影するための複数のカメラを含む画像処理システムに関するものである。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
【０００３】
一方、複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。すなわち、ユーザが指定した仮想視点の画像は、複数のカメラで撮影した画像から生成されたオブジェクト三次元モデルおよびテクスチャ画像を組み合わせて生成される。
【０００４】
しかしながら、仮想視点画像を生成する際、選手などのオブジェクト同士の重なり（以下、オクルージョンと記載する。）によりシステムに設置されたカメラからは見えない領域に対応する画素（以下、無効画素と記載する。）が存在し、仮想視点画像の一部画素が生成できない場合がある。
【０００５】
特許文献１では、複数のカメラから選択された１台のカメラから、仮想視点画像を生成するための素材画像を取得し、仮想視点画像を生成する。そして、当該仮想視点画像に、無効画素があるか判断し、無効画素がある場合、さらに別のカメラから素材画像を取得し、無効画素を補てんする。これにより１台のカメラ画像ではオクルージョンによる無効画素が存在したとしても、順次複数のカメラから画像を取得することにより、仮想視点画像を生成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３５４２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
複数のカメラを備えた画像処理システムにあって、高画質な仮想視点画像を生成するためには、カメラ台数や各カメラの画像サイズ、画素ビット数が増大することが想定される。また、例えば、スポーツなどを生成対象とする場合、リアルタイムに対して低遅延で仮想視点画像を生成するために、より高速な仮想視点画像生成処理が求められる。
【０００８】
しかしながら、特許文献１のように、無効画素が無くなるまで、順次複数のカメラからデータを取得する方式では、取得するデータ量の増大や、無効画素の有無の判定が繰り返されることなどにより、仮想視点画像の生成に時間を要してしまう。
【０００９】
本発明は、上記の課題に鑑みてなされたものであって、その目的は、仮想視点画像を生成する際、効率よく画像を取得して、高速な画像生成処理を実現することである。
【課題を解決するための手段】
【００１０】
この課題を解決するため、例えば本発明に係る画像処理装置は、異なる位置に配置された複数の撮影装置がオブジェクトを撮影した画像から生成されたオブジェクト三次元モデルを取得するモデル取得手段と、仮想視点の指定を受け付ける受け付け手段と、複数の撮影装置により撮影される複数のオブジェクトの位置関係と、撮影装置の位置及び向きと、受け付け手段により受け付けられた指定に応じた仮想視点の位置とに基づいて選択される撮影装置による撮影に基づく画像を、仮想視点画像の生成に用いる画像として取得するデータ取得手段と、モデル取得手段により取得したオブジェクト三次元モデルとデータ取得手段により取得した画像とに基づいて、仮想視点画像を生成する画像生成手段と、を備える。
【発明の効果】
【００１１】
本発明によれば、仮想視点画像を生成する際、効率よく画像を取得して、高速な画像生成処理を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理システム１００の一例を示す構成図。
【図２】バックエンドサーバ２７０の内部ブロックと周辺機器との関係を示す図。
【図３】データ取得部２７２を示すブロック図。
【図４】複数のカメラが配置されたスタジアムにオブジェクトが２つ存在することを示す模式図。
【図５】オブジェクト４００及び４０１の領域を拡大した図。
【図６】実施の形態１に係る仮想視点画像を生成するための画像を取得する処理を示したフローチャート。
【図７】カメラアダプタ１２０のハードウェア構成を示すブロック図。
【図８】バックエンドサーバ２７０の内部ブロックと周辺機器との関係を示す図。
【図９】データ取得部２７４を示すブロック図。
【図１０】オブジェクト４０１のテクスチャ画像を示した図。
【図１１】オブジェクト４０１のテクスチャ画像において、仮想視点５００の画像生成に必要な画素を示した図。
【図１２】実施の形態２に係る仮想視点画像を生成するための画像を取得する処理を示したフローチャート。
【図１３】フロントエンドサーバ２３０の内部ブロックと周辺機器との関係を示す図。
【発明を実施するための形態】
【００１３】
以下図面に従って本発明に係る実施形態を詳細に説明する。
なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜前提となる画像処理システムの概要＞
本発明の前提となる、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムについて、図１を用いて説明する。
【００１４】
＜画像処理システム１００の説明＞
図１は、画像処理システム１００の一例を示す構成図である。図１を参照すると、画像処理システム１００は、センサシステム１１０ａ，…，１１０ｚと、画像コンピューティングサーバ２００と、コントローラ３００と、スイッチングハブ１８０と、エンドユーザ端末１９０とを含む。
【００１５】
＜コントローラ３００の説明＞
コントローラ３００は、制御ステーション３１０と、仮想カメラ操作ＵＩ３３０とを含む。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対して、ネットワーク３１０ａ−３１０ｄ、１８０ａ、１８０ｂ、及び１７０ａ，…，１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。
【００１６】
＜センサシステム１１０の説明＞
最初に、センサシステム１１０ａ，…，センサシステム１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作について説明する。
【００１７】
画像処理システム１００では、センサシステム１１０ａ，…，センサシステム１１０ｚがデイジーチェーンにより接続される。特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。ここで、特に断りがない限り、画像という文言は、動画と静止画の概念を含むものとして説明する。すなわち、画像処理システム１００は、静止画及び動画の何れについても処理可能である。
【００１８】
また、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
【００１９】
センサシステム１１０ａ，…，１１０ｚは、それぞれ１台ずつのカメラ１１２ａ，…，１１２ｚを含む。すなわち、画像処理システム１００は、同一の被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士は、デイジーチェーンにより接続される。
【００２０】
センサシステム１１０は、マイク１１１と、カメラ１１２と、雲台１１３と、カメラアダプタ１２０とを含んで構成されるが、この構成に限定するものではない。カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、マイク１１１ａにて集音された音声とともに、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。センサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。
【００２１】
前述した動作を続けることにより、センサシステム１１０ａ，…，１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。
【００２２】
なお、カメラ１１２ａ，…，１１２ｚと、カメラアダプタ１２０ａ，…，１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ，…，１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。
【００２３】
次に、カメラアダプタ１２０による画像処理を説明する。カメラアダプタ１２０は、カメラ１１２による撮影画像を前景画像と背景画像に分離する。例えば、選手など動作する物体を抽出した前景画像と、芝生など静止物体の背景画像とに分離する。そして、前景画像と背景画像とを、別のカメラアダプタ１２０に出力する。
【００２４】
カメラアダプタ１２０ａ〜１２０ｚに対し、それぞれのカメラアダプタで生成された前景画像、背景画像が伝送され、カメラアダプタ１２０ｚから画像コンピューティングサーバ２００に出力される。これにより、画像コンピューティングサーバ２００には、各カメラ１１２で撮影された画像から生成された前景画像と、背景画像とが集約される。
【００２５】
＜画像コンピューティングサーバ２００の説明＞
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。
【００２６】
画像コンピューティングサーバ２００は、フロントエンドサーバ２３０と、データベース２５０（以下、ＤＢと記載する場合がある。）と、バックエンドサーバ２７０と、タイムサーバ２９０とを含む。
【００２７】
タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ，…，１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ，…，１２０ｚは、カメラ１１２ａ，…，１１２ｚを、時刻と同期信号とをもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。
【００２８】
フロントエンドサーバ２３０は、センサシステム１１０ｚから各カメラで撮影された前景画像および背景画像を取得する。そして、該取得された各カメラで撮影された前景画像を用いて、オブジェクトの三次元モデルを生成する。三次元モデルを生成する手法は、たとえばＶｉｓｕａｌＨｕｌｌと呼ばれる方式などが想定される。ＶｉｓｕａｌＨｕｌｌ方式では、三次元モデルが存在する三次元空間を小さな立方体に区切る。そうして、該立方体を各カメラの前景画像のシルエットに投影し、立方体がシルエット領域内におさまらないカメラが１台でもあった場合、立方体を削っていき、残った立方体を三次元モデルとして生成する手法である。以下、このようなオブジェクトの三次元モデルをオブジェクト三次元モデルと記載する。
【００２９】
なお、オブジェクト三次元モデルを生成する手段は、他の手法でも良く、特に手法を限定しない。ここで、オブジェクト三次元モデルは、撮影対象となる空間を一意に示す世界座標系における三次元空間のｘ，ｙ，ｚの位置情報を持った点群で表現されるものとする。また、オブジェクト三次元モデルの形状の外郭を示す情報（以下、外郭情報と記載する。）も含むものとする。本実施形態では、説明を簡易にするために、外郭情報はオブジェクト三次元モデルの形状の外側を囲む立体であらわす。ただし、外郭情報の形状はこれに限らない。
【００３０】
フロントエンドサーバ２３０は、各カメラ１１２で撮影された前景画像、背景画像、上記生成したオブジェクト三次元モデルをデータベース２５０に格納する。また、フロントエンドサーバ２３０は、各カメラ１１２の撮影画像に基づいて、オブジェクト三次元モデルのテクスチャマッピング用にテクスチャ画像を作成し、データベース２５０に格納する。なお、データベース２５０に格納されるテクスチャ画像は、例えば、前景画像や背景画像であってもよいし、それらに基づいて新たに作成された画像であってもよい。
【００３１】
バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける。そして、指定された仮想視点に基づいて、データベース２５０から仮想視点画像を生成するために必要な画像及び三次元モデルを読み出し、レンダリング処理を行って仮想視点画像を生成する。
【００３２】
なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体に構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数存在していてもよい。また、画像コンピューティングサーバ２００の任意の位置に、上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
【００３３】
レンダリング処理された画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、エンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴が出来る。
【００３４】
制御ステーション３１０は、仮想視点画像を生成する対象のスタジアム等の三次元モデルをあらかじめデータベース２５０に格納しておく。さらに、制御ステーション３１０はカメラ設置時に、キャリブレーションを実施する。具体的には、撮影対象のフィールド上にマーカを設置し、各カメラ１１２の撮影画像により、各カメラの世界座標における位置と向き、および焦点距離を算出する。該算出された各カメラの位置、向き、焦点距離の情報をデータベース２５０に格納しておく。該格納されたスタジアム三次元モデルおよび各カメラの情報は、バックエンドサーバ２７０が読み出し、仮想視点画像を生成する際に用いられる。また各カメラの情報は、フロントエンドサーバ２３０も読み出し、オブジェクト三次元モデルを生成する際に使用される。
【００３５】
この様に、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０ａ，…，１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含む。そして、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。また、本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ，…，１１０ｚから画像を取得する事も可能である。なお、本画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
＜実施の形態１＞
以下、本発明に係る仮想視点映像生成システムの実施の形態１について説明する。実施の形態１では、仮想視点画像を生成するために、カメラ、オブジェクト三次元モデル、仮想視点の位置関係を考慮して画像を取得する。すなわち、カメラの情報、指定された仮想視点の情報、オブジェクト三次元モデルの位置情報、及びその外郭情報に基づいて、オクルージョンによる無効画素のない画像を取得する方法について述べる。
【００３６】
図２は、実施の形態１に係るバックエンドサーバ２７０の内部ブロックと周辺機器との関係を示すブロック図である。図２を参照すると、バックエンドサーバ２７０は、視点受付部２７１と、データ取得部２７２と、画像生成部２７３とを備える。
【００３７】
視点受付部２７１は、仮想カメラ操作ＵＩ３３０から入力された仮想視点の情報（以下、仮想視点情報と記載する。）を、データ取得部２７２と、画像生成部２７３とに出力する。ここで、仮想視点情報とは、ある時刻における仮想視点を示す情報である。仮想視点は、世界座標系における視点の位置、向き、画角等で表現される。
【００３８】
データ取得部２７２は、仮想カメラ操作ＵＩ３３０から入力された仮想視点情報に基づき、データベース２５０から仮想視点画像生成に必要なデータを取得する。そして、該取得したデータを、画像生成部２７３に出力する。ここで取得されるデータは、仮想視点情報で指定された時刻に撮影された画像から生成された前景画像（テクスチャ画像）および背景画像である。データ取得方法の詳細については、後述する。
【００３９】
画像生成部２７３は、仮想カメラ操作ＵＩ３３０から入力された仮想視点情報と、データ取得部２７２から入力されたテクスチャ画像および背景画像を用いて、仮想視点画像を生成する。具体的には、テクスチャ画像を用いてオブジェクト三次元モデルに色付けを行い、オブジェクト画像を生成する。撮影したカメラの位置、姿勢、焦点距離などの情報と、仮想視点情報とに基づいて、上述のオブジェクト画像および取得した背景画像を幾何変換により仮想視点から見た画像に変換する。そして、背景画像とオブジェクト画像とを合成して仮想視点画像を生成する。ここで、オブジェクト画像や背景画像の生成については、複数の画像を合成して組み合わせても良い。ここでの仮想視点画像生成方法は一例であり、処理順序や処理方式は特に限定しない。
【００４０】
図３は、データ取得部２７２の詳細な構成を示すブロック図である。図３を参照すると、データ取得部２７２は、オブジェクト特定部２７２１と、有効領域算出部２７２２と、カメラ選択部２７３３と、データ読み出し部２７２４とを備える。
【００４１】
オブジェクト特定部２７２１は、視点受付部２７１からの仮想視点情報と、データ読み出し部２７２４を介してデータベース２５０から取得したオブジェクト三次元モデルの位置および外郭情報を取得する。そして、これらの情報に基づいて、指定された仮想視点画像に表示されるオブジェクトを特定する。
【００４２】
具体的には、透視投影法を用いる。仮想視点情報に基づいて定まる投影面に、データベース２５０から取得したオブジェクト三次元モデルを投影し、投影面に投影されるオブジェクトを特定する。仮想視点情報に基づいて定まる投影面は、仮想視点の位置、向き、画角に基づき、仮想視点から見える範囲を表現したものである。しかしながら、指定された仮想視点から見える範囲に含まれるオブジェクトを特定できるのであれば、透視投影法に限らず、どのような方法を用いてもよい。
【００４３】
有効領域算出部２７２２は、オブジェクト特定部２７２１によって特定されたオブジェクトのそれぞれを対象として以下の処理を行う。すなわち、有効領域算出部２７２２は、対象オブジェクトが他のオブジェクトによって遮蔽されずに、オブジェクト全体が撮影できる撮影位置の座標範囲（以下、有効領域と記載する。）を算出する。有効領域の算出には、視点受付部２７１から入力される仮想視点情報と、データ読み出し部２７２４によりデータベース２５０から取得されるオブジェクト三次元モデルの位置、外郭情報を用いる。なお、この処理は、オブジェクト特定部２７２１によって特定されたオブジェクト毎に行われ、それぞれのオブジェクトに対し、有効領域が算出される。有効領域の算出方法は、図４及び図５において詳述する。
【００４４】
カメラ選択部２７２３は、仮想視点画像を生成するために用いるテクスチャ画像を撮影したカメラを選択する。すなわち、オブジェクト特定部２７２１で特定されたオブジェクト毎に、有効領域算出部２７２２が算出した有効領域と仮想視点情報とに基づいてカメラを選択する。例えば、カメラ選択部２７２３は、有効領域算出部２７２２で算出されたオブジェクトの有効領域と、仮想視点の位置、向きとに基づいて、２台のカメラを選択する。その際は、仮想視点の向きとカメラ姿勢（撮影方向）が近いことに重みを置き、仮想視点の向きとカメラの姿勢（向き）がある閾値角度以上異なる場合は選択対象から除外する。すなわち、仮想視点の向きとカメラ姿勢との差が所定範囲内であるカメラを選択対象とする。また、ここでは選択するカメラの台数を２台（所定の台数）としたが、より多くのカメラを選択しても良く、有効領域に位置するカメラを対象とすること以外は、特にカメラ選択方法は限定しない。
【００４５】
データ読み出し部２７２４は、オブジェクトごとにカメラ選択部２７２３で選択されたカメラのテクスチャ画像を、データベース２５０から取得する。また、オブジェクト三次元モデルの位置情報や外郭情報を取得する、モデル取得手段としての機能、背景画像を取得する機能、各カメラの世界座標における位置、姿勢、および焦点距離などカメラ情報を取得する機能、スタジアム三次元モデルを取得する機能を有する。
【００４６】
図４及び５を用いて、有効領域算出部２７２２が、オブジェクト全体を撮影できる有効領域を算出する方法について具体的に説明する。
【００４７】
図４は、複数のカメラが配置されたスタジアムにオブジェクトが２つ存在することを示す模式図である。図４に示すように、スタジアムの周りにはセンサシステム１１０ａ〜１１０ｐが設置されており、例えば、スタジアムのフィールドが撮影領域である。オブジェクト４００及び４０１は、実際に存在する選手などのオブジェクト三次元モデルの外郭であり、外郭情報によって表されたものである。仮想視点５００は、指定された仮想視点である。
【００４８】
図５は、図４におけるオブジェクト４００及び４０１の領域を拡大した図であり、図５を用いて、オブジェクト４０１がオブジェクト４００によって遮蔽されない有効領域を説明する。
【００４９】
図５において、頂点４０００〜４００３は、オブジェクト４００の外郭の頂点であり、頂点４０１０及び４０１１は、オブジェクト４０１の外郭の頂点である。また、直線４１００は、頂点４０１０と頂点４００２とを結ぶ直線であり、直線４１０１は、頂点４０１０と頂点４００３とを結ぶ直線である。同様に、直線４１０２は頂点４０１１と頂点４０００とを結び、直線４１０３は頂点４０１１と頂点４００１とを結ぶ直線である。
【００５０】
有効領域算出部２７２２は、オブジェクト４０１の有効領域を算出する際、オブジェクト三次元モデルの位置、外郭情報から、スタジアムの外周方向に別のオブジェクトが存在するか判定する。図示の例では、オブジェクト４００が存在する。
【００５１】
次に、有効領域算出部２７２２は、オブジェクト４００によって遮蔽されずにオブジェクト４０１全体が撮影できる座標範囲を算出する。例えば、オブジェクト４０１の頂点４０１０が見えなくなる境界は、直線４１００及び直線４１０１を含む面である。また、オブジェクト４００の頂点４０１１が見えなくなる境界は、直線４１０２及び直線４１０３を含む面である。したがって、直線４１００及び直線４１０１を含む面と、直線４１０２及び直線４１０３を含む面とで挟まれる領域の外側が、オブジェクト４００に遮蔽されずにオブジェクト４０１全体を撮影できる有効領域として算出される。
【００５２】
この例では、対象オブジェクトが一つの他のオブジェクトに遮蔽されるケースについて示したが、複数のオブジェクトにより遮蔽されるケースでも有効領域の計算を行うことで対応可能である。その場合は、複数のオブジェクトについて順番に有効領域の算出を行い、各オブジェクトの有効領域外の領域を除いた範囲が、最終的な有効領域として算出される。
【００５３】
図６は、実施の形態１に係る仮想視点画像を生成するための画像を取得する処理を示したフローチャートである。なお、以下で説明する処理は、特に明示が無い場合、コントローラ３００の制御により実現される。すなわち、コントローラ３００が画像処理システム１００内の他の装置（例えば、バックエンドサーバ２７０やデータベース２５０等）を制御することにより、図６で示す処理の制御が実現される。
【００５４】
ステップＳ１００において、オブジェクト特定部２７２１は、視点受付部２７１からの仮想視点情報と、データ読み出し部２７２４から取得したオブジェクト三次元モデルの位置、外郭情報に基づき、指定された仮想視点画像に表示されるオブジェクトを特定する。図４の例では、仮想視点５００から見える範囲に含まれるオブジェクト４００及び４０１が特定される。
【００５５】
以下のステップＳ１０１からＳ１０３の処理は、ステップＳ１００で特定されたオブジェクト毎に行われる。
【００５６】
ステップＳ１０１において、有効領域算出部２７２２は、オクルージョンが発生しない領域、すなわち、ステップＳ１００で特定されたオブジェクトの全体が撮影可能な有効領域を算出する。図５の例では、オブジェクト４０１を対象オブジェクトとすると、直線４１００及び直線４１０１を含む面と、直線４１０２及び直線４１０３を含む面とで挟まれる領域の外側が、有効領域として算出される。オブジェクト４００を対象オブジェクトとする場合も、上述の方法で有効領域を算出する。
【００５７】
ステップＳ１０２において、カメラ選択部２７２３は、オブジェクト特定部２７２１で特定されたオブジェクト毎に、有効領域算出部２７２２で算出された有効領域、仮想視点情報、およびカメラ情報に基づき、カメラを選択する。図４及び図５の例では、有効領域に位置するカメラであって、仮想視点５００の向きとカメラ姿勢の近い２台のセンサシステム１１０ｄ及び１１０ｐが選択される。
【００５８】
ステップＳ１０３において、データ読み出し部２７２４は、ステップＳ１０２で選択したカメラによる撮影に基づくテクスチャ画像を取得する。
【００５９】
ここまでの処理を、ステップＳ１００でオブジェクト特定部２７２１が特定したオブジェクト全てに対して実行する。
【００６０】
ステップＳ１０４において、データ読み出し部２７２４は、ステップＳ１０３で取得したテクスチャ画像を画像生成部２７３に出力する。
【００６１】
なお、本実施の形態では説明を簡易にするために外郭情報として外接矩形の直方体で説明したが、これに限定されない。外接矩形で大まかな有効領域の判断をした後に、オブジェクト三次元モデルの形状の情報を用いることで正確な形状での有効領域の判断を行うことも可能である。
【００６２】
また、本実施の形態では、オクルージョンを起こすオブジェクトがひとつの場合について説明したが、これに限定されない。オクルージョンを起こすオブジェクトが２つ以上の場合でも前述の通り、複数の三次元モデルについて順番に有効領域の算出を行い、すべてのオブジェクトに対して遮蔽されない有効領域を算出する。そして、有効領域にあるカメラで撮影した画像を使用して仮想視点画像を生成することが対応可能ある。
【００６３】
＜ハードウェア構成＞
続いて、本実施の形態を構成する各装置のハードウェア構成について説明する。図７は、カメラアダプタ１２０のハードウェア構成を示すブロック図である。
【００６４】
カメラアダプタ１２０は、ＣＰＵ１２０１と、ＲＯＭ１２０２と、ＲＡＭ１２０３と、補助記憶装置１２０４と、表示部１２０５と、操作部１２０６と、通信部１２０７と、バス１２０８とを含む。
【００６５】
ＣＰＵ１２０１は、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御する。ＲＯＭ１２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１２０３は、補助記憶装置１２０４から供給されるプログラムやデータ、及び通信部１２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。
【００６６】
表示部１２０５は、例えば、液晶ディスプレイ等で構成され、ユーザがカメラアダプタ１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１２０６は、例えば、キーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１２０１に入力する。通信部１２０７は、カメラ１１２やフロントエンドサーバ２３０などの外部の装置と通信を行う。バス１２０８は、カメラアダプタ１２０の各部を繋いで情報を伝達する。
【００６７】
なお、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０、及びエンドユーザ端末１９０などの装置も、図７のハードウェア構成となりうる。また、上述した各装置の機能は、ＣＰＵなどを用いてソフトウェア処理によって実現してもよい。
【００６８】
以上の処理を実行することにより、オブジェクトごとにオクルージョンが発生しない有効領域を予め算出し、有効領域にあるカメラで撮影された無効画素のない画像を取得することができる。したがって、画像を取得した後でオクルージョンによる無効画素があると判定された場合に、再度別のカメラで撮影した画像を取得するといった処理が発生しない。これにより、データ取得時間を削減し、高速な画像処理が可能となる。
＜実施の形態２＞
以下、本発明に係る実施の形態２について説明する。実施の形態１では、一つのオブジェクトに対し、オクルージョンによる無効画素が発生する領域を予め算出し、無効画素が発生しない位置で撮影された画像のみを取得して仮想視点画像の生成に用いた。
【００６９】
それに対し、実施の形態２では、一つのオブジェクトに対し、有効領域外に配置されたカメラによって撮影された画像について、オクルージョンが生じていない領域に対応する画素（以下、有効画素と記載する。）を算出し、有効画素を仮想視点画像の生成に利用する。これにより、オクルージョンによる無効画素を含む画像であっても、より仮想視点に近いカメラで撮影した画像を使用できるケースが増え、画質が向上する。たとえば、オクルージョンによる無効画素が発生するが、仮想視点画像に表示されるテクスチャ画像の画素には利用できるケースや、複数のカメラの画像を組み合わせることで、仮想視点画像を生成できるケースなどが挙げられる。
【００７０】
また、実施の形態１のように、一つのオブジェクトに対し、オクルージョンによる無効画素が発生するか否かで判断を行うと、実際に配置されたすべてのカメラでオクルージョンが発生するケースにあっては、利用できる画像がないと判断される。実施の形態２の手法によると、すべてのカメラでオクルージョンが発生するケースでも、複数のカメラからの画像を組み合わせることで、仮想視点画像を生成することが可能となり、オクルージョンに対するロバスト性が向上する。
【００７１】
図８は、実施の形態２に係るバックエンドサーバ２７０の内部ブロックと周辺機器との関係を示すブロック図である。実施の形態１と同様のブロックは同じ符号を付与し、説明を省略する。
【００７２】
データ取得部２７４は、有効領域外に配置されたカメラによって撮影された画像についても、仮想視点画像生成に用いるか否かを判定し、この判定に基づいて選択したカメラの画像を取得する。
【００７３】
画像生成部２７５は、データ取得部２７４により取得したカメラのテクスチャ画像を合成し、仮想視点画像を生成する。
【００７４】
図９は、実施の形態２に係るデータ取得部２７４を示すブロック図である。実施の形態１と同じ符号が付与されたブロックについては、説明を省略する。
【００７５】
有効画素算出部２７４１は、有効領域算出部２７２２が算出した有効領域の外に配置された各カメラのテクスチャ画像の各画素について、オクルージョンが生じていない有効な画素であるか否か判断し、有効画素と判断された画素を算出する。算出方法は、図１０において詳述する。
【００７６】
必要画素算出部２７４２は、オブジェクト特定部２７２１により算出されたオブジェクトごとに、視点受付部２７１により指定された仮想視点画像生成のために利用する画素（以下、必要画素と記載する。）を算出する。算出方法は、図１１において詳述する。
【００７７】
カメラ選択部２７４３は、オブジェクトのテクスチャ画像の全必要画素をカバーする画像を撮影する１以上のカメラを選択する。カメラの選択方法は後述する。本実施の形態では、仮想視点に近いカメラを優先し、例えば、２台のカメラで、指定された仮想視点の画像生成のために必要となる全必要画素を生成可能なテクスチャ画像がそろうことを条件とする。
【００７８】
しかしながら、選択するカメラの台数の条件はこれに限らない。たとえば、仮想視点に近いカメラを優先するのではなく、選択されるカメラ台数が最も少なくするようにカメラを選択しても良い。また、仮想視点に最も近いカメラを優先し、必要画素をカバーできるまで追加でカメラを選択しても良い。また、すべてのカメラで必要画素が揃わない場合は、できる限り必要画素をカバーするテクスチャ画像を取得し、残りのカバーされない必要画素は画像処理によって近傍に位置する有効画素から補間する補完手段を備えるようにしても良い。
【００７９】
データ読み出し部２７４５は、オブジェクトごとにカメラ選択部２７４３で選択されたカメラが撮影したテクスチャ画像を、データベース２５０から取得する。また、オブジェクト三次元モデルおよびその位置情報や外郭情報を取得する、モデル取得手段としての機能、背景画像を取得する機能、各カメラの世界座標における位置、姿勢、および焦点距離などカメラ情報を取得する機能、スタジアム三次元モデルを取得する機能を有する。
【００８０】
次に、上述した有効画素および必要画素の算出方法、並びに算出結果を踏まえたカメラの選択方法について、図４の例を用いて具体的に説明する。図４では、三次元モデルのオブジェクト４００及び４０１が存在する状況で、仮想視点５００が指定されている。このとき、有効領域算出部２７２２により算出された有効領域の外（オクルージョンが発生すると判定された座標範囲）に配置されたセンサシステムは、センサシステム１１０ａ，１１０ｂ，１１０ｃであるとする。
【００８１】
まず、図１０において、有効画素の算出方法について説明する。図１０は、オブジェクト４０１のテクスチャ画像を示した図である。図１０（ａ）は、三次元モデルにおいてオブジェクト４０１を仮想視点５００の視線方向から見た場合のテクスチャ画像全体を示す。図１０（ｂ）〜（ｄ）は、それぞれセンサシステム１１０ｃ，ｂ，ａのテクスチャ画像を示している。図１０において、黒色の領域は、オクルージョンにより発生した無効画素であり、それ以外の領域は有効画素である。すなわち、図１０（ａ）は、オブジェクト４０１が他のオブジェクトに遮蔽されていない画像を表しており、図１０（ｂ）〜（ｄ）は、オブジェクト４０１がオブジェクト４００によって遮蔽されている画像を表している。
【００８２】
有効画素の算出には、透視投影法を用いる。まず、センサシステム１１０ａ，１１０ｂ，１１０ｃ各々のカメラの世界座標における位置、姿勢、焦点距離等の情報から定まる投影面に、三次元モデルのオブジェクト４０１を投影し、さらにオブジェクト４００を投影する。その結果、投影されたオブジェクト同士が重なる領域、重ならない領域が分かる。各センサシステムのテクスチャ画像において、オブジェクト同士が重ならない領域に対応する画素を、有効画素として算出する。
【００８３】
次に、図１１において、必要画素の算出方法について説明する。図１１は、オブジェクト４０１のテクスチャ画像において、仮想視点５００の画像生成に必要な画素を示した図である。上述したように、オブジェクト４０１のテクスチャ画像全体は図１０（ａ）のようになる。しかしながら、指定された仮想視点５００の位置からオブジェクト４０１を見ると、オブジェクト４０１の右下部分が、オブジェクト４００により遮蔽される。この図例では、テクスチャ画像の中でオブジェクト４００に遮蔽される部分に対応する画素は、仮想視点画像の生成には使用されない画素（以下、不要画素と記載する。）である。一方、当該画素以外の画素は、仮想視点画像の生成に必要な必要画素である。
【００８４】
必要画素の算出には、上述の有効画素の算出と同様に、透視投影法を用いる。まず、対象となるオブジェクト４０１を仮想視点情報に基づいて定まる投影面に投影する。次に、対象となるオブジェクト４０１と仮想視点５００の間にあるオブジェクト４００を同様に投影する。オブジェクト同士が重なった領域に対応する画素は、仮想視点５００から見えないため、不要画素となり、それ以外が必要画素となる。
【００８５】
次いで、有効画素および必要画素の算出結果を踏まえたカメラの選択方法について説明する。上述したように、対象となるオブジェクトの仮想視点画像生成のためには、テクスチャ画像のうち必要画素の画素値があればよい。そこで、本実施の形態では、必要画素の各位置に対応する有効画素の画素値を、必要画素の画素値とする。
【００８６】
図１０及び図１１の例では、有効領域外に配置されたセンサシステムの画像のうち、センサシステム１１０ｃとセンサシステム１１０ａでテクスチャ画像（図１０（ｂ）及び（ｄ））の有効画素によって、仮想視点５００から見える画像生成に必要な全ての必要画素（図１１）をカバーすることができる。従って、カメラ選択部２７４３は、センサシステム１１０ｃ及びセンサシステム１１０ａを選択する。
【００８７】
図１２は、実施の形態２に係る仮想視点画像を生成するための画像を取得する処理を示したフローチャートである。なお、以下で説明する処理は、特に明示が無い場合は、コントローラ３００の制御により実現される。すなわち、コントローラ３００が画像処理システム１００内の他の装置（例えば、バックエンドサーバ２７０やデータベース２５０等）を制御することにより、制御が実現される。
【００８８】
ステップＳ２００において、オブジェクト特定部２７２１は、視点受付部２７１から入力される仮想視点情報と、データ読み出し部２７４５により取得されるオブジェクト三次元モデルの位置、外郭情報に基づき、仮想視点画像上に表れるオブジェクトを特定する。
【００８９】
以下のステップＳ２０１からＳ２０６の処理は、ステップＳ２００で特定されたオブジェクト毎に行われる。
【００９０】
ステップＳ２０１において、有効領域算出部２７２２は、オクルージョンが発生しない領域、すなわちステップＳ２００で特定されたオブジェクトの全体が撮影可能な有効領域を算出する。
【００９１】
ステップＳ２０２において、有効画素算出部２７４１は、有効領域算出部２７２２の算出結果に基づいて、対象のオブジェクトについて、有効領域の外にカメラが配置されているかを判定する。有効領域の外にカメラが配置されていない場合（ステップＳ２０２において、ＮＯ）、処理はステップＳ２０５に進む。有効領域の外にカメラが配置されている場合（ステップＳ２０２において、ＹＥＳ）、処理はステップＳ２０３に進む。
【００９２】
ステップＳ２０３の処理は、有効領域の外に配置されたカメラを対象に、カメラ毎に行われる。
【００９３】
ステップＳ２０３において、有効画素算出部２７４１は、対象のカメラで撮影された対象オブジェクトのテクスチャ画像の各画素について、有効か否かを判断し、有効画素を算出する。有効画素とは前述したとおり、他のオブジェクトにより遮蔽されることなく、撮影されている画素である。
【００９４】
ステップＳ２０４において、必要画素算出部２７４２は、仮想視点における対象オブジェクトのテクスチャ画像の必要画素を算出する。
【００９５】
ステップＳ２０５において、カメラ選択部２７４３は、対象オブジェクトのテクスチャ画像を生成するために用いる画像を撮影したカメラを選択する。すなわち、カメラと仮想視点との位置、およびカメラ姿勢と仮想視点の向きに応じて、必要画素全てをカバーするようカメラを複数台選択する。図４の例では、カメラ選択部２７４３は、仮想視点に近い２台のカメラ、センサシステム１１０ｃ及びセンサシステム１１０ａを選択する。
【００９６】
ステップＳ２０６において、データ読み出し部２７２４は、ステップＳ２０５で選択したカメラが撮影したテクスチャ画像を取得する。
【００９７】
ここまでの処理を、ステップＳ２００でオブジェクト特定部２７２１が特定したオブジェクト全てに対して実行する。
【００９８】
ステップＳ２０７において、データ読み出し部２７４５は、ステップＳ２０６で取得した画像を画像生成部２７３に出力する。
【００９９】
以上、実施の形態２によれば、画素ごとにオクルージョンが発生しているか判断する。それにより、実施の形態１の効果に加え、より仮想視点に近いカメラのテクスチャ画像が選択可能となり画質が向上し、またオクルージョンに対するロバスト性が向上するという効果がある。
＜実施の形態３＞
以下、本発明に係る実施の形態３について説明する。実施の形態３では、オブジェクト三次元モデルを蓄積装置（例えば、データベース２５０）に書き込む際に、各オブジェクトについてオクルージョンが発生しない有効領域を算出し、その情報と関連付けてオブジェクト三次元モデルを書き込む例について記載する。
【０１００】
これにより、仮想視点画像を生成する際に、無効画素のないテクスチャ画像が容易に選択可能となり、仮想視点生成時に、テクスチャ画像のデータ取得時間を削減でき、高速な処理が可能となる。
【０１０１】
実施の形態３は、手法が異なるだけであり、効果は実施の形態１と同等である。
【０１０２】
図１３は、実施の形態３に係るフロントエンドサーバ２３０の内部ブロックと周辺機器との関係を示す図である。
【０１０３】
データ受信部２３１は、センサシステム１１０からスイッチングハブ１８０を介して、前景画像、背景画像を受信し、オブジェクト三次元モデル生成部２３２とデータ書き込み部２３４に出力する。
【０１０４】
オブジェクト三次元モデル生成部２３２は、ＶｉｓｕａｌＨｕｌｌ方式を用いて、前景画像からオブジェクト三次元モデルを生成する。そして、オブジェクト三次元モデルを有効領域算出部２３３、データ書き込み部２３４に出力する。
【０１０５】
有効領域算出部２３３は、受信したオブジェクト三次元モデルに基づいて、各オブジェクトについて、他のオブジェクトによるオクルージョンが発生しない有効領域を算出する。算出方法は、実施の形態１に係る有効領域算出部２７２２で記載した方法と同様である。さらに、システムに設置されたカメラの位置、姿勢、焦点距離のカメラ情報に基づいて、算出した有効領域内に配置されたカメラを有効カメラとして選択する。さらに、オブジェクトごとに有効カメラのカメラ情報を有効カメラ情報として生成し、データ書き込み部２３４に出力する。
【０１０６】
データ書き込み部２３４は、データ受信部２３１から受信した前景画像、背景画像と、オブジェクト三次元モデル生成部２３２から受信したオブジェクト三次元モデルとデータベース２５０に書き込む。また該書き込むオブジェクト三次元モデルに対し、少なくとも有効領域または有効カメラ情報のいずれかを関連付けて書き込む。
【０１０７】
以上、実施の形態３によれば、オブジェクト三次元モデルを蓄積装置に書き込む際に、無効画素のないテクスチャ画像を選択するための情報と関連付けることにより、仮想視点生成時に、テクスチャ画像のデータ取得時間を削減でき、高速な処理が可能となる。
【０１０８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０９】
１００  画像処理システム、１１０  センサシステム、１１１  マイク、１１２  カメラ、１１３  雲台、１２０  カメラアダプタ、１８０  スイッチングハブ、１９０  ユーザ端末、２３０  フロントエンドサーバ、２５０  データベース、２７０  バックエンドサーバ、２７１  視点受付部、２７２  データ取得部、２７３  画像生成部、２９０  タイムサーバ、３１０  制御ステーション、３３０  仮想カメラ操作ＵＩ、２７２１  オブジェクト特定部、２７２２  有効領域算出部、２７２３  カメラ選択部。
【図１】
2019083402.tif 000003
【図２】
2019083402.tif 000004
【図３】
2019083402.tif 000005
【図４】
2019083402.tif 000006
【図５】
2019083402.tif 000007
【図６】
2019083402.tif 000008
【図７】
2019083402.tif 000009
【図８】
2019083402.tif 000010
【図９】
2019083402.tif 000011
【図１０】
2019083402.tif 000012
【図１１】
2019083402.tif 000013
【図１２】
2019083402.tif 000014
【図１３】
2019083402.tif 000015