(57)【要約】【課題】  テクスチャ画像が対応付けられた３次元ポリゴンデータにおいて、ポリゴン間のテクスチャのずれを抑制する。【解決手段】  オブジェクトの３次元ポリゴンデータと対応付けられるテクスチャ画像を生成する画像処理装置１００であって、３次元ポリゴンデータを構成するポリゴンに対応する領域を構成する複数の画素のそれぞれの画素値を、画素毎に１以上の撮像画像に基づいて決定し、その画素値に基づいてテクスチャ画像を生成する。【選択図】  図７
2020166652.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを複数の撮像装置を用いて撮像することに基づく複数の撮像画像に基づいて、前記オブジェクトの３次元ポリゴンデータと対応するテクスチャ画像を生成する画像処理装置であって、
前記３次元ポリゴンデータを構成するポリゴンに対応する領域を構成する複数の画素又は複数の画素群のそれぞれの画素値を、画素又は画素群毎に前記複数の撮像画像のうちの１以上の撮像画像に基づいて決定する決定手段と、
前記決定手段により決定された画素値に基づいて、前記テクスチャ画像を生成する生成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記テクスチャ画像は、色情報と輝度情報と彩度情報のうち少なくとも１つの情報を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記撮像装置のそれぞれの焦点距離又は画角に基づいて、前記画素値の決定に用いる撮像画像を、画素又は画素群毎に決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記領域を構成する画素又は画素群に対応する前記オブジェクトにおける位置と前記撮像装置の位置とに基づいて、前記画素値の決定に用いる撮像画像を、画素又は画素群毎に決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記決定手段は、前記領域を構成する画素又は画素群に対応する前記オブジェクトにおける位置と前記撮像装置の位置との間の距離に基づいて、前記画素値の決定に用いる撮像画像を、画素又は画素群毎に決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記決定手段は、前記領域を構成する画素又は画素群に対応する前記オブジェクトにおける位置と前記撮像装置の位置とを結ぶ方向ベクトルに基づいて、前記領域を構成する画素又は画素群の画素値の決定に用いる撮像画像を、画素又は画素群毎に決定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、前記画素又は画素群毎に前記複数の撮像画像のうち２以上の撮像画像に基づいて、前記画素値を決定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記画素又は画素群毎に、前記複数の撮像画像のそれぞれの第１評価値を算出する第１算出手段をさらに有し、
前記決定手段は、前記第１算出手段により算出された第１評価値に基づいて、前記画素値の決定に用いる２以上の撮像画像を、画素又は画素群毎に決定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記決定手段は、前記第１評価値に基づいて、前記画素値の決定に用いる前記２以上の撮像画像の混合比率を決定し、前記決定された混合比率に基づいて前記画素値を決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記２以上の撮像画像のうち、前記第１評価値が大きい撮像画像の混合比率が大きくなるように、前記２以上の撮像画像の混合比率を決定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記決定手段は、前記第１評価値が他の撮像画像よりも大きい２以上の撮像画像を、前記画素値の決定に用いる２以上の撮像画像として決定することを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記決定手段は、前記第１評価値が最大となる撮像画像を含む２以上の撮像画像を、前記画素値の決定に用いる２以上の撮像画像として決定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記決定手段は、前記第１評価値が最大となる撮像画像と２番目に大きい撮像画像とを含む２以上の撮像画像を、前記画素値の決定に用いる２以上の撮像画像として決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記決定手段は、前記画素又は画素群毎に、前記複数の撮像装置のそれぞれに対して設定された前記画素値を決定するための優先度に基づいて、前記画素又は画素群の画素値の決定に用いる撮像画像を決定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記決定手段は、前記優先度に基づいて前記画素値の決定に用いる前記２以上の撮像画像の混合比率を決定し、前記決定された混合比率に基づいて前記画素値を決定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記決定手段は、さらに、前記領域を構成する画素又は画素群に対応する前記オブジェクトにおける位置と前記撮像装置の位置とを結ぶ方向ベクトルに基づいて、前記画素又は画素群の画素値の決定に用いる撮像画像を、決定することを特徴とする請求項１４又は１５に記載の画像処理装置。
【請求項１７】
前記決定手段は、
前記画素値の決定に用いる２以上の撮像画像のそれぞれにおいて、前記優先度毎に、前記混合比率の決定のために用いられる重みを決定し、
前記優先度毎に決定された重みに基づいて、２以上の撮像画像のそれぞれの混合比率を決定することを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】
前記重みは、前記領域を構成する画素又は画素群に対応する前記オブジェクトにおける位置と前記撮像装置の位置とを結ぶ方向ベクトルと、前記領域を構成する画素又は画素群に対応する前記オブジェクトにおける位置における法線方向とが平行に近いほど、大きくなることを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記複数の撮像画像のうち１つの撮像画像に基づいて、前記ポリゴンと前記領域とを対応付ける対応付け手段をさらに有することを特徴とする請求項１乃至１８の何れか１項に記載の画像処理装置。
【請求項２０】
前記対応付け手段は、前記撮像画像に含まれる前記ポリゴンに対応する部分の解像度に基づいて、前記１つの撮像画像を決定し、決定した前記１つの撮像画像に基づいて、前記ポリゴンと前記領域とを対応付けることを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記解像度は、前記撮像画像に含まれる前記ポリゴンに対応する部分を構成する画素の数で表されることを特徴とする請求項２０に記載の画像処理装置。
【請求項２２】
前記対応付け手段は、前記領域を構成する画素又は画素群に対応する前記オブジェクトにおける位置と前記撮像装置の位置とを結ぶ方向ベクトルと前記ポリゴンの法線方向とのなす角度に基づいて、前記１つの撮像画像を決定し、決定した前記１つの撮像画像に基づいて、前記ポリゴンと前記領域とを対応付けることを特徴とする請求項１９乃至２１の何れか１項に記載の画像処理装置。
【請求項２３】
前記対応付け手段は、前記方向ベクトルと前記ポリゴンの法線方向との内積に基づいて、前記１つの撮像画像を決定することを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
前記対応付け手段は、前記撮像画像に含まれる前記ポリゴンに対応する領域の解像度に基づく第２評価値に基づいて、前記１つの撮像画像を決定し、決定した前記１つの撮像画像に基づいて、前記ポリゴンと前記領域とを対応付けることを特徴とする請求項１９乃至２３の何れか１項に記載の画像処理装置。
【請求項２５】
前記第２評価値は、さらに前記領域を構成する画素又は画素群に対応する前記オブジェクトにおける位置と前記撮像装置の位置とを結ぶ方向ベクトルと前記ポリゴンの法線方向とのなす角度に基づくことを特徴とする請求項２４に記載の画像処理装置。
【請求項２６】
前記複数の撮像画像のそれぞれの前記第２評価値を算出する第２算出手段をさらに有し、
前記対応付け手段は、前記第２算出手段により算出された前記第２評価値が他の撮像画像の評価値よりも大きい撮像画像を、前記１つの撮像画像を決定することを特徴とする請求項２４又は２５に記載の画像処理装置。
【請求項２７】
前記対応付け手段は、前記第２評価値が最大となる撮像画像を、前記１つの撮像画像として決定することを特徴とする請求項２６に記載の画像処理装置。
【請求項２８】
オブジェクトを複数の撮像装置を用いて撮像することにより取得された複数の撮像画像に基づいて、前記オブジェクトの３次元ポリゴンデータと対応するテクスチャ画像を生成する画像処理方法であって、
前記３次元ポリゴンデータを構成するポリゴンに対応する領域を構成する複数の画素又は複数の画素群のそれぞれの画素値を、画素又は画素群毎に前記複数の撮像画像のうちの１以上の撮像画像に基づいて決定する決定工程と、
前記決定工程により決定された画素値に基づいて、前記テクスチャ画像を生成する生成工程と、を有することを特徴とする画像処理方法。
【請求項２９】
コンピュータに、請求項１乃至２７の何れか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
被写体を複数のカメラで撮像して得られた複数の画像から、任意の視点から被写体を見た際に得られる画像（仮想視点画像）を再構成する技術が知られている。その際に、構成する要素ごとにテクスチャ画像が対応付けられた３次元データが用いられる。
【０００３】
特許文献１には、その３次元データの一例である３次元ポリゴンデータの生成方法について開示されている。特許文献１では、３次元ポリゴンデータを構成するポリゴン毎に、撮像画像が選択され、選択された撮像画像に基づくテクスチャ画像が対応付けられた３次元データが生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３３７９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ポリゴン毎に撮像画像が選択される場合、隣り合うポリゴン間で選択画像が大きく異なる場合あり、ポリゴン間のテクスチャのずれが生じる。
【０００６】
そこで本発明は、テクスチャ画像が対応付けられた３次元ポリゴンデータにおいて、ポリゴン間のテクスチャのずれを抑制することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様の画像処理装置は、オブジェクトを複数の撮像装置を用いて撮像することにより取得された複数の撮像画像に基づいて、前記オブジェクトの３次元ポリゴンデータと対応するテクスチャ画像を生成する画像処理装置であって、前記３次元ポリゴンデータを構成するポリゴンに対応する領域を構成する複数の画素又は複数の画素群のそれぞれの画素値を、画素又は複数の画素群毎に前記複数の撮像画像のうちの１以上の撮像画像に基づいて決定する決定手段と、前記決定手段により決定された画素値に基づいて、前記テクスチャ画像を生成する生成手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、テクスチャ画像が対応付けられた３次元ポリゴンデータにおいて、ポリゴン間のテクスチャのずれを抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のハードウェア構成例を示すブロック図。
【図２】仮想視点画像の生成の概念図。
【図３】３次元形状データとテクスチャデータとの対応付けの概念図。
【図４】テクスチャ画像と対応付けられた３Ｄポリゴンデータを表現するデータの例。
【図５】ポリゴンの表方向を示す概念図。
【図６】実施形態１のテクスチャ画像の生成処理に用いられるシステムの構成例を示す図。
【図７】実施形態１における画像処理装置の機能構成例を示すブロック図。
【図８】実施形態１における画像処理方法例を示すフローチャート。
【図９】実施形態２における画像処理装置の機能構成例を示すブロック図。
【図１０】実施形態２における画像処理方法例を示すフローチャート。
【図１１】実施形態２のテクスチャ画像生成処理の概念を説明する図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１１】
本実施形態では、３次元データを構成する要素にテクスチャを対応付けたものを３次元モデルと表現する。３次元形状データ（単に形状データという場合もある）は、オブジェクト（被写体）の３次元形状を表すデータであり、典型的にはポリゴンデータで表現されるものである。ここでは、３次元形状データ及び３次元モデルの形状表現を、ポリゴンデータを用いて行う場合で説明を行う。なお、ポリゴンデータの要素はポリゴンであり、ポリゴンは複数の頂点で規定される。ポリゴンは、三角形に限らず、四角形やそれ以上の多角形であってもよい。特に以下では、三角形ポリゴンを用いて形状を表現した３次元モデルを例に説明を行う。
【００１２】
テクスチャとは、色情報と輝度情報と彩度情報のうち少なくとも１つの情報を含む。また、テクスチャ画像とは、複数のテクスチャ領域を有する画像であり、各テクスチャ領域は、いずれかのポリゴンにと対応付けられている。そのテクスチャ領域は、対応するポリゴンに関する色情報と輝度情報と彩度情報のうち少なくとも１つの情報を含んでいる。
【００１３】
図２は、仮想視点画像の生成の概念図を示している。図２（Ａ）は、被写体の形状データを表し、図２（Ｂ）は、被写体のテクスチャ画像を表している。テクスチャ画像は、ポリゴン又は複数のポリゴンで構成される領域に対応する複数のテクスチャ領域で構成されている。そして、テクスチャ領域の画素値は、対応するポリゴン又は複数のポリゴンで構成される領域のテクスチャを表している。なお、図２（Ｂ）で示すテクスチャ画像は、２つのテクスチャ領域を有し、テクスチャ領域のそれぞれは図２（Ａ）の２つの六角形それぞれに対応している。図２（Ａ）、（Ｂ）を組み合わせて、決定された視点に基づいて、レンダリング処理を行うことで、図２（Ｃ）のような決定された視点に対応する仮想視点画像が生成される。なお、視点の決定は、ユーザが行ってもよいし、装置が自動的に決定してもよい。また視点の決定は、視点の位置及び姿勢（方向）の決定を少なくとも含むようにしてもよい。
【００１４】
次に、図２（Ａ）と（Ｂ）とを対応付けるための表現方法を、図３を使って説明する。これは、複数の三角形ポリゴンで構成される形状データ（以下では、３Ｄポリゴンデータという）のポリゴン毎にテクスチャデータを対応付けて、３次元モデル（以下、３Ｄポリゴンモデルという）を生成することに相当する。なお、ポリゴン毎にテクスチャデータが対応付けられた３Ｄポリゴンモデルを、テクスチャ付き３Ｄポリゴンモデルという場合もある。
【００１５】
図３（Ａ）は、図２（Ａ）で示した被写体の形状データを表現するための要素であるポリゴンＴ０〜Ｔ１１と、これらを構成する頂点Ｖ０〜Ｖ１１とを明示的に表したものである。また、図３（Ｂ）は、図２（Ｂ）で示したテクスチャ画像と、図３（Ａ）のポリゴンの各頂点に対応する位置Ｐ０〜Ｐ１３とを表している。そして、これらを対応づけるための情報として、図３（Ｃ）のように、各ポリゴンに対してそれらを構成する３次元空間上のポリゴン頂点のＩＤとテクスチャ画像空間上のテクスチャ頂点のＩＤとの対応表が生成される。これにより、ポリゴンにテクスチャを付与することができる。
【００１６】
図３（Ａ）の座標は、ｘｙｚ軸の３次元空間座標、図３（Ｂ）の座標は、ｕｖ軸の２Ｄ画像空間座標で表現される。図３（Ｃ）におけるポリゴン頂点Ｖ０〜Ｖ４、Ｖ７〜Ｖ１１のように、多くの場合、ポリゴン頂点とテクスチャ頂点は１対１の対応関係にあり、インデックス番号を一致させて表現することができる。ところが、例えばポリゴン頂点Ｖ５が、テクスチャ頂点Ｐ５、Ｐ１２の両方に対応しているように、３次元空間上では１つのポリゴン頂点であっても、テクスチャ画像空間上では、異なる複数の位置に対応するテクスチャ頂点が存在する。このような対応関係であっても仮想視点画像の生成処理を行えるように、頂点ＩＤとテクスチャ頂点ＩＤは独立に管理される。
【００１７】
図４は、テクスチャ付き３Ｄポリゴンのデータ表現である。具体的には、図４（Ａ）は、図３（Ａ）で表されるポリゴン頂点とその座標の対応関係を表すデータである。図４（Ｂ）は、図３（Ｂ）で表されるテクスチャ頂点とその座標の対応関係を表すデータである。図４（Ｃ）は、図３（Ｃ）そのものであり、三角形ポリゴンと、三角形ポリゴンのポリゴン頂点と、テクスチャ頂点との対応関係を表すデータである。図４（Ｄ）は、図２（Ｂ）（又は図３（Ｂ））で表されるテクスチャ画像である。
【００１８】
また、図４（Ａ）におけるポリゴン頂点ＩＤの並び順には、面の表方向を定義する役割がある。例えばポリゴンＴ０は、３つの頂点から成り、その順序は６通り存在する。この頂点を左から順にたどった際の回転方向に対して右ねじの法則に従う方向を表方向と定義することが多い。図５（Ａ）、（Ｂ）は、ポリゴン頂点の記述順序とポリゴンの表方向の組を表したものである。図５（Ａ）は、紙面に対して裏から表の方向が表方向であり、図５（Ｂ）は、紙面に対して表から裏の方向が表方向である。いずれの方向の場合にも、本実施形態に適用することができる。
【００１９】
なお、本実施形態は、上記で説明したデータ表現に縛られることなく、例えば四角形以上のポリゴン表現を用いてもよい。さらには、形状とテクスチャの対応関係の表現にインデックスを用いず直接座標を記述する場合等、様々なケースに対して、本実施形態を適用することが可能である。
【００２０】
＜実施形態１＞
本実施形態について、まずテクスチャ画像の生成処理の概要について、図６を用いて説明する。図６は、テクスチャ画像の生成処理に用いられるシステムの構成例を示す。本実施形態では、大きく分けて二つのステップでテクスチャ画像の生成を行う。
【００２１】
第１のステップでは、被写体の３Ｄポリゴンモデルにおけるポリゴン毎に、テクスチャ画像６０８上の座標を決定する。まず、複数の異なる撮像装置（視点）６０１から被写体６０２を撮像した画像群に基づいて、被写体６０２の３Ｄポリゴンデータを生成する。そして、その３Ｄポリゴンデータにおいて着目するポリゴン６０３を高解像度かつ正面に近い状態で撮像している撮像装置の撮像画像６０４を選択する。次に、選択した撮像画像６０４において着目ポリゴン６０３に対応する画素領域６０７を検出し、テクスチャ画像６０８の任意の位置に該画素領域６０７に相当するテクスチャ領域６０９を配置して、その座標を決定する。これにより、テクスチャ画像６０８上において、被写体の３Ｄポリゴンデータの着目ポリゴン６０３のテクスチャを示すテクスチャ領域６０９が、対応付けられて確保される。
【００２２】
ただし、着目ポリゴン６０３に対応する被写体上の領域を含む撮像画像は撮像画像６０４以外にもあり、例えば撮像画像６０５がそれである。例えば、撮像画像６０５を選択してテクスチャ画像６０８上の座標を決定するとする。撮像画像６０５を取得する撮像装置６０１の撮像方向は、撮像画像６０４を取得する撮像装置６０１の撮像方向に比べて、着目ポリゴン６０３に対応する被写体上の領域について正対する方向に対してより大きい角度を有する方向である。さらに、撮像画像６０５を取得する撮像装置６０１は、撮像画像６０４を取得する撮像装置６０１に比べて広角の範囲を撮像している。そのため、撮像画像６０５上の着目ポリゴン６０３に対応する領域は、撮像画像６０４上の着目ポリゴン６０３に対応する領域に比べて、面積が小さい。そのため、撮像画像６０５を選択してテクスチャ画像６０８上の座標を決定した場合、撮像画像６０４を選択してテクスチャ画像６０８上の座標を決定した場合に比べて、テクスチャ領域が小さくなる。その結果、着目ポリゴン６０３に対応するテクスチャ領域は、低解像度になる。ここで、テクスチャに関する解像度は、ピクセル数で定義されるものとする。
【００２３】
上記の点を踏まえ、本実施形態では、複数の撮像画像の中から、着目するポリゴンが高解像度かつ正面に近い状態で撮像されて取得された撮像画像を選択し、テクスチャ画像６０８の座標を決定してテクスチャ領域６０９を確保する。それにより、高解像度なテクスチャ付き３Ｄポリゴンモデルの生成を実現することができる。なお、テクスチャ画像６０８上に確保されるテクスチャ領域６０９は、画素領域６０７と同等サイズかつ三角形領域としたがこれに限らない。画素領域６０７を包括する矩形領域として、テクスチャ画像６０８上にテクスチャ領域６０９を確保するという他の方法が用いられてもよい。
【００２４】
一方、３Ｄポリゴンモデルの生成方法は、公知の方法を用いることができる。ただし、生成した３Ｄポリゴンモデルには誤差が含まれることがある。特に、スタジアムに複数の撮像装置を配置し、グラウンドにいる選手の３Ｄポリゴンモデルを生成するという場合のように、被写体と撮像装置との間に長い距離が存在する場合は、その誤差が大きくなる。３Ｄポリゴンモデルに誤差が含まれる場合は、着目ポリゴンとそのポリゴンに対応づけたテクスチャが、実際のテクスチャとは異なる場合がある。この現象は、３Ｄポリゴンモデルにおけるテクスチャ画像を生成する際に問題となる。例えば、テクスチャ画像の画素値を、第１のステップで選択した撮像装置のみを利用して一律に決定するとする。そして、着目ポリゴン６０３に隣接するポリゴンに対しては、着目ポリゴン６０３とは異なる撮像装置の撮像画像の該当画素領域が選択される場合、３Ｄポリゴンデータに含まれる誤差の影響で隣接するポリゴン間でテクスチャのずれが発生する。このずれは、テクスチャが一様である場合はテクスチャのずれは目立たないが、被写体が人である場合などでは、顔やユニフォームの背番号の部分に不自然な切れ目が発生するという画質劣化の要因となる。このように、ポリゴン毎に同じ撮像画像を用いた場合は、高解像度なテクスチャ画像の生成を実現できるが、３Ｄポリゴンデータに含まれる誤差の影響でポリゴン間のテクスチャのずれにより画質劣化が発生する。
【００２５】
そこで、本実施形態では、次の第２のステップを行う。この第２のステップでは、第１のステップで確保されたテクスチャ画像６０８上の着目ポリゴン６０３に対応するテクスチャ領域６０９に含まれる複数の画素それぞれの画素値を、複数の異なる撮像装置６０１の撮像画像に基づいて決定する。具体的には、まず、テクスチャ領域６０９（又はテクスチャ画像６０８）を構成する画素毎に、撮像画像上での解像度や着目する画素に対応する被写体６０２の法線方向に対する撮像装置の正面度合いなどに基づいて評価値を算出する。そして、算出した評価値を基に決定した２以上の撮像装置の２以上の撮像画像のそれぞれの比率に応じて、撮像画像の画素値を組み合わせし、テクスチャ領域６０９（又はテクスチャ画像６０８）上の画素値を決定する。このようにテクスチャ領域６０９（又はテクスチャ画像６０８）の画素毎に適切な比率を決定することで、ポリゴン間のテクスチャのずれによる画質劣化を低減することができる。
【００２６】
つまり、本実施形態では、第１のステップでテクスチャ画像の解像度を担保するためのテクスチャ領域の確保を行う。そして、次の第２のステップでは、高解像のテクスチャ領域に含まれる画素毎に、２以上の撮像画像を用いて、適切な比率で組み合わせて画素値を決定することにより、ポリゴン間のテクスチャのずれによる画質劣化を低減することができる。その結果、ポリゴン間のテクスチャのずれがないかつテクスチャの解像度が高い、高画質なテクスチャ付き３Ｄポリゴンモデルを生成することができる。
【００２７】
なお、第２のステップでは、テクスチャ領域６０９を構成する画素毎に、２以上の撮像画像に基づいて画素値を決定しなくてもよい。例えば、テクスチャ領域６０９を構成する複数の画素からなる画素群毎に、２以上の撮像画像に基づいて画素値を決定してもよい。この場合、画素群は、テクスチャ領域６０９をいくつかの領域に分割した領域であり、画素群の画素数はテクスチャ領域６０９の画素数より少ない。また、テクスチャ領域６０９を構成する画素又は画素群毎に、１つの撮像画像に基づいて画素値を決定してもよい。この場合も、決定される画素値が、ポリゴン単位ではなく、それよりも小さい単位で決定されるため、隣接するポリゴン間でのテクスチャのずれは軽減される。つまり、テクスチャ領域６０９を構成する画素又は画素群毎に、１以上の撮像画像が選択され、その選択された１以上の撮像画像に基づいて画素又は画素群の画素値が決定されてよい。
【００２８】
以上が本実施形態で行われるテクスチャ画像の生成処理の概要である。本実施形態では、スタジアム規模の環境で選手などの人を撮像した場合を例に挙げて説明するが、これに限らず、スタジオなどにおいて任意の被写体を撮像した場合といった小規模な撮像環境においても適用可能である。
【００２９】
以下、本実施形態の具体的な構成について述べる。図１は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。本実施形態の画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、出力インターフェース１０６を含む。そして、画像処理装置１００の各構成部はシステムバス１０７によって相互に接続されている。また、画像処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８に接続されており、出力インターフェース１０６を介して外部記憶装置１０８および表示装置１０９に接続されている。
【００３０】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して画像処理装置１００の各構成部を統括的に制御するプロセッサーである。これにより、後述する様々な処理が実行される。
【００３１】
二次記憶装置１０４は、画像処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施形態ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みおよび二次記憶装置１０４に記憶されたデータの読出しを行うことができる。なお、二次記憶装置１０４にはＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。
【００３２】
入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、外部装置から画像処理装置１００へのデータや命令等の入力は、この入力インターフェース１０５を介して行われる。画像処理装置１００は、この入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。なお、入力インターフェース１０５には不図示のマウスやボタンなどの入力デバイスも接続可能である。出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースを備える。その他に、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子を用いることも可能である。画像処理装置１００から外部装置へのデータ等の出力は、この出力インターフェース１０６を介して行われる。画像処理装置１００は、この出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に、処理された画像などを出力することで、画像の表示を行う。なお、画像処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないため、説明を省略する。
【００３３】
以下、本実施形態の画像処理装置１００で行われる処理について、図７および図８を参照して説明する。図７は、画像処理装置１００の機能構成を示すブロック図である。図８は、本実施形態における画像処理装置１００が行う画像処理方法のフローチャートを示している。図７に示すように、画像処理装置１００は、画像データ取得部７０１と視点情報取得部７０２と３Ｄポリゴン取得部７０３とＵＶ座標取得部７０４と第１算出部７０５と領域決定部７０６と第２算出部７０７と画像生成部７０８とを有する。画像処理装置１００は、ＲＯＭ１０３に格納されたプログラムをＣＰＵ１０１がＲＡＭ１０２をワークメモリとして実行することで、図７に示す各構成部として機能し、図８のフローチャートに示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の１つ又は複数の処理回路によって行われるように画像処理装置１００が構成されてもよい。以下、各構成部により行われる処理の流れを説明する。
【００３４】
ステップＳ８０１において、画像データ取得部７０１は、入力インターフェース１０５を介して、または二次記憶装置１０４から、被写体を複数の異なる視点から撮像した複数の撮像画像を取得する。撮像画像は、例えば図６の被写体６０２の周りを取り囲むように配置した複数の撮像装置６０１により撮像された画像である。本実施形態では、図６に示すように、撮像装置６０１は上方から床面を見下ろすように配置されている。また、撮像装置６０１それぞれには異なるズームレンズが装着され、撮像画像６０４や撮像画像６０５のように撮像画像上に写る被写体の大きさは撮像装置毎に異なっていてもよい。なお、図６に示す撮像装置６０１の配置方法や装着するズームレンズの構成は一例にすぎず、他の構成を用いて複数の撮像画像が取得されてもよい。
【００３５】
また、画像処理装置１００は、複数の撮像装置と接続され、画像処理装置１００及び複数の撮像装置を備える画像処理システムの一部として構成されていてもよい。このような構成によれば、テクスチャ付き３Ｄポリゴンモデルの生成を被写体の撮像を行うとともにすることができる。本実施形態において、取得される撮像画像は、ＲＧＢ３チャンネルのカラー画像の場合を例に説明する。しかし、撮像画像が１チャンネルのグレー画像や動画像データの場合であっても、本実施形態を適用することができる。撮像画像が動画像データである場合、画像処理装置１００は、複数の撮像装置により略同時刻に撮像されたフレームを用いて、以下の処理を行うことができる。さらに、画像データ取得部７０１は、撮像画像を区別するため、各画像を、撮像装置６０１を区別する番号（以下、視点番号という）と対応付けて記憶する。画像データ取得部７０１は、撮像画像を画像生成部７０８に出力する。
【００３６】
なお、画像データ取得部７０１は、撮像画像ではなく、撮像画像内の被写体を表す領域である被写体画像を取得するようにしてもよいし、その両方を取得してもよい。被写体画像は、撮像画像から公知の前景背景分離法を用いて動体である被写体の領域を抽出して生成されてもよい。特に、複数の撮像画像に基づいて３次元形状データを生成する過程で生成される被写体画像であってもよい。また、被写体画像は、被写体のシルエットを示すシルエット画像と撮像画像とに基づいて生成されてもよい。また、画像データ取得部７０１は、撮像画像から被写体画像を生成するようにしてもよい。ただし、被写体画像は、被写体のテクスチャの情報を有している。
【００３７】
ステップＳ８０２において、視点情報取得部７０２は、画像データ取得部７０１で取得した複数の撮像画像を撮像した複数の撮像装置の撮像視点情報を撮像装置毎に取得する。撮像視点とは、撮像装置６０１の視点のことを指し、撮像視点情報とは、複数の撮像装置６０１それぞれについての情報のことをいう。撮像視点情報には、所定の座標系内での撮像装置６０１の位置姿勢情報が含まれ、例えば、撮像装置６０１の位置情報及び光軸方向を示す姿勢情報を含む。また、撮像視点情報には、撮像装置６０１の焦点距離又は主点位置など、撮像装置６０１の画角情報が含まれていてもよい。これらの撮像視点情報を用いて、撮像画像の各画素と、撮像画像内に存在する被写体の位置とを対応付けることができる。そのため、被写体の特定の箇所について、撮像画像上の対応する画素を特定し、その色情報を取得することができる。さらに、撮像視点情報には、撮像装置６０１により撮像されて取得された撮像画像の歪曲を示す歪曲パラメータ並びにＦ値、及びシャッタースピード並びにホワイトバランス等の撮像パラメータを含むことができる。視点情報取得部７０２は、撮像視点情報をｕｖ座標取得部７０４と第１算出部７０５と領域決定部７０６と第２算出部７０７に出力する。
【００３８】
ステップＳ８０３において、３Ｄポリゴン取得部７０３は、３次元空間上の被写体の形状を三角形ポリゴンで表す３Ｄポリゴンデータを取得する。３Ｄポリゴンデータは、図４（Ａ）で示したデータ形式により表される。３Ｄポリゴン取得部７０３は、ｖｉｓｕａｌ  ｈｕｌｌアルゴリズムを適用して、ボクセル情報を取得し、３Ｄポリゴンデータを再構成する。なお、３Ｄポリゴン取得部７０３は、予め生成されて二次記憶装置１０４又は外部記憶装置１０８に記憶された３Ｄポリゴンデータを取得するようにしてもよい。
【００３９】
３Ｄポリゴンデータの生成方法は、任意のものでよく、例えばボクセル情報を、直接ポリゴンデータに変換してもよい。その他にも、赤外線センサを用いて取得されるデプスマップから得られる点群にＰＳＲ（ｐｏｉｓｓｏｎ  ｓｕｒｆａｃｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を適用してもよい。点群の取得方法は、ＰＭＶＳ（Ｐａｔｃｈ−ｂａｓｅｄ  Ｍｕｌｔｉ−ｖｉｅｗ  Ｓｔｅｒｅｏ）に代表される画像特徴を利用したステレオマッチングによって得られるものであってもよい。３Ｄポリゴン取得部７０３は、取得した３Ｄポリゴンモデルを、ｕｖ座標取得部７０４と第１算出部７０５と領域決定部７０６と第２算出部７０７に出力する。
【００４０】
ステップＳ８０４において、ｕｖ座標取得部７０４は、取得した撮像視点情報を用いて、取得した３Ｄポリゴンモデルの各ポリゴン頂点を、それぞれの撮像視点に投影した際のその撮像視点の撮像画像上でのｕｖ座標を算出して取得する。つまり、各ポリゴン頂点に対応する全撮像画像上のｕｖ座標を取得する。ただし、ポリゴン頂点を投影した際、撮像視点を表す撮像装置の画角の外にあることが分かった場合は、ｕｖ座標にエラー値として負の値を設定する。この負の値は、この後の処理で画角外となった撮像視点を使用不可とするフラグとして利用することができる。しかし、エラー値の表現方法は上記に限らず、画角内となり取得したｕｖ座標の値と区別可能な任意の値が設定されてもよい。ｕｖ座標取得部７０４は、３Ｄポリゴンデータに含まれる全ポリゴン頂点に対して全撮像視点分のｕｖ座標の値を算出し、第１算出部７０５にｕｖ座標のデータを出力する。
【００４１】
ステップＳ８０５において、第１算出部７０５は、３Ｄポリゴン取得部７０３から取得した３Ｄポリゴンデータに含まれる全てのポリゴンに対して、各撮像視点における評価値Ｑを視点情報取得部７０２から取得した撮像視点情報を用いて算出する。算出した評価値Ｑは、前述したテクスチャ画像の生成の第１のステップの処理を行う際に用いる。具体的には、テクスチャ画像におけるテクスチャ領域の座標を決定する際に、複数の撮像装置（撮像画像）の中から１つの撮像装置（撮像画像）を選択する指標となる。評価値Ｑは、ポリゴン毎に全ての撮像視点について算出する。第１算出部７０５は、算出した評価値Ｑを領域決定部７０６に出力する。以下に、本実施形態における評価値Ｑの算出方法について述べる。
【００４２】
（評価値Ｑの算出方法）
評価値Ｑの算出方法について詳細に説明する。以下では、１つのポリゴンかつ１つの撮像視点に着目した際の評価値の算出方法について説明する。同様の処理を３Ｄポリゴンに含まれる全てのポリゴンに対して撮像視点の数分だけ適用し、全ポリゴンの評価値を算出する。評価値Ｑは、撮像視点毎に算出するため、ポリゴン毎に、視点情報取得部７０２が取得した撮像視点分の評価値を保持する。なお、以下では、着目した撮像視点を着目視点という。
【００４３】
まず、ｕｖ座標取得部７０４から取得したｕｖ座標データにおいて、ポリゴンを構成する全てのポリゴン頂点が着目視点の画角内に含まれるか否かを判定する。上述したように、画角外である場合はｕｖ座標にエラー値として負の値が保持されているため、全てのポリゴン頂点のｕｖ座標が正であることを確認する。全てのポリゴン頂点のｕｖ座標が正である場合は、評価値Ｑの算出処理を進める。一方、判定の結果が否である場合は、評価値Ｑを負の値とする。しかしながら、判定結果が否であった場合に設定する評価値Ｑは負の値に限らず、評価値Ｑを計算して算出した結果と区別可能な任意の数値を設定してよい。
【００４４】
次に、着目するポリゴンの代表点として、ポリゴンを構成する三頂点の重心Ｃとポリゴンの法線方向ベクトルＮを算出する。さらに着目視点の３次元空間上の位置座標と重心Ｃから着目視点の方向ベクトルＣＡを算出する。算出した、法線方向ベクトルＮと着目視点の方向ベクトルＣＡとの内積を計算することで、二つの方向ベクトルが成す角θの余弦ｃｏｓθを算出する。ここで、法線方向とはポリゴン面に垂直で、ポリゴン頂点の順番によって定義される表の方向のことである。着目視点の方向とは、ポリゴンの重心Ｃから外部パラメータによって定義される着目視点に向かう方向のことである。外部パラメータとは、撮像装置の位置情報及び光軸方向を示す姿勢情報である。
【００４５】
算出したｃｏｓθが負の値である場合、ポリゴンの表面は着目視点の撮像画像に映っていないことを表している。そのため、ｃｏｓθが負である場合は、その着目視点の撮像画像を使用しないように評価値Ｑに負の値を設定する。一方、ｃｏｓθが正である場合は評価値Ｑの算出処理を進める。
【００４６】
次に、着目視点の撮像画像におけるポリゴンに対応する画素領域の解像度を算出し、算出したｃｏｓθを利用して評価値Ｑを算出する。この解像度を、ここでは着目視点の撮像画像上に投影された三角形の面積（例えばピクセル数）Ｓとして定義する。そして、解像度が大きい撮像視点を優先的に選択する。ただし、前述の通り、形状に誤差が含まれる場合に被写体平面に対する斜度が大きいとテクスチャに歪を生じる。そこで、評価値Ｑとして、解像度に加えて歪みの指標Ｗとしてｃｏｓθを利用する。これによって、歪の大きなマッピングが行われる可能性の高い撮像視点と歪みの小さなマッピングが行われる可能性が高い撮像視点とを区別した上で高解像なテクスチャ領域を選択することができる。以上をまとめると、評価値Ｑは下記の式１のように記述される。
【００４７】
Ｑ＝Ｓ×Ｗ・・・式１
なお、解像度Ｓの定義は、ポリゴンに対応する被写体の部分領域を撮像する撮像装置（撮像視点）における解像力の指標となるものであれば他の方法でもよい。例えば、解像度Ｓは、焦点距離や、撮像装置とポリゴンに対応する被写体の部分領域との距離などから、数式やルックアップテーブルによって算出されるものであってもよい。また、テクスチャの歪み度合いＷは、ｃｏｓθ以外を用いてもよく、角度そのものや、角度に基づいて設定された重みを用いてもよい。例えば、角度の閾値を設定し、閾値以下の角度である場合はＷ＝１、閾値よりも大きい場合はＷ＝０とするなどがあげられる。また、その際は、必ずしも２値である必要はなく、３値以上であってもよいし、また、角度０から閾値の角度となるまで線形若しくは非線形的に重みが減少するように設定してもよい。本実施形態では、評価値Ｑに対する影響度合いを、解像度の指標Ｓと歪みの指標Ｗで同じとして扱ったがこれに限らない。一方の指標を二乗するなど、評価値Ｑに対する影響度合いについて異なるように設定してもよい。
【００４８】
図８に戻り、ステップＳ８０６において、領域決定部７０６は、第１算出部７０５から取得したポリゴン毎の評価値Ｑに基づいて、テクスチャ画像上における各ポリゴンに対応するテクスチャ領域を決定する。具体的には、領域決定部７０６は、テクスチャ領域を規定するテクスチャ画像上の座標を決定する。領域決定部７０６は、ポリゴン毎に、第１算出部７０５が算出した評価値Ｑが最大となる撮像視点を選択する。以下、選択された撮像視点を選択視点という。
【００４９】
次に、選択視点の撮像画像を対応するポリゴンに投影し、投影された選択視点の撮像画像の画素領域分を、該ポリゴンのテクスチャに対応する領域として、テクスチャ画像上に確保する。ここで、ポリゴンがテクスチャ画像上の必要な位置を参照できるように、確保したテクスチャ領域に対応するテクスチャ画像上のｕｖ座標を算出し、図４（Ｃ）のような形式で、ポリゴンとテクスチャ領域とを対応付けたデータを保存する。また、領域決定部７０６は、確保したテクスチャ領域における画素毎に、対応するポリゴンの識別ＩＤと選択視点の視点番号と選択視点の撮像画像上に対応する画素座標（ｕ，ｖ）との３つのデータを保持する。これらの情報により、テクスチャ画像上に含まれる画素において、ポリゴンとの対応を取り、画素に対応する３次元座標の値を算出することが可能となる。具体的な算出方法については、後述する。
【００５０】
テクスチャ画像上で確保するポリゴン毎のテクスチャ領域は、テクスチャ画像上のどのような順番、位置で配置されていてもよい。テクスチャ画像に含まれる画素において、３Ｄポリゴンデータに含まれるどのポリゴンにも対応しない画素が存在する場合（例えば、図２（Ｂ）の白抜きの領域）は、該画素に対応するポリゴンの識別ＩＤにダミーの値を与える。例えば、識別ＩＤとして負の値を与えてもよい。
【００５１】
領域決定部７０６は、全てのポリゴンに対してテクスチャ画像上でのテクスチャ領域の配置を決定する。その後、領域決定部７０６は、画素毎のポリゴン識別ＩＤと選択視点の識別番号と選択視点の撮像画像上での画素座標とを画素毎に保持したテクスチャ画像を第２算出部７０７と画像生成部７０８に出力する。
【００５２】
ステップＳ８０７において、第２算出部７０７は、テクスチャ画像に含まれる画素において、画素値を決定する着目画素を設定する。ここでは、テクスチャ画像において最も左上の画素がまず着目画素として選択され、その後、着目画素の画素値の決定が完了する（Ｓ８１０でＮｏ）たびに、右下に向かって、それまでに着目画素として選択されない画素が新たな着目画素として選択される。なお、着目画素の選択順番はこれに限られず、どのような順番で着目画素を決定してもよい。
【００５３】
ステップＳ８０８において、第２算出部７０７は、領域決定部７０６から取得したテクスチャ画像を用いて、着目画素の評価値Ｖを撮像視点毎に算出する。ここで算出する評価値Ｖは、着目画素におけるテクスチャの画素値を決定する際の指標として用いられる。第２算出部７０７は、算出した全視点における評価値Ｖを、評価値Ｖの算出に利用したテクスチャの歪みの指標と保持していた撮像視点毎の画素座標とともに画像生成部７０８に出力する。以下に評価値Ｖの算出方法について述べる。
【００５４】
（評価値Ｖの算出方法）
Ｓ８０８における、評価値Ｖの算出方法について詳細に説明する。まず、評価値Ｖの算出における前準備として、着目画素に対応する３Ｄポリゴンデータ上での３次元座標及び法線ベクトルを算出する。本実施形態では、テクスチャ画像に含まれるポリゴン識別ＩＤと選択視点の識別番号と選択視点の撮像画像上での画素座標を用いて、着目画素に対応する３次元座標を算出する。具体的には、視点情報取得部７０２における撮像視点情報から取得した選択視点の視点位置に応じた３次元座標を始点として、選択視点の撮像画像上での画素座標に仮想的に光線を飛ばす。そして、ポリゴン識別ＩＤに対応するポリゴン（以下、着目ポリゴンという）と前述の光線との衝突した点を着目画素に対応する３次元座標とする。さらに、着目画素に対応する３次元座標と着目ポリゴンの３頂点の３次元座標と該３頂点の法線ベクトルとから、着目画素の法線ベクトルを算出する。具体的には、着目画素に対応する３次元座標と着目ポリゴンの３頂点の３次元座標とのそれぞれの距離に基づいて、各頂点における法線ベクトルの重み付け和によって、着目画素に対応する３次元座標の法線ベクトルを算出する。
【００５５】
次に、評価値Ｖの算出を行う。以下では、複数の撮像視点における１つの撮像視点の評価値Ｖの算出方法について説明するが、他の撮像視点についても同様の処理を行うことで評価値Ｖを算出する。以下では、１つの撮像視点を着目視点として説明を行う。
【００５６】
まず、前述の通り算出した着目画素に対応する３次元座標を始点として、法線ベクトルの方向に仮想的に光線を飛ばし、その光線が着目視点の画角内と衝突するか否かを判定する。判定の結果が否である場合は、着目視点において該３次元座標は見えていないため、着目画素の画素値の算出において着目画素を除外するために評価値Ｖにエラー値を設定する。本実施形態では、エラー値として負の値を用いるがこれに限らない。判定結果が可である場合は、衝突した画素座標を保持するとともに着目画素における評価値Ｖを算出する。
【００５７】
本実施形態では、ステップＳ８０５で説明した評価値Ｑの考え方と同様に、解像度の指標Ｓと、テクスチャの歪みの指標Ｗとを用いて評価値Ｖ＝Ｓ×Ｗを算出する。ただし、解像度の指標Ｓとして、着目画素に対応する３次元座標と着目視点の３次元位置との距離ｄｉと着目視点の焦点距離ｆｉとを用いて、ｄｉ／ｆｉにより算出する。ｉは、複数の撮像視点において着目視点を識別する記号を示す。なお、解像度の指標Ｓの算出方法は上記に限らず、着目視点の画像に写る被写体の大きさを決定する他の方法を用いてもよい。例えば、焦点距離ではなく、画角を用いてもよい。
【００５８】
解像度の指標Ｓの値が高いほど、着目画素に対応する３次元座標は高解像度に撮像されている。テクスチャの歪みの指標Ｗは、着目視点の３次元空間上の位置座標と着目画素に対応する３次元座標から着目視点の方向ベクトルＣＡを算出し、方向ベクトルＣＡと前準備で算出した法線ベクトルとの内積の結果ｃｏｓθを用いる。ただし、テクスチャの歪みの指標はこれに限らず、評価値Ｑの算出方法で説明した内容と同様に、角度や角度に基づく重みなどを用いて設定してもよい。
【００５９】
テクスチャの歪みの指標Ｗの値が大きいほど、着目視点が正面に近い位置から着目画素に対応する３次元座標を撮像している。そのため、以上の指標の積により算出した評価値Ｖの値が大きいほど、着目画素に対応する３次元座標は高解像度かつテクスチャの歪みの少ない状態で着目視点から撮像されている。本実施形態では、各指標を同等の割合で用いた評価値Ｖを設定したがこれに限らない。解像度を重視したい場合は、解像度の指標に累乗の項を付け加えた上でテクスチャの歪みの指標との積をとるなどの調整を行ってもよい。第２算出部７０７は、算出した全視点における評価値Ｖを、この評価値Ｖの算出に利用したテクスチャの歪みの指標と保持していた撮像視点毎の画素座標（ＵＶ座標）とともに画像生成部７０８に出力する。
【００６０】
図８に戻り、ステップＳ８０９において、画像生成部７０８は、第２算出部７０７から取得した着目画素における全撮像視点の評価値Ｖに基づいて、着目画素の画素値を決定する。ポリゴン間でのテクスチャのずれによる画質劣化を考慮し、画像生成部７０８は、複数の撮像画像に基づいて画素値を決定する。画素値の決定方法については以下に述べる。
【００６１】
（画素値の決定方法）
Ｓ８０９における、画素値の決定方法について詳細に説明する。画像生成部７０８は、複数の撮像画像に基づいて画素値を決定するが、まず、全視点の評価値Ｖから最大の評価値Ｖとなる撮像視点ｊ１を検出し、評価値Ｖｊ１を取得する。次に、撮像視点ｊ１を除く撮像視点の中から、最大の評価値Ｖとなる撮像視点ｊ２（つまり、撮像視点ｊ１を含めると２番目に大きい評価値Ｖとなる撮像視点ｊ２）を検出し、その撮像視点の評価値Ｖｊ２を取得する。さらに、検出した撮像視点ｊ１及びｊ２のそれぞれの評価値Ｖｊ１、Ｖｊ２から、式２、３に基づいて撮像視点ｊ１及びｊ２のそれぞれの撮像画像のブレンド比率（混合比率）Ｂを決定する。なお、他の視点のブレンド比率は０を設定する。
【００６２】
Ｂｊ１＝Ｖｊ１／（Ｖｊ１＋Ｖｊ２）・・・式２
Ｂｊ２＝Ｖｊ２／（Ｖｊ１＋Ｖｊ２）・・・式３
本実施形態において、撮像視点は固定されており、図６のように被写体を取り囲むように撮像されている。そのため、着目するポリゴンとそれに隣接するポリゴンとは、どちらも同一の撮像視点から及び隣接した撮像視点から撮像されている可能性が高い。また、被写体が人などである場合、被写体の３Ｄポリゴンデータにおいて隣接するポリゴン間はなめらか繋がり変化している。評価値Ｖでは、解像度と、撮像視点とポリゴンの正面度合いに基づくテクスチャ歪みとの指標を用いて設定しているため、隣接するポリゴン間において評価値が上位である撮像視点は類似する可能性が高い。そのため、評価値が上位である複数の撮像視点に高いブレンド比率を与えてブレンドすることで、ポリゴン間の急激なテクスチャの切り替わりを抑制することができる。本実施形態では、上位２視点のみを利用してブレンド比率を決定したがこれに限らず、任意の視点数を選択しブレンド比率を決定してもよい。なお、全撮像視点において評価値Ｖがエラー値、つまり負であった場合は、ブレンド比率を設定せず、事前に定めた画素値で着目画素の画素値を決定するようにしてもよい。
【００６３】
最後に、決定したブレンド比率に基づいた重み付け和により着目画素の画素値を決定する。各撮像視点の画素値は、第２算出部７０７から取得した画素座標に従い取得する。しかし、各撮像視点の画素値の取得はこれに限らず、取得した画素座標を中心に周辺の画素の平均画素値など、周辺の画素値を考慮してもよい。
【００６４】
図８に戻り、ステップＳ８１０において、画像生成部７０８は、テクスチャ画像の全画素に対して画素値を決定したかを判断する。ステップＳ８１０の判定の結果が偽（Ｎｏ）の場合、ステップＳ８０７に戻る。一方、ステップＳ８１０の判定の結果が真（Ｙｅｓ）の場合、生成したテクスチャ画像を二次記憶装置１０４や外部記憶装置１０８や表示装置１０９に出力して、一連の処理は完了する。以上が、本実施形態における画像処理装置１００が実行する、テクスチャ付き３Ｄポリゴンモデルを生成する処理である。
【００６５】
以上のように、本実施形態では、テクスチャ画像の生成を大きく二つのステップに分け、第１のステップではテクスチャ画像上における解像度を担保し、第２のステップでは画素毎に複数の撮像視点の撮像画像をブレンドして画素値を決定している。これにより、高解像度かつポリゴン間でのテクスチャの段差が目立たないテクスチャ画像を生成し、高品質なテクスチャ付き３Ｄポリゴンモデルを生成することができる。
【００６６】
本実施形態において生成される３Ｄポリゴンモデルは、仮想視点画像の生成に用いられる。例えば、タブレットやスマートフォンなどのポータブル端末の仮想視点画像の生成アプリなどを利用して、仮想視点画像の生成指示がなされた場合、ポータブル端末に３Ｄポリゴンモデルを送信する。そしてポータブル端末内で、ユーザにより指定された視点と３Ｄポリゴンモデルとに基づいて、仮想視点画像が生成されるようにしてもよい。また、ポータブル端末には３Ｄポリゴンモデルを送信せず、サーバがポータブル端末で指定された視点の情報を取得し、取得した視点の情報と３Ｄポリゴンモデルとに基づいて、サーバが仮想視点画像を生成するようにしてもよい。そして、ポータブル端末に、生成された仮想視点画像を送信するようにしてもよい。
【００６７】
＜実施形態２＞
実施形態１では、テクスチャ画像の画素値を決定する際、評価値Ｖの数値が高い上位の撮像視点の撮像画像の画素値を、評価値Ｖに基づく比率に基づいてブレンドしている。これにより、ポリゴン間のテクスチャの段差のない高画質なテクスチャ付き３Ｄポリゴンモデルを生成している。実施形態２では、解像度の指標とテクスチャの歪みの指標とによる評価値Ｖを、ブレンド比率を決定する際の基準として用い、テクスチャの歪みの指標を、画素値を決定する際に使用するレンダリング比率に用いる形態について説明する。以下に、本実施形態の概要と意義について説明する。
【００６８】
本実施形態では、まず、撮像視点毎に決定した解像度の指標Ｓとテクスチャの歪みの指標Ｗとの積で算出する評価値Ｖにより、ブレンドする撮像視点を選択するための優先度を決定する。解像度の指標Ｓとテクスチャの歪みの指標Ｗとは、どちらにおいても、値が高いほど高画質なテクスチャ画像を生成できる可能性が高いことを示している。したがって、優先度が高い撮像視点ほど、高画質なテクスチャ画像を生成できる可能性が高い。次に、撮像視点毎に、自身の優先度以上の優先度を保持する撮像視点を検出する。そして、検出した撮像視点の中でテクスチャの歪みの指標Ｗが大きい撮像視点を、ブレンドに用いる撮像装置として少なくとも１つ以上選択する。また、対応する優先度をブレンド重みとして決定する。そして、全撮像視点における、ブレンド重みと選択された撮像視点とを統合して、撮像視点毎に画素値を決定するためのレンダリング重みを算出する。
【００６９】
例えば、図１１に示される撮像装置の配置構成においては、被写体１１００におけるポリゴン１１０１の左右に撮像視点１１０２、１１０３が配置されている。ここで、撮像視点１１０２、１１０３のどちらにおいてもポリゴンとしては、解像度の指標が同等程度であり、テクスチャの歪みの指標が左右方向の違いはあるが同程度であるとする。そのため、どちらの撮像視点においても指標の積である評価値が同程度である。この場合、実施形態１によれば、以下のように画素値が決定する。つまり、テクスチャ画像１１０４上のポリゴン１１０１に対応するテクスチャ領域１１０５に含まれる画素は、撮像視点１１０２の撮像画像内の画素値と撮像視点１１０３の撮像画像内の画素値とを同程度の比率によりブレンドされて、画素値が決定される。ブレンドして画素値を決定することにより、ポリゴン間若しくは、ポリゴン内部において、テクスチャの段差のない高品質なテクスチャを生成できる。しかし、前述の通り、同一の部位を撮像している画像であっても、３Ｄポリゴンデータに含まれる誤差の影響により、ポリゴンに投影したテクスチャには異なる撮像視点間によるずれや異なる歪みが生じる。この影響により、ブレンドして決定したテクスチャ領域１１０５は、撮像視点１１０２、１１３を単独で使用した場合に比べて、解像感が劣化する。そこで本実施形態では、撮像視点を最適にブレンドし、不必要なブレンディングを抑えることで、テクスチャの段差がなく、より高解像度なテクスチャ画像を生成する。
【００７０】
本実施形態では、人などの被写体において、３Ｄポリゴンデータの３次元座標及び法線方向が滑らかに変化することを利用して、仮想視点画像の生成における最終的なレンダリング重みを決定する。テクスチャの歪みの指標Ｗと解像度の指標Ｓとの評価値Ｖから定めた優先度が同等以上である全ての撮像視点を検出した上で、テクスチャの歪みの指標Ｗに基づいて各撮像視点のブレンドに用いる重みを決定する。図１１を用いて、具体的に説明する。図１１（ｂ）は、図１１（ａ）を俯瞰した図を示している。面１１０６はポリゴン１１０１に対応し、面１１０６に付随する矢印は、テクスチャ領域１１０５に含まれる画素毎の３次元座標と法線方向とを示す。面１１０６に上に存在する画素において、評価値が同程度、つまり優先度が同程度である撮像視点１１０２、１１０３が検出される。検出された撮像視点において、面１１０６上に存在する各法線に対する撮像視点のテクスチャの歪みの指標Ｗに基づき、テクスチャの歪みの指標Ｗが大きい撮像視点ほど大きいブレンド重みを設定する。そして、設定した重みに基づいて撮像視点１１０２と撮像視点１１０３それぞれの撮像画像をブレンドして、テクスチャ領域１１０５に含まれる画素の画素値を決定する。
【００７１】
面１１０６の法線は、被写体と撮像視点１１０２とを結ぶ方向ベクトルに平行に近い方向から、右側に進むにつれて、被写体と撮像視点１１０３とを結ぶ方向ベクトルに平行に近い方向へと滑らかに変化する。そのため、法線に対する撮像視点の正面度合いによって算出したテクスチャ歪みの指標Ｗを用いて設定したブレンド比率は、撮像視点１１０２から右方向に向かうにつれて撮像視点１１０３のブレンド比率が大きくなるように滑らかに変化させることができる。これにより、不必要なブレンディングを抑えて、高解像度かつテクスチャのずれが少ない、高画質なテクスチャ付き３Ｄポリゴンモデルを生成することができる。
【００７２】
以下、本実施形態の画像処理装置９００で行われる処理について、図９および図１０を用いて説明する。図９は、本実施形態における画像処理装置９００の機能構成を示す図である。図１０は、本実施形態における画像処理装置９００が行う画像処理方法のフローチャートを示している。なお、本実施形態において、実施形態１と同様の構成および同様の処理については、実施形態１と同様の符号を付して説明を省略する。また、本実施形態における画像処理装置９００のハードウェア構成を示すブロック図は、図１と同等であるため、説明は省略する。
【００７３】
図９に示すように、画像処理装置９００は、図７と同様に、画像データ取得部７０１と視点情報取得部７０２と３Ｄポリゴン取得部７０３とＵＶ座標取得部７０４と第１算出部７０５と領域決定部７０６とを有する。さらに、画像処理装置９００は、第２算出部９０１とブレンド比率決定部９０２と画像生成部９０３とを有する。画像処理装置９００は、ＲＯＭ１０３に格納されたプログラムをＣＰＵ１０１がＲＡＭ１０２をワークメモリとして実行することで、図９に示す各構成部として機能し、図１０のフローチャートに示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の１つ又は複数の処理回路によって行われるように画像処理装置１００が構成されていてもよい。以下、各構成部により行われる処理の流れを説明するが、ステップＳ１００１〜Ｓ１００６は、実施形態１の図８におけるステップＳ８０１〜Ｓ８０６と同様であるため、説明を省略する。
【００７４】
ステップＳ１００７において、第２算出部９０１は、テクスチャ画像に含まれる画素において、画素値を決定する着目画素を設定する。
【００７５】
ステップＳ１００８において、第２算出部９０１は、領域決定部７０６から取得したテクスチャ画像を用いて、着目画素の評価値Ｖを撮像視点毎に算出する。ここで算出する評価値Ｖは、着目画素におけるテクスチャの画素値を決定する際の指標として用いられる。評価値Ｖの算出方法は、実施形態１のステップＳ８０８の処理で算出したものと同様であるため説明を省略する。第２算出部９０１は、算出した全視点における評価値Ｖを、この評価値算出に利用したテクスチャの歪みの指標とともにブレンド比率決定部９０２に出力する。さらに、第２算出部９０１は保持していた撮像視点毎の画素座標とともに画像生成部９０３に出力する。
【００７６】
ステップＳ１００９において、ブレンド比率決定部９０２は、第２算出部９０１から取得した各撮像視点の評価値Ｖから、撮像視点の優先度を撮像視点毎に決定する。本実施形態では、評価値Ｖそのものを優先度として決定する。しかし、優先度の表現方法は上記に限らず、あらかじめ優先度を下げたい撮像視点においては、評価値Ｖと１より小さい値との積を取るといった調整をしても構わない。
【００７７】
ステップＳ１０１０において、ブレンド比率決定部９０２は、ステップＳ１００９で決定した撮像視点毎の優先度と第２算出部９０１から取得したテクスチャの歪みの指標とを用いて、優先度ごとに各撮像視点のブレンド比率を決定する。以下で、具体的に説明する。
【００７８】
まず、全ての優先度の中で最小となる優先度を着目する優先度として選択する。その後、着目した優先度（以下、着目優先度という）に対して、以下の処理が完了するたびに、優先度の高い方へ、着目優先度としてまだ選択されていない優先度が着目優先度として選択され、同様の処理を全ての優先度について処理が完了するまで繰り返す。
【００７９】
次に、全撮像視点の中で着目優先度以上の優先度を保持する撮像視点を検出し、テクスチャ歪みの指標に基づき、検出した撮像視点の中でブレンドに用いる撮像視点を選択する。本実施形態では、撮像視点の中から、テクスチャの歪みの指標が上位２位以内の撮像視点を選択する。しかし、必ずしも２台の撮像視点を選択する必要はなく、全撮像視点の中で最大のテクスチャの歪みの指標を持つ１台の撮像視点を選択してもよい。
【００８０】
さらに、着目優先度で選択した撮像視点に対して、撮像視点毎にブレンド重みを決定する。本実施形態では、選択した撮像視点のテクスチャの歪みの指標に応じて、テクスチャの歪みの指標が小さくなるにつれ線形的に重みが減少するようにブレンド重みを決定する。具体的には、選択撮像視点のテクスチャ歪みを示す指標の合計値Ｗｓｕｍ、それぞれの撮像視点の指標値Ｗ１、Ｗ２とした場合、それぞれのブレンド重みはＢ１＝Ｗ１／Ｗｓｕｍ、Ｗ２＝Ｗ２／Ｗｓｕｍとする。しかし、ブレンド重みの算出方法はこれに限らず、非線形的な重みの減少や、ある一定の角度以上からの急激な重みの減少など、様々な方法を用いることができる。
【００８１】
ブレンド比率決定部９０２は、着目優先度において選択した撮像視点の視点番号と撮像視点のそれぞれに対するブレンド重みとを、着目優先度に対するブレンド情報として決定する。そして、全ての優先度に対して上記と同様の処理を行い、ブレンド比率決定部９０２は各優先度におけるブレンド情報を画像生成部９０３に出力する。
【００８２】
ステップＳ１００４において、画像生成部９０３は、ブレンド比率決定部９０２から取得した、優先度毎のブレンド情報を統合して、撮像視点毎にレンダリング重みを決定する。そして、決定したレンダリング重みに応じて着目画素の画素値を決定する。
【００８３】
本実施形態では、まず、全撮像視点のレンダリング重みを０で初期化する。その後、撮像視点毎に全ての優先度におけるブレンド情報を確認し、自身の撮像視点の番号が含まれている優先度を検出する。そして、検出した優先度毎に、優先度と自身の撮像視点のブレンド重みの積を求める。さらに、全検出した優先度において、優先度毎に求めた優先度とブレンド重みの積の総和を求め、その結果を撮像視点における仮のレンダリング重みとする。最後に、全撮像視点に対して仮のレンダリング重みを決定した後、全撮像視点の仮のレンダリング重みの総和で各撮像視点のレンダリング重みを除算した結果を、各撮像視点のレンダリング重みとして決定する。
【００８４】
画像生成部９０３は、決定したレンダリング重みに基づいた重み付け和により着目画素の画素値を決定する。各撮像視点の画素値は、第２算出部９０１から取得した画素座標に従い取得する。しかしながら、各撮像視点の画素値の取得はこれに限らず、取得した画素座標を中心に周辺の画素の平均画素値など、周辺の画素値を考慮してもよい。
【００８５】
以上が、本実施形態の画像処理装置９００で行われる処理である。上記で説明した構成によれば、不必要なブレンディングを抑えて、高解像度かつテクスチャのずれが低減された、高画質なテクスチャ付き３Ｄポリゴンモデルを生成することができる。
【００８６】
＜その他の実施形態＞
本発明の実施形態は、上記の実施形態に限られるものではなく、様々な実施形態をとることが可能である。例えば、上記実施形態では、評価値Ｖの算出方法として、解像度の指標とテクスチャ歪みの指標との２つの指標を用いたが、これに限られず複数の指標を追加で用いてよい。例えば、撮像視点の画像上において被写体の輪郭周辺を検出し、テクスチャ画像の画素値を決定する際に、検出した輪郭周辺の画素の重みが小さくなるような指標を追加してもよい。これにより、３Ｄポリゴンデータに含まれる誤差により、３Ｄポリゴンデータが実際の被写体よりも微少に大きい場合、被写体以外の画素値を誤って用いることによる画質劣化を抑制できる。
【００８７】
また、上記実施形態２では、ブレンド比率を決定する際、被写体の法線に対して、各撮像視点が時計回り方向若しくは反時計回り方向に位置しているか否かの区別を行わなかったがこれに限らない。各優先度において二つの撮像視点を選択する際、テクスチャの歪みの指標が高い撮像視点をそれぞれの方向から選択するなどの方法を用いてもよい。また、実施形態１におけるブレンド比率の決定においても同様である。
【００８８】
また、上記実施形態では、テクスチャ画像においてポリゴンのテクスチャ領域を確保する際、３Ｄポリゴンデータに含まれるポリゴン毎に処理を行ったがこれに限らない。複数の隣接するポリゴンをまとめて１つの大きなポリゴンとして扱い、テクスチャ領域の確保を行ってもよい。また、上記実施形態では、テクスチャ画像において各画素の画素値を決定する際、画素毎に処理を行ったがこれに限られない。複数の隣接する画素をまとめて処理を行ってもよい。
【００８９】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９０】
１００  画像処理装置
７０８  画像生成部
【図１】
2020166652.tif 000003
【図２】
2020166652.tif 000004
【図３】
2020166652.tif 000005
【図４】
2020166652.tif 000006
【図５】
2020166652.tif 000007
【図６】
2020166652.tif 000008
【図７】
2020166652.tif 000009
【図８】
2020166652.tif 000010
【図９】
2020166652.tif 000011
【図１０】
2020166652.tif 000012
【図１１】
2020166652.tif 000013