(57)【要約】      （修正有）【課題】被写体の３次元形状を仮想３次元形状モデルとして復元する３次元形状復元装置及びプログラムを提供する。【解決手段】３次元形状復元装置１は、被写体を囲む一定間隔の多数の格子点を設定し、被写体の多視点画像から抽出した複数のシルエット画像を用いて、当該被写体の３次元近似形状データを生成する３次元近似形状復元部４と、被写体形状に含まれる識別番号を有する格子点における表面格子点について位相限定相関を施して、３次元近似形状の表面頂点を抽出する表面格子点抽出部５と、多視点画像のうち隣接する２点から撮影されたペア画像を複数組選定し、各組毎のペア画像の位相限定相関情報に基づいて前記３次元近似形状を補正して復元する３次元形状復元部７とを備える。【選択図】図３
2010152535.tif 000002
【特許請求の範囲】
【請求項１】
立体形状を有する被写体を複数台のカメラで撮影した多視点画像と、各カメラのカメラパラメータを用いて、被写体の３次元形状を仮想３次元形状モデルとして復元する３次元形状復元装置であって、
前記被写体を囲む一定間隔の多数の格子点を設定し、被写体の多視点画像から当該被写体の３次元近似形状データを生成する３次元近似形状復元部と、
前記３次元近似形状の表面頂点を抽出する表面格子点抽出部と、
表面頂点に対応する格子点の表面格子点について、位相限定相関を施して真の被写体の表面頂点であるか否かを判別する位相限定相関部と、
多視点画像のうちから選定された複数の画像から位相限定相関処理を施して得られる位相限定相関情報に基づいて前記３次元近似形状を補正して復元する３次元形状復元部と、
を備えることを特徴とする、３次元形状復元装置。
【請求項２】
前記３次元近似形状復元部は、前記被写体を囲む一定間隔の多数の格子点を設定し、被写体の多視点画像から抽出した複数のシルエット画像を用いて、当該被写体の３次元近似形状データを生成することを特徴とする、請求項１に記載の３次元形状復元装置。
【請求項３】
前記３次元形状復元部は、多視点画像のうち隣接する２点から撮影されたペア画像を複数組選定し、各組毎のペア画像の位相限定相関情報に基づいて前記３次元近似形状を補正して復元することを特徴とする、請求項２に記載の３次元形状復元装置。
【請求項４】
多視点画像のうち隣接する２点から撮影された各組のペア画像に対して、ペア画像の各方向ベクトルが一致するように平行化処理を施し、平行化された複数組のペア画像と、平行化された複数組のペアカメラパラメータを生成する平行画像生成部を備え、
前記位相限定相関部は、前記平行化された複数組のペア画像と、平行化された複数組のペアカメラパラメータとを用いて位相限定相関処理を施し、それぞれの表面格子点群データのうち、真の被写体の表面頂点であるか否かを判別する位相限定相関情報を生成することを特徴とする、請求項３に記載の３次元形状復元装置。
【請求項５】
前記位相限定相関部は、
表面格子点群データを入力して、それぞれの表面格子点が、ペア画像から可視であるか、又は不可視であるかを判別する格子点可視判定部と、
表面格子点群のデータのそれぞれの表面格子点について、表面格子点群のそれぞれのペア画像に対する可視情報に基づいて、可視なペア画像の組を選択し、これらを位相限定相関に用いるカメラペアとして複数組選択する位相限定相関ペアカメラ選択部と、
表面格子点を、平行化された複数組のペアカメラパラメータを用いて位相限定相関に利用するペア画像に投影する格子点投影部と、
ペア画像への投影点の座標を中心として画素ブロックを構成する画像ブロック構成部と、
ペア画像の投影点とした中心の画像ブロックに、２次元離散フーリエ変換を施す２次元離散フーリエ変換部と、
ペア画像の離散フーリエ変換結果を用いて、表面格子点が投影された各ペア画像の画像ブロックの位相限定相関を計算する位相限定相関計算部と、
該位相限定相関結果により、それぞれの表面格子点群データのうち、真の被写体の表面頂点であるか否かを判別する表面格子点判別部と、
を有することを特徴とする、請求項４に記載の３次元形状復元装置。
【請求項６】
立体形状を有する被写体を複数台のカメラで撮影した多視点画像と、各カメラのカメラパラメータを用いて、被写体の３次元形状を仮想３次元形状モデルとして復元する３次元形状復元装置として構成するコンピュータに、
前記被写体を囲む一定間隔の多数の格子点を設定し、被写体の多視点画像から当該被写体の３次元近似形状データを生成するステップと、
前記３次元近似形状の表面頂点を抽出するステップと、
表面頂点に対応する格子点の表面格子点について、位相限定相関を施して真の被写体の表面頂点であるか否かを判別するステップと、
多視点画像のうちから選定された複数の画像から位相限定相関処理を施して得られる位相限定相関情報に基づいて前記３次元近似形状を補正して復元するステップと、
を実行させるための３次元形状復元プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のカメラで被写体を撮影した多視点画像を用いて被写体の３次元形状データを生成する３次元形状復元装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来、立体形状を有する被写体を複数台のカメラで撮影した多視点画像から、被写体の３次元形状を仮想３次元形状モデルとして復元する技法としては、撮影画像のシルエットから被写体の３次元形状を仮想３次元形状モデルとして復元する視体積交差法が知られている（例えば、非特許文献１参照）。
【０００３】
また、同一の被写体を２台のカメラで撮影した画像から、画像間の位相限定相関を用いて対応点を探索し、対応点間の視差情報から、被写体の３次元形状を仮想３次元形状モデルとして復元する技法が知られている（例えば、特許文献１，２参照）
【０００４】
【非特許文献１】冨山、片山、岩館他、“視体積交差法とステレオマッチング法を用いた他視点画像からの３次元動オブジェクト生成手法”、映像情報学会、ｖｏｌ．５８， ｎｏ．６， ２００４年６月、ｐｐ．７９７−８０６
【特許文献１】特開２００８−１２３１４１号公報
【特許文献２】特開２００８−１２３１４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
人間のような動く被写体を複数台のカメラで撮影した多視点画像から、被写体の全身形状を仮想３次元形状モデルとして復元する場合、前述した視体積交差法のみでは、被写体の凹形状や局面を正確に復元することが原理的に困難であり、正確な被写体の形状を仮想３次元形状モデルとして復元することができない。
【０００６】
一方、２枚の画像間の位相限定相関を用いた手法では、高精度な対応点の探索が可能であり、正確な被写体の表面形状を仮想３次元形状モデルとして復元することができるが、探索範囲の絞り込みが必要であり、結果として多くの計算時間を必要とする。また、被写体の全身の３次元形状を仮想３次元形状モデルとして復元するためには、複数組の画像ペアの位相限定相関から求めた部分的な３次元形状を統合する処理が必要となる。
【０００７】
このように、被写体全身の正確な３次元形状復元を短時間に実現することが要望される。即ち、視体積交差法によって求めた３次元近似形状の表面を位相限定相関法を用いて補正して被写体全身の正確な３次元形状復元を得るとともに、更に、被写体全身の正確な３次元形状の真値を獲得するのに効果的な方法が要求される。
【０００８】
そこで本発明の目的は、立体形状を有する被写体を複数台のカメラで撮影した多視点画像から、被写体の３次元形状を仮想３次元形状モデルとして復元する３次元形状復元装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明による３次元形状復元装置は、まず被写体の多視点画像から抽出した複数のシルエット画像を利用し、被写体の３次元近似形状を求め、次に、多視点画像の中から、隣接する２点から撮影したペア画像を複数組選定し、この複数組のペア画像の位相限定相関情報に基づいて、被写体の３次元近似形状を補正し、より正確な被写体の３次元形状を仮想３次元形状モデルとして復元するようにする。
【００１０】
即ち、本発明による３次元形状復元装置は、立体形状を有する被写体を複数台のカメラで撮影した多視点画像と、各カメラのカメラパラメータを用いて、被写体の３次元形状を仮想３次元形状モデルとして復元する３次元形状復元装置であって、前記被写体を囲む一定間隔の多数の格子点を設定し、被写体の多視点画像から当該被写体の３次元近似形状データを生成する３次元近似形状復元部と、前記３次元近似形状の表面頂点を抽出する表面格子点抽出部と、表面頂点に対応する格子点の表面格子点について、位相限定相関を施して真の被写体の表面頂点であるか否かを判別する位相限定相関部と、多視点画像のうちから選定された複数の画像から位相限定相関処理を施して得られる位相限定相関情報に基づいて前記３次元近似形状を補正して復元する３次元形状復元部と、を備えることを特徴とする。
【００１１】
また、本発明による３次元形状復元装置において、前記３次元近似形状復元部は、前記被写体を囲む一定間隔の多数の格子点を設定し、被写体の多視点画像から抽出した複数のシルエット画像を用いて、当該被写体の３次元近似形状データを生成することを特徴とする。
【００１２】
また、本発明による３次元形状復元装置において、前記３次元形状復元部は、多視点画像のうち隣接する２点から撮影されたペア画像を複数組選定し、各組毎のペア画像の位相限定相関情報に基づいて前記３次元近似形状を補正して復元することを特徴とする。
【００１３】
また、本発明による３次元形状復元装置において、多視点画像のうち隣接する２点から撮影された各組のペア画像に対して、ペア画像の各方向ベクトルが一致するように平行化処理を施し、平行化された複数組のペア画像と、平行化された複数組のペアカメラパラメータを生成する平行画像生成部を備え、前記位相限定相関部は、前記平行化された複数組のペア画像と、平行化された複数組のペアカメラパラメータとを用いて位相限定相関処理を施し、それぞれの表面格子点群データのうち、真の被写体の表面頂点であるか否かを判別する位相限定相関情報を生成することを特徴とする。
【００１４】
また、本発明による３次元形状復元装置において、前記位相限定相関部は、表面格子点群データを入力して、それぞれの表面格子点が、ペア画像から可視であるか、又は不可視であるかを判別する格子点可視判定部と、表面格子点群のデータのそれぞれの表面格子点について、表面格子点群のそれぞれのペア画像に対する可視情報に基づいて、可視なペア画像の組を選択し、これらを位相限定相関に用いるカメラペアとして複数組選択する位相限定相関ペアカメラ選択部と、表面格子点を、平行化された複数組のペアカメラパラメータを用いて位相限定相関に利用するペア画像に投影する格子点投影部と、ペア画像への投影点の座標を中心として画素ブロックを構成する画像ブロック構成部と、ペア画像の投影点とした中心の画像ブロックに、２次元離散フーリエ変換を施す２次元離散フーリエ変換部と、ペア画像の離散フーリエ変換結果を用いて、表面格子点が投影された各ペア画像の画像ブロックの位相限定相関を計算する位相限定相関計算部と、該位相限定相関結果により、それぞれの表面格子点群データのうち、真の被写体の表面頂点であるか否かを判別する表面格子点判別部とを有することを特徴とする。
【００１５】
また、本発明は、立体形状を有する被写体を複数台のカメラで撮影した多視点画像と、各カメラのカメラパラメータを用いて、被写体の３次元形状を仮想３次元形状モデルとして復元する３次元形状復元装置として構成するコンピュータに、前記被写体を囲む一定間隔の多数の格子点を設定し、被写体の多視点画像から当該被写体の３次元近似形状データを生成するステップと、前記３次元近似形状の表面頂点を抽出するステップと、表面頂点に対応する格子点の表面格子点について、位相限定相関を施して真の被写体の表面頂点であるか否かを判別するステップと、多視点画像のうちから選定された複数の画像から位相限定相関処理を施して得られる位相限定相関情報に基づいて前記３次元近似形状を補正して復元するステップとを実行させるための３次元形状復元プログラムとしても特徴付けられる。
【発明の効果】
【００１６】
本発明によれば、立体形状を有する被写体の全身の３次元形状を、被写体を撮影した画像のみから、位相限定相関を用いて精度よく短時間に復元することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明による実施例の３次元形状復元装置について説明する。
【００１８】
［装置構成］
図１に、本発明による実施例の３次元形状復元装置の動作環境例を示す。立体形状を有する対象物を、４つのカメラ（第１カメラ２−１、第２カメラ２−２、第３カメラ２−３、及び第４カメラ２−４）で撮影して多視点画像を得る場合を想定する。尚、本願発明は、２つ以上のカメラで対象物の周囲を移動して多視点画像を得るようにしてもよいことは後述の説明からも明らかになる。
【００１９】
ここで、第１カメラ２−１、第２カメラ２−２、第３カメラ２−３、及び第４カメラ２−４の各々の撮影位置をそれぞれ第１撮影点、第２撮影点、第３撮影点、及び第４撮影点と称することにする。また、第１撮影点、第２撮影点、第３撮影点、及び第４撮影点で得られる各撮影画像は、それぞれ撮影画像２−１ｉ, ２−２ｉ, ２−３ｉ, ２−４ｉと称する。
【００２０】
また、図２に、本発明による実施例の３次元形状復元装置の設定環境例を示す。第１カメラ２−１、第２カメラ２−２、第３カメラ２−３、及び第４カメラ２−４の各々の撮影位置は、予め少なくとも２つ以上のカメラが、被写体の撮像領域を重複するように撮影して得ることができるように設定され、この被写体の周囲を包囲するように立方体状の等間隔の格子点Ｐｎを仮想的に設定するとともに、各格子点Ｐｎ及びカメラ位置を３次元座標系ＸＹＺで割り当てるものとする。
【００２１】
図３に、本発明による実施例の３次元形状復元装置のブロック図を示す。本実施例の３次元形状復元装置１は、対象物を多視点で撮影する第１〜第４カメラ２−１, ２−２, ２−３, ２−４から得られる、それぞれの撮影画像２−１ｉ, ２−２ｉ, ２−３ｉ, ２−４ｉを入力し、これらの撮像画像と、複数台のカメラの撮影点の３次元位置、姿勢情報及びレンズ焦点距離によって構成されるカメラの内部情報により構成されるカメラ台数分のカメラパラメータとを用いて被写体の３次元形状を仮想３次元形状モデルとして復元する装置である。  
【００２２】
尚、３次元形状復元装置１の制御に必要な制御情報ａ，ｂ，ｃ，ｄが予め定められており、これらの制御情報ａ，ｂ，ｃ，ｄは、当該装置を利用する利用者によって選定することができる。制御情報ａは、各カメラにおける３次元位置情報、及びカメラパラメータとして知られる外部パラメータ（三次元位置情報、姿勢情報）及びカメラ内部パラメータからなる。制御情報ｂは、各カメラの撮影画像を空間座標（好適には、３次元座標系ＸＹＺ）で位置づけた多視点空間座標情報と、図２に示した格子点の位置座標を設定する設定格子点座標情報からなる。制御情報ｃは、カメラから得られる多視点画像のうち、位相限定相関に用いるペア画像を選定するための情報（以下、ペア画像選択情報と称する）からなる。制御情報ｄは、被写体の形状を識別する格子点ＩＤの更新処理回数を設定する更新回数設定情報である。
【００２３】
より具体的には、本実施例の３次元形状復元装置１は、撮影画像入力部３と、３次元近似形状復元部４と、表面格子点抽出部５と、位相限定相関部６と、３次元形状復元部７と、撮影画像選択部８と、平行画像生成部９と、制御情報入力部１０と、３次元格子点群生成部１１とを備える。制御情報入力部１０は、制御情報を入力するインターフェースとして機能する。
【００２４】
撮影画像入力部３は、対象物を多視点で撮影する第１〜第４カメラ２−１, ２−２, ２−３, ２−４から得られる、それぞれの撮影画像２−１ｉ, ２−２ｉ, ２−３ｉ, ２−４ｉを入力し、これらのテクスチャ画像を３次元近似形状復元部３に送出する。
【００２５】
３次元近似形状復元部４は、撮影画像入力部３を介して複数台のカメラで被写体を撮影した多視点画像を入力するとともに、制御情報入力部１０を介してカメラ台数分のカメラパラメータ（制御情報ａ）と、３次元格子点群生成部１１を介して供給される３次元格子点群データを利用して、視体積交差法によって３次元近似形状データを生成する。
【００２６】
この３次元近似形状復元部４の詳細を図７に示す。３次元近似形状復元部４は、シルエット画像抽出部４１と、視体積交差法計算部４２とを備える。まず、シルエット画像抽出部４１は、複数台のカメラで被写体を撮影した多視点画像を入力し、２値化処理（例えばクロマキー処理）によって画像中から被写体領域を抽出した複数台のカメラ分の被写体のシルエット画像２−１ｓ，２−２ｓ，２−３ｓ，２−４ｓ（図７参照）を出力する。尚、図７は、理解を容易にするために、図２における被写体の存する或るＺ値のＸＹ平面における概略図を示している。
【００２７】
次に、視体積交差法計算部４２は、３次元格子点群データ生成部１１から供給される３次元格子点群データを、カメラ台数分のカメラパラメータ（制御情報ａ）を用いた式（１）によって、複数台のカメラ分の被写体のシルエット画像に投影し、各格子点を被写体形状に含まれる格子点と、被写体形状に含まれない格子点に分別する（図７参照）。被写体形状に含まれる格子点にはＩＤ＝１を、含まれない格子点にはＩＤ＝０を与え、３次元格子点群データに格子点ＩＤを付与したデータを３次元近似形状データとして表面格子点抽出部５に出力する。
【００２８】
具体的には、仮想３次元空間中に一定の間隔の３次元の格子点群を定義し、この格子点のそれぞれを、式（１）を利用して、被写体を撮影したカメラ台数分のシルエット画像に投影する。
【００２９】
【数１】
2010152535.tif 000003
【００３０】
ここに、Ａはカメラの内部パラメータ行列、Ｆはカメラの焦点距離、αはテクスチャ画像のアスペクト比、Ｒはカメラの撮影点の３次元姿勢回転行列、Ｔはカメラの撮影点の３次元位置の並進ベクトル、Ｃｘはテクスチャ画像の画像中心ｘ座標、Ｃｙはテクスチャ画像の画像中心ｙ座標、Ｐｗは格子点の３次元座標（ｘ，ｙ，ｚ）、Ｐｘは格子点をカメラに投影した際の投影点の２次元座標（ｕ，ｖ）、ωは格子点からカメラの光学中心までの奥行き距離である。
【００３１】
格子点を、被写体を撮影した全てのカメラのシルエット画像に投影した際に、全てのカメラに対する投影点がシルエットの内側に存在した場合に、その格子点を被写体の３次元近似形状を構成する格子点としてＩＤ＝１を与える。一方、格子点を、被写体を撮影した全てのカメラのシルエット画像に投影した際に、少なくとも１つのカメラに対する投影点がシルエットの外側に存在した場合は、その格子点を被写体の３次元近似形状の外側に存在する格子点としてＩＤ＝０を与える。
【００３２】
表面格子点抽出部５は、視体積交差法計算部４２から供給される３次元近似形状データに対して、離散マーチングキューブ法（例えば、「剣持、小谷、井宮、“点の連結性を考慮したマーチングキューブ法”、信学技報、ＰＲＭＵ９８−２１８、１９９９年、ｐｐ．１９７−２０４」参照）等を用いて、表面格子点群データを抽出して出力する（図８参照）。この表面格子点群データは、ＩＤ＝２を与えて識別可能にする。
【００３３】
位相限定相関部６は、前述の仮想空間中の格子点群のうち、ＩＤ＝２の格子点の集合によって構成される被写体の３次元近似形状を、ペア画像間の位相限定相関情報に基づいて補正する。
【００３４】
位相限定相関部６は、この表面を構成する表面格子点群の各表面格子点を、複数組のペア画像にそれぞれ投影する。この際に、投影するペア画像は、各表面格子点が可視なペア画像を選択する。各表面格子点がカメラ画像から可視であるか不可視であるかの判別は、表面格子点とカメラ画像の光学中心を結ぶ線分の間に、他の表面格子点が存在するか否かで判別し（図９参照）、他の表面格子点が存在する場合は不可視、存在しない場合は可視とする。
【００３５】
続いて、位相限定相関部６は、表面格子点群データの格子点をペア画像に投影し、ペア画像の各投影点を中心とした画素ブロック間の位相限定相関を計算し、投影した表面格子点が被写体の表面頂点であるか否かを判別する。この位相限定相関部６の詳細は、図５を参照して後述する。
【００３６】
３次元形状復元部７は、制御情報入力部１０を介して入力される更新回数設定情報（制御情報ｄ）に従って、表面格子点抽出部５及び位相限定相関部６の動作を１回又は複数回繰り返すことで得られる更新された表面格子点群のデータを元に、ＩＤ＝２の被写体の表面格子点と、ＩＤ＝１の被写体の内部の格子点の集合で構成される原点群を被写体の仮想３次元形状モデルとして復元することができる。また、３次元形状復元部７は、この格子点群に離散マーチングキューブ法等を適用することで、表面が三角パッチで表現された被写体の３次元形状を仮想３次元形状モデルとして生成する。
【００３７】
撮影画像選択部８は、制御情報ａ（各カメラの３次元位置情報と各カメラパラメータ）、及び制御情報ｃ（ペア画像選択情報）に基づいて、即ち、隣接するカメラペア（被写体の重複画像領域を有する組であり、予めカメラ番号情報をカメラパラメータに関連付けて識別することができる）で構成されるペア画像情報と、複数のペア画像の組をカメラ台数分のカメラパラメータに基づいて、撮影画像入力部３を介して得られる多視点画像から処理対象の複数のペア画像の組を選択し、平行画像生成部９に送出する。
【００３８】
平行画像生成部９は、隣接するカメラペアのカメラ番号情報によって構成されるペア画像情報に基づいて複数のペア画像の組をカメラ台数分のカメラパラメータを用いて平行化する（図１０参照）。例えば、１つめのペア画像が第１カメラ２−１と第２カメラ２−２の各画像２−１ｉ，２−２ｉの場合、第１カメラ２−１と第２カメラ２−２のカメラパラメータを利用して、第１カメラ２−１と第２カメラ２−２の各画像２−１ｉ，２−２ｉが平行カメラ画像２−１ｐ，２−２ｐになるように平行化する。平行画像生成部９は、他の重複画像を有する全てのカメラペアに対して同様の処理を行い、平行化された複数組のペア画像と、平行化された複数組のペアカメラパラメータを位相限定相関部６に出力する。尚、この平行化処理は、各画像２−１ｉ，２−２ｉの方向ベクトル（図示する画面鉛直ベクトルａ１，ａ２）が一致するように処理するものである。ここで、例えば、表面を構成する格子点Ｐｃは、カメラ画角等の影響をキャンセルした平行化されたペア画像２−１ｉ，２−２ｉに投影することができるようになることを意味する。
【００３９】
３次元格子点群生成部１１は、制御情報入力部１０を介して入力される、各カメラの撮影画像を空間座標で位置づけた多視点空間座標情報と設定格子点数情報から、仮想３次元空間中に一定の間隔の３次元格子点群データ（図２参照）を生成して３次元近似形状復元部４に供給する。この３次元格子点群データは、各格子点の３次元座標値と、格子点のＩＤ情報によって構成される。
【００４０】
次に、図５、及び図７〜図１０を参照して、位相限定相関部６を説明する。位相限定相関部６は、格子点可視判定部６１と、位相限定相関ペアカメラ選択部６２と、画像ブロック構成部６４と、２次元離散フーリエ変換部６５と、位相限定相関計算部６６と、表面格子点判別部６７とを備える。
【００４１】
格子点可視判定部６１は、表面格子点群データ（ｅ）を入力して、それぞれの表面格子点が、ペア画像から可視であるか、又は不可視であるかを判別する。具体的には、図９を参照して、表面格子点の３次元座標と、平行化された複数組のペアカメラパラメータを利用して、表面格子点の３次元座標と、ペアカメラを構成する２台のカメラの光学中心のそれぞれとを結ぶ線分を定義する。それぞれの線分の間に、他の表面格子点が存在しなければ、その表面格子点はそのペアカメラからは可視であると判断し、少なくとも一方の線分の間に他の格子点が存在すれば、その表面格子点はそのペアカメラからは不可視であると判断する。この処理を、全ての表面格子点に対して全てのペアカメラについて行い、表面格子点群のそれぞれのペア画像に対する可視情報（ａ５）を出力する。
【００４２】
位相限定相関ペアカメラ選択部６２は、表面格子点群のデータ（ｅ）のそれぞれの表面格子点について、表面格子点群のそれぞれのペア画像に対する可視情報（ａ５）に基づいて、可視なペア画像の組を選択し、これらを位相限定相関に用いるカメラペアとして選択する。例えば、ある格子点が、（第１ペア：第１カメラ，第２カメラ）及び（第３ペア：第３カメラ，第４カメラ）に対して可視である場合、この表面格子点に対する位相限定相関に利用するペア画像（ｂ５）として第１ペアと第３ペアのペア画像を出力する。
【００４３】
格子点投影部６３は、表面格子点を、平行化された複数組のペアカメラパラメータ（ｈ）を用いて位相限定相関に利用するペア画像（ｂ５）に投影する。例えば、ある格子点の位相限定相関に利用するペア画像（ｂ５）が（第１ペア：第１カメラ，第２カメラ）と（第３ペア：第３カメラ，第４カメラ）の場合、この格子点を、第１ペアの第１カメラと第２カメラの平行化された複数組のペアカメラパラメータを用いて、第１カメラ及び第２カメラの撮影画像上に投影し、投影点の座標をそれぞれ(ｕｐ１Ｌ，ｖｐ１Ｌ)，(ｕｐ１Ｒ，ｖｐ１Ｒ)とする。同様に、第３ペアについても投影し、投影点の座標をそれぞれ(ｕｐ３Ｌ，ｖｐ３Ｌ)，(ｕｐ３Ｒ，ｖｐ３Ｒ)とする。全ての表面格子点に対して同様の処理を行い、左右の画像（図１０に示すＲ／Ｌ）への投影点の座標（ｃ５）を画像ブロック構成部６４に出力する。
【００４４】
画像ブロック構成部６４は、左右の画像（図１０に示すＲ／Ｌ）への投影点の座標（ｃ５）を中心として、画像サイズＳｘ×Ｓｙの画素ブロックを構成する。例えば、前記の例では、第１ペアの第１カメラ及び第２カメラへの投影点の座標(ｕｐ１Ｌ，ｖｐ１Ｌ)，(ｕｐ１Ｒ，ｖｐ１Ｒ)を中心として、サイズＳｘ×Ｓｙ画素の輝度値が格納された画素ブロックを、平行化した第１ペアの第１カメラ及び第２カメラの画像からＢ１ｌ，Ｂ１ｒとして切り出す。同様に、第３ペアの第３カメラ及び第４カメラへの投影点(ｕｐ３Ｌ，ｖｐ３Ｌ)，(ｕｐ３Ｒ，ｖｐ３Ｒ)を中心としたサイズＳｘ×Ｓｙ画素の輝度値が格納された画素ブロックを、平行化した第３ペアの第３カメラ，第４カメラの画像からＢ３ｌ，Ｂ３ｒとして切り出す。このように、画像ブロック構成部６４は、全ての表面格子点について左右の画像の投影点を中心として画像ブロック（ｄ５）を２次元離散フーリエ変換部６５に出力する。
【００４５】
２次元離散フーリエ変換部６５は、左右の画像の投影点とした中心の画像ブロックについて２次元離散フーリエ変換を施す。前記の例では、或る表面格子点に対するペア画像ブロックＢ１ｌ，Ｂ１ｒ及びＢ３ｌ，Ｂ３ｒについて、２次元離散フーリエ変換を施し、変換画像Ｂ１ｌ＿ｄｆｔ，Ｂ１ｒ＿ｄｆｔ、及びＢ３ｌ＿ｄｆｔ，Ｂ３ｒ＿ｄｆｔを、左右の画像の離散フーリエ変換結果（ｅ５）として位相限定相関計算部６６に出力する。
【００４６】
位相限定相関計算部６６は、左右の画像の離散フーリエ変換結果（ｅ５）を用いて、表面格子点が投影された各ペア画像の画像ブロックの位相限定相関を計算する。具体的には、前述の例の場合に、第１ペアについての離散フーリエ変換結果Ｂ３ｌ＿ｄｆｔ，Ｂ３ｒ＿ｄｆｔから、式（３）に基づいて位相限定相関ＰＯＣ１（ｕ，ｖ）を求め、同様に第３ペアについてもＰＯＣ３（ｕ，ｖ）を求める。位相限定相関計算部６６は、それぞれの表面格子点について同様にこれらを計算し、位相限定相関結果（ｆ５）として表面格子点判別部６７に出力する。
【００４７】
表面格子点判別部６７は、位相限定相関結果（ｆ５）により、それぞれの表面格子点群データのうち、真の被写体の表面頂点であるか否かを判別する。前記の例では、第１ペアについての位相限定相関ＰＯＣ１（ｕ，ｖ）において最大の値を有する座標（ｕ，ｖ）がＢ１ｒの中心座標である（ｕｐ１Ｒ，ｖｐ１Ｒ）と一致し、さらに第３ペアについての位相限定相関ＰＯＣ３（ｕ，ｖ）において最大の値を有する座標（ｕ，ｖ）がＢ３ｒの中心座標である（ｕｐ３Ｒ，ｖｐ３Ｒ）と一致する場合には、この表面格子点は、第１ペアと第３ペアの２組のペア画像の位相限定相関で最大の相関がある格子点である判断することができるので、被写体の真の表面格子点であると判断し、この格子点に真の表面頂点としてのＩＤ＝２を与える。
【００４８】
それ以外の場合は、この表面格子点は第１ペア又は第３ペアにおいて相関が低い点であるので、被写体の真の表面ではないと判断することができ、被写体形状の外部の格子点としてのＩＤ＝０を与える。このように、表面格子点判別部６７は、全ての表面格子点について、位相限定相関の計算結果（ｆ５）に基づいて、同様の判別を行い、格子点に対して新たなＩＤ（ＩＤ＝０又はＩＤ＝２）を付与し、更新された表面格子点群のデータ（ｉ）を３次元形状復元部７に出力する。
【００４９】
以下、図６を参照して、本発明による実施例の３次元形状復元装置の動作について更に詳細に説明する。
【００５０】
［装置動作］
３次元形状復元装置１は、立体形状を有する被写体を複数台のカメラで撮影した多視点画像と、当該カメラパラメータを用いて、被写体の３次元形状を仮想３次元形状モデルとして復元するために、多視点画像から被写体のシルエット領域をいわゆるクロマキー処理を施して抽出したカメラ台数分のシルエット画像（いわゆる２値画像）とカメラパラメータを用いて、被写体の３次元近似形状を仮想３次元形状モデルとして復元する。
【００５１】
ステップＳ１にて、撮影画像入力部３により、入力される多視点画像と、対応するカメラパラメータとを入力するとともに、被写体を囲む３次元格子点データを入力する。
【００５２】
ステップＳ２にて、３次元近似形状復元部４により、３次元格子点データと多視点画像の各々に対応するカメラパラメータを用いて、３次元近似形状データを生成する。
【００５３】
ステップＳ３にて、平行画像生成部９により、３次元近似形状データの生成とは別に、多視点画像のうち重複した空間画像領域を有する任意に選択された２つの画像と対応するカメラパラメータを用いて、平行したペア画像と対応するペアカメラパラメータを生成する。
【００５４】
ステップＳ４にて、３次元格子点群生成部１１により、３次元近似形状データから、被写体の表面格子点群データを抽出する。
【００５５】
ステップＳ５にて、位相限定相関部６により、ペア画像とペアカメラパラメータを用いて、抽出した表面格子点群データについて位相限定相関計算を行い、表面頂点群データを更新する。
【００５６】
詳細に説明するに、格子点投影部６３によって、表面格子点を、２枚のカメラ画像のどちらからも可視なペア画像に投影する。左側のカメラ画像に投影された点の座標を（ｕｌ，ｖｌ）、右側のカメラ座標に投影された点の座標を（ｕｒ，ｖｒ）を中心にそれぞれ同じサイズの画素ブロックを構成する。ペア画像のうち、左側のカメラ画像中に構成される画素ブロックをＢｌ（ｕ，ｖ）、右側のカメラ画像中に構成される画素ブロックをＢｒ（ｕ，ｖ）と定める。次に、二次元離散フーリエ変換部６５によって、これらの画素ブロックについてそれぞれ２次元離散フーリエ変換を施し、変換後の画像をそれぞれＢｌ＿ｄｆｔ（ｕ，ｖ）、Ｂｒ＿ｄｆｔ（ｕ，ｖ）とする。
【００５７】
次に、位相限定相関計算部６６により、Ｂｌ＿ｄｆｔ（ｕ，ｖ）とＢｒ＿ｄｆｔ（ｕ，ｖ）の位相限定相関ＰＯＣ（ｕ，ｖ）を以下の式（３）により算出する。
【００５８】
【数２】
2010152535.tif 000004
【００５９】
ここに、ＩＤＦＴは離散フーリエ逆変換を表し、＊は、共役複素画像を表す。
【００６０】
この位相限定相関ＰＯＣ（ｕ，ｖ）は、値が最大となる画素の画像座標（ｕｐｏｃ，ｖｐｏｃ）が、Ｂｌ（ｕ，ｖ）の中心画素（ｕｌ，ｖｌ）と最も相関の高い、Ｂｒ（ｕ，ｖ）中の画像座標となる。よって、位相限定相関計算部６６は、ＰＯＣ（ｕ，ｖ）の値が最大となる画素の画像座標（ｕｐｏｃ，ｖｐｏｃ）がＢｒ（ｕ，ｖ）の中心画像座標（ｕｒ，ｖｒ）と一致する場合、ペア画像に投影した表面格子点は実際の被写体の正確な表面頂点とすることができるので、新たな格子点ＩＤとしてＩＤ＝２を与える。逆に、画像座標（ｕｐｏｃ，ｖｐｏｃ）が中心画像座標（ｕｒ，ｖｒ）と異なる場合には、ペア画像に投影した表面格子点は実際の被写体の正確な表面ではないと判断し、格子点ＩＤにＩＤ＝０を与える。全ての表面格子点に対して同様の処理を行い、表面格子点の格子点ＩＤをＩＤ＝２又はＩＤ＝０に更新する。
【００６１】
次に、再びＩＤ＝１，ＩＤ＝２の格子点の集合から、形状の表面を構成する表面格子点群を抽出する。抽出した表面格子点群の中から、ＩＤ＝２の表面格子点について、前記同様にペア画像を投影し、位相限定相関を求め、被写体の正確な表面頂点か否かを判別し、格子点ＩＤをＩＤ＝２又はＩＤ＝０に更新する。
【００６２】
これらの処理を数回繰り返すことで、ＩＤ＝１又はＩＤ＝２の格子点の集合を被写体の３次元近似形状として復元する。
【００６３】
ステップＳ６にて、設定回数（ｎ回）分更新処理を行うまで、ステップＳ４及びステップＳ５を繰り返す。
【００６４】
このように、更新されたＩＤ＝１の格子点の集合を、被写体の３次元近似形状として高精度で短時間に復元することができる。
【００６５】
ここで、更新された表面格子点群のデータ（ｉ）を用いて３次元近似形状データ（ｄ）を更新し、予め定めたｎ回の繰り返し処理（例えば、ｎ＝３）として、表面格子点抽出部と位相限定相関部の処理を繰り返すことで、より正確な真の表面頂点を求めることができる。尚、この繰り返し演算は、表面格子点群のデータの更新が無くなくなるまで繰り返し行うように構成することもできるが、例えば３回程度の繰り返し演算としても実質的に真の表面形状の抽出として十分な結果が得られる。
【００６６】
このように、３次元形状復元装置は、立体形状を有する被写体を複数台のカメラで撮影した多視点画像と、当該カメラパラメータを用いて、被写体の３次元形状を仮想３次元形状モデルとして復元する３次元装置であって、多視点画像の中から、隣接する２点から撮影したペア画像を複数組利用し、前記ペア画像の位相限定相関情報に基づいて、復元した被写体の３次元近似形状を補正し、被写体のより正確な３次元形状を仮想３次元形状モデルとして復元するように動作する。
【００６７】
本発明の一態様として、３次元形状復元装置１をコンピュータとして構成することができ、前述した撮影画像入力部３、３次元近似形状復元部４、表面格子点抽出部５、位相限定相関部６、３次元形状復元部７、撮影画像選択部８、平行画像生成部９、制御情報入力部１０、３次元格子点群生成部１１の機能を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部（図示せず）に記憶される。このような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。プログラムを実行する制御部は、中央演算処理装置（ＣＰＵ）などで実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、コンピュータ上で各装置を実現することができる。ここで、いずれかの手段の機能をハードウェアの全部又は一部で実現しても良い。
【００６８】
上述した実施例において、３次元形状復元装置１の機能を実現するための処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくこともできる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録装置、半導体メモリ等どのようなものでもよい。
【００６９】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ‐ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばＩＰなどのネットワーク上にあるサーバの記憶領域に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【００７０】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、各コンピュータの記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【００７１】
上述の実施例の３次元形状復元装置１は、カメラで撮像した画像を入力して処理する代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、３次元形状復元装置１は、動画像をカメラを介して入力する代わりに、ネットワーク又は記憶媒体を介して得られる動画ファイルについても適用することができる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。
【産業上の利用可能性】
【００７２】
また、本発明によると、被写体にレーザー等の特定の模様を照射することのない撮影画像のみから被写体の３次元形状の復元が可能であるので、テクスチャも同時に取得することができ、特に、動く被写体の高精度な仮想３次元形状モデルの制作に有用である。
【図面の簡単な説明】
【００７３】
【図１】本発明による実施例の３次元形状復元装置の動作環境例を示す図である。
【図２】本発明による実施例の３次元形状復元装置の設定環境例を示す図である。
【図３】本発明による実施例の３次元形状復元装置のブロック図である。
【図４】本発明による実施例の３次元形状復元装置の３次元近似形状復元部のブロック図である。
【図５】本発明による実施例の３次元形状復元装置の３次元近似形状復元部のブロック図である。
【図６】本発明による実施例の３次元形状復元装置の動作を示すフローチャートである。
【図７】本発明による実施例の３次元形状復元装置の動作説明図である。
【図８】本発明による実施例の３次元形状復元装置の動作説明図である。
【図９】本発明による実施例の３次元形状復元装置の動作説明図である。
【図１０】本発明による実施例の３次元形状復元装置の動作説明図である。
【符号の説明】
【００７４】
１  ３次元形状復元装置
２−１，２−２，２−３，２−４  カメラ
３  撮影画像入力部
４  ３次元近似形状復元部
５  表面格子点抽出部
６  位相限定相関部
７  ３次元形状復元部
８  撮影画像選択部
９  平行画像生成部
１０  制御情報入力部
１１  ３次元格子点群生成部
６１  格子点可視判定部
６２  位相限定相関ペアカメラ選択部
６３  格子点投影部
６４  画像ブロック構成部
６５  ２次元離散フーリエ変換部
６６  位相限定相関計算部
６７  表面格子点判別部
【図１】
2010152535.tif 000005
【図２】
2010152535.tif 000006
【図３】
2010152535.tif 000007
【図４】
2010152535.tif 000008
【図５】
2010152535.tif 000009
【図６】
2010152535.tif 000010
【図７】
2010152535.tif 000011
【図８】
2010152535.tif 000012
【図９】
2010152535.tif 000013
【図１０】
2010152535.tif 000014